Skymizer HTX301: כרטיס PCIe שמריץ מודלי 700B ב-240W בלבד
תגיות
- AI
- LLM
- hardware
- inference
- on-prem-ai
- Skymizer
- NVIDIA
שחקן חדש בזירת ה-AI Inference
בזמן ש-NVIDIA ו-AMD ממשיכות במרוץ צמא החשמל אחרי שליטה בעולם ה-AI, חברת Skymizer הטאיוואנית עלתה לבמה בשקט עם כרטיס שמשנה את כללי המשחק. ה-HTX301 החדש שלה הוא לא עוד GPU — זהו מאיץ AI ייעודי לחריץ PCIe, שתוכנן למטרה אחת בלבד: להריץ מודלי שפה ענקיים באופן מקומי, בלי אשכולות, בלי מערכת קירור תעשייתית, ובלי חשבון חשמל מטורף.
מה יש בתוך הכרטיס
ה-HTX301 בנוי על פלטפורמת HyperThought של Skymizer, ומופעל על ידי IP מסוג LPU (יחידת עיבוד שפה) בדור הבא. כל כרטיס PCIe מכיל שישה שבבי HTX301 שעובדים יחד, לצד 384 GB זיכרון — מספיק כדי להחזיק מודל של 700 מיליארד פרמטרים בשלמותו על כרטיס יחיד.
Skymizer בחרה כאן בכוונה: במקום HBM או GDDR7 יקרים, הכרטיס משתמש ב-LPDDR4 ו-LPDDR5 סטנדרטיים. ההחלטה הזו מורידה דרמטית את עלות החומרים ואת מעטפת ההספק, ועדיין מספקת לשבב רוחב פס מספיק לעומסי inference.
המספרים שחשובים
- זיכרון: עד 384 GB (LPDDR4 / LPDDR5)
- גודל מודל מקסימלי: 700 מיליארד פרמטרים על כרטיס יחיד
- תפוקה: 240 טוקנים לשנייה ב-Llama2 7B prefill (שבב יחיד), מתרחב ל-1,200 טוקנים לשנייה עם מספר שבבים
- הספק: כ-240W
- דחיסת משקלים: טובה ב-9% עד 17.8% מ-llama.cpp בקוד פתוח
- דחיסת KV-cache: איבוד perplexity של פחות מ-0.06% עד 3.52%
- גמישות: משבב אחד / 32 GB עד שישה שבבים / 384 GB, תמיכה במודלים מ-4B עד 700B פרמטרים
השאלה שכולם ישאלו
אם כרטיס של 240W מסוגל להריץ מודל של 700 מיליארד פרמטרים, מדוע ה-RTX PRO 6000 Blackwell, הדגל של NVIDIA, עדיין צורך 600W ומגיע רק עם 96 GB של VRAM?
התשובה נמצאת במה שכל כרטיס תוכנן לעשות
שני הכרטיסים אינם באמת מתחרים — הם נבנו לבעיות שונות, וזה בדיוק מה שהופך את ההשוואה למאלפת.
| מפרט | Skymizer HTX301 | NVIDIA RTX PRO 6000 Blackwell |
|---|---|---|
| זיכרון | עד 384 GB LPDDR4/5 | 96 GB GDDR7 ECC |
| מודל מקסימלי (כרטיס יחיד) | 700 מיליארד פרמטרים | כ-70 מיליארד פרמטרים (Q4) |
| הספק | כ-240W | 600W |
| ארכיטקטורה | LPU (Inference בלבד) | Blackwell GPU (כללי) |
| שימוש מטרה | LLM Inference | אימון + Inference + רינדור + סימולציה |
| מחיר משוער | טרם פורסם (סדר גודל של תחנת עבודה) | 8,500 – 9,200 דולר |
ה-RTX PRO 6000 Blackwell הוא כלי כללי. עם 24,064 ליבות CUDA, ליבות Tensor מדור חמישי שתומכות ב-FP4, וארכיטקטורת Blackwell המלאה — הוא תקן הזהב לסטודיואים שצריכים אימון AI, רינדור תלת-ממדי, סימולציה מדעית ו-inference, הכל מכרטיס אחד. הגמישות הזו עולה בהספק וברוחב פס זיכרון, וזו הסיבה שהוא יושב על 600W ו-96 GB.
ה-HTX301, לעומת זאת, עושה רק דבר אחד: מפענח טוקנים. על ידי הסרת יכולות אימון, צינורות גרפיים ומחשוב כללי, Skymizer יכולה להשקיע את תקציב הסיליקון וההספק שלה בקיבולת זיכרון וביעילות פענוח. כך היא מצליחה להכניס מודל של 700B על כרטיס אחד בפחות מחצי מההספק.
מה זה אומר ל-AI מקומי (On-Prem)
לחברות שרוצות להריץ copilots, עוזרי קוד או צינורות RAG פרטיים — בלי לשלם חשבונות cloud inference שגדלים עם השימוש — כרטיס של 240W עם 384 GB זיכרון הוא הצעה כלכלית שונה לחלוטין. הוא מקפל את מה שהיה דורש אשכול מרובה GPU לתוך חריץ PCIe יחיד.
Skymizer מתכננת להציג את ה-HTX301 ב-Computex, ועד שיגיעו בנצ'מארקים בלתי תלויים, יש להתייחס להצהרות בדיוק כפי שהן — הצהרות. אבל אם המספרים יחזיקו תחת עומס אמיתי, זה הסוג של הכרטיס שמשרטט מחדש בשקט את המפה של איפה עומסי AI רציניים יכולים לחיות.
בינתיים, NVIDIA עדיין שולטת באימון, ברינדור ובאקוסיסטם. ה-HTX301 לא מנסה לנצח בקרבות האלה. הוא עושה הימור אחר: שעבור inference, העתיד שייך לסיליקון ייעודי — ולא ל-GPU החזק ביותר שאפשר לדחוס לחריץ.