LongCat 2.0 של Meituan: מודל ענק על שבבים סיניים

מפרט טכני וקנה מידה

Meituan השיקה את LongCat 2.0, מודל שפותח על‑גבי 50 אלף שבבים סיניים שמזוהים בדמיון למעבדי Huawei Ascend 910C, ובו 1.6 טריליון פרמטרים, מתוכם 48 מיליארד פעילים. האימון נעשה על 35 טריליון טוקנים, כאשר כמה מאות מיליארד מהם הגיעו ממקורות עם אורך הקשר של כ‑מיליון טוקנים – קנה מידה שהיו משיגים עד כה רק על GPU של Nvidia או TPU של Google.

ארכיטקטורה ומקביליות

בנוסף לפרמטרים הלא‑פעילים שמוקצים לשכבות MoE, כ‑10 % מהפרמטרים משמשים ל‑n‑gram embeddings, והקבוצה הזו מנוהלת במקביליות תלת‑ממדית ששישה ממדים, מה שמאפשר ניצול נרחב של המשאבים. המערכת כוללת גם גרסה משלה של Sparse Attention, שעברה שינוי משמעותי עד כדי היעדר זיהוי עם DSA המקורי.

בדיקות, תמחור ושחרור פתוח

במהלך החודשיים האחרונים נבדק המודל ב‑OpenRouter תחת השם הקוד “Owl Alpha”, והמחיר ב‑API עומד על 0.75 דולר עד 3 דולרים למיליון טוקנים, סכום שנחשב גבוה יחסית ליכולת האינטלקטואלית של המערכת, אם כי עדיין לא ברור כמה משאבים היא צורכת בפועל. Meituan הבטיחה לשחרר את משקולות המודל בקרוב ברישיון Apache 2.0 או MIT. משקל מודל פתוח.