AMD קונה את Taalas וחורטת מודלים לתוך הסיליקון כדי לזרז inference

מה באמת הוכרז

AMD רכשה את Taalas, סטארט-אפ צ'יפים לבינה מלאכותית, במהלך שמטרתו לשפר ביצועי inference. הרעיון המרכזי הוא חריטה של המודל ישירות לתוך הסיליקון, גישה שונה מהותית מהפעלת מודלים על חומרה כללית. במקום לטעון משקלים בזמן ריצה, Taalas בונה מעגלים משולבים ספציפיים למודל (model-specific integrated circuits) שמותאמים לארכיטקטורה מסוימת.

המספרים מהדמואים

הדמואים הטכנולוגיים המוקדמים מראים מעגלים שמייצרים עד 17,000 טוקנים בשנייה. זהו מספר גבוה במונחי throughput, אבל חשוב לזכור שמדובר בהדגמה טכנולוגית ולא במוצר מסחרי. לא פורסמו מדדי latency, לא הוצגו השוואות מול מתחרים על אותה תצורה, ולא ברור באיזה מודל מדובר או באיזו רזולוציית כימות (quantization). מה שכן ברור הוא שהכיוון של חומרה מותאמת למודל ספציפי מקבל תנופה.

מה זה אומר בפועל

הרכישה מצביעה על כיוון שבו AMD מנסה להתחרות בשוק ה-inference, לא רק באימון. חריטת מודל לתוך סיליקון מאבדת גמישות, כי אי-אפשר לעדכן את המודל בלי לייצר צ'יפ חדש, אבל מרוויחה במהירות וביעילות אנרגטית. זו פשרה ארכיטקטונית אמיתית: פחות גמישות מול ביצועים גבוהים יותר למודל נתון. השאלה המסחרית היא האם לקוחות מוכנים להתחייב למודל ספציפי כדי לקבל את הביצועים האלה.

מה חסר בתמונה

ההכרזה לא כוללת מחיר רכישה, לוח זמנים למוצר מסחרי, או פרטים על אינטגרציה של צוות Taalas לתוך AMD. גם לא ברור איזה חלק מהטכנולוגיה של Taalas כבר בשל לייצור ואיזה חלק עדיין בשלב מעבדה. בהיעדר השוואות מול פתרונות inference קיימים, קשה להעריך את היתרון היחסי. נכון לעכשיו יש כאן כיוון טכנולוגי מעניין עם מספר גבוה אחד, אבל עדיין לא מספיק נתונים כדי לדעת אם זה משנה את המשוואה.