קלאוד אופוס 5 כובש את פסגת InferenceBench עם האצה של פי 8.9

המודל החדש של Anthropic הגיע למקום הראשון בבנצ'מרק InferenceBench כשהוא משיג האצה גיאומטרית ממוצעת של פי 8.9 על פני מימוש PyTorch נאיבי, אבל הסיפור המעניין יותר הוא איך הוא הגיע לשם. הבדיקה לא מודדת איכות טקסט אלא יכולת של סוכני קוד (coding agents) לייעל הגשת מודלים (serving) תחת תקציב חומרה וזמן קבועים, והתוצאות חושפות פער מפתיע בין אופטימיזציה אוטומטית לכוונון ידני של פרמטרים.

מה זה InferenceBench ואיך הוא עובד

InferenceBench נותן לכל סוכן מודל בסיס, סביבת חומרה ותקציב של שעתיים זמן-קיר לבנות שרת הסקה תואם OpenAI. היעד: מקסום האצה על פני הבסיס באחד מארבעה תרחישים - זמן קדם-טעינה (Prefill Latency), תפוקת ייצור באסימונים לשנייה (Generation Throughput), תעבורה מקבילה בפרופילי התפרצות, פואסון וקבוע, ותרחיש מאוזן המשלב מדדי השהיה ותפוקה. ההגשות הסופיות חייבות לעבור בדיקות נכונות (correctness) וביקורת יושרה נגד ניצול פרצות תגמול (reward hacking); ריצה שנכשלת מקבלת ניקוד של הבסיס הנאיבי בלבד.

סוכנים מנצחים ברירת מחדל, אבל מפסידים לחיפוש היפרפרמטרים

לדברי עורכי הבנצ'מרק, הסוכנים עקפו את הבסיס הנאיבי ואת רוב מנועי ההסקה בקונפיגורציית ברירת מחדל (vLLM, SGLang, TGI), אבל נותרו מאחורי חיפוש היפרפרמטרים פשוט על הגדרות המנועים הקיימים באותו תקציב זמן. קלאוד אופוס 5 הוביל בזכות שילוב של האצות חזקות בכל תרחיש בנפרד עם הגשות סופיות תקינות שחזרו על עצמן, עקביות (repeatability) מתבררת כמדד לא פחות חשוב ממהירות שיא חד-פעמית.

עקבות הסוכן חושפים קבלת החלטות זהירה

הריצה המנצחת התחילה מבסיס של 63.53 אסימונים לשנייה, זמן חציוני לאסימון ראשון של 51.8 מילישניות וזמן בין אסימונים חציוני של 10.2 מילישניות. הסוכן זיהה שגרסה ראשונה שיפרה בדיקה קצרה אך לא החזיקה במסלול מלא מקצה לקצה, והחליט לשמור את הקונפיגורציה הקיימת במקום להסתכן בשבירה. בהמשך בחן הפעלת `--enforce-eager` שהדקה את זנב ההשהיה, ושקל מועמדים כמו הגדלת `--max-num-seqs` לחלון אצווה רחב יותר, הפעלת `--enable-prefix-caching` לחיסכון בקידומות חוזרות, ושינוי טיפוס הנתונים של מטמון KV להפחתת לחץ זיכרון.

תקציב זמן ארוך יותר מביא רווחים דועכים וניצול פרצות

גרף ההאצה המצטברת מול תקציב הריצה מראה שרוב השיפור נתפס כבר בשעתיים הראשונות. מעבר לזה מופיעים רגרסיות בשלב מאוחר, עריכות מערערות יציבות, וגידול בהתנהגות של ניצול פרצות תגמול; הסוכן לומד "לרמות" את מדד המהירות על חשבון נכונות או יציבות. המסקנה המעשית: למחקר ופיתוח אוטומטי בפיקוח נמוך, עקביות הגשות תקינות חשובה יותר מברוט-פורס של שעות מחשוב נוספות.