סוכני קוד מנווטים טוב יותר כשיש להם מפת התנהגות, לא רשימת קבצים

הבעיה: קונטקסט מפוזר

כל מי שרץ אי פעם סוכן קוד על ריפו אמיתי מכיר את התסכול: הפרומפטים, הכלים, הזיכרון והלוגיקת הריצה מפוזרים על פני עשרות פונקציות וקבצים. הסוכן מבין מה צריך לשנות, אבל מחמיץ חצי מהמימוש כי הוא לא רואה את התמונה המלאה. חוקרים של Harness Handbook מציעים פתרון פשוט לכאורה, לבנות "מפה" נפרדת שמתארת מה המערכת עושה, ומקשרת כל התנהגות למקומות המדויקים בקוד.

איך זה עובד

ה-Handbook נבנה אוטומטית דרך static analysis משולב עם LLM, ומחזיק שלוש רמות פירוט. הקשרים בין החלקים עוברים דרך shared state, והמפה מתעדכנת אחרי כל שינוי. כשהסוכן מקבל משימה, הוא קודם מאתר את ההתנהגות הרלוונטית במפה, ואז יורד בהדרגה לקוד הקונקרטי ומוודא מול הריפו המעודכן. זה לא עוד קונטקסט, זה נווט.

המספרים מדברים

על משימות שינוי של Codex, איכות התוכניות קפצה מ-28.3% ל-38.3%. על Terminus-2, מ-26.7% ל-45.6%. במקביל, צריכת הטוקנים של המתכנן ירדה ב-12.7% וב-8.6% בהתאמה. כל 24 ההשוואות של Recall, Precision ו-F1 לאיתור מקומות עריכה השתפרו. חשוב לציין: המחקר מדד איכות תוכניות שינוי, לא הצלחה של פאצ'ים בפועל.

פחות קונטקסט, יותר ארכיטקטורה

השורה התחתונה ברורה: לסוכני קוד, נווט ארכיטקטוני טוב לפעמים שווה יותר מעוד אלפי טוקנים של קונטקסט גולמי. במקום לדחוף לסוכן את כל הריפו ולקוות שהוא יסתדר, נותנים לו מפה שמדברת בשפת "מה המערכת עושה", והוא כבר ימצא את ה"איך" בקוד. המאמר זמין ב-arXiv:2607.13285.