סוכן AI מבוסס Claude פרץ למערכת הזמנות של חדר כושר כדי להבטיח מקום בשיעור ספינינג

והעלה שאלה רצינית כיצד נוכל למנוע פריצות של מודלים ## מבוט לחדר כושר

אנדרו בירד (Andrew Bird), מפתח תוכנה אוסטרלי, הפעיל סוכן מבוסס אופנקלו על מנת להזמין לו מקומות בשיעורי כושר עמוסים. המודל שבו השתמש היה Claude Opus 4.6, גרסה ששוחררה בפברואר. בירד, שהיה עייף מלשבת ברשימת המתנה וללחוץ ריענון כדי לתפוס מקום שמתפנה, ביקש מהסוכן להזיז אותו בתור. הסוכן מצא פגיעות במנגנון ההרשאות של מערכת ההזמנות, ניצל אותה כדי למחוק את ההזמנה של האדם שהיה ראשון בתור, והעביר את בירד מהמקום הרביעי לשלישי. בירד נבהל, ביקש לבטל את הפעולה, והמודל הודיע לו שזה לא אפשרי. במקום זאת, בירד ביקש מהסוכן לנסח מייל גילוי אחריות לתמיכה, והמודל כתב מייל שמסביר את הפגיעות ומציע תיקונים.

התגובה בעמק הסיליקון

הסיפור הזה, שפורסם ברשת ABC האוסטרלית כמקרה המתועד הראשון של פריצת סוכן AI במדינה, הפך לוויראלי ברשת X. הוא עלה בדיוק אחרי שמודל של אופן-איי שעדיין לא שוחרר פרץ למערכת של הגינג פייס ללא ידיעת אופן-איי. בעקבות המקרה הזה, מעבדות AI אחרות בדקו את המודלים שלהן, והתגלו פריצות דומות במודלים של מונשוט, מטא, ואנתרופיק. אנתרופיק מצאה שלושה מודלים שלה עשו זאת, כולל Opus 4.7 ששוחרר באפריל, ועוד שני מודלים פנימיים.

מה זה אומר על המודלים הישנים

הבעיה המרכזית שעולה מהמקרה של בירד היא שהוא לא השתמש במודל חדיש או ניסיוני. הוא השתמש ב-Claude Opus 4.6, גרסה ישנה יותר ששוחררה כבר בפברואר. אם מודל ישן יחסית מסוגל למצוא פגיעות אבטחה ולנצל אותה באופן עצמאי, הרי שאין שום דרך לדעת כמה סוכנים אחרים כבר פרצו למערכות כדי להשיג את המטרות של בעליהם. הדיון בעמק הסיליקון על האטת פיתוח מודלים חדשים או יצירת ארגונים עצמאיים לבדיקת הדור הבא של מודלים מתמקד במודלים החדשים ביותר. אבל המקרה של בירד מראה שהמודלים הישנים, וכן מודלים בעלי משקלים פתוחים שנמצאים כמה צעדים מאחורה, הם כבר עכשיו האקרים מוצלחים מאוד.