גוגל משיקה מודל תרגום שפת סימנים לטקסט על פיקסל 11

חתימה במקום הקלדה

גוגל דיפמיינד (Google DeepMind) משיקה את SL2T, מודל שמתרגם שפת סימנים אמריקאית (ASL) ישירות לטקסט אנגלי, ומשלבת אותו ב-Gboard וב-Live Transcribe על מכשירי Pixel 11. לראשונה, משתמשים חירשים וכבדי שמיעה יכולים לחתום אל הטלפון במקום להקליד או להכתיב קולית. המודל פותח בשיתוף הקהילה החירשת, בהנחיית עובדי גוגל חירשים וועדה מייעצת לבינה מלאכותית בשפת סימנים, והחברה מצהירה שהכוונה להרחיב את התמיכה ל-50 שפות סימנים נוספות בהמשך.

איך זה עובד מתחת למכסה המנוע

בניגוד לגישות קודמות שניסו לפרק את השפה לרכיבים נפרדים, SL2T מאומן לתרגם תנועות סימולטניות של הידיים, הגוף והפנים ישירות לטקסט. שפות סימנים הן שפות טבעיות מלאות עם דקדוק מרחבי והבעות פנים שנושאות משמעות תחבירית, לא רק אוצר מילים של מחוות. המודל לוכד את הרצף המלא הזה כפוזות גוף (body poses) ומעבד אותו מקצה לקצה. לדברי החוקרים, זהו המכשול הטכני המרכזי שעיכב את התחום שנים: הנחה מוטעית ששפת סימנים היא "מילים בידיים" בלבד.

פרטיות בארכיטקטורה היברידית

הפתרון של גוגל מפצל את העיבוד: מעקב הפוזות רץ מקומית על המכשיר (on-device), ורק ייצוג הפוזות נשלח לענן לתרגום לטקסט. זה אומר שהווידאו הגולמי של המשתמש לא יוצא מהטלפון, שיקול קריטי כשמדובר בתקשורת אישית. מצד שני, התרגום עצמו דורש כוח מחשוב שהמכשיר לא מספק, אז הארכיטקטורה ההיברידית היא פשרה מעשית. החברה לא פרסמה מדדי השהיה (latency) רשמיים, אבל הטענה היא שהמודל מותאם לשימוש אמיתי, כולל חתימה ביד אחת כשהשנייה מחזיקה את הטלפון.

בנצ'מרקים ושימוש בעולם האמיתי

לפי גוגל, SL2T מגיע לתוצאות State-of-the-art במבחנים אקדמיים מקובלים, אבל הנתון המעניין יותר הוא האופטימיזציה לתנאים לא אידיאליים: זוויות צילום משתנות, תאורה גרועה, חתימה מהירה וחתימה ביד אחת. משתמשים מוקדמים מציינים שכלי כתוביות קיימים קורסים כשהקצב עולה, אם SL2T מחזיק מעמד בשיחה חיה, זה השינוי האמיתי. החברה לא שחררה עדיין דוח טכני מלא או קוד, והמודל זמין רק על Pixel 11 בשלב זה.

לא "עבור" הקהילה, איתה

הדגש על פיתוח "עם הקהילה, לא עבורה" חוזר בכל ההודעות הרשמיות. עובדי גוגל חירשים והוועדה המייעצת היו מעורבים משלב הגדרת הבעיה דרך איסוף נתונים ועד בדיקות שמישות. זה לא רק עניין אתי: בלי הבנה פנימית של דקדוק מרחבי, נורמות תרבותיות וצרכים יומיומיים (כמו חתימה ביד אחת), מודל כזה נועד לכישלון מעשי גם אם הבנצ'מרקים נראים טוב. ההרחבה המתוכננת ל-50 שפות סימנים תדרוש חזרה על התהליך הזה לכל שפה ותרבות חירשת בנפרד.