STITCH של Microsoft: דיבור עם ריזונינג, ללא עיכוב

המאמר של Microsoft מציג שיטה שבה מודל דיבור מייצר בו‑זמנית שני סוגי טוקנים – טוקנים קוליים וטוקנים של ריזונינג – כך שהשיחה מתנהלת ללא עלייה משמעותית בזמן ההמתנה. הרעיון מתבסס על עובדה שהמודל מסוגל לייצר טוקנים קוליים בקצב של חצי שנייה עבור קטע שיישמע במשך כשתיים, ובזמן שהמשתמש מקשיב למקטע זה המערכת מנצלת את החלל הפנוי לייצר טוקנים של ריזונינג. כך, במקום לעצור את הפקת הקול כדי להוסיף ריזונינג מראש, המערכת משולבת את שני המרכיבים ברצף רציף.

במחקר השוואתי נבדקו שלושה מצבים: מודל בסיסי ללא ריזונינג, מודל שמוסיף ריזונינג לפני הפקת הקול (שבמקרה זה משפר את האיכות אך מגדיל את ה‑latency), והגרסה המוצעת – STITCH – שבה הריזונינג משולב ישירות בתהליך הפקת הקול. התוצאות מצביעות על כך ש‑STITCH שומר על זמן תגובה כמעט זהה לבסיס, בעוד שהאיכות מתקרבת לזו של המצב עם ריזונינג מוקדם.

במקביל, המאמר מציג את מודל Latent Speech‑Text Transformer, שמטרתו לצמצם את הפיזור של ייצוגי קול בטוקנים. בעוד שהקול דורש עשרות טוקנים לשנייה לעומת שלושה טוקנים טקסטואליים, הקובעים מציעים לאחד קבוצות של טוקנים קוליים ל‑latent patch – פיסת מידע שמכסה קטע משמעותי של דיבור, ולא קבועה מראש כמו “כל ארבעה טוקנים ל‑patch”. גישה זו שואפת להפוך את הקול לייצוג קומפקטי ונגיש יותר למודלים של שפה, ובכך לשפר את הקשר הסמנטי בין הקול לטקסט.

STITCH ו‑Latent Speech‑Text Transformer משקפים שני קווי מחשבה שונים אך משולבים: הראשון מתמקד במינימיזציה של זמן תגובה תוך שמירה על רמת ריזונינג גבוהה, והשני על דחיסת ייצוגי הקול ליעילות חישובית טובה יותר.