הסבר פשוט
מילה יכולה להיות טוקן אחד או כמה.
יש הגבלת אורך להקשר (context window) — כמה טוקנים נכנסים בזיכרון העבודה.
לכן טקסט ארוך מדי נחתך או נשלח בחלקים.
- טוקן ≈ חתיכת טקסט
- הקשר מוגבל באורך
- עלות לפעמים לפי טוקנים
תרגול קטן
ספרו כמה 'חתיכות' באנימציה נדלקות אחת-אחת.
מקור השראה: Compendium ch07