הסבר פשוט
דמיינו שאתם על הר בערפל. רוצים להגיע לעמק (שגיאה קטנה).
אתם מרגישים איפה יותר תלול — ופוסעים הפוך מהעלייה.
זה gradient descent. ככה מודלים 'לומדים' לשפר ניחושים.
- שגיאה גבוהה = גבוה על ההר
- צעד קטן = למידה יציבה
- יותר מדי גדול = קופצים ומפספסים
תרגול קטן
לחצו על הפעל וראו את הנקודה יורדת לעמק.
מקור השראה: Compendium ch03 optimisation