למה Inference לא אוהב שיפורים הדרגתיים

יש תחושה ששיפורים קטנים הם בטוחים. “רק עוד קצת”. עוד אופטימיזציה. עוד התאמה.

אבל ב-Inference זה מסוכן.

שינויים קטנים מצטברים לסיכון

אופטימיזציה טפטופית נראית לא מזיקה:

• מקטינים latency בכמה אחוזים
• משנים תזמון קטן
• מוסיפים cache נקודתי

כל שינוי בפני עצמו סביר. הבעיה היא הצטברות.

Inference הוא מערכת רגישה:

• לתזמון
• לעומסים
• ולאינטראקציות בין רכיבים

שינוי קטן אחד לא שובר. עשרה - כן.

”זה רק עוד קצת”

המשפט המסוכן ביותר הוא “זה רק עוד קצת”.

כי:

• אף אחד לא רואה את התמונה המלאה
• אין רגע ברור שבו “עברנו גבול”
• והמערכת משתנה בלי שמישהו התכוון לכך

כך נוצרת מערכת שונה לגמרי - בלי החלטה מודעת.

נקודות מפנה נסתרות

כאן נכנסות נקודות מפנה נסתרות.

רגעים שבהם:

• תור מתחיל להתנפח
• jitter הופך מורגש
• או כשל נדיר הופך לדפוס

הן לא נראות מיד. הן מתגלות רק תחת עומס, ובדרך כלל מאוחר מדי.

מה שאלה שכן מתאימה

Inference בוגר לא מתנגד לשיפור. הוא מתנגד לשיפור בלי גבולות.

הוא שואל:

• מה ההשפעה המצטברת
• איזה מדד נפגע
• ואיפה נקודת השבירה הבאה

סיכום

לפעמים עדיף שינוי אחד גדול וברור משורה של “שיפורים קטנים” שאיש לא שולט בהם.