למה Inference הוא המקום שבו אוטומציה נשברת

אוטומציה נתפסת כמעט תמיד כטוב מוחלט. פחות מגע יד אדם, תגובה יותר מהירה, יותר “חוכמה” במערכת.

אבל דווקא ב-Inference, אוטומציה מלאה היא לא יעד - אלא סיכון.

Inference הוא המקום שבו צריך לדעת מתי לא לאוטומט.

למה אוטומציה כל כך מפתה?

כי Inference חי על גרפים ומדדים:

• latency
• עומס
• קצב בקשות
• ניצול משאבים

וכשיש מספרים, הפיתוי ברור: אם המדד עלה - נגיב. אם ירד - נתאים. אם יש עומס - נוסיף משאבים.

על הנייר, זה נראה מושלם.

אוטומציות שמגיבות מהר מדי

הבעיה מתחילה כשהאוטומציה מגיבה לפני שהמערכת הספיקה להתייצב.

Inference הוא מערכת עם אינרציה:

• תורים לא מתרוקנים מיד
• עומס לא נעלם ברגע
• שינוי אחד משפיע על אחרים

אוטומציה שמגיבה מהר מדי:

• רואה תנודה רגעית
• מפרשת אותה כבעיה
• ומבצעת שינוי שמעצים את התנודה

במקום ייצוב - נוצרה תנודתיות.

למה auto-scaling יכול להזיק?

Auto-scaling מבוסס על הנחה פשוטה: יותר עומס → יותר משאבים → פתרון.

אבל ב-Inference, עומס הוא לא תמיד בעיית קיבולת.

לפעמים הוא נובע מ:

• סדר עיבוד לא נכון
• head-of-line blocking
• עיכוב קטן שהצטבר
• או שינוי קצב פנימי

במצבים כאלה, הוספת משאבים:

• לא פותרת את הבעיה
• מטשטשת את המקור
• ומוסיפה מורכבות חדשה

המערכת “גדלה” - אבל לא משתפרת.

אוטומציה מול הבנה מערכתית

אוטומציה טובה יודעת לבצע החלטות שכבר הוגדרו היטב. Inference לעיתים דורש החלטות שעדיין לא הוגדרו.

לדוגמה:

• האם latency עלה בגלל עומס אמיתי או בגלל שינוי סדר?
• האם להגדיל batch או דווקא להקטין?
• האם זה אירוע חולף או שינוי דפוס?

אלו שאלות הקשריות. אין להן כלל אוניברסלי.

כשאוטומציה מקבלת אותן - היא נאלצת לנחש.

המשל: תרמוסטט רגיש מדי

דמיינו תרמוסטט שמגיב לכל שינוי זעיר בטמפרטורה. חצי מעלה - חימום. עוד חצי - קירור.

התוצאה: המערכת כל הזמן עובדת, אבל הטמפרטורה אף פעם לא יציבה.

גבולות ההתאמה האוטומטית

Inference טוב לא מוותר על אוטומציה - הוא מציב לה גבולות.

לדוגמה:

• אוטומציה בטווחים צרים
• קצבים מוגבלים לשינוי
• עיכוב מכוון לפני תגובה
• ונקודות שבהן נדרש שיקול דעת אנושי

המטרה איננה לשלוט בכל דבר אוטומטית, אלא למנוע תגובות יתר.

סיום

Inference הוא המקום שבו מתברר שלא כל דבר צריך להיות אוטומטי.

לפעמים, היכולת לעצור, להתבונן, ולא להגיב מיד -

היא בדיוק מה שמחזיק את המערכת יציבה.

ובהנדסה יציבה, גם לא לעשות זו החלטה.