למה Inference טוב מתוכנן גם לאנשים שטועים

כשמערכת Inference כבר רצה בפרודקשן, לא רק הקוד משפיע עליה - אלא גם האנשים שמפעילים אותה.

וזה לא כי הם לא מקצועיים. אלא כי הם אנושיים.

Inference טוב לא מניח שמי שמפעיל אותו תמיד יקבל החלטות מושלמות. הוא מניח בדיוק את ההפך.

למה בכלל צריך לחשוב על טעויות אנוש?

בפועל, מערכות Inference מופעלות:

• תחת לחץ
• כשיש תקלות
• כשמשהו איטי וצריך להגיב מהר

במצבים כאלה, אנשים עושים:

• שינוי קטן בקונפיגורציה
• הדלקה של flag
• התאמה זמנית “רק כדי לראות אם זה עוזר”

אלה לא טעויות קיצוניות. אלה פעולות יומיומיות.

מערכת שלא לוקחת את זה בחשבון - עלולה להישבר מהר מאוד.

מה הם knobs, flags ו-overrides?

בפשטות: אלה כפתורים ופרמטרים שמאפשרים לשנות התנהגות של המערכת בלי לשנות קוד.

לדוגמה:

• כמה בקשות לעבד במקביל
• האם להפעיל batching
• איזה מודל לבחור
• או איך לתזמן עבודה

הם קיימים כדי לעזור. אבל כל אחד מהם גם משנה את האיזון של המערכת.

למה “רק שינוי קטן” הוא מסוכן?

כי Inference הוא לא רכיב אחד - הוא שרשרת.

שינוי קטן יכול:

• להעמיס על תור
• להזיז עבודה לרכיב אחר
• להאריך זמני המתנה
• או ליצור עומס במקום שלא היה בעייתי קודם

האדם רואה שינוי קטן. המערכת מרגישה שינוי גדול.

אז מה עושה מערכת Inference טובה?

היא לא סומכת רק על זהירות אנושית. היא מגנה על עצמה.

לדוגמה:

• נותנת ברירות מחדל בטוחות
• מגבילה ערכים קיצוניים
• מאפשרת שינוי הדרגתי, לא חד
• מקשה על שינויים חדים בפרודקשן

המטרה היא לא למנוע שינוי - אלא למנוע נזק לא מכוון.

תכנון שמניח טעויות כמצב רגיל

ההבדל החשוב הוא בגישה.

לא: “אם ישתמשו בזה נכון - זה יעבוד”

אלא: “זה חייב להמשיך לעבוד גם כשמשתמשים בזה לא מושלם”

Inference טוב מניח:

• שמישהו ישכח מה הוא שינה
• שמישהו יפעל לפי לחץ
• ושמישהו לא יראה את כל התמונה

וזה בסדר.

המשל: רכב מודרני

ברכב טוב:

• אפשר לטעות בהיגוי
• אפשר לבלום מאוחר
• אפשר להאיץ יותר מדי

והרכב עדיין מנסה לשמור על יציבות.

לא כי הנהג גרוע - אלא כי טעויות קורות.

Inference טוב מתוכנן בדיוק כך.

סיכום

Inference טוב לא מתוכנן רק לקוד נכון - אלא לעולם אמיתי.

עולם שבו:

• אנשים עושים שינויים
• לא הכול ידוע מראש
• והלחץ הוא חלק מהשגרה

מערכת ששורדת גם החלטות אנושיות לא מושלמות היא לא מערכת קשוחה - היא מערכת בוגרת.