למה Inference טוב לא מנסה לנצח את הזמן

יש פיתוי קבוע “למחוץ” זמן. להוריד עוד מילישנייה. לעקוף עוד שלב. לגרום לדברים לקרות עכשיו.

אבל Inference טוב מבין משהו אחר:

זמן הוא לא אויב. הוא תנאי פיזיקלי.

Latency לא נובע מעצלנות

הוא נובע ממציאות:

• נתונים צריכים להגיע
• זיכרון צריך להיטען
• חומרה צריכה לעבוד
• ותהליכים צריכים תור

אפשר לשפר. אי אפשר לבטל.

כשמערכת מנסה “לנצח את הזמן”

היא מתחילה לעקוף אותו.

לעשות דברים:

• במקביל בלי גבולות
• מראש “ליתר ביטחון”
• עם קיצורי דרך שקטים

בהתחלה זה נראה כמו הצלחה. המספרים יורדים. הגרפים נראים טוב.

אבל המחיר מגיע אחר כך.

ניסיון למחוץ זמן מייצר חוב תפעולי

• עוד caching שלא ברור מתי מתנקה
• עוד concurrency שקשה להבין
• עוד הנחה ש”בדרך כלל זה מהיר”

וכשהעומס משתנה, או כשהקלט אחר, או כשמשהו קטן נשבר -

המערכת כבר לא יודעת להסביר את עצמה.

מה Inference יציב שואל

לא: “איך נעשה את זה הכי מהר בכל מחיר?”

אלא:

• מה ה-latency שאנחנו יכולים לעמוד בו
• איך המערכת מתנהגת בעומס
• ואיך היא נכשלת כשאין ברירה

זו לא מלחמה בזמן. זו קבלה שלו.

תכנון סביב זמן

אומר:

• להניח שדברים ייקחו זמן
• להניח שיהיו זנבות
• ולהניח שיהיו עיכובים

ולבנות מערכת שממשיכה לעבוד גם כשהזמן לא משתף פעולה ויש עיכובים.

המשפט המסכם

Inference טוב לא רודף אחרי הזמן. הוא מתכנן איתו.

כי במערכות אמיתיות, מי שמקבל את הזמן כעובדה - בונה מערכת שחיה הרבה יותר זמן ממערכת שניסתה להביס אותו.