למה Inference טוב מתוכנן סביב קצב טבעי

במערכות Inference יש פיתוי חזק לחשוב במספרים: כמה בקשות לשנייה. כמה Tokens הגבנו לשנייה. כמה אחוז ניצול.

אבל מערכות לא חוות מספרים - הן חוות קצב.

ולכל מערכת יש קצב שבו היא עובדת בצורה טבעית, יציבה ויעילה. כשעובדים איתו - הכול זורם. כשכופים קצב אחר - מתחילות הבעיות.

לכל מערכת יש “קצב נוח”

Inference הוא תהליך רציף: בקשות נכנסות, עוברות דרך שלבים, ויוצאות החוצה.

בפועל, המערכת מתנהלת כמו זרימה:

• יש מהירות כניסה טבעית
• יש זמן עיבוד אופייני
• ויש קצב שבו תורים מתמלאים ומתרוקנים בלי דרמה

זה הקצב שבו:

• latency יציב
• זנב נשלט
• משאבים מנוצלים בלי להיחנק

זה לא קצב מקסימלי. זה קצב בר-קיימא.

התאמת קצב עומס ליכולת - לא להפך

מערכת מתוכננת היטב לא שואלת: “כמה עומס אפשר לדחוף?”

אלא: “איזה קצב המערכת מסוגלת לשמור לאורך זמן?”

כאשר קצב הכניסה:

• תואם ליכולת העיבוד
• משאיר מרווח לתנודות
• מאפשר התאוששות מקומית

המערכת מרגישה רגועה.

אבל כשהעומס מגיע מהר מדי, גם אם “על הנייר” יש מספיק כוח חישוב - הפער מתבטא מיד:

• תורים מתארכים
• חריגים מתפשטים
• והזנב מתחיל לשלוט

למה forcing throughput פוגע

Forcing throughput הוא ניסיון להכריח את המערכת לעבוד בקצב שלא מתאים לה:

• עוד batching
• עוד מקביליות
• עוד retries
• עוד לחץ על אותם משאבים

בטווח הקצר - המספרים נראים טוב. בטווח הארוך - הקצב נשבר.

המערכת לא קורסת מיד. היא מתחילה לאבד קוהרנטיות:

• latency קופץ
• התנהגות נעשית פחות צפויה
• וכל שינוי קטן הופך לדרמטי

לא בגלל חוסר כוח - אלא בגלל קצב לא טבעי.

המשל

דמיינו הליכה.

לכל אדם יש קצב הליכה טבעי: אפשר לדבר, לנשום, להמשיך לאורך זמן.

אפשר גם לרוץ - אבל לא באותו קצב, ולא לאורך אותו זמן.

Inference שמתוכנן לריצה מתמדת נראה מרשים בדקות הראשונות, ומתעייף בדיוק כשצריך אותו יציב.

Inference כבעיה ריתמית, לא מספרית

Inference טוב לא נבנה סביב שיאים, אלא סביב קצב.

לא סביב:

• throughput מקסימלי
• ניצול מוחלט
• גרפים מרשימים

אלא סביב:

• זרימה רציפה
• עומס שנכנס בקצב צפוי
• מערכת שמסוגלת “לנשום”

זה תכנון ריתמי: להבין מתי דברים נכנסים, איך הם זזים, ומתי הם יוצאים - בלי להידחס זה בזה.

סיכום

Inference יציב לא מנסה להיות הכי מהיר בכל רגע. הוא מנסה להיות עקבי בכל רגע.

מערכת שמכבדת את הקצב הטבעי שלה:

• מחזיקה עומס לאורך זמן
• מגיבה טוב לחריגים
• ולא מופתעת מעצמה

כי בסופו של דבר, לא המספר הגבוה מנצח - אלא הקצב שאפשר לחיות איתו.