Provisioning - הכנת הקרקע לפני שמריצים מודלים

לפני שמודל בינה מלאכותית בכלל מתחיל לרוץ, צריך “להרים” את הסביבה שהוא יעבוד בה. השלב הזה נקרא Provisioning - והוא בעצם התהליך של הקצאה והכנה של משאבי מחשוב.

אז מה זה כולל?

Provisioning קובע איפה ובאיזה תנאים ירוץ המודל. זה כולל:

• הקצאת שרתים, GPUs או CPUs
• חיבור לאחסון נתונים
• הגדרת רשתות, כתובות IP והרשאות
• טעינת המודלים לזיכרון

אפשר לחשוב על זה כמו להכין במה לפני הופעה - לפני שהשחקנים עולים (המודלים), צריך תאורה, מיקרופונים, חשמל, וסדר.

למה זה חשוב?

אם provisioning לא מבוצע נכון:

• המודל יעלה לאט.
• בקשות inference עלולות לקרוס.
• עלויות המחשוב יקפצו.

מצד שני, provisioning חכם יכול לחסוך זמן וכסף, במיוחד במערכות גדולות כמו data centers.

סוגים נפוצים של Provisioning

Static Provisioning

המשאבים מוקצים מראש ונשארים קבועים - מתאים לסביבה יציבה עם עומס צפוי.

Dynamic (או Auto) Provisioning

המשאבים מוקצים ומשתחררים אוטומטית לפי הצורך - אם מגיעות יותר בקשות inference, המערכת “מוסיפה כוח מחשוב” לבד.

Serverless Provisioning

המשתמש בכלל לא רואה שרתים - השירות עצמו מנהל את כל ההקצאה מאחורי הקלעים.

דוגמה מהעולם האמיתי

כשאתם שולחים בקשה למודל GPT או BERT, מאחורי הקלעים קורה משהו כזה:

1. Kubernetes או מערכת ניהול אחרת מזהה בקשה חדשה.
2. היא מקצה GPU פנוי.
3. טוענת את המודל לזיכרון.
4. ורק אז מתחיל ה-inference בפועל.

כל זה - provisioning בזמן אמת.

בשורה התחתונה

Provisioning הוא השלב שבו המערכת “מתארגנת” לפני העבודה. במערכות AI חכמות, הוא קורה אוטומטית - בשניות - אבל בלעדיו, שום מודל לא היה רץ.