Parallelism - איך גורמים למחשב “לחשוב” בכמה כיוונים בו-זמנית

כשאנחנו מריצים מודל בינה מלאכותית, הוא צריך לעבד המון חישובים מתמטיים. כדי שזה יקרה מהר - אנחנו רוצים שחלקים שונים מהחישוב יעבדו במקביל, ולא אחד אחרי השני. זו בדיוק המשמעות של Parallelism.

אז מה ההבדל בין Parallelism ל-Concurrency?

• Concurrency = כמה משימות “פתוחות” במקביל, גם אם המעבד קופץ ביניהן לסירוגין.
• Parallelism = כמה משימות ממש רצות בו-זמנית, על ליבות שונות או שבבים שונים.

דמיינו מטבח:

• בקונקרנסי - טבח אחד עובר בין כמה סירים.
• בפרלליזם - כמה טבחים שונים מבשלים יחד, כל אחד על סיר אחר.

למה זה חשוב ב-Inference?

כשמריצים מודל גדול, אפשר לחלק את העבודה בין כמה מעבדים או מאיצים:

• חלק אחד מחשב את השכבות הראשונות של המודל.
• חלק אחר מחשב שכבות אחרות במקביל.
• ובסוף מאחדים את התוצאה.

כך אפשר לקבל זמן תגובה קצר יותר בלי לפגוע בדיוק של המודל.

סוגים עיקריים של Parallelism

Data Parallelism

כל מאיץ מקבל עותק של המודל, אבל עובד על נתונים שונים. למשל: GPU אחד על תמונה א’, GPU אחר על תמונה ב’.

Model Parallelism

המודל עצמו מחולק בין כמה מאיצים. GPU אחד מחשב חלק מהשכבות, GPU אחר ממשיך מהיכן שהראשון עצר.

Pipeline Parallelism

השכבות של המודל זורמות כמו “פס ייצור”: בזמן שחלק מהמכשיר מחשב שלב אחד, השני כבר עובד על שלב אחר.

השורה התחתונה

Parallelism הוא אחת הדרכים המרכזיות לגרום למערכות AI לפעול מהר ובקנה מידה גדול. ככל שמודלים הופכים גדולים יותר - כך Parallelism הופך קריטי יותר לביצועים.