רוחב פס בזיכרון ובשבבים - למה זה קריטי לביצועי מערכות AI

כשמדברים על ביצועים, אנחנו רגילים לחשוב על כוח עיבוד - כמה פעולות המעבד מסוגל לבצע בשנייה. אבל בפועל, יש גורם נוסף שקובע לא פחות: כמה מהר הנתונים יכולים להגיע אליו מהזיכרון.

רוחב פס (Bandwidth) הוא הכמות המרבית של נתונים שאפשר להעביר דרך ערוץ תקשורת פנימי - bus, DDR, HBM - ביחידת זמן. המדד הנפוץ הוא GB/s.

למה זה קריטי ב-Inference

במודלי AI, המעבד (CPU, GPU או DPU) חייב להזרים כמויות עצומות של נתונים מהזיכרון. אם רוחב הפס קטן מדי, המעבד מחכה לנתונים במקום לחשב, והמערכת כולה מאטה.

המעבד יודע לחשב מיליוני פעולות בשנייה, אבל אם הנתונים מגיעים מה-DDR באיחור - אין משמעות לכוח שלו.

לכן משתמשים בזיכרונות כמו HBM, שמספקים רוחב פס רחב פי כמה מ-DDR רגיל.

הבחנה חשובה: רוחב פס בתוך המערכת, לא רק ברשת

בשונה מרוחב פס של תקשורת רשת, כאן מדובר בערוצים פנימיים בתוך השבב או בין השבב לזיכרון הצמוד לו. המשמעות המעשית שונה:

• רוחב פס נמוך מספיק בין CPU ל-DDR עלול “לרעיב” מאיץ חזק, גם אם התקשורת ברשת מהירה בהחלט.
• לכן ב-AI Inference אי אפשר להסתפק בבדיקת רוחב הפס של הרשת - צריך למדוד גם את הנתיב הפנימי בין המאיץ לזיכרון שלו.

טיפ אדריכלי

במערכות AI, לא תמיד צריך את רוחב הפס הגבוה ביותר בכל מקום. הטריק הוא לתכנן איפה bottleneck עלול להיווצר - בין המעבד לזיכרון? בין המאיץ לרשת? ולשם למקד את ההשקעה בארכיטקטורה או בתצורה הנכונה (NUMA, PCIe, HBM ועוד).

סיכום

רוחב פס הוא לא סתם נתון טכני - הוא הקצב שבו המידע זורם במערכת. ובדיוק כמו בכל מערכת חיה, אם הדם (הנתונים) לא זורם מהר מספיק, הלב (המעבד) לא באמת מממש את הפוטנציאל שלו.