מה זה HBM - ולמה הוא משנה את כללי המשחק בביצועי AI?
מה זה HBM - ולמה הוא משנה את כללי המשחק בביצועי AI?
בעולם שבו מודלים של בינה מלאכותית הולכים וגדלים, צוואר הבקבוק כבר מזמן לא נמצא רק במעבד - אלא בזיכרון. כאן נכנס לתמונה HBM - High Bandwidth Memory, זיכרון שתוכנן במיוחד כדי לעמוד בקצב של המאיצים המודרניים.
למה בכלל צריך HBM?
במערכות רגילות, הזיכרון (DDR) נמצא על לוח האם, במרחק פיזי מהמעבד. כדי לגשת אליו, הנתונים עוברים דרך ערוצים ארוכים יחסית, מה שמגביל את רוחב הפס ומהירות התגובה.
אבל במאיצי AI, כמו GPU או NPU, יש צורך להעביר כמויות עצומות של נתונים - מיליארדי חישובים בשנייה. אם כל חישוב צריך “לחכות” לזיכרון - הביצועים נופלים דרמטית.
אז מה שונה ב-HBM?
HBM הוא זיכרון שנמצא צמוד פיזית לשבב החישוב עצמו, בשכבות אנכיות (stacked memory). במקום שבבים שטוחים כמו ב-DDR, כאן השבבים מוערמים זה על גבי זה ומחוברים באמצעות מוליכים זעירים שנקראים TSVs (Through-Silicon Vias).
כך נוצר חיבור קצר במיוחד - וכתוצאה מכך:
- רוחב פס עצום (פי כמה מ-DDR5).
- צריכת חשמל נמוכה בהרבה.
- זמני גישה כמעט מיידיים.
במילים אחרות: בזיכרונות רגילים כמו DDR, כל שבב זיכרון הוא שכבה שטוחה שמונחת על לוח המעגל (כמו קומה אחת בבניין). ב-HBM לעומת זאת, כמה שכבות כאלה מוערמות אחת מעל השנייה - כלומר נוצר מגדל של שבבים.
כדי שכל השכבות האלה יוכלו “לדבר זו עם זו”, קודחים בתוך הסיליקון עצמו חורים זעירים שמוליכים דרכם זרם חשמלי. המוליכים האלה נקראים TSV - Through-Silicon Via (תרגום מילולי: “מעבר דרך הסיליקון”).
כך נוצר חיבור קצר, צפוף ומהיר מאוד בין השכבות - וזה מה שמאפשר ל-HBM להעביר נתונים במהירות עצומה, הרבה יותר מזיכרון DDR שבו האותות צריכים לעבור דרך לוח האם הארוך והאיטי יחסית.
כמה זה באמת מהיר?
רוחב הפס של HBM נמדד ב-GB/s, והוא גדל משמעותית בכל דור:
| דור | קצב העברה משוער | שנה בקירוב |
|---|---|---|
| HBM1 | ~128 GB/s | 2015 |
| HBM2 | ~256 GB/s | 2017 |
| HBM2E | ~410 GB/s | 2020 |
| HBM3 | ~819 GB/s | 2022 |
| HBM3E | מעל 1.2 TB/s | 2024 |
להשוואה, מודול DDR5 רגיל מעביר בערך 40-50 GB/s בלבד.
איך זה משתלב בארכיטקטורה?
בדרך כלל, המאיץ כולל:
- HBM קרוב לשבב - לחישובים הדורשים מהירות גבוהה.
- DDR או PCIe memory רחוק יותר - לאחסון כללי.
המעבד או המאיץ יודעים לאזן ביניהם - מהירות מול נפח, בהתאם לאופי המשימה.
דוגמה מהעולם האמיתי
GPU כמו NVIDIA H100 או המאיץ NR1 של NeuReality משתמשים ב-HBM כדי להזין את יחידות העיבוד בנתונים בקצב שלא ניתן להשיג בזיכרונות רגילים. בלי HBM - המאיץ היה עסוק יותר ב”המתנה למידע” מאשר בחישוב.
סיכום
HBM הוא לא “עוד סוג זיכרון” - הוא שינוי תפיסה: במקום להרחיק את הזיכרון מהמעבד, מקרבים אותו אליו פיזית ומקצרים את הדרך לנתונים.
במילים אחרות: אם DDR הוא כמו כביש מהיר מחוץ לעיר - HBM הוא כביש פרטי וישיר לתוך המעבד עצמו.