מה זה NCHW - ולמה כולם מדברים על זה כשמדובר בטנזורים של רשתות נוירונים?

כשאנחנו מדברים על מודלים של ראייה ממוחשבת (כמו CNN), הנתונים שלנו מגיעים בדרך כלל כתמונות - אבל המחשב לא “רואה תמונה” אלא טנזור: מערך רב-ממדי של מספרים.

כדי לעבד תמונה בצורה יעילה, PyTorch (וגם רוב הספריות) צריכות לדעת באיזה סדר נמצאים הממדים של הטנזור - כאן נכנסים המונחים NCHW ו-NHWC.

הפירוש של NCHW

האותיות הן קיצור של:

• N - מספר הדגימות (batch size)
• C - מספר הערוצים (channels) - לדוגמה, 3 לתמונה צבעונית (RGB)
• H - גובה (Height)
• W - רוחב (Width)

למשל, טנזור בגודל: (32, 3, 224, 224) משמעו:

• 32 תמונות
• כל אחת עם 3 ערוצים
• וכל תמונה בגודל 224×224 פיקסלים

ומה לגבי NHWC?

יש גם פורמט חלופי - N (batch) → H (height) → W (width) → C (channels).

כלומר, הערוצים נמצאים בסוף. פורמט זה נפוץ יותר ב-TensorFlow וב-CUDA, משום שבחומרה מסוימת הוא יעיל יותר לגישה בזיכרון.

למה זה חשוב?

אם תכניס טנזור בפורמט הלא נכון לשכבת קונבולוציה - תקבל או שגיאה, או תוצאה שגויה לגמרי. בנוסף, מעבר בין פורמטים (למשל מ-NCHW ל-NHWC) יכול להשפיע על ביצועים בזמן הרצה.

ב-PyTorch, ברירת המחדל היא NCHW, אבל ניתן להמיר בין הפורמטים בעזרת:

x = x.permute(0, 2, 3, 1)  # NCHW → NHWC

טיפ לאופטימיזציה

במכשירים כמו GPUs או NPUs, לפעמים כדאי לבדוק אם המימוש שלך רץ מהר יותר עם פורמט NHWC. לדוגמה:

x = x.to(memory_format=torch.channels_last)

פקודה זו מאפשרת ל-PyTorch לנצל טוב יותר את סידור הזיכרון של החומרה - במיוחד במודלים גדולים או כשיש מגבלות רוחב פס בזיכרון.

סיכום

פורמט	סדר ממדים	שימוש עיקרי	יתרון
NCHW	Batch → Channels → Height → Width	ברירת מחדל ב-PyTorch	עקביות עם רוב האופרטורים
NHWC	Batch → Height → Width → Channels	TensorFlow, GPU-optimized	נגישות יעילה יותר לזיכרון

לסיכום

NCHW הוא לא סתם “עוד סדר ממדים” - זו החלטה ארכיטקטונית שמשפיעה ישירות על מהירות, שימוש בזיכרון, ותאימות בין ספריות. כשמבינים את זה, מבינים גם למה אופטימיזציה ב-inference מתחילה כבר ברמת סידור הטנזור.