מה זה בעצם ViT - ולמה הוא שינוי תפיסתי בעולם הראייה הממוחשבת?

בעולם ה-AI מקובל היה לחשוב שנים שמודלים לראייה ממוחשבת צריכים להיות בנויים בצורה המזכירה את מבנה התמונה: שכבות קונבולוציה שמחליקות על הפיקסלים ומאתרות דפוסים מקומיים. ואז הופיע ViT - ‏Vision Transformer - והראה שאפשר לחשוב אחרת לגמרי.

מהו ViT?

ViT הוא מודל Transformer שמותאם לעיבוד תמונות. במקום לראות תמונה כמערך דו-ממדי רציף של פיקסלים, ViT מפרק אותה לרצף של “פאצ’ים” קטנים, וכל פאץ’ כזה מקבל ייצוג כטוקן - כמו מילים במשפט.

כך מתקבלת סדרה של טוקנים, שעליה פועל מנגנון Self-Attention בדיוק כפי שהוא עובד במודלים טקסטואליים.

איך זה עובד בפועל?

חלוקה לפאצ’ים (Patch Embedding)

התמונה מחולקת לריבועים קטנים - למשל 16×16 פיקסלים. כל ריבוע הופך לווקטור.

הוספת מיקום (Positional Encoding)

כמו במשפט, צריך לדעת מי בא לפני מי ומאיפה הגיע כל פאץ’. לכן מוסיפים מידע על מיקום כל פאץ’ בתמונה.

שכבות Transformer

Self-Attention מאפשר למודל ללמוד קשרים בין כל פאץ’ לכל פאץ’ אחר - לא רק אלו שקרובים אליו פיזית.

סיווג או משימה אחרת

לאחר עיבוד, מתקבל ייצוג כולל של התמונה המשמש לסיווג, זיהוי או הבנה מורכבת יותר.

למה זה חזק כל כך?

היתרון הגדול של ViT הוא היכולת לראות את כל התמונה כיחידה אחת. במודלים קונבולוציוניים (CNN), הראייה מתחילה ברמה המקומית ומתפתחת בהדרגה למבנה גלובלי. ViT, לעומת זאת, מאפשר קשרים מיידיים בין כל חלקי התמונה - ללא מגבלה של מרחק.

זה מספק:

• יכולת להבין מבנים מורכבים
• גמישות לעבודה על מגוון משימות
• שילוב טבעי עם מודלים טקסטואליים
• הסתמכות על עוצמתן של ארכיטקטורות Transformer מוכרות

החיסרון - ופתרונותיו

ViT הבסיסי דורש כוח חישוב גדול משום שכל טוקן “רואה” כל טוקן אחר. כאשר התמונה גדולה - מספר הטוקנים גדל בהתאם.

פתרונות פופולריים כוללים:

• הפחתת רזולוציית פאצ’ים
• שימוש ב-Hierarchical ViT (למשל Swin Transformer)
• מנגנוני Attention יעילים יותר

מודלים מודרניים כמו InternViT נשענים בדיוק על חידושים מסוג זה.

הנמשל

אפשר לתאר ViT כצוות מומחים שלא יושבים בשורות קבועות, אלא סביב שולחן עגול:

• כל מומחה יכול לדבר עם כל אחר ישירות.
• כולם משתפים מידע בזמן אמת.
• מבינים את “התמונה הגדולה” מהר יותר מוועדה היררכית שבה מידע עובר שלב-שלב.

זו הסיבה ש-ViT מצליח לזהות דפוסים רחוקים ומרכיבים גלובליים ביתר קלות.

טיפ אדריכלי

כאשר הטנזור נכנס למודל ViT, גודל הפאץ’ משפיע בצורה דרמטית על הביצועים:

• פאצ’ים קטנים → הרבה טוקנים → הבנה מפורטת אך יקרה חישובית.
• פאצ’ים גדולים → פחות טוקנים → עיבוד מהיר יותר אך ברזולוציה נמוכה.

במערכות Inference גדולות, התאמת גודל הפאצ’ים לצורך העסקי היא אחת הדרכים המרכזיות לשמור על זמן תגובה נמוך.

סיום

ViT מסמן את המעבר מגישה מקומית לגישה גלובלית בעיבוד תמונה. לא עוד “סריקות שכבתיות”, אלא הבנה ישירה של מבנה התמונה כולה. זהו הרעיון שהוביל דור חדש של מודלי ראייה - ושעליו נבנו שושלות מתקדמות כמו InternViT ומערכות רב-מודאליות גדולות.