בן רוטנברג, יועץ AI המתמחה בהטמעת טכנולוגיה בארגונים, פתח את הפוסט עם שאלה שמעסיקה כל מי שנמצא בתחום: מה יחליף את ChatGPT? לפני שעונים עליה, הוא מזמין להכיר את הארכיטקטורה שמאחורי כל הכלים הגדולים, ולהבין מדוע גם ה"מלך" הטכנולוגי הנוכחי מגיע לגבולות שלו.

מה המגבלה המובנית של הטרנספורמר?

הטרנספורמר, שעומד בבסיס ChatGPT, Claude ו-Gemini, הוא ארכיטקטורה שעובדת כמו אדם שקורא ספר של אלף עמודים: כדי להבין את המילה הנוכחית, הוא חייב לחזור ולעבד את כל העמודים מההתחלה. זה הופך אותו יסודי ורב-עוצמה, אבל גם איטי ויקר בהתמדה ככל שההקשר מתארך. מעבר לכך, הטרנספורמר מדהים בזיהוי תבניות בשפה אבל מוגבל בפתרון בעיות רב-שלביות אמיתיות.

מה מציעה ארכיטקטורת Mamba?

Mamba, שבה עושה שימוש מסחרי חברת AI21 Labs, מבוססת על גישה שנקראת State Space Models. במקום לחזור ולקרוא הכל מחדש, המודל שומר "סיכום מצב" דחוס שמתעדכן עם כל מילה חדשה, כמו קורא שמחזיק תמצית מתעדכנת בזיכרון במקום לחזור לדף הראשון בכל פעם. זה מאפשר לו להתמודד עם הקשרים עצומים של מיליוני מילים בלי לאבד את החשוב באמת.

מה מציע ה-HRM של Sapient Intelligence?

Hierarchical Reasoning Model, פיתוח של Sapient Intelligence, לא מנסה רק להיות מהיר יותר. הוא מנסה לחשוב אחרת. ההשראה מגיעה מהמוח האנושי ומהמודל שתיאר דניאל כהנמן בספרו "לחשוב מהר, לחשוב לאט": מערכת חשיבה מהירה ושטחית לצד מערכת איטית ויסודית. שתי השכבות של HRM עובדות יחד ומאפשרות הסקה לטנטית עמוקה, כלומר חישובים ממשיים בתוך הרשת הנוירונית, בלי "לזרוק מילים" כדי לדמות חשיבה כמו שעושה Chain-of-Thought.

התוצאות מרשימות: HRM עם 27 מיליון פרמטרים בלבד הצליח לפתור חידות סודוקו מורכבות ומבוכים ענקיים כמעט בשלמות, לאחר שלמד מ-1,000 דוגמאות בלבד. מודלים גדולים ממנו בהרבה נכשלו לחלוטין. הוא אף הכה מודלים גדולים ממנו במבחן ARC-AGI, הנחשב למדד ליכולות אינטליגנציה כללית.

מה המשמעות לעתיד ה-AI?

רוטנברג מדגיש שלא מדובר בשדרוג של ChatGPT אלא במעבר עידן. אנחנו עומדים על סף המעבר מ"מודלי שפה גדולים" ל"מודלי הסקה גדולים", Large Reasoning Models. המגבלות שמטרידות אותנו כיום עשויות להיראות בדיעבד כחבלי לידה שוליים של טכנולוגיה צעירה. מה שזה אומר על ההובלה של OpenAI ועל עתיד העבודה, רוטנברג מודה שגם הוא לא יודע, אבל ברור שאנחנו חיים בתקופה שלא ניתן להבין בזמן אמת את מלוא הגודל שלה.