למה מחיר נמוך יותר לטוקן לא בהכרח מוזיל את החשבון
בועז זינימן, מומחה ענן ו-AI ומרצה בינלאומי, מפנה זרקור לפער שרוב הארגונים מפספסים: החשבון החודשי על שימוש במודל שפה אינו נגזר ממחיר הטוקן בלבד, אלא ממכפלה שלו במספר הטוקנים שנצרכים בפועל.
הוא מדגים זאת דרך המעבר בין שתי גרסאות מודל של אנתרופיק. המחיר המפורסם למיליון טוקנים ירד בכשליש, מה שנראה על פניו כמו בשורה תקציבית ברורה לכל מי שמריץ עומסים בהיקף גדול.
אלא שהמספר הזה מתאר רק צד אחד של המשוואה. הצד השני, מספר הטוקנים, השתנה גם הוא, ודווקא בכיוון ההפוך.
איך שינוי tokenizer מוחק את רוב החיסכון
לפי הניתוח של זינימן, הגרסה החדשה עובדת עם tokenizer שונה, ואותו טקסט מייצר בה כ-30% יותר טוקנים. כשמכפילים מחיר נמוך יותר בכמות גדולה יותר, החיסכון האפקטיבי מצטמצם לכ-13% במקום 33%.
זהו הבדל מהותי מבחינה תקציבית. ארגון שבנה תחזית שנתית על בסיס הירידה המפורסמת עלול לגלות שהחיסכון בפועל קטן פי שניים וחצי ממה שתכנן.
זינימן מדגיש שמדובר בהערכה ממוצעת שתלויה בסוג התוכן, ולא בנוסחה קבועה. אבל עצם הקיום של הפער הזה מספיק כדי להצדיק בדיקה עצמאית לפני כל החלטת מעבר.
למה ארגונים שעובדים בעברית צריכים להיזהר במיוחד
המודלים המובילים אומנו בעיקר על טקסט באנגלית, והדבר משתקף באופן שבו הם מפרקים שפות אחרות. טקסט בעברית מתפרק לרוב ליותר טוקנים מטקסט אנגלי באותו אורך ובאותה משמעות.
המשמעות המעשית היא שמכפיל העלות שזינימן מתאר עשוי להיות גדול עוד יותר עבור ארגונים ישראליים. אותה משימה, באותו מודל, פשוט צורכת יותר יחידות חיוב.
לכן טבלאות השוואה גלובליות בין ספקים אינן מספקות תמונה מדויקת לשוק המקומי. הן נקודת פתיחה, לא מסקנה.
מה כדאי לעשות לפני מעבר בין גרסאות מודל
הדרך היחידה לקבל מספר אמין היא למדוד. מריצים דגימה מייצגת של עומס העבודה האמיתי דרך הגרסה החדשה, סופרים את הטוקנים שנצרכו בפועל, ומכפילים במחיר המעודכן.
הבדיקה הזו לוקחת שעות ספורות ויכולה למנוע פערי תקציב של עשרות אחוזים. היא גם יוצרת בסיס נתונים פנימי שמאפשר להשוות ספקים על אותה אמת מידה בפעם הבאה.
המסר של זינימן ישיר: כדאי להיות ערניים. מורכבות בתמחור אינה תמיד מקרית, והאחריות לבדוק את המספרים נשארת אצל הארגון.