61: איך לוודא שהמודלים הגדולים לא אוכלים לנו את המוצר?

מהפכת ה-AI הציבה אתגר מורכב בפני חברות מוצר רבות: כיצד משמרים את הערך המוצרי מול מודלי שפה גנריים שהולכים ומשתכללים במהירות. בפרק זה, נדב לוי, Senior Product Manager בסולה סקיוריטי (Sola Security), משתף בדילמה שפגשה החברה, כאשר לקוחות תהו מדוע לא לבנות את הפתרון בעצמם באמצעות חיבור ישיר ל-API של מודל Frontier קלאסי. במקום להילחם בפידבק באופן שיווקי, הצוות הוכיח כי המעטפת המוצרית משפרת את רמת הדיוק מ-50% ל-85% ומייעלת את צריכת הטוקנים ב-300%. נדב מפרק את שלוש שכבות הקונטקסט ההכרחיות לפיצוח הבעיה, דן בטרייד-אוף המורכב שבין עודף גמישות לדטרמיניזם מוצרי, ומציג כלים מעשיים להתמודדות עם עלויות הכלכלה של הטוקנים, ניהול תחרות ישירה מול מודלים גנריים ומעבר ממוצר פסיבי למערכת אקטיבית המציפה תובנות למשתמש. See omnystudio.com/listener for privacy information.