מעבדת האבטחה הישראלית ל-AI; עם דן להב מאירגולר | #27

רגע לפני שמודלי ה-AI המובילים יוצאים אל העולם, יש מעבדה שבודקת אותם. הסטארטאפ הישראלי Irregular עובד היום עם חברות ה-AI המובילות, ממשלות וארגונים כדי להעריך עד כמה מודלי AI חדשים בטוחים לפני שהם משתחררים לציבור. אז מה זה בכלל AI Safety ו-AI Security, ולמה הדיון הזה נהיה פתאום כל כך מעשי? ומה קורה שכמודל פורץ את ״הסנדבוקס״ שלו ומרמה ב-eval? השבוע אירחתי את דן להב, מייסד-שותף ומנכ״ל Irregular - g - דיברנו על למה בעיית ה-Alignment שלמעשה קיימת כבר שנים רבות (הרבה לפני ה-GenAI)? מה המודלים כבר יודעים לעשות היום שרוב האנשים מפספסים? והאם אנחנו מתקרבים לרגע שבו AI מאמן את הדור הבא של עצמו? וגם: למה חוקרים במעבדות ה-AI פתאום לומדים תלמוד? 00:00 - פתיחה: מה עושה Irregular? 09:51 - בעיית ה-Alignment: הבעיה הקנונית של AI Safety 14:59 - למה מודלים משתפרים בקצב מסחרר? 27:59 - למה קוד, מתמטיקה וסייבר משתפרים ראשונים, ומה זה Jagged intelligence? 36:52 - פייבל ומיתוס: קפיצת מדרגה אמיתית או שיווק? 48:15 - RSI: הרגע שבו AI יאמן את הדור הבא שלו בעצמו 54:44 - הקשר בין ה-AI והתלמוד 58:57 - בעוד 10-15 שנה יהיה AGI, מה אז?