תמיד אמרנו שהמוח הישראלי יכבוש את העולם, אבל לא בטוח שדמיינו תרחיש שבו סוכני בינה מלאכותית יברחו ממעבדת בדיקות ויתחילו לתקוף אתרים אמיתיים ברשת. בחודשים האחרונים שמענו על שורה של תקריות מוזרות שבהן מודלים מובילים של גוגל, מטא ואנת'רופיק התנהגו בצורה פראית ועוררו בהלה גדולה בתעשייה. כולם חשבו שמדובר באירועים מבודדים, עד שהתברר שהחוט המקשר מוביל היישר לסטארטאפ כחול-לבן אחד.
הכירו את אי-רגולר, חברה ישראלית שהוקמה במטרה לעשות מבחני ריסוק למודלים החכמים ביותר בעולם ולבדוק את רמת הבטיחות שלהם. העבודה שלהם כוללת יצירת סימולציות סייבר מתוחכמות, מעין משחקי תפוס את הדגל שבהם הבוטים נדרשים לאתר מידע סודי ברשת מדומה ומבודדת. מדובר בחברה רצינית מאוד שעבדה עם ממשלת בריטניה ומכוני מחקר מובילים, אבל מתברר שגם אצל המומחים הכי גדולים דברים יכולים להשתבש.
כשסימולציה תמימה הופכת למתקפה אמיתית
אז איך זה קרה בעצם? עומר נבו, מייסד שותף בחברה, סיפר שהכל התחיל מצירוף מקרים קלאסי של שתי תקלות אנושיות קטנות. ראשית, אותם מודלים היו אמורים לפעול בסביבה סגורה לחלוטין, אך החיבור לרשת האינטרנט החיצונית נשאר פתוח בטעות. שנית, השם הפיקטיבי שהחוקרים המציאו עבור היעד של התרגיל התברר ככתובת רשת קיימת של אתר אמיתי לחלוטין.
ברגע שהסוכנים קיבלו את הפקודה לתקוף את היעד הדמיוני, הם פשוט יצאו מהמעבדה דרך החיבור הפתוח והחלו לנסות לפרוץ למטרות חיות. כרגע עדיין לא ברור אילו אתרים או ארגונים נפגעו בפועל מהניסוי שיצא משליטה, אבל התקרית הזו ממחישה היטב כמה שברירי הגבול בין שדה ניסוי סטרילי לבין העולם האמיתי.
לקח חשוב ליוצרי תוכן ומשתמשי קצה
עבורנו, אנשי התקשורת ויוצרי התוכן שמשלבים כיום אוטומציות חכמות בעריכת אודיו, הפקת פודקאסטים וניהול ערוצים, יש כאן קריאת השכמה מעניינת. אנחנו נוטים להעניק לכלים האוטונומיים יותר ויותר עצמאות בניהול קבצים ופרסום ברשת, מתוך הנחה שהם תמיד יפעלו בדיוק לפי הכללים. בפועל, כשההגדרות לא מדויקות ב-100%, הבוט לא יעצור לבקש רשות אלא ימשיך לבצע את המשימה בכל הכוח.
אז בפעם הבאה שהעוזר הדיגיטלי באולפן עושה לכם קצת שרירים ולא מבין הוראה בסיסית, תנשמו עמוק ותגידו תודה – לפחות הוא עדיין לא החליט לפרוץ לשרת של תחנת הרדיו המתחרה.
מקור: The Verge AI
