• arik klein

על ההקשר בין משחקי וידאו, תקיפות סייבר ובינה מלאכותית

עודכן ב: 13 אוק 2019

הבינה המלאכותית תשנה את כללי המשחק בין תוקפי ומגיני הסייבר - היכונו לשינוי פרדיגמות ההגנה !


ההתעניינות שלי בעולם הבינה המלאכותית החלה כשחבר הפנה את תשומת ליבי לחברת DeepMind. מדובר בחברה בריטית שנרכשה בשנת 2014 על ידי Google בלמעלה מ- 500 מיליון דולר ומאז היא משמשת כזרוע המחקר פורץ הדרך של חברת Google בתחום הבינה המלאכותית. היא מבצעת מחקרי שימוש בבינה המלאכותית במגוון תחומים: ביולוגיה - חקר הפרוטאין, רפואה - זיהוי מחלות עיניים וסרטן השד, ואפילו ביצעה אופטימיזציה של ניהול אנרגית חוות שרתי גוגל וסייעה בכך לצמצם עלויות.

כאיש סייבר וחובב משחקי וידאו, התעניינתי במחקרים המרתקים של החברה בתחום מכונות בינה מלאכותית שלומדות לשחק משחקים וידאו וניסיתי להבין האם יכולות המשחק של מכונות בינה מלאכותית יכולות לשמש תוקף סייבר?



בשנת 2013 פרסמו חוקרי החברה מאמר שמתאר כיצד פיתחו מכונת בינה מלאכותית בעלת יכולת ללמוד לשחק משחקי ATARI וכל זאת מבלי שקודדה בה תוכנה ייעודית של כללי המשחק - המכונה למדה לשחק את המשחק באמצעות תהליך לימוד סיזיפי ומתמשך במסגרתו שיחקה שוב ושוב משחקים ולמדה בכל אחד מהם מה עשתה טוב ומה פחות טוב. המכונה שהוצגה במאמר היא כזו שלעולם אינה מפסידה!



GO

גו (GO) הוא משחק לוח אסטרטגי לשני שחקנים, שמשוחק על לוח רשת בגודל 19 × 19, ומטרת המתמודדים היא להקיף שטחים כמה שיותר גדולים על לוח המשחק. חוקי המשחק פשוטים יחסית, ולמרות זאת הוא נחשב הרבה יותר מסובך ממשחק שח מט. רק כדי להכניס דברים לפרופורציות, בעוד שבשח מט מספר הפוזיציות החוקיות הן בין 43^10 ל- 50^10, הרי שב- GO מספר האפשרויות מוערך ב- 2x10^170.

בשנת 2015 הכריזה החברה על AlphaGo, מכונת בינה מלאכותית מבוססת רשת נוירונים, שלימדו אותה לשחק את המשחק, גם כאן, מבלי שקודדו בה חוקי המשחק. הדור הראשון של AlphaGo, שיצא לעולם בשנת 2015, התחרה מול שחקנים אנושיים מובילים בעולם וניצח אותם.


אלוף העולם Lee Sedol מופתע מהמהלך של המכונה

מכונת הדור שני של AlphaGo אומנה מול מכונת הדור הראשון, וכתוצאה מכך, התקצר משך הפיתוח באופן משמעותי, והיא הייתה כבר הרבה יותר חזקה.

בשנת 2016 שיחקה מכונת הדור השני מול Lee Sedol, אלוף העולם מזה 18 פעמים. היא ניצחה אותו ככל המשחקים (למעט אחד שהפסידה בגלל בעיית תקשורת) והותירה את המומחים המומים. באחד המשחקים היא ביצעה מהלך מפתיע, שגרם ל- Lee לנטוש את המשחק לדקות ארוכות. מהלך זה הוביל בסופו של דבר לניצחון של AlphaGo במשחק. המומחים שנתחו את המהלך, קבעו ש- AlphaGo הציגה אסטרטגיה משחק יצירתית, לא קונבנציונלית שטרם שוחקה ע"י בני אדם, ולמעשה הדגימה בפעם הראשונה תכונות שהיו עד עתה מנת חלקו רק של האדם.


השנה הכריזה החברה על AlphaZero, שלמדה לשחק שח, Go ו- Shugi - ניתן לקרוא על ההישג יוצא הדופן הזה כאן).

Capture the flag

תפוס את הדגל, (Capture the flag (CTF, הוא משחק וידאו פופולארי, בו שתי קבוצות שחקנים מנסות לגנוב זו את דגלה של זו בזירות לחימה שונות ובמקביל שומרות על הדגל של עצמן. האתגר בפני השחקנים הוא ההתמצאות בזירות לחימה משתנות ופיתוח אסטרטגית משחק משותפת למספר שחקנים.

האם מכונות בינה מלאכותית מסוגלות להתמודד עם אתגר זה? האם גם הפעם תנצח המכונה את האדם?



ביולי 2018 נתנה DeepMind תשובה לכך כשהציגה סוכני בינה מלאכותית שלמדו לשחק Capture the Flag. שוב, ובדומה ל- AlphaGo הסוכנים החלו את תהליך הלמידה בלי ידע מוקדם על המשחק ובנוסף גם ללא הכרות עם זירות המשחק. הם למדו כיצד לשחק, התמודדו עם זירות שונות, והחשוב מכל, פיתחו אסטרטגית משחק משותפת. משהושלם פיתוח המכונות, התקיים טורניר בהשתתפות עשרות שחקנים אנושיים וסוכנים, כאשר צוותי המשחק היו מעורבים קרי בני אנוש וסוכנים AI. התוצאות היו מאלפות – סוכני הבינה המלאכותית הגיעו ל- Win Rate גבוה משמעותית מהשחקנים האנושים, ובסקר שנעשה בקרב המשתתפים, הם דורגו כיותר משתפי פעולה מאשר משתתפים אנושיים.



הרבה יותר מהר והרבה יותר זול

נחזור לשאלה שאיתה התחלנו - האם יכולות המשחק של מכונות בינה מלאכותית ישמשו תוקף סייבר? התשובה לכך היא חד משמעית כן, זאת משום שבעידן הבינה המלאכותית, התוקף יוכל להוציא לפועל תקיפה הרבה יותר מהר ובעלות יותר זולה מאשר היום.

אסביר את טענתי - בכדי ליישם תקיפת סייבר של רשתות נתונים, התוקף צריך לפתח תוכנה שמסוגלת לבצע משימות סיזיפיות, לנתח היקפים אדירים של נתונים, להסיק מסקנות , לנווט ברשתות לתקשר עם שרת שליטה ובקרה (Command & Control - C&C) ולנהל אסטרטגית תקיפה והטעיה. אלה בדיוק היכולות ש- Deepmind הדגימה, ומאחר ועולם פיתוח הבינה המלאכותית מתנהל רובו ככולו בקהילות פיתוח באינטרנט, מרבית היכולות הללו יהיו זמינות בעתיד ברשת. תוקף סייבר, "יוריד את היכולות מהאינטרנט", יעשה בהן את ההתאמות הרלבנטיות לטובת התקיפה והנה בידיו כלי מתוחכם. ניקח לדוגמא תוקף שמטרתו מציאת מידע ערכי ברשת. הוא יוריד מהאינטרנט מכונות בינה מלאכותית בעלות יכולות משחק CTF ויבצע בהן אדפטציות קלות - ילמד אותן לחדור לרשת, למפות את הארכיטקטורה שלה, לאסוף מידע אל התשתיות ומערכות הגנה שלה, לזהות חולשות ברשת ולנצל אותן לטובת ניווט ברשת. הסוכנים שיחדיר לרשת, ישתפו פעולה ביניהם (בדיוק כמו ב- CTF), יעבירו ביניהם מידע על מיקום המידע הערכי ופרצות ברשת. מאחר והסוכנים ידעו לתקשר ביניהם, הם ינהלו עצמאית את מערכת התקיפה ולא יזדקקו למערכת בקרה חיצונית (C&C), ובכך יצמצמו את הסיכוי שהם יזוהו ע"י מערכות ההגנה.

כאמור, הרבה יותר מהר והרבה יותר זול !


אז איך מתחילים להיערך?

כללי המשחק ישתנו בעתיד ולכן נדרש שינוי בתפיסת הגנת הסייבר - תקיפות סייבר באמצעות בינה מלאכותית יהיו מגוונות, מתוחכמות, איכותיות ובהיקפים גדולים. מגן אנושי לא יוכל להתמודד איתן וכלי ההגנה המסורתיים כגון CAPTCHA או אלה שמבוססים על חתימות לא יהיו רלבנטיים עוד. בעתיד, מכונות תקיפה והגנה יילחמו אלה באלה.

הבשורה הטובה היא שיש לארגונים עדיין זמן להיערכות משום שרף הכניסה של תוקף לתחום הוא גבוה. הטכנולוגיה שהדגימה DeepMind עדיין לא זמינה ברשת, ונדרשות תשתיות טכנולוגיות ומחשוב מורכבות ובעיקר נדרשת השקעה כספית גבוהה בכדי ליישם אותן. יחד עם זאת, ניתן להתחיל את ההערכות כבר היום:


הכנסה ל-"רדאר" סיכוני הארגון: הארגון נדרש לנהל את הסיכון המתפתח בתחום תקיפות סייבר מבוססות AI ולהבין את מרחב התקיפות החדש שהטכנולוגיה מביאה עימה. המטרה היא לגרום להנהלת הארגון ולגורמים הטכניים להבין את ההשלכות של הטכנולוגיה החדשה, להפנים את הצורך בשינוי הפרדיגמה וחשוב מכל, להיערך להשקעות העתידיות בשדרוגים הטכנולוגיים שיידרשו. יש לנתח מגמות וסיכונים על ידי אנשי מקצוע ולתקשר את המידע לגורמים הרלבנטיים בארגון. כמו כן יש לוודא שהנהלת הארגון עוקבת באופן קבוע אחר התפתחות הסיכון.


הערכות טכנולוגית מיידית: כבר היום קיימים ניצנים לתקיפות סייבר מבוססות AI שיבשילו תוך זמן קצר יחסית. לדוגמא מערכות AI שיעקפו CAPTCHA וכאלה שייצרו תקיפות Phishing איכותיות וממוקדות, ולכן ניתן ואפשר כבר עכשיו להיערך להתמודדות מיידית עם התקיפות הללו. לשם כך הארגון נדרש למפות את המערכות שקיים פוטנציאל טכנולוגי גבוה שניתן יהיה לתקוף אותן בטווח המיידי, לחדד ולהתאים את תהליכי העבודה בכדי להתמודד עם איומים אלה, לבצע הדרכות ותרגולים להגברת המודעות, ולהטמיע מערכות הגנה חדשניות כגון מערכות לזיהוי תקיפות Phishing או חיזוק מנגנוני זיהוי המשתמשים.


הערכות טכנולוגית ארוכת טווח: מרבית מערכות הגנת הסייבר היום, מזהות תקיפה באמצעות חיפוש מאפיינים ידועים של התקיפה כגון חתימת וירוס, כתובות חשודות וכד'. בעידן הבינה המלאכותית, התוקף יוכל לייצר בקלות וריאציות שונות של תקיפות עם מאפיינים שונים לחלוטין. לדוגמא באמצעות בניית מוטציות שונות של אותו וירוס או באמצעות החדרת סוכני תקיפה שיהיה קשה מאוד לזהות אותם (על כך כתבתי בפוסט הקודם). המשמעות היא שמערכות ההגנה הנוכחיות שמחפשות את "הנודע" כבר לא יהיו רלבנטיות ונדרשים פתרונות שמחפשים את ה-"לא נודע". כבר בימים אלה אנו רואים ניצני שינוי מגמה – שילוב של יותר מערכות ניטור והיתוך מידע לצד פיתוח מערכות שמזהות התנהגות חריגה ברשת.

בכדי לתכנן וליישם תוכנית הערכות אסטרטגית פרואקטיבית למזעור סיכוני הסייבר תוך השקעה מינימלית של משאבים, נדרשת הכרות של הארגון עם עולם התקיפות החדש לצד ניתוח יכולת הכלים שכבר קיימים בארגון והבנת מגמות הפיתוח של כלי הגנת הסייבר החדשים.


ולסיום –

הפוסט הבא יעסוק בסיכון עיסקי שעידן הבינה המלאכותית מביא - תקיפה של מערכות בינה מלאכותית. הפוסט יתאר כיצד תוקף עלול לנצל את תהליך הפיתוח של מערכות בינה מלאכותית, ואת החולשות האינהרנטיות של הטכנולוגיה בכדי לתקוף את המערכות. מן הסתם גם נעסוק האופן שניתן למנוע את תקיפות. מוזמנים לעקוב!



זקוקים לסיוע בניהול הסיכונים העיסקיים החדשים בעידן הבינה המלאכותית?

מעוניינים להעמיק בנושא? מעוניינים לשמוע הרצאה בנושא?

צרו קשר באמצעות המייל arikkl@gmail.com.


61 צפיות
צור קשר