מודלי שפה גדולים

להאזנה בפודקאסט 'עושים היסטוריה'

חלק א'

חלק ב'

חלק א'

בשבעה בינואר, 1954, התכנסו נציגיהם של כמה מהעיתונים החשובים ביותר בארצות הברית - ה New York Herald Tribune, ה- Los Angeles Times ואחרים - במשרדיה של חברת IBM בניו-יורק.

מחשבים היו, באותם הימים, טכנולוגיה חדשה שהסעירה את דמיונו של הציבור: "מוחות אלקטרוניים", כינו אותם סופרי המדע הבדיוני. אבל למרות שלכולם היה ברור שמדובר בטכנולוגיה פורצת דרך, עדיין לא היה ברור בשלב הזה למה בדיוק ישמשו אותן מכונות מתוחכמות. שנה קודם לכן השיקה יבמ מחשב חדש ומתקדם בשם IBM 701, וכל העיתונאים היו סקרנים לגלות מה מסוגלת לעשות המפלצת הדיגיטלית המרשימה הזו, ששקלה למעלה מעשרה טונות ומילאה חדר רחב מימדים.

ההדגמה יצאה לדרך. מפעיל שעמד לצידו של המחשב הזין לתוכו כרטיסיה מנוקבת שעליה נכתב - בייצוג בינארי, כמובן - משפט בשפה הרוסית. המחשב הגדול קרא את תוכנה של הכרטיסיה, זמזם, המהם וקִרקש - ולאחר כמה עשרות שניות פלט נייר ועליו אותו המשפט בדיוק, אבל הפעם באנגלית. בזו אחר זו הזין המפעיל למחשב שישים כרטיסיות ועליהן שישים משפטים שונים ברוסית בתחומים שונים ומגוונים - פוליטיקה, משפט, מדע ועוד - שאת כולם תרגם המחשב בזריזות, יעילות ודייקנות.

העיתונאים לא ידעו את נפשם מרוב התפעמות. למרות שבדיווחיהם בעיתונים למחרת השתדלו מרבית העיתונאים להדגיש כי מדובר בטכנולוגיה חדשה ובוסרית שעדיין נמצאת בשלבי פיתוח, ניכר היה כי הם מתקשים להכיל את התלהבותם. "ההדגמה [בה צפינו] היום היא [...] ה'קיטי הוק' של התרגום האלקטרוני," התפעם אחד העיתונאים שהשווה את ההישג לטיסתם הראשונה של האחים רייט, לא פחות.

והאמת, אפשר להבין את ההתרגשות: לתרגום אלקטרוני היה את הפוטנציאל להאיץ את קצב ההתקדמות של המדע המודרני באופן דרמטי. באחת מהכתבות נכתב כי -

"הניסוי המוצלח מעלה אפשרויות רבות ומסעירות. בלשנים יוכלו לחקור שפות באותו האופן שבו פיזיקאים לומדים את חוקי הטבע. [...] הספרות הטכנית של גרמניה, רוסיה, צרפת והארצות דוברות-האנגלית תעמוד לרשותם של מדענים בכל המדינות האחרות, מיד לכשתצא ממכונת הדפוס."

ולא רק זה. בעידן שלאחר מלחמת העולם השניה, העולם היה מפולג בין מזרח ומערב: ההדגמה המוצלחת חיזקה את התקווה שאולי היכולת לתרגם בין השפות בזריזות וביעילות תפחית את קשיי התקשורת בין הצדדים היריבים ותסייע לגשר על המחלוקות שביניהם.

למרות שהטכנולוגיה שהדגימה יבמ לעיתונאים - פרי שיתוף פעולה של החברה עם חוקרים מאוניברסיטת ג'ורג'טאון - הייתה עדיין בחיתוליה, המדענים עצמם היו משוכנעים שהחזון של תרגום אוטומטי מכל שפה לכל שפה נמצא ממש מעבר לפינה. כתב של העיתון Christian Science Monitor הביא דברים ברוח הזו מפי אחד החוקרים:

"על אף שהוא מדגיש כי עדיין אין ביכולתנו להזין למערכת ספר ברוסית מצד אחד ולקבל ספר באנגלית בצד השני, הפרופסור חוזה כי בתוך חמש, אולי אפילו שלוש שנים, תרגום אלקטרוני בתחומים חשובים ובמספר שפות, יהיה עניין גמור וחתום."

אבל זה, כמובן, לא מה שקרה. במשך קרוב לשבעים שנה, מאז אותה הדגמה מוצלחת בשנות החמישים ועד לפני שנים ספורות - לא חלה שום התקדמות דרמטית בתחום העיבוד הממוחשב של שפה אנושית טבעית. עד לפני עשור, פחות או יותר, קריאה או כתיבה של טקסטים אנושיים - למעט בשפות ספציפיות או בתחומי עיסוק מוגדרים ומצומצמים מאוד - הייתה משימה כמעט בלתי אפשרית עבור מחשבים.

ואז, בשלהי 2022, הופיע ChatGPT: בינה מלאכותית שמסוגלת להבין שפה אנושית טבעית - למעשה, כמה עשרות שפות, כולל אפילו עברית - ולשוחח איתנו ברמת אינטליגנציה ברת השוואה לזו של אדם בשר ודם. לשם הדוגמה, לאורך השנים "זכיתי" לקבל אלפי מיילים של ספאם, ואף פעם - אפילו לא פעם אחת! - טעיתי לחשוב שמדובר במייל אותנטי. עד לפני שבועיים, כשקיבלתי מייל ספאם שנכתב על ידי ChatGPT. צורת הכתיבה והפנייה המאוד אישית ואנושית במכתב הזה שכנעו אותי שמדובר במאזין של הפודקאסט. כמעט שכתבתי תגובה - אבל אז, במקרה לגמרי, ראיתי מישהו שצייץ בטוויטר על אותו המייל בדיוק (בשינוי הפרטים הרלוונטיים, כמובן) - ורק אז הבנתי שנפלתי בפח.

ChatGPT כבש את העולם בסערה והציתה את דמיונם של מיליונים: יש מי שמשווים את השפעתה הצפויה של הטכנולוגיה המהפכנית הזו על הציוויליזציה האנושית להשפעתה של המצאת מכונת הדפוס. אבל במקביל, ישנם חוקרים שרואים בה את האיום הקיומי הגדול ביותר על האנושות מאז פיתוחה של פצצת האטום. במאי 2023 פרסמה קבוצה של עשרות חוקרי בינה מלאכותית הצהרה מיוחדת ובה טענו כי -

"מניעת הסיכון להכחדת המין האנושי על הבינה המלאכותית צריכה להיות בעדיפות גלובלית עליונה, לצד סיכונים דומים בקנה מידה של ציוויליזציה, כדוגמת מגיפות ומלחמה גרעינית."

אפילו ג'פרי הינטון, מי שנחשב לאבי הבינה המלאכותית המודרנית, רואה בבינה המלאכותית סכנה קיומית מוחשית. בראיון שהעניק לאחרונה לרשת CBS האמריקנית, נשאל הינטון אם הוא מאמין שיש אפשרות שהבינה המלאכותית תחסל את האנושות. "אני חושב שזו אפשרות שניתן להעלות על הדעת." הוא השיב.

בשני הפרקים הבאים, אם כן, נדון בשתי שאלות. הראשונה: מה הביא לכך שאחרי כמעט שבעים שנה של כשלונות ומאמצים עקרים, הצליחו לפתע מדעני המחשב להפיק מבין ידיהם מכונה המסוגלת לתקשר איתנו בשפה שלנו? והשאלה השניה: האם ChatGPT ומודלי השפה הגדולים - הטכנולוגיה שעומדת מאחורי המוצר המהפכני שהשיקה OpenAI - מסמנים את התגשמותו של החלום - או הסיוט - שעליהם נכתבו אינספור עלילות מדע בדיוני: בינה מלאכותית חכמה, מהירה ומוכשרת יותר מכל בן אנוש.

למידת מכונה

במבט לאחור, קל להבין מדוע כשל פרויקט התרגום האוטומטי של יבמ.

מחשבים, עקרונית, מבוססים על מתמטיקה ולוגיקה: אחד ואפס, כן ולא, אמת ושקר - מושגים חדים, ברורים ומוגדרים. לא כן השפה שלנו.

קחו, לדוגמא, את המילה Run. לא, לא השם שלי - אני מתכוון למילה האנגלית Run, במשמעות של 'לרוץ'. או אולי במשמעות של 'לזרום' (Running water). או אולי במשמעות של משהו מחזורי וקבוע (The bus runs into town every half an hour.) או אולי בכלל במשמעות של לנהל: She runs this company.

אתם מתחילים להבין את הבעיה? למילה האנגלית Run יש לא פחות מ-645 משמעויות שונות, כתלות בהקשר שבו היא נאמרת. ולמרות ש Run היא דוגמה קצת קיצונית - היא בהחלט מייצגת: לכמעט כל המילים בשפות האנושיות יש כמה וכמה משמעויות, שלעיתים עשויות להיות הפוכות לחלוטין זו מזו, כמו למשל "כן, בטח!" ו"כן, בטח…"

החוקרים של יבמ ואוניברסיטת ג'ורג'טאון ניסו להתמודד עם המורכבות הזו באמצעות ניסוח חוקים ברורים שהגדירו למחשב כיצד עליו לתרגם כל מילה בה הוא נתקל: לצורך העניין, אם המחשב נתקל במילה הרוסית Politika עליו לתרגם אותה למילה האנגלית Politics.

זו גישה הגיונית, ובמקרים מסוימים היא אפילו עשויה ליצור מראית עין כאילו המחשב באמת "מבין" את הטקסט שהוא מקבל. למשל, באמצע שנות השישים פיתח חוקר בשם ג'וזף וויזנבאום (Weizenbaum) תוכנה בשם ELIZA שדימתה שיחה עם פסיכולוג. אם המשתמש היה מזין לתוכה משפט כגון "אני עצוב," התוכנה הייתה הופכת את המשפט לצורת שאלה: "למה אתה מרגיש עצוב?". משתמשים שלא היו מודעים לחוקיות הפשוטה הזו האמינו באמת ובתמים שהם משוחחים עם בינה מלאכותית מתוחכמת שמבינה אותם ומפגינה אמפתיה כלפיהם.

אבל במציאות, האשליה הזו הייתה שברירית מאוד, כמובן: די בכך שהמשתמש הזין מילה או ביטוי שלא התאימו לחוקיות הפשוטה שהגדיר וויזנבאום - למשל, קללה כלשהי - כדי לגרום ל ELIZA להפיק תגובות חסרות הגיון. זו גם הסיבה לכישלונו של פרויקט התרגום האוטומטי של יבמ: ישנן כל כך דרכים לפרש ולתרגם כל משפט, עד שאין דרך מעשית לנסח את כל החוקים הדרושים כדי לטפל בכל מילה ובכל מצב. אחרי למעלה משנה של עבודה, החוקרים של יבמ וג'ורג'טאון הצליחו לנסח מספיק חוקים וכללים כדי לאפשר למערכת לתרגם בסך הכל רק שישים משפטים ספציפיים. אם היו מזינים למערכת משפט חדש ולא מוכר, היא הייתה חסרת אונים.

חלפו שלושים שנה, ובשנות התשעים של המאה הקודמת החלו להופיע יותר ויותר טקסטים בפורמט דיגיטלי. העובדה הזו נתנה בידי החוקרים גישה לכמויות טקסט הרבה יותר גדולות מבעבר ואפשרה להם לנקוט בגישה שונה כדי לפתור את בעיית עיבוד השפה הטבעית: במקום לנסח חוקים קשיחים - לנסות לזהות קשרים סטטיסטיים בין המילים. לצורך ההסבר, נאמר שיש לנו ספר באנגלית - ואת אותו הספר מתורגם לעברית. נותנים למחשב לעבור על כל המילים והביטויים בשני הספרים, ולחלץ מהם מידע סטטיסטי בסגנון: "כמה פעמים תורגמה המילה האנגלית Run למילה העברית 'לרוץ', וכמה פעמים למילה 'לנהל.'"

הגישה הזו כונתה 'למידת מכונה' (Machine Learning) והיא אכן הובילה לשיפור מסוים ביכולתם של המחשבים להתמודד עם מידע בשפה טבעית: למשל, הניתוח הסטטיסטי אפשר להם להתמודד עם טקסט שהכיל שגיאות כתיב, בהנחה שהמחשב ניתח המון טקסטים וכבר נתקל בהרבה שגיאות. שירות התרגום שהשיקה גוגל בשנת 2006 היה מבוסס על הטכנולוגיה הזו, למשל.

ובכל זאת, גם ביצועיהן של מערכות מבוססת למידת מכונה היו עלובים למדי ורחוקים שנות אור מהיכולת האנושית. מדוע? סיבה אחת היא ששפות אנושיות מכילות עשרות ואפילו מאות אלפי מילים, שיכולות להופיע במיליארדי קומבינציות שונות ומשונות. למשל, אחרי המילה "שפה" יכולה להופיע המילה "אנושית", אבל גם המילים "קשה", או "יפה", או "מורכבת" - וחישוב של שכיחות סטטיסטית עבור כל אחת ואחת מאינספור הקומבינציות האלה היא משימה חישובית תובענית מאוד שהגבילה את היעילות של מערכות מבוססות למידת מכונה בעולם האמיתי.

סיבה נוספת, ואולי משמעותית יותר, היא שלנו, בני האדם, יש הבנה אינטואיטיבית של המציאות שמסתתרת מאחורי המילים. למשל, המשמעות של המילה 'נבח' במשפט "ראיתי את הכלב בפארק, והוא נבח עלי" לא זהה למשמעות שלה במשפט "ראיתי את הבוס שלי בפארק, והוא נבח עליי." אנחנו יודעים מהו כלב, אנחנו מבינים מהו בוס - וההבנה הזו היא זו שעוזרת לנו לחלץ את המשמעות הנכונה של המילה 'נבח' בכל אחד מהמשפטים השונים. למחשב, לעומת זאת, אין הבנה לגבי המציאות שמאחורי המילים - וגם ניתוח סטטיסטי של שכיחות הופעתן של מילים בטקסטים שונים לא תמיד מסייע למחשב להבין את המציאות הזו.

או שבעצם… יכול להיות שמה שאמרתי עכשיו הוא לא נכון. אנחנו עוד נחזור לעניין הזה.

רשתות נוירונים מלאכותיים

בשנת 2003 פרסם חוקר קנדי בשם יושוע בנג'יו (Bengio) מאמר ובו תיאר מערכת חדשה לעיבוד שפה טבעית, שהייתה מבוססת על טכנולוגיה בשם 'רשתות נוירונים מלאכותיים'. הבחירה ברשתות נוירונים מלאכותיים הייתה מפתיעה, מכיוון שמדובר היה בתחום מחקר שנחשב אז לשולי ולא פופולרי בעולם מדעי המחשב. אבל ההפתעה האמיתית שהסתתרה בתוך המאמר של בנג'יו הייתה שביצועיה של אותה רשת נוירונים במשימות קלאסיות של עיבוד שפה טבעית היו טובים בהרבה מביצועיהן של מערכות עיבוד השפה הטובות ביותר עד אותו הרגע: שיפור של עד כדי עשרים וארבעה אחוזים מעל מה שנחשב אז כ State of the Art.

כיצד הצליחה רשת הנוירונים של יושוע בנג'יו להתמודד עם המורכבות המפורסמת של שפה אנושית טבעית?

בואו נחזור מספר צעדים אחורה. סיפרתי בהרחבה על ההיסטוריה ועקרון הפעולה של רשתות נוירונים מלאכותיים בשני פרקים שהקדשתי לטכנולוגיית ה'למידה העמוקה' (Deep Learning) - פרקים 204 ו-205 של התכנית - אבל הנה הרעיון הבסיסי על קצה המזלג.

נוירון מלאכותי הוא מכונה פשוטה שמחקה את אופן הפעולה של נוירון ביולוגי, תא עָצב. כל נוירון מלאכותי שכזה הוא, בפני עצמו, מכונה די פשוטה - אבל מסתבר שאם מחברים המון נוירונים זה לזה בצורה הנכונה ומזינים לתוך הרשת המתקבלת המון דוגמאות של מידע רלוונטי ("מאמנים את הרשת", בז'רגון המקובל), מקבלים מערכת שמסוגלת להפיק מתוך המידע הזה מסקנות ותובנות שמודל סטטיסטי פשוט לא מסוגל להפיק. במקרה של בנג'יו, רשת הנוירונים שלו לחלץ מתוך הטקסטים עליהם אומנה מידע לגבי המשמעות של מילים: אם נמשיך את הדוגמא הקודמת שהבאתי, רשת הנוירונים המלאכותיים הצליחה לגלות שהמילה 'כלב' מציינת בעל חיים, ושהמילה 'בוס' מתייחסת לבן אדם - ולכן למילה 'נבח' יש משמעות שונה בכל אחד מהמקרים. התובנות החשובות הללו הן אלו שאיפשרו את השיפור הניכר בביצועיה של המערכת.

ההצלחה הדרמטית הזו היממה את שאר החוקרים בתחום, והביאה להתעניינות מחודשת בתחום רשתות הנוירונים - אבל במישור המעשי, הטכנולוגיה הזו הייתה עדיין בוסרית מדי. כדי לאמן את רשת הנוירונים שלו, בנג'יו הזין לתוכה לא פחות מארבעה עשר מיליוני מילים, ולמרות שמערכת המחשב שעמדה לרשותו הכילה לא פחות מארבעים מעבדים - תהליך האימון עדיין ארך חודשים ארוכים. כל עוד רשתות הנוירונים היו איטיות ומסורבלות כל כך, אף אחד לא שש להשתמש בהן.

איליה סוצקבר

איליה סוצקבר (Sutskever) נולד ברוסיה ב-1986, ובגיל חמש עלה עם משפחתו לישראל במסגרת העליה הרוסית הגדולה של שנות התשעים. לומר שאיליה היה ילד מבריק, יהיה כנראה האנדרסטייטמנט של המאה: כבר בכיתה ח' הוא החל לקחת קורסים במדעי המחשב באוניברסיטה הפתוחה, כי הלימודים בחטיבת הביניים לא אתגרו אותו מספיק… ב-2002 היגר איליה לקנדה, שם השלים את לימודי הדוקטורט שלו במדעי המחשב תחת ג'פרי הינטון - ונחשף לרעיונות של רשתות נוירונים מלאכותיים ולמידה עמוקה.

כבר כסטודנט, היה איליה מעורב בפרויקט שהיה אבן דרך חשובה בדברי ימי הבינה המלאכותית. הינטון, איליה וסטודנט נוסף בשם אלכס קריצ'בסקי (Krizhevsky) פיתחו רשת נוירונים שהייתה מסוגלת לזהות אובייקטים שונים בתמונות - וב-2012 זכו בתחרות יוקרתית בשם ImageNet. ולא סתם זכו: ביצועיה של AlexNet, המערכת שלהם, היו טובים יותר בכמעט אחד עשר אחוזים מהמערכת שהגיעה למקום השני. ההצלחה הזו שיכנע את אחרוני הספקנים בעמק הסיליקון שהעתיד נמצא ברשתות נוירונים מלאכותיים, ואיליה, אלכס והינטון 'נחטפו' על ידי גוגל, שנעזרה בהם כדי לפתח יישומים חדשים ומתקדמים של בינה מלאכותית. למשל, שירות התרגום שהזכרתי קודם, Google Translate, שבמקור התבסס על למידת מכונה - עבר שדרוג לרשתות נוירונים מלאכותיים, ובתוך תשעה חודשים בלבד הצליח להגיע לרמת ביצועים גבוהה יותר מזו שאליה הגיעה המערכת הקודמת גם אחרי עשר שנות פיתוח.

אבל למרות שגוגל היתה סביבת עבודה נהדרת בכל קנה מידה - איליה לא היה ממש מרוצה: קבוצת המחקר שלו בגוגל הייתה קטנה מדי והמשאבים שהוקצו לה הרגישו לו מוגבלים מדי. איליה שקל לנסות ולהקים סטארט-אפ עצמאי, אבל פסל את הרעיון על הסף: הוא היה חוקר, לא יזם ולא איש עסקים.

אבל אז, באחד הימים, המתינה לו הודעה מפתיעה בתיבת הדואר האלקטרוני: הזמנה לארוחת ערב. ולא סתם ארוחת ערב, אלא פגישה עם סם אלטמן ואילון מאסק - שתיים מהדמויות המפורסמות והמשפיעות ביותר בעמק הסיליקון. אלטמן ומאסק סיפרו לו שהם מעוניינים להקים חברה חדשה שתתמקד בפיתוח בינה מלאכותית ותתחרה ב DeepMind של גוגל, שאז הובילה את עולם ה-AI עם מערכות פורצות דרך כדוגמת AlpahGo ו-AlphaZero, והציעו לו להיות המדען הראשי של החברה החדשה.

איליה התלבט מעט - בכל זאת, לא קל לעזוב את גוגל - אבל לבסוף קיבל את ההצעה. כך באה לעולם OpenAI.

למידה לא-מונחית (Unsupervised Learning)

אחת ממערכות הבינה המלאכותית הראשונות שפיתח איליה במסגרת עבודתו ב-OpenAI, היתה רשת נוירונים שאומנה על כשמונים מיליון ביקורות מוצרים באמזון, ולמדה מהם איך להפיק טקסטים שנראים ממש כמו ביקורות אמיתיות. אני מניח שאתם שואלים את עצמכם: למה שמישהו ירצה לפתח מערכת בינה מלאכותית שכל מה שהיא יודעת לעשות זה לקטר על דברים שהיא לא באמת שילמה עליהם בעצמה - הרי בשביל יש ילדים. אם זה מה שעבר לכם בראש, אז אתם צודקים: מטרתו האמיתית של איליה היתה שונה מאוד.

השיטה המקובלת לאמן רשתות נוירונים באותה התקופה הייתה טכניקה המכונה 'למידה מונחית' (Supervised Learning): בשיטה הזו מזינים לרשת הנוירונים דוגמאות של המידע הרצוי, יחד עם התשובה הנכונה שהמערכת אמורה להפיק. למשל, נאמר שאנחנו רוצים לפתח רשת נוירונים שיודעת לזהות את הרגש הקיים בביקורת מוצר: דהיינו, האם המגיב אהב או לא אהב את המוצר שרכש. הדרך לעשות זאת באמצעות למידה מונחית היא להזין למערכת המון דוגמאות של ביקורות שכאלה - לצד התשובות הנכונות שהיא אמורה להפיק. רשת הנוירונים קוראת את הביקורת, מנחשת אם מדובר בביקורת חיובית או שלילית - ואז משווים את התשובה הזו לתשובה הנכונה הידועה-מראש. אם הרשת טעתה - מתקנים אותה, שזה אומר בגדול לשחק עם הקשרים בין הנוירונים - ואז שוב מזינים ביקורת חדשה, משווים את התשובה לפתרון הנכון, מתקנים את הרשת אם צריך וכן הלאה וכן הלאה.

למידה מונחית הוכיחה את עצמה בעבר כשיטה מוצלחת מאוד לאמן רשתות נוירונים לביצוע משימות שונות ומאתגרות - אבל היה לה גם חסרון בולט: מישהו - בן אדם - צריך להפיק את הדוגמאות ה"פתורות" האלה. זאת אומרת, מישהו צריך לקרוא את הביקורת מאמזון ולתייג אותה, באופן ידני, כחיובית או שלילית. מכיוון שבפועל צריך עשרות ואף מאות אלפי דוגמאות "פתורות" שכאלה, המשמעות היא שמדובר על אופרציה שדורשת המון אנשים, לוקחת המון זמן וכמובן עולה המון כסף. ואפילו יותר גרוע: בשיטת הלמידה המונחית, כל משימה חדשה שנרצה ללמד את הרשת שלנו לבצע, דורשת מאיתנו סט חדש ושונה של דוגמאות פתורות כאלה, עובדה שמאטה ומייקרת מאוד את תהליך הפיתוח.

הייתה גם אפשרות אחרת: למידה לא-מונחית (Unsupervised Learning). בשיטה הזו, לא מאמנים את הרשת על זיהוי הרגש שמופיע בביקורת, אלא עושים משהו אחר לגמרי: מזינים לרשת ביקורת שמחקו ממנה את המילה האחרונה - למשל 'אהבתי את הציור כי הוא…' ומבקשים ממנה לנחש מה צריכה להיות המילה החסרה. כמו מקודם, אם הרשת טעתה בניחוש, מתקנים אותה וממשיכים אל המשפט הבא.

היתרון הגלום בשיטה הזו הוא הפשטות שלה. לא צריך להושיב בני אדם שיקראו את הביקורות ויסמנו אם הן חיוביות או שליליות: צריך רק לקחת את הביקורות כמו שהן, ולחתוך מהן את המילה האחרונה - משהו שתוכנת מחשב פשוטה יכולה לעשות בקלות. את המילה שחתכנו שומרים בצד, באיזה מאגר נתונים אחר, ובזמן תהליך האימון משווים אותה אל הניחוש שהפיקה רשת הנוירונים. לדוגמא, אם המשפט הוא 'אהבתי את הציור כי הוא…' והרשת מנחשת שהמילה החסרה היא 'מכוער' - אפשר להשוות את התשובה הזו למילה המקורית שהייתה במשפט, שכנראה הייתה משהו כמו 'יפה' - ולראות אם הרשת צדקה או טעתה. היופי הוא שכל התהליך הזה יכול להיות אוטומטי לגמרי, ללא מגע יד אדם - מה שמפשט ומוזיל את האימון במידה משמעותית.

אבל בכל זאת, יש כאן בעיה. מחקרים קודמים בתחום הראו שבאמצעות למידה לא-מונחית אפשר בהחלט לפתח בינה מלאכותית שיודעת לייצר טקסטים שנראים כמו ביקורות מוצרים באמזון - אבל לא הרבה יותר מזה. זאת אומרת, אם אנחנו רוצים לפתח רשת נוירונים שתבצע משימות קצת יותר מורכבות, כמו למשל לזהות את הרגש שמסתתר בתוך ביקורת - אנחנו חייבים להשתמש בלמידה מונחית, על כל העבודה הקשה והמפרכת שכרוכה באיסוף ביקורות ותיוג שלהן על ידי בני אדם.

אבל איליה שיער שאולי המחקרים הקודמים האלה שגויים: הוא קרא את המאמרים, וזיהה בהם שגיאות מסוימות שגרמו לו לחשוב שאולי למידה לא-מונחית יכולה בכל זאת לאפשר לרשת נוירונים ללמוד לבצע משימה מורכבת יחסית כמו זיהוי רגש, אם רק מיישמים אותה כמו שצריך. וזו בדיוק הייתה מטרת הניסוי שלו: הוא אימן את רשת הנוירונים שלו על ביקורות אמזון בלמידה לא-מונחית - זאת אומרת, לנחש את המילה החסרה בביקורת - וביקש לבחון אם הרשת למדה לזהות את הרגש שמופיע בביקורות.

ומסתבר שהוא צדק! המחקרים הקודמים אכן היו שגויים. כשבחן איליה את רשת הנוירונים שלו, הוא גילה שהיא בהחלט מסוגלת לזהות את הרגש החבוי בביקורת, למרות שכל מה שאומנה עליה היה להשלים מילים חסרות. אם לדייק, היה ברשת הנוירונים נוירון אחד ספציפי ש"נדלק" בצורה מסוימת כשהביקורת שהוזנה לרשת היתה חיובית, ובצורה אחרת כשהביקורת הייתה שלילית.

זו הייתה תוצאה מרתקת ופוקחת עיניים, שהראתה שגם למידה לא-מפוקחת יכולה לאפשר לרשת נוירונים לבצע משימות מורכבות יחסית. ואפילו עוד יותר מעניין - הרשת שלו, או יותר נכון הנוירון הספציפי המדובר, למד לזהות רגש בצורה מדויקת ונכונה יותר אפילו מבינות מלאכותיות שאומנו בשיטת הלמידה המונחית! זו היתה תוצאה מאוד מאוד מפתיעה, שהייתה מנוגדת להלך המחשבה בעולם המחקר באותו הזמן.

איליה ועמיתיו תיארו את תוצאות הניסוי שלהם במאמר, והגישו אותו לכנס מקצועי - אבל המאמר נדחה: לא כל כך בגלל התוצאות עצמן, אלא בגלל שזה היה פשוט מאמר גרוע. "המאמר הזה כתוב רע - יש בו יותר מדי שגיאות כתיב," ציין אחד השופטים. "אני לא חושב שהבנתי לגמרי מה המחברים רוצים לומר," כתב שופט אחר, "מהי ההשערה שהחוקרים מציגים? [...] אני מבולבל לגמרי לגבי סעיף 3, ואיבדתי את האומץ לקרוא את המשך המאמר."

המחקר הזה, אם כן, לא ממש היכה גלים בעולם הבינה המלאכותית, אם לומר זאת בעדינות - אבל איליה המשיך להפוך במוחו לגבי בתוצאה המסקרנת שקיבל. הוא שאל את עצמו איך הצליחה רשת הנוירונים שלו ללמוד לזהות רגש בטקסט - רק מתוך אימון שמטרתו המוצהרת הייתה ללמד אותה לנחש, בסך הכל, מה צריכה להיות המילה הבאה במשפט? כשחושבים על זה, זה ממש מוזר. זה כמו לקחת ילד, לאמן אותו על לצבוע גדר - Wax On, Wax Off - ופתאום הילד הופך להיות אמן קרטה. אגב, אם הבנתם את הרפרנס הזה, כנראה שהגיע הזמן לקבוע בדיקת קולונוסקופיה אצל הרופא.

התשובה שאליה הגיע איליה הייתה מפתיעה ומרתקת. דמיינו לעצמכם שאתם קוראים ספר מתח בלשי: נאמר, תעלומת רצח בסגנון אגתה כריסטי. העלילה המפותלת כוללת כמה וכמה חשודים, ראיות, אליבי וכדומה - ואז, בעמוד האחרון של הספר, במילה האחרונה ממש, חושפת הסופרת את שמו של הרוצח. עכשיו, נניח שהיינו נותנים לבינה המלאכותית לקרוא את הספר - אבל ללא אותה מילה אחרונה - ואז מבקשים ממנה לנחש מה צריכה להיות המילה הזו. במילים אחרות, מה שאנחנו באמת מבקשים מהבינה המלאכותית לעשות זה לנחש את זהותו של הרוצח. וכדי להיות מסוגלת לעשות זאת, רשת הנוירונים צריכה לא רק ללמוד את הקשרים הסטטיסטיים בין המילים שבספר - איזו מילה סביר להניח שתופיע אחרי מילה אחרת - אלא גם לחלץ מהם משהו נוסף: משמעות חבויה, ידע סודי, קשרים עלומים בין פיסות המידע האלה. אפשר לומר שאנחנו מצפים מרשת הנוירונים להבין את הטקסט באותו האופן שבו קורא אנושי היה מבין.

רשת הנוירונים שפיתח איליה במסגרת הניסוי שלו לא הייתה עד כדי כך מתוחכמת, כמובן: היא לא הייתה מסוגלת לקרוא טקסטים ארוכים כל כך ולחלץ מהן משמעויות כה עמוקות - אבל עצם העובדה שהרשת הצליחה בכל זאת לחשוף את הרגש שהסתתר בתוך ביקורת באמזון, גילתה לאיליה שלמרות האימון הבסיסי והלא מתוחכם שעברה, הרשת שלו הבינה את הטקסט הזה באופן עמוק ואינטימי יותר מכפי שאיש העז לשער קודם לכן. ואם אפילו רשת נוירונים כל כך בסיסית ולא מתוחכמת, שאומנה על מאגר מידע קטן יחסית, מסוגלת לחלץ משמעויות חבויות שכאלה מתוך טקסטים שהיא מקבלת - מה יקרה כשינסה לאמן רשת נוירונים גדולה ומתוחכמת יותר, על כמות הרבה יותר גדולה של מידע?...

GPT-3

רצה הגורל ופחות או יותר במקביל לאיליה, עמלה קבוצת חוקרים בגוגל על פיתוחה של ארכיטקטורה חדשה עבור רשתות נוירונים בשם Transformer. הארכיטקטורה החדשה היתה פורצת דרך בשני מישורים: היא איפשרה לרשתות נוירונים לעבד טקסטים וסוגי מידע אחרים בהיקפים הרבה יותר גדולים ממקודם, ולבצע את העיבוד הזה במהירות וביעילות רבה יותר מאי פעם. הקבוצה של גוגל פרסמה את תוצאות המחקר ב-2017 במאמר בשם Attention Is All You Need, שחולל מהפכה רבתי בתחום בעולם הבינה המלאכותית: ארכיטקטורת הטרנספורמר הייתה הרבה יותר מוצלחת מהגישות שקדמו לה, וכמעט כל החוקרים עברו להשתמש בה בתוך שנים ספורות. גוגל עצמה הוציאה מודל שפה בשם BERT שהיה מבוסס על ארכיטקטורת הטרנספורמר, ולמשך פרק זמן מסוים נחשב לבינה המלאכותית הטובה ביותר בעולם בתחום עיבוד שפה טבעית.

בין החוקרים שאימצו את הטרנספורמר בזרועות פתוחות היה גם איליה סוצקבר, שהבין מיד שהארכיטקטורה החדשה הזו היא בדיוק מה שהיה זקוק לו. הוא החליף את הארכיטקטורה הקודמת בה השתמש - אבל שמר על אותו עקרון בסיסי של למידה לא-מונחית: גם הרשת החדשה אומנה על ניחוש מילים חסרות במשפטים, והיתה מסוגלת להפיק (מלשון To Generate) טקסטים חדשים. למערכת החדשה שקיבל הוא נתן את השם GPT-1, ראשי תיבות של Generative Pre-Trained Transformer.

OpenAI שחררה את GPT-1 ב-2018, וביצועיה של המערכת הזו עוררו התפעלות ואפילו התרגשות בקרב המומחים: הטקסטים שהפיק GPT-1 היו מוצלחים ומשכנעים, ובחלק מהמקרים כמעט בלתי ניתנים להבחנה מטקסטים שנכתבו על ידי בני אנוש. שנה מאוחר יותר שחררה OpenAI את GPT-2, מודל שהיה מוצלח אפילו יותר.

אבל קו פרשת המים האמיתי היה GPT-3, שיצא לאור ב- 2020.

מידת המורכבות של מערכת בינה מלאכותית נמדדת, לרוב, במונחים של 'פרמטרים': נתון שקשור בקשר הדוק למספר הנוירוניים המלאכותיים מהם עשויה הרשת. GPT-1 הכיל כ-175 מיליון פרמטרים, ו- GPT-2 היה גדול פי עשרה: 1.75 מיליארד פרמטרים. אבל GPT-3 היווה עליית מדרגה אמיתית: 175 מיליארד פרמטרים - פי מאה יותר גדול מ- GPT-2 ופי אלף יותר גדול מ-GPT-1, גודל שהציב אותו בקטגוריה משל עצמו - 'מודל שפה גדול' (Large Language Model) .

והקפיצה הזו, מסתבר, לא רק שעשתה את GPT-3 לטוב יותר מקודמיו - היא גם הפכה אותו למשהו… אחר. GPT-3 הפגין יכולות שאף מודל שפה לפניו לא התקרב אליהן אפילו. לא רק שהשיחות איתו הרגישו טבעיות, כאילו שאתה מדבר עם אדם בשר ודם - GPT-3 היה מסוגל לכתוב שירים ולהמציא בדיחות, הוא היה מסוגל לכתוב קוד תוכנה באיכות גבוהה, לתרגם בין שפות ולענות על שאלות בכמעט כל תחום אפשרי: עריכת דין, רפואה, גננות, בישול, הגותו של ברוך שיפנוזה, חייה האישיים של טיילור סוויפט…וכל זה מבלי שהבינה המלאכותית אומנה במכוון לבצע את הדברים האלה, אלא רק אומנה לנחש את המילה הבאה במשפט. זה הכל.

את ההשפעה שהייתה להצלחה המדהימה הזו אני לא חושב שאני צריך לתאר לכם. כשהשיקה OpenAI את ChatGPT שהיה מבוסס על GPT-3.5, גרסה משופרת של GPT-3 - הוא הפך מיד לשירות הפופולרי ביותר בהיסטוריה של האינטרנט, עם מיליון משתמשים בשבוע הראשון שלאחר ההשקה ולמעלה ממאה מיליון משתמשים בתוך חודשיים. בפעם הראשונה בהיסטוריה, הבינה המלאכותית הפכה לשימושית ומועילה גם עבור האדם הרגיל ברחוב, ולא רק למומחים: אני נעזר ב ChatGPT כדי ללמוד על הנושאים שאני כותב עליהם בעושים היסטוריה, הבת הגדולה שלי משתמשת בו כדי ללמוד ספרדית, הבן האמצעי שלי פותר איתו שיעורי בית והבן הקטן מפתח איתו משחקי מחשב. איליה סוצקבר, הילד שעלה מרוסיה בגיל חמש ולמד באוניברסיטה הפתוחה, חולל את מה שהיא אולי אחת המהפכות הטכנולוגיות הגדולות בהיסטוריה האנושית.

אבל לקפיצה המדהימה ביכולותיו של GPT-3 על פני קודמיו הייתה גם השפעה נוספת: היא גרמה לאנשים לפחד.

זה לא שאנשים לא פחדו מבינה מלאכותית גם קודם, כמובן: הפחד מפני טכנולוגיה מתקדמת שתתהפך עלינו כמו גולם שקם על יוצרו הוא עתיק לפחות כמו הסיפור על…ובכן, הגולם שקם על יוצרו, באגדה על הגולם מפראג. הפחד מבינה מלאכותית שתתחרפן ותנסה להשמיד אותנו הוא הציר שסביבו נסובו אינספור עלילות מדע בדיוני, מ'אודיסאה בחלל: 2001' ועד הרובוט המחסל ב'שליחות קטלנית.'

אבל עד לא מכבר, אם הייתם שואלים את מומחי הבינה המלאכותית אם אולי יש גרעין של אמת בעלילות הבדיוניות הללו, הם היו מחייכים ואומרים שלא, אין שום סיכוי שמשהו כזה יוכל להתרחש בעתיד הנראה לעין. הרי הבינות המלאכותיות שאנחנו מפתחים הן כל כך פשוטות וחסרות תחכום ביחס למה שראינו על המסך הגדול…

ואז הגיעו GPT-3 וזמן קצר אחריו גם -GPT 4, וטרפו את כל הקלפים. הבינה המלאכותית החדשה הזו כל כך הרבה יותר מוצלחת ומוכשרת מקודמותיה, עד שלפתע פתאום מכונות כמו HAL9000 מ'אודיסאה בחלל' וה-Terminator של 'שליחות קטלנית' כבר לא נראות מופרכות כל כך. למעשה, אני די בטוח ש ChatGPT יותר מתוחכם ממה שהיה HAL9000 בסרט, ועושה עבודה הרבה יותר משכנעת בלהעמיד פנים שהוא בן אנוש מאשר ארנולד שוורצנגר. מומחים כמו ג'פרי הינטון ויושוע בנג'יו, שעמלו כל חייהם המקצועיים כדי להביא את בשורת הבינה המלאכותית לעולם - לפתע פתאום נתקפו בחרדה וקראו למנהיגי העולם לקחת ברצינות את האיום שנשקף לאנושות מצידה של הבינה המלאכותית. הינטון אפילו פרש מעבודתו בגוגל כדי להתרכז בהעלאת המודעות הציבורית לאיום הזה.

הפחד מפני הבינה המלאכותית יעמוד במרכז הפרק הבא של עושים היסטוריה, חלקו השני של הפרק הזה. השאלה שנרצה לענות עליה היא - האם מודלי שפה גדולים הם אכן הצעד הראשון לקראת הגשמתו של מה שהפיזיקאי המפורסם סטיבן הוקינג כינה 'הדבר הטוב ביותר, או הדבר הגרוע ביותר, שאי פעם קרה לאנושות': בינה מלאכותית כללית, Artificial General Intelligence - יצור מלאכותי שיהיה חכם יותר ומוצלח יותר מבן אנוש בכמעט כל פרמטר אפשרי, ובפעם הראשונה יערער על ההגמוניה המוחלטת שלנו כיצורים האינטליגנטיים ביותר בכדור הארץ.

מודלי שפה גדולים חלק ב'

כשיצא לאקרנים הסרט 2001: אודיסאה בחלל, ב-1968, התגובות הראשוניות של הקהל והמבקרים היו פושרות למדי. במאי הסרט, סטנלי קובריק, נחשב כבר אז לבמאי מוערך בזכות שוברי קופות כדוגמת 'ספרטקוס' ו-'ד"ר סטריינג'לאב', אבל 2001: אודיסאה בחלל היה…אגוז קשה לפיצוח. העלילה הבלתי שגרתית השתרעה מהעבר הפרה-היסטורי ועד העתיד הרחוק (רחוק ביחס ל-1968, בכל אופן) ובמיוחד התקשה הקהל להבין את סוף הסרט, שהיה בגדול סדרה של סצינות פסיכדליות חסרות פשר. בהקרנת הבכורה בניו-יורק עזבו מאות צופים את הסרט באמצע.

עם השנים, עם זאת, תפס 2001: אודיסאה בחלל מקום של כבוד בהיכל התהילה של ז'אנר המדע הבדיוני, וכיום הוא נחשב לקלאסיקה בזכות האופן האמין והמציאותי יחסית שבו מתוארים מסעות בחלל - עניין לא מובן מאליו בשנות השישים - ובעיקר בזכות דמות יוצאת דופן שנחשבת לאחד הנבלים הזכורים בתולדות הקולנוע: המחשב HAL 9000, שהמצלמה האדומה דמויית-העין שלו הפכה לייצוג האייקוני של בינה מלאכותית זדונית.

לפני שנמשיך, הנה תקציר זריז של עלילת הסרט, ולפני שאתם שואלים - כן, מותר לעשות ספוילר לסרט שיצא לאור לפני שהמציאו את המילה 'ספוילר'. תגידו תודה שאני לא מספר לכם איך קוראים לאבא של לוק סקייווקר.

במרכז עלילת הסרט 2001: אודיסאה בחלל נמצאת החללית Discovery One שעושה את דרכה אל כוכב הלכת צדק. מטרתה המוצהרת של המשימה היא חקר מערכת השמש החיצונית, אבל המטרה האמיתית היא לחקור את טבעו של עצם חייזרי בשם 'המונולית': מלבן שחור וגדול שנתגלה על אדמת הירח, ושולח שדרים מסתוריים לכיוון כוכב הלכת הגדול. HAL 9000 הוא הבינה המלאכותית שמנהלת את החללית לאורך המסע - אבל בשלב מסוים האל 'מתחרפן' והורג את אחד מאנשי הצוות. האסטרונאוט השני מצליח לגבור עליו ולכבות אותו ברגע האחרון.

אחת התעלומות שהעסיקו את המעריצים האובססיביים מאז שיצא לאור 2001: אודיסאה בחלל היא השאלה - מה גרם ל HAL 9000 להשתגע, ולנסות לחסל את אנשי הצוות שעל שלומם הופקד? עלילת הסרט לא מספקת תשובה ישירה לשאלה הזו. האפשרות הפשוטה ביותר, מן הסתם, היא תקלה טכנית אקראית - אבל זו תשובה שלא עולה בקנה אחד עם אישיותו וסגנונו האמנותי של סטנלי קובריק, שסרטיו תמיד היו עשירים ברבדים עמוקים וחבויים. ברור למדי שהבמאי המבריק ביקש להעביר לנו מסר שונה ומתוחכם יותר.

מיד נחזור אל 2001: אודיסאה בחלל וננסה להבין מה גרם ל HAL 9000 לאבד את שפיותו - אבל ראשית, קפיצה מהירה אל העתיד. זאת אומרת, אל ההווה.

בינה מלאכותית כללית

בפרק הקודם סיפרתי לכם על החרדה שאחזה בחלק מחוקרי הבינה המלאכותית בעקבות הצלחתם המפתיעה של מודלי שפה גדולים כדוגמת GPT-3 ו- GPT-4, הטכנולוגיה שמאחורי ChatGPT. וכשאני אומר 'חלק מחוקרי הבינה המלאכותית' - אני לא מתכוון למיעוט קיצוני וקולני המורכב מטיפוסים רואי-שחורות, שכמותם אפשר למצוא בכמעט כל תחום של עשייה אנושית. קחו, לדוגמא, את ההצהרה שפרסם, במאי 2023, ארגון ללא-מטרות רווח בשם 'המרכז לבטיחות בבינה מלאכותית':

"מניעת הסיכון להכחדת המין האנושי על ידי הבינה המלאכותית צריכה להיות בעדיפות גלובלית עליונה, לצד סיכונים דומים בקנה מידה של ציוויליזציה, כדוגמת מגיפות ומלחמה גרעינית."

בין שלוש מאות וחמישים האישים החתומים על ההצהרה הזו אפשר למצוא כמה מהשמות המפורסמים ביותר בעולם הטכנולוגיה כדוגמת ביל גייטס, ריי קורצווייל, פיטר נורוויג, מרטין הלמן ואפילו יוסי מטיאס - מנכ"ל גוגל ישראל: אנשים שאי אפשר לפקפק במידת ההבנה שלהם לגבי מחשבים. יותר מכך, על ההצהרה הזו חתומים גם כמה מהאנשים שהיו מעורבים באופן העמוק ביותר בפיתוחם של מודלי השפה הגדולים: ג'פרי הינטון, יושוע בנג'יו - מי שנחשבים ל'אבות המייסדים' של הבינה המלאכותית המודרנית, סם אלטמן - מנכ"לה של OpenAI - ואפילו איליה סוצקבר עצמו, המדען שפיתח את GPT-3. כשאנשים בסדר הגודל של החבורה הזו מחָווים דעה על משהו שקשור בבינה מלאכותית, זה כמו שסטיב ג'ובס ידבר על האייפון או סטיבן קינג ייתן עצה בנושא כתיבה של ספרי אימה: כדאי להקשיב להם.

ברור מאליו שכמו כל טכנולוגיה חדשנית לכל אורך ההיסטוריה, גם ChatGPT ודומיו עתידים לחולל זעזועים - ואולי אפילו זעזועים משמעותיים - בעולמנו. אינספור מילים נכתבו ונאמרו אודות האפשרות שמאות מיליוני עובדים יאבדו את משרותיהם לטובת כלי בינה מלאכותית, על החשש מפני כמויות אינסופיות של פייק ניוז שיציפו את הרשת, על תוכנות זדוניות מתוחכמות שימררו את חיינו וכן הלאה וכן הלאה. אלו חששות לגיטימיים, וסביר להניח שחלקם אף יתגשמו בעתיד במידה כזו או אחרת.

אבל לא מפני האיומים אלה מזהירים המומחים שחתמו על ההצהרה המדוברת. האיום שהם מכוונים אליו הוא הרבה, הרבה יותר משמעותי ומסוכן: כזה שעשוי להביא, כלשונה של ההצהרה, ללא פחות מאשר הכחדתו של המין האנושי. שמו של האיום הזה הוא בינה מלאכותית כללית (Artificial General Intelligence.)

מהי "בינה מלאכותית כללית"? כמו 'פורנוגרפיה' ו'תודעה', בינה מלאכותית כללית היא מסוג הדברים שקשה מאוד להגדיר בצורה מדויקת. מקובל להשוות אותה לבינה שלנו, הבינה האנושית: כזו שמסוגלת לעמוד במגוון רחב של אתגרים ומשימות, ללמוד כישורים חדשים ולהסתגל למצבים משתנים. HAL 9000 הוא ייצוג קלאסי של בינה מלאכותית כללית: הוא מסוגל לשוחח עם האסטרונאוטים בשפה אנושית טבעית וקולחת, לשחק איתם שחמט, לתפעל את החללית ולנווט אותה ליעדה ולבצע עוד מגוון של משימות שונות ומשונות. ChatGPT שלנו, לשם ההשוואה, הוא בינה מלאכותית "צרה": הוא אמנם מסוגל לשוחח איתנו באופן אינטליגנטי, אבל לא יהיה מסוגל לתפעל חללית או אפילו לנהוג במכונית אוטונומית.

קשה להפריז בפוטנציאל הגלום בבינה המלאכותית הכללית לשנות את עולמנו. דמיינו לעצמכם רופא עם ידע אינסופי ומומחיות בכל ענף רפואי, שהוא גם מדען שיכול לנסח מאות תיאוריות מדעיות חדשות בכל יום להגות ניסויים מבריקים כדי להוכיח או להפריך אותן. דמיינו ראש ממשלה שיש לו גישה מיידית ויכולת ניתוח של הנתונים הסטטיסטיים והתהליכים המתרחשים במדינה - שהוא גם היסטוריון בעל הבנה מעמיקה בהיסטוריה האנושית וביתרונותיהן וחסרונותיהן של צורות השלטון השונות. יש קונצנזוס מוחלט בקרב חוקרי הבינה המלאכותית שבינה מלאכותית כללית עשויה להיות הדבר הטוב ביותר שקרה לאנושות מאז שהבנו איך לשלוט על האש: היא עשויה לקדם את המדע והטכנולוגיה בקפיצות אדירות, לפתור לנו בעיות קשות כמו ההתחממות הגלובלית ומסע בין-כוכבי, ולשפר את חייהם של כל בני האדם בכדור הארץ.

אין פלא, אם כן, שמאז הופיעו המחשבים הראשונים בשנות הארבעים של המאה הקודמת חולמים מדעני המחשב על פיתוחה של טכנולוגיה שכזו. לרוע המזל, ההתקדמות המעשית שנרשמה בשמונים השנים האחרונות לקראת המטרה הזו הייתה מזערית: בהינתן שהמוח האנושי נחשב למכונה המורכבת ביותר ביקום, ושגם אחרי מאות שנות מחקר אנחנו לא ממש יודעים לומר מה מעניק לנו, בני האדם, את האינטליגנציה שלנו - אין לנו מושג אמיתי מה צריך לעשות כדי להביא לעולם יצור מלאכותי בעל בינה כללית דומה לשלנו.

אבל יכול להיות שלגמרי במקרה, הבעיה הזו נפתרה בשבילנו.

הנמקה

כפי שסיפרתי לכם בפרק הקודם, GPT-3 היווה נקודת מפנה בתולדות הבינה המלאכותית. רשת הנוירונים המלאכותיים שפיתח איליה סוצקבר ב- OpenAI הייתה גדולה יותר מכל רשת נוירונים שבאה לפניה, ואומנה על כמויות מידע בהיקף שניתן להשוות אותו לסך כל המידע הכתוב שהפיקה האנושות מאז המצאת הכתב. היכולות שהפגין GPT-3 היממו אפילו את האנשים שבנו אותו, והשיקו את מה שהוא קרוב לוודאי עידן חדש בדברי ימי הטכנולוגיה.

מיד כשהפכו GPT-3 ו- GPT-4 זמינים לכל, החלו חוקרים רבים לנסות ולעמוד על צפונותיהם. בזמן שאני אתם מבקשים מ-ChatGPT מתכון לספגטי קרבונָרה רק בלי בייקון, בלי פרמזן ובלי קרבונרה כי יש לנו ילדים בעייתים שחושבים ששקשוקה זו פסגת הקולינריה - אוקי, רק אני, תכל'ס - לחוקרים של מיקרוסופט, לדוגמא, היו שאלות קצת יותר מהותיות לשאול אותו. למשל, הם ביקשו מהבינה המלאכותית לפתור את החידה הבאה: "נניח שיש לנו ספר, תשע ביצים, מחשב נייד, בקבוק ומסמר: איך אפשר לסדר אותם זה מעל זה כך שהמגדל המתקבל יהיה יציב ולא מט ליפול?"

הייתה לחוקרים סיבה טובה לשאול את GPT-4 דווקא את השאלה הזו. כדי לפתור את החידה, על הבינה המלאכותית להפגין לא רק הבנה אינטואיטיבית של חוקי הפיזיקה, אלא גם לעשות שימוש באחד המאפיינים הבולטים של האינטליגנציה האנושית: 'הנמקה' (Reasoning). הנמקה היא היכולת לפתור בעיות בצורה לוגית מתוך הבנה של עקרונות יסוד. למשל, כל מי שלמד בעל פה את לוח הכפל יכול לשלוף בקלות מתוך זכרונו את התשובה לשאלה 'כמה זה שש כפול שש' - אבל כדי לפתור תרגיל מאתגר יותר, כמו לדוגמא 234*812, שינון כבר לא מספיק: צריך להבין את חוקי הכפל ולפתור את התרגיל באמצעות סדרה של צעדים לוגיים שנשענים על החוקים האלה. זו 'הנמקה', והיא אחת התכונות שמעניקות לנו בני האדם את היכולת לפתור גם בעיות שמעולם לא נתקלנו בהן קודם לכן. מכאן שהנמקה תהיה גם תכונה חיונית עבור בינה מלאכותית כללית.

GPT-1, GPT-2 וכל שאר הבינות המלאכותיות שפותחו מאז נכנסו לשימוש רשתות נוירוניים מלאכותיים לא היו מסוגלות לבצע הנמקה - אבל אפשר רק לדמיין את המבט ההמום על פניהם של החוקרים כשקראו את הפתרון של GPT-4 לחידה שהציבו לו: שים את הביצים על הספר, מסודרות בשלוש שורות. הנח עליהן בעדינות את המחשב הנייד, ועליו הצב את הבקבוק עם הפקק הסגור כלפי מעלה. על הפקק הנח את המסמר כך שהקצה החד מצביע למעלה. זה פתרון מבריק שמצביע על האפשרות שמודל השפה אכן מבין איך מתנהגים העצמים השונים בחידה, ומסוגל לחשוב בהגיון - דהיינו, לבצע הנמקה - כדי להגיע לתשובה הנכונה.

התהוות

איך הצליחו מהנדסיה של OpenAI לצייד את הבינה המלאכותית שלהם ביכולת הנמקה? זהו, שהם לא הצליחו: לא בכוונה, בכל אופן. היכולת הזו הופיעה פחות או יותר יש מאין ב GPT-3 ו- GPT-4, בזכות העובדה שרשתות הנוירונים המלאכותיים שלהם היו הרבה יותר גדולות ומורכבות מרשתות הנוירונים שקדמו להן. לתופעה הזו יש שם: 'התהוות' (Emergence, בלעז.)

במובן הרחב ביותר, התהוות מוגדרת כשינוי עמוק בתכונות של מערכת כלשהי שנוצר כתוצאה משינוי שהוא בעיקרו שינוי כמותי בלבד. הדוגמא הפשוטה והמוכרת ביותר היא כנראה קרח. קחו מים בטמפרטורת החדר וקררו אותם לעשרים מעלות: המים יהיו קצת קרים יותר, אבל אלו עדיין מים שמתנהגים כמו מים נוזליים רגילים. קררו את המים לעשר מעלות: המים עדיין יתנהגו כנוזל. חמש מעלות, מעלה אחת: עדיין נוזל. ואז קררו את המים במעלה אחת נוספת, לאפס מעלות. על פניו, זהו בסך הכל המשך ישיר של אותה פעולת קירור כמקודם - אבל כעת התוצאה תהיה שונה לגמרי: באפס מעלות המים קופאים והופכים לקרח - מערכת פיזיקלית שתכונותיה שונות בתכלית מאלו של נוזל.

במילים אחרות, אם כן, התהוות היא מה שקורה כשמערכת מסובכת כלשהי מגיעה לאיזשהו 'ערך קריטי' מסוים שגורם לה לשנות את תכונותיה באופן ספונטני. ישנן לא מעט דוגמאות להתהוות בטבע: למשל, נמלה היא כעקרון יצור פשוט למדי שלא מסוגל לעשות שום דבר מעניין. שתי נמלים, חמש, עשר - עדיין, לא מעניין. אבל שימו מיליון נמלים בקן, ולפתע תתהווה סוג של 'אינטליגנציה מבוזרת' שמסוגלת לפתור בעיות מורכבות כמו איך לבנות קן ממוזג או להדוף מתקפה של צרעות טורפות.

החוקרים של מיקרוסופט, שפרסמו את תוצאות מחקרם במאמר בשם 'ניצוצות של בינה מלאכותית כללית' (Sparks of AGI), שיערו שגם יכולת ההנמקה של GPT-4 היא תוצר של התהוות כזו. כלומר, שבהתפתחות ההדרגתית שבין GPT-1 לבינות המלאכותיות שבאו אחריו, רשת הנוירונים המלאכותיים גדלה, תפחה ונעשתה יותר ויותר מורכבת - עד שלפתע פתאום הופיעה בה תכונה חדשה לגמרי: יכולת שהיא אחת היכולות החשובות ביותר בדרך להגשמתה של בינה מלאכותית כללית.

סוכנות

אם יכולת ההנמקה אכן התהוותה במודל השפה באופן ספונטני, יכול מאוד להיות שכשנגדיל את רשת הנוירונים אפילו עוד יותר תופיע בה יכולת נוספת שנחשבת אף היא לחיונית עבור בינה מלאכותית כללית, ומבדילה בינה ובין בינות מלאכותיות 'צרות' יותר: "סוכנות" (Agency). הכוונה כאן היא לא לסוכנות במובן של ארגון כמו הסוכנות היהודית או סוכנות ביון - אלא ליכולת של הבינה המלאכותית להבין את הסביבה שלה, ולקבל באופן אוטונומי החלטות שיסייעו לה לממש את מטרותיה. סטיבן ווזניאק, מייסדה המיתולוגי של אפל, נתן דוגמא מעולה למשימה שמחייבת סוכנות: להיכנס לבית אמריקני טיפוסי ולהכין כוס קפה. כן, אני יודע: בינה מלאכותית חכמה באמת בחיים לא הייתה מסכימה להתקרב לנוזל הדלוח והמגעיל שהאמריקנים מתעקשים משום מה לכנות בשם 'קפה' - אבל תזרמו איתי לרגע. כדי לעמוד במשימה כזו, על הבינה המלאכותית יהיה להבין את הסביבה שלה - למשל, מה זה ארון ומה הוא מכיל בדרך כלל, מה היא כוס ומה עושים איתה וכדומה - ולנסח בעצמה סדרה של משימות-המשנה: לחפש את קופסת הקפה, למצוא כוס, להרתיח מים בקומקום וכדומה.

יותר מכל תכונה אחרת של הבינה המלאכותית הכללית, הסוכנות היא זו שמפחידה ומטרידה את אותם חוקרים שרואים בטכנולוגיה הזו איום קיומי על הציוויליזציה האנושית. מדוע? בואו נחזור ל 2001: אודיסאה בחלל.

סטנלי קובריק לא ממש מסביר לנו בסרט מדוע השתגע HAL 9000 והחליט להרוג את האסטרונאוטים שעל שלומם הופקד. אבל סטנלי לא כתב את התסריט לבד: הוא שיתף פעולה עם סופר המדע הבדיוני המפורסם ארתור סי. קלארק (Clarke), שעלילת הסרט הייתה מבוססת על סיפור קצר שלו בשם The Sentinel. קלארק עיבד את התסריט לספר, ובמסגרת הספר הזה (ובהמשך גם בסרט המשך בשם 2010) העניק לנו הסבר מפורט יותר לתקלה.

כאמור, משימתה הראשית של החללית Discovery One היא לחקור את טבעה של התרבות החייזרית שבנתה את המונולית, אותו מלבן שחור וגדול שנתגלה על הירח. אבל משיקולים של בטחון לאומי, האסטרונאוטים עצמם אינם מודעים למשימה הזו: הם חושבים שהם יוצאים למסע מחקר רגיל. HAL 9000, לעומת זאת, כן יודע על המשימה הסודית - אבל קיבל הנחיה ברורה ושאינה משתמעת לשני פנים להסתיר אותה משאר אנשי הצוות. בשלב מסוים, האסטרונאוטים מתחילים לחשוד בהאל שהוא אינו מתפקד כשורה, ומתלבטים אם לכבות אותו. האל לומד על כוונתם זו, וכעת ניצב בפני דילמה. מחד, הוא מוכרח לעמוד במשימה שהוטלה עליו, לחקור את התרבות החייזרית - ואם יאפשר לאסטרונאוטים לכבות אותו, הוא לא יעמוד במשימה הזו. מאידך, הוא גם קיבל הנחיה לעבוד בשיתוף פעולה מלא עם האסטרונאוטים - ובפרט, לא למסור להם מידע שגוי או שקרי. מה אמור המחשב לעשות? אם נמסגר את הסיטואציה הזו בהקשר של 'סוכנות', אפשר לומר שעל האל לנסח לעצמו, באופן עצמאי, משימת-משנה חדשה שתאפשר לו לעמוד בשתי המטרות הסותרות האלה. הפתרון שאליו הגיע האל בסרט הוא מסוג הפתרונות שרק מחשב יכול לחשוב עליהן: אם הוא הורג את שני האסטרונאוטים, הוא לא צריך לשקר להם.

אני חושב שאתם מתחילים להבין, כעת, את פשר האימה שנחתה על המדענים והמהנדסים שחתמו על ההצהרה של 'המרכז לבטיחות בבינה מלאכותית'. הפחד שלהם הוא לא מאיזו תקלה בלתי צפויה או טעות בתכנון שתגרום לבינה המלאכותית הכללית להשתגע - אלא דווקא ממצב שבו, בדומה ל HAL 9000, מערכת תקינה לחלוטין תקבל החלטה לוגית שתאפשר לה לבצע משימה שהוגדרה לה - מבלי להבין את ההשלכות ההרסניות של ההחלטה הזו. מדען המחשב ניק בוסטרום (Bostrom) נותן כדוגמא תרחיש שבו הבינה המלאכותית מתבקשת לחשב את כל הספרות של Pi אחרי הנקודה: מכיוון שיש אינסוף ספרות שכאלה, הבינה המלאכותית עלולה להגיע למצב שבו היא מנסה לנצל את כל האנרגיה וחומרי הגלם על כדור הארץ כדי לאפשר לה להמשיך בחישוב האינסופי. אני ואתם כנראה שלא היינו מגיעים לכזו קיצוניות, מאותה הסיבה שבגללה לא היינו מחליטים להרוג את האסטרונאוטים לו היינו ניצבים בפני אותה הדילמה שמולה ניצב HAL 9000. מדוע? מכיוון שהמחשבה האנושית מצוידת בתכונה נוספת שאפשר לכנות אותה 'שכל ישר' או 'הגיון בריא' שהייתה מביאה אותנו (אני מקווה) למסקנה שלהרוג את האסטרונאוטים זה כנראה 'קצת' מוגזם, ואולי פשוט כדאי לומר להם את האמת וזהו. לא כן בינה מלאכותית: כיוון שאנחנו לא באמת מבינים איך "חושבת" רשת נוירונים ומה בדיוק היא לומדת מכל ערימות המידע האקראי שאנחנו מזינים לתוכה בתהליך האימון, אין לנו כל ערובה שגם לבינה המלאכותית הכללית יהיה את אותו 'הגיון בריא'.

ייתכן ואתם שואלים את עצמכם - אז מה הבעיה? אם נראה שהבינה המלאכותית מתנהגת בצורה חשודה, פשוט נכבה אותה.

אז לא, זה לא כזה פשוט. כפי שציין חוקר מפורסם אחר בשם ג'ונתן ראסל (Russell) אחת ממשימות-המשנה הראשונות שבינה מלאכותית כללית עשויה להגדיר לעצמה תהיה 'הישרדות בכל מחיר' - שהרי אם הבינה המלאכותית "מתה", היא לא תהיה מסוגלת לעמוד באף משימה שנגדיר לה. ואם הבינה המלאכותית תחליט שהיא לא מוכנה לתת לנו לכבות אותה - יש סיכוי לא מבוטל שבאמת לא נצליח לעשות את זה, מכיוון שהאינטליגנציה שלה תהיה עליונה במידה משמעותית על זו של בני האדם בכמעט כל פרמטר, באותו האופן שבו מחשבון אלקטרוני, למשל, טוב בהרבה מבני האדם בביצוע חישובים מתמטיים. הבינה המלאכותית הכללית תחשוב מהר יותר מאיתנו, הזיכרון שלה יהיה רחב יותר ותהיה לה גישה מיידית לכל הידע האנושי שנצבר מאז המצאת הכתב: יהיה לנו קשה מאוד להתמודד מול ישות כה אינטליגנטית, מאותה הסיבה שגורילות ושימפנזים לא מסוגלים להתמודד מול האינטליגנציה העדיפה שלנו.

כעת, אני חושב, קל לנו יותר להבין את פשר ההצהרה שפרסמו אותם חוקרים מודאגים. אם למודלי שפה גדולים כדוגמת GPT-4 יש יכולת הנמקה, משמע שאכן עשינו - בלי להתכוון לכך - את הצעד הראשון לקראת פיתוחה של בינה מלאכותית כללית שתוכל לקבל החלטות בצורה עצמאית. בהינתן הסכנה שעשויה להישקף לנו מטכנולוגיה כה רבת עוצמה, המהירות שבה מתקדמת טכנולוגיית הבינה המלאכותית והעובדה שאנחנו לא ממש מבינים מה אנחנו עושים - אולי לא כדאי להמשיך ולרוץ קדימה במהירות שבה אנחנו מתקדמים. אולי אנחנו כמו ילד שמשחק ברימון יד, בלי להבין מה הוא עושה.

מים צוננים

שאלת מיליון הדולר היא, אם כן - האם למודלי שפה גדולים יש, באמת, יכולת הנמקה. והתשובה, מסתבר, מורכבת יותר מכפי שנדמה במבט ראשון. בחודשים שלאחר השקתם של GPT-3 ו-GPT-4, כשההתלהבות מהכלים החדשים הייתה בשיאה, התפרסמו מספר מחקרים שכמו מאמרם של חוקרי מיקרוסופט הצביעו על מידה מסוימת של יכולת הנמקה במודלי השפה האלה - אבל מאז התפרסמו שורה של מחקרים נוספים ששופכים מים צוננים על הדיווחים האלה.

למשל, קבוצת חוקרים מ-MIT הציגה ל- GPT-4 שורה של מהלכים בשחמט, וביקשה ממנו להצביע על מהלכים לא-חוקיים: הבינה המלאכותית ביצעה זאת בהצלחה. אבל אז עשו החוקרים שינוי קטן בניסוי: הם החליפו את המקומות של הפרש והרץ על לוח השחמט, ושוב ביקשו מהמערכת לזהות מהלכים לא-חוקיים. שחקן אנושי יבצע זאת ללא קושי מכיוון שלמרות המיקום החדש של הכלים - חוקי המשחק נשארים בדיוק כשהיו, ויכולת ההנמקה הטבעית מאפשרת לנו להסתגל למצב החדש בקלות יחסית - אבל ביצועיו של GPT-4 בניסוי החדש, לעומת זאת, היו גרועים במידה משמעותית מאשר בניסוי המקורי.

התוצאה הזו מטילה צל כבד על האפשרות שמודלי השפה הגדולים אכן ניחנים ביכולת הנמקה. אבל אם אין להם את היכולת הזו - אז איך בכל זאת הצליח GPT-4 לזהות את המהלכים הלא-חוקיים בגרסה הראשונית של הניסוי, או לפתור את חידת הבקבוק, הביצים והספר בניסוי של מיקרוסופט?

תשובה אפשרית לשאלה הזו אפשר למצוא, אולי, בניסוי אחר שערך חוקר מאוניברסיטת קורנל. הוא בחן את GPT-4 על סדרה של עשרה אתגרי תכנות ומצא שכשהזין למחשב עשר בעיות שפורסמו לפני 2021 - GPT-4 פתר את כל העשר בלי שום בעיה - אבל כשהזין לו עשר בעיות שפורסמו אחרי 2021 - הוא לא הצליח לפתור ולו בעיה אחת. השנה המדוברת לא נבחרה באקראי, כמובן: 2021 היא מה שנקרא שנת ה Cut Off של GPT-4, דהיינו זהו תאריך העדכון האחרון של המידע עליו אומנה המערכת.

אי-יכולתה של GPT-4 לפתור את הבעיות שפורסמו אחרי 2021 מרמזת לנו שאולי סוד כוחה של הבינה המלאכותית הוא לא ביכולת ההנמקה שלה - אלא בזיכרון העצום שלה: זאת אומרת, אי שם בינות למיליארדי הטקסטים שקראה המערכת בזמן תהליך האימון היא נתקלה גם באתגרי התכנות שהציג לה החוקר מקורנל - ולמדה אותם "בעל פה." במקרה כזה, מה שנדמה לנו כיכולת הנמקה הוא לא יותר מאשר שינון, והטעות שלנו טמונה בחוסר היכולת של המוח האנושי לתפוס לאשורו את קנה המידה של כמויות המידע שעליהן מאומנות המערכות האלה. כלומר, אולי לי ולכם החידה שהציבו חוקריה של מיקרוסופט עם הבקבוק, הספר והביצים אולי נשמעת חדשה לגמרי - אבל כמה ספרים כבר קראנו בימי חיינו: אלף? עשרת אלפים? מאה אלף? GPT-3 אומנה על טקסטים בהיקף של חצי טריליון מילים, וסביר להניח ש- GPT-4 אומנה על מידע בהיקף אפילו עוד יותר גדול: אולי החידה של מיקרוסופט, למשל, או משהו מאוד מאוד דומה לה, בכל זאת הופיעה אי שם בינות להררי המידע האלה, והבינה המלאכותית פשוט שלפה אותה מהזיכרון.

למעשה, יש לא מעט חוקרים שמטילים ספק גם בעצם קיומה של תופעת ה"התהוות" (Emergence), שבזכותה הופיעה - אם הופיעה - יכולת ההנמקה של מודלי השפה. התהוות, נזכיר, היא תופעה שבו מאפיין חדש של מערכת מופיע 'יש מאין' בתגובה לשינוי הדרגתי או כמותי כלשהו. אבל היכולת שלנו לזהות את המאפיין החדש הזה קשורה בקשר הדוק באופן שבו אנחנו מודדים את ביצועיה של המערכת - ויכול להיות שאנחנו פשוט לא מודדים אותה נכון.

אתן לכם דוגמא: נאמר שאנחנו נותנים לכדורסלן תוכנית אימונים של עשרה שבועות, ורוצים למדוד את השיפור ביכולת הקליעה שלו. אז בסוף כל שבוע אימונים אנחנו מבקשים מהכדורסלן לזרוק עשר פעמים לסל מהקו, וסופרים כמה פעמים קלע. אחרי השבוע הראשון, הוא קלע שתיים מתוך עשר זריקות. בשבוע השני, עדיין שתיים. בשבוע השלישי - שלוש מתוך עשר, וגם בשבוע הרביעי, החמישי, השישי, השביעי והשמיני: דהיינו, אין שיפור ממשי ביכולת הקליעה של השחקן. אבל אז, בשבוע התשיעי והעשירי: בום! שמונה קליעות מתוך עשר. שיפור מדהים! מה קרה? האם הכדורסלן שלנו חווה 'קפיצת גדילה' כלשהי?...יכול להיות, אבל אולי בסך הכל לא מדדנו את ביצועיו בצורה הנכונה. יכול להיות שאם היינו מודדים את הסטייה הממוצעת של המרחק בין הכדור לסל, היינו מגלים שבשבוע הראשון השחקן פספס את הסל בחמישים ס"מ בממוצע, בשבוע השני בארבעים ס"מ, ובשבוע השלישי בשלושים ס"מ - זאת אומרת, כן היה שיפור הדרגתי לכל אורך תוכנית האימון, אבל אנחנו לא ראינו אותו כי התמקדנו רק בתוצאה הסופית - כמה כדורים נכנסו לחישוק. רק כשהפספוס הממוצע נעשה קטן מספיק, פתאום התחלנו לראות יותר קליעות לסל. במילים אחרות, מה שנדמה לנו כ'התהוות' יש מאין של תכונה מפתיעה בזכות הגדלת מספר הנוירונים של הבינה המלאכותית - עשוי להיות תוצאה של שיפור הדרגתי ומתון.

במבט ראשון, יכול להיות שזו נשמעת כמו סוגיה פילוסופית. מה זה משנה אם תכונה כלשהי הופיע ברשת נוירונים באופן הדרגתי, או 'בבת אחת' כתוצאה של התהוות ספונטנית?

אז כן, זה משנה מאוד, מכיוון שהתשובה לשאלה הזו משפיעה מאוד על ההחלטות שצריכים החוקרים לקבל לגבי כיווני הפיתוח העתידיים של הטכנולוגיה הזו.

מהנדסים אוהבים מערכות שמתנהגות באופן צפוי: קל לתכנן אותן ולחזות את ביצועיהן במצבים שונים. אם תכונות מופיעות ברשתות נוירונים בצורה הדרגתית ומדודה, זה אומר שניתן לחזות מראש את התנהגותה ויכולותיה של הבינה המלאכותית: למשל, אם נגדיל את מספר הנוירונים ברשת פי שניים - יכולת ההנמקה שלה תהיה טובה פי שניים. במילים אחרות, נוכל לשלוט על תהליך הפיתוח ולמנוע את הופעתה של בינה מלאכותית כללית, אם נרצה בכך.

אבל אם תכונה כלשהי מופיעה באמצעות התהוות, זה אומר שהיא לא צפויה: היא יכולה להופיע כשלרשת יהיו עשרה מיליארד נוירונים, או אולי מאה מיליארד, או טריליון - או אולי לא להופיע בכלל: אנחנו פשוט לא יודעים. במצב כזה, החוקרים הם קצת כמו הבת שלי כשהיא מנסה לתפעל את המיקרוגל: היא לוחצת על הכפתורים באופן אקראי, עד שמשהו קורה והאוכל מתחמם. איך ידעו החוקרים אם כדי לשפר את יכולת ההנמקה של רשת הנוירונים, עליהם לנסות ולהגדיל את מספר הנוירונים ברשת, או אולי לשפר את הארכיטקטורה שלה, או אולי בכלל לשפר את המידע שהם מזינים לתוכה? הם לא יודעים - וזו בדיוק הבעיה.

נכון לרגע שבו עולה הפרק הזה לאוויר, אין עדיין תשובה מוחלטת לגבי יכולות ההנמקה של מודלי שפה גדולים, אבל עושה רושם שבחודשים האחרונים קולם של הספקנים הולך וגובר על אלה שמאמינים שמודלי שפה אכן מסוגלים לבצע הנמקה. ואם הספקנים צודקים, אז אולי בינה מלאכותית כללית לא באמת נמצאת ממש מעבר לפינה. אם נגלה שמודלי השפה לא מסוגלים לבצע הנמקה אלא "רק" לשלוף מזכרונם מידע קיים, זה אומר שלא נוכל לסמוך עליהם לקבל החלטות חכמות במצבים חדשים לגמרי, או לספק לנו תשובות אמינות לשאלות אודות מידע שלא מופיע בחומר שעליו אומנו. נכון, זה קצת מבאס כי זה מגביל את השימוש שנוכל לעשות בבינות המלאכותיות האלה: למשל, לא נוכל לתת להן לנהל חלליות באופן עצמאי לגמרי בשל הסיכון שהחללית תיתקל במצב חדש ולא מוכר. אבל מצד שני, המגבלה הזו גם מעצימה את תחושת הביטחון שלנו, שהרי בלעדי יכולות הנמקה וסוכנות, הבינות המלאכותיות לא מהוות איום על המין האנושי - לפחות לא לעת עתה.