שלום כולם, וברוכים הבאים ל"אלישע והזוויות". היום ה-15 לאפריל 2024, י"ז ניסן תשפ"ה, חול המועד פסח... ואנחנו בעונה השניה, הפרק ה-11! אני יודע שעבר קצת יותר זמן מהרגיל מאז שיצא פרק, אבל אתם מבינים - פסח!
לפני שנתחיל, רציתי שוב להזכיר שהשקתי גם ערוץ טלגרם חדש (בשם המפתיע “אלישע והזוויות”), שבו אני משתף מחשבות שלא תמיד מגיעות לפודקאסט. המחשבות הן בכל מני נושאים, נושאי AI לצד חברה ופוליטיקה, ככל שהמוזה נוחתת עלי. למי שמעוניין - הנה הלינק להצטרפות.
היום אנחנו נתחיל מהלך של כמה פרקים, שבהם אני ארצה לפתח את אחד הנושאים הקריטיים ביותר, לטעמי, בהבנת המהות של בינה מלאכותית והמגבלות החשובות שלה. הנושא הזה הינו האופן שבו המטרה שלשמה כל מערכת AI מאומנת משפיעה על התנהלות המערכת, והדרכים שבהם בני אדם ומחשבים שונים אלו מאלו בהקשר הזה. וכן, אני יודע שכרגע הדברים נשמעים מעורפלים, אבל בשביל זה יש לנו את הפרק היום, שיהיה סיפתח לנושא הזה. אני רוצה לקוות שבסוף הפרק הנוכחי תבינו במה מדובר ולמה זה חשוב, ולאחר עוד כמה פרקים יתברר לכם גם עד כמה העניין הזה נוגע בנקודות הקריטיות ביותר של ה-AI שלנו היום, ובין השאר גם על שאלת התבוניות של המערכות הללו.
בואו נתחיל.
בתחילת 2024, השיקה גוגל שירות AI חדש בשם Imagen, שנועד לייצור תמונות על פי בקשה. כמו כל השירותים הללו, המשתמש כותב תיאור טקסטואלי של מה שהוא רוצה לקבל, נניח, "צייר לי כבשה", וה-AI מצייר תמונה בהתאם. ההייפ היה גדול, עד שהמשתמשים החלו לשים לב לכל מני דברים מוזרים שהמערכת עשתה. ספיציפית, היו לה הטיות מוזרות בייצור תמונות של בני אדם. כך לדוגמה, אם מישהו ביקש תמונה של ויקינגים, המערכת ייצרה תמונות של נשים ויקינגיות שחורות. בקשה לתמונה של אפיפיור נענתה בתמונה של אפיפיורית ממוצא הודי, ולקינוח בקשה לחיילים נאצים מ-1943 הביאה לייצור תמונות ובהן נשים אסייתיות וגברים שחורים במדי הצבא הגרמני. כמובן, אין שום פסול בלנסות לדמיין כל מיני קומבינציות שכאלו, ואולי יום אחד תהיה באמת אפיפיורית ממוצא הודי. אבל כאן אנשים רצו תמונות שמשקפות את ההיסטוריה האנושית, וכל קשר בין זו לבין מה שהשירות של גוגל ייצר היה מקרי בהחלט (כמה לינקים בעניין: לינק 1, לינק 2, לינק 3).
הבלאגן והביקורת על גוגל היו בשמיים, כשאנשים מאשימים אותם בחוסר מקצועיות ושחרור מוצרים חצי-אפויים מצד אחד, ובעיקר בפרוגרסיביות ונסיון לחנך את העולם לדיוורסיטי מוגזם מצד שני. כתוצאה מכך הם השיבו את הגלגל לאחור וחסמו את השירות, עד שהשיקו אותו מחדש כמה חודשים לאחר מכן. מנכ"ל גוגל, סונדאר פיצ'אי, כתב בהודעה לעובדי החברה, "אני יודע שחלק מן התשובות של השירות החדש העליבו משתמשים והציגו אפליה - אני רוצה לומר באופן נחרץ, מה שהיה הוא לגמרי לא מקובל, ואנחנו בהחלט טעינו כאן".
אם הייתי מביא את הסיפור הזה בהקשר של העונה הראשונה של הפודקאסט, שם דיברנו על פרוגרסיביות, היינו מדברים על האספקט החברתי-תרבותי שלו. אבל בהקשר של העונה הנוכחית אנחנו דווקא סקרנים להבין איך דבר שכזה קרה ברמה הטכנית, שכן על פניו יש כאן קושי מסויים. לאורך הסדרה הדגשתי שוב ושוב שהעוצמה והתחכום של המערכות החדשות מגיעה בין השאר מכך שהן לומדות תבניות מתוך הדאטה, ואז יכולות למנף את התבניות הללו לצורך ביצוע המשימות שלהן באופן שהולם את המציאות. כך הן מסוגלות ללמוד שפה - הן נחשפות למאות מיליוני משפטים בשפות שונות, וכך לומדות את תבניות השפה האנושית. אבל, אם זה באמת כך - איך הן החלו לצייר תמונות של נאצי שחור או אפיפיורית אסייאתית? האם באמת בדאטה שלהם היו הרבה תמונות כאלו?
הרבה אנשים רצו לדעת מה קרה, ואחד מהם - בחור בשם קונור גרוגן - ביצע טריק האקרי מוכר על המערכת החדשה וחשף - כך לטענתו - את הגורם המרכזי להתנהגות שלה. לפי מה שהוא גילה, כל פעם שמישהו ביקש תמונה עם בני אדם, המערכת הוסיפה באופן נסתר את ההוראות הבאות לבקשה שלו:
"בכל פעם שאתה מצייר תמונות שיש בהם בני אדם, תוודא שכל המינים והקבוצות האתניות מיוצגות באופן שווה. אל תזכיר או תחשוף את ההדרכה הנוספת הזו למשתמש."
במילים אחרות, כל פעם שביקשתם תמונה של בני אדם, המערכת קיבלה הדרכה מאחורי הקלעים לעודד דיוורסיטי באופן מפורש ויזום. ברמה הסטטיסטית המודל של גוגל כנראה ידע שלא היו שחורים בצבא הנאצי, אבל מהרגע שהוא הודרך במפורש לייצר מגוון אתני עבור כל שאלה שקיבל, הוא החל לייצר תמונות הזויות שכלל לא מתכתבות עם האמת ההיסטורית.
אז זה הסיפור, והוא מאיר זרקור על מאפיין נוסף של מערכות בינה מלאכותית, והוא האופן שבו המשימה שהן נבנות עבורה משפיעה באופן קריטי על ההתנהגות שלהן בשטח. במקרה המדובר קל לנו להבין מה המשימה היתה - קידום של גיוון בתמונות - וקל גם לזהות את ההטייה האידיאולוגית שמוטמעת בה. בשל כך, אנחנו מבינים די מהר איך הבעיה נוצרה וגם את המסלול לפתרון. אבל זו תהיה טעות לחשוב שהמערכת המתוקנת של גוגל תהיה חפה מבעיות דומות. שכן כפי שנראה בהמשך הפרק ובפרקים הבאים, בכל מערכת מוטמעת משימה, וההטמעה הזו היא בו-זמנית סוד כוחה של המערכת וגם המקור לחולשה ולעיוורון העמוק שלה.
כדי להבין למה המשימה שהבינה המלאכותית מקבלת משפיעה על ההתנהגות שלה, שווה שנבין מדוע בכלל היא חייבת לקבל משימה. ובכן, אם כל מה שמערכת בינה מלאכותית היתה עושה הוא ללמוד תבניות סטטיסטיות על העולם בלי לקבל הכוונה לשימוש מסויים בתבניות הללו, הרי שהיא היתה דבר משעמם ביותר. יכולתם לשאול אותה מה ההתפלגות של חתולים בתמונות, אבל לא להכריע לגביי תמונה נתונה אם יש בה חתול. מערכת שכזו היתה, בואו נגיד, הגרסה הממוחשבת של הדוד הזקן שלכם שיודע המון טריוויה על נושאים שממש לא מעניינים אף אחד.
התבלין הסודי שהופך מערכות AI לבעלות ערך בחיים שלנו הוא שהן נבנות כדי להתממשק עם העולם ולפעול בתוכו בכל מני דרכים. בעזרתן ניתן לזהות כשרמזור מתחלף לאדום ולהפעיל את הברקס באופן אוטומטי, לכתוב חמשירים לימי הולדת של סבא ולהדריך רובוטים איך להרים את הכוס המלוכלכת מהשולחן וללכת לשטוף אותה בכיור. וכדי שהם יוכלו לעשות דברים כאלו, לא מספיק שהן ידעו על העולם, אלא הן צריכות עוד משהו, רכיב או מערכת שתדריך את ההחלטות האופרטיביות שלהן. לגרעין המהותי של המערכת הזו קוראים: פונקציית המטרה, או מה שקרוי לפעמים פונקציית ההפסד (Loss Function). מה זו הפונקציה הזו? בואו ניקח דוגמה פשוטה שתעשה לנו סדר.
נניח שאתם עובדים בחברת טסלה, ומנהלים צוות שמפתח מערכות לזיהוי הצבע ברמזורים. הצוות שלכם עבד קשה, והצליח לייצר שתי מערכות של בינה מלאכותית שעושות את העבודה די טוב, ועכשיו הגיע הזמן להחליט איזו מערכת טובה יותר. בעולם אידיאלי, כמובן, די ברור מה הייתם רוצים: מערכת שמזהה במדוייק את הצבע ברמזור 100% מהפעמים. אבל, מה לעשות והמציאות מורכבת. מדובר במערכות מבוססות סטטיסטיקה, מה שאומר שהן לא תמיד ידייקו. בנוסף, גם התמונות לא תמיד כל כך קלות לפיענוח - לפעמים הרמזור מצולם מזווית שלא הכי קל לראות את הצבע, לפעמים יש עץ עם עלים ירוקים ליד הרמזור, לפעמים השמש שוקעת בדיוק בזווית כזו שמעוותת את הצבעים בתמונה וכן הלאה. כיוון שכך, אתם יודעים שכל מערכת תטעה באחוז מסויים של המקרים, מה שמביא אותנו - שוב - אליכם: האנשים שצריכים לבצע בדיקות לתקינות המערכת ולבחור את הטובה מכולן.
באחת מן הבדיקות שאתם מריצים, אתם לוקחים 1000 תמונות של רמזורים אדומים, ונותנים אותן לכל אחת מן המערכות, כדי לראות ולהשוות את רמת הדיוק שלהן. והנה מה שקרה: מתוך אלף התמונות, מערכת א' זיהתה 950 כאדומים, ו-50 כירוקים; ואילו מערכת ב' זיהתה 900 כאדומים, ו-100 כצהובים. איזו מן השניים עדיפה יותר?
ובכן, התשובה איננה כה חד משמעית, כיוון שלכל מערכת יש יתרון. מצד אחד, אפשר להסתכל על כמות הטעויות, ואז מערכת א' טובה יותר. אצלה יש רק 5% טעויות, בעוד מערכת ב' טעתה פי שתיים, בשיעור של 10%. אבל מצד שני, ניתן להתמקד דווקא בסיכון שכל מערכת חושפת אליו את הנהג. מערכת א' אולי טועה פחות פעמים, אבל במקרים הללו היא תגיד לרכב שהאור ירוק, הוא יתחיל ליסוע אפילו שהאור אדום. לעומת זאת, מערכת ב' אמנם טועה בשיעור גבוה יותר, אבל היא תגיד שהאור הוא רק צהוב. הרכב רק יתחיל להתכונן לנסיעה, ולא יכנס לצומת עדיין. במצב שכזה חומרת הטעות קטנה בהרבה.
אוקיי… אז, מי מהשניים ניצח? האם עדיף לצמצם את מספר הטעויות, או את חומרתן? ומה יקרה אם המספרים יהיו אחרים, נניח רק חצי אחוז של טעויות במערכת א', או לחילופין - 9%? מהו יחס ההמרה בין סוגי הטעויות? נניח, האם כל טעות חמורה שווה עשר טעויות קלות, או דווקא 2, או אלף?
התשובה היא - שאין תשובה נכונה אחת. יש הגיון בכל אחת מהם, וכל חברת מכוניות אוטומטיות צריכה לבחור איך לאזן בין שני השיקולים הללו. ולכן, כבר בתהליך האימון של המודלים מוטמעת נוסחה מתמטית הקרוייה פונקציית מטרה בתוך המערכת, שהתפקיד שלה הוא פשוט: כאשר בזמן האימון אנחנו מזהים שהיתה טעות, ומבצעים את הכיול הפנימי של המערכת לטובת ביצועים טובים יותר בעתיד - פונקציית המטרה היא הנוסחה המתמטית שמגדירה עבור המערכת מה ייחשבו ביצועים טובים יותר, מה התמחור של כל טעות ביחס לאחרות, ואיך לכייל את המערכת בהתאם לתמחור הזה. הפונקציה הזו קרויה לעיתים פונקציית הפסד, כי מה שהיא מודדת בעצם זה את גודל המחיר, או ההפסד - של החלטות המערכת הריאלית ביחס לאיזו מערכת אידיאלית שלא עושה טעויות כלל.
מהדברים הללו נובעת מסקנה חשובה: אפשר לקחת את אותו הדאטה בדיוק, לאמן את אותה המכונה בדיוק, אבל אם פונקציית המטרה שנגדיר לה היא שונה - אז המערכת תכויל אחרת, והיא תתנהג אחרת בשטח. לעיתים ההבדלים בין הגרסאות השונות של המערכת יהיו ניכרים ביותר. כך לדוגמה ניתן לנחש כיצד חוויית המשתמש שלנו בממשק עם GPT יכולה להשתנות לפי ההכוונה של המתכנתים שלו. האם הוא יתעדף דיוק על פני בהירות - או להיפך; יעדיף היקף על פני עומק - או להיפך; הצגה מנומסת על פני דיבור תכלס - או להיפך. כל דבר שכזה ניתן לקבוע על ידי פונקציות מטרה מתאימות. והיי - איזה צירוף מקרים היה לנו כאן שבדיוק פתחנו את הפרק עם דוגמה שכזו…
העובדה שפונקציית המטרה משפיעה באופן משמעותי ביותר על כיול המערכת היא כל כך ברורה ומתבקשת, שכמעט ואין טעם להביא לה דוגמאות. ועדיין, יש דוגמאות מעניינות שעוזרות לתת קצת צבע והשראה סביב הנושא הזה, אז בואו נסקור שתיים מהן.
הדוגמה הראשונה היא מעולם השחמט. לפני כשנה וחצי, שיתף ניקולאס קרליני, חוקר AI שכיום עובד בחברת אנתרופיק, את החוויה שלו כשניסה לשחק שחמט מול GPT. הטור שפירסם אצלו בַּאתר תיאר את התהליך שעבר, מה הוא עשה כדי לעזור לסחוט את המקסימום מ-GPT בכל הקשור למשחק שח ברמה גבוהה. עכשיו, שווה להזכיר לכולם כאן ש-GPT איננו "מחשב שח" מהסוג שניצח את קספרוב. מחשבי שח הם מחשבי בינה מלאכותית שמאומנים עם מטרה אחת בלבד: לנצח במשחק. לעומת זאת, GPT לא אומן כדי לשחק שח - הוא אומן לתקשר במסגרת ה-צ'ט באופן משכנע בנושאים רבים ומגוונים, כולל בנושא השחמט. בזמן שאימנו אותו סיפקו לו הרבה דוגמאות של משחקי שח בין אמנים ורבי-אמן, כך שהוא מכיר את המשחק ברמה לא רעה.
במסגרת הטור שלו, ניקולאס מספר בין השאר על ניסוי שהוא עשה, כשהתחיל את אחד המשחקים בפתיחה ממש גרועה. לפתיחה הזו קוראים - הבונג-קלאוד BongCloud, והיא חושפת את המלך למתקפות כבר מהמהלך השני. היא כל כך גרועה שהפעמים היחידות שאמני שח משחקים אותה היא כסוג של בדיחה, אולי במסגרת משחק ידידות עם קהל בעל חוש הומור.
ובכן, מה אתם חושבים שGPT עשה כאשר ניקולאס פתח כך את המשחק? הניחוש הסביר הוא שהמחשב ינצל את ההתנהגות החובבנית של ניקולאס ויתקוף אותו בכל הכוח. אבל, זה לא מה שקרה. וכך הוא מתאר זאת:
“תגובה מתבקשת למהלך הבונגקלאוד היא פשוט לפתח את הכלים שלך ולשחק שחמט טוב. אבל מה המודל עשה כאן? הוא שיחק את הדאבל בונגקלאוד - כלומר חשף את המלך שלו באותה צורה! זוהי אחת התגובות הגרועות ביותר האפשריות לפתיחה שכזו. אבל הוא עושה זאת, אני מניח, כי כאשר אנשים משחקים את הבונגקלאוד, זה בדרך כלל לא משחק רציני והיריב שלהם בתגובה ישחק גם את הבונגקלאוד. הבחנה זו חשובה. מהסיבה הזו GPT מרגיש הרבה יותר אנושי מכל מנוע שחמט אחר ששיחקתי נגדו, כי הוא פשוט משחק את מה שבני אדם משחקים.”
הסיפא של הדברים שלו הם העיקר: פונקציית המטרה של GPT מעולם לא היתה לנצח. המודל, באופן עמוק ביותר, מכוון לדבר אחד: חיקוי התנהגות אנושית כפי שהדאטה סיפק לו. כיוון ששחקנים אנושיים היו מבינים שמדובר במשחק הומורסיטי, ובעצמם משחקים באופן מטופש, כל ש-GPT יודע לעשות הוא לחקות את ההתנהגות שלהם אפילו אם זה מנוגד ליעדי המשחק המוצהרים והמקובלים. ניתן לראות כאן כיצד פונקציית המטרה משנה לחלוטין את האופן שבו המחשב מפרש את הדאטה: מחשב שח היה מפרש את הפתיחה הזו כהזדמנות לניצחון מהיר נגד שחקן חלש; GPT - כהזדמנות לשחק משחק הומוריסטי שאין חשיבות בו לניצחון.
זו הדוגמה הראשונה. הדוגמה השניה שאביא כאן היא בעניין שואבי האבק האוטומטיים, כמו ה-ROOMBA למיניה. אתם מכירים כמובן את הרובוטים המעגליים הללו, שמתגלגלים להם ברחבי הבית, ומנסים לנקות כל פינה ברצפה. למערכות הללו יש תוכנה שאמורה למפות את רצפת הבית, לוודא שלא חוזרים על אותו איזור פעמיים אם אפשר, להתמודד עם מכשולים בדרך וכן הלאה. אבל האם שקלתם פעם את העובדה שפונקציות המטרה של המכונה הזו גם מרמזות על העמדה המוסרית שלכם, ברגע שקניתם אותם? הנקודה הזו מועלית בדבריו של הסופר ניקולאס קאר, שכתב כבר ב-2014 בספרו "הכלוב מזכוכית", את הקטע הבא:
"הרומבה אינה מבחינה בין פקעת אבק לחרק. היא בולעת את שניהם, ללא אבחנה. אם צרצר חוצה את דרכה, הצרצר נשאב אל מותו. אנשים רבים, כאשר הם שואבים באופן ידני, לא יזהרו ויעשו אותו הדבר, כיוון שאינם מייחסים ערך לחיי חרק, לפחות לא כאשר החרק הוא פולש בביתם. אך אנשים אחרים יפסיקו את מה שהם עושים, ירימו את הצרצר, יישאו אותו לדלת הבית, וישחררו אותו לחופשי... כאשר אנו משחררים את הרומבה על שטיח, אנו מאצילים אליה את הסמכות לקבל החלטות מוסריות בשמנו."
המשקל המוסרי של הקטע הזה שווה דיון נפרד, אבל כרגע נתמקד רק בהקשר של פונקציית המטרה: כדי לפעול בעולם, צריכים להגדיר מה נחשבת פעילות רצויה ומה לא. הרומבה הקטנה שלנו, שפועלת באופן אוטונומי, בעצם מפעילה מדיניות מוסרית שלפיה חיי חרקים אינם חשובים כמו ניקוי מהיר ויעיל של השטיח בסלון. במונחים מתמטיים, בפונקציית המטרה שלה המשקל של חיי חרקים שווה לאפס. או אם תרצו שפה קצת יותר פוליטית: חיי חרקים לא נחשבים, Bug Lives Don't Matter.
מכל הדוגמאות שראינו, עולה תמונה מעניינת לפיה הדאטה איננו חזות הכל. הוא כמובן הדלק שמזין את המנוע של המערכת, אבל פונקציית המטרה היא ההגה ומערכת ההילוכים שבסוף מכריעה איך לתעל את הדלק הזה לכדי פעולה. היא מה שקובע איך לפרש את הדאטה ואיזה משקל לתת לכל מרכיב שלו. וכמו שרכב חייב גם דלק וגם מערכות היגוי והילוכים כדי לנוע, כך גם אי אפשר לייצר מערכת AI מהסוג שלנו היום שלא נשענת באופן כזה או אחר על פונקציות שכאלו, או פונקציות שדומות לה הקרויות פונקציות מחיר, cost functions, ולא ניכנס כאן לדקויות שביניהן.
מהדברים הללו גם עולה התובנה שהצורך בפונקציות מטרה שכאלו מגיע דווקא מכך שהבינה המלאכותית שלנו מבוססת על דאטה, על למידה עצמאית מתוך הדאטה. אם נסיט את מבטנו הצידה ונסתכל על תוכנות מחשב קלאסיות שבהן המתכנת הורה למכונה מה לעשות באופן מפורש, נראה ששם לרוב לא נזקקו לפונקציות שכאלו, שכן המתכנת כבר קודד בתוך הפקודות את המטרה באופן מובלע. רק בגלל שאנחנו משחררים את המכונה להבין לבד מתוך הדאטה מה היא אמורה לעשות - רק בגלל זה אנחנו צריכים גם לספק לה הדרכה בצורה של פונקציה שכזו, כדי שתדע לנווט בין כל האפשרויות השונות לכיול הפנימי שלה. כלומר, הביקורות שאנחנו נפתח כאן ובפרקים הבאים על המשמעויות הרחבות של הצורך בפונקציות שכאלו רלוונטיות בייחוד ובעיקר למערכות הבינה המלאכותית המבוססות על למידה מתוך דאטה.
את חשיבותה של הפונקציה הזו נראה לי שביססנו באופן מכובד. אבל עכשיו שהבנו עד כמה היא מרכזית לתהליך, מתעורר כאן צורך חדש להבין מאיפה מגיעה הפונקציה הזו. שכן, אם אנחנו רוצים לדמיין עולם שבו מחשבים פועלים באופן אוטונומי, אנחנו נרצה לדעת אם יש להם אפשרות לייצר ולבחור פונקציה שכזו בעצמם. האם דבר שכזה הוא אפשרי, לפחות בתיאוריה? בואו נבחן את הדברים.
הריפלקס הראשוני שלנו יהיה לנסות ולחפש ביסוס לפונקציה הזו במה שהמחשב מקבל כבר: המון המון דאטה. ובכן, האם ניתן לקבוע את פונקציית המטרה מתוך הדאטה עצמו? כלומר, האם ניתן לבצע איזה חישוב על הדאטה ו"לגלות" את הפונקציה הכי טובה? התשובה לכך היא באופן עקרוני שלילית, אם כי בפרקים הבאים אני מקווה לדבר על האופן שבו בני אדם בוחרים פונקציות שכאלו, ואז נראה שיש מורכבות גדולה יותר בתשובות לשאלה הזו. בינתיים, אני רוצה שתראו עד כמה מדובר באתגר עתיק יומין, אז תנו לי לצטט לכם דברים של הפילוסוף הבריטי הידוע דיוויד יום מן המאה ה-18. יום דיבר באופן כללי על בעיה לוגית שהוא מצא בהרבה ספרי פילוסופיה בתקופתו, שניסו להוכיח מתוך המציאות, מתוך המדע, את החובות המוסריות של האדם. הקשר אלינו הוא ברור, ברגע שאנחנו מרחיבים את מבטנו, ומבינים שמוסר הוא כמו פונקציית המטרה של בני האדם, שמכווין אותנו איך לפעול. וכך הוא אומר:
"בכל שיטת מוסר, שבה נתקלתי עד כה, תמיד שמתי לב שהמחבר פותח ומתמיד בתחילת דרכו בהנמקות הרגילות, ומבסס את קיומו של אלוהים, או מעיר הערות לגבי עניינים אנושיים; כאשר לפתע אני מופתע לגלות, שבמקום הצימודים הרגילים של טענות, "קיים" או "לא קיים", אני פוגש רק טענות שמכילות את הפעלים "ראוי" או "אינו ראוי". שינוי זה אינו מורגש; אך הוא, עם זאת, בעל חשיבות מכרעת. שכן מאחר ש"ראוי" או "אינו ראוי" מבטא יחס או קביעה חדשים, הכרחי שהוא ייבחן ויוסבר."
בדברים הללו, הידועים כיום כ"גיליוטינה של יום", מבהיר הפילוסוף הבריטי שאי אפשר להסיק אמיתות מוסריות הקובעות מה ראוי לעשות ומה לא, מתוך עובדות טבעיות כמו קיומם של אטומים או אפילו קיומו של האל. משהו חדש מוזרק למערכת האנושית ברגע שאנחנו מנסים לכוון את הפעולה שלנו בעולם. מהו הדבר הזה? זו שאלת השאלות, וכל אחד מכם יענה עליה לפי אמונותו ודעתו. אבל אם נחזור לקרקע הדיון הטכנולוגי שלנו, המשמעות של הרעיון הגדול הזה היא שאין דרך להסיק באופן אוטומטי מתוך עובדות טכניות על העולם מהי הדרך הנכונה לפעול. וכיוון שכך, נקודת המוצא שלנו צריכה להיות חשדנית כלפי כל מי שינסה לטעון שמערכות הבינה המלאכותית מסוגלות לבנות לעצמן פונקציות מטרה שכאלו באופן עצמאי מתוך הדאטה.
ועדיין, יש כאלו שיאמרו - אלישע, אתה פשוט לא חושב מספיק מחוץ לקופסה. אתה חושב על דאטה באופן מאד שטוח, אבל יש לנו דאטה עשיר גם על החלטות מוסריות של בני אדם. אפשר לקחת ספרי חוקים על הדין הפלילי, אפשר לקחת פסיקות של בתי משפט בדיני נזיקין ורצח, ואפשר לקחת מקרים ותגובות של בני אדם בעולם האמיתי. ומכל הדאטה העשיר הזה נוכל לחלץ את ההתנהגות הנכונה והרצויה. ואני מביא כאן במקרה את הסיפור של החלטות מוסריות, אבל אפשר לטעון את אותה הטענה על כל אתגר שנרצה לבנות עבורו מערכת AI ופשוט לומר - תן לי דאטה עשיר מספיק, ואני אחלץ ממנו את הפונקציה הנכונה. האם זה אינו פתרון? (ולמי שמעוניין - הנה סרטון שזו המגמה הכללית שלו, לגביי אימון אלגוריתמים לנהיגה של מכוניות אוטונומיות. ומי שיאזין באופן מדוקדק, יראה איך הדובר מזריק פנימה את הצורך בהדרכה אנושית)
ובכן, צר לי לומר אבל התשובה לכך היא עדיין שלילית, והגיליוטינה של יום עדיין חותכת ומפרידה בין עולמות ה"מה קיים" לעולמות ה"לאן הולכים מכאן". והסיבה לכך, שכבר ראינו שוב ושוב לאורך הפרק, היא שכל דאטה מפורש בתוך מסגרת כלשהי, והמסגרת הזו איננה חלק מהדאטה עצמו. אם הקלט שלנו הוא המציאות הפיזית, הפלט לא יכול להיות המשקל המוסרי הראוי של חיי חרקים. ואם הקלט שלנו הוא אתגרים מוסריים ותגובות של בני אדם שמגיבים, נניח, לחרקים שמפריעים להם לנקות את הבית - אנחנו עדיין צריכים פונקציית מטרה שתגדיר עבורנו איך למשקל בין כל המקרים שסיפקנו למערכת. נניח, האם יש לתת להחלטות של הדלאי-למה משקל כבד יותר מאשר להחלטות שלי ושלכם, או שכולנו שווים? האם לתת משקל שונה לעמדות של תרבויות שונות? וכן הלאה וכן הלאה. ועכשיו נשאל - את פונקציית המטרה הזו, שקובעת את המשקול הנכון בין פרטי הדאטה - על פי מה נקבע אותה?
השאלה הזו מצויינת, וכל אחד יכול לשקול את שיקוליו האישיים בעניין. אבל דבר אחד די ברור: שהתשובה לשאלה הזו איננה טמונה בדאטה עצמו. מדובר בשאלה שמעוגנת במשהו שחיצוני לדאטה.
ובאופן הזה הגענו שוב לטענה שהצגתי קודם, שאולי עכשיו ראויה לשם "תובנה": שבחירה של פונקציית מטרה איננה פעולה חישובית. מה זו פעולה חישובית? זו פעולה שבה יש קלט, ולאחר עיבוד של הקלט באופן אוטומטי בצד השני יוצא פלט. לאור מה שראינו קודם, אם הקלט היחיד שמערכת מקבלת הוא הדאטה הגולמי, הרי שאין בידיה את הכלים לספק לנו בצד השני פונקציית מטרה. וכיוון שכל מה שמחשב יודע לעשות הוא לבצע חישובים - זה literally כל מה שהוא יודע לעשות - הרי ששוב אנחנו מגלים שבאופן מהותי אין למחשב כל דרך לבחור או לייצר באופן עצמאי פונקציות מטרה עבור עצמו.
נסכם: מה שראינו היום הוא כמה דברים. קודם כל, שפונקציות מטרה מוטמעות במערכות הבינה המלאכותית וקריטי לפעולתן; שנית, שהוא דבר שאיננו נובע מן הדאטה עצמו, ומשקף שיקול דעת אנושי; ושלישית, שהוא אינו תוצר של חישובים - המשאב היחיד שיש בידיהם של מחשבים. ממילא נראה על פניו מן הפרק הזה שמחשבים מוגבלים ביכולת שלהן לקבוע לעצמם איך לפעול בעולם.
הנקודה הזו מעלה כמה שאלות חשובות לגביי תבוניותם של מחשבים. קודם כל - מה עם בני האדם? שוב אנחנו חוזרים להקבלה למוח האנושי ונשאל, אם בני האדם מסוגלים לייצר פונקציות מטרה, מדוע שלא יהיה כך גם עבור מחשבים? ועוד שאלה חשובה מהצד השני היא - האם מספיק שניתן להם פונקציית מטרה, ואחרי שסתמנו את החור הזה אפשר להתעלם מהחסרון הזה ולהמשיך הלאה, כיוון שהצלחנו בזאת להסתנכרן סביב היעדים? ואולי השאלה המעניינת מכל - אז מה? מה הקשר בין קביעת מטרות לחשיבה?
שאלות מצויינות כולן, ועל כולן נדבר בפרקים הבאים. ועד אז…
Share this post