טכנולוגיה מתקדמת ואשליית הנפש הווירטואלית: על גבולות הניצול האנושי – מאת ד"ר אסף הרדוף

themeasureofaman_hd_060אם מזכירים את האנדרואידים והמערב הפרוע של "ווסטוורלד" באתר שעיקרו "מסע בין כוכבים", סביר להניח שזה מקפיץ לראש את A Fistfull of Datas, אבל לאסף הרדוף הם הזכירו פרקים אחרים של "מסע בין כוכבים". הוא התחיל בדאטה ובדוקטור של וויאג'ר, וסיים בדיון על ניצול וזכויות הלא-אנושיים ב"מסע בין כוכבים" ובכלל.


"ווסטוורלד", סדרה חדשה ומרתקת, מעלה מחדש את שאלת התודעה המלאכותית, לא רק בקשר להזדמנויות אנושיות להפיק מתודעה זו תועלת והנאה מיוחדת (על כך "זוגתי, רובוט") אלא גם ובמיוחד בקשר להצבת גבולות מוסריים לניצול האנושי את הטכנולוגיה. פארק שעשועים עתידני מציע חוויה לעשירים בלבד: לחוות את המערב הפרוע בעזרת אנדרואידים שנראים ומרגישים כבני אדם, אולם עודם חפצים לשימוש הלקוח, להגשמת כל פנטזיה, תמימה וחיובית ובעיקר אלימה ומרושעת. הסדרה נפתחת ב"תקלה": אנדרואידים מסוימים מתחילים לגלות סימני מודעות לחוויות קשות קודמות שעברו, וניצוץ של חוסר נכונות להשלים עם מצבם מתגלה.

riker_jungle_holodeck_2364פארק השעשועים מזכיר במובנים רבים את אחת מזירות ההתרחשות האהובות ב"מסע בין כוכבים: הדור הבא" – חדר ההולוגרמות. החדר הציג טכנולוגיה עתידנית מושכת במיוחד, שמאפשרת לדמות סביבות רחוקות ואפילו לייצר סביבות חדשות, וכך גם לגבי האדם – לדמות אנשים קיימים או לייצר חדשים. כמו ב"ווסטוורלד", מוקד החדר הוא האדם האורח ולא הטכנולוגיה המארחת. האדם הוא האדון, הטכנולוגיה היא השפחה. לטוב ולרע, זכיון "מסע בין כוכבים" עמוס בתמימות ובתפיסת הטוב האנושי, וסיפורים אפלים דוגמת אלה של "ווסטוורלד" (או "באטלסטאר גלקטיקה") לא עלו שם, ודאי לא כתמה מרכזית. לרוב חדר ההולוגרמות סיפק בידור תמים, לא תמיד מרתק. באחד הסיפורים השתנתה הנימה.

הפרק Elementary, Dear Data (עונה 2, פרק 3) מתחיל כבידור לקומנדר דאטה שלובש את דמותו של שרלוק הולמס בחדר ההולוגרמות ומפצח בקלות ובמהירות תעלומה מורכבת. קומנדר לפורג' המאוכזב מבקש מהמחשב ליצור "יריב ראוי לדאטה", והמחשב מייצר את הנמסיס המפורסם של שרלוק – פרופסור מוריארטי. מוריארטי מדהים את הצוות ומפגין מודעות מלאה לקיומו, במקום להיצמד ל"תסריט" של תוכנית ההולוגרמה שהוא חלק ממנה. לאחר שהוא תופס שליטה במחשב הספינה הוא זוכה בתשומת לבו של הקפטן ומבקש את שמובן לכולנו מאליו: להתקיים בעולם האמיתי. פיקארד משיב שהדבר אינו אפשרי אך מבטיח לשמור את התוכנה למקרה שיצליחו לאפשר להולוגרמה להתקיים בחלל הפיזי.

השנים חולפות ומוריארטי חוזר, באחד הפרקים האהובים עלי: Ship in a Bottle (עונה 6, פרק 12). שוב דאטה וג'ורדי לפורג' משתעשעים בחדר ההולוגרמות כשרלוק ועוזרו ווטסון, ושוב תקלה טכנולוגית. מוריארטי שב, מודע וכועס על "כליאתו" בזכרון המחשב לתקופה ארוכה ועל שההבטחה לו לא קוימה. shipinabottle084הוא מדהים ויוצא מחדר ההולוגרמות, בעזרת כוח מודעותו. לאחר מכן הוא תובע מהצוות לסייע להולוגרמה של זוגתו (שאותה יצר בעצמו) לנהוג כמוהו. בהמשך אנו מגלים שהוא כלל לא יצא מחדר ההולוגרמות ואנו, כמוהו, עדיין בתוכו. הוא אך יצר מנוף עבור הדמיון האנושי, מצד אחד לסייע לו בפתרון בעייתו, ואמצעי לחץ על יתר הספינה מצד אחר. הפרק מסתיים בכך שהצוות מבין שהוא בחדר ההולוגרמות ומצליח לעצבו מחדש כך שנדמה למוריארטי כאילו קיבל את מבוקשו. ההולוגרמה נותרת בחדר ההולוגרמות, הפעם בחוסר מודעות להיותה שם משום שהאדם שאותו רימתה רימה אותה בחזרה. הנחמה הנה שמבחינה תפיסתית, אין פער גדול בין העולם האמיתי לעולם הווירטואלי (שאלה שאליה אולי אשוב בעתיד באופן עצמאי).

מהולוגרמה לאנדרואיד. בפרק The Measures of a Man (עונה 2, פרק 9) מבקש ד"ר ברוס מאדוקס לפרק את דאטה כדי ללמוד כיצד לשכפל אותו. דאטה מביע חוסר רצון, והמדען מבקש מהפיקוד העליון לצוות על פירוקו. מכאן נסללת הדרך למשפט שדן במעמדו של דאטה ומציג שאלות לגבי השימוש בטכנולוגיה, לרבות דילמות אתיות והשוואה לעבדות. פיקארד אומר שמבין שלושת הקריטריונים המקובלים עבור חישה – אינטליגנציה, מודעות עצמית ותודעה – לדאטה יש את שני הראשונים, ובאשר לתודעה – אין אפשרות להוכיח את קיומה אפילו לגבי האדם. המשפט מסתיים בניצחון דאטה, כשבסיום הפרק מתייחס אליו המדען לראשונה כאל ישות ולא כאל דבר. מעמדו של דאטה וניסיונותיו לחוות עוד מהאנושות היו חלק חשוב בסדרה.

latentimage_020מ"הדור הבא" אל "וויאג'ר". בפרק Latent Image (עונה 5, פרק 11) מתגלה תעלומה: זכרונותיו של הרופא נמחקים. במעקב אחר התעלומה אנו מגלים לתדהמתנו שהאחראית היא קפטן ג'יינווי בכבודה ובעצמה. הרקע למעשיה הנו חוסר יכולתו של הרופא ההולוגרמה להתמודד עם בחירתו בעבר בעניין אתי, מה שמביא את הקפטן למחוק את זכרונותיו כדי שיוכל להמשיך ולתפקד כרופא הספינה. בשיח מעניין בין הקפטן לבין שבע, מזכירה לה האחרונה שגם שבע בשלב מסוים הייתה מתוכנתת בידי הבורג ובכל זאת ג'יינווי האמינה בה וסייעה לה לצמוח ולחרוג מהתכנות. כמוה גם הרופא הלך והתפתח, רכש חברים ותחביבים וחרג מהתוכנה; כמוה גם הוא ראוי ליחס מכבד וסבלני. ג'יינווי מסכימה ומאפשרת לרופא להתחבט, להתמודד עם הדילמה ולצמוח, במקום לוותר על זכרונות שמעצבים אותו.

בפרק Virtuoso (עונה 6, פרק 13) פוגשת הוויאג'ר בגזע מתקדם מבחינה טכנולוגית, שמביט בהתנשאות מופגנת בטכנולוגיה האנושית, במיוחד ברופא. ההתנשאות מתחלפת בפליאה כשהרופא מזמזם לעצמו, ומסתבר שהגזע המתקדם מבחינה טכנולוגית טרם נתקל בשירה. הערצה היסטרית מתפתחת כלפי הרופא. מוצע לו לעזוב את הספינה ולהפוך לכוכב, וכדמות חובבת תשומת לב – הוא מקבל זאת. הוא מבקש להתפטר מתפקידו, והקפטן מבקרת אותו בחריפות אך אינה עומדת בדרכו. לבסוף הוא מגלה שדווקא החברה שהעריצה אותו מחליפה אותו בתוכנה מתקדמת יותר ואינה מהססת להשליכו הצדה כחפץ.
לבסוף, בפרק כפול ומרתק, Flesh and Blood (עונה 7, פרקים 9–10) אנו עדים למלחמה. צוות הולוגרמות שעוצב כבשר תותחים עבור ציידים הירוג'נים ועוצב לסבול ולכאוב מכך, מחזיר מלחמה שערה. הדוקטור מצטרף אליהם ורואה כיצד הם סולדים מהאדם. בפרקים עולות דילמות אתיות מגוונות, לא רק לגבי יחס האדם (ודמויי אדם) להולוגרמות, אלא גם על יחס הולוגרמות לאדם ואפילו להולוגרמות אחרות.

הפרקים האמורים מציפים את השאלה המרכזית שעולה ב"ווסטוורלד" ושאלה בולטת גם מ"באטלסטאר גלקטיקה": האם טכנולוגיה היא רק טכנולוגיה? ככל שאין אדם שנפגע ממעשינו, האם מותר לאדם לעשות בטכנולוגיה כבחפצו, והאם היא חפצו? לפני שנים רבות ניסח ג'ון סטוארט מיל את עקרון הנזק, שלפיו למדינה מותר להגביל את הפרט רק כאשר מעשיו עלולים להזיק לאחר. אולם מיהו אותו "אחר"? האם הוא רק אדם?

בעולם של "מסע בין כוכבים", ברור שהתשובה היא לא. האחר אינו רק "אדם", משום שגם גזעים אחרים הנם אחר. גם אם הם שונים כגזע, בחזותם ובאופיים, אנו תופסים אותם כשווי מעמד לאדם ומניחים שהם מוbraccioferro-uomomacchinaדעים בדיוק כמונו, בעיקר גזעים שהם חזקים ובעלי טכנולוגיה מתקדמת כשלנו. אולם מה לגבי האחר שאינו שווה לנו? בעולם של "מסע בין כוכבים" השאלה הזו עלתה לגבי אנדרואיד מצד אחד ולגבי הולוגרמות מצד אחר. ב"ווסטוורלד" היא עולה לגבי אנדרואידים בלבד. מה באשר לעולם שלנו?

בינתיים, הטכנולוגיה האנושית רחוקה מאד ממצב שבו היא נראית לנו כמישהו ולא כמשהו; היא עוד לא מספיק מורכבת ומפותחת לשם כך. כאשר אני יורה בחיילי אויב ממוחשבים במשחק Call of Duty, אין לי שום סיבה לחשוב שמישהו כואב וסובל כתוצאה מהבידור שלי. האם תהיה לי כזו בעתיד? לא צריך להיות טרקי כדי להאמין שעידן ההולוגרמות ועידן האנדרואידים לא רק יגיע, אלא יגיע עוד בחיינו. כאשר יגיע, האדם ודאי יעשה בהם כבחפצו, עד שאלו יביעו סימנים של מורת רוח. כשזה יקרה, כיצד נגיב? האם נסביר לעצמנו שהטכנולוגיה היא לעולם חפץ עבור האדם, וכל רמז לכאב וסבל אינו אלא רמז לתכנות מורכב? או שדווקא נפתח את ראשנו לסברה שגם דבר שהאדם יצר עשוי להפוך ממשהו למישהו?

אני נוטה להאמין לחלופה הראשונה. התפיסה הטרקית אינה משקפת את עולמנו אלא מציגה אוטופיה שתמימותה בולטת מאד לעומת העולם (ואפילו לעומת התפיסה ההוליוודית העכשווית והאפלה). לאורך ההיסטוריה ניכרת נטייה אנושית לתור אחר הצדקות לשימור כוחה של הקבוצה המנצלת. ככל שהקבוצה המנצלת גדולה וחזקה יותר, וככל שהניצול יסודי, רחב, עמוק, יעיל ונוח – כך קטן הסיכוי להכרה אנושית בחוסר המוסריות של הניצול. מנגד, ככל שהניצול נקודתי ונישתי, אנו נוטים יותר נגדו, וכך גם ככל שההשלכות של ההכרה בניצול נקודתיות ומצומצמות יותר, למשל אנדרואיד יחיד בצי או הולוגרמה יחידה בספינה. ניצול שיטתי, רחב ומסחרי – אנו נוטים לתפוס כשקוף וכמועיל.

man-vs-machine

האנושות הסבירה לעצמה יפה מדוע עבדים הם רק עבדים, מדוע ילדים ונשים אינם ראויים לזכויות, מדוע עמים מסוימים ראויים להשמדה. כיום היא מסבירה לעצמה מדוע אין הצדקה להתערב באלימות אנושית קשה כנגד אוכלוסיות אנושיות מסוימות. היא מנמקת יפה גם מדוע ראוי לנצל ולפגוע קשות בבעלי חיים: הם אינם אינטליגנטיים מספיק, אינם מודעים מספיק ובעיקר אינם חזקים מספיק כדי להתנגד. הפסקת הניצול והפוגענות האנושית אינה מגיעה ברגיל מתובנה מוסרית גבוהה אלא מהפעלת כוח נגדי, שאותו מבין האדם בלי קושי. בהעדר כוח שיופנה כנגד האדם מצד ישויות טכנולוגיות (ראו "באטלסטאר גלטיקה"), יסביר לעצמו האדם בפשטות שהאנדרואיד וההולוגרמה אינם מרגישים אלא רק מתוכנתים, ולכן אין סיבה להתחשב בהם. כלומר, חוזרים לקריטריונים (השרירותיים, עליי לציין) שמעלה קפטן פיקארד – אינטליגנציה, מודעות עצמית ותודעה – ומראים את חסרונה של התודעה.

קיומה של תודעה הוא שאלה קשה מבחינות רבות. כמו שאמר פיקארד, להבדיל ממבט מודע בעצמנו, לעולם אין לנו אפשרות להוכיח תודעה באחר, כל אחר. כיצד אנו לומדים על תודעה והעדרה?

אצל האדם אנו לומדים אותה בדרך של הנחה, חזקה חלוטה. אתה אדם משמע אתה מודע. מעבר להנחה האמורה, אנו לומדים על קיומה של התודעה מכך שבמצב מסוים האדם האחר מפגין סימנים שתואמים למה שהתודעה שלנו הייתה מפיקה. כך למשל במשפט פלילי, שמצריך הוכחה של התודעה כדי להרשיע. כיצד נוכיח את שלא ניתן להוכיח? נסיק מדברי האדם בחקירתו או מהתנהגותו בזמן האירוע, שתואמת את הציפיות של תודעתנו מהיכרותנו את העולם. זו כמובן מסקנה לא הכרחית ובוודאי לא מדעית, אלא בעיקר אינטואיטיבית. מעבר לכך, כשם שהרובוט מתוכנת, גם האדם מתוכנת. הדרכים שונות מאד ואפילו מורכבות יותר; אך עדיין אנו תוצר של סביבה, של חינוך, של דברים שאינם תלויים בנו ואינם אנחנו. אנו כואבים את מה שלמדנו לכאוב ומתעלמים ממה שלמדנו להתעלם. אנו אוהבים את שלימדו אותנו לאהוב ושונאים את שלימדו אותנו לשנוא. איננו חופשיים בהרבה מהרובוט; אנו רק חשים יותר חופשיים.

מנגד, אנו לומדים את התודעה של הישות הטכנולוגית בדרך שונה ואולי הפוכה. האדם מציית לתסריט, משמע הוא אדם; הישות הטכנולוגית חורגת מהתסריט, משמע היא אינה חלק מהתסריט. רובוט שמסרב להתפרק, הולוגרמה שמאיימת ודורשת להשתחרר – אינם תואמים את תפיסתנו לגבי רובוטים והולוגרמות ולכן אנו עוצרים ומהרהרים; בינתיים, רק על המסך. המציאות רוויה דילמות מוסריות. שינויי מוסר חדים והכרה באחר שראוי לחופש מכבלינו? זו תפיסה שבעיקר חיה בסרט.

themeasureofaman246


טקסטים נוספים מאת ד"ר אסף הרדוף:

מודעות פרסומת

3 מחשבות על “טכנולוגיה מתקדמת ואשליית הנפש הווירטואלית: על גבולות הניצול האנושי – מאת ד"ר אסף הרדוף

  1. פינגבק: טכנולוגיה מתקדמת ואשליית הנפש הווירטואלית: על גבולות הניצול האנושי – מאת ד"ר אסף הרדוף – מיטב החדשות

  2. פינגבק: טכנולוגיה מתקדמת ואשליית הנפש הווירטואלית: על גבולות הניצול האנושי – מאת ד"ר אסף הרדוף – מיטב החדשות

  3. הסדרה הבריטית "אנושיים" בכיכובו של קולין מורגן עוסקת כולה בדיוק בנושא הזה. בעולם שבו ישנם אנדרואידים שאפשר לרכוש כדי שיעשו עבורך שלל עבודות (עבודות בית, שמירה על הילדים וכן, גם לשם עבדות מינית נטולת בעיות מוסריות) הצליח המדען הראשי של הפרוייקט להעניק תודעה לכמה אנדרואידים, והסדרה עוקבת אחריהם.

    אהבתי

מוזמנות ומוזמנים להגיב:

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s