大一時我開始了第一份工作： 程式設計師， 當時我還算是個青少女。 開始為軟體公司寫程式後不久， 公司裡的一個經理走到我身邊， 悄悄地問： 「他能判斷我是否說謊嗎？」 當時房裡沒別人。 「『誰』能不能判斷你說謊與否？ 而且，我們為什麼耳語呢？」 經理指著房裡的電腦，問： 「『他』能判斷我是否說謊嗎？」 當時那經理與接待員有曖昧關係。 （笑聲） 那時我仍是個青少女。 所以，我用耳語大聲地回答他： 「能，電腦能判斷你撒謊與否。」 （笑聲） 沒錯，我笑了，但可笑的人是我。 如今，有些計算系統 靠分析、判讀面部表情， 就能判斷出情緒狀態， 甚至判斷是否說謊。 廣告商，甚至政府也對此很感興趣。 我之所以成為程式設計師， 是因為自幼便極為喜愛數學和科學。 過程中我學到核子武器， 因而變得非常關心科學倫理。 我很苦惱。 但由於家庭狀況， 我必須儘早就業。 因此我告訴自己， 選擇一個在科技領域中 能簡單地找到頭路， 又無需處理涉及倫理道德 這類麻煩問題的工作吧。 所以我選擇了電腦。 （笑聲） 是啊，哈哈哈！大家都笑我。 如今，電腦科學家 正建構著可控制數十億人 每天接收訊息的平台。 他們設計的汽車 可以決定要輾過哪些人。 他們甚至建造能殺人的 戰爭機器和武器。 從頭到尾都是倫理的問題。 機器智慧已經在此。 我們利用計算來做各種決策， 同時也是種新形態的決策。 我們以計算來尋求解答， 但問題沒有單一的正解， 而是主觀、開放、具價值觀的答案。 問題像是， 「公司應該聘誰？」 「應該顯示哪個朋友的哪項更新？」 「哪個罪犯更可能再犯？」 「應該推薦哪項新聞或哪部電影？」 我們使用電腦雖有一段時間了， 但這是不同的。 這是歷史性的轉折， 因我們不能主導計算機 如何去做這樣的主觀決定， 無法像主導計算機去開飛機、造橋樑 或登陸月球那樣。 飛機會更安全嗎？ 橋樑會搖擺或倒塌嗎？ 那兒已有相當明確的基準共識， 有自然的法則指引著我們。 但我們沒有 判斷凌亂人事的錨點或基準。 使事情變得更為複雜的是， 因軟體越來越強大， 但也越來越不透明，越複雜難懂。 過去十年 複雜的演算法有長足的進步： 能辨識人臉， 能解讀手寫的字， 能檢測信用卡欺詐， 阻擋垃圾郵件， 能翻譯不同的語言， 能判讀醫學影像查出腫瘤， 能在西洋棋和圍棋賽中 擊敗人類棋手。 這些進步主要來自所謂的 「機器學習」法。 機器學習不同於傳統的程式編寫。 編寫程式是下詳細、精確、 齊全的計算機指令； 機器學習更像是 餵大量的數據給系統， 包括非結構化的數據， 像我們數位生活產生的數據； 系統翻撈這些數據來學習。 至關重要的是， 這些系統不在產生 單一答案的邏輯系統下運作； 它們不會給出一個簡單的答案， 而是以更接近機率的形式呈現： 「這可能更接近你所要找的。」 好處是：這方法強而有力。 谷歌的人工智慧系統負責人稱之為： 「不合理的數據有效性。」 缺點是， 我們未能真正明白 系統學到了什麼。 事實上，這就是它的力量。 這不像下指令給計算機； 而更像是訓練 我們未能真正了解 或無法控制的機器寵物狗。 這是我們的問題。 人工智慧系統出錯時會是個問題； 即使它弄對了還是個問題， 因碰到主觀問題時， 我們不知哪個是哪個。 我們不知道系統在想什麼。 就拿招募人員的演算法來說， 亦即以機器學習來僱用人的系統， 這樣的系統用 已有的員工數據來訓練機器， 指示它尋找和僱用那些 類似公司現有的高績效員工的人。 聽起來不錯。 我曾參加某會議， 聚集人資經理和高階主管， 高層人士， 使用這種系統招聘。 他們超級興奮， 認為這種系統會使招聘更為客觀， 較少偏見， 有利於婦女和少數民族 避開有偏見的管理人。 看哪！靠人類僱用是有偏見的。 我知道。 我的意思是， 在早期某個編寫程式的工作， 有時候我的直屬主管會在 大清早或下午很晚時來到我身旁， 說：「日娜，走，吃午飯！」 我被奇怪的時間點所困惑。 下午 4 點。吃午餐？ 我很窮， 因為是免費的午餐，所以總是會去。 後來我明白到底是怎麼回事。 我的直屬主管沒讓她的主管知道， 他們僱來做重要職務的程式設計師， 是個穿牛仔褲和運動鞋 來上班的十幾歲女孩。 我工作做得很好， 只是外表形象看起來不符， 年齡和性別不對。 因此，性別和種族 不列入考慮的僱用系統 對我而言當然不錯。 但使用這些系統會更複雜，原因是： 目前的計算系統 可從你零散的數位足跡 推斷出關於你的各種事物， 即使你未曾披露過。 他們能推斷你的性取向， 個性的特質， 政治的傾向。 他們的預測能力相當精準。 請記住：知道你未曾公開的事情 是推理。 我有個朋友開發這樣的計算系統： 從社交媒體數據來預測 臨床或產後抑鬱症的可能性。 結果非常優異。 她的系統 能在出現任何症狀的幾個月前 預測出抑鬱的可能性， 是好幾個月前。 雖沒有症狀，已預測出來。 她希望它被用來早期干預處理。 很好！ 但是，設想若把這系統 用在僱人的情況下。 在這人資經理會議中， 我走向一間大公司的高階經理， 對她說： 「假設在你不知道的情形下， 那個系統被用來排除 未來極有可能抑鬱的人呢？ 他們現在不抑鬱， 只是未來『比較有可能』抑鬱。 如果它被用來排除 在未來一兩年比較有可能懷孕， 但現在沒懷孕的婦女呢？ 如果它被用來招募激進性格者， 以符合你的職場文化呢？」 透過性別比例無法看到這些問題， 因比例可能是均衡的。 而且由於這是機器學習， 不是傳統編碼， 沒有標記為「更高抑鬱症風險」、 「更高懷孕風險」、 「侵略性格者」的變數； 你不僅不知道系統在選什麼， 甚至不知道要從何找起。 它就是個黑盒子， 具有預測能力，但你不了解它。 我問：「你有什麼能確保 你的黑盒子沒在暗地裡 做了什麼不可告人之事？ 她看著我，彷彿我剛踩了 十隻小狗的尾巴。 （笑聲） 她盯著我，說： 「關於這事，我不想 再聽妳多說一個字。」 然後她就轉身走開了。 提醒你們，她不是粗魯。 她的意思很明顯： 我不知道的事不是我的問題。 走開。惡狠狠盯著。 （笑聲） 這樣的系統可能比人類經理 在某些方面更沒有偏見， 可能也省錢； 但也可能在不知不覺中逐步導致 抑鬱症風險較高的人 在就業市場裡吃到閉門羹。 我們要在不自覺的情形下 建立這種社會嗎？ 僅僅因我們讓給 我們不完全理解的機器做決策？ 另一個問題是：這些系統通常由 我們行動產生的數據， 即人類的印記所訓練。 它們可能只是反映我們的偏見， 學習了我們的偏見 並且放大， 然後回饋給我們； 而我們卻告訴自己： 「這樣做是客觀、不偏頗的計算。」 研究人員在谷歌上發現， 女性比男性更不易看到 高薪工作招聘的廣告。 蒐索非裔美國人的名字 比較可能帶出暗示犯罪史的廣告， 即使那人並無犯罪史。 這種隱藏偏見和黑箱的演算法， 有時被研究人員發現了， 但有時我們毫無所知， 很可能產生改變生命的後果。 在威斯康辛州，某個被告 因逃避警察而被判處六年監禁。 你可能不知道 演算法越來越頻繁地被用在 假釋和量刑的決定上。 想知道分數如何計算出來的嗎？ 這是個商業的黑盒子， 開發它的公司 拒絕讓演算法在公開法庭上受盤問。 但是 ProPublica 這家 非營利機構評估該演算法， 使用找得到的公共數據， 發現其結果偏頗， 預測能力相當差，僅比碰運氣稍強， 並錯誤地標記黑人被告 成為未來罪犯的機率， 是白人被告的兩倍。 考慮這個情況： 這女人因來不及去佛州布勞沃德郡的 學校接她的乾妹妹， 而與朋友狂奔趕赴學校。 他們看到門廊上有一輛未上鎖的 兒童腳踏車和一台滑板車， 愚蠢地跳上去， 當他們趕時間快速離去時， 一個女人出來說： 「嘿！那是我孩子的腳踏車！」 雖然他們留下車子走開， 但被逮捕了。 她錯了，她很蠢，但她只有十八歲。 曾觸犯兩次少年輕罪。 同時， 那個男人因在家得寶商店 偷竊八十五美元的東西而被捕， 類似的小罪， 但他曾兩次因武裝搶劫而被定罪。 演算法認定她有再犯的高風險， 而他卻不然。 兩年後，ProPublica 發現她未曾再犯； 但因有過犯罪紀錄而難以找到工作。 另一方面，他再犯了， 現正因再犯之罪而入監服刑八年。 很顯然，我們必需審核黑盒子， 並且不賦予它們 這類未經檢查的權力。 （掌聲） 審核極其重要， 但不足以解決所有的問題。 拿臉書強大的動態消息演算法來說， 就是通過你的朋友圈 和瀏覽過的頁面， 排序並決定推薦 什麼給你看的演算法。 應該再讓你看一張嬰兒照片嗎？ （笑聲） 或者一個熟人的哀傷筆記？ 還是一則重要但艱澀的新聞？ 沒有正確的答案。 臉書根據在網站上的參與度來優化： 喜歡，分享，評論。 2014 年八月， 在密蘇里州弗格森市 爆發了抗議遊行， 抗議一位白人警察在不明的狀況下 殺害一個非裔美國少年， 抗議的消息充斥在 我未經演算法篩選過的推特頁面上， 但我的臉書上卻一則也沒有。 是我的臉書好友不關注這事嗎？ 我關閉了臉書的演算法， 但很麻煩惱人， 因為臉書不斷地 想讓你回到演算法的控制下， 臉書的朋友有在談論弗格森這事， 只是臉書的演算法沒有顯示給我看。 研究後，我發現這問題普遍存在。 弗格森一事和演算法不合， 它不討喜； 誰會點擊「讚」呢？ 它甚至不易被評論。 越是沒有讚、沒評論， 演算法就顯示給越少人看， 所以我們看不到這則新聞。 相反地， 臉書的演算法在那星期特別突顯 為漸凍人募款的冰桶挑戰這事。 崇高的目標；傾倒冰水，捐贈慈善， 有意義，很好； 這事與演算法超級速配， 機器已為我們決定了。 非常重要但艱澀的 新聞事件可能被埋沒掉， 倘若臉書是唯一的新聞渠道。 最後，這些系統 也可能以不像人類犯錯的方式出錯。 大家可還記得 IBM 的 機器智慧系統華生 在 Jeopardy 智力問答比賽中 橫掃人類的對手？ 它是個厲害的選手。 在 Final Jeopardy 節目中 華生被問到： 「它的最大機場以二戰英雄命名， 第二大機場以二戰戰場為名。」 （哼 Jeopardy 的音樂） 「芝加哥，」 兩個人類選手的答案正確； 華生則回答「多倫多」。 這是個猜「美國」城市的問題啊！ 這個厲害的系統也犯了 人類永遠不會犯， 即使二年級學生也不會犯的錯誤。 我們的機器智慧可能敗在 與人類犯錯模式迥異之處， 在我們完全想不到、 沒準備的地方出錯。 得不到一份可勝任的 工作確實很糟糕， 但若起因是機器的子程式漫溢， 會是三倍的糟糕。 （笑聲） 2010 年五月， 華爾街「賣出」演算法的 回饋迴路觸發了股市的急速崩盤， 數萬億美元的市值 在 36 分鐘內蒸發掉了。 我甚至不敢想 若「錯誤」發生在致命的 自動武器上會是何種情況。 是啊，人類總是有偏見。 決策者和守門人 在法庭、新聞中、戰爭裡…… 都會犯錯；但這正是我的觀點： 我們不能逃避這些困難的問題。 我們不能把責任外包給機器。 （掌聲） 人工智慧不會給我們 「倫理免責卡」。 數據科學家費德·本森 稱之為「數學粉飾」。 我們需要相反的東西。 我們需要培養懷疑、審視 和調查演算法的能力。 我們需確保演算法有人負責， 能被審查，並且確實公開透明。 我們必須體認， 把數學和演算法帶入凌亂、 具價值觀的人類事務 不能帶來客觀性； 相反地，人類事務的 複雜性侵入演算法。 是啊，我們可以、也應該用演算法 來幫助我們做出更好的決定。 但我們也需要在判斷中 加入道德義務， 並在該框架內使用演算法， 而不是像人與人間相互推卸那樣， 就把責任轉移給機器。 機器智慧已經到來， 這意味著我們必須更堅守 人類價值觀和人類倫理。 謝謝。 （掌聲）