演算法無所不在。 它們能把贏家和輸家區分開來。 贏家能得到工作， 或是好的信用卡方案。 輸家連面試的機會都沒有， 或是他們的保險費比較高。 我們都被我們不了解的 秘密方程式在評分， 且那些方程式通常 都沒有申訴體制。 問題就來了： 如果演算法是錯的怎麼辦？ 要建立一個演算法，需要兩樣東西： 需要資料，資料是過去發生的事， 還需要對成功的定義， 也就是你在找的東西、 你想要的東西。 你透過尋找和計算的方式 來訓練一個演算法。 演算法會算出什麼和成功有相關性。 什麼樣的情況會導致成功？ 其實，人人都在用演算法。 他們只是沒把演算法寫為程式。 讓我舉個例子。 我每天都用演算法 來為我的家庭做飯。 我用的資料 是我廚房中的原料、 我擁有的時間、 我的野心、 我把這些資料拿來做策劃。 我不把那一小包小包的 拉麵條視為是食物。 （笑聲） 我對成功的定義是： 如果我的孩子吃了蔬菜， 這頓飯就算成功。 但如果我的小兒子主導時 一切就不同了。 他會說，如果能吃到很多 能多益（巧克力榛果醬）就算成功。 但我能選擇什麼才算成功。 我是主導的人，我的意見才重要。 那是演算法的第一條規則。 演算法是被嵌入程式中的意見。 這和你認為大部份人 對演算法的看法很不一樣。 他們認為演算法是 客觀的、真實的、科學的。 那是種行銷技倆。 還有一種行銷技倆是 用演算法來威脅你， 讓你相信並懼怕演算法， 因為你相信並懼怕數學。 當我們盲目相信大數據時， 很多地方都可能出錯。 這位是琦莉索瑞斯， 她是布魯克林的高中校長。 2011 年，她告訴我， 用來評分她的老師的演算法 是一種複雜的秘密演算法， 叫做「加值模型」。 我告訴她：「找出那方程式 是什麼，給我看， 我就會解釋給你聽。」 她說：「嗯，我試過取得方程式了， 但教育部聯絡人告訴我， 那方程式是數學， 我也看不懂的。」 還有更糟的。 紐約郵報提出了一項 資訊自由法案的請求， 取得有所有老師的名字 以及他們的分數， 郵報把這些都刊出來， 用來羞辱老師。 當我試著透過同樣的手段 來找出方程式、原始碼， 我被告知我不可能辦到。 我被拒絕了。 我後來發現， 紐約市中沒有人能取得那方程式。 沒有人了解它。 有個很聰明的人介入： 蓋瑞魯賓斯坦。 他發現紐約郵報資料中 有 665 名老師 其實有兩個分數。 如果他們是在教七年級 及八年級數學，是有可能發生。 他決定把他們用圖畫出來。 每一個點代表一個老師。 （笑聲） 那是什麼？ （笑聲） 那絕對不該被用來做個人評估用。 它幾乎就是個隨機數產生器。 （掌聲） 但它的確被用了。 這是莎拉薇沙琪， 她和其他 205 名老師都被開除了， 都是在華盛頓特區的學區， 即使她有校長及 學童家長的強力推薦， 還是被開除了。 我很清楚你們在想什麼， 特別是這裡的資料科學家 及人工智慧專家。 你們在想：「我絕對不會寫出 那麼不一致的演算法。」 但演算法是可能出錯的， 即使出自好意 仍可能產生毀滅性的效應。 設計得很糟的飛機墜機， 每個人都會看到； 可是，設計很糟的演算法， 可以一直運作很長的時間， 靜靜地製造破壞或混亂。 這位是羅傑艾爾斯。 （笑聲） 他在 1996 年成立了 Fox News。 有超過二十位女性投訴性騷擾。 她們說，她們在 Fox News 不被允許成功。 他去年被攆走了，但我們看到近期 這個問題仍然存在。 這就帶來一個問題： Fox News 該做什麼才能改過自新？ 如果他們把僱用的流程換掉， 換成機器學習演算法呢？ 聽起來很好，對嗎？ 想想看。 資料，資料會是什麼？ 一個合理的選擇會是 Fox News 過去 21 年間收到的申請。 很合理。 成功的定義呢？ 合理的選擇會是， 在 Fox News 有誰是成功的？ 我猜是在那邊待了四年、 且至少升遷過一次的人。 聽起來很合理。 接著，演算法就會被訓練。 它會被訓練來找人， 尋找什麼導致成功， 在過去怎樣的申請書會導致成功， 用剛剛的成功定義。 想想看會發生什麼事， 如果我們把它用到 目前的一堆申請書上。 它會把女性過濾掉， 因為在過去，女性 並不像是會成功的人。 如果只是漫不經心、 盲目地運用演算法， 它們並不會讓事情變公平。 演算法不會讓事情變公平。 它們會重覆我們過去的做法， 我們的模式。 它們會把現狀給自動化。 如果我們有個完美的 世界，那就很好了， 但世界不完美。 我還要補充，大部份公司 沒有難堪的訴訟， 但在那些公司中的資料科學家 被告知要遵從資料， 著重正確率。 想想那意味著什麼。 因為我們都有偏見，那就意味著， 他們可能會把性別偏見 或其他偏執給寫到程式中， 來做個思想實驗， 因為我喜歡思想實驗： 一個完全種族隔離的社會， 所有的城鎮、所有的街坊 都做了種族隔離， 我們只會針對少數種族 住的街坊派出警力 來尋找犯罪。 逮捕的資料會非常偏頗。 如果再加上，我們 找到了資料科學家， 付錢給他們，要他們預測下次 犯罪會發生在哪裡，會如何？ 答案：少數種族的街坊。 或是去預測下一位犯人會是誰？ 答案：少數族裔。 資料科學家會吹噓他們的的模型 有多了不起、多精準， 他們是對的。 現實沒那麼極端，但在許多 城鎮和城市中，我們的確有 嚴重的種族隔離， 我們有很多證據可證明 執法和司法資料是偏頗的。 我們確實預測了熱點， 犯罪會發生的地方。 事實上，我們確實預測了 個別的犯罪行為， 個人的犯罪行為。 新聞組織 ProPublica 近期調查了 「累犯風險」演算法之一， 他們是這麼稱呼它的， 演算法被用在佛羅里達， 法官在判刑時使用。 左邊的黑人是伯納， 總分十分，他得了十分。 右邊的狄倫，十分只得了三分。 十分就得十分，高風險。 十分只得三分，低風險。 他們都因為持有藥品而被逮捕。 他們都有犯罪記錄， 但狄倫犯過重罪， 伯納則沒有。 這很重要，因為你的得分越高， 你就越可能被判比較長的徒刑。 發生了什麼事？ 洗資料。 它是個流程，即技術專家 用黑箱作業的演算法 來隱藏醜陋的真相， 還宣稱是客觀的； 是精英領導的。 我為這些秘密、重要、 又有毀滅性的演算法取了個名字： 「毀滅性的數學武器」。 （笑聲） （掌聲） 它們無所不在，且不是個過失。 私人公司建立私人演算法， 來達到私人的目的。 即使是我剛談到 對老師和警方用的演算法， 也是由私人公司建立的， 然後再銷售給政府機關。 他們稱它為「秘方醬料」， 所以不能跟我們討論它。 它也是種私人的權力。 他們透過行使別人 無法理解的權威來獲利。 你可能會認為， 所有這些都是私人的， 且有競爭存在， 也許自由市場會解決這個問題。 並不會。 從不公平中可以賺取很多錢。 且，我們不是經濟合法代理人。 我們都有偏見。 我們都是種族主義的、偏執的， 即使我們也希望不要這樣， 我們甚至不知道我們是這樣的。 不過我們確實知道，總的來說， 因為社會學家不斷地用 他們建立的實驗 來展現出這一點， 他們寄出一大堆的工作申請書， 都有同樣的資格， 但有些用白人人名， 有些用黑人人名， 結果總是讓人失望的，總是如此。 所以，我們才是有偏見的人， 且我們把這些偏見注入演算法中， 做法是選擇要收集哪些資料、 比如我選擇不要考量拉麵， 我決定它不重要。 但透過相信這些資料 真的能了解過去的做法， 以及透過選擇成功的定義， 我們如何能冀望產生的演算法未受損？ 不能。我們得要檢查這些演算法。 我們得要檢查它們是否公平。 好消息是，我們可以 檢查它們是否公平。 演算法可以被審問， 且它們每次都會告訴我們真相。 我們可以修正它們， 我們可以把它們變更好。 我稱這個為演算法稽核， 我會帶大家來了解它。 首先，檢查資料完整性。 針對我先前說的累犯風險演算法， 檢查資料完整性就意味著 我們得接受事實， 事實是，在美國，白人和黑人 抽大麻的比率是一樣的， 但黑人被逮捕的機率遠高於白人， 四、五倍高的可能性被捕， 依地區而異。 在其他犯罪類別中， 那樣的偏見會如何呈現？ 我們要如何處理它？ 第二，我們要想想成功的定義， 去稽核它。 記得我們剛剛談過的僱用演算法嗎？ 待了四年且升遷至少一次？ 那就是個成功員工， 但那也是個被其文化所支持的員工。 儘管如此，它也可能很有偏見。 我們得把這兩件事分開。 我們應該要把交響樂團的盲眼甄選 當作參考範例。 他們的做法是讓試演奏的人 在布幕後演奏。 我想探討的重點是 那些在聽並且決定什麼重要的人， 他們也會決定什麼不重要 ， 他們不會被不重要的部份給分心。 當交響樂團開始採用盲眼甄選， 團內的女性成員數上升五倍。 接著，我們要考量正確率。 這就是老師的加值模型 立刻會出問題的地方。 當然，沒有演算法是完美的， 所以我們得要考量 每個演算法的錯誤。 多常會出現錯誤、這個模型 針對哪些人會發生錯誤？ 發生錯誤的成本多高？ 最後，我們得要考量 演算法的長期效應， 也就是產生出來的反饋迴圈。 那聽起來很抽象， 但想像一下，如果臉書的工程師 決定只讓我們看到朋友的貼文 之前就先考量那一點。 我還有兩個訊息要傳遞， 其一是給資料科學家的。 資料科學家，我們 不應該是真相的仲裁者， 我們應該是翻譯者， 翻譯大社會中發生的每個道德討論。 （掌聲） 至於你們其他人， 不是資料科學家的人： 這不是個數學考試。 這是場政治鬥爭。 我們得要求為演算法的超載負責。 （掌聲） 盲目信仰大數據的時代必須要結束。 非常謝謝。 （掌聲）