我的第一份工作是程序员， 那是在我刚上大学的时候， 不到二十岁。 我刚开始工作不久， 正当在公司写程序， 公司的一位经理来到我旁边， 他悄悄的对我说， “他能看出来我在撒谎吗？” 当时屋子里没有别人。 “你是指谁能看出你在撒谎？ 还有，我们干嘛要悄悄地说话？” 那个经理指着屋子里的电脑，说： “他能看出我在撒谎吗？” 其实，那个经理和前台有一腿。 （笑声） 当时我只有十来岁， 我低声地回答他， “是的，电脑什么都知道。” （笑声） 我笑了，但其实我是在笑自己， 现在，计算机系统已经可以 通过分析人脸来辨别人的情绪， 甚至包括是否在撒谎。 广告商，甚至政府 都对此很感兴趣。 我选择成为电脑程序员， 因为我是那种 痴迷于数学和科学孩子。 其间我也学习过核武器， 我也非常关心科学伦理。 我曾经很困惑。 但是，因为家庭原因， 我需要尽快参加工作。 我对自己说，嘿， 选一个容易找工作 的科技领域吧， 并且找个不需要 操心伦理问题的。 所以我选了计算机。 （笑声） 哈哈哈， 我多可笑。 如今，计算机科学控制着 十亿人每天能看到的信息， 它们可以控制汽车朝哪里开， 它们可以建造机器、武器， 那些在战争中 用于杀人的武器。 说到底， 都是伦理问题。 机器智能来了。 我们用计算机来做各种决策， 包括人们面临的新决策。 我们向计算机询问多解的、 主观的、 开放性的或意义深远的问题。 我们会问， “我们公司应该聘请谁？” “你该关注哪个朋友 的哪条状态？” “哪种犯罪更容易再犯？” “应该给人们推荐 哪条新闻或是电影？” 看，是的，我们使用计算机 已经有一段时间了， 但现在不一样了。 这是历史性的转折， 因为我们在这些主观决策上 无法主导计算机， 不像我们在 管理飞机、建造桥梁、 登月等问题上， 可以主导它们。 飞机会更安全吗？ 桥梁会摇晃或倒塌吗？ 在这些问题上，我们 有统一而清晰的判断标准， 我们有自然定律来指导。 但是在复杂的人类事务上， 我们没有这样的客观标准。 让问题变得更复杂的， 是我们的软件正越来越强大， 同时也变得更加不透明， 更加复杂。 最近的几十年， 复杂算法已 取得了长足发展， 它们可以识别人脸， 它们可以破解笔迹， 它们可以识别信用卡欺诈， 可以屏蔽垃圾信息， 它们可以翻译语言， 他们可以通过 医学图像识别肿瘤， 它们可以在国际象棋 和围棋上击败人类。 类似的很多发展， 都来自一种叫“机器学习”的方法。 机器学习不像传统程序一样， 需要给计算机详细、 准确的逐条指令。 它更像是你给系统 喂了很多数据， 包括非结构化数据， 比如我们在数字生活中 产生的数据。 系统扎进这些数据中学习， 重要的是， 这些系统不再局限单一答案。 他们得出的不是一个 简单的答案，而是概率性的： “这个更像是你在寻找的。” 它的优势是： 它真的非常强大。 Google 人工智能系统的 负责人称它为： “不可思议的数据效率”。 缺点在于， 我们无法清楚的了解 系统学到了什么， 事实上，这也正是 它的强大之处。 不像是给计算机下达指令， 更像是在训练一个机器狗， 我们无法精确的 了解和控制它。 这就是我们遇到的问题。 人工智能会出错， 这是一个问题。 但他们得出正确答案， 又是另一种问题。 因为我们面对主观问题， 是不应该有答案的。 我们不知道 这些机器在想什么。 所以，考虑一下招聘算法－ 通过机器学习构建的招聘系统。 这样的系统会用员工 现有的数据进行自我培训， 参照公司的优秀员工 来寻找和招聘新人。 听起来很好。 有次我参加了一个会议， 会上聚集了很多 人力资源部的经理和总监， 都是高管， 让他们使用这样的招聘系统。 他们都非常兴奋， 认为这可以让招聘变得 更加客观，从而减少偏见， 给女性和少数族裔 更多的机会， 减少他们自身的偏见。 你知道的， 招聘是存在偏见的， 我也很清楚。 在我刚开始做程序员的时候， 我的直接主管会来找我， 在早晨很早或下午很晚的时候， 说，“ 图费, 我们去吃午饭！” 我就被这奇怪的时间 给搞糊涂了， 现在是下午4点，吃午饭？ 我当时很穷，所以 不会放过免费的午餐。 后来我才想明白原因， 我的主管们没有 向他们的上级坦白， 他们雇了一个十多岁的小女孩 来做重要的编程工作， 一个穿着牛仔裤， 运动鞋工作的女孩。 我的工作做得很好， 我只是看起来不合适， 年龄和性别也不合适。 所以，忽略性别和种族的招聘， 听起来很适合我。 但是这样的系统会带来更多问题， 当前，计算机系统 能根据零散的数据， 推断出关于你的一切， 甚至你没有公开的事。 它们可以推断你的性取向， 你的性格特点， 你的政治倾向。 它们有高准确度的预测能力， 记住，是你没有公开的事情， 这就是推断。 我有个朋友 就是开发这种系统， 从社交媒体的数据中， 推断患临床或 产后抑郁症的可能性。 结果令人印象深刻， 她的系统可以 在症状出现前几个月 成功预测到 患抑郁的可能性， 提前几个月。 在有症状之前， 就可以预测到， 她希望这可以用于 临床早期干预，这很棒！ 现在我们把这项技术 放到招聘中来看。 在那次人力资源管理会议中， 我接近了一位大公司的高管， 我对她说，“看，如果这个系统 在不通知你的情况下， 就剔除了未来 有可能抑郁的人，怎么办？ 他们现在不抑郁， 只是未来有可能。 如果它剔除了 有可能怀孕的女性，怎么办？ 她们现在没怀孕， 但未来一两年有可能。 如果因为你的公司文化， 它只雇佣激进的候选人怎么办？” 只看性别比例， 你发现不了这些问题， 性别比例是可以被调整的。 并且因为这是机器学习， 不是传统的代码， 不会有一个变量来标识 “高抑郁风险”、 “高怀孕风险”、 “人员的激进程度”。 你不仅无法了解系统 在选什么样的人， 你甚至不知道 从哪里入手了解。 它是个暗箱。 它有预测的能力， 但你不了解它。 我问，“你有什么措施 可以保证， 你的暗箱没有 在做些见不得人的事？” 她看着我，就好像 我刚踩了10只小狗的尾巴。 （笑声） 她瞪着我说： “我不想再听你多说一个字。” 然后她转身走开了。 其实， 她不是无礼， 她想表达的其实是：我不知道， 这不是我的错，走开，不然我瞪死你。 （笑声） 看，这样的系统 可能在某些方面 比人类高管 怀有更少偏见， 而且可以创造经济价值。 但它也可能 用一种顽固且隐秘的方式， 把高抑郁风险的人清出职场。 这是我们想要的未来吗？ 把决策权给予我们 并不完全了解的机器， 在我们不知情的状况下 构建一种新的社会？ 另一个问题是， 这些系统通常使用 我们真实的 行为数据来训练。 它们可能只是在 反馈我们的偏见， 这些系统会 继承我们的偏见， 并把它们放大， 然后反馈给我们。 我们骗自己说， “我们只做客观、 中立的预测。” 研究者发现，在 Google 上， 高收入工作的广告 更多的被展示给男性用户。 搜索非裔美国人的名字， 更可能出现 关于犯罪史的广告， 即使某些根本不存在。 这些潜在的偏见 以及暗箱中的算法， 有些会被研究者揭露， 有些根本不会被发现， 它的后果可能是 改变一个人的人生。 在威斯康星，一个被告 因逃避警察被判刑六年。 你可能不知道， 但计算机算法正越来越多的 被应用在假释及量刑裁定上。 他想要弄清楚，这个 得分是怎么算出来的？ 这是个商业暗箱， 这家公司拒绝在公开法庭上 讨论他们的算法。 但是一家叫 ProPublica 的非盈利机构， 根据公开数据， 对这个算法进行了评估， 他们发现这个算法 的结论是有偏见的， 它的预测能力很差， 比碰运气强不了多少， 并且它错误的把黑人被告 未来犯罪的可能性 标记为白人的两倍。 看下这个案例： 这个女人急着去佛罗里达州, 布劳沃德县的一所学校， 去接她的干妹妹。 女人和她的朋友在街上狂奔， 她们看到门廊上一辆没上锁的 儿童自行车，和一辆电瓶车， 于是就愚蠢的骑上了车。 正在她们要骑走的时候， 另一个女人出来，喊道： “嘿！那是我孩子的自行车！” 她们扔掉车走开， 但还是被抓住了。 她做错了，她很愚蠢， 但她也才刚满18岁， 她之前有不少 青少年轻罪的记录。 与此同时，这个男人 在连锁超市偷窃被捕了， 偷了价值85美金的东西， 同样的轻微犯罪， 但他有两次持枪抢劫的案底。 这个程序将这位女性判定为 高风险，而这位男性则不是。 两年后，ProPublica 发现她没有再次犯罪， 但这个记录 使她很难找到工作。 而这位男性，却再次犯罪， 并因此被判八年监禁。 显然，我们需要 审查这些暗箱， 确保它们不再有这样 不加限制的权限。 （掌声） 审查是很重要的， 但不能解决所有的问题。 拿 Facebook 的强大的 新闻流算法来说， 就是通过你的朋友圈 和你浏览过的页面， 决定你的 “推荐内容”的算法。 它会决定要不要 再推一张婴儿照片给你， （笑声） 要不要推一条熟人 的沮丧状态？ 要不要推一条重要 但艰涩的新闻？ 这个问题没有正解。 Facebook 会根据 网站的参与度来优化： 喜欢、分享、评论。 在2014年8月， 密苏里州弗格森市爆发了游行， 一个白人警察在不明状况下 杀害了一位非裔少年。 关于游行的新闻 在我的未经算法过滤的 Twitter 上大量出现， 但 Facebook 上却没有。 是因为我的 Facebook 好友 不关注这事吗？ 我禁用了 Facebook 的算法， 这是很麻烦的一键事， 因为 Facebook 希望 你一直在它的算法 控制下使用, 希望我的朋友持续 地谈论这件事。 只是算法没法 给我这些信息。 我研究了这个现象， 发现这是个普遍的问题。 弗格森事件 对算法是不适用的， 它不是值得“赞”的新闻， 谁会在这样 的文章下点“赞”呢？ 甚至这新闻都不好被评论。 因为没有“赞”和评论， 算法会减少 这些新闻的曝光， 所以我们无法看到。 相反的，在同一周， Facebook 的算法热推了 ALS 冰桶挑战的信息。 这很有意义，倒冰水， 为慈善捐款，很好。 这个事件对算法是很适用的， 机器帮我们做了这个决定。 非常重要但艰涩的新闻事件 可能会被埋没掉， 因为 Facebook 已经成为 主要的信息来源。 最后，这些系统 也可能会在一些 不同于人力系统 的那些事情上搞错。 你们记得 Watson 吧， 那个在智力竞赛《危险边缘》中 横扫人类选手的 IBM 机器智能系统， 它是个很厉害的选手。 但是，在最后一轮比赛中， Watson 被问道： “它最大的机场是以 二战英雄命名的， 它第二大机场是以 二战战场命名的。” （哼唱《危险边缘》插曲） 芝加哥。 两位人类选手答对了， 但 Watson 答的是， “多伦多”， 这是个猜美国城市的环节！ 这个厉害的系统也会犯 人类都不会犯的，二年级 小孩都不会犯的错误。 我们的机器智能系统, 会在一些不符合人类 出错模式的问题上出错， 这些问题都是我们 无法预料和准备的。 丢失一份完全有能力胜任 的工作时，人们会感到很糟， 但如果是因为机器 子程序的过度堆积， 就简直糟透了。 （笑声） 在2010年五月， 华尔街出现一次 股票闪电崩盘， 原因是“卖出”算法 的反馈回路导致， 在36分钟内 损失了几十亿美金。 我甚至不敢想， 致命的自动化武器 发生“错误”会是什么后果。 是的，人类总是会有偏见， 法庭上、新闻机构、战争中的， 决策者、看门人… 他们都会犯错， 但这恰恰是我要说的。 我们无法抛开 这些困难的问题， 我们不能把我们自身 该承担的责任推给机器。 （掌声） 人工智能不会给我们 一张“伦理免责卡”。 数据科学家 Fred Benenson 称之为“数学粉饰”。 我们需要是相反的东西。 我们需要培养算法的 怀疑、复查和调研能力。 我们需要确保 有人为算法负责， 为算法审查， 并切实的公开透明。 我们必须认识到， 把数学和计算引入 解决复杂的、高价值 的人类事务中， 并不能带来客观性， 相反，人类事务 的复杂性会扰乱算法。 是的，我们可以 并且需要使用计算机 来帮助我们做更好的决策， 但我们也需要在判断中 加入道德义务， 在这个框架下使用算法， 而不是像人与人 之间相互推卸那样， 就把责任转移给机器。 人工智能到来了， 这意味着 我们要格外坚守 人类的价值观和伦理。 谢谢。 （掌声）