WEBVTT

00:00:00.739 --> 00:00:04.861
我的第一份工作是程序员，

00:00:04.885 --> 00:00:06.841
那是在我刚上大学的时候，

00:00:06.865 --> 00:00:08.372
不到二十岁。

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
我刚开始工作不久，

00:00:10.645 --> 00:00:12.255
正当在公司写程序，

00:00:12.799 --> 00:00:16.434
公司的一位经理来到我旁边，

00:00:16.458 --> 00:00:17.726
他悄悄的对我说，

00:00:18.229 --> 00:00:21.090
“他能看出来我在撒谎吗？”

00:00:21.806 --> 00:00:24.663
当时屋子里没有别人。

NOTE Paragraph

00:00:25.032 --> 00:00:30.131
“你是指谁能看出你在撒谎？
还有，我们干嘛要悄悄地说话？”

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
那个经理指着屋子里的电脑，说：

00:00:33.397 --> 00:00:36.493
“他能看出我在撒谎吗？”

00:00:37.613 --> 00:00:41.975
其实，那个经理和前台有一腿。

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
（笑声）

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
当时我只有十来岁，

00:00:45.447 --> 00:00:47.466
我低声地回答他，

00:00:47.490 --> 00:00:51.114
“是的，电脑什么都知道。”

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
（笑声）

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
我笑了，但其实我是在笑自己，

00:00:55.915 --> 00:00:59.183
现在，计算机系统已经可以

00:00:59.207 --> 00:01:02.219
通过分析人脸来辨别人的情绪，

00:01:02.219 --> 00:01:04.823
甚至包括是否在撒谎。

00:01:05.248 --> 00:01:09.401
广告商，甚至政府
都对此很感兴趣。

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
我选择成为电脑程序员，

00:01:12.205 --> 00:01:15.318
因为我是那种
痴迷于数学和科学孩子。

00:01:15.942 --> 00:01:19.050
其间我也学习过核武器，

00:01:19.074 --> 00:01:22.026
我也非常关心科学伦理。

00:01:22.050 --> 00:01:23.254
我曾经很困惑。

00:01:23.278 --> 00:01:25.919
但是，因为家庭原因，

00:01:25.943 --> 00:01:29.241
我需要尽快参加工作。

00:01:29.265 --> 00:01:32.564
我对自己说，嘿，
选一个容易找工作

00:01:32.588 --> 00:01:34.384
的科技领域吧，

00:01:34.408 --> 00:01:38.426
并且找个不需要
操心伦理问题的。

00:01:39.022 --> 00:01:40.551
所以我选了计算机。

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
（笑声）

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
哈哈哈，
我多可笑。

00:01:45.137 --> 00:01:47.891
如今，计算机科学控制着

00:01:47.915 --> 00:01:52.124
十亿人每天能看到的信息，

00:01:53.052 --> 00:01:56.874
它们可以控制汽车朝哪里开，

00:01:57.707 --> 00:02:00.920
它们可以建造机器、武器，

00:02:00.944 --> 00:02:03.229
那些在战争中
用于杀人的武器。

00:02:03.253 --> 00:02:06.024
说到底，
都是伦理问题。

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
机器智能来了。

00:02:09.823 --> 00:02:13.297
我们用计算机来做各种决策，

00:02:13.321 --> 00:02:15.207
包括人们面临的新决策。

00:02:15.231 --> 00:02:20.403
我们向计算机询问多解的、

00:02:20.427 --> 00:02:21.629
主观的、

00:02:21.653 --> 00:02:23.978
开放性的或意义深远的问题。

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
我们会问，

00:02:25.784 --> 00:02:28.014
“我们公司应该聘请谁？”

00:02:28.096 --> 00:02:30.855
“你该关注哪个朋友
的哪条状态？”

00:02:30.879 --> 00:02:33.145
“哪种犯罪更容易再犯？”

00:02:33.514 --> 00:02:36.568
“应该给人们推荐
哪条新闻或是电影？”

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
看，是的，我们使用计算机
已经有一段时间了，

00:02:39.988 --> 00:02:41.505
但现在不一样了。

00:02:41.529 --> 00:02:43.596
这是历史性的转折，

00:02:43.620 --> 00:02:48.957
因为我们在这些主观决策上
无法主导计算机，

00:02:48.981 --> 00:02:53.015
不像我们在
管理飞机、建造桥梁、

00:02:53.015 --> 00:02:56.194
登月等问题上，
可以主导它们。

00:02:56.449 --> 00:02:59.708
飞机会更安全吗？
桥梁会摇晃或倒塌吗？

00:02:59.732 --> 00:03:04.230
在这些问题上，我们
有统一而清晰的判断标准，

00:03:04.254 --> 00:03:06.493
我们有自然定律来指导。

00:03:06.517 --> 00:03:09.911
但是在复杂的人类事务上，

00:03:09.935 --> 00:03:13.898
我们没有这样的客观标准。

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
让问题变得更复杂的，
是我们的软件正越来越强大，

00:03:18.183 --> 00:03:21.956
同时也变得更加不透明，
更加复杂。

00:03:22.542 --> 00:03:24.582
最近的几十年，

00:03:24.606 --> 00:03:27.335
复杂算法已
取得了长足发展，

00:03:27.359 --> 00:03:29.349
它们可以识别人脸，

00:03:29.985 --> 00:03:32.040
它们可以破解笔迹，

00:03:32.436 --> 00:03:34.502
它们可以识别信用卡欺诈，

00:03:34.526 --> 00:03:35.715
可以屏蔽垃圾信息，

00:03:35.739 --> 00:03:37.776
它们可以翻译语言，

00:03:37.800 --> 00:03:40.374
他们可以通过
医学图像识别肿瘤，

00:03:40.398 --> 00:03:43.263
它们可以在国际象棋
和围棋上击败人类。

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
类似的很多发展，
都来自一种叫“机器学习”的方法。

00:03:48.175 --> 00:03:51.362
机器学习不像传统程序一样，

00:03:51.386 --> 00:03:54.971
需要给计算机详细、
准确的逐条指令。

00:03:55.378 --> 00:03:59.560
它更像是你给系统
喂了很多数据，

00:03:59.584 --> 00:04:01.240
包括非结构化数据，

00:04:01.264 --> 00:04:03.542
比如我们在数字生活中
产生的数据。

00:04:03.566 --> 00:04:06.296
系统扎进这些数据中学习，

00:04:06.669 --> 00:04:08.195
重要的是，

00:04:08.219 --> 00:04:12.599
这些系统不再局限单一答案。

00:04:12.623 --> 00:04:15.582
他们得出的不是一个
简单的答案，而是概率性的：

00:04:15.606 --> 00:04:19.089
“这个更像是你在寻找的。”

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
它的优势是：
它真的非常强大。

00:04:23.117 --> 00:04:25.193
Google 人工智能系统的
负责人称它为：

00:04:25.217 --> 00:04:27.414
“不可思议的数据效率”。

00:04:27.791 --> 00:04:29.144
缺点在于，

00:04:29.738 --> 00:04:32.809
我们无法清楚的了解
系统学到了什么，

00:04:32.833 --> 00:04:34.960
事实上，这也正是
它的强大之处。

00:04:34.960 --> 00:04:38.744
不像是给计算机下达指令，

00:04:39.200 --> 00:04:43.264
更像是在训练一个机器狗，

00:04:43.288 --> 00:04:46.289
我们无法精确的
了解和控制它。

00:04:46.362 --> 00:04:47.913
这就是我们遇到的问题。

00:04:48.427 --> 00:04:52.689
人工智能会出错，
这是一个问题。

00:04:52.713 --> 00:04:56.253
但他们得出正确答案，
又是另一种问题。

00:04:56.277 --> 00:04:59.905
因为我们面对主观问题，
是不应该有答案的。

00:04:59.929 --> 00:05:02.268
我们不知道
这些机器在想什么。

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
所以，考虑一下招聘算法－

00:05:08.123 --> 00:05:12.434
通过机器学习构建的招聘系统。

00:05:13.052 --> 00:05:16.631
这样的系统会用员工
现有的数据进行自我培训，

00:05:16.655 --> 00:05:19.246
参照公司的优秀员工

00:05:19.270 --> 00:05:22.308
来寻找和招聘新人。

00:05:22.814 --> 00:05:23.967
听起来很好。

00:05:23.991 --> 00:05:25.990
有次我参加了一个会议，

00:05:26.014 --> 00:05:29.139
会上聚集了很多
人力资源部的经理和总监，

00:05:29.163 --> 00:05:30.369
都是高管，

00:05:30.393 --> 00:05:31.952
让他们使用这样的招聘系统。

00:05:31.976 --> 00:05:33.622
他们都非常兴奋，

00:05:33.646 --> 00:05:38.299
认为这可以让招聘变得
更加客观，从而减少偏见，

00:05:38.323 --> 00:05:41.323
给女性和少数族裔
更多的机会，

00:05:41.347 --> 00:05:43.535
减少他们自身的偏见。

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
你知道的，
招聘是存在偏见的，

00:05:47.099 --> 00:05:48.284
我也很清楚。

00:05:48.308 --> 00:05:51.313
在我刚开始做程序员的时候，

00:05:51.337 --> 00:05:55.205
我的直接主管会来找我，

00:05:55.229 --> 00:05:58.982
在早晨很早或下午很晚的时候，

00:05:59.006 --> 00:06:02.068
说，“ 图费, 我们去吃午饭！”

00:06:02.724 --> 00:06:04.891
我就被这奇怪的时间
给搞糊涂了，

00:06:04.915 --> 00:06:07.044
现在是下午4点，吃午饭？

00:06:07.068 --> 00:06:10.162
我当时很穷，所以
不会放过免费的午餐。

00:06:10.618 --> 00:06:12.685
后来我才想明白原因，

00:06:12.709 --> 00:06:17.255
我的主管们没有
向他们的上级坦白，

00:06:17.279 --> 00:06:20.392
他们雇了一个十多岁的小女孩
来做重要的编程工作，

00:06:20.416 --> 00:06:24.346
一个穿着牛仔裤，
运动鞋工作的女孩。

00:06:25.174 --> 00:06:27.376
我的工作做得很好，
我只是看起来不合适，

00:06:27.400 --> 00:06:29.099
年龄和性别也不合适。

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
所以，忽略性别和种族的招聘，

00:06:32.493 --> 00:06:34.358
听起来很适合我。

00:06:35.031 --> 00:06:38.372
但是这样的系统会带来更多问题，

00:06:38.968 --> 00:06:44.759
当前，计算机系统
能根据零散的数据，

00:06:44.783 --> 00:06:46.655
推断出关于你的一切，

00:06:46.679 --> 00:06:49.012
甚至你没有公开的事。

00:06:49.506 --> 00:06:52.433
它们可以推断你的性取向，

00:06:52.994 --> 00:06:54.300
你的性格特点，

00:06:54.859 --> 00:06:56.232
你的政治倾向。

00:06:56.830 --> 00:07:00.515
它们有高准确度的预测能力，

00:07:01.362 --> 00:07:03.940
记住，是你没有公开的事情，

00:07:03.964 --> 00:07:05.555
这就是推断。

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
我有个朋友
就是开发这种系统，

00:07:08.864 --> 00:07:11.999
从社交媒体的数据中，

00:07:11.999 --> 00:07:14.605
推断患临床或
产后抑郁症的可能性。

00:07:14.676 --> 00:07:16.103
结果令人印象深刻，

00:07:16.492 --> 00:07:19.849
她的系统可以
在症状出现前几个月

00:07:19.873 --> 00:07:23.776
成功预测到
患抑郁的可能性，

00:07:23.800 --> 00:07:25.173
提前几个月。

00:07:25.197 --> 00:07:27.443
在有症状之前，
就可以预测到，

00:07:27.467 --> 00:07:32.279
她希望这可以用于
临床早期干预，这很棒！

00:07:32.911 --> 00:07:34.951
现在我们把这项技术
放到招聘中来看。

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
在那次人力资源管理会议中，

00:07:39.097 --> 00:07:43.806
我接近了一位大公司的高管，

00:07:43.830 --> 00:07:48.408
我对她说，“看，如果这个系统
在不通知你的情况下，

00:07:48.432 --> 00:07:54.981
就剔除了未来
有可能抑郁的人，怎么办？

00:07:55.761 --> 00:07:59.137
他们现在不抑郁，
只是未来有可能。

00:07:59.923 --> 00:08:03.329
如果它剔除了
有可能怀孕的女性，怎么办？

00:08:03.353 --> 00:08:05.939
她们现在没怀孕，
但未来一两年有可能。

00:08:06.844 --> 00:08:12.480
如果因为你的公司文化，
它只雇佣激进的候选人怎么办？”

00:08:13.173 --> 00:08:15.864
只看性别比例，
你发现不了这些问题，

00:08:15.888 --> 00:08:17.390
性别比例是可以被调整的。

00:08:17.414 --> 00:08:20.971
并且因为这是机器学习，
不是传统的代码，

00:08:20.995 --> 00:08:25.902
不会有一个变量来标识
“高抑郁风险”、

00:08:25.926 --> 00:08:27.759
“高怀孕风险”、

00:08:27.783 --> 00:08:29.517
“人员的激进程度”。

00:08:29.995 --> 00:08:33.674
你不仅无法了解系统
在选什么样的人，

00:08:33.698 --> 00:08:36.021
你甚至不知道
从哪里入手了解。

00:08:36.045 --> 00:08:37.291
它是个暗箱。

00:08:37.315 --> 00:08:40.122
它有预测的能力，
但你不了解它。

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
我问，“你有什么措施
可以保证，

00:08:42.879 --> 00:08:46.552
你的暗箱没有
在做些见不得人的事？”

00:08:48.863 --> 00:08:52.741
她看着我，就好像
我刚踩了10只小狗的尾巴。

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
（笑声）

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
她瞪着我说：

00:08:56.556 --> 00:09:00.889
“我不想再听你多说一个字。”

00:09:01.458 --> 00:09:03.492
然后她转身走开了。

00:09:04.064 --> 00:09:05.550
其实，
她不是无礼，

00:09:05.574 --> 00:09:11.882
她想表达的其实是：我不知道，
这不是我的错，走开，不然我瞪死你。

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
（笑声）

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
看，这样的系统
可能在某些方面

00:09:17.725 --> 00:09:19.828
比人类高管
怀有更少偏见，

00:09:19.852 --> 00:09:21.998
而且可以创造经济价值。

00:09:22.573 --> 00:09:24.223
但它也可能

00:09:24.247 --> 00:09:28.399
用一种顽固且隐秘的方式，

00:09:28.399 --> 00:09:31.312
把高抑郁风险的人清出职场。

00:09:31.753 --> 00:09:34.349
这是我们想要的未来吗？

00:09:34.373 --> 00:09:36.658
把决策权给予我们
并不完全了解的机器，

00:09:36.682 --> 00:09:40.646
在我们不知情的状况下
构建一种新的社会？

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
另一个问题是，

00:09:43.314 --> 00:09:47.290
这些系统通常使用

00:09:47.290 --> 00:09:49.606
我们真实的
行为数据来训练。

00:09:50.188 --> 00:09:53.996
它们可能只是在
反馈我们的偏见，

00:09:54.020 --> 00:09:57.613
这些系统会
继承我们的偏见，

00:09:57.637 --> 00:09:58.950
并把它们放大，

00:09:58.974 --> 00:10:00.392
然后反馈给我们。

00:10:00.416 --> 00:10:01.878
我们骗自己说，

00:10:01.902 --> 00:10:05.019
“我们只做客观、
中立的预测。”

NOTE Paragraph

00:10:06.314 --> 00:10:10.141
研究者发现，在 Google 上，

00:10:10.141 --> 00:10:15.447
高收入工作的广告
更多的被展示给男性用户。

00:10:16.463 --> 00:10:18.993
搜索非裔美国人的名字，

00:10:19.017 --> 00:10:23.723
更可能出现
关于犯罪史的广告，

00:10:23.747 --> 00:10:26.024
即使某些根本不存在。

00:10:26.693 --> 00:10:30.242
这些潜在的偏见
以及暗箱中的算法，

00:10:30.266 --> 00:10:34.239
有些会被研究者揭露，
有些根本不会被发现，

00:10:34.263 --> 00:10:37.424
它的后果可能是
改变一个人的人生。

NOTE Paragraph

00:10:37.958 --> 00:10:40.961
在威斯康星，一个被告

00:10:40.961 --> 00:10:44.366
因逃避警察被判刑六年。

00:10:44.824 --> 00:10:46.010
你可能不知道，

00:10:46.034 --> 00:10:50.032
但计算机算法正越来越多的
被应用在假释及量刑裁定上。

00:10:50.056 --> 00:10:53.011
他想要弄清楚，这个
得分是怎么算出来的？

00:10:53.795 --> 00:10:55.460
这是个商业暗箱，

00:10:55.484 --> 00:10:59.689
这家公司拒绝在公开法庭上
讨论他们的算法。

00:11:00.396 --> 00:11:04.792
但是一家叫 ProPublica 
的非盈利机构，

00:11:04.792 --> 00:11:07.968
根据公开数据，
对这个算法进行了评估，

00:11:07.992 --> 00:11:10.308
他们发现这个算法
的结论是有偏见的，

00:11:10.332 --> 00:11:13.961
它的预测能力很差，
比碰运气强不了多少，

00:11:13.985 --> 00:11:18.401
并且它错误的把黑人被告
未来犯罪的可能性

00:11:18.425 --> 00:11:23.220
标记为白人的两倍。

NOTE Paragraph

00:11:23.891 --> 00:11:26.075
看下这个案例：

00:11:26.103 --> 00:11:29.955
这个女人急着去佛罗里达州,
布劳沃德县的一所学校，

00:11:29.979 --> 00:11:32.794
去接她的干妹妹。

00:11:32.794 --> 00:11:35.113
女人和她的朋友在街上狂奔，

00:11:35.137 --> 00:11:39.236
她们看到门廊上一辆没上锁的
儿童自行车，和一辆电瓶车，

00:11:39.260 --> 00:11:40.892
于是就愚蠢的骑上了车。

00:11:40.916 --> 00:11:43.515
正在她们要骑走的时候，
另一个女人出来，喊道：

00:11:43.539 --> 00:11:45.744
“嘿！那是我孩子的自行车！”

00:11:45.768 --> 00:11:49.062
她们扔掉车走开，
但还是被抓住了。

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
她做错了，她很愚蠢，
但她也才刚满18岁，

00:11:52.747 --> 00:11:55.741
她之前有不少
青少年轻罪的记录。

00:11:55.808 --> 00:12:00.993
与此同时，这个男人
在连锁超市偷窃被捕了，

00:12:01.017 --> 00:12:04.761
偷了价值85美金的东西，
同样的轻微犯罪，

00:12:04.766 --> 00:12:09.325
但他有两次持枪抢劫的案底。

00:12:09.955 --> 00:12:14.697
这个程序将这位女性判定为
高风险，而这位男性则不是。

00:12:14.746 --> 00:12:18.620
两年后，ProPublica 
发现她没有再次犯罪，

00:12:18.644 --> 00:12:21.194
但这个记录
使她很难找到工作。

00:12:21.218 --> 00:12:23.294
而这位男性，却再次犯罪，

00:12:23.318 --> 00:12:27.154
并因此被判八年监禁。

00:12:28.088 --> 00:12:31.457
显然，我们需要
审查这些暗箱，

00:12:31.481 --> 00:12:34.096
确保它们不再有这样
不加限制的权限。

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
（掌声）

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
审查是很重要的，
但不能解决所有的问题。

00:12:42.353 --> 00:12:45.101
拿 Facebook 的强大的
新闻流算法来说，

00:12:45.125 --> 00:12:49.022
就是通过你的朋友圈
和你浏览过的页面，

00:12:49.022 --> 00:12:52.866
决定你的
“推荐内容”的算法。

00:12:52.898 --> 00:12:55.173
它会决定要不要
再推一张婴儿照片给你，

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
（笑声）

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
要不要推一条熟人
的沮丧状态？

00:12:59.449 --> 00:13:01.305
要不要推一条重要
但艰涩的新闻？

00:13:01.329 --> 00:13:02.811
这个问题没有正解。

00:13:02.835 --> 00:13:05.494
Facebook 会根据
网站的参与度来优化：

00:13:05.518 --> 00:13:07.643
喜欢、分享、评论。

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
在2014年8月，

00:13:10.888 --> 00:13:13.550
密苏里州弗格森市爆发了游行，

00:13:13.574 --> 00:13:16.965
一个白人警察在不明状况下

00:13:16.965 --> 00:13:19.585
杀害了一位非裔少年。

00:13:19.974 --> 00:13:21.981
关于游行的新闻

00:13:22.005 --> 00:13:24.690
在我的未经算法过滤的
Twitter 上大量出现，

00:13:24.714 --> 00:13:27.174
但 Facebook 上却没有。

00:13:27.182 --> 00:13:28.916
是因为我的 Facebook 好友
不关注这事吗？

00:13:28.940 --> 00:13:30.972
我禁用了 Facebook 的算法，

00:13:31.472 --> 00:13:34.320
这是很麻烦的一键事，
因为 Facebook 希望

00:13:34.344 --> 00:13:36.380
你一直在它的算法
控制下使用,

00:13:36.404 --> 00:13:38.642
希望我的朋友持续
地谈论这件事。

00:13:38.666 --> 00:13:41.175
只是算法没法
给我这些信息。

00:13:41.199 --> 00:13:44.241
我研究了这个现象，
发现这是个普遍的问题。

NOTE Paragraph

00:13:44.265 --> 00:13:47.472
弗格森事件
对算法是不适用的，

00:13:47.472 --> 00:13:49.273
它不是值得“赞”的新闻，

00:13:49.297 --> 00:13:51.459
谁会在这样
的文章下点“赞”呢？

00:13:51.500 --> 00:13:53.706
甚至这新闻都不好被评论。

00:13:53.730 --> 00:13:55.101
因为没有“赞”和评论，

00:13:55.125 --> 00:13:58.417
算法会减少
这些新闻的曝光，

00:13:58.441 --> 00:14:00.803
所以我们无法看到。

00:14:00.946 --> 00:14:02.174
相反的，在同一周，

00:14:02.198 --> 00:14:04.496
Facebook 的算法热推了

00:14:04.520 --> 00:14:06.746
ALS 冰桶挑战的信息。

00:14:06.770 --> 00:14:10.512
这很有意义，倒冰水，
为慈善捐款，很好。

00:14:10.536 --> 00:14:13.220
这个事件对算法是很适用的，

00:14:13.220 --> 00:14:15.832
机器帮我们做了这个决定。

00:14:15.856 --> 00:14:19.353
非常重要但艰涩的新闻事件

00:14:19.377 --> 00:14:20.932
可能会被埋没掉，

00:14:20.956 --> 00:14:24.182
因为 Facebook 已经成为
主要的信息来源。

NOTE Paragraph

00:14:24.182 --> 00:14:27.914
最后，这些系统
也可能会在一些

00:14:27.938 --> 00:14:30.674
不同于人力系统
的那些事情上搞错。

00:14:30.698 --> 00:14:34.630
你们记得 Watson 吧，
那个在智力竞赛《危险边缘》中

00:14:34.630 --> 00:14:37.272
横扫人类选手的 
IBM 机器智能系统，

00:14:37.272 --> 00:14:38.559
它是个很厉害的选手。

00:14:38.583 --> 00:14:42.152
但是，在最后一轮比赛中，
Watson 被问道：

00:14:42.659 --> 00:14:45.591
“它最大的机场是以
二战英雄命名的，

00:14:45.615 --> 00:14:47.867
它第二大机场是以
二战战场命名的。”

NOTE Paragraph

00:14:47.891 --> 00:14:49.269
（哼唱《危险边缘》插曲）

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
芝加哥。

00:14:50.788 --> 00:14:52.158
两位人类选手答对了，

00:14:52.697 --> 00:14:57.045
但 Watson 答的是，
“多伦多”，

00:14:57.069 --> 00:14:59.607
这是个猜美国城市的环节！

00:14:59.607 --> 00:15:02.497
这个厉害的系统也会犯

00:15:02.521 --> 00:15:06.862
人类都不会犯的，二年级
小孩都不会犯的错误。

NOTE Paragraph

00:15:06.862 --> 00:15:09.932
我们的机器智能系统,

00:15:09.956 --> 00:15:13.056
会在一些不符合人类
出错模式的问题上出错，

00:15:13.080 --> 00:15:16.030
这些问题都是我们
无法预料和准备的。

00:15:16.054 --> 00:15:19.692
丢失一份完全有能力胜任
的工作时，人们会感到很糟，

00:15:19.716 --> 00:15:23.443
但如果是因为机器
子程序的过度堆积，

00:15:23.467 --> 00:15:24.899
就简直糟透了。

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
（笑声）

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
在2010年五月，

00:15:29.336 --> 00:15:32.804
华尔街出现一次
股票闪电崩盘，

00:15:32.804 --> 00:15:36.432
原因是“卖出”算法
的反馈回路导致，

00:15:36.456 --> 00:15:40.640
在36分钟内
损失了几十亿美金。

00:15:41.722 --> 00:15:43.909
我甚至不敢想，
致命的自动化武器

00:15:43.933 --> 00:15:47.522
发生“错误”会是什么后果。

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
是的，人类总是会有偏见，

00:15:53.708 --> 00:15:55.884
法庭上、新闻机构、战争中的，

00:15:55.908 --> 00:15:59.401
决策者、看门人…

00:15:59.425 --> 00:16:02.463
他们都会犯错，
但这恰恰是我要说的。

00:16:02.487 --> 00:16:06.118
我们无法抛开
这些困难的问题，

00:16:06.118 --> 00:16:11.022
我们不能把我们自身
该承担的责任推给机器。

NOTE Paragraph

00:16:11.022 --> 00:16:14.884
（掌声）

NOTE Paragraph

00:16:17.089 --> 00:16:22.696
人工智能不会给我们
一张“伦理免责卡”。

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
数据科学家 Fred Benenson 
称之为“数学粉饰”。

00:16:26.147 --> 00:16:27.536
我们需要是相反的东西。

00:16:27.560 --> 00:16:32.948
我们需要培养算法的
怀疑、复查和调研能力。

00:16:33.380 --> 00:16:36.578
我们需要确保
有人为算法负责，

00:16:36.602 --> 00:16:39.047
为算法审查，
并切实的公开透明。

00:16:39.380 --> 00:16:42.614
我们必须认识到，
把数学和计算引入

00:16:42.638 --> 00:16:45.608
解决复杂的、高价值
的人类事务中，

00:16:45.632 --> 00:16:48.016
并不能带来客观性，

00:16:48.040 --> 00:16:51.673
相反，人类事务
的复杂性会扰乱算法。

00:16:52.148 --> 00:16:55.635
是的，我们可以
并且需要使用计算机

00:16:55.659 --> 00:16:57.673
来帮助我们做更好的决策，

00:16:57.697 --> 00:17:03.029
但我们也需要在判断中
加入道德义务，

00:17:03.053 --> 00:17:05.871
在这个框架下使用算法，

00:17:05.895 --> 00:17:09.904
而不是像人与人
之间相互推卸那样，

00:17:09.904 --> 00:17:13.308
就把责任转移给机器。

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
人工智能到来了，

00:17:16.440 --> 00:17:19.065
这意味着
我们要格外坚守

00:17:19.065 --> 00:17:22.032
人类的价值观和伦理。

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
谢谢。

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
（掌声）