机器智能时代,坚守人类道德更重要
-
0:01 - 0:05我的第一份工作是程序员,
-
0:05 - 0:07那是在我刚上大学的时候,
-
0:07 - 0:08不到二十岁。
-
0:09 - 0:11我刚开始工作不久,
-
0:11 - 0:12正当在公司写程序,
-
0:13 - 0:16公司的一位经理来到我旁边,
-
0:16 - 0:18他悄悄的对我说,
-
0:18 - 0:21“他能看出来我在撒谎吗?”
-
0:22 - 0:25当时屋子里没有别人。
-
0:25 - 0:30“你是指谁能看出你在撒谎?
还有,我们干嘛要悄悄地说话?” -
0:30 - 0:33那个经理指着屋子里的电脑,说:
-
0:33 - 0:36“他能看出我在撒谎吗?”
-
0:38 - 0:42其实,那个经理和前台有一腿。
-
0:42 - 0:43(笑声)
-
0:43 - 0:45当时我只有十来岁,
-
0:45 - 0:47我低声地回答他,
-
0:47 - 0:51“是的,电脑什么都知道。”
-
0:51 - 0:53(笑声)
-
0:53 - 0:56我笑了,但其实我是在笑自己,
-
0:56 - 0:59现在,计算机系统已经可以
-
0:59 - 1:02通过分析人脸来辨别人的情绪,
-
1:02 - 1:05甚至包括是否在撒谎。
-
1:05 - 1:09广告商,甚至政府
都对此很感兴趣。 -
1:10 - 1:12我选择成为电脑程序员,
-
1:12 - 1:15因为我是那种
痴迷于数学和科学孩子。 -
1:16 - 1:19其间我也学习过核武器,
-
1:19 - 1:22我也非常关心科学伦理。
-
1:22 - 1:23我曾经很困惑。
-
1:23 - 1:26但是,因为家庭原因,
-
1:26 - 1:29我需要尽快参加工作。
-
1:29 - 1:33我对自己说,嘿,
选一个容易找工作 -
1:33 - 1:34的科技领域吧,
-
1:34 - 1:38并且找个不需要
操心伦理问题的。 -
1:39 - 1:41所以我选了计算机。
-
1:41 - 1:42(笑声)
-
1:42 - 1:45哈哈哈,
我多可笑。 -
1:45 - 1:48如今,计算机科学控制着
-
1:48 - 1:52十亿人每天能看到的信息,
-
1:53 - 1:57它们可以控制汽车朝哪里开,
-
1:58 - 2:01它们可以建造机器、武器,
-
2:01 - 2:03那些在战争中
用于杀人的武器。 -
2:03 - 2:06说到底,
都是伦理问题。 -
2:07 - 2:09机器智能来了。
-
2:10 - 2:13我们用计算机来做各种决策,
-
2:13 - 2:15包括人们面临的新决策。
-
2:15 - 2:20我们向计算机询问多解的、
-
2:20 - 2:22主观的、
-
2:22 - 2:24开放性的或意义深远的问题。
-
2:24 - 2:26我们会问,
-
2:26 - 2:28“我们公司应该聘请谁?”
-
2:28 - 2:31“你该关注哪个朋友
的哪条状态?” -
2:31 - 2:33“哪种犯罪更容易再犯?”
-
2:34 - 2:37“应该给人们推荐
哪条新闻或是电影?” -
2:37 - 2:40看,是的,我们使用计算机
已经有一段时间了, -
2:40 - 2:42但现在不一样了。
-
2:42 - 2:44这是历史性的转折,
-
2:44 - 2:49因为我们在这些主观决策上
无法主导计算机, -
2:49 - 2:53不像我们在
管理飞机、建造桥梁、 -
2:53 - 2:56登月等问题上,
可以主导它们。 -
2:56 - 3:00飞机会更安全吗?
桥梁会摇晃或倒塌吗? -
3:00 - 3:04在这些问题上,我们
有统一而清晰的判断标准, -
3:04 - 3:06我们有自然定律来指导。
-
3:07 - 3:10但是在复杂的人类事务上,
-
3:10 - 3:14我们没有这样的客观标准。
-
3:14 - 3:18让问题变得更复杂的,
是我们的软件正越来越强大, -
3:18 - 3:22同时也变得更加不透明,
更加复杂。 -
3:23 - 3:25最近的几十年,
-
3:25 - 3:27复杂算法已
取得了长足发展, -
3:27 - 3:29它们可以识别人脸,
-
3:30 - 3:32它们可以破解笔迹,
-
3:32 - 3:35它们可以识别信用卡欺诈,
-
3:35 - 3:36可以屏蔽垃圾信息,
-
3:36 - 3:38它们可以翻译语言,
-
3:38 - 3:40他们可以通过
医学图像识别肿瘤, -
3:40 - 3:43它们可以在国际象棋
和围棋上击败人类。 -
3:43 - 3:48类似的很多发展,
都来自一种叫“机器学习”的方法。 -
3:48 - 3:51机器学习不像传统程序一样,
-
3:51 - 3:55需要给计算机详细、
准确的逐条指令。 -
3:55 - 4:00它更像是你给系统
喂了很多数据, -
4:00 - 4:01包括非结构化数据,
-
4:01 - 4:04比如我们在数字生活中
产生的数据。 -
4:04 - 4:06系统扎进这些数据中学习,
-
4:07 - 4:08重要的是,
-
4:08 - 4:13这些系统不再局限单一答案。
-
4:13 - 4:16他们得出的不是一个
简单的答案,而是概率性的: -
4:16 - 4:19“这个更像是你在寻找的。”
-
4:20 - 4:23它的优势是:
它真的非常强大。 -
4:23 - 4:25Google 人工智能系统的
负责人称它为: -
4:25 - 4:27“不可思议的数据效率”。
-
4:28 - 4:29缺点在于,
-
4:30 - 4:33我们无法清楚的了解
系统学到了什么, -
4:33 - 4:35事实上,这也正是
它的强大之处。 -
4:35 - 4:39不像是给计算机下达指令,
-
4:39 - 4:43更像是在训练一个机器狗,
-
4:43 - 4:46我们无法精确的
了解和控制它。 -
4:46 - 4:48这就是我们遇到的问题。
-
4:48 - 4:53人工智能会出错,
这是一个问题。 -
4:53 - 4:56但他们得出正确答案,
又是另一种问题。 -
4:56 - 5:00因为我们面对主观问题,
是不应该有答案的。 -
5:00 - 5:02我们不知道
这些机器在想什么。 -
5:03 - 5:07所以,考虑一下招聘算法-
-
5:08 - 5:12通过机器学习构建的招聘系统。
-
5:13 - 5:17这样的系统会用员工
现有的数据进行自我培训, -
5:17 - 5:19参照公司的优秀员工
-
5:19 - 5:22来寻找和招聘新人。
-
5:23 - 5:24听起来很好。
-
5:24 - 5:26有次我参加了一个会议,
-
5:26 - 5:29会上聚集了很多
人力资源部的经理和总监, -
5:29 - 5:30都是高管,
-
5:30 - 5:32让他们使用这样的招聘系统。
-
5:32 - 5:34他们都非常兴奋,
-
5:34 - 5:38认为这可以让招聘变得
更加客观,从而减少偏见, -
5:38 - 5:41给女性和少数族裔
更多的机会, -
5:41 - 5:44减少他们自身的偏见。
-
5:44 - 5:46你知道的,
招聘是存在偏见的, -
5:47 - 5:48我也很清楚。
-
5:48 - 5:51在我刚开始做程序员的时候,
-
5:51 - 5:55我的直接主管会来找我,
-
5:55 - 5:59在早晨很早或下午很晚的时候,
-
5:59 - 6:02说,“ 图费, 我们去吃午饭!”
-
6:03 - 6:05我就被这奇怪的时间
给搞糊涂了, -
6:05 - 6:07现在是下午4点,吃午饭?
-
6:07 - 6:10我当时很穷,所以
不会放过免费的午餐。 -
6:11 - 6:13后来我才想明白原因,
-
6:13 - 6:17我的主管们没有
向他们的上级坦白, -
6:17 - 6:20他们雇了一个十多岁的小女孩
来做重要的编程工作, -
6:20 - 6:24一个穿着牛仔裤,
运动鞋工作的女孩。 -
6:25 - 6:27我的工作做得很好,
我只是看起来不合适, -
6:27 - 6:29年龄和性别也不合适。
-
6:29 - 6:32所以,忽略性别和种族的招聘,
-
6:32 - 6:34听起来很适合我。
-
6:35 - 6:38但是这样的系统会带来更多问题,
-
6:39 - 6:45当前,计算机系统
能根据零散的数据, -
6:45 - 6:47推断出关于你的一切,
-
6:47 - 6:49甚至你没有公开的事。
-
6:50 - 6:52它们可以推断你的性取向,
-
6:53 - 6:54你的性格特点,
-
6:55 - 6:56你的政治倾向。
-
6:57 - 7:01它们有高准确度的预测能力,
-
7:01 - 7:04记住,是你没有公开的事情,
-
7:04 - 7:06这就是推断。
-
7:06 - 7:09我有个朋友
就是开发这种系统, -
7:09 - 7:12从社交媒体的数据中,
-
7:12 - 7:15推断患临床或
产后抑郁症的可能性。 -
7:15 - 7:16结果令人印象深刻,
-
7:16 - 7:20她的系统可以
在症状出现前几个月 -
7:20 - 7:24成功预测到
患抑郁的可能性, -
7:24 - 7:25提前几个月。
-
7:25 - 7:27在有症状之前,
就可以预测到, -
7:27 - 7:32她希望这可以用于
临床早期干预,这很棒! -
7:33 - 7:35现在我们把这项技术
放到招聘中来看。 -
7:36 - 7:39在那次人力资源管理会议中,
-
7:39 - 7:44我接近了一位大公司的高管,
-
7:44 - 7:48我对她说,“看,如果这个系统
在不通知你的情况下, -
7:48 - 7:55就剔除了未来
有可能抑郁的人,怎么办? -
7:56 - 7:59他们现在不抑郁,
只是未来有可能。 -
8:00 - 8:03如果它剔除了
有可能怀孕的女性,怎么办? -
8:03 - 8:06她们现在没怀孕,
但未来一两年有可能。 -
8:07 - 8:12如果因为你的公司文化,
它只雇佣激进的候选人怎么办?” -
8:13 - 8:16只看性别比例,
你发现不了这些问题, -
8:16 - 8:17性别比例是可以被调整的。
-
8:17 - 8:21并且因为这是机器学习,
不是传统的代码, -
8:21 - 8:26不会有一个变量来标识
“高抑郁风险”、 -
8:26 - 8:28“高怀孕风险”、
-
8:28 - 8:30“人员的激进程度”。
-
8:30 - 8:34你不仅无法了解系统
在选什么样的人, -
8:34 - 8:36你甚至不知道
从哪里入手了解。 -
8:36 - 8:37它是个暗箱。
-
8:37 - 8:40它有预测的能力,
但你不了解它。 -
8:40 - 8:43我问,“你有什么措施
可以保证, -
8:43 - 8:47你的暗箱没有
在做些见不得人的事?” -
8:49 - 8:53她看着我,就好像
我刚踩了10只小狗的尾巴。 -
8:53 - 8:54(笑声)
-
8:54 - 8:56她瞪着我说:
-
8:57 - 9:01“我不想再听你多说一个字。”
-
9:01 - 9:03然后她转身走开了。
-
9:04 - 9:06其实,
她不是无礼, -
9:06 - 9:12她想表达的其实是:我不知道,
这不是我的错,走开,不然我瞪死你。 -
9:12 - 9:13(笑声)
-
9:14 - 9:18看,这样的系统
可能在某些方面 -
9:18 - 9:20比人类高管
怀有更少偏见, -
9:20 - 9:22而且可以创造经济价值。
-
9:23 - 9:24但它也可能
-
9:24 - 9:28用一种顽固且隐秘的方式,
-
9:28 - 9:31把高抑郁风险的人清出职场。
-
9:32 - 9:34这是我们想要的未来吗?
-
9:34 - 9:37把决策权给予我们
并不完全了解的机器, -
9:37 - 9:41在我们不知情的状况下
构建一种新的社会? -
9:41 - 9:43另一个问题是,
-
9:43 - 9:47这些系统通常使用
-
9:47 - 9:50我们真实的
行为数据来训练。 -
9:50 - 9:54它们可能只是在
反馈我们的偏见, -
9:54 - 9:58这些系统会
继承我们的偏见, -
9:58 - 9:59并把它们放大,
-
9:59 - 10:00然后反馈给我们。
-
10:00 - 10:02我们骗自己说,
-
10:02 - 10:05“我们只做客观、
中立的预测。” -
10:06 - 10:10研究者发现,在 Google 上,
-
10:10 - 10:15高收入工作的广告
更多的被展示给男性用户。 -
10:16 - 10:19搜索非裔美国人的名字,
-
10:19 - 10:24更可能出现
关于犯罪史的广告, -
10:24 - 10:26即使某些根本不存在。
-
10:27 - 10:30这些潜在的偏见
以及暗箱中的算法, -
10:30 - 10:34有些会被研究者揭露,
有些根本不会被发现, -
10:34 - 10:37它的后果可能是
改变一个人的人生。 -
10:38 - 10:41在威斯康星,一个被告
-
10:41 - 10:44因逃避警察被判刑六年。
-
10:45 - 10:46你可能不知道,
-
10:46 - 10:50但计算机算法正越来越多的
被应用在假释及量刑裁定上。 -
10:50 - 10:53他想要弄清楚,这个
得分是怎么算出来的? -
10:54 - 10:55这是个商业暗箱,
-
10:55 - 11:00这家公司拒绝在公开法庭上
讨论他们的算法。 -
11:00 - 11:05但是一家叫 ProPublica
的非盈利机构, -
11:05 - 11:08根据公开数据,
对这个算法进行了评估, -
11:08 - 11:10他们发现这个算法
的结论是有偏见的, -
11:10 - 11:14它的预测能力很差,
比碰运气强不了多少, -
11:14 - 11:18并且它错误的把黑人被告
未来犯罪的可能性 -
11:18 - 11:23标记为白人的两倍。
-
11:24 - 11:26看下这个案例:
-
11:26 - 11:30这个女人急着去佛罗里达州,
布劳沃德县的一所学校, -
11:30 - 11:33去接她的干妹妹。
-
11:33 - 11:35女人和她的朋友在街上狂奔,
-
11:35 - 11:39她们看到门廊上一辆没上锁的
儿童自行车,和一辆电瓶车, -
11:39 - 11:41于是就愚蠢的骑上了车。
-
11:41 - 11:44正在她们要骑走的时候,
另一个女人出来,喊道: -
11:44 - 11:46“嘿!那是我孩子的自行车!”
-
11:46 - 11:49她们扔掉车走开,
但还是被抓住了。 -
11:49 - 11:53她做错了,她很愚蠢,
但她也才刚满18岁, -
11:53 - 11:56她之前有不少
青少年轻罪的记录。 -
11:56 - 12:01与此同时,这个男人
在连锁超市偷窃被捕了, -
12:01 - 12:05偷了价值85美金的东西,
同样的轻微犯罪, -
12:05 - 12:09但他有两次持枪抢劫的案底。
-
12:10 - 12:15这个程序将这位女性判定为
高风险,而这位男性则不是。 -
12:15 - 12:19两年后,ProPublica
发现她没有再次犯罪, -
12:19 - 12:21但这个记录
使她很难找到工作。 -
12:21 - 12:23而这位男性,却再次犯罪,
-
12:23 - 12:27并因此被判八年监禁。
-
12:28 - 12:31显然,我们需要
审查这些暗箱, -
12:31 - 12:34确保它们不再有这样
不加限制的权限。 -
12:34 - 12:37(掌声)
-
12:38 - 12:42审查是很重要的,
但不能解决所有的问题。 -
12:42 - 12:45拿 Facebook 的强大的
新闻流算法来说, -
12:45 - 12:49就是通过你的朋友圈
和你浏览过的页面, -
12:49 - 12:53决定你的
“推荐内容”的算法。 -
12:53 - 12:55它会决定要不要
再推一张婴儿照片给你, -
12:55 - 12:56(笑声)
-
12:56 - 12:59要不要推一条熟人
的沮丧状态? -
12:59 - 13:01要不要推一条重要
但艰涩的新闻? -
13:01 - 13:03这个问题没有正解。
-
13:03 - 13:05Facebook 会根据
网站的参与度来优化: -
13:06 - 13:08喜欢、分享、评论。
-
13:08 - 13:11在2014年8月,
-
13:11 - 13:14密苏里州弗格森市爆发了游行,
-
13:14 - 13:17一个白人警察在不明状况下
-
13:17 - 13:20杀害了一位非裔少年。
-
13:20 - 13:22关于游行的新闻
-
13:22 - 13:25在我的未经算法过滤的
Twitter 上大量出现, -
13:25 - 13:27但 Facebook 上却没有。
-
13:27 - 13:29是因为我的 Facebook 好友
不关注这事吗? -
13:29 - 13:31我禁用了 Facebook 的算法,
-
13:31 - 13:34这是很麻烦的一键事,
因为 Facebook 希望 -
13:34 - 13:36你一直在它的算法
控制下使用, -
13:36 - 13:39希望我的朋友持续
地谈论这件事。 -
13:39 - 13:41只是算法没法
给我这些信息。 -
13:41 - 13:44我研究了这个现象,
发现这是个普遍的问题。 -
13:44 - 13:47弗格森事件
对算法是不适用的, -
13:47 - 13:49它不是值得“赞”的新闻,
-
13:49 - 13:51谁会在这样
的文章下点“赞”呢? -
13:52 - 13:54甚至这新闻都不好被评论。
-
13:54 - 13:55因为没有“赞”和评论,
-
13:55 - 13:58算法会减少
这些新闻的曝光, -
13:58 - 14:01所以我们无法看到。
-
14:01 - 14:02相反的,在同一周,
-
14:02 - 14:04Facebook 的算法热推了
-
14:05 - 14:07ALS 冰桶挑战的信息。
-
14:07 - 14:11这很有意义,倒冰水,
为慈善捐款,很好。 -
14:11 - 14:13这个事件对算法是很适用的,
-
14:13 - 14:16机器帮我们做了这个决定。
-
14:16 - 14:19非常重要但艰涩的新闻事件
-
14:19 - 14:21可能会被埋没掉,
-
14:21 - 14:24因为 Facebook 已经成为
主要的信息来源。 -
14:24 - 14:28最后,这些系统
也可能会在一些 -
14:28 - 14:31不同于人力系统
的那些事情上搞错。 -
14:31 - 14:35你们记得 Watson 吧,
那个在智力竞赛《危险边缘》中 -
14:35 - 14:37横扫人类选手的
IBM 机器智能系统, -
14:37 - 14:39它是个很厉害的选手。
-
14:39 - 14:42但是,在最后一轮比赛中,
Watson 被问道: -
14:43 - 14:46“它最大的机场是以
二战英雄命名的, -
14:46 - 14:48它第二大机场是以
二战战场命名的。” -
14:48 - 14:49(哼唱《危险边缘》插曲)
-
14:50 - 14:51芝加哥。
-
14:51 - 14:52两位人类选手答对了,
-
14:53 - 14:57但 Watson 答的是,
“多伦多”, -
14:57 - 15:00这是个猜美国城市的环节!
-
15:00 - 15:02这个厉害的系统也会犯
-
15:03 - 15:07人类都不会犯的,二年级
小孩都不会犯的错误。 -
15:07 - 15:10我们的机器智能系统,
-
15:10 - 15:13会在一些不符合人类
出错模式的问题上出错, -
15:13 - 15:16这些问题都是我们
无法预料和准备的。 -
15:16 - 15:20丢失一份完全有能力胜任
的工作时,人们会感到很糟, -
15:20 - 15:23但如果是因为机器
子程序的过度堆积, -
15:23 - 15:25就简直糟透了。
-
15:25 - 15:27(笑声)
-
15:27 - 15:29在2010年五月,
-
15:29 - 15:33华尔街出现一次
股票闪电崩盘, -
15:33 - 15:36原因是“卖出”算法
的反馈回路导致, -
15:36 - 15:41在36分钟内
损失了几十亿美金。 -
15:42 - 15:44我甚至不敢想,
致命的自动化武器 -
15:44 - 15:48发生“错误”会是什么后果。
-
15:50 - 15:54是的,人类总是会有偏见,
-
15:54 - 15:56法庭上、新闻机构、战争中的,
-
15:56 - 15:59决策者、看门人…
-
15:59 - 16:02他们都会犯错,
但这恰恰是我要说的。 -
16:02 - 16:06我们无法抛开
这些困难的问题, -
16:06 - 16:11我们不能把我们自身
该承担的责任推给机器。 -
16:11 - 16:15(掌声)
-
16:17 - 16:23人工智能不会给我们
一张“伦理免责卡”。 -
16:23 - 16:26数据科学家 Fred Benenson
称之为“数学粉饰”。 -
16:26 - 16:28我们需要是相反的东西。
-
16:28 - 16:33我们需要培养算法的
怀疑、复查和调研能力。 -
16:33 - 16:37我们需要确保
有人为算法负责, -
16:37 - 16:39为算法审查,
并切实的公开透明。 -
16:39 - 16:43我们必须认识到,
把数学和计算引入 -
16:43 - 16:46解决复杂的、高价值
的人类事务中, -
16:46 - 16:48并不能带来客观性,
-
16:48 - 16:52相反,人类事务
的复杂性会扰乱算法。 -
16:52 - 16:56是的,我们可以
并且需要使用计算机 -
16:56 - 16:58来帮助我们做更好的决策,
-
16:58 - 17:03但我们也需要在判断中
加入道德义务, -
17:03 - 17:06在这个框架下使用算法,
-
17:06 - 17:10而不是像人与人
之间相互推卸那样, -
17:10 - 17:13就把责任转移给机器。
-
17:14 - 17:16人工智能到来了,
-
17:16 - 17:19这意味着
我们要格外坚守 -
17:19 - 17:22人类的价值观和伦理。
-
17:22 - 17:23谢谢。
-
17:23 - 17:28(掌声)
- Title:
- 机器智能时代,坚守人类道德更重要
- Speaker:
- 图费・克奇
- Description:
-
人工智能的到来,使我们在很多主观决策上使用它们。但是人工智能的复杂度使人难以去了解,去控制它。在这个演讲中,科技社会学家图费・克奇解释了机器和人类在出错这方面的差异性,并提出这些问题是我们难以预料和准备的。“我们不能把我们该承担的责任转移给机器”,她说,“我们必须更加坚守人类的价值观和伦理。”
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 17:42
TED Translators admin approved Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Junyi Sha accepted Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Junyi Sha edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Yangyang Liu edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Yangyang Liu edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Yangyang Liu edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Yangyang Liu edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important | ||
Yangyang Liu edited Chinese, Simplified subtitles for Machine intelligence makes human morals more important |