[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.98,0:00:02.57,Default,,0000,0000,0000,,算法无处不在。
Dialogue: 0,0:00:04.11,0:00:07.24,Default,,0000,0000,0000,,他们把成功者和失败者区分开来。
Dialogue: 0,0:00:08.02,0:00:10.28,Default,,0000,0000,0000,,成功者得到工作
Dialogue: 0,0:00:10.28,0:00:12.03,Default,,0000,0000,0000,,或是一个很好的信用卡优惠计划。
Dialogue: 0,0:00:12.03,0:00:14.72,Default,,0000,0000,0000,,失败者甚至连面试机会都没有，
Dialogue: 0,0:00:15.59,0:00:17.37,Default,,0000,0000,0000,,或者要为保险付更多的钱。
Dialogue: 0,0:00:18.20,0:00:21.75,Default,,0000,0000,0000,,我们被不理解的秘密公式打分，
Dialogue: 0,0:00:22.68,0:00:25.89,Default,,0000,0000,0000,,却并没有上诉的渠道。
Dialogue: 0,0:00:27.24,0:00:28.55,Default,,0000,0000,0000,,这引出了一个问题：
Dialogue: 0,0:00:28.55,0:00:31.47,Default,,0000,0000,0000,,如果算法是错误的怎么办？
Dialogue: 0,0:00:33.10,0:00:34.55,Default,,0000,0000,0000,,构建一个算法需要两个要素：
Dialogue: 0,0:00:34.55,0:00:37.02,Default,,0000,0000,0000,,需要数据，如过去发生的事情，
Dialogue: 0,0:00:37.02,0:00:38.43,Default,,0000,0000,0000,,和成功的定义，
Dialogue: 0,0:00:38.43,0:00:41.20,Default,,0000,0000,0000,,你正在寻找的，通常希望得到的东西。
Dialogue: 0,0:00:41.20,0:00:46.28,Default,,0000,0000,0000,,你可以通过观察，理解来训练算法。
Dialogue: 0,0:00:46.28,0:00:49.73,Default,,0000,0000,0000,,这种算法能找出与成功相关的因素。
Dialogue: 0,0:00:49.73,0:00:52.20,Default,,0000,0000,0000,,什么情况意味着成功？
Dialogue: 0,0:00:52.88,0:00:54.67,Default,,0000,0000,0000,,其实，每个人都使用算法。
Dialogue: 0,0:00:54.67,0:00:57.26,Default,,0000,0000,0000,,他们只是没有把它们写成书面代码。
Dialogue: 0,0:00:57.26,0:00:58.23,Default,,0000,0000,0000,,举个例子。
Dialogue: 0,0:00:58.23,0:01:02.12,Default,,0000,0000,0000,,我每天都用一种算法来\N为我的家人做饭。
Dialogue: 0,0:01:02.12,0:01:03.60,Default,,0000,0000,0000,,我使用的数据
Dialogue: 0,0:01:04.39,0:01:05.94,Default,,0000,0000,0000,,就是我厨房里的原料，
Dialogue: 0,0:01:05.94,0:01:07.61,Default,,0000,0000,0000,,我拥有的时间，
Dialogue: 0,0:01:07.61,0:01:08.74,Default,,0000,0000,0000,,我的热情，
Dialogue: 0,0:01:08.74,0:01:10.61,Default,,0000,0000,0000,,然后我整理了这些数据。
Dialogue: 0,0:01:10.61,0:01:14.89,Default,,0000,0000,0000,,我不把那种小包拉面算作食物。
Dialogue: 0,0:01:14.89,0:01:16.77,Default,,0000,0000,0000,,（笑声）
Dialogue: 0,0:01:16.77,0:01:18.62,Default,,0000,0000,0000,,我对成功的定义是：
Dialogue: 0,0:01:18.62,0:01:21.31,Default,,0000,0000,0000,,如果我的孩子们肯吃蔬菜，\N这顿饭就是成功的。
Dialogue: 0,0:01:22.18,0:01:24.82,Default,,0000,0000,0000,,这和我最小的儿子\N负责做饭时的情况有所不同。
Dialogue: 0,0:01:24.82,0:01:27.85,Default,,0000,0000,0000,,他说，如果他能吃很多\NNutella巧克力榛子酱就是成功。
Dialogue: 0,0:01:29.18,0:01:31.42,Default,,0000,0000,0000,,但我可以选择成功。
Dialogue: 0,0:01:31.42,0:01:34.04,Default,,0000,0000,0000,,我负责。我的意见就很重要。
Dialogue: 0,0:01:34.04,0:01:36.83,Default,,0000,0000,0000,,这就是算法的第一个规则。
Dialogue: 0,0:01:36.83,0:01:40.04,Default,,0000,0000,0000,,算法是嵌入在代码中的观点。
Dialogue: 0,0:01:41.56,0:01:45.22,Default,,0000,0000,0000,,这和你认为大多数人对\N算法的看法是不同的。
Dialogue: 0,0:01:45.22,0:01:49.75,Default,,0000,0000,0000,,他们认为算法是客观、真实和科学的。
Dialogue: 0,0:01:50.39,0:01:52.09,Default,,0000,0000,0000,,那是一种营销技巧。
Dialogue: 0,0:01:53.27,0:01:55.41,Default,,0000,0000,0000,,这也是一种用算法来
Dialogue: 0,0:01:55.41,0:01:58.58,Default,,0000,0000,0000,,恐吓你的营销手段，
Dialogue: 0,0:01:58.58,0:02:02.25,Default,,0000,0000,0000,,为了让你信任和恐惧算法
Dialogue: 0,0:02:02.25,0:02:04.30,Default,,0000,0000,0000,,因为你信任并害怕数学。
Dialogue: 0,0:02:05.57,0:02:10.40,Default,,0000,0000,0000,,当我们盲目信任大数据时，\N很多人都可能犯错。
Dialogue: 0,0:02:11.68,0:02:15.07,Default,,0000,0000,0000,,这是凯丽·索尔斯。\N她是布鲁克林的一名高中校长。
Dialogue: 0,0:02:15.07,0:02:17.70,Default,,0000,0000,0000,,2011年，她告诉我，\N她学校的老师们正在被一个复杂
Dialogue: 0,0:02:17.70,0:02:20.43,Default,,0000,0000,0000,,并且隐秘的算法进行打分，
Dialogue: 0,0:02:20.43,0:02:21.93,Default,,0000,0000,0000,,这个算法被称为“增值模型"。
Dialogue: 0,0:02:22.50,0:02:24.85,Default,,0000,0000,0000,,我告诉她，“先弄清楚这个\N公式是什么，然后给我看看。
Dialogue: 0,0:02:24.85,0:02:26.86,Default,,0000,0000,0000,,我来给你解释一下。”
Dialogue: 0,0:02:26.86,0:02:28.81,Default,,0000,0000,0000,,她说，“我寻求过这个公式，
Dialogue: 0,0:02:28.81,0:02:31.87,Default,,0000,0000,0000,,但是教育部的负责人告诉我这是数学，
Dialogue: 0,0:02:31.87,0:02:33.69,Default,,0000,0000,0000,,给我我也看不懂。”
Dialogue: 0,0:02:35.27,0:02:36.62,Default,,0000,0000,0000,,更糟的还在后面。
Dialogue: 0,0:02:36.62,0:02:40.17,Default,,0000,0000,0000,,纽约邮报提出了“信息自由法”的要求，
Dialogue: 0,0:02:40.17,0:02:43.16,Default,,0000,0000,0000,,来得到所有老师的名字与他们的分数，
Dialogue: 0,0:02:43.16,0:02:45.95,Default,,0000,0000,0000,,并且他们以羞辱教师的方式\N发表了这些数据。
Dialogue: 0,0:02:47.08,0:02:50.97,Default,,0000,0000,0000,,当我试图用同样的方法来获取公式，\N源代码的时候，
Dialogue: 0,0:02:50.97,0:02:53.06,Default,,0000,0000,0000,,我被告知我没有权力这么做。
Dialogue: 0,0:02:53.06,0:02:54.20,Default,,0000,0000,0000,,我被拒绝了。
Dialogue: 0,0:02:54.20,0:02:55.42,Default,,0000,0000,0000,,后来我发现，
Dialogue: 0,0:02:55.42,0:02:58.48,Default,,0000,0000,0000,,纽约市压根儿没有人能接触到这个公式。
Dialogue: 0,0:02:58.48,0:02:59.79,Default,,0000,0000,0000,,没有人能看懂。
Dialogue: 0,0:03:01.93,0:03:05.18,Default,,0000,0000,0000,,然后，一个非常聪明的人参与了，\N加里·鲁宾斯坦。
Dialogue: 0,0:03:05.18,0:03:08.82,Default,,0000,0000,0000,,他从纽约邮报的数据中\N找到了665名教师，
Dialogue: 0,0:03:08.82,0:03:10.68,Default,,0000,0000,0000,,实际上他们有两个分数。
Dialogue: 0,0:03:10.68,0:03:12.60,Default,,0000,0000,0000,,如果他们同时教七年级与八年级的数学，
Dialogue: 0,0:03:12.60,0:03:15.05,Default,,0000,0000,0000,,就会得到两个评分。
Dialogue: 0,0:03:15.05,0:03:16.60,Default,,0000,0000,0000,,他决定把这些数据绘成图表。
Dialogue: 0,0:03:16.60,0:03:18.64,Default,,0000,0000,0000,,每个点代表一个教师。
Dialogue: 0,0:03:19.10,0:03:21.51,Default,,0000,0000,0000,,（笑声）
Dialogue: 0,0:03:21.51,0:03:23.05,Default,,0000,0000,0000,,那是什么？
Dialogue: 0,0:03:23.05,0:03:24.35,Default,,0000,0000,0000,,（笑声）
Dialogue: 0,0:03:24.35,0:03:27.67,Default,,0000,0000,0000,,它永远不应该被用于个人评估。
Dialogue: 0,0:03:27.67,0:03:29.78,Default,,0000,0000,0000,,它几乎是一个随机数生成器。
Dialogue: 0,0:03:29.78,0:03:32.66,Default,,0000,0000,0000,,（掌声）
Dialogue: 0,0:03:32.66,0:03:33.40,Default,,0000,0000,0000,,但它确实被使用了。
Dialogue: 0,0:03:33.40,0:03:34.67,Default,,0000,0000,0000,,这是莎拉·维索斯基。
Dialogue: 0,0:03:34.67,0:03:37.22,Default,,0000,0000,0000,,她连同另外205名教师被解雇了，
Dialogue: 0,0:03:37.22,0:03:40.02,Default,,0000,0000,0000,,都是来自华盛顿特区的学区，
Dialogue: 0,0:03:40.02,0:03:42.94,Default,,0000,0000,0000,,尽管她的校长还有学生的
Dialogue: 0,0:03:42.94,0:03:44.38,Default,,0000,0000,0000,,父母都非常推荐她。
Dialogue: 0,0:03:45.39,0:03:46.97,Default,,0000,0000,0000,,我知道你们很多人在想什么，
Dialogue: 0,0:03:46.97,0:03:49.57,Default,,0000,0000,0000,,尤其是这里的数据科学家，\N人工智能专家。
Dialogue: 0,0:03:49.57,0:03:54.18,Default,,0000,0000,0000,,你在想，“我可永远不会做出\N这样前后矛盾的算法。”
Dialogue: 0,0:03:54.85,0:03:56.42,Default,,0000,0000,0000,,但是算法可能会出错，
Dialogue: 0,0:03:56.42,0:04:01.16,Default,,0000,0000,0000,,即使有良好的意图，\N也会产生毁灭性的影响。
Dialogue: 0,0:04:02.53,0:04:04.92,Default,,0000,0000,0000,,每个人都能看到一架设计的
Dialogue: 0,0:04:04.92,0:04:06.95,Default,,0000,0000,0000,,很糟糕的飞机会坠毁在地，
Dialogue: 0,0:04:06.95,0:04:08.81,Default,,0000,0000,0000,,而一个设计糟糕的算法
Dialogue: 0,0:04:10.24,0:04:14.11,Default,,0000,0000,0000,,可以持续很长一段时间，\N并无声地造成破坏。
Dialogue: 0,0:04:15.75,0:04:17.35,Default,,0000,0000,0000,,这是罗杰·艾尔斯。
Dialogue: 0,0:04:17.35,0:04:19.34,Default,,0000,0000,0000,,（笑声）
Dialogue: 0,0:04:20.52,0:04:22.91,Default,,0000,0000,0000,,他在1996年创办了福克斯新闻。
Dialogue: 0,0:04:23.44,0:04:25.87,Default,,0000,0000,0000,,公司有超过20多名女性曾抱怨过性骚扰。
Dialogue: 0,0:04:25.87,0:04:29.28,Default,,0000,0000,0000,,她们说她们不被允许在\N福克斯新闻有所成就。
Dialogue: 0,0:04:29.28,0:04:31.81,Default,,0000,0000,0000,,他去年被赶下台，但我们最近看到
Dialogue: 0,0:04:31.81,0:04:34.51,Default,,0000,0000,0000,,问题依然存在。
Dialogue: 0,0:04:35.51,0:04:37.05,Default,,0000,0000,0000,,这引出了一个问题：
Dialogue: 0,0:04:37.05,0:04:39.96,Default,,0000,0000,0000,,福克斯新闻应该做些什么改变？
Dialogue: 0,0:04:41.24,0:04:44.28,Default,,0000,0000,0000,,如果他们用机器学习算法
Dialogue: 0,0:04:44.28,0:04:45.86,Default,,0000,0000,0000,,取代传统的招聘流程呢？
Dialogue: 0,0:04:45.86,0:04:47.47,Default,,0000,0000,0000,,听起来不错，对吧？
Dialogue: 0,0:04:47.47,0:04:48.83,Default,,0000,0000,0000,,想想看。
Dialogue: 0,0:04:48.83,0:04:51.04,Default,,0000,0000,0000,,数据，这些数据到底是什么？
Dialogue: 0,0:04:51.04,0:04:56.01,Default,,0000,0000,0000,,福克斯新闻在过去21年的申请函\N是一个合理的选择。
Dialogue: 0,0:04:56.01,0:04:57.52,Default,,0000,0000,0000,,很合理。
Dialogue: 0,0:04:57.52,0:04:59.50,Default,,0000,0000,0000,,那么成功的定义呢？
Dialogue: 0,0:04:59.82,0:05:01.26,Default,,0000,0000,0000,,合理的选择将是，
Dialogue: 0,0:05:01.26,0:05:02.95,Default,,0000,0000,0000,,谁在福克斯新闻取得了成功？
Dialogue: 0,0:05:02.95,0:05:06.56,Default,,0000,0000,0000,,我猜的是，比如在那里呆了四年，
Dialogue: 0,0:05:06.56,0:05:08.33,Default,,0000,0000,0000,,至少得到过一次晋升的人。
Dialogue: 0,0:05:08.82,0:05:10.42,Default,,0000,0000,0000,,听起来很合理。
Dialogue: 0,0:05:10.42,0:05:12.62,Default,,0000,0000,0000,,然后这个算法将会被训练。
Dialogue: 0,0:05:12.62,0:05:16.66,Default,,0000,0000,0000,,它会被训练去向人们\N学习是什么造就了成功，
Dialogue: 0,0:05:17.22,0:05:21.54,Default,,0000,0000,0000,,什么样的申请函在过去拥有
Dialogue: 0,0:05:21.54,0:05:22.86,Default,,0000,0000,0000,,这种成功的定义。
Dialogue: 0,0:05:24.20,0:05:25.81,Default,,0000,0000,0000,,现在想想如果我们把它
Dialogue: 0,0:05:25.81,0:05:28.55,Default,,0000,0000,0000,,应用到目前的申请者中会发生什么。
Dialogue: 0,0:05:29.04,0:05:30.75,Default,,0000,0000,0000,,它会过滤掉女性，
Dialogue: 0,0:05:31.66,0:05:35.59,Default,,0000,0000,0000,,因为她们看起来不像\N在过去取得成功的人。
Dialogue: 0,0:05:39.75,0:05:42.12,Default,,0000,0000,0000,,算法不会让事情变得公平，
Dialogue: 0,0:05:42.12,0:05:44.77,Default,,0000,0000,0000,,如果你只是轻率地，\N盲目地应用算法。
Dialogue: 0,0:05:44.77,0:05:46.25,Default,,0000,0000,0000,,它们不会让事情变得公平。
Dialogue: 0,0:05:46.25,0:05:48.70,Default,,0000,0000,0000,,它们只是重复我们过去的做法，
Dialogue: 0,0:05:48.70,0:05:49.67,Default,,0000,0000,0000,,我们的规律。
Dialogue: 0,0:05:49.67,0:05:51.84,Default,,0000,0000,0000,,它们使现状自动化。
Dialogue: 0,0:05:52.72,0:05:55.11,Default,,0000,0000,0000,,如果我们有一个\N完美的世界那就太好了，
Dialogue: 0,0:05:55.90,0:05:57.17,Default,,0000,0000,0000,,但是我们没有。
Dialogue: 0,0:05:57.17,0:06:01.34,Default,,0000,0000,0000,,我还要补充一点，\N大多数公司都没有令人尴尬的诉讼，
Dialogue: 0,0:06:02.45,0:06:05.07,Default,,0000,0000,0000,,但是这些公司的数据科学家
Dialogue: 0,0:06:05.07,0:06:07.23,Default,,0000,0000,0000,,被告知要跟随数据，
Dialogue: 0,0:06:07.23,0:06:09.41,Default,,0000,0000,0000,,关注它的准确性。
Dialogue: 0,0:06:10.27,0:06:11.42,Default,,0000,0000,0000,,想想这意味着什么。
Dialogue: 0,0:06:11.42,0:06:15.72,Default,,0000,0000,0000,,因为我们都有偏见，\N这意味着他们可以编纂性别歧视
Dialogue: 0,0:06:15.72,0:06:17.56,Default,,0000,0000,0000,,或者任何其他的偏见。
Dialogue: 0,0:06:19.49,0:06:20.92,Default,,0000,0000,0000,,思维实验，
Dialogue: 0,0:06:20.92,0:06:22.44,Default,,0000,0000,0000,,因为我喜欢它们：
Dialogue: 0,0:06:23.57,0:06:26.55,Default,,0000,0000,0000,,一个完全隔离的社会——
Dialogue: 0,0:06:28.25,0:06:31.58,Default,,0000,0000,0000,,种族隔离存在于所有的城镇，\N所有的社区，
Dialogue: 0,0:06:31.58,0:06:34.40,Default,,0000,0000,0000,,我们把警察只送到少数族裔的社区
Dialogue: 0,0:06:34.40,0:06:35.85,Default,,0000,0000,0000,,去寻找犯罪。
Dialogue: 0,0:06:36.45,0:06:38.67,Default,,0000,0000,0000,,逮捕数据将会是十分有偏见的。
Dialogue: 0,0:06:39.85,0:06:42.44,Default,,0000,0000,0000,,除此之外，我们还会寻找数据科学家
Dialogue: 0,0:06:42.44,0:06:46.61,Default,,0000,0000,0000,,并付钱给他们来预测\N下一起犯罪会发生在哪里？
Dialogue: 0,0:06:47.28,0:06:48.76,Default,,0000,0000,0000,,少数族裔的社区。
Dialogue: 0,0:06:49.28,0:06:52.41,Default,,0000,0000,0000,,或者预测下一个罪犯会是谁？
Dialogue: 0,0:06:52.89,0:06:54.28,Default,,0000,0000,0000,,少数族裔。
Dialogue: 0,0:06:55.95,0:06:59.28,Default,,0000,0000,0000,,这些数据科学家们\N会吹嘘他们的模型有多好，
Dialogue: 0,0:06:59.28,0:07:00.84,Default,,0000,0000,0000,,多精确，
Dialogue: 0,0:07:00.84,0:07:02.13,Default,,0000,0000,0000,,当然他们是对的。
Dialogue: 0,0:07:03.95,0:07:08.59,Default,,0000,0000,0000,,不过现实并没有那么极端，\N但我们确实在许多城市里
Dialogue: 0,0:07:08.59,0:07:09.88,Default,,0000,0000,0000,,有严重的种族隔离，
Dialogue: 0,0:07:09.88,0:07:11.82,Default,,0000,0000,0000,,并且我们有大量的证据表明
Dialogue: 0,0:07:11.82,0:07:14.51,Default,,0000,0000,0000,,警察和司法系统的数据存有偏见。
Dialogue: 0,0:07:15.63,0:07:18.47,Default,,0000,0000,0000,,而且我们确实预测过热点，
Dialogue: 0,0:07:18.47,0:07:20.00,Default,,0000,0000,0000,,那些犯罪会发生的地方。
Dialogue: 0,0:07:20.40,0:07:24.29,Default,,0000,0000,0000,,我们确实会预测个人犯罪，
Dialogue: 0,0:07:24.29,0:07:26.06,Default,,0000,0000,0000,,个人的犯罪行为。
Dialogue: 0,0:07:26.97,0:07:30.60,Default,,0000,0000,0000,,新闻机构“人民 (ProPublica)”最近调查了，
Dialogue: 0,0:07:30.60,0:07:32.44,Default,,0000,0000,0000,,其中一个称为
Dialogue: 0,0:07:32.44,0:07:33.42,Default,,0000,0000,0000,,“累犯风险”的算法。
Dialogue: 0,0:07:33.42,0:07:37.39,Default,,0000,0000,0000,,并在佛罗里达州的\N宣判期间被法官采用。
Dialogue: 0,0:07:38.41,0:07:41.100,Default,,0000,0000,0000,,伯纳德，左边的那个黑人，\N10分中得了满分。
Dialogue: 0,0:07:43.18,0:07:45.16,Default,,0000,0000,0000,,在右边的迪伦，\N10分中得了3分。
Dialogue: 0,0:07:45.16,0:07:47.71,Default,,0000,0000,0000,,10分代表高风险。\N3分代表低风险。
Dialogue: 0,0:07:48.60,0:07:50.90,Default,,0000,0000,0000,,他们都因为持有毒品\N而被带进了监狱。
Dialogue: 0,0:07:50.90,0:07:52.20,Default,,0000,0000,0000,,他们都有犯罪记录，
Dialogue: 0,0:07:52.20,0:07:54.98,Default,,0000,0000,0000,,但是迪伦有一个重罪
Dialogue: 0,0:07:54.98,0:07:56.19,Default,,0000,0000,0000,,但伯纳德没有。
Dialogue: 0,0:07:57.82,0:08:00.80,Default,,0000,0000,0000,,这很重要，因为你的分数越高，
Dialogue: 0,0:08:00.80,0:08:04.38,Default,,0000,0000,0000,,你被判长期服刑的可能性就越大。
Dialogue: 0,0:08:06.29,0:08:07.59,Default,,0000,0000,0000,,到底发生了什么？
Dialogue: 0,0:08:08.53,0:08:09.86,Default,,0000,0000,0000,,数据洗钱。
Dialogue: 0,0:08:10.93,0:08:15.37,Default,,0000,0000,0000,,这是一个技术人员\N把丑陋真相隐藏在
Dialogue: 0,0:08:15.37,0:08:17.08,Default,,0000,0000,0000,,算法黑盒子中的过程，
Dialogue: 0,0:08:17.08,0:08:18.52,Default,,0000,0000,0000,,并称之为客观；
Dialogue: 0,0:08:19.32,0:08:20.89,Default,,0000,0000,0000,,称之为精英模式。
Dialogue: 0,0:08:23.12,0:08:25.38,Default,,0000,0000,0000,,当它们是秘密的，\N重要的并具有破坏性的，
Dialogue: 0,0:08:25.38,0:08:28.03,Default,,0000,0000,0000,,我为这些算法创造了一个术语：
Dialogue: 0,0:08:28.04,0:08:30.09,Default,,0000,0000,0000,,“杀伤性数学武器”。
Dialogue: 0,0:08:30.09,0:08:31.66,Default,,0000,0000,0000,,（笑声）
Dialogue: 0,0:08:31.66,0:08:34.72,Default,,0000,0000,0000,,（鼓掌）
Dialogue: 0,0:08:34.72,0:08:37.08,Default,,0000,0000,0000,,它们无处不在，也不是一个错误。
Dialogue: 0,0:08:37.70,0:08:41.34,Default,,0000,0000,0000,,这些是私有公司为了私人目的
Dialogue: 0,0:08:41.34,0:08:42.83,Default,,0000,0000,0000,,建立的私有算法。
Dialogue: 0,0:08:43.21,0:08:46.46,Default,,0000,0000,0000,,甚至是我谈到的老师\N与公共警察使用的（算法），
Dialogue: 0,0:08:46.46,0:08:48.34,Default,,0000,0000,0000,,也都是由私人公司所打造的，
Dialogue: 0,0:08:48.34,0:08:50.65,Default,,0000,0000,0000,,然后卖给政府机构。
Dialogue: 0,0:08:50.65,0:08:52.23,Default,,0000,0000,0000,,他们称之为“秘密配方（来源）”——
Dialogue: 0,0:08:52.23,0:08:54.66,Default,,0000,0000,0000,,这就是他们不能告诉我们的原因。
Dialogue: 0,0:08:54.66,0:08:56.87,Default,,0000,0000,0000,,这也是私人权力。
Dialogue: 0,0:08:57.92,0:09:02.62,Default,,0000,0000,0000,,他们利用神秘莫测的权威来获利。
Dialogue: 0,0:09:05.11,0:09:07.86,Default,,0000,0000,0000,,你可能会想，既然所有这些都是私有的
Dialogue: 0,0:09:07.86,0:09:08.97,Default,,0000,0000,0000,,而且会有竞争，
Dialogue: 0,0:09:08.97,0:09:11.50,Default,,0000,0000,0000,,也许自由市场会解决这个问题。
Dialogue: 0,0:09:11.50,0:09:12.62,Default,,0000,0000,0000,,然而并不会。
Dialogue: 0,0:09:12.62,0:09:15.98,Default,,0000,0000,0000,,在不公平的情况下，\N有很多钱可以赚。
Dialogue: 0,0:09:17.13,0:09:20.50,Default,,0000,0000,0000,,而且，我们不是经济理性的代理人。
Dialogue: 0,0:09:21.03,0:09:22.32,Default,,0000,0000,0000,,我们都是有偏见的。
Dialogue: 0,0:09:22.96,0:09:26.31,Default,,0000,0000,0000,,我们都是固执的种族主义者，\N虽然我们希望我们不是，
Dialogue: 0,0:09:26.31,0:09:28.38,Default,,0000,0000,0000,,虽然我们甚至没有意识到。
Dialogue: 0,0:09:29.35,0:09:32.44,Default,,0000,0000,0000,,总的来说，我们知道这一点，
Dialogue: 0,0:09:32.44,0:09:35.49,Default,,0000,0000,0000,,因为社会学家会一直通过这些实验
Dialogue: 0,0:09:35.49,0:09:37.13,Default,,0000,0000,0000,,来证明这一点，
Dialogue: 0,0:09:37.13,0:09:39.96,Default,,0000,0000,0000,,他们发送了大量的工作申请，
Dialogue: 0,0:09:39.96,0:09:42.50,Default,,0000,0000,0000,,都是有同样资格的候选人，\N有些用白人人名，
Dialogue: 0,0:09:42.50,0:09:44.21,Default,,0000,0000,0000,,有些用黑人人名，
Dialogue: 0,0:09:44.21,0:09:46.93,Default,,0000,0000,0000,,然而结果总是令人失望的。
Dialogue: 0,0:09:47.51,0:09:49.15,Default,,0000,0000,0000,,所以我们是有偏见的，
Dialogue: 0,0:09:49.15,0:09:52.76,Default,,0000,0000,0000,,我们还通过选择收集到的数据
Dialogue: 0,0:09:52.76,0:09:54.60,Default,,0000,0000,0000,,来把偏见注入到算法中，
Dialogue: 0,0:09:54.60,0:09:57.27,Default,,0000,0000,0000,,就像我不选择去想拉面一样——
Dialogue: 0,0:09:57.27,0:09:58.99,Default,,0000,0000,0000,,我自认为这无关紧要。
Dialogue: 0,0:09:58.99,0:10:04.74,Default,,0000,0000,0000,,但是，通过信任那些\N在过去的实践中获得的数据
Dialogue: 0,0:10:04.74,0:10:06.76,Default,,0000,0000,0000,,以及通过选择成功的定义，
Dialogue: 0,0:10:06.76,0:10:10.73,Default,,0000,0000,0000,,我们怎么能指望算法\N会是毫无瑕疵的呢？
Dialogue: 0,0:10:10.73,0:10:13.12,Default,,0000,0000,0000,,我们不能。我们必须检查。
Dialogue: 0,0:10:14.16,0:10:15.79,Default,,0000,0000,0000,,我们必须检查它们是否公平。
Dialogue: 0,0:10:15.79,0:10:18.59,Default,,0000,0000,0000,,好消息是，我们可以做到这一点。
Dialogue: 0,0:10:18.59,0:10:21.96,Default,,0000,0000,0000,,算法是可以被审问的，\N
Dialogue: 0,0:10:21.96,0:10:24.07,Default,,0000,0000,0000,,而且每次都能告诉我们真相。
Dialogue: 0,0:10:24.07,0:10:26.58,Default,,0000,0000,0000,,然后我们可以修复它们。\N我们可以让他们变得更好。
Dialogue: 0,0:10:26.58,0:10:28.98,Default,,0000,0000,0000,,我把它叫做算法审计，
Dialogue: 0,0:10:28.98,0:10:30.69,Default,,0000,0000,0000,,接下来我会为你们解释。
Dialogue: 0,0:10:30.69,0:10:32.88,Default,,0000,0000,0000,,首先，数据的完整性检查。
Dialogue: 0,0:10:34.13,0:10:36.79,Default,,0000,0000,0000,,对于刚才提到过的累犯风险算法，
Dialogue: 0,0:10:37.58,0:10:41.18,Default,,0000,0000,0000,,数据的完整性检查将意味着\N我们不得不接受这个事实，
Dialogue: 0,0:10:41.18,0:10:44.68,Default,,0000,0000,0000,,在美国，白人和黑人\N吸毒的比例是一样的，
Dialogue: 0,0:10:44.68,0:10:47.24,Default,,0000,0000,0000,,但是黑人更有可能被逮捕——
Dialogue: 0,0:10:47.24,0:10:50.42,Default,,0000,0000,0000,,取决于区域，可能性是白人的4到5倍。
Dialogue: 0,0:10:51.32,0:10:54.17,Default,,0000,0000,0000,,这种偏见在其他犯罪类别中\N是什么样子的，
Dialogue: 0,0:10:54.17,0:10:55.62,Default,,0000,0000,0000,,我们又该如何解释呢？
Dialogue: 0,0:10:56.16,0:10:59.20,Default,,0000,0000,0000,,其次，我们应该考虑成功的定义，
Dialogue: 0,0:10:59.20,0:11:00.61,Default,,0000,0000,0000,,审计它。
Dialogue: 0,0:11:00.61,0:11:03.19,Default,,0000,0000,0000,,还记得我们谈论的雇佣算法吗？
Dialogue: 0,0:11:03.19,0:11:06.60,Default,,0000,0000,0000,,那个呆了四年的人，\N然后被提升了一次？
Dialogue: 0,0:11:06.60,0:11:07.88,Default,,0000,0000,0000,,这的确是一个成功的员工，
Dialogue: 0,0:11:07.88,0:11:11.47,Default,,0000,0000,0000,,但这也是一名受到公司文化支持的员工。
Dialogue: 0,0:11:12.09,0:11:13.76,Default,,0000,0000,0000,,也就是说，\N这可能会有很大的偏差。
Dialogue: 0,0:11:13.76,0:11:15.93,Default,,0000,0000,0000,,我们需要把这两件事分开。
Dialogue: 0,0:11:15.93,0:11:18.55,Default,,0000,0000,0000,,我们应该去看一下乐团盲选试奏，
Dialogue: 0,0:11:18.55,0:11:19.49,Default,,0000,0000,0000,,举个例子。
Dialogue: 0,0:11:19.49,0:11:22.55,Default,,0000,0000,0000,,这就是人们在幕后选拔乐手的地方。
Dialogue: 0,0:11:22.95,0:11:24.38,Default,,0000,0000,0000,,我想要考虑的是
Dialogue: 0,0:11:24.38,0:11:28.34,Default,,0000,0000,0000,,倾听的人已经\N决定了什么是重要的，
Dialogue: 0,0:11:28.34,0:11:30.14,Default,,0000,0000,0000,,同时他们已经决定了\N什么是不重要的，
Dialogue: 0,0:11:30.14,0:11:32.45,Default,,0000,0000,0000,,他们也不会因此而分心。
Dialogue: 0,0:11:32.96,0:11:35.73,Default,,0000,0000,0000,,当乐团盲选开始时，
Dialogue: 0,0:11:35.73,0:11:39.18,Default,,0000,0000,0000,,在管弦乐队中，\N女性的数量上升了5倍。
Dialogue: 0,0:11:40.25,0:11:42.27,Default,,0000,0000,0000,,其次，我们必须考虑准确性。
Dialogue: 0,0:11:43.23,0:11:46.97,Default,,0000,0000,0000,,这就是针对教师的增值模型\N立刻失效的地方。
Dialogue: 0,0:11:47.58,0:11:49.74,Default,,0000,0000,0000,,当然，没有一个算法是完美的，
Dialogue: 0,0:11:50.62,0:11:54.22,Default,,0000,0000,0000,,所以我们要考虑每一个算法的误差。
Dialogue: 0,0:11:54.84,0:11:59.20,Default,,0000,0000,0000,,出现错误的频率有多高，\N让这个模型失败的对象是谁？
Dialogue: 0,0:11:59.85,0:12:01.57,Default,,0000,0000,0000,,失败的代价是什么？
Dialogue: 0,0:12:02.43,0:12:04.64,Default,,0000,0000,0000,,最后，我们必须考虑
Dialogue: 0,0:12:05.97,0:12:08.16,Default,,0000,0000,0000,,这个算法的长期效果，
Dialogue: 0,0:12:08.87,0:12:11.07,Default,,0000,0000,0000,,与正在产生的反馈循环。
Dialogue: 0,0:12:11.59,0:12:12.83,Default,,0000,0000,0000,,这听起来很抽象，
Dialogue: 0,0:12:12.83,0:12:15.51,Default,,0000,0000,0000,,但是想象一下\N如果脸书的工程师们之前考虑过，
Dialogue: 0,0:12:16.27,0:12:21.12,Default,,0000,0000,0000,,并决定只向我们展示\N我们朋友所发布的东西。
Dialogue: 0,0:12:21.76,0:12:24.100,Default,,0000,0000,0000,,我还有两条建议，\N一条是给数据科学家的。
Dialogue: 0,0:12:25.45,0:12:28.86,Default,,0000,0000,0000,,数据科学家们：我们不应该\N成为真相的仲裁者。
Dialogue: 0,0:12:29.52,0:12:33.31,Default,,0000,0000,0000,,我们应该成为大社会中\N所发生的道德讨论的
Dialogue: 0,0:12:33.31,0:12:34.62,Default,,0000,0000,0000,,翻译者。
Dialogue: 0,0:12:35.58,0:12:37.75,Default,,0000,0000,0000,,（掌声）
Dialogue: 0,0:12:37.75,0:12:39.29,Default,,0000,0000,0000,,然后剩下的人，
Dialogue: 0,0:12:40.01,0:12:41.19,Default,,0000,0000,0000,,非数据科学家们：
Dialogue: 0,0:12:41.19,0:12:42.93,Default,,0000,0000,0000,,这不是一个数学测试。
Dialogue: 0,0:12:43.63,0:12:44.98,Default,,0000,0000,0000,,这是一场政治斗争。
Dialogue: 0,0:12:46.59,0:12:50.49,Default,,0000,0000,0000,,我们应该要求我们的\N算法霸主承担问责。
Dialogue: 0,0:12:52.12,0:12:53.65,Default,,0000,0000,0000,,（掌声）
Dialogue: 0,0:12:53.65,0:12:57.89,Default,,0000,0000,0000,,盲目信仰大数据的时代必须结束。
Dialogue: 0,0:12:57.89,0:12:59.08,Default,,0000,0000,0000,,非常感谢。
Dialogue: 0,0:12:59.08,0:13:04.38,Default,,0000,0000,0000,,（掌声）