1
00:00:00,739 --> 00:00:04,861
خب، من اولین شغلم را به عنوان یک 
برنامه نویس کامپیوتر شروع کردم

2
00:00:04,885 --> 00:00:06,841
در اولین سال کالجم

3
00:00:06,865 --> 00:00:08,372
در واقع، به عنوان یک نوجوان

4
00:00:08,889 --> 00:00:10,621
درست پس از شروع به کار در

5
00:00:10,645 --> 00:00:12,255
یک شزکت به عنوان برنامهنویس کامپیوتر ،

6
00:00:12,799 --> 00:00:16,434
یک مدیر که در همان جا کار میکرد
نزد من آمد،

7
00:00:16,458 --> 00:00:17,726
و با صدای آرام به من گفت:

8
00:00:18,229 --> 00:00:21,090
"او می تونه بگه اگه من دروغ بگم؟"

9
00:00:21,806 --> 00:00:23,883
در اتاق هیچ کسی وجود نداشت.

10
00:00:25,032 --> 00:00:29,421
"کسی میتونه بگه اگه تو دروغ میگی؟
و چرا ما در حال پچ پچ کردن هستیم؟"

11
00:00:30,266 --> 00:00:33,373
مدیر کامپیوتر در اتاق را نشان داد.

12
00:00:33,397 --> 00:00:36,493
"او میتونه بگه اگه من دروغ بگم؟"

13
00:00:37,613 --> 00:00:41,975
خب، آن مدیر رابطه نامشروع با منشیاش داشت.

14
00:00:41,999 --> 00:00:43,111
(خنده حاضرین)

15
00:00:43,135 --> 00:00:44,901
و من هم هنوز یک نوجوان بودم

16
00:00:45,447 --> 00:00:47,466
سپس من با صدای بلندی گفتم:

17
00:00:47,490 --> 00:00:51,114
"بله، کامپیوتر می تونه بگه 
اگه تو دروغ بگی"

18
00:00:51,138 --> 00:00:52,944
(خنده حاضرین)

19
00:00:52,968 --> 00:00:55,891
خب، من خندیدم، ولی در واقع،
خنده به خودم

20
00:00:55,915 --> 00:00:59,183
امروزه، سامانههای محاسباتی وجود دارد

21
00:00:59,207 --> 00:01:02,755
که حالت احساسی و حتی دروغ رو 
از طریق تحلیل صورت انسان

22
00:01:02,779 --> 00:01:04,823
می تونه بفهمه

23
00:01:05,248 --> 00:01:09,401
تبلیغ کنندهها و حتی دولتها خیلی
جالبند.

24
00:01:10,319 --> 00:01:12,181
من یه برنامه نویس کامپیوتر
شده بودم

25
00:01:12,205 --> 00:01:15,318
زیرا من یکی از آن بچههای دیوانه 
ریاضی و علم بودم

26
00:01:15,942 --> 00:01:19,050
اما در مسیر زندگی من در مورد
سلاحهای هستهای چیزهایی یادگرفتم،

27
00:01:19,074 --> 00:01:22,026
و واقعا در مورد اخلاق علمی نگران شدم.

28
00:01:22,050 --> 00:01:23,254
من وحشت زده بودم

29
00:01:23,278 --> 00:01:25,919
به هر حال، به دلیل موقعیت خانوادهام

30
00:01:25,943 --> 00:01:29,241
نیاز داشتم تا
در اسرع وقت- کارم را شروع کنم

31
00:01:29,265 --> 00:01:32,564
خُب با خودم فکر کردم
بگذار تا یک رشته تکنیکی را بردارم

32
00:01:32,588 --> 00:01:34,384
که شغل راحتی باشه

33
00:01:34,408 --> 00:01:38,426
و من با هیچ پرسش سخت اخلاقی 
مواجه نشوم؟

34
00:01:39,022 --> 00:01:40,551
پس کامپیوترها را انتخاب کردم.

35
00:01:40,575 --> 00:01:41,679
(خنده حاضرین)

36
00:01:41,703 --> 00:01:45,113
خب، ها، ها، ها!
همه خندهها برای من هستند.

37
00:01:45,137 --> 00:01:47,891
امروزه، دانشمندان کامپیوتر
در حال ساخت یک سیستم عامل هستند

38
00:01:47,915 --> 00:01:52,124
که آنچه یک میلیارد آدم
هر روز میبینند روکنترل میکنه

39
00:01:53,052 --> 00:01:56,874
آنها خودروهایی را ساختند که میتوانند
تصمیم بگیرند که چه کسی زیر بگیرند.

40
00:01:57,707 --> 00:02:00,920
آن ها حتی در حال ساخت ماشینهایی هستند،
تسلیحاتی

41
00:02:00,944 --> 00:02:03,229
که ممکنه آدم ها رو در جنگ بکشه.

42
00:02:03,253 --> 00:02:06,024
همه اینها سقوط اخلاق است.

43
00:02:07,183 --> 00:02:09,241
هوشمندی ماشین اینجاست.

44
00:02:09,823 --> 00:02:13,297
ما در حال استفاده از محاسباتی
هستیم که همه تصمیمات ما را مرتب میکنه،

45
00:02:13,321 --> 00:02:15,207
همچنین نوعهای مختلف تصمیمها را مرتب میکند.

46
00:02:15,231 --> 00:02:20,403
ما سوالاتی را می پرسیم هستیم که 
هیچ جواب معین درستی ندارند،

47
00:02:20,427 --> 00:02:21,629
آنها ذهنی هستند

48
00:02:21,653 --> 00:02:23,978
و بدون جواب معین 
و پر محتوا هستند.

49
00:02:24,002 --> 00:02:25,760
ما پرسشهایی شبیه اینها را میپرسیم:

50
00:02:25,784 --> 00:02:27,434
«شرکت کی باید استخدام کند؟»

51
00:02:28,096 --> 00:02:30,855
«بکدام بروزرسانی از کدام دوست 
باید نشان داده شود؟»

52
00:02:30,879 --> 00:02:33,145
«کدام متهم بیشتر شبیه خلافکارهاست؟»

53
00:02:33,514 --> 00:02:36,568
«کدام بخش خبرها یا فیلم باید به مردم 
توصیه بشه؟»

54
00:02:36,592 --> 00:02:39,964
ببیند، بله، ما مدتهاست است که در حال 
استفاده از کامپیوترها هستیم

55
00:02:39,988 --> 00:02:41,505
اما این بار فرق داره.

56
00:02:41,529 --> 00:02:43,596
این یک چرخش تاریخی است،

57
00:02:43,620 --> 00:02:48,957
زیرا ما نمیتوانیم محاسبات را 
برای تصمیمهای ذهنی نگه داریم

58
00:02:48,981 --> 00:02:54,401
مانند روش محاسباتی
برای پرواز هواپیما، ساخت پلها

59
00:02:54,425 --> 00:02:55,684
و به ماه رفتن.

60
00:02:56,449 --> 00:02:59,708
آیا هواپیماها امن هستند؟
آیا این پل فرو میریزد؟

61
00:02:59,732 --> 00:03:04,230
این چنین است، ما منصفانه و براساس معیارهای
روشن توافق کردیم

62
00:03:04,254 --> 00:03:06,493
و ما قوانین طبیعت را برای راهنمایی داریم

63
00:03:06,517 --> 00:03:09,911
ما چیزی شبیه مجری ها و معیارها 
برای تصمیم گیری

64
00:03:09,935 --> 00:03:13,898
درکارهای انسان آشفته نداریم.

65
00:03:13,922 --> 00:03:18,159
برای انجام کارهای پیچیدهتر،
تا نرم افزارهای ما بیشتر قدرتمند میشوند،

66
00:03:18,183 --> 00:03:21,956
اما این می تواند کمتر شفاف 
و بیشتر پیچیده باشد.

67
00:03:22,542 --> 00:03:24,582
اخیرا، در دهه گذشته

68
00:03:24,606 --> 00:03:27,335
الگوریتم های پیچیده
با گامهای بلندی ساخته شدهاند.

69
00:03:27,359 --> 00:03:29,349
آنها میتوانند صورت انسان را
بازشناسایی کنند.

70
00:03:29,985 --> 00:03:32,040
آنها میتوانند دست خط را تشخیص بدهند.

71
00:03:32,436 --> 00:03:34,502
آنها میتوانند تقلب در کارت اعتباری را
کشف کنند

72
00:03:34,526 --> 00:03:35,715
و اسپمها را مسدود کنند

73
00:03:35,739 --> 00:03:37,776
و آنها میتوانند زبانها را ترجمه کنند،

74
00:03:37,800 --> 00:03:40,374
می توانند تومورها را در تصاویر پزشکی
کشف کنند.

75
00:03:40,398 --> 00:03:42,603
آنها میتوانند در بازیهای
شطرنج و گو از آدمها ببرند.

76
00:03:43,264 --> 00:03:47,768
بیشتر این پیشرفتها از روشی به نام 
"یادگیری ماشین" آمدهاند.

77
00:03:48,175 --> 00:03:51,362
یادگیری ماشین با برنامه نویسی سنتی 
متفاوت هست،

78
00:03:51,386 --> 00:03:54,971
که به کامپیوتر جزئیات دقیق
دستورات پر زحمت را میدهید.

79
00:03:55,378 --> 00:03:59,560
این بیشتر شبیه اینه که شما یک سیستم
گرفتهاید و اطلاعات زیادی به آن میخورانید

80
00:03:59,584 --> 00:04:01,240
شامل اطلاعات بدون ساختار،

81
00:04:01,264 --> 00:04:03,542
مانند اطلاعاتی که ما در زندگی دیجیتال خود
تولید میکنیم.

82
00:04:03,566 --> 00:04:06,296
و سیستمی که بوسیله گردش در بین اطلاعات
یاد میگیرد.

83
00:04:06,669 --> 00:04:08,195
و همچنین بحرانی

84
00:04:08,219 --> 00:04:12,599
آن سیستمهایی که زیر یک پاسخ سیگنال
منطقی عمل نمی کنند

85
00:04:12,623 --> 00:04:15,582
آن ها یک پاسخ ساده تولید نمی کنند
این ها بیشتر "احتمال" هستند

86
00:04:15,606 --> 00:04:19,089
"این یک احتمالی است که بیشتر شبیه
آنچه شما دنبال آن هستید "

87
00:04:20,023 --> 00:04:23,093
حالا، بالاتر این است که: این شیوه
واقعا قدرتمند است.

88
00:04:23,117 --> 00:04:25,193
رییس سیستمهای هوش مصنوعی (AI) گوگل
این را نام گذاری کرد:

89
00:04:25,217 --> 00:04:27,414
"اثر غیر منطقی اطلاعات"

90
00:04:27,791 --> 00:04:29,144
قسمت بدترش این است که:

91
00:04:29,738 --> 00:04:32,809
ما واقعا نمیفهمیم 
سیستم چه یاد میگیرد.

92
00:04:32,833 --> 00:04:34,420
در حقیقت این قدرت آن است.

93
00:04:34,946 --> 00:04:38,744
این کمتر شبیهِ دادنِ دستورالعمل
به کامپیوتر است،

94
00:04:39,200 --> 00:04:43,264
این بیشتر شبیه یاد دادن به یک
توله ماشین زندهاست

95
00:04:43,288 --> 00:04:45,659
ما واقعا نمیفهمیم و کنترل نمیکنیم.

96
00:04:46,362 --> 00:04:47,913
خب این مشکل ماست.

97
00:04:48,427 --> 00:04:52,689
این یک مشکل است وقتی که سیستم هوش مصنوعی
چیزها را اشتباه یاد میگیرد.

98
00:04:52,713 --> 00:04:56,253
این همچنین یک مشکل است وقتی که 
این چیزها را درست یاد میگیرد،

99
00:04:56,277 --> 00:04:59,905
زیرا ما حتی نمی دانیم کدام به کدام است
وقتی که این یک مشکل درونی است.

100
00:04:59,929 --> 00:05:02,268
ما نمیدانیم در حال فکر کردن 
به چه چیزی است

101
00:05:03,493 --> 00:05:07,176
یک الگوریتم استخدام را فرض کنید--

102
00:05:08,123 --> 00:05:12,434
یک سیستمی که مردم را با استفاده از 
سیستم یادگیری ماشین استخدام می کند.

103
00:05:13,052 --> 00:05:16,631
مانند یک سیستمی که بر اساس اطلاعات
کارمندان قبلی آموزش دیده شده است

104
00:05:16,655 --> 00:05:19,246
و دستور دارد که پیدا کند و استخدام کند

105
00:05:19,270 --> 00:05:22,308
مردمی که بهروری بالایی در شرکت
دارند.

106
00:05:22,814 --> 00:05:23,967
به نظر خوب میاد.

107
00:05:23,991 --> 00:05:25,990
من یک بار در کنفرانسی حضور داشتم

108
00:05:26,014 --> 00:05:29,139
که مدیران منابع انسانی و مدیران اجرایی
دور هم جمع شده بودند،

109
00:05:29,163 --> 00:05:30,369
افراد رده بالای شرکتها

110
00:05:30,393 --> 00:05:31,952
که از این سیستمهای برای استخدام
استفاده می کردند.

111
00:05:31,976 --> 00:05:33,622
آنها خیلی هیجان زده بودند

112
00:05:33,646 --> 00:05:38,299
آنها فکر می کردند که این استخدام را بیشتر هدفمند 
و کمتر مغروضانه خواهند بود،

113
00:05:38,323 --> 00:05:41,323
و به خانم ها و اقلیت 
یک شانس بهتری میدهد

114
00:05:41,347 --> 00:05:43,535
بر خلاف غرضورزی مدیران منابع انسانی

115
00:05:43,559 --> 00:05:46,402
ببینید--
استخدام افراد غرض ورزانه است.

116
00:05:47,099 --> 00:05:48,284
من میدانم.

117
00:05:48,308 --> 00:05:51,313
منظورم اینه، در اولین شغل من به عنوان
برنامه نویس

118
00:05:51,337 --> 00:05:55,205
مدیر بخش من گاهی اوقات

119
00:05:55,229 --> 00:05:58,982
در اول صبح یا آخر عصر پیش من میآمد

120
00:05:59,006 --> 00:06:02,068
و میگفت: "زینب بیا بریم ناهار"

121
00:06:02,724 --> 00:06:04,891
من به خاطر زمانهای عجیب گیج میشدم

122
00:06:04,915 --> 00:06:07,044
الان ساعت ۴ است، ناهار؟

123
00:06:07,068 --> 00:06:10,162
من شکست میخوردم
من همیشه برای ناهار مجانی میرفتم

124
00:06:10,618 --> 00:06:12,685
بعدها فهمیدم که چه اتفاقی میافتاد

125
00:06:12,709 --> 00:06:17,255
مدیران بالایی من در انتخابشان برای استخدام 


126
00:06:17,279 --> 00:06:20,392
یک دختر نوجوان که کفش کتانی
و جین در محل کار میپوشید

127
00:06:20,416 --> 00:06:24,346
برای انجام یک کار جدی
اشتباه نکرده بودند.

128
00:06:25,174 --> 00:06:27,376
من خوب کار میکردم،
اما به نظرمیآمد که من مناسب نیستم

129
00:06:27,400 --> 00:06:29,099
سن و جنسیتم نیز اشتباه بود.

130
00:06:29,123 --> 00:06:32,469
خُب نادیده گرفتن شدن جنسیت و نژاد من

131
00:06:32,493 --> 00:06:34,358
قطعا چیزی خوبی برای من بود.

132
00:06:35,031 --> 00:06:38,372
اما با این سیستم ها
بغرنجتر و پیچیدهتر شده و دلیلیش اینجاست:

133
00:06:38,968 --> 00:06:44,759
اخیرا، سیستمهای محاسبهگر میتوانند 
به همه چیزهای شما

134
00:06:44,783 --> 00:06:46,655
از طریق خرده اطلاعات
دیجیتالی شما پیببرند،

135
00:06:46,679 --> 00:06:49,012
حتی اگر شما آن چیزها را فاش نکرده باشید.

136
00:06:49,506 --> 00:06:52,433
آنها به گرایشهای جنسیتان ،

137
00:06:52,994 --> 00:06:54,300
ویژگیهای شخصیتان،

138
00:06:54,859 --> 00:06:56,232
دانستههای سیاسیتان پیببرند.

139
00:06:56,830 --> 00:07:00,515
آنها قدرت پیش بینی با صحت بالایی را دارند.

140
00:07:01,362 --> 00:07:03,940
به یاد داشته باشید، برای چیزهایی که شما
حتی آنها را فاش نکردهاید

141
00:07:03,964 --> 00:07:05,555
نتیجه گیری و استنتاج است.

142
00:07:05,579 --> 00:07:08,840
من یک دوستی دارم که سیستم های 
محاسبه گری را توسعه میدهد

143
00:07:08,864 --> 00:07:12,505
تا شانس افسردگی بالینی یا بعد از وضع حمل
را پیش بینی کند

144
00:07:12,529 --> 00:07:13,945
با استفاده از اطلاعات رسانه های اجتماعی

145
00:07:14,676 --> 00:07:16,103
نتیجه ها هیجان انگیز هستند.

146
00:07:16,492 --> 00:07:19,849
سیستمش احتمال افسردگی را
میتوان

147
00:07:19,873 --> 00:07:23,776
ماههای قبل از شروع علائم 
بیماری را پیشبینی کند--

148
00:07:23,800 --> 00:07:25,173
ماههای قبل.

149
00:07:25,197 --> 00:07:27,443
هیچ علامتی از بیماری نیست، 
ولی پیش بینی میشود.

150
00:07:27,467 --> 00:07:32,279
او امیدوار است بزودی این را برای مداخلات
(روانشناسی) استفاده کند . عالیه.

151
00:07:32,911 --> 00:07:34,951
اما حالا این در فضای استخدام قرار دهید.

152
00:07:36,027 --> 00:07:39,073
بنابراین در این کنفرانس منبع مدیران انسانی

153
00:07:39,097 --> 00:07:43,806
من به یک مدیر سطح بالا 
در یک شرکت بزرگ نزدیک شدم

154
00:07:43,830 --> 00:07:48,408
و به او گفتم: "ببین، چه میشد اگر من برای 
تو فردی ناشناخته میشدم؟"

155
00:07:48,432 --> 00:07:54,981
آیا سیستم تو در حال حذف مردم 
با احتمال بالای افسردگی در آینده، است ؟

156
00:07:55,761 --> 00:07:59,137
آن ها الان افسرده نیستند، فقط شاید در 
آینده به احتمال زیاد دچار افسردگی شوند.

157
00:07:59,923 --> 00:08:03,329
یا اگر زنانی که احتمال دارد در یکی 
دو سال آینده باردار شوند

158
00:08:03,353 --> 00:08:05,939
ولی الان حامله نیستد
را کنار گذارده شوند؟

159
00:08:06,844 --> 00:08:12,480
اگر این افراد پرخاشکر را استخدام شوند
زیرا آن فرهنگ محیط کاریت است

160
00:08:13,173 --> 00:08:15,864
تو با استفاده از نگاه کردن به
تقسیم بندی جنسبت نمی توانی بگویی

161
00:08:15,888 --> 00:08:17,390
آن ها ممکنه متعادل باشند.

162
00:08:17,414 --> 00:08:20,971
و چون این یادگیری ماشین است و 
برنامه نویسی سنتی نیست

163
00:08:20,995 --> 00:08:25,902
هیچ متغیری وجود ندارد که 
"بیشترین خطر افسردگی " نام گذاری شود

164
00:08:25,926 --> 00:08:27,759
"بیشترین خطر حاملگی"

165
00:08:27,783 --> 00:08:29,517
"مقیاس پرخاشگری مردان"

166
00:08:29,995 --> 00:08:33,674
نه تنها نمی دانست 
چگونه سیستم شما، انتخاب می کنه

167
00:08:33,698 --> 00:08:36,021
شما حتی نمی دانی که
در کجا جستجو میکند

168
00:08:36,045 --> 00:08:37,291
این یک جعبه سیاه است.

169
00:08:37,315 --> 00:08:40,122
این قدرت پیش گویی دارد
اما شما این را نمیفهمی

170
00:08:40,486 --> 00:08:42,855
من پرسسیدم"حفاظت چیست؟"

171
00:08:42,879 --> 00:08:46,552
« آیا باید مطمئن شوی که جعبه سیاه تان
کار مشکوکی انجام نمیدهد؟»

172
00:08:48,863 --> 00:08:52,741
او به من به نگاه کرد مثل اینکه من
پا روی دُم ده تا توله گذاشتم!


173
00:08:52,765 --> 00:08:54,013
(خنده حاضرین)

174
00:08:54,037 --> 00:08:56,078
او به من خیره شد و گفت:

175
00:08:56,556 --> 00:09:00,889
«نمیخوام کلمه دیگری در این باره بشنوم»

176
00:09:01,458 --> 00:09:03,492
و او برگشت و قدم زنان دور شد.

177
00:09:04,064 --> 00:09:05,550
به خاطر داشته باشید او بیادب نبود.

178
00:09:05,574 --> 00:09:11,882
کاملا روشن بود با نگاهش میگفت: نمیدونم،
این مشکل من نیست، برو.

179
00:09:11,906 --> 00:09:13,152
(خنده حاضرین)

180
00:09:13,862 --> 00:09:17,701
نگاه کنید، یک سیستم ممکن است
حتی کمتر جانبدارانه باشد

181
00:09:17,725 --> 00:09:19,828
تا مدیران انسانی در همان زمینه.

182
00:09:19,852 --> 00:09:21,998
و این میتونه یک حس مالی ایجاد کنه

183
00:09:22,573 --> 00:09:24,223
اما این میتونه منجر بشه

184
00:09:24,247 --> 00:09:28,995
به یک یکنواختی اما یواشکی بستن
بازار کار مردم

185
00:09:29,019 --> 00:09:31,312
که با ریسک بالای افسردگی همراه هستند.

186
00:09:31,753 --> 00:09:34,349
آیا این نوع اجتماعی است 
که ما میخواهیم بسازیم؟

187
00:09:34,373 --> 00:09:36,658
بدون حتی دانستن اینکه ما این را
انجام دادیم

188
00:09:36,682 --> 00:09:40,646
زیرا ما ساختن تصمیم را تبدیل کردیم
به ماشین که ما سرانجامش را نمیفهمیم

189
00:09:41,265 --> 00:09:42,723
و مسئله دیگر این است:

190
00:09:43,314 --> 00:09:47,766
این سیستم ها اغلب روی اطلاعات تولید شده
توسط کارهای ما آموزش داده میشوند،

191
00:09:47,790 --> 00:09:49,606
آثار به جای مانده از انسان.

192
00:09:50,188 --> 00:09:53,996
خب، آنها فقط میتوانند
تمایلات ما را منعکس کنند،

193
00:09:54,020 --> 00:09:57,613
و این سیستمهای میتوانند
تمایلات ما را انتخاب کنند

194
00:09:57,637 --> 00:09:58,950
و آن را تقویت کرده

195
00:09:58,974 --> 00:10:00,392
و آن را دوباره به ما نشان دهند،

196
00:10:00,416 --> 00:10:01,878
در حالی که به خودمان میگویم،

197
00:10:01,902 --> 00:10:05,019
«ما فقط در حال بررسی هستیم.»

198
00:10:06,314 --> 00:10:08,991
محققان در شرکت گوگل دریافتند،

199
00:10:10,134 --> 00:10:15,447
زنان نسبت به مردان احتمال کمتری دارد که
برای مشاغل با حقوق بالاتر قدام کنند.

200
00:10:16,463 --> 00:10:18,993
و نامهای آفریقایی-آمریکایی را که جستجو کنید

201
00:10:19,017 --> 00:10:23,723
احتمال بیشتر دارد که پیشینه جرم نشان دهد،

202
00:10:23,747 --> 00:10:25,314
حتی وقتی که واقعا جرمی وجود ندارد.

203
00:10:26,693 --> 00:10:30,242
مانند تمایلات پنهان و الگوریتم جعبه سیاه

204
00:10:30,266 --> 00:10:34,239
که گاهی محققات آن را تحت پوشش قرار نمی دهند
و ما از آن گاهی اطلاع نداریم.

205
00:10:34,263 --> 00:10:36,924
که می توانیم پرآمدهایی زندگی داشته باشد.

206
00:10:37,958 --> 00:10:42,117
در ویسکانسین یک متهم به شش سال زندان 
محکوم شد

207
00:10:42,141 --> 00:10:43,496
برای فرار از پلیس.

208
00:10:44,824 --> 00:10:46,010
شما ممکنه این را ندانید،

209
00:10:46,034 --> 00:10:50,032
اما الگوریتم به طور افزایندهای در آزادی
مشروط و صدور حکم در حال استفاده هستند

210
00:10:50,056 --> 00:10:53,011
او می خواهد بداند:
چگونه این نمره محاسبه می شود؟

211
00:10:53,795 --> 00:10:55,460
این یک جعبه سیاه تجاری است

212
00:10:55,484 --> 00:10:59,689
شرکت درخواست اینکه الگوریتم 
در دادگاه به چالش کشیده بشود را رد کرد.

213
00:11:00,396 --> 00:11:05,928
اما پروپابلیکا، یک موسسه تحقیقاتی
غیرانتفاعی خیلی از الگوریتم ها را

214
00:11:05,952 --> 00:11:07,968
با اطلاعات عمومی ای که آن ها میتوانند 
پیدا کنند بررسی میکنند.

215
00:11:07,992 --> 00:11:10,308
و دریافتند که این یک نتیجه از تمایلات بوده

216
00:11:10,332 --> 00:11:13,961
و این قدرت پیشبینی اشتباه، 
نه فقظ شانسی( بلکه به عمد)

217
00:11:13,985 --> 00:11:18,401
و به طور اشتباه متهمان سیاه را به عنوان
مجرمان آینده دوبرابر نرخ مجرمان سفید

218
00:11:18,425 --> 00:11:22,320
برچست گذاری کرده بود.

219
00:11:23,891 --> 00:11:25,455
خب، به این مورد دقت کنید:

220
00:11:26,103 --> 00:11:29,955
این خانم برای برداشتن 
دخترخواندهاش دیر رسید

221
00:11:29,979 --> 00:11:32,054
از یک مدرسه در بروارد ایالت فلوریدا،

222
00:11:32,757 --> 00:11:35,113
با دوستش از خیابان می دوید.

223
00:11:35,137 --> 00:11:39,236
آن ها یک دوچرخه بچه و یک اسکوتر
روی ایوان که قفل نشده بود را نشان دادند

224
00:11:39,260 --> 00:11:40,892
و احمقانه روی آن پرید

225
00:11:40,916 --> 00:11:43,515
وقتی آنها در حال سرعت گرفتن بودند
یک زن آمد و گفت

226
00:11:43,539 --> 00:11:45,744
هی! این دوچرخه بچه من است

227
00:11:45,768 --> 00:11:49,062
آن ها دوچرخه را رها کردن و دور شدند
ولی آن ها دستگیر شدند

228
00:11:49,086 --> 00:11:52,723
او اشتباه کرد و او احمق بود 
ولی او تنها ۱۸ سال داشت

229
00:11:52,747 --> 00:11:55,291
او یک تعدادی جرمهای کوچک داشت.

230
00:11:55,808 --> 00:12:00,993
ضمنا، آن مرد برای سرقت از فروشگاه
هوم دیپو دستگیر شده بود--

231
00:12:01,017 --> 00:12:03,941
۸۵ دلار، که ارزشش به اندازه جرم کوچک بود.

232
00:12:04,766 --> 00:12:09,325
اما او محکومیت دو سرقت مسلحانه داشت.

233
00:12:09,955 --> 00:12:13,437
اما الگوریتم احتمال بالای جرم برای این زن
نشان میداد، و نه برای این مرد.

234
00:12:14,746 --> 00:12:18,620
دو سال بعد، پروپابلیکا یافت
که این نباید در حبس باشد.

235
00:12:18,644 --> 00:12:21,194
و با سایقهای را که داشت
برای او پیدا کردن شغل مشگل بود.

236
00:12:21,218 --> 00:12:23,294
از طرف دیگر این مرد زندانی شد

237
00:12:23,318 --> 00:12:27,154
و برای گناه گذشتهاش 
برای هشت سال زندانی خواهد بود.

238
00:12:28,088 --> 00:12:31,457
روشن است، ما نیاز داریم تا 
جعبه سیاهمان را بازبینی و بررسی کنیم

239
00:12:31,481 --> 00:12:34,096
و نه آن ها را، بلکه این نوع 
قدرت چک نشده را حسابرسی کنیم

240
00:12:34,120 --> 00:12:36,999
(تشویق حضار)

241
00:12:38,087 --> 00:12:42,329
بررسی و باربینی خوب و مهم است 
اما آنها تمام مشکلات ما را حل نمی کنند.

242
00:12:42,353 --> 00:12:45,101
الگوریتم قدرت خبری فیسبوک
را در نظر بگیرید.

243
00:12:45,125 --> 00:12:49,968
میدانید، کسی که همه چیز را رتبه بندی میکند
و تصمیم میگیرد که چه به شما نشان دهد

244
00:12:49,992 --> 00:12:52,276
از همه دوستان و همه 
صفحههایی که شما دنبال میکنید.

245
00:12:52,898 --> 00:12:55,173
باید به شما عکس بچهی دیگه را نشان دهد؟

246
00:12:55,197 --> 00:12:56,393
(خنده)

247
00:12:56,417 --> 00:12:59,013
یک یادداشت عبوس از یک آشنا؟

248
00:12:59,449 --> 00:13:01,305
یک خبر مهم اما قسمتهای سختش؟

249
00:13:01,329 --> 00:13:02,811
هیچ جواب درستی وجود ندارد.

250
00:13:02,835 --> 00:13:05,494
فیس بوک برای مشغولیت بیشتر
در سایت بهینه شده :

251
00:13:05,518 --> 00:13:06,933
لایک، اشتراگ گذاری، کامنت

252
00:13:08,168 --> 00:13:10,864
در آگوست ۲۰۱۴

253
00:13:10,888 --> 00:13:13,550
در شهر فرگوست ایالت میسوری معترضان

254
00:13:13,574 --> 00:13:17,991
بعد از کشتن یک نوجوان آفریقایی- آمریکایی
به وسیله یک پلیس سفید پوست

255
00:13:18,015 --> 00:13:19,585
زیر رویداد مبهم شورش کردند،

256
00:13:19,974 --> 00:13:21,981
خبرهای معترضان در همه جا بود

257
00:13:22,005 --> 00:13:24,690
الگورتیم من فیدهای تویتر را فیلتر نکرد

258
00:13:24,714 --> 00:13:26,664
اما در فیس بوکم هیچ جا باز نبود.

259
00:13:27,182 --> 00:13:28,916
آیا اینها دوستان فیسبوکی من بودند؟

260
00:13:28,940 --> 00:13:30,972
من الگوریتم فیسبوکم را
غیر فعال کردم،

261
00:13:31,472 --> 00:13:34,320
که سخت بود زیرا فیسبوک
خواسته های شما را حفظ میکند

262
00:13:34,344 --> 00:13:36,380
تا شما را زیر کنترل الگوریتم ها نگه دارد،

263
00:13:36,404 --> 00:13:38,642
و می بینید که دوستان من در حال 
صحبت کردن درباره این حادثه بودند.

264
00:13:38,666 --> 00:13:41,175
این فقط الگوریتمی بود که این را
به من نشان من داد.

265
00:13:41,199 --> 00:13:44,241
من تحقیق کردم و فهمیدم
که این یه مشکل شایع بود

266
00:13:44,265 --> 00:13:48,078
حادثه فرگوست یک الگوریتم دوستانه نبود.

267
00:13:48,102 --> 00:13:49,273
دوست داشتنی نبود

268
00:13:49,297 --> 00:13:50,849
چه کسی می خواد تا
روی "like" کلیک کنید؟

269
00:13:51,500 --> 00:13:53,706
این حتی ساده نیست 
تا کامنتی روی آن قرار دهید.

270
00:13:53,730 --> 00:13:55,101
بدون "like" و کامنت

271
00:13:55,125 --> 00:13:58,417
احتمالا الگوریتم برای افراد
کمتری را نشان داده میشد،

272
00:13:58,441 --> 00:13:59,983
بنابراین ما نتوانستیم این را ببینیم

273
00:14:00,946 --> 00:14:02,174
در عوض، آن هفته،

274
00:14:02,198 --> 00:14:04,496
الگوریتم فیس بوک این را برجسته کرده بود:

275
00:14:04,520 --> 00:14:06,746
این چالش سطل آب یخ است.

276
00:14:06,770 --> 00:14:10,512
علت ارزش، خالی کردن آب یخ، 
کمک به موسسه خیریه خوب است

277
00:14:10,536 --> 00:14:12,440
اما این الگوریتم دوستانه عالی بود.

278
00:14:13,219 --> 00:14:15,832
که ماشین این تصمیم را برای ما گرفت.

279
00:14:15,856 --> 00:14:19,353
و خیلی مهم است اما گفتگوی سختی است

280
00:14:19,377 --> 00:14:20,932
ممکن است خفه شده باشد.

281
00:14:20,956 --> 00:14:23,652
آیا فیسبوک فقط یک کانال داشت؟

282
00:14:24,117 --> 00:14:27,914
خُب، این سیستم ها 
میتوانند اشتباه باشند

283
00:14:27,938 --> 00:14:30,674
در راه هایی که شباهت
به سیستم انسانی ندارد.

284
00:14:30,698 --> 00:14:33,620
آیا شما واتسون، سیستم 
ماشین هوشمند آی بی ام

285
00:14:33,644 --> 00:14:36,772
که با انسان مسابقه جوپرتری را داد
را به خاطر دارید؟

286
00:14:37,131 --> 00:14:38,559
واتسون بازیگر خوبی در مسابقه بود.

287
00:14:38,583 --> 00:14:42,152
اما در آخرین جوپرتی، از واتسون پرسیده شد

288
00:14:42,659 --> 00:14:45,591
«آیا بزرگترین فرودگاه که برای یک قهرمان
جنگ جهانی دوم نام گذاری شد"

289
00:14:45,615 --> 00:14:47,867
این دومین فرودگاه بزرگ برای 
مبارزه جنگ جهانی دوم نامگذاری شد.»

290
00:14:47,891 --> 00:14:49,269
(...)

291
00:14:49,582 --> 00:14:50,764
شیکاگو.

292
00:14:50,788 --> 00:14:52,158
دو فرد درست جواب دادند

293
00:14:52,697 --> 00:14:57,045
واتسون در طرف دیگر پاسخ داد «تورنتو»--

294
00:14:57,069 --> 00:14:58,887
برای یک شهر آمریکایی!

295
00:14:59,596 --> 00:15:02,497
سیستم موثر همچنین یک اشتباه کرد

296
00:15:02,521 --> 00:15:06,172
که یک فرد هیچ وقت این اشتباه را
نخواهد کرد، حتی یک کلاس دومی.

297
00:15:06,823 --> 00:15:09,932
ماشین هوشمند ما میتواند شکست بخورد

298
00:15:09,956 --> 00:15:13,056
در جاهایی که نمی تواند
الگوی خطای انسان ها را متناسب کند

299
00:15:13,080 --> 00:15:16,030
در جاهایی که ما انتظار
و آمادگی برای آن نخواهیم داشت

300
00:15:16,054 --> 00:15:19,692
این نکبت بار خواهد بود که کسی
که واجد شرایط هست شفلی را نگیرد،

301
00:15:19,716 --> 00:15:23,443
اما سه برابر آن بدتر اینکه به دلیل خرده رفتارها

302
00:15:23,467 --> 00:15:24,899
در روال عادی زندگی فرد آن شغل را نگیرد.

303
00:15:24,923 --> 00:15:26,502
(خنده حضار)

304
00:15:26,526 --> 00:15:29,312
در ماه می ۲۰۱۰،

305
00:15:29,336 --> 00:15:33,380
یک خرابی کوتاه مدت ناشی 
از یک حلقه فیدبک تقویت شد در وال استریت

306
00:15:33,404 --> 00:15:36,432
در الگوریتم« فروش» وال استریت

307
00:15:36,456 --> 00:15:40,640
یک تریلیون دلار ارزش را
در ۳۶ دقیقه از بین برد.

308
00:15:41,722 --> 00:15:43,909
من حتی نمیخوام در مورد
معنیهای «خطا»

309
00:15:43,933 --> 00:15:47,522
در زمینه سلاح های کشنده خودکار فکر کنم.

310
00:15:49,894 --> 00:15:53,684
خب بله، انسانها همیشه تمایلات را میسازند.

311
00:15:53,708 --> 00:15:55,884
تصمیم گیرندهها و دربانها

312
00:15:55,908 --> 00:15:59,401
در دادگاه ها و در خبر ها و در جنگ...

313
00:15:59,425 --> 00:16:02,463
آنها اشتباه می کنند،
اما این دقیقا نکته مورد نظر من است.

314
00:16:02,487 --> 00:16:06,008
ما نمی توانیم از این سوالهای
مشگل فرارکنیم.

315
00:16:06,596 --> 00:16:10,112
ما نمیتوانیم مسئولیت هایمان
را در قبال ماشین ها نادیده بگیریم.

316
00:16:10,676 --> 00:16:14,884
(تشویق)

317
00:16:17,089 --> 00:16:21,536
هوش مصنوعی نمیتواند به ما یک کارت 
«خارج شدن از اخلاق به صورت رایگان» بدهد

318
00:16:22,742 --> 00:16:26,123
دانشمند اطلاعات، فرد بنسون
این را "شستشوی ریاضی" مینامد

319
00:16:26,147 --> 00:16:27,536
ما به این تضاد نیاز داریم.

320
00:16:27,560 --> 00:16:32,948
ما نیاز داریم تا یک الگوریتم بد گمانی را 
با بررسی دقیق و موشکافانه رشد دهیم.

321
00:16:33,380 --> 00:16:36,578
ما نیاز داریم تا مطمئن باشیم
که مسولیت الگوریتمی داریم،

322
00:16:36,602 --> 00:16:39,047
حسابرسی و شفافیت معنایی نیاز داریم.

323
00:16:39,380 --> 00:16:42,614
ما نیاز داریم تا قبول کنیم که
آورده های ریاضی و محاسباتی

324
00:16:42,638 --> 00:16:45,608
برای ارزش انباشته و به هم ریخته و امور انسانی

325
00:16:45,632 --> 00:16:48,016
عینیت ندارد.

326
00:16:48,040 --> 00:16:51,673
بلکه ، پیچیدگی امور انسانی به
الگوریتم ها حتما غلبه میکند.

327
00:16:52,148 --> 00:16:55,635
بله ما می توانیم و ما باید
از محاسبات استفاده کنیم

328
00:16:55,659 --> 00:16:57,673
تا برای داشتن تصمیمات بهتر
به خودمان کمک کنیم

329
00:16:57,697 --> 00:17:03,029
اما ما اعتراف میکنیم 
به مسئولیت اخلاقی و قضاوت

330
00:17:03,053 --> 00:17:05,871
و استفااه از الگورتیم هایی با آن چارچوب

331
00:17:05,895 --> 00:17:10,830
نه به عنوان وسیله ای برای کناره گیری
و واگذاری مسئولیت هایمان

332
00:17:10,854 --> 00:17:13,308
به یک انسان دیگر.

333
00:17:13,807 --> 00:17:16,416
هوش مصنوعی اینجاست.

334
00:17:16,440 --> 00:17:19,861
این بدان معناست که ما باید محکمتر

335
00:17:19,885 --> 00:17:22,032
ارزشها و اخلاق انسانی را نگه داریم.

336
00:17:22,056 --> 00:17:23,210
متشکرم

337
00:17:23,234 --> 00:17:28,254
(تشویق)