0:00:00.975,0:00:02.571
Algoritmalar her yerde.

0:00:04.111,0:00:07.236
Kazananları kaybedenlerden ayırıyor.

0:00:08.019,0:00:10.283
Kazananlar ya işi alıyor

0:00:10.307,0:00:12.050
ya da iyi bir kredi kartı teklifi.

0:00:12.074,0:00:14.700
Kaybedenler iş görüşmesine bile çağrılmaz

0:00:15.610,0:00:18.107
veya sigorta primi için[br]daha fazla ödeme yaparlar.

0:00:18.227,0:00:21.746
Doğrulama sistemi olmayan,[br]anlamadığımız

0:00:22.675,0:00:25.892
gizli formülasyonlar ile puanlanıyoruz.

0:00:26.730,0:00:28.536
Burada şu soru akla geliyor:

0:00:28.560,0:00:31.473
Peki ya algoritmalar hatalıysa?

0:00:33.100,0:00:35.140
Algoritma oluşturmak için 2 şey gerekli:

0:00:35.164,0:00:37.145
Geçmişte ne olduğunu gösteren veri,

0:00:37.169,0:00:38.730
o her zaman aradığınız

0:00:38.754,0:00:41.211
ve bulmayı umduğunuz başarı tanımına.

0:00:41.235,0:00:46.272
Sonuca ulaşmak için [br]algoritma çalıştırırsınız.

0:00:46.296,0:00:49.715
Algoritma başarı ile nelerin[br]bağlantılı olduğunu keşfeder.[br][br]

0:00:49.739,0:00:52.202
Hangi durum başarıya ulaştırır?

0:00:52.881,0:00:54.643
Aslında herkes algoritma kullanır.

0:00:54.667,0:00:57.385
Sadece yazılı olarak formüle etmezler.

0:00:57.409,0:00:58.757
Size bir örnek vereyim.

0:00:58.781,0:01:02.097
Aileme yemek yapmak için[br]her gün algoritma kullanırım.

0:01:02.121,0:01:03.597
Kullandığım veri

0:01:04.394,0:01:06.053
mutfağımdaki malzemeler,

0:01:06.077,0:01:07.604
zaman,

0:01:07.628,0:01:08.861
tutkudur

0:01:08.885,0:01:10.594
ve bu verileri düzene koyarım.

0:01:10.618,0:01:14.869
Bu arada, Japon erişte paketlerini[br]yemekten saymıyorum.

0:01:14.893,0:01:16.762
(Kahkahalar)

0:01:16.786,0:01:18.631
Başarı tanımım şudur:

0:01:18.655,0:01:21.314
Çocuklarım sebzeleri yerse[br]yemeğim başarılıdır.

0:01:22.181,0:01:25.035
En küçük oğluma sorulsaydı[br]bu tanım farklı olurdu.

0:01:25.059,0:01:27.847
Onun başarı tanımı [br]çok miktarda Nutella yemek.

0:01:29.179,0:01:31.405
Ama başarıya ben ulaşmalıyım.

0:01:31.429,0:01:34.076
Bu iş benim sorumluluğumda.[br]Görüşüm önemli.

0:01:34.166,0:01:36.835
Bu, algoritmaların ilk kuralı.

0:01:36.835,0:01:40.015
Algoritmalar, [br]kodların içine gömülmüş fikirlerdir.

0:01:41.562,0:01:45.225
İnsanların algoritmalar hakkındaki[br]görüşlerinden farklı bir şey bu.

0:01:45.249,0:01:49.753
İnsanlar algoritmaların tarafsız, [br]doğru ve bilimsel olduğunu düşünür.

0:01:50.387,0:01:52.086
Bu bir pazarlama hilesi.

0:01:53.269,0:01:55.394
Algoritmalara güvenmeniz

0:01:55.418,0:01:58.572
ve onlardan korkmanız için

0:01:58.596,0:02:02.257
bir pazarlama hilesidir [br]çünkü matematikten de korkarsınız

0:02:02.281,0:02:04.299
ama sayılara güvenirsiniz.

0:02:05.567,0:02:10.397
Büyük veriye körü körüne inanırsak[br]çok şey yanlış gidebilir.

0:02:11.684,0:02:15.057
Bu Kiri Soares.[br]Brooklyn'de okul müdürü.

0:02:15.081,0:02:17.667
2011'de öğretmenlerin [br]'katma değer modeli' adında

0:02:17.691,0:02:20.418
gizli, karışık bir algoritma ile

0:02:20.442,0:02:21.931
puanlandıklarını söyledi.

0:02:22.505,0:02:25.597
"Formülasyonu bana göster,[br]sana içeriğini açıklayayım" dedim.

0:02:26.656,0:02:29.327
Cevap verdi: [br]"Doğrusu formülasyonu almaya çalıştım

0:02:29.351,0:02:31.833
fakat eğitim birimi bana[br]bunun matematiksel olduğunu

0:02:31.867,0:02:33.723
ve içeriğini anlamayacağımı söyledi".

0:02:35.266,0:02:36.604
Daha kötüye gidiyor.

0:02:36.628,0:02:40.158
The New York Post, [br]"Bilgiye Özgürlük Hareketi" kapsamındaki

0:02:40.182,0:02:43.141
talebi sonucu öğretmenlerin [br]isim ve puanlarını temin edip

0:02:43.165,0:02:45.947
adeta öğretmen ayıplama[br]eylemi olarak sonuçları yayımladı.

0:02:47.084,0:02:50.944
Aynı yollarla formül ve kaynak kodunu[br]almaya çalıştığımda

0:02:50.968,0:02:53.557
bunu alamayacağım söylendi.[br]Talebim reddedildi.

0:02:54.061,0:02:55.575
Sonra New York'ta hiç kimsenin

0:02:55.599,0:02:58.465
bu formüle erişimi olmadığını öğrendim.

0:02:58.489,0:03:00.224
Kimse içeriğini bilmiyor, anlamıyor.

0:03:01.929,0:03:05.153
Sonra Gary Rubinstein adında [br]zeki biri olaya dâhil oldu.

0:03:05.177,0:03:08.798
Rubinstein, New York Post verisindeki[br]665 öğretmenin aslında iki tane

0:03:08.822,0:03:10.688
yani mükerrer puanı olduğunu keşfetti.

0:03:10.712,0:03:13.043
Bu ancak, öğretmenler [br]7 ve 8'inci sınıflara

0:03:13.043,0:03:15.056
ders veriyor olsaydı oluşabilirdi.

0:03:15.080,0:03:16.948
Rubinstein, sonuçların grafiğini çizdi.

0:03:16.948,0:03:18.805
Her nokta bir öğretmeni temsil ediyor.

0:03:19.104,0:03:21.483
(Kahkahalar)

0:03:21.507,0:03:23.028
Nedir bu?

0:03:23.052,0:03:24.329
(Kahkahalar)

0:03:24.353,0:03:27.799
Bu asla kişileri değerlendirmek için[br]kullanılmamalıydı.

0:03:27.823,0:03:29.749
Tıpkı rasgele bir sayı üreticisi gibi.

0:03:29.773,0:03:32.719
(Alkışlar)

0:03:32.743,0:03:33.905
Ama kullanıldı.

0:03:33.929,0:03:35.105
Bu Sarah Wysocki.

0:03:35.129,0:03:37.304
Diğer 205 öğretmen ile birlikte

0:03:37.328,0:03:39.990
Washington'ta görevine son verildi.

0:03:40.014,0:03:42.923
Oysa okul müdürü ve veliler

0:03:42.947,0:03:44.375
kendisinden çok memnundu.

0:03:45.034,0:03:47.106
Burada başta yapay zeka uzmanları

0:03:47.106,0:03:49.933
ve veri bilimciler olmak üzere[br]ne düşündüğünüzü biliyorum.

0:03:49.957,0:03:54.183
Muhtemelen "Böyle tutarsız bir[br]algoritma oluşturmazdım" diyorsunuz.

0:03:54.673,0:03:56.536
Oysa algoritmalar hatalı kurulabilir

0:03:56.560,0:04:01.158
ve kötü niyetle oluşturulmasalar da[br]yıkıcı sonuçları olabilir.

0:04:02.531,0:04:04.910
Kötü tasarlanmış bir uçak

0:04:04.934,0:04:06.935
kaza yapar ve herkes hatayı görür,

0:04:06.959,0:04:08.809
oysa algoritma kötü tasarlandığında

0:04:10.245,0:04:14.110
zarar vermeye sessizce,[br]uzun süre devam edebilir.

0:04:15.748,0:04:17.318
Bu Roger Ailes.

0:04:17.342,0:04:19.342
(Kahkahalar)

0:04:20.524,0:04:22.912
Fox News kanalını 1996'da kurdu.

0:04:23.126,0:04:26.017
Kanalda 20'den fazla kadın [br]taciz iddiasıyla şikayetçi oldu.

0:04:26.041,0:04:29.276
Haber kanalında başarıya ulaşmalarının[br]engellendiğini söylediler.

0:04:29.300,0:04:31.820
Görevi geçen sene sonlandırıldı

0:04:31.844,0:04:34.514
ama problemlerin devam ettiğini öğrendik.

0:04:35.654,0:04:37.054
Bu, şu soruyu akla getiriyor:

0:04:37.078,0:04:39.962
Fox News, temiz bir sayfa açmak[br]için ne yapmalı?

0:04:40.475,0:04:43.806
İşe alım süreçlerini [br]makine öğrenmesine dayalı

0:04:43.950,0:04:45.964
bir algoritma ile değiştirseler ne olur?

0:04:45.988,0:04:47.583
Kulağa iyi geliyor, değil mi?

0:04:47.607,0:04:48.907
Bir düşünün.

0:04:48.931,0:04:51.036
Veri ne olurdu?

0:04:51.060,0:04:56.007
Son 21 yılda kanala yapılan[br]iş başvuruları veri seçimi için

0:04:56.031,0:04:57.533
mantıklı olur.

0:04:57.557,0:04:59.695
Peki ya buradaki 'başarının tanımı' nedir?

0:04:59.771,0:05:01.245
Makul bir karar şöyle olurdu;

0:05:01.269,0:05:03.047
Fox News'da kim başarılı?

0:05:03.071,0:05:06.651
Diyelim ki 4 sene orada kalmış,

0:05:06.675,0:05:08.329
en az 1 kez terfi almış kişiler.

0:05:08.816,0:05:10.377
Kulağa mantıklı geliyor.

0:05:10.401,0:05:12.755
Sonra algoritma oluşturulurdu.

0:05:12.779,0:05:16.656
Kimlerin başarıya ulaştığını öğrenmek,

0:05:17.219,0:05:21.537
geçmişte ne tür başvuruların[br]başarıya ulaştığını görmek için

0:05:21.561,0:05:23.025
algoritma oluşturulurdu.

0:05:23.460,0:05:25.485
Mevcut iş başvurularının bulunduğu havuza

0:05:25.649,0:05:28.554
bu yöntem uygulansa ne olabilirdi,[br]düşünün.

0:05:29.119,0:05:31.208
Geçmişte başarılı olanlar gibi görünmeyen

0:05:31.663,0:05:35.593
kadınları filtreleyebilirdi.

0:05:39.752,0:05:42.289
Eğer sadece umarsızca

0:05:42.313,0:05:44.201
kör bir şekilde kullanırsanız

0:05:44.201,0:05:46.513
algoritmalar[br]süreçleri daha adil hale getirmez.

0:05:46.537,0:05:48.665
Geçmişteki uygulamalarımızı,

0:05:48.689,0:05:50.202
kalıplarımızı tekrarlar durur.

0:05:50.266,0:05:51.835
Otomatikmen kalıcı hale gelir.

0:05:52.718,0:05:55.107
Mükemmel bir dünyada yaşasaydık[br]bu iyi olurdu

0:05:55.905,0:05:57.217
fakat dünya mükemmel değil.

0:05:57.241,0:06:01.343
Şunu da söyleyeyim, pek çok şirketin[br]yüz kızartıcı davası yoktur

0:06:02.446,0:06:05.034
fakat veriyi takip etmeleri

0:06:05.058,0:06:07.247
ve veriye odaklanmaları söylenen

0:06:07.271,0:06:09.414
veri bilimcileri vardır.

0:06:09.993,0:06:11.654
Bunun ne anlama geldiğini düşünün.

0:06:11.678,0:06:15.705
Çünkü hepimizin ön yargıları var,[br]ki bu cinsiyetçiliği veya başka bir

0:06:15.729,0:06:17.995
ayrımcılığın kodlanabileceği[br]anlamına gelebilir.

0:06:19.488,0:06:20.909
Düşünce deneyi yapalım

0:06:20.933,0:06:22.442
çünkü bunu seviyorum:

0:06:23.574,0:06:26.549
Tüm şehirler ve mahallelerinin[br]ırk bakımından

0:06:28.247,0:06:31.575
ötekileştirildiği bir toplumda

0:06:31.599,0:06:34.636
polisler suç aramak için

0:06:34.660,0:06:36.523
sadece azınlık mahallelerine gidiyor.

0:06:36.523,0:06:38.670
Yakalamalar epey taraflı olurdu.

0:06:39.261,0:06:42.426
Bu sürecin yönetiminde[br]gelecek suçların nerede olacağını öngören

0:06:42.450,0:06:46.611
ve maaş ödenen [br]veri bilimcileri olsa ne olurdu?

0:06:47.275,0:06:48.762
Azınlık mahalleleri.

0:06:49.285,0:06:52.410
Veya bir sonraki suçlunun kim[br]olacağını öngörmek için?

0:06:52.888,0:06:54.283
Bir azınlık.

0:06:55.949,0:06:58.870
Veri bilimcileri, modellerinin ne kadar

0:06:58.894,0:07:00.811
iyi ve uygulanabilir olduğu konusunda

0:07:00.835,0:07:02.814
övünürlerdi[br]ve haklı olurlardı da.

0:07:03.951,0:07:08.280
Şu an gerçeklik bu kadar keskin değil,[br]ama pek çok bölgede

0:07:08.280,0:07:09.877
taraflı davranıldığını gösteren[br]

0:07:09.901,0:07:11.794
polis ve hukuk sistemi verisi

0:07:11.818,0:07:14.506
ayrımcılık yapıldığını gösteriyor.

0:07:15.632,0:07:18.447
Aslına bakılırsa suçların meydana geleceği

0:07:18.471,0:07:20.001
sıcak bölgeleri öngörüyoruz.

0:07:20.401,0:07:24.267
Hatta bireysel suçluluk konusunda da

0:07:24.291,0:07:26.061
öngörü yapıyoruz.

0:07:26.972,0:07:30.115
ProPublica isimli organizasyon

0:07:30.169,0:07:32.467
Florida'da hakimlerce kullanılan,

0:07:32.467,0:07:34.380
'suçun tekrarlama riski' adı verilen

0:07:34.380,0:07:36.908
algoritmaya baktılar.

0:07:38.411,0:07:41.996
Algoritmada Bernard, soldaki siyah kişi,[br]10 üzerinden 10 puan aldı.

0:07:42.879,0:07:45.186
Dylan, sağdaki kişi, [br]10 üzerinden 3 puan.

0:07:45.210,0:07:47.961
10 üzerinden 10 yüksek risk.[br]10 üzerinden 3 düşük risk.

0:07:47.978,0:07:50.677
Her ikisi de uyuşturucu bulundurmaktan[br]göz altına alındı.

0:07:50.677,0:07:52.301
Her ikisinin de sabıka kaydı var.

0:07:52.301,0:07:54.991
Ama Dylan'ın ağır suçu varken

0:07:55.015,0:07:56.191
Bernard'ın yoktu.

0:07:57.818,0:08:00.884
Bu önemli çünkü puan yükseldikçe

0:08:00.908,0:08:04.381
uzun süreli ceza alma ihtimali artıyor.

0:08:06.294,0:08:07.588
Neler oluyor?

0:08:08.526,0:08:09.858
Veri manipülasyonu.

0:08:10.930,0:08:15.251
Bu, teknoloji uzmanlarının çirkin[br]gerçekleri kara kutulu algoritmalarla

0:08:15.251,0:08:17.202
gizledikleri bir süreç.

0:08:17.226,0:08:18.516
Bunun objektif

0:08:19.320,0:08:20.888
ve ideal olduğunu söylüyorlar.

0:08:23.118,0:08:25.503
Gizli, önemli ve yıkıcı sonuçları olan

0:08:25.527,0:08:28.014
algoritmalar için bir deyim türettim:

0:08:28.038,0:08:30.037
"Matematiksel yıkım silahları"

0:08:30.061,0:08:31.625
(Kahkahalar)

0:08:31.649,0:08:34.223
(Alkışlar)

0:08:34.267,0:08:37.561
Bunlar her yerdeler[br]ve her yerde olmaları hata sonucu değil.

0:08:37.695,0:08:41.418
Bunlar özel amaç için[br]özel algoritmalar üreten

0:08:41.442,0:08:42.834
özel şirketler.

0:08:43.214,0:08:46.428
Öğretmenler ve polisler ile ilgili[br]söylediklerim bile

0:08:46.452,0:08:48.321
özel şirketler tarafından üretilip

0:08:48.345,0:08:50.576
kamu kurumlarına satıldı.

0:08:50.600,0:08:52.473
Buna onların "özel tarifi" diyorlar

0:08:52.497,0:08:54.705
ve bu yüzden içeriği ile[br]ilgili konuşmuyorlar.

0:08:54.725,0:08:56.869
Bu bir tür özel güç.

0:08:57.924,0:09:02.619
Kamu otoritesini kullanarak kar ediyorlar.

0:09:05.114,0:09:07.268
Tüm bunların özel sektörde olduğu

0:09:07.302,0:09:09.640
ve sektörde rekabet olduğu için[br]serbest piyasanın

0:09:09.640,0:09:11.500
bu sorunu çözeceğini düşünüyorsanız

0:09:11.610,0:09:12.833
sorunu çözmeyecek.

0:09:12.857,0:09:15.977
Adaletsizlik ile elde edilen[br]önemli miktarda para var.

0:09:17.127,0:09:20.496
Ayrıca ekonomik olarak [br]rasyonel karar alıcılar değiliz.

0:09:20.921,0:09:22.843
Farkında olmadığımız[br]ön yargılarımız var.

0:09:22.960,0:09:26.337
Farkında olmasak [br]ve öyle olmayı dilemesek bile

0:09:26.361,0:09:28.380
kafa tasçı ve dar kafalıyız.

0:09:29.352,0:09:32.433
Bunun böyle olduğunuz biliyoruz,

0:09:32.457,0:09:35.677
çünkü sosyologlar yaptıkları deneyler ile

0:09:35.701,0:09:37.366
öyle olduğumuzu gösterdiler.

0:09:37.390,0:09:39.958
Deneyde aynı yeteneklere sahip insanların

0:09:39.982,0:09:42.483
çok sayıda iş başvurusu vardı.[br]Kimi başvurular siyah,

0:09:42.517,0:09:45.243
kimi başvurular beyaz insanı[br]andıran isimlerle yapıldı.

0:09:45.243,0:09:47.131
Sonuç her zaman hayal kırıklığıydı.

0:09:47.280,0:09:49.281
Bizler farkında olmasak da taraflıyız

0:09:49.305,0:09:52.734
ve taraflılığımızı, [br]seçtiğimiz veriler ile

0:09:52.758,0:09:54.570
algoritmalara dahil ediyoruz.

0:09:54.594,0:09:57.337
Mesela ben erişteleri es geçtim.

0:09:57.361,0:09:58.986
Onların yemek olmadığını düşündüm.

0:09:59.010,0:10:03.668
Ancak geçmiş deneyimleri

0:10:03.668,0:10:06.732
ve başarı tanımlarını [br]baz alarak seçtiğimiz veriye

0:10:06.756,0:10:10.739
nasıl güvenebiliriz ve algoritmaların[br]sağlıklı olacağını nasıl bekleyebiliriz?

0:10:10.763,0:10:13.459
Bunu yapamayız. [br]Algoritmaları test etmemiz gerekir.

0:10:13.545,0:10:15.874
Algoritmaların doğruluklarını[br]test etmeliyiz.

0:10:15.898,0:10:18.609
İyi haber şu ki bunu yapabiliriz.

0:10:18.633,0:10:21.985
Algoritmalar kontrol edilebilir

0:10:22.009,0:10:24.043
ve kontroller bize gerçeği söyleyebilir.

0:10:24.067,0:10:26.560
Algoritmaların hatalarını giderebiliriz.

0:10:26.584,0:10:28.959
Ben buna, 'algoritma denetimi'[br]adını veriyorum

0:10:28.983,0:10:30.662
ve size bundan bahsedeyim.

0:10:30.686,0:10:32.882
Öncelikle verinin doğruluğu testi.

0:10:34.132,0:10:36.789
Bahsettiğim suçun tekrarlama[br]riski algoritmasında

0:10:37.582,0:10:39.699
verinin doğruluğu testi şu anlama gelir:

0:10:39.699,0:10:44.705
Amerika'da beyaz ve siyahlar arasında[br]esrar tüketimi aynı ölçüde yaygın,

0:10:44.729,0:10:47.214
oysa siyahların tutuklanma ihtimalleri

0:10:47.238,0:10:50.422
bölgeye bağlı olarak [br]dört veya beş kat fazla.

0:10:51.317,0:10:54.143
Diğer suçlarda [br]bu tür bir taraflılık nasıldır

0:10:54.167,0:10:55.618
ve bunu nasıl inceleriz?

0:10:56.162,0:10:59.201
İkincisi başarının tanımı hakkında düşünüp

0:10:59.225,0:11:00.606
onu gözden geçirmeliyiz.

0:11:00.630,0:11:03.382
İşe alım algoritmasından[br]bahsetmiştim, hatırlayın.

0:11:03.406,0:11:06.571
Şirkette 4 yıl kalıp [br]en az bir kez terfi alan kişi.

0:11:06.595,0:11:08.364
Kendisini başarılı tanımlamıştık

0:11:08.388,0:11:11.467
ama kendisi ayrıca kültürlerince[br]desteklenen bir kişi.

0:11:12.089,0:11:14.015
Bu da aslında bir taraflılık olabilir.

0:11:14.039,0:11:16.104
Bu iki şeyi ayırmamız gerekiyor.

0:11:16.128,0:11:18.224
Mesela orkestralara yönelik 'kör seçim'

0:11:18.228,0:11:19.774
adı verilen seçimlere bakalım.

0:11:19.798,0:11:22.464
Bu uygulamada ses sınavında olan kişiler

0:11:22.646,0:11:24.877
perdenin arkasında[br]bulunduğundan görünmüyor.

0:11:24.901,0:11:28.318
Sadece dinlediği konusunda

0:11:28.342,0:11:30.371
bir sonuca ulaşan insanları düşünün.

0:11:30.395,0:11:32.454
Herhangi bir şeyden dikkatleri dağılmıyor.

0:11:32.771,0:11:35.710
Orkestra için 'kör seçim' [br]başladığından beri

0:11:35.734,0:11:39.178
orkestralardaki kadın sayısı 5 kat arttı.

0:11:39.643,0:11:42.658
Sonra kesinliği göz önünde[br]bulundurmalıyız.

0:11:42.953,0:11:46.967
Bu öğretmenlere için katma değer modelinin[br]anında başarısız olacağı aşama olurdu.

0:11:47.578,0:11:49.740
Elbette hiçbir algoritma mükemmel değil,

0:11:50.620,0:11:54.225
bu yüzden her algoritmanın[br]hatalarını dikkate almalıyız.

0:11:54.836,0:11:59.195
Bu hatalar ne sıklıkla oluşuyor,[br]hangileri modeli başarısız kılıyor?

0:11:59.850,0:12:01.568
Başarısızlığın maliyeti ne?

0:12:02.434,0:12:04.641
Son aşamada

0:12:05.973,0:12:08.159
algoritmaların uzun dönemli etkilerini,

0:12:08.166,0:12:10.626
geri besleme döngülerini[br]göz önünde bulundurmalıyız.

0:12:10.626,0:12:12.822
Kulağa soyut geliyor[br]ama Facebook yazılımcıları

0:12:12.846,0:12:16.220
sadece arkadaşlarımızın paylaşımını[br]görmemize karar vermeden önce

0:12:16.270,0:12:21.125
bunun üzerinde düşünseydi[br]nasıl olurdu, hayal edin.

0:12:21.501,0:12:24.995
İki mesajım var. [br]Birincisi veri bilimciler için:

0:12:25.450,0:12:28.859
Bizler neyin doğru olduğuna[br]karar verenler olmamalıyız.

0:12:29.520,0:12:33.303
Bizler toplumlarda meydana gelen [br]etik tartışmaların

0:12:33.327,0:12:34.621
tercümanları olmalıyız.

0:12:35.579,0:12:37.712
(Alkışlar)

0:12:37.736,0:12:39.292
Ve geri kalanlar,

0:12:40.011,0:12:41.407
veri bilimci olmayanlar:

0:12:41.431,0:12:43.349
Bu herhangi bir matematik testi değil.

0:12:43.632,0:12:44.980
Bu bir politik mücadele.

0:12:46.587,0:12:50.494
Bizler algoritma amirlerinden[br]sorumluluk talep etmeliyiz.

0:12:52.118,0:12:53.617
(Alkışlar)

0:12:53.641,0:12:57.866
Büyük verideki kör inanç dönemi bitmeli.

0:12:57.890,0:12:59.057
Teşekkür ederim.

0:12:59.081,0:13:04.384
(Alkışlar)