Algoritmalar her yerde.

Kazananları kaybedenlerden ayırıyor.

Kazananlar ya işi alıyor

ya da iyi bir kredi kartı teklifi.

Kaybedenler iş görüşmesine bile çağrılmaz

veya sigorta primi için
daha fazla ödeme yaparlar.

Doğrulama sistemi olmayan,
anlamadığımız

gizli formülasyonlar ile puanlanıyoruz.

Burada şu soru akla geliyor:

Peki ya algoritmalar hatalıysa?

Algoritma oluşturmak için 2 şey gerekli:

Geçmişte ne olduğunu gösteren veri,

o her zaman aradığınız

ve bulmayı umduğunuz başarı tanımına.

Sonuca ulaşmak için 
algoritma çalıştırırsınız.

Algoritma başarı ile nelerin
bağlantılı olduğunu keşfeder.

Hangi durum başarıya ulaştırır?

Aslında herkes algoritma kullanır.

Sadece yazılı olarak formüle etmezler.

Size bir örnek vereyim.

Aileme yemek yapmak için
her gün algoritma kullanırım.

Kullandığım veri

mutfağımdaki malzemeler,

zaman,

tutkudur

ve bu verileri düzene koyarım.

Bu arada, Japon erişte paketlerini
yemekten saymıyorum.

(Kahkahalar)

Başarı tanımım şudur:

Çocuklarım sebzeleri yerse
yemeğim başarılıdır.

En küçük oğluma sorulsaydı
bu tanım farklı olurdu.

Onun başarı tanımı 
çok miktarda Nutella yemek.

Ama başarıya ben ulaşmalıyım.

Bu iş benim sorumluluğumda.
Görüşüm önemli.

Bu, algoritmaların ilk kuralı.

Algoritmalar, 
kodların içine gömülmüş fikirlerdir.

İnsanların algoritmalar hakkındaki
görüşlerinden farklı bir şey bu.

İnsanlar algoritmaların tarafsız, 
doğru ve bilimsel olduğunu düşünür.

Bu bir pazarlama hilesi.

Algoritmalara güvenmeniz

ve onlardan korkmanız için

bir pazarlama hilesidir 
çünkü matematikten de korkarsınız

ama sayılara güvenirsiniz.

Büyük veriye körü körüne inanırsak
çok şey yanlış gidebilir.

Bu Kiri Soares.
Brooklyn'de okul müdürü.

2011'de öğretmenlerin 
'katma değer modeli' adında

gizli, karışık bir algoritma ile

puanlandıklarını söyledi.

"Formülasyonu bana göster,
sana içeriğini açıklayayım" dedim.

Cevap verdi: 
"Doğrusu formülasyonu almaya çalıştım

fakat eğitim birimi bana
bunun matematiksel olduğunu

ve içeriğini anlamayacağımı söyledi".

Daha kötüye gidiyor.

The New York Post, 
"Bilgiye Özgürlük Hareketi" kapsamındaki

talebi sonucu öğretmenlerin 
isim ve puanlarını temin edip

adeta öğretmen ayıplama
eylemi olarak sonuçları yayımladı.

Aynı yollarla formül ve kaynak kodunu
almaya çalıştığımda

bunu alamayacağım söylendi.
Talebim reddedildi.

Sonra New York'ta hiç kimsenin

bu formüle erişimi olmadığını öğrendim.

Kimse içeriğini bilmiyor, anlamıyor.

Sonra Gary Rubinstein adında 
zeki biri olaya dâhil oldu.

Rubinstein, New York Post verisindeki
665 öğretmenin aslında iki tane

yani mükerrer puanı olduğunu keşfetti.

Bu ancak, öğretmenler 
7 ve 8'inci sınıflara

ders veriyor olsaydı oluşabilirdi.

Rubinstein, sonuçların grafiğini çizdi.

Her nokta bir öğretmeni temsil ediyor.

(Kahkahalar)

Nedir bu?

(Kahkahalar)

Bu asla kişileri değerlendirmek için
kullanılmamalıydı.

Tıpkı rasgele bir sayı üreticisi gibi.

(Alkışlar)

Ama kullanıldı.

Bu Sarah Wysocki.

Diğer 205 öğretmen ile birlikte

Washington'ta görevine son verildi.

Oysa okul müdürü ve veliler

kendisinden çok memnundu.

Burada başta yapay zeka uzmanları

ve veri bilimciler olmak üzere
ne düşündüğünüzü biliyorum.

Muhtemelen "Böyle tutarsız bir
algoritma oluşturmazdım" diyorsunuz.

Oysa algoritmalar hatalı kurulabilir

ve kötü niyetle oluşturulmasalar da
yıkıcı sonuçları olabilir.

Kötü tasarlanmış bir uçak

kaza yapar ve herkes hatayı görür,

oysa algoritma kötü tasarlandığında

zarar vermeye sessizce,
uzun süre devam edebilir.

Bu Roger Ailes.

(Kahkahalar)

Fox News kanalını 1996'da kurdu.

Kanalda 20'den fazla kadın 
taciz iddiasıyla şikayetçi oldu.

Haber kanalında başarıya ulaşmalarının
engellendiğini söylediler.

Görevi geçen sene sonlandırıldı

ama problemlerin devam ettiğini öğrendik.

Bu, şu soruyu akla getiriyor:

Fox News, temiz bir sayfa açmak
için ne yapmalı?

İşe alım süreçlerini 
makine öğrenmesine dayalı

bir algoritma ile değiştirseler ne olur?

Kulağa iyi geliyor, değil mi?

Bir düşünün.

Veri ne olurdu?

Son 21 yılda kanala yapılan
iş başvuruları veri seçimi için

mantıklı olur.

Peki ya buradaki 'başarının tanımı' nedir?

Makul bir karar şöyle olurdu;

Fox News'da kim başarılı?

Diyelim ki 4 sene orada kalmış,

en az 1 kez terfi almış kişiler.

Kulağa mantıklı geliyor.

Sonra algoritma oluşturulurdu.

Kimlerin başarıya ulaştığını öğrenmek,

geçmişte ne tür başvuruların
başarıya ulaştığını görmek için

algoritma oluşturulurdu.

Mevcut iş başvurularının bulunduğu havuza

bu yöntem uygulansa ne olabilirdi,
düşünün.

Geçmişte başarılı olanlar gibi görünmeyen

kadınları filtreleyebilirdi.

Eğer sadece umarsızca

kör bir şekilde kullanırsanız

algoritmalar
süreçleri daha adil hale getirmez.

Geçmişteki uygulamalarımızı,

kalıplarımızı tekrarlar durur.

Otomatikmen kalıcı hale gelir.

Mükemmel bir dünyada yaşasaydık
bu iyi olurdu

fakat dünya mükemmel değil.

Şunu da söyleyeyim, pek çok şirketin
yüz kızartıcı davası yoktur

fakat veriyi takip etmeleri

ve veriye odaklanmaları söylenen

veri bilimcileri vardır.

Bunun ne anlama geldiğini düşünün.

Çünkü hepimizin ön yargıları var,
ki bu cinsiyetçiliği veya başka bir

ayrımcılığın kodlanabileceği
anlamına gelebilir.

Düşünce deneyi yapalım

çünkü bunu seviyorum:

Tüm şehirler ve mahallelerinin
ırk bakımından

ötekileştirildiği bir toplumda

polisler suç aramak için

sadece azınlık mahallelerine gidiyor.

Yakalamalar epey taraflı olurdu.

Bu sürecin yönetiminde
gelecek suçların nerede olacağını öngören

ve maaş ödenen 
veri bilimcileri olsa ne olurdu?

Azınlık mahalleleri.

Veya bir sonraki suçlunun kim
olacağını öngörmek için?

Bir azınlık.

Veri bilimcileri, modellerinin ne kadar

iyi ve uygulanabilir olduğu konusunda

övünürlerdi
ve haklı olurlardı da.

Şu an gerçeklik bu kadar keskin değil,
ama pek çok bölgede

taraflı davranıldığını gösteren

polis ve hukuk sistemi verisi

ayrımcılık yapıldığını gösteriyor.

Aslına bakılırsa suçların meydana geleceği

sıcak bölgeleri öngörüyoruz.

Hatta bireysel suçluluk konusunda da

öngörü yapıyoruz.

ProPublica isimli organizasyon

Florida'da hakimlerce kullanılan,

'suçun tekrarlama riski' adı verilen

algoritmaya baktılar.

Algoritmada Bernard, soldaki siyah kişi,
10 üzerinden 10 puan aldı.

Dylan, sağdaki kişi, 
10 üzerinden 3 puan.

10 üzerinden 10 yüksek risk.
10 üzerinden 3 düşük risk.

Her ikisi de uyuşturucu bulundurmaktan
göz altına alındı.

Her ikisinin de sabıka kaydı var.

Ama Dylan'ın ağır suçu varken

Bernard'ın yoktu.

Bu önemli çünkü puan yükseldikçe

uzun süreli ceza alma ihtimali artıyor.

Neler oluyor?

Veri manipülasyonu.

Bu, teknoloji uzmanlarının çirkin
gerçekleri kara kutulu algoritmalarla

gizledikleri bir süreç.

Bunun objektif

ve ideal olduğunu söylüyorlar.

Gizli, önemli ve yıkıcı sonuçları olan

algoritmalar için bir deyim türettim:

"Matematiksel yıkım silahları"

(Kahkahalar)

(Alkışlar)

Bunlar her yerdeler
ve her yerde olmaları hata sonucu değil.

Bunlar özel amaç için
özel algoritmalar üreten

özel şirketler.

Öğretmenler ve polisler ile ilgili
söylediklerim bile

özel şirketler tarafından üretilip

kamu kurumlarına satıldı.

Buna onların "özel tarifi" diyorlar

ve bu yüzden içeriği ile
ilgili konuşmuyorlar.

Bu bir tür özel güç.

Kamu otoritesini kullanarak kar ediyorlar.

Tüm bunların özel sektörde olduğu

ve sektörde rekabet olduğu için
serbest piyasanın

bu sorunu çözeceğini düşünüyorsanız

sorunu çözmeyecek.

Adaletsizlik ile elde edilen
önemli miktarda para var.

Ayrıca ekonomik olarak 
rasyonel karar alıcılar değiliz.

Farkında olmadığımız
ön yargılarımız var.

Farkında olmasak 
ve öyle olmayı dilemesek bile

kafa tasçı ve dar kafalıyız.

Bunun böyle olduğunuz biliyoruz,

çünkü sosyologlar yaptıkları deneyler ile

öyle olduğumuzu gösterdiler.

Deneyde aynı yeteneklere sahip insanların

çok sayıda iş başvurusu vardı.
Kimi başvurular siyah,

kimi başvurular beyaz insanı
andıran isimlerle yapıldı.

Sonuç her zaman hayal kırıklığıydı.

Bizler farkında olmasak da taraflıyız

ve taraflılığımızı, 
seçtiğimiz veriler ile

algoritmalara dahil ediyoruz.

Mesela ben erişteleri es geçtim.

Onların yemek olmadığını düşündüm.

Ancak geçmiş deneyimleri

ve başarı tanımlarını 
baz alarak seçtiğimiz veriye

nasıl güvenebiliriz ve algoritmaların
sağlıklı olacağını nasıl bekleyebiliriz?

Bunu yapamayız. 
Algoritmaları test etmemiz gerekir.

Algoritmaların doğruluklarını
test etmeliyiz.

İyi haber şu ki bunu yapabiliriz.

Algoritmalar kontrol edilebilir

ve kontroller bize gerçeği söyleyebilir.

Algoritmaların hatalarını giderebiliriz.

Ben buna, 'algoritma denetimi'
adını veriyorum

ve size bundan bahsedeyim.

Öncelikle verinin doğruluğu testi.

Bahsettiğim suçun tekrarlama
riski algoritmasında

verinin doğruluğu testi şu anlama gelir:

Amerika'da beyaz ve siyahlar arasında
esrar tüketimi aynı ölçüde yaygın,

oysa siyahların tutuklanma ihtimalleri

bölgeye bağlı olarak 
dört veya beş kat fazla.

Diğer suçlarda 
bu tür bir taraflılık nasıldır

ve bunu nasıl inceleriz?

İkincisi başarının tanımı hakkında düşünüp

onu gözden geçirmeliyiz.

İşe alım algoritmasından
bahsetmiştim, hatırlayın.

Şirkette 4 yıl kalıp 
en az bir kez terfi alan kişi.

Kendisini başarılı tanımlamıştık

ama kendisi ayrıca kültürlerince
desteklenen bir kişi.

Bu da aslında bir taraflılık olabilir.

Bu iki şeyi ayırmamız gerekiyor.

Mesela orkestralara yönelik 'kör seçim'

adı verilen seçimlere bakalım.

Bu uygulamada ses sınavında olan kişiler

perdenin arkasında
bulunduğundan görünmüyor.

Sadece dinlediği konusunda

bir sonuca ulaşan insanları düşünün.

Herhangi bir şeyden dikkatleri dağılmıyor.

Orkestra için 'kör seçim' 
başladığından beri

orkestralardaki kadın sayısı 5 kat arttı.

Sonra kesinliği göz önünde
bulundurmalıyız.

Bu öğretmenlere için katma değer modelinin
anında başarısız olacağı aşama olurdu.

Elbette hiçbir algoritma mükemmel değil,

bu yüzden her algoritmanın
hatalarını dikkate almalıyız.

Bu hatalar ne sıklıkla oluşuyor,
hangileri modeli başarısız kılıyor?

Başarısızlığın maliyeti ne?

Son aşamada

algoritmaların uzun dönemli etkilerini,

geri besleme döngülerini
göz önünde bulundurmalıyız.

Kulağa soyut geliyor
ama Facebook yazılımcıları

sadece arkadaşlarımızın paylaşımını
görmemize karar vermeden önce

bunun üzerinde düşünseydi
nasıl olurdu, hayal edin.

İki mesajım var. 
Birincisi veri bilimciler için:

Bizler neyin doğru olduğuna
karar verenler olmamalıyız.

Bizler toplumlarda meydana gelen 
etik tartışmaların

tercümanları olmalıyız.

(Alkışlar)

Ve geri kalanlar,

veri bilimci olmayanlar:

Bu herhangi bir matematik testi değil.

Bu bir politik mücadele.

Bizler algoritma amirlerinden
sorumluluk talep etmeliyiz.

(Alkışlar)

Büyük verideki kör inanç dönemi bitmeli.

Teşekkür ederim.

(Alkışlar)