Algoritmalar her yerde.
Kazananları kaybedenlerden ayırıyor.
Kazananlar ya işi alıyor
ya da iyi bir kredi kartı teklifi.
Kaybedenler iş görüşmesine bile çağrılmaz
veya sigorta primi için
daha fazla ödeme yaparlar.
Doğrulama sistemi olmayan,
anlamadığımız
gizli formülasyonlar ile puanlanıyoruz.
Burada şu soru akla geliyor:
Peki ya algoritmalar hatalıysa?
Algoritma oluşturmak için 2 şey gerekli:
Geçmişte ne olduğunu gösteren veri,
o her zaman aradığınız
ve bulmayı umduğunuz başarı tanımına.
Sonuca ulaşmak için
algoritma çalıştırırsınız.
Algoritma başarı ile nelerin
bağlantılı olduğunu keşfeder.
Hangi durum başarıya ulaştırır?
Aslında herkes algoritma kullanır.
Sadece yazılı olarak formüle etmezler.
Size bir örnek vereyim.
Aileme yemek yapmak için
her gün algoritma kullanırım.
Kullandığım veri
mutfağımdaki malzemeler,
zaman,
tutkudur
ve bu verileri düzene koyarım.
Bu arada, Japon erişte paketlerini
yemekten saymıyorum.
(Kahkahalar)
Başarı tanımım şudur:
Çocuklarım sebzeleri yerse
yemeğim başarılıdır.
En küçük oğluma sorulsaydı
bu tanım farklı olurdu.
Onun başarı tanımı
çok miktarda Nutella yemek.
Ama başarıya ben ulaşmalıyım.
Bu iş benim sorumluluğumda.
Görüşüm önemli.
Bu, algoritmaların ilk kuralı.
Algoritmalar,
kodların içine gömülmüş fikirlerdir.
İnsanların algoritmalar hakkındaki
görüşlerinden farklı bir şey bu.
İnsanlar algoritmaların tarafsız,
doğru ve bilimsel olduğunu düşünür.
Bu bir pazarlama hilesi.
Algoritmalara güvenmeniz
ve onlardan korkmanız için
bir pazarlama hilesidir
çünkü matematikten de korkarsınız
ama sayılara güvenirsiniz.
Büyük veriye körü körüne inanırsak
çok şey yanlış gidebilir.
Bu Kiri Soares.
Brooklyn'de okul müdürü.
2011'de öğretmenlerin
'katma değer modeli' adında
gizli, karışık bir algoritma ile
puanlandıklarını söyledi.
"Formülasyonu bana göster,
sana içeriğini açıklayayım" dedim.
Cevap verdi:
"Doğrusu formülasyonu almaya çalıştım
fakat eğitim birimi bana
bunun matematiksel olduğunu
ve içeriğini anlamayacağımı söyledi".
Daha kötüye gidiyor.
The New York Post,
"Bilgiye Özgürlük Hareketi" kapsamındaki
talebi sonucu öğretmenlerin
isim ve puanlarını temin edip
adeta öğretmen ayıplama
eylemi olarak sonuçları yayımladı.
Aynı yollarla formül ve kaynak kodunu
almaya çalıştığımda
bunu alamayacağım söylendi.
Talebim reddedildi.
Sonra New York'ta hiç kimsenin
bu formüle erişimi olmadığını öğrendim.
Kimse içeriğini bilmiyor, anlamıyor.
Sonra Gary Rubinstein adında
zeki biri olaya dâhil oldu.
Rubinstein, New York Post verisindeki
665 öğretmenin aslında iki tane
yani mükerrer puanı olduğunu keşfetti.
Bu ancak, öğretmenler
7 ve 8'inci sınıflara
ders veriyor olsaydı oluşabilirdi.
Rubinstein, sonuçların grafiğini çizdi.
Her nokta bir öğretmeni temsil ediyor.
(Kahkahalar)
Nedir bu?
(Kahkahalar)
Bu asla kişileri değerlendirmek için
kullanılmamalıydı.
Tıpkı rasgele bir sayı üreticisi gibi.
(Alkışlar)
Ama kullanıldı.
Bu Sarah Wysocki.
Diğer 205 öğretmen ile birlikte
Washington'ta görevine son verildi.
Oysa okul müdürü ve veliler
kendisinden çok memnundu.
Burada başta yapay zeka uzmanları
ve veri bilimciler olmak üzere
ne düşündüğünüzü biliyorum.
Muhtemelen "Böyle tutarsız bir
algoritma oluşturmazdım" diyorsunuz.
Oysa algoritmalar hatalı kurulabilir
ve kötü niyetle oluşturulmasalar da
yıkıcı sonuçları olabilir.
Kötü tasarlanmış bir uçak
kaza yapar ve herkes hatayı görür,
oysa algoritma kötü tasarlandığında
zarar vermeye sessizce,
uzun süre devam edebilir.
Bu Roger Ailes.
(Kahkahalar)
Fox News kanalını 1996'da kurdu.
Kanalda 20'den fazla kadın
taciz iddiasıyla şikayetçi oldu.
Haber kanalında başarıya ulaşmalarının
engellendiğini söylediler.
Görevi geçen sene sonlandırıldı
ama problemlerin devam ettiğini öğrendik.
Bu, şu soruyu akla getiriyor:
Fox News, temiz bir sayfa açmak
için ne yapmalı?
İşe alım süreçlerini
makine öğrenmesine dayalı
bir algoritma ile değiştirseler ne olur?
Kulağa iyi geliyor, değil mi?
Bir düşünün.
Veri ne olurdu?
Son 21 yılda kanala yapılan
iş başvuruları veri seçimi için
mantıklı olur.
Peki ya buradaki 'başarının tanımı' nedir?
Makul bir karar şöyle olurdu;
Fox News'da kim başarılı?
Diyelim ki 4 sene orada kalmış,
en az 1 kez terfi almış kişiler.
Kulağa mantıklı geliyor.
Sonra algoritma oluşturulurdu.
Kimlerin başarıya ulaştığını öğrenmek,
geçmişte ne tür başvuruların
başarıya ulaştığını görmek için
algoritma oluşturulurdu.
Mevcut iş başvurularının bulunduğu havuza
bu yöntem uygulansa ne olabilirdi,
düşünün.
Geçmişte başarılı olanlar gibi görünmeyen
kadınları filtreleyebilirdi.
Eğer sadece umarsızca
kör bir şekilde kullanırsanız
algoritmalar
süreçleri daha adil hale getirmez.
Geçmişteki uygulamalarımızı,
kalıplarımızı tekrarlar durur.
Otomatikmen kalıcı hale gelir.
Mükemmel bir dünyada yaşasaydık
bu iyi olurdu
fakat dünya mükemmel değil.
Şunu da söyleyeyim, pek çok şirketin
yüz kızartıcı davası yoktur
fakat veriyi takip etmeleri
ve veriye odaklanmaları söylenen
veri bilimcileri vardır.
Bunun ne anlama geldiğini düşünün.
Çünkü hepimizin ön yargıları var,
ki bu cinsiyetçiliği veya başka bir
ayrımcılığın kodlanabileceği
anlamına gelebilir.
Düşünce deneyi yapalım
çünkü bunu seviyorum:
Tüm şehirler ve mahallelerinin
ırk bakımından
ötekileştirildiği bir toplumda
polisler suç aramak için
sadece azınlık mahallelerine gidiyor.
Yakalamalar epey taraflı olurdu.
Bu sürecin yönetiminde
gelecek suçların nerede olacağını öngören
ve maaş ödenen
veri bilimcileri olsa ne olurdu?
Azınlık mahalleleri.
Veya bir sonraki suçlunun kim
olacağını öngörmek için?
Bir azınlık.
Veri bilimcileri, modellerinin ne kadar
iyi ve uygulanabilir olduğu konusunda
övünürlerdi
ve haklı olurlardı da.
Şu an gerçeklik bu kadar keskin değil,
ama pek çok bölgede
taraflı davranıldığını gösteren
polis ve hukuk sistemi verisi
ayrımcılık yapıldığını gösteriyor.
Aslına bakılırsa suçların meydana geleceği
sıcak bölgeleri öngörüyoruz.
Hatta bireysel suçluluk konusunda da
öngörü yapıyoruz.
ProPublica isimli organizasyon
Florida'da hakimlerce kullanılan,
'suçun tekrarlama riski' adı verilen
algoritmaya baktılar.
Algoritmada Bernard, soldaki siyah kişi,
10 üzerinden 10 puan aldı.
Dylan, sağdaki kişi,
10 üzerinden 3 puan.
10 üzerinden 10 yüksek risk.
10 üzerinden 3 düşük risk.
Her ikisi de uyuşturucu bulundurmaktan
göz altına alındı.
Her ikisinin de sabıka kaydı var.
Ama Dylan'ın ağır suçu varken
Bernard'ın yoktu.
Bu önemli çünkü puan yükseldikçe
uzun süreli ceza alma ihtimali artıyor.
Neler oluyor?
Veri manipülasyonu.
Bu, teknoloji uzmanlarının çirkin
gerçekleri kara kutulu algoritmalarla
gizledikleri bir süreç.
Bunun objektif
ve ideal olduğunu söylüyorlar.
Gizli, önemli ve yıkıcı sonuçları olan
algoritmalar için bir deyim türettim:
"Matematiksel yıkım silahları"
(Kahkahalar)
(Alkışlar)
Bunlar her yerdeler
ve her yerde olmaları hata sonucu değil.
Bunlar özel amaç için
özel algoritmalar üreten
özel şirketler.
Öğretmenler ve polisler ile ilgili
söylediklerim bile
özel şirketler tarafından üretilip
kamu kurumlarına satıldı.
Buna onların "özel tarifi" diyorlar
ve bu yüzden içeriği ile
ilgili konuşmuyorlar.
Bu bir tür özel güç.
Kamu otoritesini kullanarak kar ediyorlar.
Tüm bunların özel sektörde olduğu
ve sektörde rekabet olduğu için
serbest piyasanın
bu sorunu çözeceğini düşünüyorsanız
sorunu çözmeyecek.
Adaletsizlik ile elde edilen
önemli miktarda para var.
Ayrıca ekonomik olarak
rasyonel karar alıcılar değiliz.
Farkında olmadığımız
ön yargılarımız var.
Farkında olmasak
ve öyle olmayı dilemesek bile
kafa tasçı ve dar kafalıyız.
Bunun böyle olduğunuz biliyoruz,
çünkü sosyologlar yaptıkları deneyler ile
öyle olduğumuzu gösterdiler.
Deneyde aynı yeteneklere sahip insanların
çok sayıda iş başvurusu vardı.
Kimi başvurular siyah,
kimi başvurular beyaz insanı
andıran isimlerle yapıldı.
Sonuç her zaman hayal kırıklığıydı.
Bizler farkında olmasak da taraflıyız
ve taraflılığımızı,
seçtiğimiz veriler ile
algoritmalara dahil ediyoruz.
Mesela ben erişteleri es geçtim.
Onların yemek olmadığını düşündüm.
Ancak geçmiş deneyimleri
ve başarı tanımlarını
baz alarak seçtiğimiz veriye
nasıl güvenebiliriz ve algoritmaların
sağlıklı olacağını nasıl bekleyebiliriz?
Bunu yapamayız.
Algoritmaları test etmemiz gerekir.
Algoritmaların doğruluklarını
test etmeliyiz.
İyi haber şu ki bunu yapabiliriz.
Algoritmalar kontrol edilebilir
ve kontroller bize gerçeği söyleyebilir.
Algoritmaların hatalarını giderebiliriz.
Ben buna, 'algoritma denetimi'
adını veriyorum
ve size bundan bahsedeyim.
Öncelikle verinin doğruluğu testi.
Bahsettiğim suçun tekrarlama
riski algoritmasında
verinin doğruluğu testi şu anlama gelir:
Amerika'da beyaz ve siyahlar arasında
esrar tüketimi aynı ölçüde yaygın,
oysa siyahların tutuklanma ihtimalleri
bölgeye bağlı olarak
dört veya beş kat fazla.
Diğer suçlarda
bu tür bir taraflılık nasıldır
ve bunu nasıl inceleriz?
İkincisi başarının tanımı hakkında düşünüp
onu gözden geçirmeliyiz.
İşe alım algoritmasından
bahsetmiştim, hatırlayın.
Şirkette 4 yıl kalıp
en az bir kez terfi alan kişi.
Kendisini başarılı tanımlamıştık
ama kendisi ayrıca kültürlerince
desteklenen bir kişi.
Bu da aslında bir taraflılık olabilir.
Bu iki şeyi ayırmamız gerekiyor.
Mesela orkestralara yönelik 'kör seçim'
adı verilen seçimlere bakalım.
Bu uygulamada ses sınavında olan kişiler
perdenin arkasında
bulunduğundan görünmüyor.
Sadece dinlediği konusunda
bir sonuca ulaşan insanları düşünün.
Herhangi bir şeyden dikkatleri dağılmıyor.
Orkestra için 'kör seçim'
başladığından beri
orkestralardaki kadın sayısı 5 kat arttı.
Sonra kesinliği göz önünde
bulundurmalıyız.
Bu öğretmenlere için katma değer modelinin
anında başarısız olacağı aşama olurdu.
Elbette hiçbir algoritma mükemmel değil,
bu yüzden her algoritmanın
hatalarını dikkate almalıyız.
Bu hatalar ne sıklıkla oluşuyor,
hangileri modeli başarısız kılıyor?
Başarısızlığın maliyeti ne?
Son aşamada
algoritmaların uzun dönemli etkilerini,
geri besleme döngülerini
göz önünde bulundurmalıyız.
Kulağa soyut geliyor
ama Facebook yazılımcıları
sadece arkadaşlarımızın paylaşımını
görmemize karar vermeden önce
bunun üzerinde düşünseydi
nasıl olurdu, hayal edin.
İki mesajım var.
Birincisi veri bilimciler için:
Bizler neyin doğru olduğuna
karar verenler olmamalıyız.
Bizler toplumlarda meydana gelen
etik tartışmaların
tercümanları olmalıyız.
(Alkışlar)
Ve geri kalanlar,
veri bilimci olmayanlar:
Bu herhangi bir matematik testi değil.
Bu bir politik mücadele.
Bizler algoritma amirlerinden
sorumluluk talep etmeliyiz.
(Alkışlar)
Büyük verideki kör inanç dönemi bitmeli.
Teşekkür ederim.
(Alkışlar)