Algoritmalar her yerde.
Kazananları kaybedenlerden ayırıyor.
Kazananlar ya işi alıyor
ya da iyi bir kredi kartı teklifi.
Kaybedenler iş görüşmesine bile çağrılmaz
veya sigorta primi için daha fazla ödeme yaparlar.
Doğrulama sistemi olmayan, anlamadığımız
gizli formülasyonlar ile puanlanıyoruz.
Burada şu soru akla geliyor:
Peki ya algoritmalar hatalıysa?
Algoritma oluşturmak için 2 şey gerekli:
Geçmişte ne olduğunu gösteren veri,
o her zaman aradığınız
ve bulmayı umduğunuz başarı tanımına.
Sonuca ulaşmak için algoritma çalıştırırsınız.
Algoritma başarı ile nelerin bağlantılı olduğunu keşfeder.
Hangi durum başarıya ulaştırır?
Aslında herkes algoritma kullanır.
Sadece yazılı olarak formüle etmezler.
Size bir örnek vereyim.
Aileme yemek yapmak için her gün algoritma kullanırım.
Kullandığım veri
mutfağımdaki malzemeler,
zaman,
tutkudur
ve bu verileri düzene koyarım.
Bu arada, Japon erişte paketlerini yemekten saymıyorum.
(Kahkahalar)
Başarı tanımım şudur:
Çocuklarım sebzeleri yerse yemeğim başarılıdır.
En küçük oğluma sorulsaydı bu tanım farklı olurdu.
Onun başarı tanımı çok miktarda Nutella yemek.
Ama başarıya ben ulaşmalıyım.
Bu iş benim sorumluluğumda. Görüşüm önemli.
Bu, algoritmaların ilk kuralı.
Algoritmalar, kodların içine gömülmüş fikirlerdir.
İnsanların algoritmalar hakkındaki görüşlerinden farklı bir şey bu.
İnsanlar algoritmaların tarafsız, doğru ve bilimsel olduğunu düşünür.
Bu bir pazarlama hilesi.
Algoritmalara güvenmeniz
ve onlardan korkmanız için
bir pazarlama hilesidir çünkü matematikten de korkarsınız
ama sayılara güvenirsiniz.
Büyük veriye körü körüne inanırsak çok şey yanlış gidebilir.
Bu Kiri Soares. Brooklyn'de okul müdürü.
2011'de öğretmenlerin 'katma değer modeli' adında
gizli, karışık bir algoritma ile
puanlandıklarını söyledi.
"Formülasyonu bana göster, sana içeriğini açıklayayım" dedim.
Cevap verdi: "Doğrusu formülasyonu almaya çalıştım
fakat eğitim birimi bana bunun matematiksel olduğunu
ve içeriğini anlamayacağımı söyledi".
Daha kötüye gidiyor.
The New York Post, "Bilgiye Özgürlük Hareketi" kapsamındaki
talebi sonucu öğretmenlerin isim ve puanlarını temin edip
adeta öğretmen ayıplama eylemi olarak sonuçları yayımladı.
Aynı yollarla formül ve kaynak kodunu almaya çalıştığımda
bunu alamayacağım söylendi. Talebim reddedildi.
Sonra New York'ta hiç kimsenin
bu formüle erişimi olmadığını öğrendim.
Kimse içeriğini bilmiyor, anlamıyor.
Sonra Gary Rubinstein adında zeki biri olaya dâhil oldu.
Rubinstein, New York Post verisindeki 665 öğretmenin aslında iki tane
yani mükerrer puanı olduğunu keşfetti.
Bu ancak, öğretmenler 7 ve 8'inci sınıflara
ders veriyor olsaydı oluşabilirdi.
Rubinstein, sonuçların grafiğini çizdi.
Her nokta bir öğretmeni temsil ediyor.
(Kahkahalar)
Nedir bu?
(Kahkahalar)
Bu asla kişileri değerlendirmek için kullanılmamalıydı.
Tıpkı rasgele bir sayı üreticisi gibi.
(Alkışlar)
Ama kullanıldı.
Bu Sarah Wysocki.
Diğer 205 öğretmen ile birlikte
Washington'ta görevine son verildi.
Oysa okul müdürü ve veliler
kendisinden çok memnundu.
Burada başta yapay zeka uzmanları
ve veri bilimciler olmak üzere ne düşündüğünüzü biliyorum.
Muhtemelen "Böyle tutarsız bir algoritma oluşturmazdım" diyorsunuz.
Oysa algoritmalar hatalı kurulabilir
ve kötü niyetle oluşturulmasalar da yıkıcı sonuçları olabilir.
Kötü tasarlanmış bir uçak
kaza yapar ve herkes hatayı görür,
oysa algoritma kötü tasarlandığında
zarar vermeye sessizce, uzun süre devam edebilir.
Bu Roger Ailes.
(Kahkahalar)
Fox News kanalını 1996'da kurdu.
Kanalda 20'den fazla kadın taciz iddiasıyla şikayetçi oldu.
Haber kanalında başarıya ulaşmalarının engellendiğini söylediler.
Görevi geçen sene sonlandırıldı
ama problemlerin devam ettiğini öğrendik.
Bu, şu soruyu akla getiriyor:
Fox News, temiz bir sayfa açmak için ne yapmalı?
İşe alım süreçlerini makine öğrenmesine dayalı
bir algoritma ile değiştirseler ne olur?
Kulağa iyi geliyor, değil mi?
Bir düşünün.
Veri ne olurdu?
Son 21 yılda kanala yapılan iş başvuruları veri seçimi için
mantıklı olur.
Peki ya buradaki 'başarının tanımı' nedir?
Makul bir karar şöyle olurdu;
Fox News'da kim başarılı?
Diyelim ki 4 sene orada kalmış,
en az 1 kez terfi almış kişiler.
Kulağa mantıklı geliyor.
Sonra algoritma oluşturulurdu.
Kimlerin başarıya ulaştığını öğrenmek,
geçmişte ne tür başvuruların başarıya ulaştığını görmek için
algoritma oluşturulurdu.
Mevcut iş başvurularının bulunduğu havuza
bu yöntem uygulansa ne olabilirdi, düşünün.
Geçmişte başarılı olanlar gibi görünmeyen
kadınları filtreleyebilirdi.
Eğer sadece umarsızca
kör bir şekilde kullanırsanız
algoritmalar süreçleri daha adil hale getirmez.
Geçmişteki uygulamalarımızı,
kalıplarımızı tekrarlar durur.
Otomatikmen kalıcı hale gelir.
Mükemmel bir dünyada yaşasaydık bu iyi olurdu
fakat dünya mükemmel değil.
Şunu da söyleyeyim, pek çok şirketin yüz kızartıcı davası yoktur
fakat veriyi takip etmeleri
ve veriye odaklanmaları söylenen
veri bilimcileri vardır.
Bunun ne anlama geldiğini düşünün.
Çünkü hepimizin ön yargıları var, ki bu cinsiyetçiliği veya başka bir
ayrımcılığın kodlanabileceği anlamına gelebilir.
Düşünce deneyi yapalım
çünkü bunu seviyorum:
Tüm şehirler ve mahallelerinin ırk bakımından
ötekileştirildiği bir toplumda
polisler suç aramak için
sadece azınlık mahallelerine gidiyor.
Yakalamalar epey taraflı olurdu.
Bu sürecin yönetiminde gelecek suçların nerede olacağını öngören
ve maaş ödenen veri bilimcileri olsa ne olurdu?
Azınlık mahalleleri.
Veya bir sonraki suçlunun kim olacağını öngörmek için?
Bir azınlık.
Veri bilimcileri, modellerinin ne kadar
iyi ve uygulanabilir olduğu konusunda
övünürlerdi ve haklı olurlardı da.
Şu an gerçeklik bu kadar keskin değil, ama pek çok bölgede
taraflı davranıldığını gösteren
polis ve hukuk sistemi verisi
ayrımcılık yapıldığını gösteriyor.
Aslına bakılırsa suçların meydana geleceği
sıcak bölgeleri öngörüyoruz.
Hatta bireysel suçluluk konusunda da
öngörü yapıyoruz.
ProPublica isimli organizasyon
Florida'da hakimlerce kullanılan,
'suçun tekrarlama riski' adı verilen
algoritmaya baktılar.
Algoritmada Bernard, soldaki siyah kişi, 10 üzerinden 10 puan aldı.
Dylan, sağdaki kişi, 10 üzerinden 3 puan.
10 üzerinden 10 yüksek risk. 10 üzerinden 3 düşük risk.
Her ikisi de uyuşturucu bulundurmaktan göz altına alındı.
Her ikisinin de sabıka kaydı var.
Ama Dylan'ın ağır suçu varken
Bernard'ın yoktu.
Bu önemli çünkü puan yükseldikçe
uzun süreli ceza alma ihtimali artıyor.
Neler oluyor?
Veri manipülasyonu.
Bu, teknoloji uzmanlarının çirkin gerçekleri kara kutulu algoritmalarla
gizledikleri bir süreç.
Bunun objektif
ve ideal olduğunu söylüyorlar.
Gizli, önemli ve yıkıcı sonuçları olan
algoritmalar için bir deyim türettim:
"Matematiksel yıkım silahları"
(Kahkahalar)
(Alkışlar)
Bunlar her yerdeler ve her yerde olmaları hata sonucu değil.
Bunlar özel amaç için özel algoritmalar üreten
özel şirketler.
Öğretmenler ve polisler ile ilgili söylediklerim bile
özel şirketler tarafından üretilip
kamu kurumlarına satıldı.
Buna onların "özel tarifi" diyorlar
ve bu yüzden içeriği ile ilgili konuşmuyorlar.
Bu bir tür özel güç.
Kamu otoritesini kullanarak kar ediyorlar.
Tüm bunların özel sektörde olduğu
ve sektörde rekabet olduğu için serbest piyasanın
bu sorunu çözeceğini düşünüyorsanız
sorunu çözmeyecek.
Adaletsizlik ile elde edilen önemli miktarda para var.
Ayrıca ekonomik olarak rasyonel karar alıcılar değiliz.
Farkında olmadığımız ön yargılarımız var.
Farkında olmasak ve öyle olmayı dilemesek bile
kafa tasçı ve dar kafalıyız.
Bunun böyle olduğunuz biliyoruz,
çünkü sosyologlar yaptıkları deneyler ile
öyle olduğumuzu gösterdiler.
Deneyde aynı yeteneklere sahip insanların
çok sayıda iş başvurusu vardı. Kimi başvurular siyah,
kimi başvurular beyaz insanı andıran isimlerle yapıldı.
Sonuç her zaman hayal kırıklığıydı.
Bizler farkında olmasak da taraflıyız
ve taraflılığımızı, seçtiğimiz veriler ile
algoritmalara dahil ediyoruz.
Mesela ben erişteleri es geçtim.
Onların yemek olmadığını düşündüm.
Ancak geçmiş deneyimleri
ve başarı tanımlarını baz alarak seçtiğimiz veriye
nasıl güvenebiliriz ve algoritmaların sağlıklı olacağını nasıl bekleyebiliriz?
Bunu yapamayız. Algoritmaları test etmemiz gerekir.
Algoritmaların doğruluklarını test etmeliyiz.
İyi haber şu ki bunu yapabiliriz.
Algoritmalar kontrol edilebilir
ve kontroller bize gerçeği söyleyebilir.
Algoritmaların hatalarını giderebiliriz.
Ben buna, 'algoritma denetimi' adını veriyorum
ve size bundan bahsedeyim.
Öncelikle verinin doğruluğu testi.
Bahsettiğim suçun tekrarlama riski algoritmasında
verinin doğruluğu testi şu anlama gelir:
Amerika'da beyaz ve siyahlar arasında esrar tüketimi aynı ölçüde yaygın,
oysa siyahların tutuklanma ihtimalleri
bölgeye bağlı olarak dört veya beş kat fazla.
Diğer suçlarda bu tür bir taraflılık nasıldır
ve bunu nasıl inceleriz?
İkincisi başarının tanımı hakkında düşünüp
onu gözden geçirmeliyiz.
İşe alım algoritmasından bahsetmiştim, hatırlayın.
Şirkette 4 yıl kalıp en az bir kez terfi alan kişi.
Kendisini başarılı tanımlamıştık
ama kendisi ayrıca kültürlerince desteklenen bir kişi.
Bu da aslında bir taraflılık olabilir.
Bu iki şeyi ayırmamız gerekiyor.
Mesela orkestralara yönelik 'kör seçim'
adı verilen seçimlere bakalım.
Bu uygulamada ses sınavında olan kişiler
perdenin arkasında bulunduğundan görünmüyor.
Sadece dinlediği konusunda
bir sonuca ulaşan insanları düşünün.
Herhangi bir şeyden dikkatleri dağılmıyor.
Orkestra için 'kör seçim' başladığından beri
orkestralardaki kadın sayısı 5 kat arttı.
Sonra kesinliği göz önünde bulundurmalıyız.
Bu öğretmenlere için katma değer modelinin anında başarısız olacağı aşama olurdu.
Elbette hiçbir algoritma mükemmel değil,
bu yüzden her algoritmanın hatalarını dikkate almalıyız.
Bu hatalar ne sıklıkla oluşuyor, hangileri modeli başarısız kılıyor?
Başarısızlığın maliyeti ne?
Son aşamada
algoritmaların uzun dönemli etkilerini,
geri besleme döngülerini göz önünde bulundurmalıyız.
Kulağa soyut geliyor ama Facebook yazılımcıları
sadece arkadaşlarımızın paylaşımını görmemize karar vermeden önce
bunun üzerinde düşünseydi nasıl olurdu, hayal edin.
İki mesajım var. Birincisi veri bilimciler için:
Bizler neyin doğru olduğuna karar verenler olmamalıyız.
Bizler toplumlarda meydana gelen etik tartışmaların
tercümanları olmalıyız.
(Alkışlar)
Ve geri kalanlar,
veri bilimci olmayanlar:
Bu herhangi bir matematik testi değil.
Bu bir politik mücadele.
Bizler algoritma amirlerinden sorumluluk talep etmeliyiz.
(Alkışlar)
Büyük verideki kör inanç dönemi bitmeli.
Teşekkür ederim.
(Alkışlar)