Ho iniziato il mio primo lavoro
come programmatrice di computer
nel mio primo anno di college -
sostanzialmete un'adolescente.
Subito dopo ho cominciato a lavorare,
scrivendo software in una azienda,
un manager che lavorava nell'azienda
mi venne a trovare dove stavo,
e mi susssurrò,
"Può lui dirmi se sto mentendo?"
Non c'era nessun altro nella stanza.
"Chi può dire se stai mentendo?
E perché sussurriamo?"
Il manager indicò il computer
nella stanza.
"Può lui dirmi se sto mentendo?"
Ebbene, quel manager aveva una relazione
con la segretaria alla reception.
(Risate)
Ed ero ancora una adolescente.
Così gli sussurrai-urlai,
"Si, il computer può dire
se stai mentendo."
(Risate)
Bene, io risi, ma in effetti,
la risata era nei mei confronti.
Oggi, vi sono sistemi di calcolo
che possono scoprire gli stati emotivi
e pure la menzogna
tramite la elaborazione dei volti umani.
I pubblicitari ed anche i governi
sono molto interessati.
Sono diventata programmatrice di computer
perchè ero uno di quei giovani
pazzi per matematica e scienze
Ma lungo il mio percorso
ho imparato a conoscere le armi nucleari,
e mi sono proprio preoccupata
dell'etica della scienza.
Ero preoccupata.
Tuttavia, a causa della
mia situazione familiare,
dovevo iniziare a lavorare
al più presto.
Così mi sono detta, hey,
scegliamo un settore tecnico
dove posso trovare facilmente
un lavoro
e dove non devo aver a che fare
con qualche fastidiosa questione etica.
Così ho scelto i computer.
(Risate)
Bene, ah, ah!
Tutti ridono di me.
Ora, gli scienziati del computer
costruicono piattaforme
che controllano ciò che un miliardo
di persone vedono ogni giorno.
Stanno sviluppando auto
che potrebbero decidere chi investire.
Stanno anche costruendo macchine, armi,
che possono uccidere persone in guerra.
C'è sempre l'etica alla fine.
L'intelligenza delle macchine è qui.
Ora utilizziamo il computer
per prendere ogni tipo di decisioni,
ma anche nuovi tipi di decisioni.
Stiamo ponendo al computer domande
che non hanno una sola risposta giusta,
che sono soggettive
e sono aperte e cariche di valore.
Domandiamo cose come,
"Chi dovrebbe essere assunto?"
"Quale update e di quale amico
dovrebbe essere mostrato?"
"Quale pregiudicato sarà più
probabilmente recidivo?"
"Quale notizia o film
dovrebbe essere consigliato alla gente?"
Certo, stiamo usando
il computer da un po',
ma questo è diverso.
Questa è un svolta storica,
perchè non possiamo poggiarci sul computer
per queste decisioni soggettive
allo stesso modo in cui si usa il computer
per far volare gli aerei, costruire ponti,
andare sulla luna.
Sono più sicuri gli aerei?
Vacillano e cadono i ponti?
Qui abbiamo chiari livelli di riferimento,
su cui concordiamo,
ed abbiamo le leggi naturali per guidarci.
Non abbiamo tali riferimenti
per decidere
nelle complicate faccende umane.
Per rendere le cose più complicate,
il software sta diventando più potente,
ma anche meno trasparente e più complesso.
Recentemente, nell'ultima decennio,
algoritmi complessi hanno fatto
notevoli passi avanti.
Possono riconoscere le facce umane.
Possono decifrare la scrittura manuale.
possono individuare le frodi
sulle carte di credito e bloccare lo spam
e possono tradurre le lingue.
Possono individuare i tumori
nelle diagnostica per immagini.
Possono battere gli umani a scacchi
e nel GO
Molti di questi progressi derivano
dal metodo di "apprendimento automatico".
L'apprendimento automatico è diverso
dalla tradizionale programmazione,
dove si danno al computer istruzioni
dettagliate, precise ed accurate.
Sembra di più come se forniste
al sistema molti dati,
Inclusi dati non strutturati,
del tipo che generiamo
nella nostre vite digitali.
E il sistema impara
maneggiando quei dati.
Ed anche, crucialmente,
quei sistemi non lavorano
con la logica di una sola risposta.
Non forniscono una semplice risposta;
è piuttosto probabilistica:
"Questo è probabilmente
quello che state cercando."
Ora, la parte positiva è:
questo metodo è veramente potente.
Il capo sistema AI
di Google lo ha chiamato
"la irragionevole efficacia dei dati."
La parte negativa è,
non capiamo veramente
cosa il sistema ha imparato.
Infatti, questa è la sua forza.
Ciò è meno simile a dare
istruzioni ad un computer;
è più simile all'istruire
un cucciolo-macchina
che noi non capiamo
o controlliamo veramente
Questo è il nostro problema.
Il problema è quando questi sistemi
di intelligenza artificiale lavorano male.
Vi è anche il problema
di quando lavorano bene,
perchè non sappiamo chi è chi
quando il problema è soggettivo.
Non sappiamo come il computer ragioni.
Così, considerate un algoritmo
per le assunzioni--
un sistema per assumere la gente,
usando l'apprendimento automatico.
Un tale sistema sarebbe stato formato
sui dati dei precedenti assunti
e istruito per trovare ed assumere
le persone simili a quelli
più performanti in azienda.
Sembra giusto.
Una volta ho partecipato ad una conferenza
che coinvolgeva i responsabili
delle Risorse Umane e i manager aziendali,
persone ad alto livello,
che usavano questo sistema per assumere.
Erano super entusiasti.
Pensavano che ciò avrebbe portato ad
assunzioni più oggettive, meno distorte,
e dato alle donne e alle minoranze
una migliore opportunità
rispetto a manager umani influenzabili.
E guarda - le assunzioni fatte
dagli uomini sono distorte.
Lo so.
Voglio dire, in uno dei miei primi lavori,
come programmatrice,
la manager da cui dipendevo qualche volta
scendeva dove stavo
molto presto alla mattina
o molto tardi nel pomeriggio,
e mi diceva, "Zeynep,
andiamo a pranzo!"
Ero perplessa per la strana tempistica.
Sono le 4 del pomeriggio. Pranzo?
Ero al verde, ed è un pranzo gratis.
Quindi andavo sempre.
Più tardi capii cosa stava accadendo.
La manager da cui dipendevo
non aveva confessato ai livelli superiori
che il programmatore da lei assunto
per un importante lavoro era adolescente
che indossava jeans e sneaker al lavoro.
Lavoravo bene,
solo sembravo sbagliata,
ed era l'età e genere sbagliato.
Così asssumere senza considerare
genere e razza
certamante mi sembra giusto.
Ma con questi sistemi,
è più complicato, ed ecco perchè:
Ad oggi, i sistemi di calcolo
possono desumere qualsiasi cosa su di voi
dalle vostre briciole digitali,
pur se non avete reso pubbliche
quelle cose.
Possono desumere
il vostro orientamento sessuale,
caratteristiche personali,
orientamento politico.
Hanno potenza predittiva
con alto livello di accuratezza.
Ricordate -- per cose che
non avete mai dichiarato.
Questa è l'inferenza.
Ho un'amica che ha sviluppato
un sistema di elaborazione
per predire la probabilità
della depressione postpartum
dai dati delle reti sociali.
Risultati impressionanti!
Il suo sistema può predire
la probabilità della depressione
mesi prima dell'insorgere
di un qualsiasi sintomo --
mesi prima.
Nessun sintomo, ma c'è predizione.
Lei spera che sarà usato
per anticipare un intervento. Ottimo!
Ma ora consideratelo in una assunzione.
Così a quella conferenza dei manager
delle risorse umane,
ho avvicinato un manager di alto livello
in una grande azienda,
e le ho detto, "Guarda,
che succederebbe se, alla tua insaputa,
il vostro sistema elimina le persone
con un'alta probabilità di depressione?
Non sono depresse ora,
magari forse in futuro, più probabilmente.
Che succederebbe se eliminasse le donne
più probabilmente incinte
nei prossimi uno o due anni
ma che non lo sono ora?
E se assumeste persone aggressive perchè
questa è la vostra cultura aziendale?"
Non potete parlarne guardando
solo alle quote di genere.
Queste si possono bilanciare.
E dato che ciò è apprendimento automatico,
non programmazione tradizionale,
non c'è alcuna variabile di codifica
etichettata "alto rischio di depressione",
"maggior rischio di gravidanza,"
"gradazione di maschio aggressivo."
Non solo non sapete su cosa
il vostro sistema basi la selezione,
ma neppure sapete
dove cominciare a guardare.
E' una "scatola nera".
Ha una potenza predittiva
ma non la capite.
"Quali garanzie," chiesi, "avete
per essere sicuri che la scatola nera
non sta facendo qualcosa losco?"
Mi ha guardato come se avessi
schiacciato la coda a 10 cuccioli.
(Risate)
Mi fissò e disse,
"Non voglio sentire altro su questo."
E si girò andandosene via.
Considerate - non era maleducata.
Era chiaro: quello che non so non è un
mio problema. Va via, sguardo assassino.
(Risate)
Vedete, un tale sistema
può anche essere meno influenzata
in molti modi rispetto ai manager umani.
E potrebbe avere senso economico.
Ma può anche portare
a una stabile, ma furtiva
chiusura dal mercato del lavoro
di gente più a rischio di depressione.
Questo è il tipo di società
che vogliamo costruire,
senza neppure sapere che lo abbiamo fatto,
poichè abbiamo lasciato la decisione
a macchine che non comprendiamo del tutto?
Un altro problema è questo:
quei sistemi sono spesso addestrati
con dati generati dalle nostre azioni,
di impronta umana.
Bene, possono proprio riflettere
le nostre distorsioni o pregiudizi,
e questi sistemi
si portano dietro i nostri pregiudizi
e li amplificano
e ce li rispecchiano,
mentre ci diciamo,
"Stiamo facendo solo elaborazioni
oggettive e neutrali."
Ricerche effettuate su Google trovano,
che è meno probabile vengano mostrati
alle donne avvisi per lavori ben pagati.
E cercando nomi di Afro-Americani
è più probabile trovare avvisi
alludenti a storie criminali,
anche quando non ce ne sono.
Questi sono i pregiudizi nascosti
e gli algoritmi a scatola nera
che i ricercatori talvolta scoprono
ma che altre volte non conosciamo,
possono avere la conseguenza di
alterare la vita.
In Wisconsin, un accusato
è stato condannato a sei anni di prigione
per aver eluso la polizia.
Si può non saperlo,
ma gli algoritmi sono sempre più usati
per prendere decisioni giudiziarie.
Egli voleva sapere:
come è stato calcolato il punteggio?
Ma è una scatola nera
sul mercato
L'azienda si è rifiutata di far verificare
il suo algoritmo in una corte pubblica.
Ma ProPublica, associazione investigativa
non-profit, ha verificato quell'algoritmo
con i dati pubblici disponibili,
trovando che i risultati
erano influenzati
e la sua potenza predittiva era
niente più di una possibilità,
e che era sbagliato etichettare
accusati neri come futuri criminali
a livello doppio degli accusati bianchi.
Così considerate questo caso:
questa donna è in ritardo
nel prelevare la sua figlioccia
da scuola nella Contea di Broward,
Florida,
correndo per la strada
con un suo amico.
Vedono una bici da ragazzo non bloccata
ed uno scooter in una veranda
e stupidamente vi saltano su.
Come stavano scappando via,
una donna uscì fuori e disse,
"Ehi, quella bicicletta è mia!"
Essi la lascarono, andarono via,
ma furono arrestati.
Aveva sbagliato, era stata sciocca,
ma era appena diventata diciottenne.
Fu condannata per un paio
di crimini giovanili.
Nel frattempo, quell'uomo fu arrestato
per furto di merce al Home Depot --
merce per 85 dollari di valore,
un simile piccolo crimine.
Ma lui aveva due precedenti
condanne per rapina a mano armata
Ma l'algoritmo aveva valutato lei
ad alto rischio, non lui.
Due anni dopo, ProPublica trovò
che lei non era stata recidiva.
Ma le fu duro trovare
lavoro, visti i precedenti.
Lui, d'altra parte, fu recidivo
ed ora è in prigione per 8 anni
a causa di un successivo crimine.
Chiaramente, ci bisogna verificare
le scatole nere
per non dare loro questo
incontrollato potere.
(Applausi)
Le verifiche sono importanti,
ma da sole non risolvono tutti i problemi.
Prendete l'algoritmo di Facebook
per caricare le news--
sapete, quello che riordina tutto
e decide cosa mostrarvi
da tutti gli amici e le pagine seguite.
Dovrebbe mostrarvi un'altra foto di bimbo?
(Risate)
Una nota imbronciata da un conoscente?
Una importante ma scabrosa notizia?
Non c'è una risposta giusta.
Facebook ottimizza per
attraervi al loro sito:
i like, condividi, commenti
Nell'agosto 2014,
proteste scoppiarono a Ferguson, Missouri,
dopo l'uccisione di
un ragazzo Afro-Americano
da parte di un poliziotto bianco,
in circostanze oscure.
La notizia delle proteste era presente
sul mio caricatore Twitter
non filtrato da algoritmi,
ma nulla sul mio Facebook.
Era a causa dei miei amici su Facebook?
Ho disabilitato l'algoritmo di Facebook,
che non è facile, poichè Facebook
vuole mantenervi
sotto il controllo dell'algoritmo,
e vidi che i miei amici
parlavano di questo.
Era proprio l'algoritmo
che non me lo mostrava.
Ho approfondito ed ho trovato
che è un problema diffuso.
La storia di Ferguson non è
facile per l'algoritmo.
Non è likable.
Chi sta cliccando su "like?"
Non è neppure facile da commentarsi.
Senza like e commenti,
l'algoritmo tende a mostrare la notizia
ad ancora meno persone,
così non riusciamo a vederla.
Invece, questa settimana,
l'algoritmo di Facebook ha evidenziato
questo: il ALS Ice Bucket Challenge.
Causa benefica; svuota acqua ghiacciata,
dona alla beneficenza, bene.
Ottimo per agevolare l'algoritmo.
Una decisione automatica è stata
presa per noi
Una conversazione molto importante
ma scabrosa
può essere moderata,
essendo Facebook l'unica via trasmissiva.
Ora, infine, quei sistemi
possono sbagliare
in modi che non somigliano
a sistemi umani.
Vi ricordate Watson,
la macchina intelligente di IBM
che ha spazzato via
i contendenti umani a Jeopardy?
Era un grande giocatore.
Ma poi, alla finale di Jeopardy,
fu posta questa domanda a Watson:
"Il suo più grande aeroporto è intitolato
a un eroe della II Guerra Mondiale,
il suo secondo più grande
a una sua battaglia."
(Musica della finale di Jeopardy)
Chicago.
I due umani risposero bene.
Watson, da altra parte,
rispose "Toronto" --
per una città nella categoria USA!
L'impressionante sistema aveva sbagliato
come un umano non avrebbbe mai fatto,
neppure un alunno delle elementari.
L'intelligenza automatica può sbagliare
in modi non paragonabili
con l'approccio dell'errore umano,
in modi che non ci aspetteremmo
e per i quali siamo preparati.
Sarebbe pessimo non ottenere un lavoro
per il quale si è qualificati,
ma sarebbe tre volte peggio
se fosse causato da un errore software
in qualche sua subroutine.
(Risate)
Nel maggio 2010,
una crisi improvvisa a Wall Street,
alimentata da un erroneo ciclo di calcolo
nell'algoritmo di "vendi" di Wall Street
ha spazzato via un valore
di un trilione di dollari in 36 minuti.
Non voglio pensare
cosa significhi "errore"
nel contesto di armi letali autonome.
Si certo, gli umani sono sempre parziali.
I decisori e controllori,
nelle corti, nei notiziari, in guerra ...
commettono errori;
ma questo è proprio il mio punto.
non possiamo sfuggire
a queste difficili domande.
Non possiamo delegare
le nostre responsabilità alle macchine.
(Applausi)
L'intelligenza artificiale non ci dà
un permesso di "uscire dall'etica" gratis.
Lo scienziato sui dati Fred Benenson
lo chiama "pulizia matematica".
Necessitiamo del contrario.
Verso gli algoritmi occorre coltivare
la diffidenza, verifica e indagine.
Occorre essere sicuri che di sia
una responsabilità sugli algoritmi,
metodi di verifica e
una comprensibile trasparenza.
È necessario accettare
che portare matematica ed elaborazione
in relazioni umane caotiche e di valore,
non aggiunge obiettività;
piuttosto, la complessità degli affari
umani invade gli algoritmi.
Si, possiamo e dovremmo usare il calcolo
per aiutarci nel decidere meglio.
Ma dobbiamo mantenere la
responsabilità morale del giudizio,
e usare algoritmi dentro quel contesto,
non come gli strumenti per abdicare
e dare in outsource
le nostre responsibilità
a qualcun altro come fra umani.
La intelligenza delle macchine è qui.
Significa che dobbiamo tenerci più forti
ai valori ed etica umani.
Grazie.
(Applausi)