L'era della fede cieca nelle grandi masse di dati deve finire

Gli algoritmi stabiliscono a chi spetta un prestito, chi ottiene un colloquio di lavoro, chi ottiene un'assicurazione e molto altro -- ma non rendono le cose automaticamente giuste. La matematica e analista di dati Cathy O'Neil ha coniato un termine per gli algoritmi segreti, importanti e dannosi: "armi di distruzione matematica". Scoprite di più sulle intenzioni nascoste dietro le formule.

Gli algoritmi sono ovunque.

Selezionano e separano
i vincitori dai perdenti.

I vincitori ottengono il lavoro

o l'offerta di una buona
carta di credito.

I perdenti non ottengono
neanche un colloquio di lavoro

o pagano di più per l'assicurazione.

Siamo valutati da formule segrete
che non comprendiamo

che spesso non prevedono
sistemi cui poter fare ricorso.

Questo solleva la domanda:

e se gli algoritmi si sbagliano?

Per creare algoritmi servono due cose:

servono dati, cos'è avvenuto in passato,

e una definizione di successo,

ciò che state cercando
e spesso sperando di ottenere.

L'algoritmo si verifica
cercando, risolvendo.

Gli algoritmi chiariscono con precisione
ciò che è associato al successo,

quale situazione porta al successo.

In realtà, tutti usano algoritmi.

Solo che non li formalizzano
attraverso un codice scritto.

Vi faccio un esempio.

Io uso un algoritmo ogni giorno
per cucinare per la mia famiglia.

I dati che uso

sono ingredienti della mia cucina,

il tempo che ho,

l'ambizione che ho,

e curo quei dati.

Non considero cibo quei
pacchettini di noodles istantanei.

(Risate)

La mia definizione di successo é:

un pasto è ben riuscito
se i miei figli mangiano verdure.

Sarebbe molto diverso se fosse
mio figlio più piccolo a decidere.

Lui direbbe che il successo
è mangiare tanta Nutella.

Ma sono io a scegliere
cos'è il successo.

Comando io.
È la mia opinione che conta.

Questa è la prima regola degli algoritmi.

Gli algoritmi sono opinioni
racchiuse in codici.

È molto diverso da ciò che pensate,

che la maggior parte della gente
pensa degli algoritmi.

Si pensa che gli algoritmi siano
oggettivi e realistici e scientifici.

È un inganno del marketing.

È un inganno del marketing anche

quello di minacciarvi con gli algoritmi,

per convincervi a fidarvi
degli algoritmi e a temerli

perché vi fidate e avete paura
delle scienze matematiche.

Si può sbagliare tanto se riponiamo
una fiducia cieca in grandi masse di dati.

Lei è Kiri Soares. È preside
in una scuola superiore di Brooklyn.

Nel 2011, mi disse che
i suoi docenti erano valutati

con un complicato e segreto algoritmo

chiamato "modello di valore aggiunto".

Le ho detto: "Trova qual è
la formula e mostramela.

Così te la spiego."

Mi disse: "Ho provato
ad avere la formula,

ma il referente del mio Dipartimento
ha detto che era matematica

e non l'avrei capita".

Le cose peggiorano.

Il New York Post ha fatto una richiesta
secondo il Freedom of Information Act,

ha preso i nomi di tutti
gli insegnanti e i loro punteggi

e li ha divulgati esponendo
gli insegnanti alla pubblica gogna.

Quando ho chiesto le formule,
il codice sorgente,

attraverso gli stessi canali,

mi è stato detto
che non potevo averle.

Mi è stato negato.

Poi ho scoperto

che nessuno a New York
aveva accesso a quella formula.

Nessuno la capiva.

Poi qualcuno molto intelligente
è stato coinvolto, Gary Rubenstein.

Ha scoperto che 665 insegnanti
presenti nei dati del New York Post

in realtà avevano due punteggi.

Questo può accadere se insegnano

matematica in seconda e in terza media.

Decise di rappresentarli graficamente.

Ogni punto rappresenta un insegnante.

(Risate)

Cos'è questo?

(Risate)

Non avrebbero mai dovuto usarlo
per una valutazione individuale.

Sembra un generatore casuale di numeri.

(Applauso)

E lo era.

Lei è Sarah Wysocki.

È stata licenziata
con altri 205 insegnanti

dal distretto scolastico
di Washington DC,

nonostante le referenze
altamente positive da parte del preside

e da parte dei genitori dei suoi alunni.

So a cosa stanno pensando molti di voi,

soprattutto analisti, gli esperti
di Intelligenza Artificiale.

State pensando: "Io non farei mai
degli algoritmi così incoerenti".

Ma gli algoritmi possono sbagliare,

perfino causare effetti disastrosi
nonostante le buone intenzioni.

E mentre un aeroplano progettato male

precipita e può essere visto da tutti,

un algoritmo progettato male

può essere utilizzato per molto tempo
creando silenziosamente il caos.

Lui è Roger Ailes.

(Risate)

Ha fondato Fox News nel 1996.

Più di 20 donne lo hanno
accusato di molestie sessuali.

Hanno detto che a loro non era permesso
fare carriera a Fox News.

È stato cacciato l'anno scorso,
ma di recente abbiamo visto

che i problemi sono continuati.

Questo solleva la domanda:

cosa dovrebbe fare Fox News
per voltare veramente pagina?

E se sostituissero
il loro sistema di assunzione

con un algoritmo intelligente?

Sembra una buona idea, giusto?

Pensateci.

I dati, come sarebbero i dati?

Una scelta ragionevole potrebbe essere

gli ultimi 21 anni di domande
di assunzione a Fox News.

Ragionevole.

E come definire il successo?

Una scelta ragionevole sarebbe:

chi ha avuto successo a Fox News?

Ad esempio qualcuno che è stato lì,
diciamo, per quattro anni

ed è stato promosso
almeno una volta.

Sembra ragionevole.

E dopo l'algoritmo
dovrebbe essere preparato.

Sarebbe preparato a cercare le persone,
capire cosa conduce al successo,

che tipi di candidature hanno
storicamente portato al successo

secondo quella definizione.

Ora pensate a cosa succederebbe

se applicassimo questo
a un attuale campione di candidati.

Verrebbero escluse le donne

perché non rappresentano le persone
che hanno avuto successo in passato.

Gli algoritmi non rendono le cose giuste

se vengono applicati
allegramente e ciecamente.

Non rendono le cose giuste.

Ripetono le nostre prassi del passato,

i nostri modelli.

Automatizzano lo status quo.

Sarebbero straordinari
se vivessimo in un mondo perfetto,

ma non lo abbiamo.

Aggiungo che gran parte delle aziende
non ha cause legali imbarazzanti,

ma agli analisti di quelle aziende

viene detto di seguire i dati,

di focalizzarsi sull'accuratezza del dato.

Pensate a cosa significa.

Poiché tutti abbiamo pregiudizi, significa
che potrebbero codificare il sessismo

o qualsiasi altro tipo di intolleranza.

Conduco ricerche,

perché mi piacciono:

una società interamente segregata,

segregazione razziale,
tutte le città, tutti i quartieri,

dove si manda la polizia
solo nei quartieri periferici

a cercare il crimine.

I dati degli arresti sarebbero
intrisi di pregiudizi.

Cosa succederebbe se,
oltretutto, trovassimo gli analisti

e li pagassimo per prevedere
dove si verificherà il prossimo crimine?

Quartieri periferici
abitati dalle minoranze.

O per prevedere chi
sarà il prossimo criminale?

Uno della minoranza.

Gli analisti si vanterebbero
di quanto straordinari e accurati

sono i loro modelli,

e avrebbero ragione.

La realtà non è così drastica,
ma esistono gravi segregazioni

in molte città grandi e piccole,

e abbiamo ampia evidenza

di sistemi di dati investigativi
e giudiziari basati su pregiudizi.

In realtà siamo anche in grado
di anticipare i luoghi critici,

in cui si verificheranno i crimini.

Noi prevediamo, di fatto,
la criminalità individuale,

la criminalità dei singoli individui.

La nuova organizzazione ProPublica
ha recentemente esaminato

uno degli algoritmi
sul "rischio recidiva",

come vengono chiamati,

usati dai giudici in Florida
durante le sentenze.

Bernard, l'uomo di colore a sinistra,
ha avuto un punteggio di 10 su 10.

Dylan, sulla destra, 3 su 10.

10 su 10, rischio elevato.
3 su 10, rischio basso.

Erano entrambi processati
per possesso di droga.

Conosciuti dalla polizia,

ma Dylan aveva commesso un reato,

mentre Bernard no.

Questo è importante, perché
più il vostro punteggio è alto,

più è probabile che
la vostra condanna sia lunga.

Cosa sta succedendo?

Riciclaggio di dati.

È un processo con cui gli esperti
di tecnologia nascondono tremende verità

dentro la scatola nera degli algoritmi

e la definiscono oggettività;

la definiscono meritocrazia.

Quando sono segreti,
importanti e distruttivi,

ho coniato un termine
per questi algoritmi:

"Armi di distruzione matematica."

(Risata)

(Applauso)

Sono ovunque e non per errore.

Sono aziende private
che costruiscono algoritmi privati

per scopi privati.

Persino quelli di cui ho parlato
per gli insegnanti e la polizia

sono stati creati da compagnie private

e venduti alle istituzioni governative.

Li chiamano il loro
"ingrediente segreto",

ecco perché non possono parlarcene.

È anche un potere privato.

Ne stanno traendo vantaggio per esercitare
l'autorità dell'imperscrutabile.

Ora potreste pensare che,
visto che è tutto privato

e c'è la concorrenza,

forse il mercato libero
risolverà il problema.

Invece no.

Ci sono un sacco di soldi
da fare in modo scorretto.

Inoltre, noi non siamo
agenti economici razionali.

Abbiamo tutti dei pregiudizi.

Siamo tutti razzisti e faziosi
in modi che preferiremmo non essere,

in modi che neanche immaginiamo.

Ma lo sappiamo grazie
al complesso dei dati,

perché i sociologi lo hanno dimostrato

con gli esperimenti che fanno,

in cui mandano in giro
un mucchio di richieste di lavoro,

con uguali qualifiche,
ma alcune con nomi da bianchi,

altre con nomi da afro-americani,

e il risultato è sempre
deludente. Sempre.

Quindi, siamo noi ad avere pregiudizi,

e stiamo iniettando
quei pregiudizi negli algoritmi,

decidendo quali dati raccogliere,

come ho scelto di non pensare
a quei noodles istantanei,

ho deciso che era irrilevante.

Lo facciamo fidandoci di dati che
si riferiscono a prassi del passato

e scegliendo gli indicatori
per valutare il successo

Come possiamo aspettarci
che gli algoritmi ne escano indenni?

Non possiamo. Dobbiamo controllarli.

Dobbiamo controllarli
per garantirne l'imparzialità.

La buona notizia è che possiamo
verificarne l'imparzialità.

Gli algoritmi possono essere interrogati,

e ci diranno la verità ogni volta.

Possiamo sistemarli.
Possiamo renderli migliori.

Lo definisco un audit algoritmico,

e ve lo illustro.

Primo, controllo dell'integrità dei dati.

Per il rischio di recidività
degli algoritmi di cui ho parlato,

un controllo dell'integrità dei dati
significherebbe constatare il fatto

che negli US, la percentuale di bianchi
e neri che fumano erba è uguale

ma i neri hanno molte più
probabilità di essere arrestati,

da 4 o 5 volte di più,
a seconda della zona.

Che forma assume quel pregiudizio
in altre categorie criminologiche,

e come possiamo tenerne conto?

Secondo, dovremmo considerare
la definizione di successo,

sottoporla a verifica.

Ricordate l'algoritmo
delle assunzioni che ho illustrato?

Uno che mantiene il lavoro per quattro
anni ed è promosso una volta?

Quello è un impiegato di successo,

ma è anche un impiegato
sostenuto dalla loro cultura.

Detto questo, può esserci
anche un lieve pregiudizio.

Dobbiamo distinguere questi due aspetti.

Dovremmo prendere
le audizioni d'orchestra alla cieca

come esempio.

Quelle in cui chi fa il provino
sta dietro uno schermo.

Quello a cui voglio pensare

è che le persone che stanno ascoltando
hanno deciso cosa sia importante

e cosa non lo è,

e non si lasceranno distrarre.

da quando le audizioni d'orchestra
alla cieca sono iniziate,

il numero di donne
nelle orchestre è quintuplicato.

Poi dobbiamo considerare l'accuratezza.

È qui che il "modello di valore aggiunto"
per insegnanti fallisce immediatamente.

Nessun algoritmo è perfetto, certo,

quindi dobbiamo considerare
gli errori di ogni algoritmo.

Quanto spesso ci sono errori
e per chi fallisce questo modello?

Qual è il prezzo di quel fallimento?

Infine, dobbiamo considerare

gli effetti a lungo termine
degli algoritmi,

i cicli di feedback
che stanno generando.

Può sembrarvi un'astrazione,

ma immaginate se i tecnici di Facebook
lo avessero considerato

prima di decidere di mostrarci solo
le cose pubblicate dai nostri amici.

Ho altre due raccomandazioni,
una per gli analisti di dati là fuori.

Analisti: non dovremmo
essere gli arbitri della verità.

Dovremmo essere i traduttori
delle discussioni etiche che accadono

nella società.

(Applausi)

E per tutti gli altri,

i non-analisti di dati:

questo non è un esame di matematica.

Questa è una lotta politica.

Dobbiamo pretendere più trasparenza
dai signori degli algoritmi.

(Applausi)

L'era della fede cieca
nelle masse di dati deve finire.

Vi ringrazio molto.

(Applausi)