0:00:00.975,0:00:02.571
Gli algoritmi sono ovunque.

0:00:04.111,0:00:07.236
Selezionano e separano[br]i vincitori dai perdenti.

0:00:08.019,0:00:10.127
I vincitori ottengono il lavoro

0:00:10.127,0:00:12.160
o l'offerta di una buona[br]carta di credito.

0:00:12.160,0:00:14.955
I perdenti non ottengono[br]neanche un colloquio di lavoro

0:00:15.590,0:00:17.627
o pagano di più per l'assicurazione.

0:00:18.197,0:00:21.746
Siamo valutati da formule segrete[br]che non comprendiamo

0:00:22.675,0:00:25.892
che spesso non prevedono[br]sistemi cui poter fare ricorso.

0:00:26.810,0:00:28.556
Questo solleva la domanda:

0:00:28.560,0:00:31.473
e se gli algoritmi si sbagliano?

0:00:32.570,0:00:34.734
Per creare algoritmi servono due cose:

0:00:34.734,0:00:36.909
servono dati, cos'è avvenuto in passato,

0:00:36.909,0:00:38.820
e una definizione di successo,

0:00:38.820,0:00:41.321
ciò che state cercando[br]e spesso sperando di ottenere.

0:00:41.321,0:00:46.272
L'algoritmo si verifica[br]cercando, risolvendo.

0:00:46.276,0:00:49.745
Gli algoritmi chiariscono con precisione[br]ciò che è associato al successo,

0:00:49.745,0:00:52.202
quale situazione porta al successo.

0:00:52.881,0:00:54.643
In realtà, tutti usano algoritmi.

0:00:54.667,0:00:57.379
Solo che non li formalizzano[br]attraverso un codice scritto.

0:00:57.379,0:00:58.757
Vi faccio un esempio.

0:00:58.761,0:01:02.097
Io uso un algoritmo ogni giorno[br]per cucinare per la mia famiglia.

0:01:02.101,0:01:03.597
I dati che uso

0:01:04.394,0:01:06.073
sono ingredienti della mia cucina,

0:01:06.077,0:01:07.634
il tempo che ho,

0:01:07.634,0:01:08.881
l'ambizione che ho,

0:01:08.885,0:01:10.614
e curo quei dati.

0:01:10.618,0:01:14.869
Non considero cibo quei[br]pacchettini di noodles istantanei.

0:01:14.873,0:01:16.762
(Risate)

0:01:16.766,0:01:18.651
La mia definizione di successo é:

0:01:18.655,0:01:21.494
un pasto è ben riuscito[br]se i miei figli mangiano verdure.

0:01:21.981,0:01:25.035
Sarebbe molto diverso se fosse[br]mio figlio più piccolo a decidere.

0:01:25.039,0:01:27.847
Lui direbbe che il successo[br]è mangiare tanta Nutella.

0:01:28.839,0:01:31.399
Ma sono io a scegliere[br]cos'è il successo.

0:01:31.399,0:01:34.156
Comando io.[br]È la mia opinione che conta.

0:01:34.166,0:01:36.845
Questa è la prima regola degli algoritmi.

0:01:36.859,0:01:40.039
Gli algoritmi sono opinioni[br]racchiuse in codici.

0:01:41.442,0:01:43.212
È molto diverso da ciò che pensate,

0:01:43.212,0:01:45.809
che la maggior parte della gente[br]pensa degli algoritmi.

0:01:45.809,0:01:49.753
Si pensa che gli algoritmi siano[br]oggettivi e realistici e scientifici.

0:01:50.387,0:01:52.086
È un inganno del marketing.

0:01:53.269,0:01:55.394
È un inganno del marketing anche

0:01:55.418,0:01:58.582
quello di minacciarvi con gli algoritmi,

0:01:58.596,0:02:02.257
per convincervi a fidarvi[br]degli algoritmi e a temerli

0:02:02.281,0:02:05.079
perché vi fidate e avete paura[br]delle scienze matematiche.

0:02:05.567,0:02:10.397
Si può sbagliare tanto se riponiamo[br]una fiducia cieca in grandi masse di dati.

0:02:11.684,0:02:14.991
Lei è Kiri Soares. È preside[br]in una scuola superiore di Brooklyn.

0:02:14.991,0:02:17.667
Nel 2011, mi disse che[br]i suoi docenti erano valutati

0:02:17.681,0:02:20.402
con un complicato e segreto algoritmo

0:02:20.402,0:02:22.271
chiamato "modello di valore aggiunto".

0:02:22.505,0:02:25.051
Le ho detto: "Trova qual è[br]la formula e mostramela.

0:02:25.051,0:02:27.162
Così te la spiego."

0:02:27.166,0:02:29.181
Mi disse: "Ho provato[br]ad avere la formula,

0:02:29.181,0:02:32.223
ma il referente del mio Dipartimento[br]ha detto che era matematica

0:02:32.223,0:02:33.863
e non l'avrei capita".

0:02:34.996,0:02:36.468
Le cose peggiorano.

0:02:36.488,0:02:40.158
Il New York Post ha fatto una richiesta[br]secondo il Freedom of Information Act,

0:02:40.158,0:02:43.201
ha preso i nomi di tutti[br]gli insegnanti e i loro punteggi

0:02:43.201,0:02:46.207
e li ha divulgati esponendo[br]gli insegnanti alla pubblica gogna.

0:02:46.884,0:02:49.574
Quando ho chiesto le formule,[br]il codice sorgente,

0:02:49.574,0:02:50.968
attraverso gli stessi canali,

0:02:50.968,0:02:53.117
mi è stato detto[br]che non potevo averle.

0:02:53.121,0:02:54.397
Mi è stato negato.

0:02:54.401,0:02:55.605
Poi ho scoperto

0:02:55.605,0:02:58.465
che nessuno a New York[br]aveva accesso a quella formula.

0:02:58.489,0:03:00.054
Nessuno la capiva.

0:03:01.929,0:03:05.153
Poi qualcuno molto intelligente[br]è stato coinvolto, Gary Rubenstein.

0:03:05.177,0:03:08.798
Ha scoperto che 665 insegnanti[br]presenti nei dati del New York Post

0:03:08.802,0:03:10.708
in realtà avevano due punteggi.

0:03:10.718,0:03:12.593
Questo può accadere se insegnano

0:03:12.597,0:03:15.050
matematica in seconda e in terza media.

0:03:15.050,0:03:16.888
Decise di rappresentarli graficamente.

0:03:16.888,0:03:18.785
Ogni punto rappresenta un insegnante.

0:03:19.104,0:03:21.467
(Risate)

0:03:21.467,0:03:23.028
Cos'è questo?

0:03:23.052,0:03:24.329
(Risate)

0:03:24.333,0:03:27.799
Non avrebbero mai dovuto usarlo[br]per una valutazione individuale.

0:03:27.803,0:03:30.019
Sembra un generatore casuale di numeri.

0:03:30.019,0:03:32.263
(Applauso)

0:03:32.263,0:03:33.369
E lo era.

0:03:33.369,0:03:34.909
Lei è Sarah Wysocki.

0:03:34.909,0:03:37.288
È stata licenziata[br]con altri 205 insegnanti

0:03:37.288,0:03:39.990
dal distretto scolastico[br]di Washington DC,

0:03:40.004,0:03:42.993
nonostante le referenze[br]altamente positive da parte del preside

0:03:42.993,0:03:45.125
e da parte dei genitori dei suoi alunni.

0:03:45.320,0:03:47.246
So a cosa stanno pensando molti di voi,

0:03:47.246,0:03:50.183
soprattutto analisti, gli esperti[br]di Intelligenza Artificiale.

0:03:50.183,0:03:54.183
State pensando: "Io non farei mai[br]degli algoritmi così incoerenti".

0:03:54.853,0:03:56.556
Ma gli algoritmi possono sbagliare,

0:03:56.566,0:04:01.078
perfino causare effetti disastrosi[br]nonostante le buone intenzioni.

0:04:02.531,0:04:04.824
E mentre un aeroplano progettato male

0:04:04.824,0:04:06.935
precipita e può essere visto da tutti,

0:04:06.959,0:04:08.809
un algoritmo progettato male

0:04:10.245,0:04:14.110
può essere utilizzato per molto tempo[br]creando silenziosamente il caos.

0:04:15.748,0:04:17.318
Lui è Roger Ailes.

0:04:17.342,0:04:19.342
(Risate)

0:04:20.524,0:04:22.912
Ha fondato Fox News nel 1996.

0:04:23.306,0:04:26.017
Più di 20 donne lo hanno[br]accusato di molestie sessuali.

0:04:26.041,0:04:29.276
Hanno detto che a loro non era permesso[br]fare carriera a Fox News.

0:04:29.300,0:04:32.200
È stato cacciato l'anno scorso,[br]ma di recente abbiamo visto

0:04:32.200,0:04:34.514
che i problemi sono continuati.

0:04:35.654,0:04:37.054
Questo solleva la domanda:

0:04:37.078,0:04:40.032
cosa dovrebbe fare Fox News[br]per voltare veramente pagina?

0:04:41.245,0:04:44.260
E se sostituissero[br]il loro sistema di assunzione

0:04:44.270,0:04:45.994
con un algoritmo intelligente?

0:04:45.994,0:04:47.603
Sembra una buona idea, giusto?

0:04:47.607,0:04:48.907
Pensateci.

0:04:48.911,0:04:51.036
I dati, come sarebbero i dati?

0:04:51.060,0:04:53.031
Una scelta ragionevole potrebbe essere

0:04:53.031,0:04:56.031
gli ultimi 21 anni di domande[br]di assunzione a Fox News.

0:04:56.031,0:04:57.533
Ragionevole.

0:04:57.557,0:04:59.621
E come definire il successo?

0:04:59.621,0:05:01.245
Una scelta ragionevole sarebbe:

0:05:01.269,0:05:03.087
chi ha avuto successo a Fox News?

0:05:03.087,0:05:06.651
Ad esempio qualcuno che è stato lì,[br]diciamo, per quattro anni

0:05:06.675,0:05:08.669
ed è stato promosso[br]almeno una volta.

0:05:08.816,0:05:10.397
Sembra ragionevole.

0:05:10.401,0:05:12.755
E dopo l'algoritmo[br]dovrebbe essere preparato.

0:05:12.779,0:05:16.746
Sarebbe preparato a cercare le persone,[br]capire cosa conduce al successo,

0:05:17.219,0:05:21.557
che tipi di candidature hanno[br]storicamente portato al successo

0:05:21.561,0:05:23.685
secondo quella definizione.

0:05:24.025,0:05:25.879
Ora pensate a cosa succederebbe

0:05:25.879,0:05:29.174
se applicassimo questo[br]a un attuale campione di candidati.

0:05:29.174,0:05:30.938
Verrebbero escluse le donne

0:05:31.663,0:05:35.593
perché non rappresentano le persone[br]che hanno avuto successo in passato.

0:05:39.752,0:05:42.319
Gli algoritmi non rendono le cose giuste

0:05:42.319,0:05:45.007
se vengono applicati[br]allegramente e ciecamente.

0:05:45.021,0:05:46.507
Non rendono le cose giuste.

0:05:46.507,0:05:48.659
Ripetono le nostre prassi del passato,

0:05:48.669,0:05:49.872
i nostri modelli.

0:05:49.886,0:05:51.835
Automatizzano lo status quo.

0:05:52.718,0:05:55.487
Sarebbero straordinari[br]se vivessimo in un mondo perfetto,

0:05:55.905,0:05:57.217
ma non lo abbiamo.

0:05:57.241,0:06:01.343
Aggiungo che gran parte delle aziende[br]non ha cause legali imbarazzanti,

0:06:01.976,0:06:05.044
ma agli analisti di quelle aziende

0:06:05.058,0:06:07.241
viene detto di seguire i dati,

0:06:07.251,0:06:09.904
di focalizzarsi sull'accuratezza del dato.

0:06:10.273,0:06:11.588
Pensate a cosa significa.

0:06:11.588,0:06:15.705
Poiché tutti abbiamo pregiudizi, significa[br]che potrebbero codificare il sessismo

0:06:15.709,0:06:17.715
o qualsiasi altro tipo di intolleranza.

0:06:19.488,0:06:20.909
Conduco ricerche,

0:06:20.913,0:06:22.442
perché mi piacciono:

0:06:23.574,0:06:26.549
una società interamente segregata,

0:06:28.247,0:06:31.575
segregazione razziale,[br]tutte le città, tutti i quartieri,

0:06:31.599,0:06:34.636
dove si manda la polizia[br]solo nei quartieri periferici

0:06:34.660,0:06:35.853
a cercare il crimine.

0:06:36.451,0:06:39.271
I dati degli arresti sarebbero[br]intrisi di pregiudizi.

0:06:39.271,0:06:42.426
Cosa succederebbe se,[br]oltretutto, trovassimo gli analisti

0:06:42.450,0:06:46.611
e li pagassimo per prevedere[br]dove si verificherà il prossimo crimine?

0:06:46.615,0:06:49.272
Quartieri periferici[br]abitati dalle minoranze.

0:06:49.285,0:06:52.410
O per prevedere chi[br]sarà il prossimo criminale?

0:06:52.888,0:06:54.283
Uno della minoranza.

0:06:55.949,0:06:59.490
Gli analisti si vanterebbero[br]di quanto straordinari e accurati

0:06:59.494,0:07:00.811
sono i loro modelli,

0:07:00.815,0:07:02.134
e avrebbero ragione.

0:07:03.951,0:07:08.310
La realtà non è così drastica,[br]ma esistono gravi segregazioni

0:07:08.310,0:07:09.897
in molte città grandi e piccole,

0:07:09.901,0:07:11.788
e abbiamo ampia evidenza

0:07:11.788,0:07:15.452
di sistemi di dati investigativi[br]e giudiziari basati su pregiudizi.

0:07:15.452,0:07:18.467
In realtà siamo anche in grado[br]di anticipare i luoghi critici,

0:07:18.471,0:07:20.401
in cui si verificheranno i crimini.

0:07:20.401,0:07:24.267
Noi prevediamo, di fatto,[br]la criminalità individuale,

0:07:24.291,0:07:26.211
la criminalità dei singoli individui.

0:07:26.972,0:07:30.809
La nuova organizzazione ProPublica[br]ha recentemente esaminato

0:07:30.809,0:07:33.003
uno degli algoritmi[br]sul "rischio recidiva",

0:07:33.007,0:07:34.170
come vengono chiamati,

0:07:34.194,0:07:37.388
usati dai giudici in Florida[br]durante le sentenze.

0:07:38.411,0:07:42.156
Bernard, l'uomo di colore a sinistra,[br]ha avuto un punteggio di 10 su 10.

0:07:43.179,0:07:45.186
Dylan, sulla destra, 3 su 10.

0:07:45.210,0:07:47.711
10 su 10, rischio elevato.[br]3 su 10, rischio basso.

0:07:48.598,0:07:50.957
Erano entrambi processati[br]per possesso di droga.

0:07:50.957,0:07:52.261
Conosciuti dalla polizia,

0:07:52.261,0:07:54.991
ma Dylan aveva commesso un reato,

0:07:55.015,0:07:56.191
mentre Bernard no.

0:07:57.818,0:08:00.884
Questo è importante, perché[br]più il vostro punteggio è alto,

0:08:00.908,0:08:04.381
più è probabile che[br]la vostra condanna sia lunga.

0:08:06.294,0:08:07.588
Cosa sta succedendo?

0:08:08.526,0:08:09.858
Riciclaggio di dati.

0:08:10.930,0:08:15.357
È un processo con cui gli esperti[br]di tecnologia nascondono tremende verità

0:08:15.381,0:08:17.202
dentro la scatola nera degli algoritmi

0:08:17.226,0:08:18.776
e la definiscono oggettività;

0:08:19.320,0:08:20.888
la definiscono meritocrazia.

0:08:23.118,0:08:25.497
Quando sono segreti,[br]importanti e distruttivi,

0:08:25.497,0:08:28.014
ho coniato un termine[br]per questi algoritmi:

0:08:28.038,0:08:30.067
"Armi di distruzione matematica."

0:08:30.067,0:08:31.645
(Risata)

0:08:31.649,0:08:34.723
(Applauso)

0:08:34.733,0:08:37.081
Sono ovunque e non per errore.

0:08:37.695,0:08:41.418
Sono aziende private[br]che costruiscono algoritmi privati

0:08:41.442,0:08:42.834
per scopi privati.

0:08:43.214,0:08:46.448
Persino quelli di cui ho parlato[br]per gli insegnanti e la polizia

0:08:46.452,0:08:48.351
sono stati creati da compagnie private

0:08:48.351,0:08:50.490
e venduti alle istituzioni governative.

0:08:50.490,0:08:52.563
Li chiamano il loro[br]"ingrediente segreto",

0:08:52.563,0:08:54.635
ecco perché non possono parlarcene.

0:08:54.649,0:08:56.869
È anche un potere privato.

0:08:57.924,0:09:02.619
Ne stanno traendo vantaggio per esercitare[br]l'autorità dell'imperscrutabile.

0:09:05.114,0:09:08.048
Ora potreste pensare che,[br]visto che è tutto privato

0:09:08.072,0:09:09.260
e c'è la concorrenza,

0:09:09.260,0:09:11.570
forse il mercato libero[br]risolverà il problema.

0:09:11.584,0:09:12.833
Invece no.

0:09:12.857,0:09:15.977
Ci sono un sacco di soldi[br]da fare in modo scorretto.

0:09:17.127,0:09:20.496
Inoltre, noi non siamo[br]agenti economici razionali.

0:09:20.701,0:09:22.533
Abbiamo tutti dei pregiudizi.

0:09:22.960,0:09:26.337
Siamo tutti razzisti e faziosi[br]in modi che preferiremmo non essere,

0:09:26.361,0:09:28.380
in modi che neanche immaginiamo.

0:09:29.352,0:09:32.463
Ma lo sappiamo grazie[br]al complesso dei dati,

0:09:32.463,0:09:35.677
perché i sociologi lo hanno dimostrato

0:09:35.701,0:09:37.360
con gli esperimenti che fanno,

0:09:37.360,0:09:40.048
in cui mandano in giro[br]un mucchio di richieste di lavoro,

0:09:40.048,0:09:42.553
con uguali qualifiche,[br]ma alcune con nomi da bianchi,

0:09:42.553,0:09:44.213
altre con nomi da afro-americani,

0:09:44.237,0:09:46.931
e il risultato è sempre[br]deludente. Sempre.

0:09:47.440,0:09:49.281
Quindi, siamo noi ad avere pregiudizi,

0:09:49.305,0:09:52.728
e stiamo iniettando[br]quei pregiudizi negli algoritmi,

0:09:52.728,0:09:54.570
decidendo quali dati raccogliere,

0:09:54.594,0:09:57.337
come ho scelto di non pensare[br]a quei noodles istantanei,

0:09:57.361,0:09:58.986
ho deciso che era irrilevante.

0:09:59.010,0:10:04.258
Lo facciamo fidandoci di dati che[br]si riferiscono a prassi del passato

0:10:04.258,0:10:06.762
e scegliendo gli indicatori[br]per valutare il successo

0:10:06.762,0:10:10.739
Come possiamo aspettarci[br]che gli algoritmi ne escano indenni?

0:10:10.763,0:10:13.119
Non possiamo. Dobbiamo controllarli.

0:10:13.355,0:10:15.868
Dobbiamo controllarli[br]per garantirne l'imparzialità.

0:10:15.868,0:10:18.639
La buona notizia è che possiamo[br]verificarne l'imparzialità.

0:10:18.639,0:10:21.979
Gli algoritmi possono essere interrogati,

0:10:21.979,0:10:24.043
e ci diranno la verità ogni volta.

0:10:24.047,0:10:26.554
Possiamo sistemarli.[br]Possiamo renderli migliori.

0:10:26.554,0:10:28.959
Lo definisco un audit algoritmico,

0:10:28.963,0:10:30.702
e ve lo illustro.

0:10:30.702,0:10:32.882
Primo, controllo dell'integrità dei dati.

0:10:34.132,0:10:37.199
Per il rischio di recidività[br]degli algoritmi di cui ho parlato,

0:10:37.582,0:10:41.155
un controllo dell'integrità dei dati[br]significherebbe constatare il fatto

0:10:41.179,0:10:44.699
che negli US, la percentuale di bianchi[br]e neri che fumano erba è uguale

0:10:44.699,0:10:47.494
ma i neri hanno molte più[br]probabilità di essere arrestati,

0:10:47.494,0:10:50.422
da 4 o 5 volte di più,[br]a seconda della zona.

0:10:50.897,0:10:54.137
Che forma assume quel pregiudizio[br]in altre categorie criminologiche,

0:10:54.137,0:10:55.678
e come possiamo tenerne conto?

0:10:55.872,0:10:59.195
Secondo, dovremmo considerare[br]la definizione di successo,

0:10:59.195,0:11:00.626
sottoporla a verifica.

0:11:00.630,0:11:03.292
Ricordate l'algoritmo[br]delle assunzioni che ho illustrato?

0:11:03.292,0:11:06.607
Uno che mantiene il lavoro per quattro[br]anni ed è promosso una volta?

0:11:06.607,0:11:08.308
Quello è un impiegato di successo,

0:11:08.308,0:11:11.467
ma è anche un impiegato[br]sostenuto dalla loro cultura.

0:11:11.479,0:11:13.999
Detto questo, può esserci[br]anche un lieve pregiudizio.

0:11:13.999,0:11:16.098
Dobbiamo distinguere questi due aspetti.

0:11:16.098,0:11:18.594
Dovremmo prendere[br]le audizioni d'orchestra alla cieca

0:11:18.594,0:11:19.774
come esempio.

0:11:19.798,0:11:22.554
Quelle in cui chi fa il provino[br]sta dietro uno schermo.

0:11:22.946,0:11:24.877
Quello a cui voglio pensare

0:11:24.901,0:11:28.312
è che le persone che stanno ascoltando[br]hanno deciso cosa sia importante

0:11:28.312,0:11:30.391
e cosa non lo è,

0:11:30.395,0:11:32.634
e non si lasceranno distrarre.

0:11:32.961,0:11:35.710
da quando le audizioni d'orchestra[br]alla cieca sono iniziate,

0:11:35.734,0:11:39.178
il numero di donne[br]nelle orchestre è quintuplicato.

0:11:40.253,0:11:42.808
Poi dobbiamo considerare l'accuratezza.

0:11:43.233,0:11:47.247
È qui che il "modello di valore aggiunto"[br]per insegnanti fallisce immediatamente.

0:11:47.578,0:11:49.740
Nessun algoritmo è perfetto, certo,

0:11:50.620,0:11:54.225
quindi dobbiamo considerare[br]gli errori di ogni algoritmo.

0:11:54.836,0:11:59.195
Quanto spesso ci sono errori[br]e per chi fallisce questo modello?

0:11:59.850,0:12:01.568
Qual è il prezzo di quel fallimento?

0:12:02.434,0:12:04.641
Infine, dobbiamo considerare

0:12:05.973,0:12:08.279
gli effetti a lungo termine[br]degli algoritmi,

0:12:08.866,0:12:11.473
i cicli di feedback[br]che stanno generando.

0:12:11.476,0:12:12.822
Può sembrarvi un'astrazione,

0:12:12.826,0:12:15.820
ma immaginate se i tecnici di Facebook[br]lo avessero considerato

0:12:16.270,0:12:21.125
prima di decidere di mostrarci solo[br]le cose pubblicate dai nostri amici.

0:12:21.631,0:12:25.275
Ho altre due raccomandazioni,[br]una per gli analisti di dati là fuori.

0:12:25.450,0:12:28.859
Analisti: non dovremmo[br]essere gli arbitri della verità.

0:12:29.520,0:12:33.297
Dovremmo essere i traduttori[br]delle discussioni etiche che accadono

0:12:33.297,0:12:34.761
nella società.

0:12:35.579,0:12:37.712
(Applausi)

0:12:37.736,0:12:39.292
E per tutti gli altri,

0:12:40.011,0:12:41.437
i non-analisti di dati:

0:12:41.437,0:12:43.609
questo non è un esame di matematica.

0:12:43.632,0:12:44.980
Questa è una lotta politica.

0:12:46.587,0:12:50.494
Dobbiamo pretendere più trasparenza[br]dai signori degli algoritmi.

0:12:51.218,0:12:53.617
(Applausi)

0:12:53.641,0:12:57.860
L'era della fede cieca [br]nelle masse di dati deve finire.

0:12:57.860,0:12:59.057
Vi ringrazio molto.

0:12:59.081,0:13:04.384
(Applausi)