Gli algoritmi sono ovunque. Selezionano e separano i vincitori dai perdenti. I vincitori ottengono il lavoro o l'offerta di una buona carta di credito. I perdenti non ottengono neanche un colloquio di lavoro o pagano di più per l'assicurazione. Siamo valutati da formule segrete che non comprendiamo che spesso non prevedono sistemi cui poter fare ricorso. Questo solleva la domanda: e se gli algoritmi si sbagliano? Per creare algoritmi servono due cose: servono dati, cos'è avvenuto in passato, e una definizione di successo, ciò che state cercando e spesso sperando di ottenere. L'algoritmo si verifica cercando, risolvendo. Gli algoritmi chiariscono con precisione ciò che è associato al successo, quale situazione porta al successo. In realtà, tutti usano algoritmi. Solo che non li formalizzano attraverso un codice scritto. Vi faccio un esempio. Io uso un algoritmo ogni giorno per cucinare per la mia famiglia. I dati che uso sono ingredienti della mia cucina, il tempo che ho, l'ambizione che ho, e curo quei dati. Non considero cibo quei pacchettini di noodles istantanei. (Risate) La mia definizione di successo é: un pasto è ben riuscito se i miei figli mangiano verdure. Sarebbe molto diverso se fosse mio figlio più piccolo a decidere. Lui direbbe che il successo è mangiare tanta Nutella. Ma sono io a scegliere cos'è il successo. Comando io. È la mia opinione che conta. Questa è la prima regola degli algoritmi. Gli algoritmi sono opinioni racchiuse in codici. È molto diverso da ciò che pensate, che la maggior parte della gente pensa degli algoritmi. Si pensa che gli algoritmi siano oggettivi e realistici e scientifici. È un inganno del marketing. È un inganno del marketing anche quello di minacciarvi con gli algoritmi, per convincervi a fidarvi degli algoritmi e a temerli perché vi fidate e avete paura delle scienze matematiche. Si può sbagliare tanto se riponiamo una fiducia cieca in grandi masse di dati. Lei è Kiri Soares. È preside in una scuola superiore di Brooklyn. Nel 2011, mi disse che i suoi docenti erano valutati con un complicato e segreto algoritmo chiamato "modello di valore aggiunto". Le ho detto: "Trova qual è la formula e mostramela. Così te la spiego." Mi disse: "Ho provato ad avere la formula, ma il referente del mio Dipartimento ha detto che era matematica e non l'avrei capita". Le cose peggiorano. Il New York Post ha fatto una richiesta secondo il Freedom of Information Act, ha preso i nomi di tutti gli insegnanti e i loro punteggi e li ha divulgati esponendo gli insegnanti alla pubblica gogna. Quando ho chiesto le formule, il codice sorgente, attraverso gli stessi canali, mi è stato detto che non potevo averle. Mi è stato negato. Poi ho scoperto che nessuno a New York aveva accesso a quella formula. Nessuno la capiva. Poi qualcuno molto intelligente è stato coinvolto, Gary Rubenstein. Ha scoperto che 665 insegnanti presenti nei dati del New York Post in realtà avevano due punteggi. Questo può accadere se insegnano matematica in seconda e in terza media. Decise di rappresentarli graficamente. Ogni punto rappresenta un insegnante. (Risate) Cos'è questo? (Risate) Non avrebbero mai dovuto usarlo per una valutazione individuale. Sembra un generatore casuale di numeri. (Applauso) E lo era. Lei è Sarah Wysocki. È stata licenziata con altri 205 insegnanti dal distretto scolastico di Washington DC, nonostante le referenze altamente positive da parte del preside e da parte dei genitori dei suoi alunni. So a cosa stanno pensando molti di voi, soprattutto analisti, gli esperti di Intelligenza Artificiale. State pensando: "Io non farei mai degli algoritmi così incoerenti". Ma gli algoritmi possono sbagliare, perfino causare effetti disastrosi nonostante le buone intenzioni. E mentre un aeroplano progettato male precipita e può essere visto da tutti, un algoritmo progettato male può essere utilizzato per molto tempo creando silenziosamente il caos. Lui è Roger Ailes. (Risate) Ha fondato Fox News nel 1996. Più di 20 donne lo hanno accusato di molestie sessuali. Hanno detto che a loro non era permesso fare carriera a Fox News. È stato cacciato l'anno scorso, ma di recente abbiamo visto che i problemi sono continuati. Questo solleva la domanda: cosa dovrebbe fare Fox News per voltare veramente pagina? E se sostituissero il loro sistema di assunzione con un algoritmo intelligente? Sembra una buona idea, giusto? Pensateci. I dati, come sarebbero i dati? Una scelta ragionevole potrebbe essere gli ultimi 21 anni di domande di assunzione a Fox News. Ragionevole. E come definire il successo? Una scelta ragionevole sarebbe: chi ha avuto successo a Fox News? Ad esempio qualcuno che è stato lì, diciamo, per quattro anni ed è stato promosso almeno una volta. Sembra ragionevole. E dopo l'algoritmo dovrebbe essere preparato. Sarebbe preparato a cercare le persone, capire cosa conduce al successo, che tipi di candidature hanno storicamente portato al successo secondo quella definizione. Ora pensate a cosa succederebbe se applicassimo questo a un attuale campione di candidati. Verrebbero escluse le donne perché non rappresentano le persone che hanno avuto successo in passato. Gli algoritmi non rendono le cose giuste se vengono applicati allegramente e ciecamente. Non rendono le cose giuste. Ripetono le nostre prassi del passato, i nostri modelli. Automatizzano lo status quo. Sarebbero straordinari se vivessimo in un mondo perfetto, ma non lo abbiamo. Aggiungo che gran parte delle aziende non ha cause legali imbarazzanti, ma agli analisti di quelle aziende viene detto di seguire i dati, di focalizzarsi sull'accuratezza del dato. Pensate a cosa significa. Poiché tutti abbiamo pregiudizi, significa che potrebbero codificare il sessismo o qualsiasi altro tipo di intolleranza. Conduco ricerche, perché mi piacciono: una società interamente segregata, segregazione razziale, tutte le città, tutti i quartieri, dove si manda la polizia solo nei quartieri periferici a cercare il crimine. I dati degli arresti sarebbero intrisi di pregiudizi. Cosa succederebbe se, oltretutto, trovassimo gli analisti e li pagassimo per prevedere dove si verificherà il prossimo crimine? Quartieri periferici abitati dalle minoranze. O per prevedere chi sarà il prossimo criminale? Uno della minoranza. Gli analisti si vanterebbero di quanto straordinari e accurati sono i loro modelli, e avrebbero ragione. La realtà non è così drastica, ma esistono gravi segregazioni in molte città grandi e piccole, e abbiamo ampia evidenza di sistemi di dati investigativi e giudiziari basati su pregiudizi. In realtà siamo anche in grado di anticipare i luoghi critici, in cui si verificheranno i crimini. Noi prevediamo, di fatto, la criminalità individuale, la criminalità dei singoli individui. La nuova organizzazione ProPublica ha recentemente esaminato uno degli algoritmi sul "rischio recidiva", come vengono chiamati, usati dai giudici in Florida durante le sentenze. Bernard, l'uomo di colore a sinistra, ha avuto un punteggio di 10 su 10. Dylan, sulla destra, 3 su 10. 10 su 10, rischio elevato. 3 su 10, rischio basso. Erano entrambi processati per possesso di droga. Conosciuti dalla polizia, ma Dylan aveva commesso un reato, mentre Bernard no. Questo è importante, perché più il vostro punteggio è alto, più è probabile che la vostra condanna sia lunga. Cosa sta succedendo? Riciclaggio di dati. È un processo con cui gli esperti di tecnologia nascondono tremende verità dentro la scatola nera degli algoritmi e la definiscono oggettività; la definiscono meritocrazia. Quando sono segreti, importanti e distruttivi, ho coniato un termine per questi algoritmi: "Armi di distruzione matematica." (Risata) (Applauso) Sono ovunque e non per errore. Sono aziende private che costruiscono algoritmi privati per scopi privati. Persino quelli di cui ho parlato per gli insegnanti e la polizia sono stati creati da compagnie private e venduti alle istituzioni governative. Li chiamano il loro "ingrediente segreto", ecco perché non possono parlarcene. È anche un potere privato. Ne stanno traendo vantaggio per esercitare l'autorità dell'imperscrutabile. Ora potreste pensare che, visto che è tutto privato e c'è la concorrenza, forse il mercato libero risolverà il problema. Invece no. Ci sono un sacco di soldi da fare in modo scorretto. Inoltre, noi non siamo agenti economici razionali. Abbiamo tutti dei pregiudizi. Siamo tutti razzisti e faziosi in modi che preferiremmo non essere, in modi che neanche immaginiamo. Ma lo sappiamo grazie al complesso dei dati, perché i sociologi lo hanno dimostrato con gli esperimenti che fanno, in cui mandano in giro un mucchio di richieste di lavoro, con uguali qualifiche, ma alcune con nomi da bianchi, altre con nomi da afro-americani, e il risultato è sempre deludente. Sempre. Quindi, siamo noi ad avere pregiudizi, e stiamo iniettando quei pregiudizi negli algoritmi, decidendo quali dati raccogliere, come ho scelto di non pensare a quei noodles istantanei, ho deciso che era irrilevante. Lo facciamo fidandoci di dati che si riferiscono a prassi del passato e scegliendo gli indicatori per valutare il successo Come possiamo aspettarci che gli algoritmi ne escano indenni? Non possiamo. Dobbiamo controllarli. Dobbiamo controllarli per garantirne l'imparzialità. La buona notizia è che possiamo verificarne l'imparzialità. Gli algoritmi possono essere interrogati, e ci diranno la verità ogni volta. Possiamo sistemarli. Possiamo renderli migliori. Lo definisco un audit algoritmico, e ve lo illustro. Primo, controllo dell'integrità dei dati. Per il rischio di recidività degli algoritmi di cui ho parlato, un controllo dell'integrità dei dati significherebbe constatare il fatto che negli US, la percentuale di bianchi e neri che fumano erba è uguale ma i neri hanno molte più probabilità di essere arrestati, da 4 o 5 volte di più, a seconda della zona. Che forma assume quel pregiudizio in altre categorie criminologiche, e come possiamo tenerne conto? Secondo, dovremmo considerare la definizione di successo, sottoporla a verifica. Ricordate l'algoritmo delle assunzioni che ho illustrato? Uno che mantiene il lavoro per quattro anni ed è promosso una volta? Quello è un impiegato di successo, ma è anche un impiegato sostenuto dalla loro cultura. Detto questo, può esserci anche un lieve pregiudizio. Dobbiamo distinguere questi due aspetti. Dovremmo prendere le audizioni d'orchestra alla cieca come esempio. Quelle in cui chi fa il provino sta dietro uno schermo. Quello a cui voglio pensare è che le persone che stanno ascoltando hanno deciso cosa sia importante e cosa non lo è, e non si lasceranno distrarre. da quando le audizioni d'orchestra alla cieca sono iniziate, il numero di donne nelle orchestre è quintuplicato. Poi dobbiamo considerare l'accuratezza. È qui che il "modello di valore aggiunto" per insegnanti fallisce immediatamente. Nessun algoritmo è perfetto, certo, quindi dobbiamo considerare gli errori di ogni algoritmo. Quanto spesso ci sono errori e per chi fallisce questo modello? Qual è il prezzo di quel fallimento? Infine, dobbiamo considerare gli effetti a lungo termine degli algoritmi, i cicli di feedback che stanno generando. Può sembrarvi un'astrazione, ma immaginate se i tecnici di Facebook lo avessero considerato prima di decidere di mostrarci solo le cose pubblicate dai nostri amici. Ho altre due raccomandazioni, una per gli analisti di dati là fuori. Analisti: non dovremmo essere gli arbitri della verità. Dovremmo essere i traduttori delle discussioni etiche che accadono nella società. (Applausi) E per tutti gli altri, i non-analisti di dati: questo non è un esame di matematica. Questa è una lotta politica. Dobbiamo pretendere più trasparenza dai signori degli algoritmi. (Applausi) L'era della fede cieca nelle masse di dati deve finire. Vi ringrazio molto. (Applausi)