0:00:00.739,0:00:04.861
Mitt första jobb var som dataprogrammerare

0:00:04.885,0:00:06.841
under mitt första år på högskolan -

0:00:06.865,0:00:08.372
jag var tonåring då.

0:00:08.889,0:00:10.621
Strax efter att jag börjat jobba,

0:00:10.645,0:00:12.255
med att utveckla programvara,

0:00:12.799,0:00:16.434
kom en chef på företaget ner där jag satt,

0:00:16.458,0:00:17.726
och viskade till mig,

0:00:18.229,0:00:21.090
"Kan han se om jag ljuger?"

0:00:21.806,0:00:23.883
Där fanns ingen annan i rummet.

0:00:25.032,0:00:29.421
"Kan vem se om du ljuger?[br]Och varför viskar vi?"

0:00:30.266,0:00:33.373
Chefen pekade på datorn som stod i rummet.

0:00:33.397,0:00:36.493
"Kan han se om jag ljuger?"

0:00:37.613,0:00:41.975
Den här chefen hade en affär[br]med receptionisten.

0:00:41.999,0:00:43.111
(Skratt)

0:00:43.135,0:00:44.901
Och jag var fortfarande tonåring.

0:00:45.447,0:00:47.466
Så jag visk-skrek tillbaka,

0:00:47.490,0:00:51.114
"Ja, datorn kan se om du ljuger."

0:00:51.138,0:00:52.944
(Skratt)

0:00:52.968,0:00:55.891
Jag skrattade, men egentligen[br]är det jag som är skämtet.

0:00:55.915,0:00:59.183
Idag finns det beräkningssystem

0:00:59.207,0:01:02.755
som kan sortera ut känslor och även lögner

0:01:02.779,0:01:04.823
genom att processa data från ansikten.

0:01:05.248,0:01:09.401
Annonsörer och till och med regeringar[br]är mycket intresserade.

0:01:10.319,0:01:12.181
Jag blev programmerare

0:01:12.205,0:01:15.318
för som barn var jag som tokig[br]i matematik och vetenskap.

0:01:15.942,0:01:19.050
Men någonstans längs vägen[br]fick jag vetskap om kärnvapen,

0:01:19.074,0:01:22.026
och blev mycket oroad[br]över etiken i forskningen.

0:01:22.050,0:01:23.254
Jag var bekymrad.

0:01:23.278,0:01:25.919
Emellertid, på grund av[br]familjeomständigheter,

0:01:25.943,0:01:29.241
var jag också tvungen[br]att börja arbeta tidigt.

0:01:29.265,0:01:32.564
Jag tänkte för mig själv;[br]jag väljer ett tekniskt område

0:01:32.588,0:01:34.384
där jag lätt kan få arbete och där

0:01:34.408,0:01:38.426
jag inte behöver bekymra mig om[br]några svårlösta etiska frågor.

0:01:39.022,0:01:40.551
Så jag valde datorer.

0:01:40.575,0:01:41.679
(Skratt)

0:01:41.703,0:01:45.113
Ja, ha, ha, ha![br]Skratta gärna åt mig.

0:01:45.137,0:01:47.891
Idag bygger datorforskare plattformar

0:01:47.915,0:01:52.124
som kontrollerar vad som visas[br]för miljarder människor varje dag.

0:01:53.052,0:01:54.707
De utvecklar bilar

0:01:54.707,0:01:57.223
som skulle kunna bestämma[br]vem de ska köra över.

0:01:57.707,0:02:00.920
De bygger till och med maskiner, vapen,

0:02:00.944,0:02:03.229
som kan döda människor i krig.

0:02:03.253,0:02:06.024
Det handlar om etik i hela ledet.

0:02:07.183,0:02:09.241
De intelligenta maskinerna är här.

0:02:09.823,0:02:13.297
Idag använder vi beräkningssystem[br]för alla sorters beslut,

0:02:13.321,0:02:15.207
men också för nya typer av beslut.

0:02:15.231,0:02:20.403
Vi ställer frågor till algoritmerna[br]som inte har ett entydigt korrekt svar,

0:02:20.427,0:02:21.629
frågor som är subjektiva,

0:02:21.653,0:02:23.978
öppna och värdeladdade.

0:02:24.002,0:02:25.760
Vi ställer frågor som,

0:02:25.784,0:02:27.434
"Vem ska företaget anställa?"

0:02:27.716,0:02:29.546
"Vilken av dina vänners uppdateringar

0:02:29.546,0:02:30.879
ska du kunna se?"

0:02:30.879,0:02:33.145
"Vem återfaller troligast i brott?"

0:02:33.514,0:02:36.568
"Vilka nyheter eller filmer[br]ska rekommenderas till folk?"

0:02:36.592,0:02:39.964
Visst, vi har använt datorer ett tag,

0:02:39.988,0:02:41.505
men det här är annorlunda.

0:02:41.529,0:02:43.596
Det är en historisk vridning,

0:02:43.620,0:02:48.957
för vi kan inte verifiera beräkningarna[br]för sådana subjektiva beslut

0:02:48.981,0:02:54.401
på samma sätt som vi kan verifiera dem[br]vi gör för flygplan, brokonstruktioner,

0:02:54.425,0:02:55.684
eller månfärder.

0:02:56.449,0:02:59.708
Är flygplan säkrare?[br]Började bron självsvänga och rasa?

0:02:59.732,0:03:04.230
Där har vi kommit överens om[br]ganska tydliga ramverk,

0:03:04.254,0:03:06.493
och vi har lagar som vägleder oss.

0:03:06.517,0:03:09.911
Såna ramverk eller normer finns inte

0:03:09.935,0:03:13.898
för beslut gällande[br]krångliga mänskliga relationer.

0:03:13.922,0:03:18.159
För att göra det än mer komplicerat,[br]blir vår mjukvara kraftfullare,

0:03:18.183,0:03:21.956
samtidigt som den blir[br]både mindre transparent och mer komplex.

0:03:22.542,0:03:24.582
Under det senaste årtiondet,

0:03:24.606,0:03:27.335
har komplexa algoritmer[br]gjort enorma framsteg.

0:03:27.359,0:03:29.349
De kan känna igen ansikten.

0:03:29.985,0:03:32.040
De kan tolka handskriven text.

0:03:32.436,0:03:34.502
De kan upptäcka kontokortsbedrägerier,

0:03:34.526,0:03:35.715
blockera spam

0:03:35.739,0:03:37.776
och de kan översätta språk.

0:03:37.800,0:03:40.374
De kan upptäcka tumörer[br]genom medicinsk bildteknik.

0:03:40.398,0:03:42.603
De kan slå människor i schack och Go.

0:03:43.264,0:03:47.768
Många av de här framstegen härrör från[br]en metod som kallas "maskininlärning."

0:03:48.175,0:03:51.362
Maskininlärning skiljer sig[br]från traditionell programmering,

0:03:51.386,0:03:54.971
där du ger datorn detaljerade,[br]exakta, noggranna instruktioner.

0:03:55.378,0:03:59.560
Det här är mer som att du[br]matar systemet med en massa data,

0:03:59.584,0:04:01.240
inkluderat ostrukturerad data,

0:04:01.264,0:04:03.542
till exempel från våra digitala liv.

0:04:03.566,0:04:06.296
Systemet lär sig genom att[br]bearbeta datamängderna.

0:04:06.669,0:04:08.195
Avgörande är också,

0:04:08.219,0:04:12.599
att systemen inte kommer fram till[br]något entydigt svar.

0:04:12.623,0:04:16.002
Du får inte ett enkelt svar,[br]utan en sannolikhetsbedömning;

0:04:16.002,0:04:19.089
"Det här är sannolikt det du letar efter."

0:04:20.023,0:04:23.093
Fördelen är att metoden är kraftfull.

0:04:23.117,0:04:25.403
Chefen för Googles AI-system kallade det

0:04:25.403,0:04:27.564
"datas orimliga effektivitet."

0:04:27.791,0:04:29.144
Nackdelen är

0:04:29.738,0:04:32.809
att vi inte förstår vad systemet lär sig.

0:04:32.833,0:04:34.820
Faktum är att det är dess makt.

0:04:34.946,0:04:38.744
Det är mindre av[br]att ge en dator instruktioner,

0:04:39.200,0:04:43.264
och mer som att träna en Tamagotschi

0:04:43.288,0:04:45.659
som vi varken förstår eller kontrollerar.

0:04:46.362,0:04:47.913
Det är vårt stora problem.

0:04:48.427,0:04:52.689
Det är problematiskt när såna här system[br]får saker och ting om bakfoten.

0:04:52.713,0:04:56.253
Det är också ett problem[br]när de får till det rätt,

0:04:56.277,0:04:59.905
för vi vet inte vad som är vad,[br]när frågeställningen är subjektiv.

0:04:59.929,0:05:02.648
Vi vet inte vad den här tingesten tänker.

0:05:03.493,0:05:07.176
Föreställ er en algoritm[br]för anställning -

0:05:08.123,0:05:12.434
ett maskininlärningssystem[br]som används för att anställa människor.

0:05:13.052,0:05:16.631
Ett sådant system har lärt sig[br]av data över tidigare anställda

0:05:16.655,0:05:19.246
och instruerats att hitta och anställa

0:05:19.270,0:05:22.308
likadana högpresterare[br]som redan är anställda i företaget.

0:05:22.814,0:05:23.967
Det låter ju bra.

0:05:23.991,0:05:25.990
Jag deltog en gång i en konferens

0:05:26.014,0:05:29.139
med personalchefer och chefer,

0:05:29.163,0:05:30.369
högt uppsatta människor,

0:05:30.393,0:05:31.952
som använder såna system.

0:05:31.976,0:05:33.622
De var otroligt entusiastiska.

0:05:33.646,0:05:37.063
De trodde att det här skulle göra[br]anställningsprocessen objektiv,

0:05:37.063,0:05:38.433
och mindre fördomsfull,

0:05:38.433,0:05:41.323
och ge kvinnor och minoriteter[br]en bättre chans

0:05:41.347,0:05:43.755
mot fördomsfulla, partiska[br]personalchefer.

0:05:43.755,0:05:46.582
Men lyssna här -[br]anställningar är fördomsfulla.

0:05:47.099,0:05:48.284
Jag vet.

0:05:48.308,0:05:51.313
Jag menar, under mitt första jobb[br]som programmerare,

0:05:51.337,0:05:55.205
kom ibland min närmsta chef förbi

0:05:55.229,0:05:58.982
antingen väldigt tidigt på morgonen[br]eller mycket sent på eftermiddagen,

0:05:59.006,0:06:02.068
och sade; "Zeynep, nu går vi på lunch!"

0:06:02.724,0:06:04.891
Jag var brydd av den märkliga tajmingen.

0:06:04.915,0:06:07.044
Klockan är fyra på eftermiddagen. Lunch?

0:06:07.068,0:06:10.162
Jag var pank, så gratis lunch.[br]Jag följde alltid med.

0:06:10.618,0:06:12.685
Senare förstod jag vad som hände.

0:06:12.709,0:06:17.255
Min närmaste chef hade inte erkänt[br]för de högre cheferna

0:06:17.279,0:06:21.632
att programmeraren de anställt[br]var en tonårstjej

0:06:21.646,0:06:24.706
i jeans och gymnastikskor.

0:06:25.174,0:06:27.486
Jag gjorde ett bra jobb,[br]jag såg bara fel ut

0:06:27.486,0:06:29.099
och var ung och kvinna.

0:06:29.123,0:06:32.469
Så att anställa utan att[br]ta hänsyn till kön och ras

0:06:32.493,0:06:34.358
låter verkligen bra i mina öron.

0:06:35.031,0:06:38.372
Men med de här systemen[br]blir det mer komplicerat;

0:06:38.968,0:06:44.759
Idag kan beräkningssystem[br]dra alla möjliga slutsatser om dig

0:06:44.783,0:06:46.655
utifrån dina digitala avtryck,

0:06:46.679,0:06:49.012
även om du inte har avslöjat dem.

0:06:49.506,0:06:52.433
De kan dra slutsatser[br]om din sexuella läggning,

0:06:52.994,0:06:54.300
dina karaktärsdrag,

0:06:54.859,0:06:56.232
dina politiska böjelser.

0:06:56.830,0:07:00.515
De kan prognostisera med hög noggrannhet.

0:07:01.362,0:07:03.940
Kom ihåg - kring saker du inte avslöjat.

0:07:03.964,0:07:05.555
Det är slutledningsförmåga.

0:07:05.579,0:07:08.980
Jag har en vän som utvecklat[br]ett beräkningssystem

0:07:08.980,0:07:12.505
för att beräkna sannolikheten[br]för klinisk- eller förlossningsdepression

0:07:12.529,0:07:13.945
utifrån digitala avtryck.

0:07:14.676,0:07:16.103
Resultaten är imponerande.

0:07:16.492,0:07:19.849
Hennes system kan beräkna[br]sannolikheten för depression

0:07:19.873,0:07:23.776
månader innan symtomen visar sig -

0:07:23.800,0:07:25.173
månader i förväg.

0:07:25.197,0:07:27.443
Inga symtom, bara förutsägelse.

0:07:27.467,0:07:31.321
Hon hoppas att det ska användas[br]för behandling i ett tidigt stadium.

0:07:31.341,0:07:32.911
Jättebra!

0:07:32.911,0:07:35.671
Men sätt in det[br]i ett anställningssammanhang.

0:07:36.027,0:07:39.073
På den här personalchefskonferensen,

0:07:39.097,0:07:43.806
frågade jag en högt uppsatt chef[br]i ett mycket stort företag,

0:07:43.830,0:07:48.408
"Du, tänk om, utan att du vet,

0:07:48.432,0:07:51.051
ert system gallrar ut

0:07:51.051,0:07:55.309
personer med hög sannolikhet[br]att drabbas av depression?

0:07:55.761,0:07:59.367
De är inte deprimerade nu,[br]men kanske blir någon gång i framtiden.

0:07:59.923,0:08:03.599
Tänk om det gallrar ut kvinnor[br]som kan komma att bli gravida

0:08:03.599,0:08:06.189
inom ett till två år[br]men som inte är gravida nu?

0:08:06.844,0:08:12.700
Tänk om aggressiva människor anställs för[br]att det är en del av er företagskultur?"

0:08:13.173,0:08:15.864
Du kan inte bedöma det[br]utifrån könsfördelningen.

0:08:15.888,0:08:17.390
De kan vara i balans.

0:08:17.414,0:08:20.971
Eftersom detta gäller maskininlärning,[br]och inte traditionell kodning,

0:08:20.995,0:08:25.902
finns det ingen variabel som säger[br]"högre risk för depression,"

0:08:25.926,0:08:27.759
"högre risk för graviditet,"

0:08:27.783,0:08:29.517
"macho-tendenser."

0:08:29.995,0:08:31.555
Du vet varken

0:08:31.555,0:08:33.698
vad ditt system selekterar på,

0:08:33.698,0:08:36.021
eller var du ska börja titta.

0:08:36.045,0:08:37.291
Det är en svart låda.

0:08:37.315,0:08:40.122
Det har en förutsägbar kraft,[br]men du förstår inte det.

0:08:40.486,0:08:42.855
"Vilka garantier, frågade jag, har du

0:08:42.889,0:08:46.552
för att försäkra dig om[br]att din svarta låda inte gör något skumt?"

0:08:48.863,0:08:52.741
Hon tittade på mig som om jag[br]just trampat på hennes hund.

0:08:52.765,0:08:54.013
(Skratt)

0:08:54.037,0:08:56.078
Hon stirrade på mig och sade,

0:08:56.396,0:09:00.889
"Jag vill inte höra ett enda ord till."

0:09:01.458,0:09:03.532
Hon vände sig om och gick.

0:09:03.724,0:09:06.020
Kom ihåg - hon var inte oförskämd.

0:09:06.020,0:09:11.882
Det var tydligt: Det jag inte vet[br]är inte mitt problem, stick iväg.

0:09:11.906,0:09:13.152
(Skratt)

0:09:13.862,0:09:17.701
Ett sånt system kan vara mindre subjektivt

0:09:17.725,0:09:19.828
än personalchefer på vissa sätt.

0:09:19.852,0:09:21.998
Och det kan vara ekonomiskt rimligt.

0:09:22.573,0:09:24.653
Men det kan också leda till

0:09:24.677,0:09:28.995
ett smygande utestängande[br]från arbetsmarknaden

0:09:29.019,0:09:31.312
av människor med högre risk[br]för psykisk ohälsa.

0:09:31.753,0:09:34.349
Vill vi bygga den sortens samhälle,

0:09:34.373,0:09:36.658
utan att ens märka att vi gör det,

0:09:36.682,0:09:38.825
för att vi låter maskiner ta besluten?

0:09:38.825,0:09:41.265
Maskiner som vi inte begriper oss på?

0:09:41.265,0:09:42.723
Ett annat problem är att

0:09:43.314,0:09:47.766
dessa system ofta reagerar på data[br]som genererats av våra aktiviteter,

0:09:47.790,0:09:49.606
våra digitala avtryck.

0:09:50.188,0:09:53.996
De kan ju bara reflektera våra fördomar,

0:09:54.020,0:09:57.613
och dessa system[br]kan plocka upp fördomarna,

0:09:57.637,0:09:58.950
förstärka dem

0:09:58.974,0:10:00.392
och återspegla dem för oss,

0:10:00.416,0:10:01.878
alltmedan vi intalar oss,

0:10:01.902,0:10:05.019
att "Vi gör bara objektiva[br]neutrala beräkningar."

0:10:06.314,0:10:08.991
Forskare fann att på Google,

0:10:10.134,0:10:15.447
är det mindre troligt att kvinnor får se[br]annonser för välbetalda jobb än män.

0:10:16.463,0:10:18.993
Söker man på afro-amerikanska namn

0:10:19.017,0:10:23.723
är det mer troligt att man får annonser[br]som antyder kriminell bakgrund,

0:10:23.747,0:10:26.054
även när det inte finns någon koppling.

0:10:26.693,0:10:30.242
Sådana dolda fördomar[br]och svarta lådor-algoritmer

0:10:30.266,0:10:34.239
som forskare ibland upptäcker,[br]och ibland inte,

0:10:34.263,0:10:36.924
kan få livsavgörande konsekvenser.

0:10:37.958,0:10:42.117
I Wisconsin dömdes en åtalad[br]till sex års fängelse

0:10:42.141,0:10:43.886
för att ha kört från polisen.

0:10:44.824,0:10:46.010
Du vet det kanske inte,

0:10:46.034,0:10:50.062
men algoritmer används mer och mer[br]vid förelägganden och villkorliga straff.

0:10:50.062,0:10:53.011
Han ville veta:[br]Hur beräknades straffsatsen?

0:10:53.795,0:10:55.460
Av en kommersiell svart låda.

0:10:55.484,0:10:58.496
Företaget vägrade[br]att få sin algoritm bedömd

0:10:58.536,0:11:00.396
i en offentlig rättegång.

0:11:00.396,0:11:05.928
Men det granskande, icke-vinstdrivande[br]företaget Pro-Publica, jämförde den

0:11:05.952,0:11:08.458
med den offentliga data[br]de kunde hitta, och fann

0:11:08.478,0:11:10.428
att algoritmens utfall var partiskt

0:11:10.438,0:11:13.961
och dess kraftfulla beräkningar usla,[br]knappt bättre än slumpen,

0:11:13.985,0:11:18.401
och att den felaktigt pekade ut[br]svarta åtalade som presumtiva brottslingar

0:11:18.425,0:11:22.650
dubbelt så ofta som vita åtalade.

0:11:23.891,0:11:25.455
Så, tänk över det här fallet:

0:11:26.103,0:11:29.955
Den här kvinnan var sen[br]när hon skulle hämta sitt gudbarn

0:11:29.979,0:11:32.054
på en skola i Broward County i Florida,

0:11:32.757,0:11:35.113
hon och hennes vänner sprang nerför gatan.

0:11:35.137,0:11:39.236
De fick syn på en olåst barncykel[br]och en sparkcykel på en veranda

0:11:39.260,0:11:40.892
och tog dem dumt nog.

0:11:40.916,0:11:43.515
När de stack iväg,[br]kom en kvinna ut och sade,

0:11:43.539,0:11:45.744
"Hallå! Det där är mitt barns prylar."

0:11:45.768,0:11:49.062
De släppte dem, gick därifrån,[br]men blev anhållna.

0:11:49.086,0:11:52.723
Hon gjorde fel, hon betedde sig dumt,[br]men hon var också bara arton år.

0:11:52.747,0:11:54.797
Hon hade några ungsdomsförseelser

0:11:54.797,0:11:56.028
sedan tidigare.

0:11:56.028,0:12:01.003
Samtidigt hade den här mannen[br]blivit anhållen för snatteri i Home Depot,

0:12:01.017,0:12:04.131
prylar för 85 dollar,[br]ett ganska litet brott.

0:12:04.766,0:12:09.325
Men han hade tidigare blivit dömd[br]för två väpnade rån.

0:12:09.955,0:12:13.657
Men algoritmen bedömde henne[br]som en högre risk än honom.

0:12:14.746,0:12:18.620
Två år senare fann ProPublica[br]att hon inte återfallit i brott.

0:12:18.644,0:12:21.194
Hon hade bara svårt[br]att få jobb med sin bakgrund.

0:12:21.218,0:12:23.294
Han, å andra sidan,[br]återföll i brottslighet

0:12:23.318,0:12:25.968
och avtjänar nu[br]ett åttaårigt fängelsestraff

0:12:25.968,0:12:28.088
för ett nytt brott.

0:12:28.088,0:12:31.457
Det är tydligt att vi måste revidera[br]våra svarta lådor

0:12:31.481,0:12:34.346
och inte låta dem få[br]sådan här okontrollerad makt.

0:12:34.346,0:12:36.999
(Applåder)

0:12:38.087,0:12:42.329
Kontroller är bra och viktiga,[br]men de löser inte alla våra problem.

0:12:42.353,0:12:45.251
Ta Facebooks kraftfulla algoritm[br]för vårt nyhetsflöde -

0:12:45.251,0:12:49.968
ni vet, den som rangordnar allt[br]och bestämmer vad som ska visas för dig

0:12:49.992,0:12:52.276
från alla vänner och sidor du följer.

0:12:52.898,0:12:55.173
Ska du få se ännu en spädbarnsbild?

0:12:55.197,0:12:56.393
(Skratt)

0:12:56.417,0:12:59.013
En vresig kommentar från en bekant?

0:12:59.449,0:13:01.305
En viktig men svår nyhetsnotis?

0:13:01.329,0:13:02.811
Det finns inget rätt svar.

0:13:02.835,0:13:05.494
Facebook optimerar flödet[br]för att få engagemang:

0:13:05.518,0:13:07.263
gilla, dela, kommentera.

0:13:08.168,0:13:10.864
I augusti 2014

0:13:10.888,0:13:13.550
bröt protester ut i Ferguson, Missouri,

0:13:13.574,0:13:17.991
efter att en vit polis dödat[br]en afro-amerikansk tonåring,

0:13:18.015,0:13:19.585
under märkliga omständigheter.

0:13:19.974,0:13:21.981
Nyheten om protesterna fanns överallt

0:13:22.005,0:13:24.690
i mitt i stort sett[br]algoritmfria Twitter-flöde,

0:13:24.714,0:13:26.664
men inte alls på min Facebook.

0:13:27.182,0:13:28.916
Berodde det på mina Facebook-vänner?

0:13:28.940,0:13:30.972
Jag inaktiverade Facebooks algoritm,

0:13:31.472,0:13:34.320
vilket är svårt för de vill ha dig

0:13:34.344,0:13:36.380
under algoritmens kontroll,

0:13:36.404,0:13:38.522
och såg att mina vänner[br]pratade om händelsen.

0:13:38.526,0:13:40.835
Det var bara det att algoritmen[br]inte visade det.

0:13:40.845,0:13:44.631
Jag undersökte saken och fann[br]att det är ett vanligt problem.

0:13:44.631,0:13:48.078
Händelsen i Ferguson[br]var inte algoritm-vänlig.

0:13:48.102,0:13:49.413
Den var inte "sympatisk."

0:13:49.427,0:13:50.849
Vem skulle klicka på "gilla?"

0:13:51.500,0:13:53.706
Den är inte ens lätt att kommentera.

0:13:53.730,0:13:55.301
Utan gillanden och kommentarer

0:13:55.321,0:13:58.417
skulle algoritmen troligen visa den[br]för ännu färre människor,

0:13:58.441,0:14:00.193
så därför fick vi inte se den.

0:14:00.946,0:14:02.174
Istället, den veckan,

0:14:02.198,0:14:04.496
lyfte Facebooks algoritm fram det här,

0:14:04.520,0:14:06.746
ALS Ice Bucket Challenge.

0:14:06.770,0:14:10.512
Häll iskallt vatten över dig,[br]och skänk pengar för ett gott syfte.

0:14:10.536,0:14:12.870
Den var superalgoritmvänlig.

0:14:13.219,0:14:15.832
Maskinen tog beslutet åt oss.

0:14:15.856,0:14:19.353
En mycket viktig men svår diskussion

0:14:19.377,0:14:20.932
skulle förmodligen kvävts

0:14:20.956,0:14:23.792
om Facebook hade varit [br]den enda nyhetskällan.

0:14:24.117,0:14:27.914
Till sist, de här systemen[br]kan också göra fel

0:14:27.938,0:14:30.674
på sätt som människor inte skulle göra.

0:14:30.698,0:14:33.620
Kommer ni ihåg Watson,[br]IBMs intelligenta dator

0:14:33.644,0:14:36.772
som sopade mattan[br]med deltagarna i Jeopardy?

0:14:36.841,0:14:38.559
Den var en duktig motståndare.

0:14:38.583,0:14:42.152
Men sen, som sista fråga i Jeopardy,[br]fick Watson följande fråga:

0:14:42.519,0:14:45.771
"Största flygplatsen är döpt[br]efter en hjälte i 2:a världskriget,

0:14:45.775,0:14:48.137
den andra största,[br]från ett slag i samma krig."

0:14:48.151,0:14:49.579
(Nynnar Jeopardy-vinjetten)

0:14:49.582,0:14:50.764
Chicago.

0:14:50.778,0:14:52.668
De två människorna svarade rätt.

0:14:52.697,0:14:57.045
Watson, å sin sida, svarade "Toronto" -

0:14:57.069,0:14:58.887
i kategorin amerikanska städer!

0:14:59.336,0:15:02.307
Den imponerande maskinen[br]gjorde också fel

0:15:02.341,0:15:06.452
som en människa aldrig skulle göra,[br]en lågstadieelev aldrig skulle göra.

0:15:06.823,0:15:09.932
Våra intelligenta maskiner kan misslyckas

0:15:09.956,0:15:13.056
på sätt som inte följer[br]mänskliga mönster,

0:15:13.080,0:15:16.030
på sätt som vi inte förväntar oss[br]och är förberedda för.

0:15:16.054,0:15:19.692
Det är botten att inte få[br]ett jobb man är kvalificerad för,

0:15:19.716,0:15:23.303
men det skulle suga om det[br]berodde på minneshanteringen

0:15:23.317,0:15:24.899
i någon subrutin.

0:15:24.923,0:15:26.502
(Skratt)

0:15:26.526,0:15:29.312
I maj 2010

0:15:29.336,0:15:33.380
drabbades Wall Street av en "blixtkrasch"[br]som förstärktes av en loop

0:15:33.404,0:15:36.432
i Wall Streets sälj-algoritm

0:15:36.456,0:15:40.640
som på 36 minuter[br]raderade en miljard dollar.

0:15:41.722,0:15:43.909
Jag vill inte tänka på vad "error" betyder

0:15:43.933,0:15:47.852
i samband med automatiserade vapensystem.

0:15:49.894,0:15:53.684
Visst, människor har alltid[br]gjort partiska antaganden.

0:15:53.708,0:15:55.884
Beslutsfattare och andra grindvakter,

0:15:55.908,0:15:59.401
i domstolar, i nyheter, i krig ...

0:15:59.425,0:16:02.463
de gör misstag;[br]och det är det här jag menar.

0:16:02.487,0:16:06.198
Vi kan inte rymma från[br]de här svåra frågeställningarna.

0:16:06.596,0:16:07.676
Vi kan inte

0:16:07.676,0:16:10.436
lämna över ansvaret till maskiner.

0:16:10.676,0:16:13.674
(Applåder)

0:16:17.089,0:16:21.806
Artificiell intelligens ger oss inte[br]ett frikort när det gäller etik.

0:16:22.742,0:16:26.123
Dataanalytikern Fred Benenson[br]kallar det för matematik-tvätt.

0:16:26.147,0:16:27.536
Vi behöver motsatsen.

0:16:27.560,0:16:32.948
Vi måste förfina algoritmerna,[br]granska och kontrollera dem.

0:16:33.380,0:16:36.578
Vi måste se till att ha[br]ansvarsfulla algoritmer,

0:16:36.602,0:16:39.047
revideringar och meningsfull transparens.

0:16:39.230,0:16:42.864
Vi måste förstå att användande av[br]matematik och maskinberäkningar

0:16:42.874,0:16:45.608
i krångliga, värdeladdade[br]mänskliga relationer

0:16:45.632,0:16:48.016
inte skapar objektivitet;

0:16:48.040,0:16:51.673
utan snarare, att komplexa handlingar[br]påverkar algoritmerna.

0:16:52.148,0:16:55.635
Ja, vi kan och vi bör[br]använda maskinberäkningar

0:16:55.659,0:16:57.673
som en hjälp för att ta bättre beslut.

0:16:57.697,0:17:03.029
Men vi måste ta vårt moraliska ansvar[br]i beaktande i bedömningarna

0:17:03.053,0:17:05.871
och använda algoritmerna i det ramverket,

0:17:05.895,0:17:10.830
och inte som ett sätt att frånsäga oss[br]eller outsourca vårt ansvar

0:17:10.854,0:17:13.308
till varandra som människa till människa.

0:17:13.807,0:17:16.416
Maskinintelligens är här för att stanna.

0:17:16.440,0:17:19.861
Det betyder att vi måste[br]hålla ännu hårdare

0:17:19.885,0:17:22.032
i våra värderingar och vår etik.

0:17:22.056,0:17:23.210
Tack.

0:17:23.234,0:17:26.206
(Applåder)