WEBVTT

00:00:00.739 --> 00:00:04.861
Mitt första jobb var som dataprogrammerare

00:00:04.885 --> 00:00:06.841
under mitt första år på högskolan -

00:00:06.865 --> 00:00:08.372
jag var tonåring då.

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
Strax efter att jag börjat jobba,

00:00:10.645 --> 00:00:12.255
med att utveckla programvara,

00:00:12.799 --> 00:00:16.434
kom en chef på företaget ner där jag satt,

00:00:16.458 --> 00:00:17.726
och viskade till mig,

00:00:18.229 --> 00:00:21.090
"Kan han se om jag ljuger?"

00:00:21.806 --> 00:00:23.883
Där fanns ingen annan i rummet.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
"Kan vem se om du ljuger?
Och varför viskar vi?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
Chefen pekade på datorn som stod i rummet.

00:00:33.397 --> 00:00:36.493
"Kan han se om jag ljuger?"

00:00:37.613 --> 00:00:41.975
Den här chefen hade en affär
med receptionisten.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Skratt)

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
Och jag var fortfarande tonåring.

00:00:45.447 --> 00:00:47.466
Så jag visk-skrek tillbaka,

00:00:47.490 --> 00:00:51.114
"Ja, datorn kan se om du ljuger."

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Skratt)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
Jag skrattade, men egentligen
är det jag som är skämtet.

00:00:55.915 --> 00:00:59.183
Idag finns det beräkningssystem

00:00:59.207 --> 00:01:02.755
som kan sortera ut känslor och även lögner

00:01:02.779 --> 00:01:04.823
genom att processa data från ansikten.

00:01:05.248 --> 00:01:09.401
Annonsörer och till och med regeringar
är mycket intresserade.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Jag blev programmerare

00:01:12.205 --> 00:01:15.318
för som barn var jag som tokig
i matematik och vetenskap.

00:01:15.942 --> 00:01:19.050
Men någonstans längs vägen
fick jag vetskap om kärnvapen,

00:01:19.074 --> 00:01:22.026
och blev mycket oroad
över etiken i forskningen.

00:01:22.050 --> 00:01:23.254
Jag var bekymrad.

00:01:23.278 --> 00:01:25.919
Emellertid, på grund av
familjeomständigheter,

00:01:25.943 --> 00:01:29.241
var jag också tvungen
att börja arbeta tidigt.

00:01:29.265 --> 00:01:32.564
Jag tänkte för mig själv;
jag väljer ett tekniskt område

00:01:32.588 --> 00:01:34.384
där jag lätt kan få arbete och där

00:01:34.408 --> 00:01:38.426
jag inte behöver bekymra mig om
några svårlösta etiska frågor.

00:01:39.022 --> 00:01:40.551
Så jag valde datorer.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Skratt)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Ja, ha, ha, ha!
Skratta gärna åt mig.

00:01:45.137 --> 00:01:47.891
Idag bygger datorforskare plattformar

00:01:47.915 --> 00:01:52.124
som kontrollerar vad som visas
för miljarder människor varje dag.

00:01:53.052 --> 00:01:54.707
De utvecklar bilar

00:01:54.707 --> 00:01:57.223
som skulle kunna bestämma
vem de ska köra över.

00:01:57.707 --> 00:02:00.920
De bygger till och med maskiner, vapen,

00:02:00.944 --> 00:02:03.229
som kan döda människor i krig.

00:02:03.253 --> 00:02:06.024
Det handlar om etik i hela ledet.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
De intelligenta maskinerna är här.

00:02:09.823 --> 00:02:13.297
Idag använder vi beräkningssystem
för alla sorters beslut,

00:02:13.321 --> 00:02:15.207
men också för nya typer av beslut.

00:02:15.231 --> 00:02:20.403
Vi ställer frågor till algoritmerna
som inte har ett entydigt korrekt svar,

00:02:20.427 --> 00:02:21.629
frågor som är subjektiva,

00:02:21.653 --> 00:02:23.978
öppna och värdeladdade.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
Vi ställer frågor som,

00:02:25.784 --> 00:02:27.434
"Vem ska företaget anställa?"

00:02:27.716 --> 00:02:29.546
"Vilken av dina vänners uppdateringar

00:02:29.546 --> 00:02:30.879
ska du kunna se?"

00:02:30.879 --> 00:02:33.145
"Vem återfaller troligast i brott?"

00:02:33.514 --> 00:02:36.568
"Vilka nyheter eller filmer
ska rekommenderas till folk?"

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Visst, vi har använt datorer ett tag,

00:02:39.988 --> 00:02:41.505
men det här är annorlunda.

00:02:41.529 --> 00:02:43.596
Det är en historisk vridning,

00:02:43.620 --> 00:02:48.957
för vi kan inte verifiera beräkningarna
för sådana subjektiva beslut

00:02:48.981 --> 00:02:54.401
på samma sätt som vi kan verifiera dem
vi gör för flygplan, brokonstruktioner,

00:02:54.425 --> 00:02:55.684
eller månfärder.

00:02:56.449 --> 00:02:59.708
Är flygplan säkrare?
Började bron självsvänga och rasa?

00:02:59.732 --> 00:03:04.230
Där har vi kommit överens om
ganska tydliga ramverk,

00:03:04.254 --> 00:03:06.493
och vi har lagar som vägleder oss.

00:03:06.517 --> 00:03:09.911
Såna ramverk eller normer finns inte

00:03:09.935 --> 00:03:13.898
för beslut gällande
krångliga mänskliga relationer.

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
För att göra det än mer komplicerat,
blir vår mjukvara kraftfullare,

00:03:18.183 --> 00:03:21.956
samtidigt som den blir
både mindre transparent och mer komplex.

00:03:22.542 --> 00:03:24.582
Under det senaste årtiondet,

00:03:24.606 --> 00:03:27.335
har komplexa algoritmer
gjort enorma framsteg.

00:03:27.359 --> 00:03:29.349
De kan känna igen ansikten.

00:03:29.985 --> 00:03:32.040
De kan tolka handskriven text.

00:03:32.436 --> 00:03:34.502
De kan upptäcka kontokortsbedrägerier,

00:03:34.526 --> 00:03:35.715
blockera spam

00:03:35.739 --> 00:03:37.776
och de kan översätta språk.

00:03:37.800 --> 00:03:40.374
De kan upptäcka tumörer
genom medicinsk bildteknik.

00:03:40.398 --> 00:03:42.603
De kan slå människor i schack och Go.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
Många av de här framstegen härrör från
en metod som kallas "maskininlärning."

00:03:48.175 --> 00:03:51.362
Maskininlärning skiljer sig
från traditionell programmering,

00:03:51.386 --> 00:03:54.971
där du ger datorn detaljerade,
exakta, noggranna instruktioner.

00:03:55.378 --> 00:03:59.560
Det här är mer som att du
matar systemet med en massa data,

00:03:59.584 --> 00:04:01.240
inkluderat ostrukturerad data,

00:04:01.264 --> 00:04:03.542
till exempel från våra digitala liv.

00:04:03.566 --> 00:04:06.296
Systemet lär sig genom att
bearbeta datamängderna.

00:04:06.669 --> 00:04:08.195
Avgörande är också,

00:04:08.219 --> 00:04:12.599
att systemen inte kommer fram till
något entydigt svar.

00:04:12.623 --> 00:04:16.002
Du får inte ett enkelt svar,
utan en sannolikhetsbedömning;

00:04:16.002 --> 00:04:19.089
"Det här är sannolikt det du letar efter."

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
Fördelen är att metoden är kraftfull.

00:04:23.117 --> 00:04:25.403
Chefen för Googles AI-system kallade det

00:04:25.403 --> 00:04:27.564
"datas orimliga effektivitet."

00:04:27.791 --> 00:04:29.144
Nackdelen är

00:04:29.738 --> 00:04:32.809
att vi inte förstår vad systemet lär sig.

00:04:32.833 --> 00:04:34.820
Faktum är att det är dess makt.

00:04:34.946 --> 00:04:38.744
Det är mindre av
att ge en dator instruktioner,

00:04:39.200 --> 00:04:43.264
och mer som att träna en Tamagotschi

00:04:43.288 --> 00:04:45.659
som vi varken förstår eller kontrollerar.

00:04:46.362 --> 00:04:47.913
Det är vårt stora problem.

00:04:48.427 --> 00:04:52.689
Det är problematiskt när såna här system
får saker och ting om bakfoten.

00:04:52.713 --> 00:04:56.253
Det är också ett problem
när de får till det rätt,

00:04:56.277 --> 00:04:59.905
för vi vet inte vad som är vad,
när frågeställningen är subjektiv.

00:04:59.929 --> 00:05:02.648
Vi vet inte vad den här tingesten tänker.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
Föreställ er en algoritm
för anställning -

00:05:08.123 --> 00:05:12.434
ett maskininlärningssystem
som används för att anställa människor.

00:05:13.052 --> 00:05:16.631
Ett sådant system har lärt sig
av data över tidigare anställda

00:05:16.655 --> 00:05:19.246
och instruerats att hitta och anställa

00:05:19.270 --> 00:05:22.308
likadana högpresterare
som redan är anställda i företaget.

00:05:22.814 --> 00:05:23.967
Det låter ju bra.

00:05:23.991 --> 00:05:25.990
Jag deltog en gång i en konferens

00:05:26.014 --> 00:05:29.139
med personalchefer och chefer,

00:05:29.163 --> 00:05:30.369
högt uppsatta människor,

00:05:30.393 --> 00:05:31.952
som använder såna system.

00:05:31.976 --> 00:05:33.622
De var otroligt entusiastiska.

00:05:33.646 --> 00:05:37.063
De trodde att det här skulle göra
anställningsprocessen objektiv,

00:05:37.063 --> 00:05:38.433
och mindre fördomsfull,

00:05:38.433 --> 00:05:41.323
och ge kvinnor och minoriteter
en bättre chans

00:05:41.347 --> 00:05:43.755
mot fördomsfulla, partiska
personalchefer.

NOTE Paragraph

00:05:43.755 --> 00:05:46.582
Men lyssna här -
anställningar är fördomsfulla.

00:05:47.099 --> 00:05:48.284
Jag vet.

00:05:48.308 --> 00:05:51.313
Jag menar, under mitt första jobb
som programmerare,

00:05:51.337 --> 00:05:55.205
kom ibland min närmsta chef förbi

00:05:55.229 --> 00:05:58.982
antingen väldigt tidigt på morgonen
eller mycket sent på eftermiddagen,

00:05:59.006 --> 00:06:02.068
och sade; "Zeynep, nu går vi på lunch!"

00:06:02.724 --> 00:06:04.891
Jag var brydd av den märkliga tajmingen.

00:06:04.915 --> 00:06:07.044
Klockan är fyra på eftermiddagen. Lunch?

00:06:07.068 --> 00:06:10.162
Jag var pank, så gratis lunch.
Jag följde alltid med.

00:06:10.618 --> 00:06:12.685
Senare förstod jag vad som hände.

00:06:12.709 --> 00:06:17.255
Min närmaste chef hade inte erkänt
för de högre cheferna

00:06:17.279 --> 00:06:21.632
att programmeraren de anställt
var en tonårstjej

00:06:21.646 --> 00:06:24.706
i jeans och gymnastikskor.

00:06:25.174 --> 00:06:27.486
Jag gjorde ett bra jobb,
jag såg bara fel ut

00:06:27.486 --> 00:06:29.099
och var ung och kvinna.

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
Så att anställa utan att
ta hänsyn till kön och ras

00:06:32.493 --> 00:06:34.358
låter verkligen bra i mina öron.

00:06:35.031 --> 00:06:38.372
Men med de här systemen
blir det mer komplicerat;

00:06:38.968 --> 00:06:44.759
Idag kan beräkningssystem
dra alla möjliga slutsatser om dig

00:06:44.783 --> 00:06:46.655
utifrån dina digitala avtryck,

00:06:46.679 --> 00:06:49.012
även om du inte har avslöjat dem.

00:06:49.506 --> 00:06:52.433
De kan dra slutsatser
om din sexuella läggning,

00:06:52.994 --> 00:06:54.300
dina karaktärsdrag,

00:06:54.859 --> 00:06:56.232
dina politiska böjelser.

00:06:56.830 --> 00:07:00.515
De kan prognostisera med hög noggrannhet.

00:07:01.362 --> 00:07:03.940
Kom ihåg - kring saker du inte avslöjat.

00:07:03.964 --> 00:07:05.555
Det är slutledningsförmåga.

NOTE Paragraph

00:07:05.579 --> 00:07:08.980
Jag har en vän som utvecklat
ett beräkningssystem

00:07:08.980 --> 00:07:12.505
för att beräkna sannolikheten
för klinisk- eller förlossningsdepression

00:07:12.529 --> 00:07:13.945
utifrån digitala avtryck.

00:07:14.676 --> 00:07:16.103
Resultaten är imponerande.

00:07:16.492 --> 00:07:19.849
Hennes system kan beräkna
sannolikheten för depression

00:07:19.873 --> 00:07:23.776
månader innan symtomen visar sig -

00:07:23.800 --> 00:07:25.173
månader i förväg.

00:07:25.197 --> 00:07:27.443
Inga symtom, bara förutsägelse.

00:07:27.467 --> 00:07:31.321
Hon hoppas att det ska användas
för behandling i ett tidigt stadium.

00:07:31.341 --> 00:07:32.911
Jättebra!

00:07:32.911 --> 00:07:35.671
Men sätt in det
i ett anställningssammanhang.

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
På den här personalchefskonferensen,

00:07:39.097 --> 00:07:43.806
frågade jag en högt uppsatt chef
i ett mycket stort företag,

00:07:43.830 --> 00:07:48.408
"Du, tänk om, utan att du vet,

00:07:48.432 --> 00:07:51.051
ert system gallrar ut

00:07:51.051 --> 00:07:55.309
personer med hög sannolikhet
att drabbas av depression?

00:07:55.761 --> 00:07:59.367
De är inte deprimerade nu,
men kanske blir någon gång i framtiden.

00:07:59.923 --> 00:08:03.599
Tänk om det gallrar ut kvinnor
som kan komma att bli gravida

00:08:03.599 --> 00:08:06.189
inom ett till två år
men som inte är gravida nu?

00:08:06.844 --> 00:08:12.700
Tänk om aggressiva människor anställs för
att det är en del av er företagskultur?"

00:08:13.173 --> 00:08:15.864
Du kan inte bedöma det
utifrån könsfördelningen.

00:08:15.888 --> 00:08:17.390
De kan vara i balans.

00:08:17.414 --> 00:08:20.971
Eftersom detta gäller maskininlärning,
och inte traditionell kodning,

00:08:20.995 --> 00:08:25.902
finns det ingen variabel som säger
"högre risk för depression,"

00:08:25.926 --> 00:08:27.759
"högre risk för graviditet,"

00:08:27.783 --> 00:08:29.517
"macho-tendenser."

00:08:29.995 --> 00:08:31.555
Du vet varken

00:08:31.555 --> 00:08:33.698
vad ditt system selekterar på,

00:08:33.698 --> 00:08:36.021
eller var du ska börja titta.

00:08:36.045 --> 00:08:37.291
Det är en svart låda.

00:08:37.315 --> 00:08:40.122
Det har en förutsägbar kraft,
men du förstår inte det.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
"Vilka garantier, frågade jag, har du

00:08:42.889 --> 00:08:46.552
för att försäkra dig om
att din svarta låda inte gör något skumt?"

00:08:48.863 --> 00:08:52.741
Hon tittade på mig som om jag
just trampat på hennes hund.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Skratt)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
Hon stirrade på mig och sade,

00:08:56.396 --> 00:09:00.889
"Jag vill inte höra ett enda ord till."

00:09:01.458 --> 00:09:03.532
Hon vände sig om och gick.

00:09:03.724 --> 00:09:06.020
Kom ihåg - hon var inte oförskämd.

00:09:06.020 --> 00:09:11.882
Det var tydligt: Det jag inte vet
är inte mitt problem, stick iväg.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(Skratt)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
Ett sånt system kan vara mindre subjektivt

00:09:17.725 --> 00:09:19.828
än personalchefer på vissa sätt.

00:09:19.852 --> 00:09:21.998
Och det kan vara ekonomiskt rimligt.

00:09:22.573 --> 00:09:24.653
Men det kan också leda till

00:09:24.677 --> 00:09:28.995
ett smygande utestängande
från arbetsmarknaden

00:09:29.019 --> 00:09:31.312
av människor med högre risk
för psykisk ohälsa.

00:09:31.753 --> 00:09:34.349
Vill vi bygga den sortens samhälle,

00:09:34.373 --> 00:09:36.658
utan att ens märka att vi gör det,

00:09:36.682 --> 00:09:38.825
för att vi låter maskiner ta besluten?

00:09:38.825 --> 00:09:41.265
Maskiner som vi inte begriper oss på?

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
Ett annat problem är att

00:09:43.314 --> 00:09:47.766
dessa system ofta reagerar på data
som genererats av våra aktiviteter,

00:09:47.790 --> 00:09:49.606
våra digitala avtryck.

00:09:50.188 --> 00:09:53.996
De kan ju bara reflektera våra fördomar,

00:09:54.020 --> 00:09:57.613
och dessa system
kan plocka upp fördomarna,

00:09:57.637 --> 00:09:58.950
förstärka dem

00:09:58.974 --> 00:10:00.392
och återspegla dem för oss,

00:10:00.416 --> 00:10:01.878
alltmedan vi intalar oss,

00:10:01.902 --> 00:10:05.019
att "Vi gör bara objektiva
neutrala beräkningar."

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
Forskare fann att på Google,

00:10:10.134 --> 00:10:15.447
är det mindre troligt att kvinnor får se
annonser för välbetalda jobb än män.

00:10:16.463 --> 00:10:18.993
Söker man på afro-amerikanska namn

00:10:19.017 --> 00:10:23.723
är det mer troligt att man får annonser
som antyder kriminell bakgrund,

00:10:23.747 --> 00:10:26.054
även när det inte finns någon koppling.

00:10:26.693 --> 00:10:30.242
Sådana dolda fördomar
och svarta lådor-algoritmer

00:10:30.266 --> 00:10:34.239
som forskare ibland upptäcker,
och ibland inte,

00:10:34.263 --> 00:10:36.924
kan få livsavgörande konsekvenser.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
I Wisconsin dömdes en åtalad
till sex års fängelse

00:10:42.141 --> 00:10:43.886
för att ha kört från polisen.

00:10:44.824 --> 00:10:46.010
Du vet det kanske inte,

00:10:46.034 --> 00:10:50.062
men algoritmer används mer och mer
vid förelägganden och villkorliga straff.

00:10:50.062 --> 00:10:53.011
Han ville veta:
Hur beräknades straffsatsen?

00:10:53.795 --> 00:10:55.460
Av en kommersiell svart låda.

00:10:55.484 --> 00:10:58.496
Företaget vägrade
att få sin algoritm bedömd

00:10:58.536 --> 00:11:00.396
i en offentlig rättegång.

00:11:00.396 --> 00:11:05.928
Men det granskande, icke-vinstdrivande
företaget Pro-Publica, jämförde den

00:11:05.952 --> 00:11:08.458
med den offentliga data
de kunde hitta, och fann

00:11:08.478 --> 00:11:10.428
att algoritmens utfall var partiskt

00:11:10.438 --> 00:11:13.961
och dess kraftfulla beräkningar usla,
knappt bättre än slumpen,

00:11:13.985 --> 00:11:18.401
och att den felaktigt pekade ut
svarta åtalade som presumtiva brottslingar

00:11:18.425 --> 00:11:22.650
dubbelt så ofta som vita åtalade.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
Så, tänk över det här fallet:

00:11:26.103 --> 00:11:29.955
Den här kvinnan var sen
när hon skulle hämta sitt gudbarn

00:11:29.979 --> 00:11:32.054
på en skola i Broward County i Florida,

00:11:32.757 --> 00:11:35.113
hon och hennes vänner sprang nerför gatan.

00:11:35.137 --> 00:11:39.236
De fick syn på en olåst barncykel
och en sparkcykel på en veranda

00:11:39.260 --> 00:11:40.892
och tog dem dumt nog.

00:11:40.916 --> 00:11:43.515
När de stack iväg,
kom en kvinna ut och sade,

00:11:43.539 --> 00:11:45.744
"Hallå! Det där är mitt barns prylar."

00:11:45.768 --> 00:11:49.062
De släppte dem, gick därifrån,
men blev anhållna.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Hon gjorde fel, hon betedde sig dumt,
men hon var också bara arton år.

00:11:52.747 --> 00:11:54.797
Hon hade några ungsdomsförseelser

00:11:54.797 --> 00:11:56.028
sedan tidigare.

00:11:56.028 --> 00:12:01.003
Samtidigt hade den här mannen
blivit anhållen för snatteri i Home Depot,

00:12:01.017 --> 00:12:04.131
prylar för 85 dollar,
ett ganska litet brott.

00:12:04.766 --> 00:12:09.325
Men han hade tidigare blivit dömd
för två väpnade rån.

00:12:09.955 --> 00:12:13.657
Men algoritmen bedömde henne
som en högre risk än honom.

00:12:14.746 --> 00:12:18.620
Två år senare fann ProPublica
att hon inte återfallit i brott.

00:12:18.644 --> 00:12:21.194
Hon hade bara svårt
att få jobb med sin bakgrund.

00:12:21.218 --> 00:12:23.294
Han, å andra sidan,
återföll i brottslighet

00:12:23.318 --> 00:12:25.968
och avtjänar nu
ett åttaårigt fängelsestraff

00:12:25.968 --> 00:12:28.088
för ett nytt brott.

00:12:28.088 --> 00:12:31.457
Det är tydligt att vi måste revidera
våra svarta lådor

00:12:31.481 --> 00:12:34.346
och inte låta dem få
sådan här okontrollerad makt.

NOTE Paragraph

00:12:34.346 --> 00:12:36.999
(Applåder)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Kontroller är bra och viktiga,
men de löser inte alla våra problem.

00:12:42.353 --> 00:12:45.251
Ta Facebooks kraftfulla algoritm
för vårt nyhetsflöde -

00:12:45.251 --> 00:12:49.968
ni vet, den som rangordnar allt
och bestämmer vad som ska visas för dig

00:12:49.992 --> 00:12:52.276
från alla vänner och sidor du följer.

00:12:52.898 --> 00:12:55.173
Ska du få se ännu en spädbarnsbild?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Skratt)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
En vresig kommentar från en bekant?

00:12:59.449 --> 00:13:01.305
En viktig men svår nyhetsnotis?

00:13:01.329 --> 00:13:02.811
Det finns inget rätt svar.

00:13:02.835 --> 00:13:05.494
Facebook optimerar flödet
för att få engagemang:

00:13:05.518 --> 00:13:07.263
gilla, dela, kommentera.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
I augusti 2014

00:13:10.888 --> 00:13:13.550
bröt protester ut i Ferguson, Missouri,

00:13:13.574 --> 00:13:17.991
efter att en vit polis dödat
en afro-amerikansk tonåring,

00:13:18.015 --> 00:13:19.585
under märkliga omständigheter.

00:13:19.974 --> 00:13:21.981
Nyheten om protesterna fanns överallt

00:13:22.005 --> 00:13:24.690
i mitt i stort sett
algoritmfria Twitter-flöde,

00:13:24.714 --> 00:13:26.664
men inte alls på min Facebook.

00:13:27.182 --> 00:13:28.916
Berodde det på mina Facebook-vänner?

00:13:28.940 --> 00:13:30.972
Jag inaktiverade Facebooks algoritm,

00:13:31.472 --> 00:13:34.320
vilket är svårt för de vill ha dig

00:13:34.344 --> 00:13:36.380
under algoritmens kontroll,

00:13:36.404 --> 00:13:38.522
och såg att mina vänner
pratade om händelsen.

00:13:38.526 --> 00:13:40.835
Det var bara det att algoritmen
inte visade det.

00:13:40.845 --> 00:13:44.631
Jag undersökte saken och fann
att det är ett vanligt problem.

NOTE Paragraph

00:13:44.631 --> 00:13:48.078
Händelsen i Ferguson
var inte algoritm-vänlig.

00:13:48.102 --> 00:13:49.413
Den var inte "sympatisk."

00:13:49.427 --> 00:13:50.849
Vem skulle klicka på "gilla?"

00:13:51.500 --> 00:13:53.706
Den är inte ens lätt att kommentera.

00:13:53.730 --> 00:13:55.301
Utan gillanden och kommentarer

00:13:55.321 --> 00:13:58.417
skulle algoritmen troligen visa den
för ännu färre människor,

00:13:58.441 --> 00:14:00.193
så därför fick vi inte se den.

00:14:00.946 --> 00:14:02.174
Istället, den veckan,

00:14:02.198 --> 00:14:04.496
lyfte Facebooks algoritm fram det här,

00:14:04.520 --> 00:14:06.746
ALS Ice Bucket Challenge.

00:14:06.770 --> 00:14:10.512
Häll iskallt vatten över dig,
och skänk pengar för ett gott syfte.

00:14:10.536 --> 00:14:12.870
Den var superalgoritmvänlig.

00:14:13.219 --> 00:14:15.832
Maskinen tog beslutet åt oss.

00:14:15.856 --> 00:14:19.353
En mycket viktig men svår diskussion

00:14:19.377 --> 00:14:20.932
skulle förmodligen kvävts

00:14:20.956 --> 00:14:23.792
om Facebook hade varit 
den enda nyhetskällan.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
Till sist, de här systemen
kan också göra fel

00:14:27.938 --> 00:14:30.674
på sätt som människor inte skulle göra.

00:14:30.698 --> 00:14:33.620
Kommer ni ihåg Watson,
IBMs intelligenta dator

00:14:33.644 --> 00:14:36.772
som sopade mattan
med deltagarna i Jeopardy?

00:14:36.841 --> 00:14:38.559
Den var en duktig motståndare.

00:14:38.583 --> 00:14:42.152
Men sen, som sista fråga i Jeopardy,
fick Watson följande fråga:

00:14:42.519 --> 00:14:45.771
"Största flygplatsen är döpt
efter en hjälte i 2:a världskriget,

00:14:45.775 --> 00:14:48.137
den andra största,
från ett slag i samma krig."

NOTE Paragraph

00:14:48.151 --> 00:14:49.579
(Nynnar Jeopardy-vinjetten)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
Chicago.

00:14:50.778 --> 00:14:52.668
De två människorna svarade rätt.

00:14:52.697 --> 00:14:57.045
Watson, å sin sida, svarade "Toronto" -

00:14:57.069 --> 00:14:58.887
i kategorin amerikanska städer!

00:14:59.336 --> 00:15:02.307
Den imponerande maskinen
gjorde också fel

00:15:02.341 --> 00:15:06.452
som en människa aldrig skulle göra,
en lågstadieelev aldrig skulle göra.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
Våra intelligenta maskiner kan misslyckas

00:15:09.956 --> 00:15:13.056
på sätt som inte följer
mänskliga mönster,

00:15:13.080 --> 00:15:16.030
på sätt som vi inte förväntar oss
och är förberedda för.

00:15:16.054 --> 00:15:19.692
Det är botten att inte få
ett jobb man är kvalificerad för,

00:15:19.716 --> 00:15:23.303
men det skulle suga om det
berodde på minneshanteringen

00:15:23.317 --> 00:15:24.899
i någon subrutin.

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
(Skratt)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
I maj 2010

00:15:29.336 --> 00:15:33.380
drabbades Wall Street av en "blixtkrasch"
som förstärktes av en loop

00:15:33.404 --> 00:15:36.432
i Wall Streets sälj-algoritm

00:15:36.456 --> 00:15:40.640
som på 36 minuter
raderade en miljard dollar.

00:15:41.722 --> 00:15:43.909
Jag vill inte tänka på vad "error" betyder

00:15:43.933 --> 00:15:47.852
i samband med automatiserade vapensystem.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
Visst, människor har alltid
gjort partiska antaganden.

00:15:53.708 --> 00:15:55.884
Beslutsfattare och andra grindvakter,

00:15:55.908 --> 00:15:59.401
i domstolar, i nyheter, i krig ...

00:15:59.425 --> 00:16:02.463
de gör misstag;
och det är det här jag menar.

00:16:02.487 --> 00:16:06.198
Vi kan inte rymma från
de här svåra frågeställningarna.

00:16:06.596 --> 00:16:07.676
Vi kan inte

00:16:07.676 --> 00:16:10.436
lämna över ansvaret till maskiner.

NOTE Paragraph

00:16:10.676 --> 00:16:13.674
(Applåder)

NOTE Paragraph

00:16:17.089 --> 00:16:21.806
Artificiell intelligens ger oss inte
ett frikort när det gäller etik.

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
Dataanalytikern Fred Benenson
kallar det för matematik-tvätt.

00:16:26.147 --> 00:16:27.536
Vi behöver motsatsen.

00:16:27.560 --> 00:16:32.948
Vi måste förfina algoritmerna,
granska och kontrollera dem.

00:16:33.380 --> 00:16:36.578
Vi måste se till att ha
ansvarsfulla algoritmer,

00:16:36.602 --> 00:16:39.047
revideringar och meningsfull transparens.

00:16:39.230 --> 00:16:42.864
Vi måste förstå att användande av
matematik och maskinberäkningar

00:16:42.874 --> 00:16:45.608
i krångliga, värdeladdade
mänskliga relationer

00:16:45.632 --> 00:16:48.016
inte skapar objektivitet;

00:16:48.040 --> 00:16:51.673
utan snarare, att komplexa handlingar
påverkar algoritmerna.

00:16:52.148 --> 00:16:55.635
Ja, vi kan och vi bör
använda maskinberäkningar

00:16:55.659 --> 00:16:57.673
som en hjälp för att ta bättre beslut.

00:16:57.697 --> 00:17:03.029
Men vi måste ta vårt moraliska ansvar
i beaktande i bedömningarna

00:17:03.053 --> 00:17:05.871
och använda algoritmerna i det ramverket,

00:17:05.895 --> 00:17:10.830
och inte som ett sätt att frånsäga oss
eller outsourca vårt ansvar

00:17:10.854 --> 00:17:13.308
till varandra som människa till människa.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
Maskinintelligens är här för att stanna.

00:17:16.440 --> 00:17:19.861
Det betyder att vi måste
hålla ännu hårdare

00:17:19.885 --> 00:17:22.032
i våra värderingar och vår etik.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Tack.

NOTE Paragraph

00:17:23.234 --> 00:17:26.206
(Applåder)