Kako učimo računala da razumiju slike

Kada vrlo mala djevojčica pogleda sliku, ona može prepoznati osnovne elemente: "mačku", "knjigu", "stolicu". Sad, računala postaju dovoljno pametna da i ona to rade. Što je slijedeće? U ovom uzbudljivom govoru, ekspert za računalni vid Fei-Fei Li opisuje najnovija (uključujući bazu podataka od 15 milijuna slika koje je njen tim stvorio kako bi "naučio" računalo da prepoznaje slike) i glavna dostignuća.

Dopustite da vam pokažem nešto

[Video] Djevojka: Dobro, to je mačka
koja sjedi na krevetu.

Dječak mazi slona.

Ovo su ljudi
koji idu u avion.

To je veliki avion.

Fei-Fei Li: Ovo je
trogodišnje dijete

koje opisuje što vidi
na ovim slikama.

Iako ima još dosta toga
što mora naučiti o svijetu

već je ekspert
u nečemu važnom:

razumije što vidi.

Naše društvo je tehnološki
naprednije no ikada.

Šaljemo ljude na mjesec,
izrađujemo telefone koji pričaju s nama

i prilagođene radio stanice
koje puštaju samo glazbu koju volimo.

Ipak, naši najnapredniji
uređaj i računala

imaju poteškoća s ovim zadatkom.

Ovdje sam danas
kako bi vas izvijestila

o najnovijim dostignućima
u istraživanju računalnog vida,

jednoj od glavnih
i potencijalno revolucionarnih

tehnologija računarstva.

Imamo prototipe auta
koji se sami voze,

ali bez pametnog vida,
ne mogu zapravo vidjeti razliku

između zgužvane papirnate vrećice
na putu, koju mogu pregaziti,

i kamena te veličine
koji treba izbjeći.

imamo odlične megapikselne kamere,

ali nismo dali
vid slijepima.

Dronovi mogu letjeti vrlo daleko

ali nemaju dovoljno tehnologije vida

da nam pomognu pratiti
promjene u kišnim šumama

Sigurnosne kamere su svugdje,

ali ne upozoravaju nas kada se
dijete utaplja u bazenu.

Slike i videi postaju
integralni dio globalnog života.

Stvaraju se brzinom koja je
daleko veća od od one koji bi čovjek

ili timovi ljudi željeli vidjeti,

a vi i ja pridonosimo tome
ovdje na TED-u.

Ipak naš najnapredniji softver
se i dalje muči oko razumjevanja

i upravljanja tog ogromnog sadržaja.

Drugim riječima,
zajedno kao društvo,

poprilično smo slijepi,

jer su naši najpametniji
uređaji i dalje slijepi.

"Zašto je to tako teško?",
možda se pitate.

Kamere mogu fotografirati slike poput ove

pretvarajući svjetlost u
dvodimenzionalne redove brojeva

poznate kao pikseli,

ali to su samo beživotni brojevi.

Ne nose smisao u sebi.

Jednako kao što slušati
ne znači isto što i čuti,

fotografirati sliku nije isto
što i vidjeti,

a pod vidjeti
mislimo na razumijevanje.

Zapravo, prirodi je bilo potrebno
540 milijuna godina teškog posla

da to uspije,

a većina tog posla

otišla je u razvijanje uređaja
za obradu vida u našem mozgu,

ne u samim očima.

Vid započinje s očima,

ali zapravo se sve događa u mozgu.

Već 15 godina, započevši od
mog doktorata u Caltech-u

i zatim vodeći Stanfordov
laboratorij za vid,

radila sam s mentorima,
suradnicima i studentima

kako bi naučili računala da vide.

Naše polje se zove
računarni vid i strojno učenje.

Dio je većeg polja
umjetne inteligencije.

Naposljetku, želimo naučiti
uređaje da vide kao što mi vidimo:

imenovanje objekata, prepoznavanje ljudi,
razumjevanje trodimenzionalnosti objekata,

razumjevanje odnosa, emocija
akcija i namjera.

Vi i ja vidimo cijele priče
ljudi, mjesta i stvari

u trenutku kada ih pogledamo.

Prvi korak do ovog cilja je
naučiti računala da vide objekte,

građevne jedinice vizualnog svijeta.

U svom najjednostavnijem obliku,
zamislite ovaj proces učenja

kao pokazivanje računalu
raznih prizora za trening

određenog objekta, recimo mačaka,

i dizajniranje modela koji uči
iz ovih prikaza za .

Koliko teško to može biti?

Nakon svega, mačka je samo
skup oblika i boja,

i ovo je ono što smo radili
u početcima modeliranja objekta.

Napisali bi računalu algoritme
u matematičkom jeziku

da mačka ima okruglo lice,
debeljuškasto tijelo,

dva šiljata uha i dugačak rep,

i da izgleda lijepo.

ali što je s ovom mačkom?

(Smijeh)

Sva je izvijena.

Sad morate dodati drugi oblik
i pogled modelnom objektu.

Što ako su mačke skrivene?

Što je sa smiješnim mačkama?

Sad vidite što želim reći.

Čak i nešto jednostavno
poput kućnog ljubimca

može imati beskonačan broj
varijacija modelnog objekta,

i to je samo jedan objekt.

Prije osam godina,

vrlo jednostavno i duboko zapažanje
promjenilo mi je razmišljanje.

Nitko ne govori djetetu kako da vidi,

posebno u ranijim godinama.

Oni to uče kroz
iskustvo i primjere iz stvarnog svijeta.

Ako smatrate dječje oči

parom bioloških kamera,

one fotografiraju
svakih 200 milisekundi,

prosječno vrijeme koliko je potrebno
za pokret oka.

Do svoje treće godine, dijete bi vidjelo
stotine milijuna slika

stvarnog svijeta.

To je puno primjera za vježbu.

Umjesto fokusiranja samo na
sve bolje i bolje algoritme,

mislila sam dati algoritmima
nekakakve podatke za vježbu

koje je dijete dobijalo kroz iskustva

i to kvantitativno i kvalitativno.

Jednom kada znamo ovo,

znali smo da moramo skupiti skup podataka

koji ima puno više prikaza
no što smo mi imali ikad prije,

možda i tisuću puta više,

i zajedno s profesorom
Kai Li na sveučilištu Princeton,

2007. lansirali smo ImageNet projekt.

Sva sreća nismo morali montirati
kamere na naše glave

i čekati godinama.

Otišli smo na Internet,

najveću riznicu slika koju je
čovječanstvo stvorilo.

skinuli smo skoro
milijardu slika i

koristili crowdsourcing tehnologiju
poput platforme Amazon Mechanical Turk

da označimo te prikaze.

Kako je raslo, ImageNet je bio jedan od
najvećih poslodavaca

radnika Amazon Mechanical Turk-a:

zajedno, skoro 50.000 radnika

iz 167 država svijeta

pomoglo nam je da očistimo,
sortiramo i označimo

skoro milijardu korisnih prikaza.

Toliko truda je trebalo

da se uhvati dio prikaza

koje djetetov um uhvati
u ranim godinama razvoja.

Na očigled, ova ideja
korištenja mnogo podataka

da se istreniraju računalni algoritmi
se možda sada čini očiglednim,

ali 2007., nije bilo tako očigledno.

Prilično dugo bili smo
poprilično sami na tom putu.

Neke prijateljski nastrojene kolege su
me savjetovale da radim nešto korisnije,

i cijelo vrijeme smo se borili
za financiranje istraživanja.

Jednom, sam se čak našalila sa studentima

da ću ponovno otvoriti kemijsku čistionicu
kako bih mogla financirati ImageNet.

Naposljetku, tako sam financirala
svoj studij.

Nastavili smo dalje.

2009. ImageNet je dosegao

bazu podataka od 15 milijuna prikaza

preko 22.000 klasa
objekata i stvari

organiziranih u svakodnevne
engleske riječi.

I po kvantiteti i po kvaliteti

ovo je dosad nedostignuta skala.

Kao primjer, u slučaju mačaka,

imamo više od 62.000 mačaka

u svim oblicima i pozama,

i različitih vrsta
domaćih i divljih mačaka.

Bili smo oduševljeni
što smo sastavili ImageNet,

i htjeli smo da cijeli znanstveni svijet
ima koristi od njega,

tako da smo po modi TED-a
otvorili cijeli skup podataka

svim istraživačkim zajednicama, besplatno.

(Pljesak)

Sad kad imamo podatke
da opskrbimo mozgove naših računala,

spremni smo vratiti se na
same algoritme.

Ispalo je kako je bogatstvo informacija
s ImageNet-a

savršeno za određene vrste
algoritama za strojno učenje

koji se zovu konvolucijske neuronske mreže

osmišljene od strane Kunihiko Fukushime,
Geoff Hintona i Yann LeCuna

davnih 1970-ih i 1980-ih.

Upravo kako se mozak sastoji
od milijardu vrlo povezanih neurona,

osnovna operacijska jedinica
neuronskih mreža

jest čvor sličan neuronu.

Prima podatke od drugih čvorova

i šalje ih drugima.

Ove stotine tisuća ili
čak milijuni čvorova

su organizirani po
hijerarhijskim slojevima

sličnim onima u mozgu.

U tipičnoj neuralnoj mreži koju koristimo
u učenju prepoznavanja modela,

ima 24 milijuna čvorova,

140 milijuna parametara,

i 15 milijardi veza.

To je ogroman model.

Upogonjen je s
mnoštvom podataka s ImageNet-a

te modernih CPJ-a i GPJ-a
kako bi istrenirao ove ogrome modele,

skupna neuronska mreža

je procvala na način
koji nitko nije očekivao.

Postala je ključna struktura

koja je dovodila do novih uzbudljivih
rezultata u prepoznavanju objekata.

Ovo je računalo koje nam govori

da je na slici mačka

i gdje je mačka.

Naravno ne radi se samo o mački,

ovdje nam računalni algoritam govori

da slika sadrži
dječaka i medvjedića;

psa, osobu i malog zmaja
u pozadini;

ili slika vrlo zbrkanih stvari

poput čovjeka, skateboarda,
ograde, lampe itd.

Ponekad kada računalo
nije sigurno što vidi,

moramo ga naučiti da bude dovoljno pametno

da nam pruži siguran odgovor,

kao što bismo mi odgovorili,

ali u drugim slučajevima računalni
alogoritam nam besprijekorno kaže

što su točno ti objekti,

poput materijala, modela, godine auta.

Primjenili smo ovaj algoritam na milijune
Google Street View prikaza

u stotinama američkih gradova,

i spoznali smo nešto vrlo zanimljivo:

prvo, potvrdilo se staro pravilo

da cijene auta dobro koreliraju

s kućnim primanjima.

Ali isto tako cijene auta
koreliraju također sa

stopom kriminala u gradovima,

ili načina glasanja po poštanskom broju.

Čekajte.
Je li to, to?

Je li nas računalo već sustigao
ili čak prestiglo u našim sposobnostima?

Ne tako brzo.

Zasad smo samo naučili
računalo da vidi objekte.

To je kao da malo dijete
učite reći nekoliko imenica.

To je ogromno postignuće,

ali je to tek prvi korak.

Uskoro će drugo razvojno postignuće
biti dosegnuto,

i djeca počinju komunicirati u rečenicama.

Stoga umjesto govorenja
kako je mačka na slici,

već ste čuli malu djevojčicu
koja govori da mačka leži na krevetu.

Kako bi naučili računalo
da vidi sliku i stvori rečenice,

brak između velikih podataka
i algoritama strojnog učenja

mora ići korak dalje.

Računalo mora naučiti
učiti i iz slika

i iz prirodnih jezičnih rečenica

stvorenih od strane ljudi.

Upravo kako mozak integrira
vid i jezik,

razvili smo model
koji spaja vidljive dijelove

poput vidnih komada

s riječima i frazama u rečenicama.

Otprilike prije četiri mjeseca,

konačno smo uspjelo sve povezati

i proizveli smo jedan od prvih
modela računalnog vida

koji je sposoban stvoriti
rečenicu sličnu ljudskoj

kada vidi sliku po prvi puta.

Pokazat ću vam
što računalo kaže

kada vidi slike

koje je mala djevojčica vidjela
na početku govora.

(Video) Računalo: Čovjek stoji
pored slona.

Veliki avion sjedi na vrhu
avionske piste.

FFL: Naravno, i dalje se trudimo
unaprijediti naše algoritme,

i još puno toga mora naučiti.

(Pljesak)

I računalo i dalje pravi greške.

(Video) Računalo: Mačka leži
na krevetu u deci.

FFL: Naravno, kada vidi
previše mačaka,

misli da bi sve moglo
izgledati kao mačka.

(Video) Računalo: Dječak
drži bejzbolsku palicu.

(Smijeh)

FFL: Ili, ako nije vidio četkicu za zube,
pomiješat će je s bejzbolskom palicom.

(Video) Računalo: Čovjek jaše konja
niz ulicu pored zgrade.

(Smijeh)

FFL: Nismo računalo naučili
neke osnove umjetnosti.

(Video) Računalo: Zebra stoji
u polju trave.

FFL: I nije naučio diviti se
prekrasnoj ljepoti prirode

kao vi i ja.

Bilo je to dugo putovanje.

Od rođenja do treće godine je bilo teško.

Pravi izazov je doći
od treće do trinaeste godine, i dalje.

Podsjetit ću vas s opet s ovom
slikom dječaka i kolača.

Dosad smo naučili računalo
da vidi objekte

ili čak nam kaže jednostavnu priču
onoga što je na slici.

(Video) Računalo: Osoba sjedi
za stolom s kolačem.

FFL: Ali postoji puno više
na ovoj slici

nego samo osoba i kolač.

Što računalo ne vidi jest
da je to poseban talijanski kolač

koji se jedino servira za vrijeme Uskrsa.

Dječak nosi svoju omiljenu majicu

koju je dobio od oca
nakon putovanja u Sidney,

i vi i ja možemo reći da je jako stretan

i što je na njegovom umu
u ovom trenu.

To je moj sin Leo.

Na mom pohodu na vidnu inteligenciju,

razmišljam o Leu konstantno

i budućnosti u kojoj će živjeti.

Kada uređaji vide,

doktori i sestre će imati
dodatan par neumornih očiju

koje im pomažu dijagnosticirati
i pobrinuti se za pacijenta.

Auti će voziti pametnije
i sigurnije na putu.

Roboti, ne samo ljudi,

će pomoći u opasnim situacijama
kako bi spasili zatočene i ozljeđene.

Otkrit ćemo nove vrste,
bolje materijale,

i istražiti neviđene granice
uz pomoć uređaja.

Malo po malo, dajemo
vid uređajima.

Prvo, smo ih naučili da vide.

Onda nam oni pomažu vidjeti bolje.

Po prvi put, ljudsko oko
neće biti jedino

koje gleda i istražuje svijet.

Nećemo koristiti uređaje
zbog njihove inteligencije,

surađivat ćemo s njima
na načine koje ne možemo zamisliti.

Ovo je moj pothvat:

dati računalima vidnu inteligenciju

i stvoriti bolje sutra
za Lea i za svijet.

Hvala vam.

(Pljesak)