Ahoj, jsem Joy, básnířka kódu, na misi usilující o zastavení síly, která je na vzestupu, síle zvané „zakódovaný pohled“, můj termín pro algoritmický předsudek. Algoritmický předsudek, stejně jako lidský směřuje k neférovosti. Nicméně, podobně jako virusy, algoritmy mohou šířit předsudky masově a velmi rychle. Algoritmický předsudek může také vést k vyloučení a diskriminujícím praktikám. Ukážu vám, co mám na mysli. (video) Joy: Ahoj, kamero. Mám obličej. Vidíte můj obličej? Obličej bez brýlí? Vidíte i její tvář. A co tu mou? Mám masku. Vidíte tu masku? Joy: Jak se to přihodilo? Proč sedím před počítačem v bílé masce ve snaze nechat se identifikovat levnou webkamerou? Když nebojuji proti zakódovanému pohledu jako básnířka kódu, jsem studentkou Media Lab na MIT, kde mám možnost pracovat na celé řadě zvláštních projektů, třeba i na projektu Zrcadla Aspire, kde jsem se pokusila promítnout digitální masku na můj odraz. Takže ráno, když jsem se chtěla cítit silná, mohla jsem si nasadit lva. Pokud jsem chtěla povzbudit, mohla jsem mít citát. Takže jsem použila generický software na rozpoznávání obličeje pro výstavbu tohoto systému, ale bylo obtížné jej testovat, pokud jsem neměla bílou masku. Naneštěstí jsem na tento problém narazila již dříve. Když jsem studovala na Georgia Tech počítačovou vědu, pracovala jsem na sociálních robotech a jedním z mých úkolů bylo přimět robota hrát na schovávanou, jednoduchou hru, kde si partneři zahalí své tváře a po odhalení říkají „Ku ku ku!!“ Problém je, že to nefunguje, pokud se nevidíte, a můj robot mne nemohl vidět. Abych dokončila tento projekt, půjčila jsem si obličej spolubydlícího, odevzdala úkol a řekla si, že někdo jiný jistě vyřeší tento problém. Zanedlouho jsem byla v Hong Kongu na podnikatelské soutěži. Organizátoři vzali účastníky na prohlídku místních start-upů. Jeden ze start-upů měl společenského robota a rozhodli se nám jej ukázat. Demo pracovalo na každém, než se dostali ke mně a asi uhádnete, co se stalo. Nedokázala detekovat mou tvář. Zeptala jsem se developerů, co se děje a ukázalo se, že použili stejný generický software pro rozpoznávání obličeje. Na druhé straně polokoule jsem zjistila, že algoritmický předsudek může cestovat tak rychle, jak dlouho trvá stažení několika souborů na počítači. Takže co se děje? Proč můj obličej nebyl rozpoznán? Musíme se podívat na to, jak umožňujeme strojům vidět. Počítačový zrak používá techniky strojového učení, aby rozpoznal obličeje. Funguje to tak, že vytvoříte tréninkovou sadu s ukázkami tváří. To je tvář. To je tvář. To není tvář. A za čas můžete naučit počítač, jak rozpoznat jiné tváře. Ale pokud nejsou tréninkové sady dost rozmanité, každá tvář, která se příliš vzdaluje od etablované normy bude obtížně zjistitelná, což je to, co se stává mně. Ale nebojte se - jsou i dobré zprávy. Tréningové sety se neobjevují z ničeho. Ve skutečnosti je tvoříme my. Existuje tedy příležitost vytvořit plné spektrum tréninkových setů, které reflektují pestřejší obraz lidstva. Jak vidíte, díky společenským robotům jsem přišla na vyloučení způsobené algoritmickým předsudkem. Tento předsudek může ale také vést k diskriminačním praktikám. Policejní oddělení v USA začínají používat software na rozpoznávání obličeje jako nástroj boje proti zločinu. Gergetown Law publikovalo zprávu ukazující, že jeden ze dvou dospělých v USA - to je ze 117 milionů lidí - mají svou tvář v sítích na rozpoznávání tváře. Policie se na tyto sítě může dívat bez regulace, při použití algoritmů, které nebyly auditovány na přesnost. A to víme, že rozpoznání tváře není neomylné a označování tváří stále zůstává výzvou. Mohli jste to vidět na facebooku. S přáteli se vždy smějeme, když vidíme špatně označené lidi na fotkách. Ale není k smíchu špatně označený podezřelý, ani porušování našich občanských práv. Pro rozpoznání tváře je používáno strojové učení, ale toto zasahuje za říši vidění počítače. Ve své knize „Zbraně matematického ničení“ Cathy O´Neil, analytička dat, hovoří o vzestupu nových zbraní - široce rozšířených, záhadných a destruktivních algoritmů, které mají dopad na více aspektů našich životů a jsou ve vzrůstající míře užívány pro rozhodování. Takže koho přijmou, koho vyhodí? Kdo dostane půjčku? Kdo bude pojištěn? Budete přijati na školu, na kterou chcete? Zaplatíme vy i já stejnou cenu za stejný produkt, zakoupený na stejné platformě? Policie také začíná využívat strojové učení pro prediktivní ochranu. Někteří soudci využívají strojem generované hodnocení rizik pro určení, jak dlouho má člověk zůstat ve vězení. Opravdu musíme přemýšlet o těchto rozhodnutích. Jsou férová? Viděli jsme, že algoritmický předsudek nemusí vždy vést k férovým výsledkům. Co s tím můžeme dělat? Můžeme začít uvažovat o tvorbě inkluzivnějšího kódu a užívat inkluzivní techniky kódování. Opravdu to začíná lidmi. Záleží na tom, kdo kóduje. Vytváříme široké týmy s různými osobnostmi, kteří si vzájemně mohou kontrolovat slepá místa? Po technické stránce záleží na tom, jak kódujeme. Zahrnujeme férovost do vyvíjených systémů? Nakonec záleží na tom, proč kódujeme. Využili jsme nástroje pro tvorbu, odemykající obrovské bohatství. Máme příležitost otevřít ještě větší rovnost, pokud sociální změně dáme prioritu a nebudeme na ni pouze vzpomínat. To jsou tři zásady, které jsou součástí tohoto hnutí. Záleží na tom, kdo kóduje, jak kódujeme a proč kódujeme. Takže můžeme začít přemýšlet o vytváření platformy identifikující předsudky, sbírání takových zkušeností, kterou jsem vám vyprávěla, ale také auditování existujícího software. Také můžeme vytvářet inkluzivnější tréninkové sety. Přestavte si kampaň „Selfie pro inkluzi“, kde já a vy můžeme pomoci developerům testovat a vytvořit inkluzivnější tréninkové sety. Také můžeme začít přemýšlet svědomitěji o sociálních důsledcích technologií, které vytváříme. K nastartování tohoto hnutí jsem vytvořila algoritmickou Ligu spravedlivých, kde kdokoli může pomoci proti „zakódovanému pohledu“. Na codedgaze.com můžete dát vědět o předsudku, požádat si o audit, stát se testerem, nebo se zapojit do probíhající diskuse, #codedgaze. Takže vás zvu, abyste se ke mně přidali ve vytváření světa, kde technologie pracuje pro všechny, ne jen pro některé, svět, ve kterém si ceníme inkluze a soustředíme se na sociální změnu. Děkuji. (potlesk) Mám ale jednu otázku: Přidáte se k mému boji? (smích) (potlesk)