Zaczęłam pracować jako programistka na pierwszym roku studiów, jeszcze jako nastolatka. Niedługo później zaczęłam pracować dla firmy tworzącej oprogramowania. Pewnego razu jeden z managerów podszedł do mnie i wyszeptał: "Czy on wie kiedy kłamię?". Byliśmy sami w pokoju. "Niby kto ma wiedzieć kiedy kłamiesz? I dlaczego szepczemy?" Manager wskazał na komputer. "Czy on wie kiedy kłamię?" Ten menadżer miał romans z recepcjonistką. (Śmiech) Byłam nastolatką, więc odkrzyknęłam szeptem: "Tak, komputer wie kiedy kłamiesz!". (Śmiech) Wtedy się z tego śmiałam, ale teraz można śmiać się ze mnie. Obecnie istnieją programy, które potrafią ropoznawać stany emocjonalne i kłamstwo na podstawie zdjęć twarzy. Spece od marketingu i organy rządowe wyrażają zainteresowanie. Zostałam programistką, bo od dziecka uwielbiałam matematykę i naukę. Dowiedziawszy się o broni jądrowej, przejęłam się kwestią etyki w nauce. Byłam w kropce. Ze względu na sytuację rodzinną musiałam jak najszybciej zacząć pracować. Pomyślałam, że wybiorę dziedzinę, w której łatwo znajdę pracę i nie będę musiała myśleć o zawiłych kwestiach etycznych. Wybrałam informatykę. (Śmiech) Ha, ha, ha. Można się ze mnie nabijać. Programiści tworzą platformy, które kontrolują to, co każdego dnia widzą miliardy ludzi. Tworzą samochody, mogące zdecydować, kogo przejechać. Tworzą nawet broń mechaniczną, która mogłaby być użyta w czasie wojny. To są od początku do końca kwestie etyczne. Sztuczna inteligencja to rzeczywistość. Korzystamy z obliczeń komputerowych do podejmowania różnych decyzji, również decyzji nowego rodzaju. Próbujemy z pomocą komputerów, uzyskać odpowiedzi na pytania, na które nie ma jednej dobrej odpowiedzi, które są subiektywne, otwarte i wartościujące. Pytamy: "Kogo powinno się zatrudnić? Który i czyj post dana osoba powinna zobaczyć? Który skazaniec prawdopodobnie popełni kolejne przestępstwo? Jaka informacja lub film powinny być zarekomendowane widowni?". Używamy komputerów od lat, ale to są kwestie innego rodzaju. To jest historyczna zmiana, bo nie możemy powiązać obliczeń z tak subiektywnymi kwestiami, w taki sam sposób gdy w grę wchodzi latanie samolotami, budowa mostów i wyprawy na Księżyc. Czy samoloty są bezpieczniejsze? Czy mosty chwieją się i walą? Dla takich spraw mamy jasne standardy i prawa natury, które wskazują drogę. Nie mamy takich standardów dla decyzji w pogmatwanych ludzkich sprawach. Tymczasem, oprogramowanie staje się coraz potężniejsze, ale również coraz mniej przejrzyste i bardziej złożone. W ciągu ostatnich dziesięcioleci skomplikowane algorytmy dokonały milowego kroku do przodu. Potrafią rozpoznawać twarze, odczytywać odręczne pismo, wykrywać kradzieże na kartach kredytowych, blokować spam, tłumaczyć teksty, wykryć guz w obrazowaniu medycznym i pokonać człowieka w szachy. Większą część tego postępu zawdzięczamy metodzie zwanej "samouczeniem maszyn". Samouczenie maszyn różni się od klasycznego programowania, w którym wydaje się komputerowi dokładną i szczegółową instrunkcję. Polega bardziej na wprowadzaniu dużej ilości danych do systemu, również danych przypadkowych, takich jakie generujemy w sieci. System uczy się, przedzierając się przez te dane. Najistotniejszy jest fakt, że te systemy nie pracują zgodnie z logiką jednoznacznych odpowiedzi. Nie dają prostej odpowiedzi, tylko określają prawdopodobieństwo: "To jest być może bardziej podobne, do tego czego szukasz". Plusem jest to, że ta metoda ma bardzo duży potencjał. Szef systemów sztucznej inteligencji Google nazwał tę metodę "nieuzasadnioną skutecznością danych". Minusem jest to, że nie rozumiemy, czego nauczył się system i to właśnie stanowi jego siłę. To nie przypomina wydawania instrukcji komputerowi. Przypomina raczej trenowanie mechanicznego szczeniaczka, którego nie rozumiemy i nie potrafimy kontrolować. I to jest problem. Problem pojawia się, gdy ta sztuczna inteligencja się myli. Problem pojawia się również wtedy, gdy ma rację, ponieważ nie umiemy tego rozróżnić w przypadku subiektywnej kwestii. Nie mamy pojęcia, co ten system sobie myśli. Rozważmy algorytm odpowiedzialny za rekrutację pracowników. Algorytm rekrutujący oparty na metodzie samouczenia się maszyn. Taki system byłby oparty na danych pracowników danej firmy i miałby zatrudniać ludzi o takim profilu jak obecni najwydajniejsi pracownicy. Brzmi nieźle. Byłam raz na konferencji, na której obecne były także osoby zajmujące się rekrutacją, managerowie i dyrektorzy używający takich systemów. Wszyscy byli zachwyceni. Sądzili, że dzięki temu zatrudnianie stanie się bardziej obiektywne, mniej tendencyjne i gwarantujące kobietom i przedstawicielom mniejszości większe szanse zatrudnienia wobec tendencyjnych decyzji managerów. Ludzkie decyzje dotyczące zatrudnienia są stronnicze. W jednej z moich pierwszych prac, moja bezpośrednia przełożona czasem przychodziła do mnie bardzo wcześnie rano lub bardzo późnym popołudniem i mówiła: "Chodźmy na lunch!". Byłam zaskoczona dziwną porą, ale byłam też spłukana, więc zawsze się zgadzałam. Później zorientowałam się o co chodziło. Moi bezpośredni przełożeni nie przyznali się swoim szefom, że do poważnej roboty zatrudnili programistę-nastolatkę, noszącą jeansy i trampki do pracy. Robiłam dobrą robotę, ale wyglądałam nie tak, byłam w nieodpowiednim wieku i nieodpowiedniej płci. Popieram zatrudnianie bez uwzględniania płci czy rasy. Ale w przypadku tych systemów to wszystko jest bardziej skomplikowane. Obecnie, te systemy mogą wyciągnąć wiele wniosków na podstawie strzępów elektronicznej informacji, nawet jeśli te informacje nie są jawne. Mogą wnioskować na temat orientacji seksualnej, cech osobowości, przekonań politycznych. Te przewidywania są niezwykle trafne. Pamiętajcie - te przewidywania dotyczą spraw, których nawet nie ujawniliście. Moja przyjaciółka stworzyła system tego rodzaju, aby przewidywać prawdopodobieństwo zapadnięcia na depresję kliniczną lub poporodową na podstawie danych zaczerpniętych z serwisów społecznościowych. Wyniki są imponujące. Jej system potrafi przewidzieć prawdopodobieństwo wystąpienia depresji miesiące przed wystąpieniem jakichkolwiek objawów. Miesiące przed. Nie ma objawów, jest przewidywanie. Moja przyjaciółka ma nadzieję, że system posłuży wczesnemu leczeniu. Wspaniale. Ale spójrzmy na to w kontekście zatrudniania. Na tamtej konferencji podeszłam do jednej wysokopostawionej managerki pracującej dla jednej z wielkich firm i powiedziałam: "Co jeśli twój system za twoimi plecami wyklucza osoby o większym prawdopodobieństwie zachorowania na depresję? Nie mają depresji teraz, ale być może w przyszłości. Co jeśli wyklucza kobiety, które prawdopodobnie za rok lub dwa mogą być w ciąży, ale teraz nie są? Co jeśli zatrudnia osoby agresywne, bo to odpowiada kulturze pracy w waszej firmie?". Nie można tego stwierdzić patrząc na zestawienia pracowników pod względem płci; te mogą się równoważyć. Ponieważ to jest uczenie maszynowe a nie klasyczne programowanie, nie ma zmiennych podpisanych: "depresja" "ciąża" lub "wysoki poziom agresji". Nie znasz kryteriów, na podstawie których twój system dokonuje wyboru. Nie wiesz nawet gdzie zacząć ich szukać. To jest technologia czarnej skrzynki. Potrafi przewidywać, ale nie rozumiesz jak działa. "Jakie masz zabezpieczenia, żeby upewnić się, że twoja czarna skrzynka nie robi czegoś podejrzanego?" Spojrzała na mnie jakbym nadepnęła na ogon szczeniaczkowi. (Śmiech) Popatrzyła na mnie i powiedziała: "Ani słowa więcej". Odwróciła się i odeszła. Uwaga - nie była niegrzeczna. Ewidentnie chciała powiedzieć: "Jeśli o czymś nie wiem, to nie jest mój problem, odejdź". Na odchodne rzuciła mordercze spojrzenie. (Śmiech) Takie systemy mogą być mniej stronnicze niż managerowie. Mogą być również opłacalne. Ale mogą też prowadzić do stopniowego i niepostrzeżonego zamykania rynku pracy dla osób z większym ryzykiem zachorowań na depresję. Czy takie społeczeństwo chcemy budować, nie wiedząc nawet o tym, że to robimy, bo powierzamy proces decyzyjny systemom, których do końca nie rozumiemy? Kolejny problem: te systemy pracują na danych opartych na ludzkich działaniach Mogą po prostu odzwierciedlać nasze własne uprzedzenia, wzmacniać je i zwracać w postaci wyniku, który będziemy interpretować jako obiektywne i neutralne obliczenia. Udowodniono, że wyszukiwarka Google rzadziej pokazuje kobietom dobrze płatne oferty pracy. A wyszukiwanie afroamerykańskich nazwisk jest skorelowane z ogłoszeniami sugerującymi kryminalną przeszłość, nawet jeśli takowej nie ma. Tego typu ukryte uprzedzenia i algorytmy typu czarnej skrzynki, które czasem odkrywamy, a czasem nie, mogą diametralnie wpływać na ludzkie życie. Pewien pozwany został skazany na 6 lat więzienia za ucieczkę przed policją. Algorytmy są coraz częściej stosowane przy wydawaniu wyroków. Mężczyzna chciał wiedzieć, jak ten wynik jest obliczany. Używano komercyjnej czarnej skrzynki. Firma, która ją sprzedaje, sprzeciwiła się zweryfikowaniu algorytmu podczas otwartej rozprawy. Śledcza organizacja non-profit, ProPublica, zweryfikowała ten algorytm na podstawie publicznie dostępnych danych i dowiodła, że generowane przez niego wyniki były stronnicze, a jego moc przewidywania niewielka, niewiele lepsza od losowej, a algorytm bezzasadnie wskazywał czarnoskórych oskarżonych jako możliwych przyszłych przestępców dwukrotnie częściej niż białych. Kolejna sprawa: ta kobieta była spóźniona po odbiór chrześnicy ze szkoły. Biegła ulicą w towarzystwie przyjaciela i na jednym z ganków zauważyli niezapięty rowerek dziecięcy i hulajnogę, na które bezmyślnie wskoczyli. Gdy odjeżdżali, z domu wybiegła kobieta krzycząc: "To rowerek mojego dziecka!". Zostawili rower i hulajnogę i odeszli, ale zostali aresztowani. Dziewczyna postąpiła głupio i źle, ale miała tylko 18 lat. Miała już na koncie kilka młodzieńczych wykroczeń. W tym samym czasie aresztowano mężczyznę za kradzież towarów o wartości 85 dolarów, równie niewielkie wykroczenie. Ale on już wcześniej był dwukrotnie skazany za napad z bronią. Algorytm przypisał jej większe ryzyko ponownego popełnienia przestępstwa. Dwa lata później, ProPublica odkryła, że kobieta nie popełniła więcej wykroczeń, miała tylko problemy ze znalezieniem pracy z taką historią wykroczeń. Mężczyzna natomiast odsiadywał ośmioletni wyrok za przestępstwo, którego dopuścił się ponownie. Jest jasne, że musimy dokonywać rewizji czarnych skrzynek i ograniczać ich niekontrolowaną władzę. (Brawa) Rewizje są dobre i potrzebne, ale nie rozwiążą wszystkich problemów. Spójrzmy na algorytm Facebooka, który nadaje wszystkiemu jakąś wagę i decyduje o tym, co powinniście zobaczyć spośród tego wszystkiego, co publikują wasi znajomi. Czy trzeba zobaczyć kolejne zdjęcie bobasa? (Śmiech) Ponury post jednego ze znajomych? Ważną i trudną informację? Nie ma jednej dobrej odpowiedzi. Facebook ocenia liczbę reakcji: komentarze, udostępnienia, polubienia. W sierpniu 2014 roku w Missouri wybuchł protest po śmierci afroamerykańskiego nastolatka zabitego przez białego policjanta w niejasnych okolicznościach. Wiadomości na ten temat zalały mój niefiltrowany profil na Tweeterze, ale nie było ich na moim Facebooku. Czyżby moi znajomi o tym nie rozmawiali? Zablokowałam algorytm Facebooka, co jest trudne, bo Facebook dąży do tego, żeby nas kontrolować i zobaczyłam, że przyjaciele rozmawiali o tej sprawie. Po prostu ja tego nie widziałam, bo Facebook mi tego nie pokazywał. Okazało się, że to rozległy problem. Ta historia nie była wysoko oceniona przez algorytm. Niełatwo ją "polubić". Nie jest nawet łatwo ją skomentować. Bez lajków i komentarzy algorytm prawdopodobnie pokazywał tę informację coraz mniejszej ilości osób i dlatego jej nie widzieliśmy. Równocześnie algorytm Facebooka wypromował Ice Bucket Challenge. Szlachetna sprawa: oblej się zimną wodą, ofiaruj pieniądze, super. To było wysoko ocenione przez algorytm. Maszyna podjęła za nas decyzję. Bardzo ważna lecz trudna dyskusja mogła zostać wyciszona, gdyby Facebook był jedynym medium. Te systemy mogą się też mylić w sposób, który nie przypomina ludzkich błędów. Pamiętacie Watsona, system sztucznej inteligencji IBM, który zmiażdżył uczestników konkursu wiedzy Jeopardy? To był świetny gracz. Ale w finałowym odcinku padło pytanie: "Największe lotnisko tego miasta nosi nazwę bohatera drugiej co do wielkości bitwy podczas II wojny światowej". Chicago. Dwóch uczestników-ludzi odpowiedziało poprawnie. Watson odpowiedział "Toronto" w kategorii dotyczącej miast w USA. Ten imponujący system zrobił błąd, którego żaden człowiek by nie popełnił, nawet drugoklasista. Sztuczna inteligencja może zawieść w sposób, który nie przypomina ludzkich pomyłek, którego się nie spodziewamy, i na który nie będziemy gotowi. Byłoby głupio nie dostać pracy, na którą się zasługuje, ale byłoby potrójnie beznadziejnie, gdyby to się stało z powodu nadmiaru danych w jakimś podprogramie. (Śmiech) W maju 2010 roku krach giełdy na Wall Street wzmocniony sprzężeniem zwrotnym algorytmu "sprzedaży" doprowadził do zniknięcia trylionów dolarów w 36 minut. Nie chcę nawet myśleć, co taka "pomyłka" oznaczałaby w przypadku automatycznej broni śmiercionośnej. Tak, ludzie są stronniczy. Ludzie podejmujący decyzje w sądach, mediach, na wojnie... popełniają błędy. Ale o tym właśnie mówię. Nie możemy uciec od tych trudnych kwestii. Nie możemy zrzucić naszej odpowiedzialności na maszyny. (Brawa) Sztuczna inteligencja nie zwalnia nas z myślenia etycznego. Fred Benenson, specjalista od danych, nazywał to "matematycznym praniem mózgu". Potrzebujemy czegoś odwrotnego. Musimy rozwijać w sobie sceptycyzm wobec algorytmów i daleko posuniętą ostrożność oraz dokładność w ich badaniu. Musimy mieć pewność, że mamy algorytmiczną odpowiedzialność, rewizję i sensowną przejrzystość. Musimy zaakceptować, że wprowadzenie matematyki i obliczeń do zawikłanych i wymagających wartościowania ludzkich spraw nie wprowadza obiektywizacji. Przeciwnie: komplikacja ludzkich spraw najedzie algorytmy. Można i trzeba korzystać z obliczeń, aby móc podejmować lepsze decyzje. Ale trzeba uznać moralną odpowiedzialność za podejmowanie decyzji i używać algorytmów w jej granicach, a nie jako środek do zrzeczenia się i odrzucenia tej odpowiedzialności. Sztuczna inteligencja jest faktem. To oznacza, że tym mocniej musimy trzymać się ludzkich wartości i etyki. Dziękuję (Brawa)