Cześć i czołem, dziś będzie względnie krótko, na temat który mnie zainteresował. Uważam, że jest to coś ciekawego, nie tyle nawet moje spostrzeżenia, bo dużo oryginalnych spostrzeżeń autorskich tutaj nie ma, ale temat sam w sobie. Mam wrażenie, że nie otrzymuje on dużo uwagi w mediach - jeszcze.
Raport mniejszości - już dziś
Większość pewnie kojarzy film "Raport mniejszości", na podstawie opowieści Philipa K. Dicka. Rzecz dzieje się w przyszłości, gdy przestępców karze się zanim popełnią przestępstwo, gdyż sztuczna inteligencja przewiduje kto przestępstwo w przyszłości popełni. Jest to dla nas kompletne science fiction, pieśń przyszłości, taka sama jak inne filmy o problemach ze sztuczną inteligencją. Ale czyżby?
Wiele wynalazków rodem z gatunku sci-fi gdy trafia już do naszych codziennych żyć, nie szokuje tak bardzo, gdy pierwszy raz widzieliśmy je na srebrnym lub dużym ekranie. Wkraczają stopniowo, najpierw oferując tylko wycinek możliwości znanych z fikcji, a potem się rozwijając. Komórki? Zaczęło się od rozmów, SMSów, potem kolorowe wyświetlacze, MMSy, WAP, prawdziwy internet, GPS, ekrany dotykowe wybornej jakości, a więc gry i filmy, oraz zanim się obejrzeliśmy - rozszerzona rzeczywistość. Internet sam w sobie? To było kilka uczelni w USA mogących się komunikować między sobą, a kilkadziesiąt lat później mamy sieć obejmująca cały świat, której wpływ na życie ludzi jest tak szeroki, że nawet nie warto zacząć wymieniać przykładów. Obecnie natomiast w sieci działają projekty wykorzystujące blockchain, będące prawdopodobnie podstawą kolejnej fali zmian.
Czy więc scenariusz z raportu przyszłości jest daleko? Już teraz bierzemy pod uwagę potencjalną przyszłość danej osoby przy skazywaniu jej na dany wyrok. Co prawda nie bierzemy ludzi z ulicy i nie skazujemy ich dlatego, że za 5 lat według naszych danych kogoś zabiją, nie, to nadal sci-fi, ale w uzasadnieniach wyroków osób które już popełniły przestępstwo niejednokrotnie pojawia się uzasadnienie iż dana osoba ma duże szanse na popełnienie takiego samego przestępstwa w przyszłości, zostanie recydywistą itd. dlatego też kara jest większa. Bierzemy więc pod uwagę potencjalną przyszłość danej osoby. Przykład znajdziecie na tym wideo, od 42 minuty do 42:50.
Ponadto chociażby w USA korzysta się z narzędzi "risk assessment tools" podczas przewidywania, jaka jest szansa, że dany więzień został zresocjalizowany i zasługuje na zwolnienie warunkowe, a jaka, że w przyszłości zostanie recydywistą. Pewne informacje na ten temat możemy znaleźć na stronie kalifornijskich kuratorów sądowych, albo bliżej naszych stron, na stronie Confederation of European Probation. Poniższe wideo porusza temat tak zwanych Risk Assesment Tools:
I co bardzo ważne - należy zauważyć, że przy Risk Assesment Tools już teraz korzysta się z mechanizmów sztucznej inteligencji. Nie są to jedynie testy na kartce papieru, zestaw pytań zadawany skazanemu na podstawie których ława złożona z ludzi decyduje, czy zasługuje on na zwolnienie czy nie. To nie romantyczny kadr ze "Skazanych na Shawshank" w którym "Red" regularnie stara się o zwolnienie przed tym samym kilku osobowym składem ludzi go oceniających. W USA korzysta się z systemu Compas (Correctional Offender Management Profiling for Alternative Sanctions) który analizuje odpowiedzi skazanego na pewne pytania:
The algorithm in question is called Compas (Correctional Offender Management Profiling for Alternative Sanctions). When defendants are booked into jail, they respond to a Compas questionnaire and their answers are fed into the software to generate predictions of “risk of recidivism” and “risk of violent recidivism”.
Omawiany algorytm nazywa się Compas (angielski akronim od czegoś w stylu "Poprawcze Zarządzanie Przestępcami w celu Alternatywnych Kar"). Gdy pozwani są dostarczani do więzienia, odpowiadają na kwestionariusz systemu Compas i ich odpowiedzi są wrzucane do systemu, by wygenerował prognozy "ryzyka recydywizmu" i "ryzyka gwałtownego recydywizmu".
Systemy te opierają się na dostępnych danych i na mocy obliczeniowej. Zarówno dane jak i dostępna moc obliczeniowa będą w najbliższym czasie rosnąć, więc można się spodziewać, że i systemy tego typu będą powszechniejsze i coraz precyzyjniejsze. Nie wspominając już o tym, iż mogą powstawać coraz to nowsze algorytmy, jeszcze bardziej przyśpieszając rozwój takich systemów.
Czarna skrzynia
It turns out that the algorithm is fairly good at predicting recidivism and less good at predicting the violent variety. So far, so good. But guess what? The algorithm is not colour blind. Black defendants who did not reoffend over a two-year period were nearly twice as likely to be misclassified as higher risk compared with their white counterparts; white defendants who reoffended within the next two years had been mistakenly labelled low risk almost twice as often as black reoffenders.
Okazuje się, że algorytm jest dość dobry w przewidywaniu recydywizmu i mniej dobry w przewidywaniu gwałtownego recydywizmu. Do tego momentu, jest dobrze. Ale zgadnijcie co? Algorytm nie jest obiektywny pod kątem koloru skóry. Czarni skazani którzy nie wrócili na ściężkę przestępstw przez ponad dwa lata, mieli niemal dwa razy większe szanse bycia niepoprawnie sklasyfikowanym jako wysokiego ryzyka, w porównaniu z białymi skazanymi; biali skazani którzy wrócili do przestępstw w przeciągu dwóch lat byli mylnie oznaczeni jako niskiego ryzyka prawie dwa razy częściej niż czarni skazani.
Wszystkie te informacje będące analizą i krytyką tego systemu są dostępne dzięki śledztwu dziennikarskiemu organizacji ProPublica.org która skorzystała z prawa dostępu do informacji publicznej.
A co z tytułową w tym rozdziale czarną skrzynią? Czarna skrzynia to system który bierze jakieś dane na wejściu, i daje jakiś wynik na wyjściu, ale nie wiemy tak naprawdę co z tymi danymi robił w międzyczasie, że wyszedł mu taki, a nie inny wynik. Algorytmy stojące za mechanizmami mającymi przewidywać gdzie i kiedy jest zwiększone ryzyko popełnienia przestępstwa są tworzone przez prywatne firmy. Czy możemy oceniać prawdopodobieństwo na kryminalną przyszłość danej osoby na podstawie systemu który coś tam analizuje i jakieś dane na temat tej osoby nam "wypluwa", ale tak naprawdę nie wiemy jak działa? Należy stawiać więc rządom oczekiwania, że używane przez nich systemy będą możliwie otwarte, a nie zamknięte. Choć w przypadku AI nawet gdy system jest "otwarty", ustalenie dlaczego podał nam takie a nie inne dane, może nie być takie proste - ale to już temat na inną dyskusję.
Co jeśli firma tworząca takie algorytmy posiada motyw do tego, by w jakiś sposób skrzywić swój algorytm - czy to motyw finansowy, czy ideologiczny? Na przykład ta sama korporacja stojąca za takim systemem może stać za prywatnymi więzieniami, które są źródłem zarobku i może nie chcieć, by wszyscy więźniowie byli zbyt wcześnie wypuszczani, bo to jest utrata zarobku. To wszystko wiąże się też z tematami poruszanymi przeze mnie na przykład tutaj: O utracie przestrzeni publicznej - czyli wolnej od komercji.
Kojarzycie pewnie systemy rekomendacji. Amazon sugeruje Wam następną książkę która przypadnie Wam do gustu. Podobnie z filmami na FilmWebie lub podobnych serwisach. Podobno dawniej w Amazonie (teraz chyba już nie), gdy kliknęło się "dlaczego ta książka jest mi polecana", można było zobaczyć wyjaśnienie - "Książka X jest Ci polecana, bo spodobała Ci się podobna książka A, oraz kupiłeś książkę Y tego samego autora". Tylko jest to wysoce uproszczone wyjaśnienie - co naprawdę stoi za algorytmami AI, co spowodowało, że zaoferowały nam taką a nie inną ocenę książki (lub człowieka, więźnia) tego nie wiemy i często ciężko się tego dowiedzieć. A to może stwarzać zagrożenia - ludzie mogą śmiało podejmować decyzje gdy dostaną jakiekolwiek wyjaśnienie takiej a nie innej oceny wydanej przez AI. Nie zastanowią się nawet, czy to wyjaśnienie ma sens.
Tutaj jeszcze jeden artykuł na temat przypadku z systemem Compas, gdyby ktoś był ciekaw - "Wysłany do więzienia przez sekretny algorytm programu komputerowego"
Dyskryminacja? E tam, marudzisz lewicowcu
Bardzo łatwo popaść tutaj w idee głoszone przez skrajną lewicę i lamentować, że czarni skazywani są częściej i, że jest to nie fair. Zaraz oczywiście ktoś ze środowisk bardziej prawicowych odpowie, że skoro częściej popełniają przestępstwa, to są skazywani częściej i jest to fair. Ale pozostawmy łatki lewica i prawica za sobą, tak samo jak lewicową i prawicową retorykę i spójrzmy na temat sucho, bez emocji... niczym AI ;)
Zauważmy, że nie chodzi o sam fakt częstszego skazywania ludzi z określonej grupy społecznej, bo z tym nie ma problemu - jeśli jest przestępstwo, jest i skazanie. Nie chodzi nawet o to, że algorytmy częściej podejrzewają osoby z danej grupy społecznej i dzięki temu częściej wyłapują przestępców - można by utylitarnie powiedzieć, że przecież skoro dzięki temu wyłapują więcej przestępców to koniec końców się nie mylą. Chodzi o to, że mogą częściej podejrzewać ludzi z danej grupy społecznej, a mimo to być nieskuteczne, co jest dowodem na istnienie "biasu", skrzywienia. Tak jak w cytacie powyżej - biali więźniowie którzy stawali się recydywistami byli oceniani łagodniej niż ci z pośród czarnych którzy jak po upływie 2 lat się okazywało, recydywistami się nie stawali - ci drudzy i tak byli oceniani o wiele surowiej.
I co najważniejsze - nie musimy tego rozpatrywać wyłącznie w kwestii koloru skóry. Takie skrzywienie algorytmów może mieć miejsce odnośnie każdej grupy społecznej. Jeśli komuś bardziej pasuje taki przykład, może wyobrazić sobie AI oceniające, że w kolejce na lotnisku to Ciebie lub mnie, Polaka, należy skierować do dokładniejszego przeszukania, bo z jakiegoś powodu algorytm uznaje Polaków za bardziej niebezpiecznych. I teraz pytanie - czy ma ku temu statystyczne powody, czy może w danych podawanych takiej sztucznej inteligencji znalazła się niesprawiedliwa dysproporcja, czy może jeszcze z innego powodu? Ponadto innym tematem jest też to, iż algorytmy przewidywania gdzie na mapie miasta są największe szanse na przestępczość, mogą tak naprawdę wzmacniać złe nawyki policji.
Na koniec jeszcze jedna myśl - istotne jest, czy dzięki danemu systemowi w okolicy jest bezpieczniej? Czy spada ilość przestępstw, czy potrafimy przestępczości zapobiegać? Bo co z komu po wyższej ilości więźniów, jeśli przestępczość na ulicy nadal jest wysoka? Równie dobrze co przewidywać zachowania recydywistyczne AI mogłoby pomóc w ustaleniu jakie mogłyby być działania sprzyjające zapobieganiu przestępczości w ogóle, na podstawie analizy miejsc, gdzie przestępczość jest niska i porównywaniu ich z tymi, gdzie jest wysoka.
To by było na tyle. Temat pozostawiam luźny, bez jakichś mocnych i zdecydowanych osobistych opinii. Być może kogoś zainteresuje lub będzie chciał dorzucić swoje trzy grosze. Pozdrawiam!
źródła obrazków: główny, czarna głowa z czipem, czarna skrzynia