W zeszłym tygodniu WIRED opublikował serię dogłębnych, opartych na danych historii o problematycznym algorytmie, który holenderskie miasto Rotterdam wdrożyło w celu wykorzenienia oszustw związanych z zasiłkami.
We współpracy z Lighthouse Reports, europejską organizacją specjalizującą się w dziennikarstwie śledczym, WIRED uzyskał dostęp do wewnętrznego działania algorytmu w ramach przepisów o wolności informacji i zbadał, w jaki sposób ocenia, kto jest najbardziej skłonny do popełnienia oszustwa.
Odkryliśmy, że algorytm dyskryminuje ze względu na pochodzenie etniczne i płeć – niesprawiedliwie przyznając kobietom i mniejszościom wyższe oceny ryzyka, co może prowadzić do dochodzeń powodujących znaczne szkody w życiu osobistym wnioskodawców. Interaktywny artykuł zagłębia się w trzewia algorytmu, przedstawiając dwa hipotetyczne przykłady, aby pokazać, że chociaż rasa i płeć nie należą do czynników wprowadzanych do algorytmu, inne dane, takie jak znajomość języka niderlandzkiego, mogą działać jako zamiennik która umożliwia dyskryminację.
Projekt pokazuje, w jaki sposób algorytmy zaprojektowane w celu zwiększenia wydajności rządów – i które często są ogłaszane jako sprawiedliwsze i bardziej oparte na danych – mogą potajemnie wzmacniać uprzedzenia społeczne. Dochodzenie WIRED i Lighthouse wykazało również, że inne kraje testują podobnie wadliwe metody wykrywania oszustów.
„Rządy od lat osadzają algorytmy w swoich systemach, niezależnie od tego, czy jest to arkusz kalkulacyjny, czy jakieś wymyślne uczenie maszynowe” – mówi Dhruv Mehrotra, reporter danych śledczych w WIRED, który pracował nad projektem. „Ale kiedy algorytm taki jak ten zostanie zastosowany do każdego rodzaju karnych i predykcyjnych organów ścigania, staje się on potężny i dość przerażający”.
Wpływ dochodzenia zainicjowanego przez algorytm Rotterdamu może być wstrząsający, jak widać na przykładzie matki trójki dzieci, która stanęła przed przesłuchaniem.
Ale Mehrotra twierdzi, że projekt był w stanie uwypuklić takie niesprawiedliwości tylko dlatego, że WIRED i Lighthouse miały okazję sprawdzić, jak działa algorytm – niezliczone inne systemy działają bezkarnie pod osłoną biurokratycznej ciemności. Mówi, że ważne jest również uznanie, że algorytmy, takie jak ten zastosowany w Rotterdamie, są często budowane na podstawie z natury niesprawiedliwych systemów.
„Często algorytmy po prostu optymalizują i tak już represyjną technologię pod kątem opieki społecznej, oszustw lub działań policyjnych” — mówi. „Nie chcesz powiedzieć, że gdyby algorytm był sprawiedliwy, byłoby OK”.
Niezwykle ważne jest również uznanie, że algorytmy stają się coraz bardziej rozpowszechnione na wszystkich szczeblach władzy, a mimo to ich działanie jest często całkowicie ukryte przed tymi, których to najbardziej dotyczy.
Inne dochodzenie, które Mehrota przeprowadził w 2021 r., zanim dołączył do WIRED, pokazuje, w jaki sposób oprogramowanie do przewidywania przestępczości używane przez niektóre departamenty policji niesprawiedliwie atakowało społeczności czarnoskórych i latynosów. W 2016 roku ProPublica ujawniła szokujące błędy w algorytmach stosowanych przez niektóre sądy w USA do przewidywania, którzy oskarżeni są najbardziej narażeni na ponowne popełnienie przestępstwa. Inne problematyczne algorytmy określają, do których szkół uczęszczają dzieci, rekomendują firmy, które powinny zatrudnić, i decydują, które rodziny otrzymają kredyt hipoteczny.
Oczywiście wiele firm używa algorytmów również do podejmowania ważnych decyzji, a te często są nawet mniej przejrzyste niż te w rządzie. Narasta ruch mający na celu pociągnięcie firm do odpowiedzialności za algorytmiczne podejmowanie decyzji oraz nacisk na ustawodawstwo, które wymaga większej widoczności. Ale problem jest złożony – a uczynienie algorytmów bardziej sprawiedliwymi może czasami przewrotnie pogorszyć sytuację.
