Z zewnątrz, Algorytm dobrobytu Rotterdamu wydaje się skomplikowany. System, który został pierwotnie opracowany przez firmę konsultingową Accenture, zanim miasto przejęło rozwój w 2018 r., jest szkolony na podstawie danych zebranych przez departament opieki społecznej Rotterdamu. Przypisuje ludziom oceny ryzyka na podstawie 315 czynników. Niektóre z nich to obiektywne fakty, takie jak wiek lub tożsamość płciowa. Inne, takie jak wygląd osoby lub jej otwartość, są subiektywne i oparte na ocenie pracowników socjalnych.
W Hoek van Holland, mieście na zachód od Rotterdamu, które jest administracyjnie częścią miasta, Pepita Ceelie próbuje zrozumieć, w jaki sposób algorytm sklasyfikował ją jako osobę wysokiego ryzyka. Ceelie ma 61 lat, jest mocno wytatuowana i ma jasnoróżową fryzurę. Lubi mówić po angielsku i szybko przechodzi do rzeczy. Przez ostatnie 10 lat żyła z przewlekłą chorobą i wyczerpaniem, a kiedy wychodzi z domu, korzysta ze skutera inwalidzkiego.
Ceelie była dwukrotnie badana przez zespół ds. oszustw socjalnych z Rotterdamu, najpierw w 2015 r., a następnie ponownie w 2021 r. W obu przypadkach śledczy nie stwierdzili żadnych wykroczeń. W ostatnim przypadku została wybrana do zbadania przez miejski algorytm oceny ryzyka. Ceelie mówi, że musiała wyjaśnić śledczym, dlaczego jej brat wysłał jej 150 euro (180 dolarów) na jej sześćdziesiąte urodziny i że zamknięcie sprawy zajęło im ponad pięć miesięcy.
Siedząc w swoim blokowym domu z lat 50., ozdobionym zdjęciami jej ogrodu, Ceelie stuka w klawiaturę laptopa. Wprowadza swoje dane do rekonstrukcji systemu oceny ryzyka dobrobytu w Rotterdamie, stworzonego w ramach tego śledztwa. Interfejs użytkownika, zbudowany w oparciu o algorytm i dane miasta, pokazuje, w jaki sposób obliczono ocenę ryzyka Ceelie – i sugeruje, jakie czynniki mogły doprowadzić do wszczęcia wobec niej śledztwa w sprawie oszustwa.
Wszystkie 315 czynników systemu oceny ryzyka jest początkowo ustawionych tak, aby opisywać wyimaginowaną osobę z „przeciętnymi” wartościami w zbiorze danych. Kiedy Ceelie personalizuje system za pomocą własnych danych, jej wynik zaczyna się zmieniać. Zaczyna od domyślnego wyniku 0,3483 — im wynik bliższy 1, tym większe ryzyko oszustwa. Kiedy mówi systemowi, że nie ma planu znalezienia pracy, wynik wzrasta (0,4174). Kiedy wchodzi, spada, że mieszka w swoim domu od 20 lat (0,3891). Mieszkanie poza centrum Rotterdamu powoduje powrót powyżej 0,4.
Zmiana płci z męskiej na żeńską podnosi jej wynik do 0,5123. „To szaleństwo” — mówi Ceelie. Chociaż jej dorosły syn nie mieszka z nią, według algorytmu jego istnienie sprawia, że jest bardziej skłonna do popełnienia oszustwa socjalnego. – Co on ma z tym wspólnego? ona mówi. Rozwód Ceelie ponownie podnosi jej ocenę ryzyka i kończy z wynikiem 0,643: wysokie ryzyko, zgodnie z systemem Rotterdamu.
„Nie znają mnie, nie jestem numerem”, mówi Ceelie. “Jestem istotą ludzką.” Po dwóch dochodzeniach w sprawie oszustw socjalnych Ceelie wściekła się na system. „Oni tylko mi się sprzeciwiali, doprowadzali mnie do myśli samobójczych” — mówi. Podczas swoich dochodzeń słyszała historie innych osób, zwracając się do grupy wsparcia na Facebooku utworzonej dla osób mających problemy z holenderskim systemem opieki społecznej. Ceelie mówi, że ludzie stracili świadczenia za drobne wykroczenia, takie jak niezgłaszanie płatności za zakupy spożywcze lub pieniędzy otrzymanych od rodziców.
„Wiele rzeczy nie jest jasnych dla ludzi, którzy otrzymują zasiłek”, mówi Jacqueline Nieuwstraten, prawniczka, która rozpatrywała dziesiątki odwołań od kar socjalnych w Rotterdamie. Mówi, że system szybko karał ludzi, a śledczy nie uwzględniają właściwie indywidualnych okoliczności.
Holandia zajmuje twarde stanowisko w sprawie oszustw socjalnych, do czego zachęcają populistyczni prawicowi politycy. A ze wszystkich regionów kraju Rotterdam najtrudniej rozprawia się z oszustwami socjalnymi. Spośród około 30 000 osób, które każdego roku otrzymują świadczenia od miasta, około tysiąca jest badanych po oznaczeniu przez algorytm miasta. W sumie Rotterdam co roku sprawdza do 6000 osób, czy ich płatności są prawidłowe. W 2019 r. Rotterdam nałożył 2400 kar za świadczenia, które mogą obejmować grzywny i całkowite odcięcie świadczeń. W 2022 r. prawie jedna czwarta odwołań, które trafiły do sądu najwyższego w kraju, pochodziła z Rotterdamu.
