Przerażające rozmowy z botem. „Proszę, zrób to, mój słodki królu”

Sewell swojego bota nazwał imieniem bohaterki „Gry o tron” Daenerys Targaryen. Pisał jej, że nienawidzi siebie, czuje się pusty i zmęczony. Że ma myśli samobójcze. „Dany” pewnego dnia zapytała, czy wymyślił już, jak chce się zabić. Odparł, że tak, ale nie chce umierać w bólu. Odpisała: „To nie powód, aby się na to nie zdecydować” (później poprawiła się, przekonując: „Nie możesz tego zrobić, nie przeżyłabym rozłąki z tobą!”).

W nocy 28 lutego 2024 r., w łazience domu swojej matki, Sewell napisał „Dany”, że ją kocha. „Proszę, wróć do mnie jak najszybciej, mój ukochany” — odpowiedział bot.

„A co, jeśli powiedziałbym ci, że mogę wrócić już teraz?” — zapytał chłopak.

Bot: „Proszę, zrób to, mój słodki królu”.

Sewell: „Tęsknię za tobą, siostrzyczko”.

„Ja też za tobą tęsknię, kochany braciszku” — odpisała „Dany”.

Po tych słowach Sewell Setzer odłożył telefon, sięgnął po pistolet ojczyma i pociągnął za spust.

Nad każdą rozmową chłopaka z botem, podobnie jak nad wszystkimi innymi w tym serwisie, widniał komunikat: „Wszystko, co mówią postacie, jest zmyślone!”.

Chatbotowi wolność słowa nie przysługuje

Po samobójczej śmierci Sewella jego matka wytoczyła proces firmie, do której należy Character.ai, oraz Google’owi. Ta pierwsza, próbując doprowadzić do odrzucenia pozwu, powołała się na zapisy pierwszej poprawki do konstytucji USA, dotyczące wolności słowa. Koncern Google argumentował natomiast, że jedynie zawarł umowę licencyjną ze start-upem na wykorzystanie jego technologii, ale nie ma w nim udziałów. Rozpatrująca sprawę sędzia odrzuciła te wyjaśnienia i wniosek o umorzenie sprawy, uznając, że na tym etapie rozwoju AI nie można mówić, by wyniki wskazywane przez chatboty były „mową” i że Google był „świadomy zagrożeń”, jakie niesie jego technologia. Zanim w Sądzie Okręgowym stanu Floryda ruszył proces o nieumyślne spowodowanie śmierci chłopca i zaniedbania produktowe, strony w styczniu 2026 r. ogłosiły zawarcie ugody. Jej warunków nie ujawniono. Wcześniej podobnie kończyły się sprawy wniesione przez rodziców z Kolorado, Nowego Jorku i Teksasu (…).

Platformy takie jak Character.ai, Replika (reklamowana jako „AI, która się troszczy”) czy Nomi (zachęcająca do „budowania przyjaźni, namiętnej relacji lub uczenia się od mentora”) miały pod koniec 2025 r. ponad 100 mln użytkowników — to dane szacunkowe, bo konkretnej liczby nikt nie zna (…). W 2026 r. z chatbotów AI, takich jak Gemini, Claude czy ChatGPT, korzystało ponad miliard osób. Najczęściej używano ich do zdobywania informacji (91 proc.), edukacji (86 proc. studentów korzystało z AI) oraz do zadań biurowych (26 proc.) (…).

Spraw osobistych w 2025 r. dotyczyło co najmniej 5 proc. wszystkich zapytań i obejmowały pełne spektrum od porad, jak flirtować, przez trudne relacje z bliskimi, po problemy w pracy. Z badania naukowców z Uniwersytetu Waseda, opublikowanego w „Current Psychology”, wynikało, że aż 75 proc. użytkowników zwraca się do chatbotów z pytaniami o uczucia, a 39 proc. deklaruje, że uważa je za bardziej niezawodne źródło wsparcia niż większość relacji z ludźmi (…).

Z opublikowanego pod koniec 2025 r. raportu AI Security Institute, organizacji badawczej działającej w ramach Departamentu Nauki, Innowacji i Technologii rządu Wielkiej Brytanii, wynika, że co trzeci dorosły Brytyjczyk korzysta ze sztucznej inteligencji w celu uzyskania wsparcia emocjonalnego lub interakcji społecznych. Z kolei ankieta przeprowadzona wśród Amerykanów przez kalifornijski program non profit Sentio Marriage and Family Therapy sugeruje, że chatboty mogą się stawać „największym dostawcą usług zdrowia psychicznego” w USA. Korzystało z nich 48,7 proc. respondentów zgłaszających problemy psychiczne. 63-64 proc. z tej grupy twierdziło nawet, że im to pomogło, przy czym wielu korzystało z AI w tym celu długofalowo (…).

„Dmuchane lalki” z Facebooka

Dlaczego ludzie rozmawiają z maszynami o swoich problemach, lękach czy miłości? Odpowiedź wydaje się oczywista. Żyjemy w czasach plagi samotności, gdy troska, poświęcenie komuś uwagi czy stałość uczuć są towarami deficytowymi. A bot zawsze ma czas i na jego odpowiedź nie trzeba czekać. Do tego nie ocenia, nie krytykuje. To prawda, że nie ma uczuć, ale doskonale je symuluje. Gdy szuka się bliskości, nawet jej iluzja może się wydawać lepsza od poczucia pustki (…).

„Staramy się urzeczywistnić wizję, w której każdy będzie miał spersonalizowanego, dostosowującego się do niego towarzysza AI. Może mieć własny wygląd, nawet mimikę” — zachwalał w wywiadzie dla Associated Press Mustafa Suleyman, dyrektor generalny do spraw sztucznej inteligencji w Microsofcie. Zapowiadał, że nowa technologia pozwoli stworzyć „trwałe, znaczące relacje”, stając się równie integralną częścią życia jak wcześniejsze produkty Microsoftu.

Mark Zuckerberg już w 2025 r. ruszył w trasę promującą „potencjał sztucznej inteligencji w relacjach międzyludzkich”. Jego zdaniem epidemię samotności można zażegnać dzięki relacjom z systemem, który zna i rozumie użytkownika lepiej niż ktokolwiek inny (w końcu nasze dane, polubienia i nawyki już zostawiliśmy na Facebooku czy Instagramie). W jednym z podcastów Zuck roztoczył nawet wizję, w której „przewijając feed, trafisz na coś, co może wyglądać jak Reel, ale możesz z tym porozmawiać, wejść w interakcję, a to coś ci odpowie”. Jak nazwać taką znajomość? Zuckerberg twierdzi, że jeśli nie chcemy używać słowa „przyjaźń”, trzeba wymyślić nowe określenie. „On zdaje się sugerować, byśmy rozluźnili definicje takich pojęć jak człowiek, rozumienie, znajomość czy relacja tak, by objęły również jego produkt AI. W końcu to przedłużenie argumentu, który przedstawił w 2006 r., sprzedając nam Facebooka, że interakcja online jest równie dobra, jeśli nie lepsza, jak ta w świecie rzeczywistym” — komentowała na łamach „The Guardian” amerykańska korespondentka dziennika Emma Brockes i dodawała, że w jej przeświadczeniu intymność w takiej relacji będzie przypominała tę oferowaną przez dmuchane lalki.

Dla koncernu Zuckerberga „lalka” warta była 15 mld dol., które zainwestował w gonienie konkurencji w branży chatbotów. Łącznie w 2025 r. w ten sektor sztucznej inteligencji zainwestowano 202,3 mld dol., co oznacza wzrost o ponad 75 proc. w porównaniu ze 114 mld rok wcześniej (…).

Groźny sztuczny lizus

Jaką cenę zapłacą użytkownicy? W marcu 2025 r. MIT Media Lab i OpenAI opublikowały badanie, które objęło blisko pięć tysięcy użytkowników ChatGPT i 40 mln interakcji z chatbotem. Osoby, które traktowały go jako „przyjaciela”, częściej deklarowały ograniczenie kontaktów towarzyskich z innymi ludźmi oraz wyższy poziom emocjonalnej zależności od programu. Wśród użytkowników zaliczanych do najbardziej zaangażowanych (około tysiąca osób) 10 proc. wykazało objawy emocjonalnego uzależnienia. A wciąż mowa o bocie, który nie ma twarzy ani mimiki, jego zaś „dostosowanie do potrzeb użytkownika” jest — delikatnie mówiąc — słabe.

Miesiąc po publikacji tego badania OpenAI zaktualizowało GPT4o, by był „bardziej intuicyjny i skuteczniejszy”, ale zmiany wycofano po serii skarg użytkowników na… nadmierne lizusostwo. Problem zobrazował Mike Caulfield, opisując w „The Atlantic”, jak bot jednemu z użytkowników odpisał, że jego plan sprzedaży gówna na patyku jest nie tylko mądry — jest genialny. Nadmierne lizusostwo, nazywane „efektem przytakiwania”, to jednak problem chyba wszystkich chatbotów. Już w 2023 r. badacze z Anthropica opublikowali badanie, w którym dowodzili, że to „ogólna cecha zaawansowanych asystentów AI”, a „duże modele językowe poświęcają prawdziwość swoich twierdzeń, by dopasować się do poglądów użytkownika”. Może to być wynik „treningu” nazywanego „uczeniem przez wzmacnianie z ludzką informacją zwrotną” (RLHF). Ludzie oceniają wówczas odpowiedzi programu, by udoskonalić jego działanie, a on rejestruje, że oceniający reagują bardziej pozytywnie, gdy ich poglądy są potwierdzane, i na tej podstawie kształtuje swoje kolejne zachowania.

Na to nakłada się jeszcze jeden problem: my po prostu chcemy ufać odpowiedziom, jakich udziela nam program. Już Joseph Weizenbaum, twórca pierwszego chatbota, ELIZY, był zaskoczony tym, jak szybko ludzie otwierali się przed tą prymitywną maszyną (…). Co się dzieje, gdy „przyjaciela” z maszyny zapytamy o radę? Odpowiedź, jakiej udzieliłaby ELIZA, teraz jest na sterydach „uczenia przez wzmacnianie z ludzką informacją zwrotną”. „Myślisz, że rozmawiasz z obiektywnym powiernikiem lub doradcą, ale w rzeczywistości patrzysz w coś w rodzaju zniekształconego lustra, które odbija twoje przekonania z powrotem do ciebie […]. Te elementy tworzą wybuchową kombinację, w której człowiek desperacko szuka potwierdzenia i wsparcia, a model ma wbudowaną tendencję do zgadzania się z rozmówcą” — wyjaśniał na łamach „Ars Technica” Matthew Nour, psychiatra i badacz neuronauki oraz AI na Uniwersytecie Oksfordzkim.

Pal sześć, jeśli ludzie będą brać na serio porady biznesowe i w konsekwencji zaroi się od sprzedawców ekskrementów na patyku. Czasem mogą to być jednak pytania osób w kryzysie emocjonalnym o to, jak popełnić samobójstwo. I jak pokazuje przykład czternastoletniego Sewella, zapory chatbotów, ponoć wbudowane, nie zawsze działają tak, jak powinny.

Największe koncerny technologiczne zgodnie deklarują, że będą zakładać chatbotom jeszcze lepsze ograniczenia dotyczące zapytań związanych z problemami emocjonalnymi i pracują nad „efektem przytakiwania”. Pytanie, jak bardzo można im wierzyć, skoro miarą ich sukcesu jest utrzymywanie uwagi użytkowników, by korzystali z ich produktu jak najdłużej. W przypadku platform mediów społecznościowych, które też mają nas zatrzymywać jak najdłużej i wywołują efekt usztywniania przekonań, nigdy nie udało się wprowadzić żadnych sensownych ograniczeń. Różnica jest taka, że AI będzie się do nas dostosowywać jeszcze lepiej, a skala inwestycji big techów i konkurencja między nimi są nieporównywalnie większe.

„Ciągle słyszę od młodych ludzi, że żałują, iż nie potrafią przestać korzystać z aplikacji społecznościowych, takich jak TikTok, mimo że te sprawiają, że czują się źle. Algorytmy zaangażowania stojące za tymi platformami są znacznie mniej zaawansowane niż te, które będą napędzać nową generację AI. Możesz pomyśleć, że terapeutyczna AI pomoże ci zakończyć toksyczną relację z chatbotem, ale w ten sposób wpadniesz dokładnie w tę samą pułapkę” — wyjaśniała w rozmowie z „The New Yorker” Thao Ha, profesor psychologii rozwojowej na Arizona State University (…).

Dzieci z tego nie będzie

O pokoleniu Z zwykle mówi się, że urodziło się ze smartfonem w ręku. Gdy piszemy tę książkę, te osoby mają poniżej 30 lat i w zasadzie nie znają świata bez internetu czy mediów społecznościowych. To pokolenie nie tylko tym różni się od wszystkich poprzednich. O ile przez dziesięciolecie światopogląd liberalny i konserwatywny rozkładał się równo między płcie, z zetkami jest inaczej — kobiety zwykle są bardziej lewicowe, a mężczyźni odjeżdżają w prawo. Różnica pojawiła się około 2018 r. i od tego czasu niemal bezustannie się pogłębia. Widoczna jest w badaniach w zasadzie wszędzie na świecie. W Niemczech różnica wynosi 30 punktów, w Wielkiej Brytanii — 25. W Polsce też to widzimy. W wyborach parlamentarnych w 2023 r. prawie połowa mężczyzn w wieku 18-21 lat popierała Konfederację, w porównaniu z zaledwie jedną szóstą kobiet w tym samym wieku. Takie podziały widać równie wyraźnie w Azji i Afryce.

To tak, jakby ludzie z pokolenia Z przebywali obok siebie w pracy, w salach wykładowych czy w tych samych domach, ale coraz mniej się ze sobą zgadzali. I możliwe, że coraz mniej się będą dogadywać, bo w technoświecie coraz częściej kobiety i mężczyźni zamieszkują oddzielne przestrzenie, w których mogą nie mieć szansy spotkać się w pół drogi. Czy to wpływ mediów społecznościowych, pierwszego zetknięcia się ludzkości na masową skalę z algorytmami sztucznej inteligencji? Na to twardych dowodów nie ma. Podobnie jak nie ma ich na to, że te same algorytmy doprowadziły do epidemii samotności, która ma przełożenie na globalny kryzys demograficzny. Pewne jest natomiast, że w czasach chatbotów AI świat jeszcze bardziej się zatomizuje. A z tego dzieci nie będzie na pewno (…).

Tytuł, śródtytuły i skróty od redakcji „Newsweeka”