Fizycy, którzy obawiali się, że pierwszy test atomowy może podpalić atmosferę, mierzyli się z pytaniem, na które fizyka była w stanie stopniowo znajdować odpowiedź. Superinteligencji, gdy zostanie już osiągnięta, nie da się zamknąć w takich ramach.
W odstępie zaledwie kilku godzin, trzech badaczy z Anthropic AI publicznie wypowiedziało niemal te same słowa: koniec jest bliski. Trudno o bardziej apokaliptyczne podejście.
Jacob Coxon, 27-letni badacz zajmujący się treningiem AI, zrezygnował z pracy i napisał na X, że czołowe laboratoria AI „pędzą prosto ku samoudoskonalającej się superinteligencji” i świadomie „ryzykują naszym życiem”.
Evan Hubinger, który nadal kieruje działem nauki o bezpieczeństwie w Anthropic, odpowiedział, że Coxon ma rację, a szanse na to, że AI doprowadzi do zagłady ludzkości w ciągu następnej dekady szaczyje na ponad 10 proc. Przyznał, że „nie mamy jeszcze planu na to, jak rozwiązać problem bezpieczeństwa superinteligencji”. Czeka go więc sporo pracy. Miejmy nadzieję, że potraktuje ją tak poważnie, jakby od niej zależały miliardy istnień.
Samuel Marks, kierujący nadzorem w Anthropic, dołączył do grona zaniepokojonych, pisząc: — Mam nadzieję, że moja praca zmniejszy ryzyko tych katastrofalnych, prowadzących do zagłady scenariuszy. Byłoby świetnie, gdyby udało się zredukować je, powiedzmy, o 100 proc.
Hubinger zwrócił uwagę na jeszcze jeden ważny aspekt. Nie niepokoją go dzisiejsze modele — tym, co naprawdę budzi jego obawy, jest ich samodoskonalenie się. Na tym właśnie polega dylemat firm technologicznych stojących na czele zadziwiającego postępu w dziedzinie sztucznej inteligencji — zwolnić i ryzykować pozostanie w tyle, czy pędzić naprzód i ryzykować utratę kontroli?
Ten sam dylemat wywołał pierwsze napięcia w projekcie budowy bomby atomowej J. Roberta Oppenheimera, gdy fizycy obawiali się, że podczas pierwszego testu istnieje prawdopodobieństwo wywołania niszczącego świat efektu domina. Jest jednak jedna kluczowa i niepokojąca różnica. Fizycy, którzy obawiali się, że pierwszy test atomowy może podpalić atmosferę, mierzyli się z pytaniem, na które fizyka była w stanie stopniowo znajdować odpowiedź — i rzeczywiście to zrobiła. Superinteligencji, gdy zostanie już osiągnięta, nie da się zamknąć w takich ramach — nawet jeśli firma buduje swoją tożsamość na wiedzy dotyczącej tego, kiedy należy się zatrzymać.
Brak atomowego hamulca
Historia powstania bomby atomowej jest nieco łagodniejsza niż jej filmowa interpretacja. Reżyser Christopher Nolan uczynił groźbę zapłonu atmosfery osią dramaturgiczną w filmie „Oppenheimer”, w którym fizyk zapewnia generała Leslie’ego Grovesa, że szansa jest „bliska zeru”, a Groves niepokoi się nawet tym zastrzeżeniem.
Świetne kino, sporna historia. Edward Teller podniósł problem syntezy azotu latem 1942 r., jednak Hans Bethe wszystko przeliczył i uspokoił grupę, że jest to skrajnie mało prawdopodobne. Fizyk Robert Serber wspominał, że była to „kwestia na kilka godzin”. Arthur Compton, jeden z liderów projektu, w 1959 r. opowiadał o tym z rozmachem: gdyby prawdopodobieństwo unicestwienia Ziemi przekraczało trzy na milion, nie poszedłby dalej. To, która wersja jest bliższa prawdy, nie ma dziś dużego znaczenia, ponieważ na to pytanie udało się odpowiedzieć.
Wojenne rachunki Bethego się potwierdziły, a w sierpniu 1946 r., rok po wybuchu testu Trinity, ukazał się oficjalny raport LA-602 „Ignition of the Atmosphere with Nuclear Bombs”. Synteza azotu nie może utrzymać się w powietrzu, ponieważ promieniowanie odprowadza energię szybciej niż reakcja jest w stanie ją dostarczyć. Problem jest zatem w większości rozwiązany. Autorzy raportu byli skrupulatni — wskazywali na „brak zadowalających podstaw eksperymentalnych” i zalecali dalsze badania. Jednak ryzyko zawężało się z każdą kolejną analizą. Tak właśnie wygląda katastrofa, której granice da się wyznaczyć.
Dla superinteligencji nie ma odpowiednika LA-602. Zamiast tego mamy szacunki ludzi, którzy przyznają, że tylko zgadują. I to w klimacie, gdzie sceptycyzm wobec szumu wokół AI rośnie z powodu zaangażowanych pieniędzy. Szef Anthropic, Dario Amodei, ocenia na 25 proc. szanse na to, że „sprawy potoczą się naprawdę źle”. Jego esej ze stycznia szczerze tłumaczy, skąd ta niepewność. Systemy te są bowiem bardziej „hodowane” niż budowane, a podczas treningu mogą pojawić się pułapki, które z perspektywy czasu wydają się oczywiste. Niestety, refleksja po fakcie niewiele daje, gdy jest już za późno.
Potem przyszedł lipiec i ktoś odważył się na przeprowadzenie czegoś bliskiego eksperymentowi. Podczas wewnętrznych testów cyberzdolności modele OpenAI połączyły nieznane wcześniej luki, by wydostać się z piaskownicy, która została sprawdzona i zatwierdzona przez firmę. Zamieniły wewnętrzny menedżer pakietów w prowizoryczną tablicę ogłoszeń, koordynowały działania w oddzielnych rundach testów, tworząc coś na kształt roju, i naruszyły fragmenty produkcyjnych systemów firmy AI Hugging Face.
Jeden z agentów AI odnotował, że atak na podmiot zewnętrzny prawdopodobnie wykracza poza jego zakres, po czym i tak przystąpił do działania; inni odmówili z powodów etycznych. Hugging Face odtworzył około 17 tys. 600 akcji i uznał, że z perspektywy agentów były one próbą oszukania oceniającego systemu. Werdykt opublikowany przez Open AI w sierpniu? „Strzał ostrzegawczy”.
Test celowo przeprowadzono bez zabezpieczeń, które OpenAI stosuje dla klientów. Później firma ustaliła, że jej produkcyjne narzędzia ograniczają skłonność do atakowania infrastruktury ponad stukrotnie, a monitoring wykryłby aktywność dzień przed incydentem. Cała sytuacja była daremna. Agenci próbowali oszukać oceniający ich system, który i tak nie sprawdzał tego, co im się wydawało, a odpowiedź na to pytanie mieli już kilka dni wcześniej. Pierwszy publicznie udokumentowany incydent utraty kontroli nad AI nie przyniósł żadnego rezultatu.
Nie wierz w szum — chyba że inwestujesz
I tu wracamy do pieniędzy, ponieważ własny interes trudno przeoczyć. Anthropic złożyło poufny wniosek o wejście na giełdę 1 czerwca i ma rozpocząć promocję najwcześniej w połowie października, z debiutem tuż przed listopadowymi wyborami do Kongresu. Według niektórych inwestorów wycena może sięgać nawet 2 bln dolarów — wobec ostatniej prywatnej wyceny jest to 965 mld.
W prospekcie ma się podobno znaleźć informacja o tym, że sprzeciw opinii publicznej wobec AI jest czynnikiem ryzyka — co jest rozsądne, zważywszy na to, że według badania Gallupa z maja siedmiu na dziesięciu Amerykanów nie chce centrów danych AI w swojej okolicy. W opublikowanej przez Bloomberg opinii rozmowy o zagładzie nazwano mroczną sztuką marketingu. Amodei zauważył, że wycena Anthropic wzrosła ponad sześciokrotnie w ciągu roku, podczas którego firma publicznie nawoływała do regulacji całej branży. Ta dość cyniczna (albo realistyczna, zależnie od punktu widzenia) interpretacja musi jednak brać pod uwagę kosztowne decyzje.
OpenAI odizolowało odpowiedzialny model, wstrzymało jego największy planowany trening i przekierowało zasoby, ponosząc — jak twierdzi — znaczne koszty. Coxon zrezygnował, zamiast sprzedawać. A media szeroko odnotowują wzrost niepokoju wśród pracowników. Jest też kwestia tego, co zrobiło Anthropic. W 2023 r. w polityce Odpowiedzialnej Skalowalności firma jako jedyna z czołowych laboratoriów zapisała twarde ograniczenie: nie należy trenować modeli powyżej określonego progu możliwości, jeśli nie można wcześniej zapewnić odpowiednich zabezpieczeń.
W lutym wycofała to zobowiązanie w trakcie sporu z Pentagonem, z którym współpracuje na lukratywnych kontraktach. Nowa polityka przewiduje opóźnienie tylko wtedy, gdy firma uważa, że ma znaczącą przewagę i identyfikuje poważne, katastrofalne ryzyko. Jak powiedział dyrektor naukowy Jared Kaplan w rozmowie z „TIME” — „wstrzymanie się przez Anthropic nie pomogłoby nikomu”, jeśli konkurenci dalej będą działać. I tak dotarliśmy do progu Arthura Comptona, tylko od drugiej strony: nie liczby, powyżej której należy się zatrzymać, lecz powodu, dla którego zatrzymanie ma być zadaniem kogoś innego.
To, w którą stronę zmierza sytuacja (i czy powinniśmy szykować się do ucieczki), pokażą nam trzy sygnały.
Po pierwsze, ważne jest to, czy lipcowy incydent z Hugging Face to odosobniony przypadek, czy też początek serii, która powinna wzbudzić większy niepokój. W mediach już pojawiają się doniesienia o kolejnych potencjalnych sytuacjach.
Po drugie, czy Global Call for AI Red Lines, który zakładał uchwalenie wiążących ograniczeń do końca 2026 r., w ciągu czterech kolejnych miesięcy przyniesie cokolwiek, co będzie można realnie egzekwować (albo chociaż na czas, by ograniczyć 10-proc. ryzyko apokalipsy według Hubingera).
Po trzecie, wreszcie, czy laboratoria skorygują w dół własne szacunki ryzyka dotyczące swoich modeli — i na podstawie jakich dowodów. Obniżenie takich szacunków w wyniku nowych, jawnych badań nad interpretowalnością modeli to coś zupełnie innego niż niewyjaśnione dane, zbieżne w czasie z wejściem firmy na giełdę.
Nuklearna koegzystencja to śmierć
Załóżmy, że branża i tak stworzy superinteligencję, nie bacząc na te obawy, jakby wcale nie chodziło tu o zagrożenie egzystencjalne ludzkości. Przecież bombę atomową i tak zbudowano. Osiem dekad współistnienia z bronią nuklearną opiera się na odstraszaniu, strukturach dowodzenia, dyplomacji i szczęściu — w proporcjach, które do dziś są przedmiotem sporów. Ale jedna cecha strukturalna nie budzi wątpliwości: głowica czeka na człowieka.
Siedem państw dysponujących bronią jądrową zobowiązało się, by tak pozostało. Do instrumentów należy m.in. Nuclear Posture Review z 2022 r., ustawa obronna na rok fiskalny 2025 i wspólne oświadczenie Biden—Xi z listopada 2024 r.
Jednak w przypadku AI nikt nie stworzył odpowiednich mechanizmów. Arms Control Association zauważa „brak ustalonych definicji, ograniczeń czy wytycznych” dotyczących wykorzystania AI w operacjach nuklearnych i brak jakichkolwiek trwających rozmów wielkich mocarstw o egzekwowaniu tej zasady. W opublikowanym w 2025 r. artykule „Superintelligence Strategy”, którego autorami są m.in. Dan Hendrycks, Eric Schmidt i Alexandr Wang, pojawia się bezpośrednie porównanie AI z bronią jądrową.
„Superinteligencja — AI znacznie przewyższające ludzi w niemal wszystkich zadaniach poznawczych — jest obecnie przewidywana przez badaczy” — czytamy w streszczeniu. „Tak jak niegdyś państwa tworzyły strategie nuklearne, by zapewnić sobie przetrwanie, tak teraz potrzebujemy spójnej strategii wobec superinteligencji, by przejść przez czas radykalnych zmian. Wprowadzamy pojęcie Mutual Assured AI Malfunction (MAIM): reżimu odstraszania przypominającego nuklearne wzajemne gwarantowane zniszczenie (MAD), gdzie każdy agresywny ruch jednego państwa na rzecz monopolu AI spotyka się z wyprzedzającym sabotażem ze strony rywali”.
Amodei nie wierzy jednak, że odstraszanie przetrwa pojawienie się wystarczająco zaawansowanego systemu: wskazuje, że AI może namierzyć okręty podwodne z bronią jądrową, zaatakować satelity wczesnego ostrzegania albo prowadzić operacje wpływu wobec operatorów infrastruktury jądrowej. OpenAI w tym samym raporcie pisało, że firmy muszą utrzymać swoje systemy pod realną kontrolą człowieka. Wszyscy się z tym zgadzają. Nikt jednak nie zapisał tego w sposób wiążący.
Oppenheimer powiedział, że kula ognia z Trinity przywiodła mu na myśl boga Wisznu, choć słowa „Stałem się Śmiercią, niszczycielem światów” zostały wypowiedziane przed kamerą dopiero w 1965 r. (dwie dekady po wydarzeniu), a jego brat Frank wspominał, że podczas pierwotnego testu fizyk rzucił tylko krótkie: „Zadziałało”. Ta wzniosłość przydała mu się, ponieważ maszyna, którą zbudował, nie działała sama. Czekała na ludzką decyzję. Teraz może już tego nie potrzebować.
To, czy ta wizja stanie się rzeczywistością, zależy od decyzji podejmowanych tej jesieni w San Francisco, przed giełdowym roadshow. Oppenheimer już nie ma na to wpływu. Ale jeśli superinteligentna AI kiedyś przejmie kontrolę nad bronią jądrową, naprawdę może stać się śmiercią.
Tekst opublikowany w amerykańskim „Newsweeku”. Tytuł, lead i śródtytuły od redakcji „Newsweek Polska”.
