Nie mamy pojęcia, jak działa AI. „Odwieczna bariera właśnie się rozszczelniła”

Sednem eksplodującej rewolucji AI nie jest tworzenie botów przechodzących testy Turinga ani programów grających w szachy czy tworzących filmy, choć wszystko to potrafimy już osiągać. Prawdziwie rewolucyjne jest co innego: nasza ignorancja przestała być szczelną barierą dla postępu technologicznego. Nauczyliśmy się systematycznie wytwarzać rozwiązania, które wprawdzie działają doskonale, ale niemal kompletnie nie rozumiemy, w jaki sposób. Demis Hassabis, współtwórca legendarnego modelu AlphaZero, nie wie, czym kieruje się jego program w wyborze ruchów szachowych. Świetnie rozumie zaprojektowany przez siebie algorytm treningowy sieci neuronowej, ale nie ma pojęcia, jak działa wytrenowana przez ten algorytm sieć neuronowa. To, że rozumiemy mechanizm przepływu informacji na poziomie pojedynczych neuronów, niewiele zmienia. Fizycy niby nie najgorzej rozumieją prawa opisujące pojedyncze atomy, ale i tak nie są zbyt pomocni w wyjaśnianiu, jak działa mózg, mimo że składa się on przecież wyłącznie z tychże atomów.

Zresztą Demis Hassabis, który sam jest doskonałym szachistą, i bez umiejętności gry w szachy mógłby stworzyć swój algorytm treningowy, który nauką przez wzmocnienie wytrenowałby sieć neuronową ogrywającą mistrza świata. Coś jak z inicjowaniem procesów ewolucyjnych, tyle że w przypadku uczenia maszynowego nie trzeba czekać miliarda lat, aż powstanie z tego jakaś żaba. Dario Amodei, jeden z byłych szefów naukowych firmy OpenAI i twórca innego giganta — firmy Anthropic, podsumowuje sytuację dość zwięźle:

Nie mamy pojęcia, jak działa AI. Ten brak zrozumienia nie ma precedensu w historii technologii.

Zrozumienie, że czegoś nie rozumiemy, bywa trudne. Dlatego jak czegoś nie rozumiemy, to najczęściej również nie rozumiemy, że tego nie rozumiemy. Nic dziwnego, że największe odkrycia w fizyce często zaczynały się od zdania sobie sprawy, że coś, co wydawało się wszystkim „proste i oczywiste”, jest w zasadzie mocno niejasne. Dlaczego ciała spadają? „Przecież to oczywiste, bo są ciężkie” — brzmiała typowa naiwna odpowiedź. Dlaczego niektóre ciała są ciepłe, a inne zimne? Dlaczego niebo jest niebieskie? Nie jest wbrew pozorom łatwo spostrzec, że czegoś, co świetnie znamy, tak naprawdę nie rozumiemy.

Co odkryjemy po czasie?

Czy ktokolwiek na Ziemi rozumie, jak działa we wszystkich szczegółach telefon komórkowy? Przypuszczam, że wątpię. Główny projektant telefonu ma zapewne ogólne pojęcie o całym schemacie, ale szczegóły działania poszczególnych elementów od A do Ż znają tylko wyspecjalizowane podgrupy inżynierów. Koncepcja telefonu komórkowego to dzieło zbiorowe, a wiedza o nim jest rozdzielona pomiędzy różne mózgi.

W przypadku innych wynalazków bywało jeszcze zabawniej, bo wiele z nich powstało dzięki szczęściu lub przypadkowi, a zrozumienie przychodziło poniewczasie. Zdarzało się, że „autorzy” takich wynalazków dopiero po fakcie odkrywali, jakim cudem ich odkrycia w ogóle działały. Odkrywcy słynnego promieniowania reliktowego wypełniającego cały wszechświat sądzili, że sygnał, który odbierają, jest spowodowany ptasimi kupami zanieczyszczającymi radioteleskop. A i tak dostali Nobla.

Tymczasem w erze uczenia maszynowego sprawy wskoczyły na kolejną orbitę. Nauczyliśmy się w sposób systematyczny dokonywać „odkryć”, na które sami nie potrafiliśmy wpaść. Stawiamy zadanie, odpalamy algorytm treningowy, po jakimś czasie wracamy, żeby sprawdzić, czy sieć już się wytrenowała w robieniu czegoś, czego nie potrafilibyśmy sami zaprojektować. Jak się wytrenowała, to się cieszymy, a jak nie, to dramatu też nie ma. Modyfikujemy algorytm treningowy albo zmieniamy architekturę sieci i rozpoczynamy trening od początku. Aż trudno uwierzyć, że cała ta procedura potrafi w sposób zbieżny prowadzić do fenomenalnych efektów.

Demis Hassabis, jak już ze swoim zespołem programistów ograł mistrza świata w go programem AlphaGo, stworzył kolejny program, AlphaFold, czyli sztuczną inteligencję, która rozwikłała jeden z największych, nierozwiązanych od dekad problemów biologii molekularnej. AlphaFold nauczył się przewidywania trójwymiarowej struktury białek na podstawie informacji genetycznej zakodowanej w ciągu aminokwasów, a Hassabis i John Jumper zgarnęli za to Nagrodę Nobla z medycyny (a prawie się założyłem, że dostaną z chemii). Po raz pierwszy w historii nagrodę z medycyny odbierali programiści! I wcale nie oznacza to, że Hassabis i Jumper zrozumieli prawa biochemiczne pozwalające poprawnie przewidywać trójwymiarowe struktury tychże białek. Prawa te „odkrył” ich program i mimo że wydarzyło się to parę lat temu, wciąż nie bardzo wiemy, jak mielibyśmy owe struktury samodzielnie przewidywać bez pomocy AI. Nawet gdybyśmy mogli używać komputerów i tworzyć na nich konwencjonalne algorytmy poszukiwania odpowiedzi, wciąż nie umielibyśmy ich do tego wykorzystać bez sieci neuronowych. Nie chodzi więc tylko o „dużą ilość obliczeń”, których nie potrafi wykonać nasz mózg. Nawet usunięcie tej bariery i posiłkowanie się programowalnymi protezami mózgu niewiele zmienia.

Dostaliśmy rybę, nie dostaliśmy wędki. Pisząc ponownie Richardem Feynmanem: „czego nie potrafię stworzyć, tego nie rozumiem„. Za tymi słowami kryje się głębsza myśl, wyrażająca to, że umiejętność rekonstrukcji jest świetnym testem, czy coś w ogóle rozumiemy. A jednak z wytrenowanymi sieciami neuronowymi jest inaczej. Potrafimy je „tworzyć”, inicjując algorytm treningowy, choć to wcale nie znaczy, że rozumiemy „algorytmiczny zamysł” stojący za ich działaniem po zakończonym treningu.

Jako że nasza ignorancja przestała być nieprzekraczalnym sufitem, nie ma się co dziwić, że cała ta rewolucja sztucznej inteligencji postępuje jak oszalała. Tak wygląda graficzne podsumowanie rozwoju największych sieci neuronowych przez ostatnie siedemdziesiąt lat. Na poziomej osi leci czas, a na pionowej liczba połączeń synaptycznych, która, jak pamiętamy, ma związek ze złożonością zadań, jakich sieć może się podjąć.

Dla nieuzbrojonego oka ta coraz bardziej stroma krzywa przypomina wzrost wykładniczy, czyli coś na kształt reakcji łańcuchowej. Dopiero po włożeniu okularów widać, że skala na pionowej osi jest logarytmiczna. Czyli każda kolejna podziałka jest 10 razy większa od poprzedniej. Gdybyśmy próbowali rozciągnąć ten wykres do „zwykłej” skali liniowej, dostalibyśmy w zasadzie pionową ścianę, której wysokość byłaby tego rzędu, co odległość od Ziemi do Księżyca. Trudno to z czymkolwiek zjadliwym porównać, bo nie ma chyba żadnych procesów fizycznych, chemicznych czy biologicznych, które zachodziłyby z takim przyspieszeniem. Jest to trochę jak reakcja łańcuchowa reakcji łańcuchowych.

W takich okolicznościach ojciec i matka teorii kwantowej, Niels Bohr, ma jeszcze więcej racji niż kiedykolwiek ze swoim słynnym: „przewidywanie jest trudne, a szczególnie przewidywanie przyszłości”. Mowa oczywiście o przewidywaniu trafnym, bo w pozostałych przypadkach mamy przecież Yanna LeCuna. Przewidywalna przyszłość dobiegła już końca.

Dobra i zła strona rozwoju

Czy to dobrze, czy źle? No niby dobrze, bo dzięki nowej technologii zniknęła część fundamentalnych ograniczeń blokujących nasz rozwój. Nie muszę wiedzieć ani rozumieć, jak się jeździ na rowerze, żeby wytrenować robota jeżdżącego na rowerze. Ale każdy kij ma dwa końce (chociaż proca ma trzy): nie rozumiejąc nowych rozwiązań technologicznych, nie możemy liczyć, że będziemy mogli je w pełni kontrolować. Żeby coś kontrolować, dobrze by było najpierw to zrozumieć.

Rozumienie algorytmu treningowego albo architektury sieci to za mało, by zrozumieć wytwory treningu, podobnie jak zrozumienie mechanizmów ewolucyjnych to za mało, żeby zrozumieć, jaka żaba z tego powstanie. Jest oczywiście niewielka grupa ludzi zajmująca się explainable AI, czyli wyjaśnialną sztuczną inteligencją, w ramach której analizuje się niewielkie i proste sieci neuronowe, by zrozumieć, w jaki sposób działają. Ale jest to branża skrajnie niedoinwestowana, szczególnie w zderzeniu z gargantuicznymi środkami ładowanymi w jak największe przyspieszenie całej technologii.

Fragment książki „Quo Vaidis” Andrzeja Dragana wydanej przez Wydawnictwo Otwarte. Tytuł, lead i skróty od redakcji „Newsweeka”. Książkę można kupić tutaj.