Rozwój sieci neuronowych jako narzędzia sztucznej inteligencji, cz. II

W poprzednim felietonie („Rzecz o Historii”, 31 października 2024 r.) opisałem początki badań i eksperymentów związanych z sieciami neuronowymi, będącymi sprawnymi narzędziami sztucznej inteligencji. Zająłem się tym tematem, ponieważ w tym roku aż cztery Nagrody Nobla – dwie z fizyki i dwie z chemii – przyznane zostały badaczom, którzy rozwijali sieci neuronowe jako narzędzia sztucznej inteligencji.

Eksperymenty z perceptronem

Frank Rosenblatt, o którego badaniach pisałem w poprzednim felietonie, miał przedziwne pomysły, które bardzo posunęły naprzód wiedzę o sieciach neuronowych. Po wykonaniu wielu badań związanych z uczniem perceptronu udowodnił, że w miarę powiększania liczby powtórzeń prezentacji rozpoznawanych obrazów procent błędów popełnianych przez sieć neuronową maleje. W kolejnych eksperymentach uzyskiwano różne przebiegi tzw. krzywej uczenia, ale zawsze była to linia malejąca, najpierw szybko (perceptron wyzbywał się najoczywistszych błędów), potem wolniej (uczył się rozpoznawać subtelne różnice między obrazami), a na koniec pozostawał zawsze pewien błąd rezydualny, ponieważ niewielka liczba błędów zdarzała się nawet najdłużej uczonym perceptronom i nie udawało się tego zredukować do zera.

Czytaj więcej

Historia świata

Rozwój sieci neuronowych jako narzędzia sztucznej inteligencji

Człowiekiem, który zbudował pierwszą działającą sieć neuronową, był Frank Rosenblatt z Cornell Laboratory. Opracował tzw. perceptron – urządzenie elektroniczne, które zostało stworzone zgodnie z zasadami biologii i wykazywało zdolność uczenia się. Co ciekawe, Rosenblatt był psychologiem, a nie informatykiem.

Rosenblatt miał jednak osobliwe pomysły. Gdy już wielokrotnie skutecznie nauczył swoją sieć różnych rzeczy, wprowadził nowy element: mylącego się nauczyciela. W początkowych badaniach sieć dostawała nagrodę za dobrą odpowiedź i karę za odpowiedź złą. Był to model uczenia z dobrym nauczycielem. Ale potem Rosenblatt wprowadził zasadę, że nauczyciel ma się czasem mylić. Gdy sieć poda już odpowiedź, to nauczyciel ma losować, czy ma ocenić uczciwie, czy podać błędną ocenę. Gdy mu wyszło z losowania, że ma się „omylić” – to wysyłał do perceptronu sygnał nagrody za złą odpowiedź albo sygnał kary za odpowiedź poprawną. Przebieg procesu uczenia przestał być regularny. Krzywa uczenia była postrzępiona. Czasem błąd malał, a czasem wzrastał, bo te mylne nagrody i kary destabilizowały perceptron.

Ale zaobserwowano dwa zadziwiające zjawiska. Po pierwsze, sieć neuronowa po pewnym czasie osiągała ten sam procent błędnych odpowiedzi, jaki wprowadzał losowo zły nauczyciel – i przekraczała go. Myliła się rzadziej niż nauczyciel! Ale jeszcze bardziej sensacyjny był następny wynik. Otóż wspominałem, że każde uczenie perceptronu kończyło się tym, że nawet długo uczony nie schodził poniżej pewnego poziomu błędu, nazywanego błędem rezydualnym. Tymczasem perceptron uczony przez złego nauczyciela przebijał także i ten poziom, to znaczy osiągał znacznie niższe wartości błędu rezydualnego niż perceptron uczony przez dobrego nauczyciela. To było prawdziwe zaskoczenie!

Perceptron jako światowa sensacja

W życiu każdego człowieka nadchodzi moment, że jego sprawność umysłowa się pogarsza. Niestety, w mózgu każdego z nas neurony obumierają, połączenia się rwą, coraz trudniej jest sobie coś przypomnieć albo coś nowego wymyśleć. Te procesy neurodegeneracyjne dotykają każdego. Jeśli są bardzo intensywne, to nieszczęśnik zapada na różne choroby: alzheimera, parkinsona, stwardnienie rozsiane… Ale u większości z nas – pomimo ubywających neuronów i zrywanych połączeń – sprawność umysłowa jest zachowana przez wiele lat.

Czytaj więcej

Historia świata

Jak nauczyliśmy maszyny liczyć i myśleć za nas? Historia grafiki komputerowej

Pierwsze komputerowo generowane rysunki uzyskano w ramach projektu o nazwie Whirlwind. Projekt ten, zapoczątkowany w 1950 r., był stosunkowo mało znany, ponieważ służył do celów wojskowych i na długi czas go utajniono.

Rosenblatt postanowił to sprawdzić. Najpierw nauczył perceptron dobrze rozwiązywać jakieś zadanie, a potem zaczął go niszczyć! Tu wyrwał jakiś kabel, tam usunął któryś neuron, a perceptron stale zachowywał wyuczoną zdolność rozwiązywania stawianych mu zadań. Trzeba było zdemolować (i to losowo!) znaczną część sieci, żeby zaczęła się mylić. Opisane wyniki badań Rosenblatt publikował, te publikacje czytano na całym świecie i… nie dowierzano.

Zaczęto budować systemy naśladujące perceptron. Znane były prace radzieckiego akademika Wiktora Głuszkowa, który po przeczytaniu prac Rosenblatta gorączkowo zmierzał do zbudowania własnej sieci neuronowej w Kijowie (był Ukraińcem) – i w efekcie potwierdził wszystkie odkrycia Amerykanina. We Włoszech zbudowano odpowiednik perceptronu w Padwie i nazwano go „Pandemonium”, bo zdaniem Włochów neurony uczące się zachowywały się jak demony.

Były też podobne prace w innych krajach i wszystkie potwierdzały, że sieci neuronowe mogą się uczyć i wykorzystywać zdobytą wiedzę.

Cios zadany przez Marvina Minsky’ego

Ogromna popularność perceptronu Rosenblatta nie podobała się wielu badaczom. Należał do nich Marvin Minsky (1927–2016), notabene niezwykle zasłużony dla powstania i rozwoju sztucznej inteligencji. Do końca życia twierdził, że to on zaproponował nazwę „sztuczna inteligencja” dla całego obszaru zastosowań komputerów mających naśladować inteligentne działania człowieka. Wraz z Johnem McCarthym był współorganizatorem i animatorem słynnej konferencji w Dartmouth (1956 r.) – w czasie ośmiotygodniowej burzy mózgów stworzono podstawy sztucznej inteligencji, na których potem oparły się wszystkie czołowe uniwersytety rozwijające tę dziedzinę wiedzy.

Pozycja Minsky’ego była niezwykle silna: od 1958 r. kierował zespołem naukowców zajmujących się sztuczną inteligencją w MIT, najlepszej uczelni technicznej na świecie. Aż tu nagle światową sławą okrył się Frank Rosenblatt.

Czytaj więcej

Historia

Zapomniani pionierzy sztucznej inteligencji

Gdy mówimy o początkach AI, trzeba sięgnąć pamięcią do kongresu w Dartmouth w 1956 r. Ale watro uświadomić sobie, że wzięli w nim udział nie tylko „ojcowie założyciele” AI. W tej naukowej burzy mózgów uczestniczyli także inni wybitni uczeni i informatycy, choć większość z nich nie podjęła prac związanych ze sztuczną inteligencją.

Minsky zaczął analizować zasadę działania perceptronu i wydawało mu się, że znalazł słaby punkt. W związku z tym wspólnie z Seymourem Papertem (twórcą języka LOGO) wydali w 1969 r. książkę „Perceptrons”, w której dowodzili, że perceptrony mają bardzo ograniczone możliwości, np. nie potrafią zrealizować logicznej funkcji XOR – niezależnie od tego, jak długo są uczone. Skutek był katastrofalny!

Autorytet Minsky’ego sprawił, że w tezy zawarte w książce uwierzyli wszyscy decydenci. Zamknięto wszystkie ścieżki finansowania badań dotyczących sieci neuronowych. Przestały je dotować instytucje państwowe, odcięło się wojsko, wycofali się finansujący badania przedsiębiorcy. Nastał okres określany w literaturze jako „zima AI”. Każdy, kto się przyznał do zainteresowania sieciami neuronowymi, był „na cenzurowanym”, tracił stanowisko, uczniów, możliwości badań. Trwało to ponad dziesięć lat.

I tu dochodzimy do roli pierwszego z tegorocznych laureatów Nagrody Nobla Johna Hopfielda. Był on fizykiem ze sporym dorobkiem, gdy więc w 1982 r. wygłosił referat na posiedzeniu National Academy of Sciences (Washington), w którym dowiódł, że sieci neuronowe są bardzo ważnym obiektem badań i bardzo silnym narzędziem obliczeniowym, nikt nie ośmielił się tego zakwestionować. Wprowadził do AI nowe narzędzie (określane potem jako Sieci Hopfielda), które służyło do rozwiązywania problemów optymalizacyjnych oraz mogło pracować jako pamięć skojarzeniowa. To był przełom! Badania nad sieciami neuronowymi ponownie ruszyły.

Jak uczyć wielowarstwowe sieci neuronowe?

Tezy Minsky’ego były prawdziwe dla sieci neuronowych składających się tylko z jednej warstwy neuronów. O sieciach mających wiele warstw wtedy nawet nie myślano, bo nie było metody, która by pozwalała uczyć takie sieci. Tu ważna uwaga: uczenie sieci neuronowej polega na tym, że dokonywana jest korekta wag synaptycznych w neuronach. Ale ta korekta musi być dokonywana na podstawie błędu popełnianego przez te neurony. To jest fundamentalna zasada przy uczeniu sieci.

Ale ustalenie błędów było możliwe tylko dla neuronów produkujących sygnały wyjściowe, będące rozwiązaniem postawionego problemu. Ich sygnały można porównać z wymaganymi odpowiedziami i ocenić, czy są poprawne, czy błędne – oraz jak duży jest ten błąd. Natomiast w sieci wielowarstwowej są tzw. warstwy ukryte. Uczestniczą one w procesie ustalania rozwiązania. Ale nie wiadomo było, jakie powinny być ich sygnały wyjściowe, żeby sieć jako całość dostarczała poprawnych wyników!

Problem rozwiązał w 1986 r. Paul Werbos, wprowadzając w swojej pracy doktorskiej koncepcję wstecznej propagacji błędu (w oryginale: backpropagation). Koncepcja ta polegała na rzutowaniu do warstwy ukrytej błędów ustalonych w warstwie wyjściowej. Jeśli sieć miała więcej niż jedną warstwę ukrytą, to podobne wsteczne rzutowanie błędu następowało pomiędzy warstwą ukrytą bliższą wyjścia sieci a warstwą ukrytą znajdującą się dalej od wyjścia.

Czytaj więcej

Historia

Jak nauczyliśmy maszyny liczyć i myśleć za nas? Część 50. Rozwój sieci neuronowych

Obecnie obok tradycyjnych sieci typu MLP (i podobnych) bardzo powszechnie używane są sieci tzw. głębokiego uczenia. Mają one wiele warstw ukrytych o zróżnicowanych funkcjach i też odnoszą liczne sukcesy!

Metoda odkryta przez Werbosa przypuszczalnie nie miałaby dużego znaczenia praktycznego, bo kto by się przejmował wynikami jakiegoś doktoratu, ale genialność tej idei docenił David Rumelhart, uczony o dużej sławie. Wydał w 1987 r. książkę zatytułowaną „Paralel Distributed Processing” (Równoległe rozproszone przetwarzanie danych) i w tej książce (wydanej przez MIT) opisał metodę backpropagation. To otworzyło nowe możliwości w zakresie zastosowań sieci neuronowych, które stały się wkrótce najlepszym i najchętniej stosowanym narzędziem sztucznej inteligencji.

Sieci nadają się do wszystkiego

Dzięki metodzie backpropagation oraz innym metodom wykorzystującym podobne koncepcje zbudowano i zastosowano na świecie miliony sieci neuronowych, z pomocą których rozwiązywano przeróżne problemy. Okazały się niezwykle przydatne przy rozpoznawaniu różnych obrazów (m.in. twarzy ludzi), wspomaganiu podejmowania decyzji, optymalizacji technologii (np. z ich pomocą projektowana była technologia wytwarzania płytek ceramicznych chroniących kadłuby wahadłowców kosmicznych), przetwarzaniu sygnałów, tworzeniu i wykorzystywaniu różnych prognoz (zwłaszcza gospodarczych) i modelowaniu różnych systemów.

Szczególnie to ostatnie zastosowanie okazało się bardzo użyteczne. Sieć neuronowa, obserwując jakiś rzeczywisty system (np. elektrownię), może się nauczyć zachowywać tak samo jak ten system. Zbudowanie modelu takiego systemu na bazie jego konstrukcji i zasad działania jest bardzo trudne i czasochłonne. Natomiast sieć neuronowa potrafi naśladować zachowanie systemu bez wnikania w związki przyczynowo-skutkowe. Sieci tworzą więc tzw. modele behawioralne. Po prostu zachowują się tak jak zamodelowany obiekt. To pozwala na przewidzenie zachowania obiektu, co innymi metodami jest niesłychanie trudno osiągnąć.

Tegoroczni nobliści

Na etapie tworzenia wielowarstwowych sieci neuronowych pojawia się nazwisko Geoffreya Hintona, wyróżnionego w tym roku Nagrodą Nobla w dziedzinie fizyki. Hinton dołączył do badaczy zajmujących się doskonaleniem metod wstecznej propagacji błędów. W 1988 r. napisał na ten temat (wraz z Davidem Rumelhartem) pracę naukową, która stała się bardziej znana od wcześniejszych prac twórców metody backpropagation. Dalsze publikacje Hintona na temat uczenia maszynowego, pamięci i tzw. uczenia głębokiego (bardzo ważnego w najnowszych zastosowaniach sieci neuronowych) sprawiły, że to właśnie Hinton został uznany za guru tej tematyki.

Czytaj więcej

Nauka

Nagroda Nobla z fizyki przyznana. Ojciec laureata urodził się na Mazowszu

Trwa tzw. tydzień noblowski 2024. Teraz przyznana została Nagroda Nobla z fizyki za rok 2024. Laureatami za wkład w rozwój uczenia maszynowego zostali Amerykanin John J. Hopfield i urodzony w Wielkiej Brytanii Geoffrey E. Hinton.

Sieci neuronowe znalazły miliony zastosowań. Jedno z nich było dziełem pracowników firmy DeepMind należącej do Google’a. Dokonali oni bardzo ważnego odkrycia: pokazali, że znając sekwencję aminokwasów tworzących molekułę białka, sieć neuronowa potrafi przewidzieć, jaki kształt będzie miała owa cząsteczka białka po wszystkich przekształceniach, jakim będzie podlegała w środowisku. Biologiczna rola cząsteczki białka, np. jako enzymu, zasadniczo zależy właśnie od owego kształtu, więc możliwość przewidzenia tego kształtu ma fundamentalne znaczenie. Opierający się na sieciach neuronowych program AlphaFold2 robi to bardzo sprawnie, a badania potwierdziły, że te przewidywania kształtu w przypadku znakomitej większości znanych białek jest poprawne. Za to osiągnięcie Demis Hassabis oraz John Jumper otrzymali tegoroczną Nagrodę Nobla w dziedzinie chemii.

Spójrzmy, jak wiele sukcesów udało się osiągnąć dzięki temu, że badaczom chciało się przenieść wiedzę o mózgu do komputera i stworzyć sieci neuronowe.