Rozwój sieci neuronowych jako narzędzia sztucznej inteligencji

Tegoroczne Nagrody Nobla w dziedzinach fizyki i chemii zostały przyznane w istocie za osiągnięcia w zakresie sztucznej inteligencji. Czterej tegoroczni nobliści zostali wyróżnieni za badania, w których zastosowali jedno z najlepszych narzędzi sztucznej inteligencji – tzw. sieci neuronowe. Poznajmy historię ich rozwoju.

Odkrywanie tajemnic mózgu

O tym, że mózg jest narządem, w którym toczy się całe życie duchowe i intelektualne człowieka, uczeni wiedzieli od momentu, kiedy zaczęli się interesować badaniem anatomii i czynności poszczególnych części ciała. Hipokrates (460–375 p.n.e.) twierdził, że w ciele człowieka najważniejsze są trzy narządy: wątroba, serce i mózg. Co więcej, wiedziony genialną intuicją podkreślał, że mózg stanowi centrum emocji i świadomości człowieka. Nie wszyscy byli z nim zgodni, na przykład Arystoteles uważał, że mózg służy tylko do chłodzenia krwi.

Nie będę wchodził w detale badań mózgu w czasach starożytnych, średniowiecznych i nowożytnych, bo odkrycia dokonane w tym czasie (obiektywnie bardzo doniosłe) do tworzenia sieci neuronowych bezpośrednio się nie przyczyniły.

Okazuje się (z dzisiejszej perspektywy), że biologicznym fundamentem, na którym oparto budowę sieci neuronowych jako przyszłego narzędzia informatycznego były odkrycia, za które przyznano pierwsze Nagrody Nobla w dziedzinach biologii i medycyny. W 1906 r. nagrodę tę otrzymał Camillo Golgi, który stworzył pierwszy nowoczesny opis budowy mózgu (i systemu nerwowego). W tym samym 1906 r. nagrodę otrzymał także Santiago Ramón y Cajal, który jako pierwszy wykazał, że system nerwowy składa się z ogromnej liczby oddzielnych komórek łączących się ze sobą i tworzących sieć.

W 1932 r. Nagrodę Nobla odebrał Charles Sherrington, który opisał, jak funkcjonują neurony. Cztery lata później Nagrodę Nobla przyznano za wykrycie, jak neurony przekazują sobie sygnały. Nagrodę tę otrzymali Henry Hallet Dale i Otto Loewi.

Czytaj więcej

Historia Polski

Z dziejów Komisji Nauk Technicznych PAU

Prof. Roman Ciesielski (1924–2004), specjalista od mechaniki budowli, członek czynny Polskiej Aka...

Potem sypały się dalsze ważne odkrycia biologów i medyków na temat różnych aspektów funkcjonowania komórek nerwowych i poszczególnych fragmentów mózgu, ale tutaj w mojej opowieści odejdę już od biologów i włączę prace pierwszych biocybernetyków. Żeby bowiem wiedzę o biologicznych podstawach naszego intelektu przenieść do komputerów, trzeba było posłużyć się platformą matematyki.

Pierwsze prace o modelach systemów neuronowych

Człowiekiem, który jako pierwszy spróbował opisać sztuczne neurony i struktury z nich budowane, dziś nazywane sieciami neuronowymi, był Warren S. McCulloch. We współpracy z Walterem Pittsem podjął pionierską pracę, próbując opisać działanie struktur neuronowych za pomocą logiki matematycznej. Ich wspólnie napisany artykuł „A Logical Calculus of Ideas Immanent in Nervous Activity” (Logiczny rachunek idei immanentnych w aktywności nerwowej), opublikowany w 1943 r., był przełomowy. McCulloch i Pitts wykazali, że neurony opisywane w kategoriach logiki matematycznej mogą wykonywać wszelkie przekształcenia informacji, w szczególności prowadzić wnioskowania logiczne. Zwróćmy uwagę na czas, w którym pojawiły się koncepcje McCullocha i Pittsa: połowa lat 40. XX w. to okres, kiedy powstawały pierwsze komputery. Komputera opartego na modelu neuronowym wtedy jeszcze nie zbudowano, chociaż później wiele takich konstrukcji powstało, ale wkład idei McCullocha i Pittsa do struktury pierwszych komputerów bardzo wysoko oceniał John von Neumann. Nie jest to miejsce, żeby opisywać dzieła tego wybitnego twórcy podstaw informatyki, ale warto wspomnieć, że większość komputerów do dziś jest oparta na tzw. architekturze logicznej von Neumanna.

Czynnikiem decydującym o szerokiej użyteczności sieci neuronowych była (i jest!) możliwość nabywania przez nie nowych umiejętności dzięki procesowi uczenia. Fundament do tego, by ów proces mógł być realizowany, stworzyli McCulloch i Pitts, wyposażając swoje oparte na logice formalne (matematyczne) neurony w tzw. wagi synaptyczne. To było genialne. Synapsa, czyli miejsce, w którym dwa neurony łączą się i przekazują sobie informację jest bardzo złożonym systemem biochemicznym i bioelektrycznym. Za badania mechanizmu funkcjonowania synaps przyznano kilka Nagród Nobla (pierwszym noblistą wyróżnionym właśnie za to był John Eccles w 1963 r.). Tymczasem w koncepcji McCullocha i Pittsa zaproponowano genialną, bo bardzo uproszczoną, interpretację procesów w synapsach już w 1943 r. I ta interpretacja była i jest bazą uczenia sieci neuronowych po dziś dzień.

Czytaj więcej

Historia świata

Historia cywilizacji. Jak Roentgen zajrzał w głąb ludzkiego ciała?

Marzenie o tym, żeby widzieć wnętrze ciała człowieka, móc obserwować kształty, rozmiary i rozmies...

Wagi synaptyczne są podstawą uczenia się sieci neuronowych, ale koncepcję tego, jak to uczenie powinno (matematycznie!) przebiegać, był kanadyjski psycholog Donald Olding Hebb. Obserwował procesy uczenia się u zwierząt. Wyniki swoich badań opublikował w 1958 r. i na tych wynikach oparli się twórcy algorytmów uczenia się sieci neuronowych.

Zuchwała próba naśladowania mózgu

Człowiekiem, który zbudował pierwszą działającą sieć neuronową był Frank Rosenblatt z Cornell Laboratory. Rosenblatt był psychologiem, a nie informatykiem, dlatego jego pierwsze doniesienia o zbudowaniu i badaniu maszyny, która była pierwszą działającą siecią neuronową, nie chciało opublikować żadne czasopismo techniczne. Artykuł zatytułowany „The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain” (Perceptron: probabilistyczny model przechowywania i organizacji informacji w mózgu) ukazał się w 1958 r. w czasopiśmie „Psychological Review”. Jednak doniesienie było zbyt sensacyjne, żeby świat nauk technicznych niezwłocznie się nim nie zainteresował.

Pierwszą sensacją było zbudowanie przez Rosenblatta 512 sztucznych neuronów, które mogły same zmieniać swoje wagi synaptyczne. Owo zmienianie realizowano w bardzo pomysłowy sposób: wartość wagi była wyrażana nastawą potencjometru (urządzenie o zmiennej oporności, które w tamtych czasach służyło m.in. do regulacji głośności w radioodbiornikach i jasności w telewizorach). Normalnie takie potencjometry były przekręcane przez użytkowników za pomocą gałki, ale w perceptronie Rosenblatta neuron sam sobie zmieniał te nastawy za pomocą silniczków elektrycznych – pod wpływem sygnałów nagrody albo kary pochodzących od nauczyciela śledzącego zachowanie sygnałów wyjściowych (decyzji) całej sieci.

Sygnałami wejściowymi do sieci były obrazy, które perceptron miał rozpoznawać. Dziś podanie takiego cyfrowego obrazu byłoby banalne, wszelkie elektroniczne aparaty fotograficzne (także te wbudowane w smartfony) mają matryce CCD dostarczające właśnie obraz rozbity na tysiące pikseli. Rosenblatt nie miał tak łatwo, bo takich urządzeń jeszcze nie było. Nakazał więc swoim inżynierom zbudowanie sztucznej siatkówki w postaci matrycy 400 fotokomórek z siarczku kadmu, które formowały obraz cyfrowy o rozmiarach 20 x 20 wierszy i kolumn.

Czytaj więcej

Historia

Jak nauczyliśmy maszyny mówić?

Tworzenie narzędzi do syntezy mowy opartych na mechanice było trudne i mało skuteczne. Przekonało...

W skład sieci neuronowej złożonej z opisanej wyżej siatkówki i 512 uczących się neuronów wchodziła jeszcze warstwa wyjściowa. Składała się ona z ośmiu elementów sygnalizujących odpowiedź (identyfikator rozpoznawanego obrazu) na podstawie wartości sygnałów z uczących się neuronów.

Odpowiedź tę oceniał nauczyciel, człowiek, który widział obraz pokazywany do siatkówki i widział odpowiedź perceptronu. Nauczyciel wysyłał do uczących się neuronów sygnał nagrody, gdy rozpoznanie było zgodne z intencjami uczącego, lub kary – w przeciwnym przypadku. Neurony uczyły się, zmieniając swoje wagi, aby uzyskiwać nagrody, a unikać kar.

Zadziwiające założenie twórcy perceptronu

Kluczowym elementem w strukturze perceptronu był sposób połączenia elementów siatkówki ze sztucznymi neuronami. Rosenblatt, analizując obrazy mikroskopowe połączeń neuronów w mózgu, doszedł do wniosku, że w tych połączeniach nie ma żadnej celowej struktury i że są one połączone losowo. Tak też postąpił ze swoim perceptronem. Podobno używał przy tym rekwizytów jak z Las Vegas: rzucał kostką, wyciągał karty, puszczał ruletkę – i zależnie od tego, co mu wyszło, nakazywał wykonywać połączenia. Są dostępne zdjęcia z jego laboratorium, gdzie widać, że połączenia stanowią totalnie chaotyczny układ.

Czytaj więcej

Historia

Jak nauczyliśmy maszyny liczyć i myśleć za nas?

Obecnie używamy komputerów niemal do wszystkiego, ale gdy ta technika się rodziła, nawet twórcom...