W poprzednim odcinku tego cyklu felietonów opisałem eksperyment Franka Rosenblatta, który zbudował pierwszą sieć neuronową rozpoznającą obrazy, nazwaną perceptronem. Zainteresowanie perceptronami było po publikacjach Rosenblatta naprawdę powszechne. Pospiesznie budowali swoje pierwsze perceptrony Japończycy, Francuzi, Niemcy, Włosi (którzy nazywali swój perceptron „Pandemonium”) oraz Rosjanie. Wśród tych ostatnich na wskazanie zasługuje Michaił Mojsiewicz Bongard, który w 1970 r. ideę perceptronu twórczo uogólnił i zaangażował do rozpoznawania formuł matematycznych. To mogła być prawdziwa sensacja w sztucznej inteligencji, niestety Bongard zginął w 1971 r. podczas górskiej wspinaczki i do tego tematu do dziś nikt nie wrócił.
Pierwsze sztuczne sieci neuronowe i ich uczenie
Obok perceptronu Rosenblatta dużą popularnością cieszyła się też sieć MADALINE zbudowana w 1960 r. przez Bernarda Widrowa z Uniwersytetu Stanforda. Sieć ta składała się z adaptacyjnych liniowych elementów nazywanych ADALINE (od Adaptive Linear Element), a ponieważ można je było łączyć w zespoły, stąd literka M w nazwie MADALINE. Sztuczne neurony ADALINE mogły się uczyć na zasadzie elektrochemicznej, a zainteresowanie nimi było na tyle duże, że sieci MADALINE były produkowane i oferowane komercyjnie. Korzystano z nich głównie do adaptacyjnej filtracji sygnałów (w radarach, sonarach i telefonach). Widrow i Hoff wprowadzili w tej sieci metodę uczenia sieci opartą na wykrywaniu i niwelowaniu błędów poszczególnych neuronów, która to metoda nazwana DELTA była potem powszechnie stosowana.
Czytaj więcej
W pierwszych eksperymentach z sieciami neuronowymi nauczycielem był człowiek. Potem jednak to usprawniono i obecnie w roli „nauczyciela” występuje program komputerowy posiadający tzw. zbiór uczący, czyli zbiór przykładowych zadań wraz z ich prawidłowymi rozwiązaniami.
Wszystko zmierzało w dobrą stronę, gdy nagle druzgocący cios zadał perceptronom Marvin Minsky. Ten sam, który w 1951 r. budował perceptron SNARC! Napisał (wraz z Symourem Papertem) w 1969 r. książkę „Perceptrons”, w której wykazał, że maszyny te mogą się uczyć tylko bardzo prymitywnych umiejętności, wszelka zaś bardziej wyrafinowana forma przetwarzania i analizy danych jest dla nich z zasady niedostępna. Była to prawda wyłącznie dla perceptronów jednowarstwowych, ale na to nikt nie zwrócił uwagi i prace związane z sieciami neuronowymi zostały wstrzymane na przynajmniej dziesięć lat. W USA doszło do tego, że żaden z informatyków nie odważył się nawet wspomnieć, że buduje i wykorzystuje sieci neuronowe, bo to oznaczało pozbawienie środków na badania naukowe. Były one wycofywane przez państwo lub wojsko jako marnowane na prace, które z pewnością nie przyniosą sukcesu.
Odważny fizyk
Człowiekiem, który ośmielił się twierdzić, że sieci neuronowe jednak mogą być znakomitym narzędziem obliczeniowym, był John Hopfield. Wygłosił w 1982 r. odczyt w National Academy of Science, w którym opisał sieć neuronową (zresztą odmienną od perceptronu), do dzisiaj używaną i wiązaną z jego nazwiskiem. Ale Hopfield mógł sobie na to pozwolić, bo był sławnym fizykiem o ogromnym dorobku i autorytecie naukowym (m.in. miał już Medal Diraca, przyznawany zwykle noblistom). Odczyt Hopfielda spowodował ponowny wzrost zainteresowania sieciami neuronowymi, zwłaszcza że po odczycie opublikował wyniki pokazujące przydatność wymyślonych przez niego sieci do tworzenia pamięci skojarzeniowych oraz do rozwiązywania problemów optymalizacji.
