Nobel za sieci neuronowe

Nobel za sieci neuronowe – krótko i dość przejrzyście

Ile jest fizyki w uczeniu maszynowym?

Różnica między prawdziwym a sztucznym neuronem jest taka, jak między ręką a szczypcami.

Heinz Pagels

Jedni obstawiali, że tegoroczny Nobel w dziedzinie fizyki trafi do konstruktorów mikroskopu sił atomowych (AFM), inni upatrywali faworytów wśród pionierów kryptografii kwantowej. Tymczasem Szwedzka Akademia Nauk postawiła na oryginalność, wyróżniając rozwój „uczenia maszynowego przy użyciu sztucznych sieci neuronowych”. Tym samym medale trafią do rąk 91-letniego Johna Hopfielda (o dziwo nie jest najstarszym noblistą świata) z Uniwersytetu Princeton oraz czternaście lat młodszego Geoffreya Hintona związanego z Uniwersytetem w Toronto.

Decyzja Komitetu wywołała lawinę komentarzy wyrażających sceptycyzm lub nawet krytykę. Nie dlatego, że uczenie maszynowe jest nieistotnym wynalazkiem i nie zasługuje na prestiżowe wyróżnienie. Po prostu tego rodzaju badania – skupione na metodach przetwarzania informacji, a nie na obiektach, procesach i zjawiskach – kojarzą się bardziej z informatyką, niż z czystą fizyką. Krzysztof Meissner z UW stwierdził wręcz, że jego zdaniem „należałoby nagradzać inteligencję wrodzoną, a nie sztuczną. Według mnie to odkrycie nie ma wiele wspólnego z fizyką”.

Plusy? Tam gdzie dyskusja, tam memy.

Kontrowersja czy nie, faktem pozostaje, że przynajmniej pierwszy ze świeżo upieczonych noblistów jest fizykiem i to nie byle jakim. A skoro tak, to warto poświęcić mu parę akapitów. Choćby po to, żeby sprawdzić, jak to się stało, że to właśnie badacz ciała stałego poruszył domino, które doprowadziło do obecnej rewolucji AI.

Wszystko jest fizyką

Zaczęło się niemal pół wieku temu, kiedy John J. Hopfield zawędrował na seminarium dotyczące neurobiologii oraz biologicznych podstaw inteligencji. Nie był zachwycony tym, co usłyszał. Z rozczarowaniem orzekł, że ówczesna wiedza na temat funkcjonowania mózgu jest bardzo chaotyczna, a badacze nie skupiają się na istocie problemu. Jak przystało na fizyka założył, że u źródeł inteligencji, u samych jej fundamentów – tak jak w przypadku każdego złożonego zjawiska – muszą leżeć stosunkowo proste i konkretne prawidła. Rozumiał, że dopiero kiedy zostaną one odkryte, ludzkość będzie mogła zamarzyć o stworzeniu czegoś na kształt komputerowej, sztucznej inteligencji. Od tej pory nie dawało mu to spokoju.

Twórca sieci asocjacyjnej, elegancki John Hopfield, w latach 80. ubiegłego stulecia.

W swojej codziennej pracy na Uniwersytecie w Berkeley, a potem w Princeton, Hopfield zajmował się szkłem spinowym. To osobliwy rodzaj materii (bynajmniej niezwiązany ze zwykłym szkłem), obdarzony specyficznymi właściwościami magnetycznymi, wynikającymi z losowego rozmieszczenia spinów poszczególnych atomów. Dla naszej historii istotne jest to, że badania nad zachowaniem atomów w sieci krystalicznej, w końcu doprowadziły Hopfielda do olśnienia. Wcale niedotyczącego szkła spinowego.

Fizyk wyobraził sobie mózg na podobieństwo sieci krystalicznej z neuronami zamiast atomów. W takiej sieci pojedynczy węzeł nie ma większego znaczenia (w najprostszej cyfrowej wersji to tylko przełącznik, przeskakujący między 0 i 1), jednak już duża liczba odpowiednio upakowanych węzłów może sprawić, że cały układ zacznie wykazywać wyjątkowe właściwości.

Neurony w sieci neuronowej
© Johan Jarnestad/The Royal Swedish Academy of Sciences.

Powyższa myśl sama w sobie nie była jeszcze rewolucyjna, ale Amerykanin dodał do niej coś jeszcze. Jako fizyk ciała stałego wiedział, że atomy w sieci krystalicznej (i nie tylko tam) lubią ustawiać się w taki sposób, aby całkowita energia układu była jak najniższa. Hopfield założył, że zbiór neuronów w naszych głowach kieruje się podobną regułą i organizując swoją pracę, nie tylko uwzględnia, ale wręcz wykorzystuje oszczędność Matki Natury. To z kolei doprowadziło go do przełomowej konkluzji: aby skutecznie imitować proces uczenia, należy związać go z naturalnym dążeniem układów do zajmowania wygodnego stanu o jak najniższej energii.

W dół energetycznej doliny

Żeby to sobie zwizualizować, użyjmy metafory samego Hopfielda (obecnej również w prezentacji Komitetu Noblowskiego).

Wyobraźmy sobie kulkę wrzuconą na nierówną powierzchnię, pełną wzniesień i dolin. Kulka wiedziona grawitacją, będzie toczyć się pomiędzy wypukłościami, aż wpadnie w najgłębszy dołek, osiągając najniższy poziom energetyczny. Pofałdowany krajobraz to graficzna manifestacja zbioru informacji przechowywanych w sieci. Wysokość wzniesień i głębokość dolin symbolizuje wagę węzłów, związaną z liczbą lub siłą odchodzących od nich połączeń. Oczywiście kształt planszy nie został dany raz na zawsze. W miarę wprowadzania do układu nowych danych, poszczególne nierówności będą ulegały wygładzeniu albo uwypukleniu. To właśnie proces trenowania sieci, o którym tak często słyszymy w ostatnich latach.

Załóżmy, że chcemy, żeby nasza sieć rozpoznawała kształt litery „J”. Zaczynamy od wtłoczenia do sieci przykładowego obrazu zawierającego pożądany symbol. Prymitywne, sztuczne neurony przeskakują między dwoma stanami, gdzie 1 oznacza czarny piksel, a 0 biały. Jednocześnie powstają pomiędzy nimi połączenia, tworzone tak, aby późniejsza identyfikacja znajomego obrazu wymagała jak najmniejszej energii (doliny w metaforycznej planszy).

Działanie sieci neuronowej
© Johan Jarnestad/The Royal Swedish Academy of Sciences.

Po co tyle kombinowania? Czy nie łatwiej byłoby, gdyby komputer po prostu porównywał układ pikseli z wcześniej wgranym wzorem? Pewnie tak, jednak wyjątkowość wynalazku Hopfielda polega na tym, że będzie on w stanie rozpoznać określony obiekt, nawet jeżeli obraz okaże się niewyraźny albo niepełny. Nieważne czy tekst zostanie wydrukowany, czy napisany odręcznie, albo czy będzie częściowo wytarty lub zaszumiony. Jeżeli litera z grubsza przypomina „J” i ma jej cechy charakterystyczne, kulka potoczy się znajomym torem do właściwego dołka, pozwalając na interpretację znaku. Mało tego, nawet gdyby część neuronów uległa uszkodzeniu albo wyłączeniu, odpowiednio złożona sieć dalej będzie zdolna do wykonania zadania.

Ruszyła maszyna

Powyższe rozważania zostały przedstawione w głośnej publikacji pod tytułem Sieci neuronowe i układy fizyczne oraz wynikające z ich kolektywności możliwości obliczeniowe, wydanej w 1982 roku. Opisany w niej model sieci asocjacyjnej, opartej o skojarzenia, jest uważany za jeden z ważniejszych kamieni milowych w dziejach całej informatyki. Stanowił też doskonały punkt wyjścia dla kolejnych śmiałków.

Już w następnym roku Geoffrey Hinton (drugi tegoroczny noblista) zmodyfikował sieć Hopfielda, odwołując się do fizyki statystycznej i kinetycznej teorii gazów, co dało efekt w postaci mniej deterministycznej maszyny Boltzmanna. Na przełomie lat 80. i 90. Carver Mead z Caltechu zdołał umieścić sieć neuronową na płytce krzemowej, wyposażając ją w 22 węzły. Wkrótce założył on firmę Synaptics Incorporated, wprowadzając na rynek komercyjny pierwsze produkty wykorzystujące innowacyjną technikę, takie jak urządzenie przetwarzające obraz na wzór organicznej siatkówki. Mniej więcej w tym samym czasie Terry Sejnowski (uczeń Hopfielda i kolega Hintona) przedstawił światu NETtalk – trójwarstwową sieć neuronową, która niczym dziecko uczące się mówić, na podstawie słuchanych nagrań powoli przyswajała zasady i wymowę języka angielskiego.

Kolejne rozdziały tej historii są pisane na naszych oczach.

Dziwny Nobel, ale nie absurdalny

Chociaż rozumiem opory części fizyków, a nawet sam w pierwszym odruchu odczułem zdumienie decyzją Komitetu Noblowskiego, po ochłonięciu muszę przyznać, że nie była ona zupełnie absurdalna. Owszem, trasa trwającego wyścigu wiedzie przez obszary informatyki, matematyki i kognitywistyki. Jednak prawdą jest również, że uczestnicy tego biegu wystartowali właśnie z terytorium królestwa fizyki.

Nie chodzi nawet o to, że John Hopfield i kilku innych pionierów wykładało na wydziałach fizyki. Ani o to, że uczenie maszynowe niewątpliwie wpłynie (już wpływa) na rozwój kosmologii, astrofizyki, fizyki cząstek, fizyki atmosfery czy materiałoznawstwa. Rzecz w tym, że elementarne zasady, na których oparto działanie sieci neuronowych, wywodzą się wprost z termodynamiki, mechaniki kwantowej, fizyki statystycznej oraz fizyki materii skondensowanej.

Oczywiście zawsze patrzę na otaczający mnie świat przez pryzmat fizyki. Wychowałem się na fizyce.

John J. Hopfield

Czy to zamyka dyskusję? Pewnie nie, ale czyni tegorocznego Nobla w dziedzinie fizyki odrobinę sensowniejszym.

Total
0
Shares
Zobacz też