Richard Feynman należał do tego rodzaju ludzi, których nie powinniście zapraszać na obiad, jeżeli chcecie spożyć posiłek w spokoju. Przekonał się o tym informatyk Daniel Hillis. Kiedy dwaj mężczyźni nieudolnie przyrządzali spaghetti, próbując upchnąć makaron do zbyt ciasnego garnka, słynny fizyk zauważył, że suche nitki z jakiegoś powodu niemal zawsze pękają na trzy kawałki. No i zamiast zjeść, panowie przez dwie godziny bawili się w łamanie makaronu, obserwując ciekawe zjawisko mechaniczne.
Mniej znana od incydentu makaronowego jest historia z końcówki lat 70., kiedy to Richard wraz ze swoim przyjacielem Ralphem Leightonem wybrali się do tajskiej knajpy w Glendale.
Leighton (późniejszy współautor książki Pan raczy żartować, panie Feynman!) był koneserem kurczaka z imbirem. Jednak tamtego dnia wpatrywał się w menu nieco dłużej niż zwykle, rozważając, czy nie powinien dać szansy innemu specjałowi szefa kuchni. Nie wiedział, czy postawić na sprawdzone danie, czy też zagrać w kulinarną ruletkę i spróbować czegoś nieznanego.
Feynman, jak to Feynman, zauważył to wahanie, natychmiast przechodząc do działania. Bez słowa wyciągnął kawałek papieru i zaczął coś bazgrolić. Kilka minut później oznajmił z zadowoleniem, że chyba zna rozwiązanie tego problemu i wręczył kompanowi kartkę zapisaną po obu stronach równaniami oraz paroma koślawymi rysunkami. Rozbawiony przyjaciel schował notatkę do kieszeni[1].
Przypomniał sobie o sprawie wiele lat później, długo po śmierci Feynmana.
Była to tylko niewielka pomięta kartka z odręcznymi, trudnymi do odszyfrowania gryzmołami – ale co by nie było, gryzmołami noblisty i geniusza. Dlatego w 2002 roku Leighton postanowił zainteresować zagadką pracownika Caltechu oraz opiekuna witryny The Feynman Lectures, Michaela Gottlieba.
Zaprosił go na lunch do pamiętnej tajskiej knajpy, opowiadając mu powyższą historię i przekazując kopię notatek. Gottlieb nie potrafił zinterpretować sensu spisanych naprędce równań, ale przyjął wyzwanie zrekonstruowania ciągu myślowego noblisty. Szło mu to wyjątkowo topornie, czego nie ukrywał:
Przeczytałem ponownie naszą korespondencję na ten temat i przejrzałem skany notatek Feynmana. Jestem sfrustrowany: jeśli Feynman coś rozwiązał, musiał to być dobrze zdefiniowany problem, ale z tego, co powiedziałeś i co on napisał, nie mogę wywnioskować, jak dokładnie został zdefiniowany… Więc nie mam żadnego problemu do rozwiązania. Mogę sobie wyobrazić dziesiątki możliwych wariantów tego problemu, wszystkie z zupełnie innymi rozwiązaniami. (…) Czy znasz kogoś, kto mógł rozmawiać lub korespondować z Feynmanem na temat problemu restauracji?
Z korespondencji M. Gottlieba do R. Leightona
Mimo to Gottlieb opublikował swoje wnioski w sieci, nadając zagadnieniu tytuł Restauracyjnego problemu Feynmana, z nadzieją na przyciągnięcie uwagi innych badaczy.
Przełom przyszedł w 2013 roku, gdy do Gottlieba odezwali się kognitywista Tom Griffiths i informatyk Brian Christian. Duet pracował wtedy nad książką poświęconą temu, jak wiedzę o algorytmach komputerowych można odnieść do podejmowania codziennych ludzkich decyzji (Algorytmy. Kiedy mniej myśleć i inne sposoby na racjonalne życie). Dylemat dotyczący optymalnego wyboru dania na obiad w naturalny sposób wpisywał się w ich zainteresowania.
Griffiths wkrótce wysłał Gottliebowi maila, w którym zawarł własną interpretację tematu.
Wszystko sprowadza się do pytania: kiedy warto kontynuować poszukiwania, a kiedy rozsądniej jest przestać szukać i wrócić do opcji, o której wiemy, że na pewno działa. W żargonie nazywa się to napięciem „explore vs exploit”. W tym przypadku „eksploracja” oznacza wypróbowywanie nowych potraw albo odwiedzenie nieznanych restauracji. „Eksploatacją” jest natomiast korzystanie z najlepszego poznanego dotąd wyboru. Sęk w tym, że eksploracja niesie za sobą koszty: zmarnowanie czasu, wydane pieniądze, niestrawność i tak dalej. Innymi słowy: wiedza nie jest darmowa.
Istnieje tu zwodnicze podobieństwo do innej matematycznej zagadki, funkcjonującej pod nazwą problemu łowcy posagu[2] albo problemu sekretarki. Dylemat dotyczył tego, kiedy pracodawca powinien przestać przeprowadzać rozmowy kwalifikacyjne z kolejnymi kandydatkami na stanowisko sekretarki i wreszcie zdecydować się na którąś z dostępnych opcji.
Tu i tu chcemy dokonać optymalnego wyboru, ale istnieje różnica. W problemie sekretarki odrzucone kandydatki wypadają z puli – przyjmujemy, że nie da się ich odzyskać. Zadanie dotyczy jednorazowego trafienia w punkt. W problemie restauracyjnym, jeżeli nowe danie nam nie podejdzie, przy kolejnym wyjściu na miasto zawsze możemy wrócić do kurczaka z imbirem. W drugim przypadku chodzi więc o skumulowanie satysfakcji w czasie.
Celem jest maksymalizacja łącznej przyjemności w jakimś przedziale czasowym – np. podczas miesięcznego pobytu w obcym mieście. Jeśli zostało wam jeszcze osiemnaście posiłków na urlopie w Stegnie, informacja o wyśmienitym smażonym dorszu ma wielką wartość, bo będziecie mogli po niego wracać. Jeśli jednak zostały wam już tylko dwa posiłki, wartość dalszej eksploracji spada.
W rekonstrukcji dylematu restauracyjnego zakładamy, że jakość każdej nowej potrawy to liczba od 0 do 1, przy czym trafienie na każdą wartość jest równie prawdopodobne. Nie jest to może realistyczna wizja branży gastronomicznej, ale sprawdza się jako model. Dalej mamy bieżącego faworyta (najlepsze znane danie) o jakości P oraz n posiłków przed sobą. Pytanie sprowadza się do tego, od jakiego poziomu P opłaca się zaprzestać poszukiwań.
Wyobraźcie sobie, że odwiedzacie obce miasto i spędzacie miły wieczór w hotelowej restauracji. Przypuśćmy, że wasz dotychczasowy faworyt – niech będzie ten kurczak z imbirem – to solidne 0,8, a przed wami jeszcze szesnaście kolacji zanim wrócicie do domu. Zamawiacie coś nowego czy nie? Nowe danie będzie miało losową jakość gdzieś między 0 a 1.
Najpierw czarny scenariusz. Skoro wszystkie wartości są równie prawdopodobne, to ryzyko, że nowe danie nie będzie lepsze od kurczaka (ocena 0,8), wynosi aż 80%. A o ile może być gorsze? Pechowy strzał wyląduje pomiędzy 0 a 0,8, czyli średnio na poziomie 0,4. Przeciętnie stracicie więc 0,4 satysfakcji, i to z prawdopodobieństwem 80%. Mnożymy jedno przez drugie. Typowy koszt dzisiejszego eksperymentu to 0,8 × 0,4, czyli 0,32. Boli, ale tylko raz – jutro znów stajecie przed wyborem i zawsze możecie wrócić do kurczaka.
Teraz scenariusz optymistyczny. Szansa, że smak nowego dania przebije faworyta, wynosi 20%. A jeśli już przeskoczy tę poprzeczkę, to wyląduje średnio w połowie przedziału między 0,8 a 1, czyli na poziomie 0,9. Zysk satysfakcji to niezbyt spektakularne 0,1 na wieczór. Wydaje się niewarty zachodu, jednak ten zysk nie zniknie po jednym posiłku! Jeśli traficie na wspaniałą potrawę, będziecie mogli się nią rozkoszować przez wszystkie szesnaście wieczorów, wliczając dzisiejszy. Rachunek jest więc następujący: 0,2 × 0,1 × 16 = 0,32.
Jak widzicie, w obu scenariuszach wynik wyniósł 0,32. Specjalnie tak dobrałem przykład, ponieważ to punkt równowagi dla szesnastu posiłków i faworyta o jakości 0,8. Oczekiwany zysk z eksperymentu równa się spodziewanej stracie (pozostaje rzucić monetą). Jeżeli traficie w kulinarne arcydzieło – gratulacje. Jeśli nie – już od kolejnego dnia szala przechyla się na korzyść kurczaka z imbirem. Bardziej opłacalne staje się zaprzestanie eksperymentów.
W swojej notatce Feynman usiłował ubrać powyższe poszukiwania punktu równowagi w bardziej zgrabną formułę:
Pn = √n / (√n + 1)
W naszym przykładzie, kiedy mamy przed sobą jeszcze szesnaście posiłków (n = 16), będzie to:
Pn = √16 / (√16 + 1) = 4 / (4 + 1) = 4/5 = 0,80
Uzyskana wartość 0,80 nie jest oceną żadnego konkretnego dania, tylko granicą. Wskazuje nam ona, jak dobry powinien być nasz dotychczasowy faworyt, żeby dalsze poszukiwania stały się nieopłacalne. I tak, w perspektywie szesnastu posiłków, warto eksperymentować tylko wtedy, gdy najlepsze znane danie wypada słabiej niż 0,80; jeśli wypada lepiej, rozsądek każe po prostu do niego wracać. Sama liczba 0,80 to punkt równowagi, w którym spodziewany zysk z trafienia na coś lepszego równa się spodziewanej stracie z nieudanej próby. Z każdym kolejnym dniem poprzeczka będzie się obniżać.
Dlatego na początku długiego pobytu warto grymasić, a pod koniec – zgodnie z chłodnym rachunkiem – po prostu iść tam, gdzie było dobrze. Jeśli to wasza ostatnia kolacja w mieście, nawet odkrycie potrawy stulecia da wam niewiele. Skosztujecie jej raz i na tym koniec.
Intuicję tę można ująć w sposób następujący: poszukiwania ideału mają sens tylko wtedy, kiedy będziecie mieli czas, żeby się nim nacieszyć.
To mógłby być koniec tej przydługiej anegdoty, gdyby nie to, że Tom Griffiths wraz z kolegami postanowili po latach dodatkowo przetestować cały ten pomysł na żywej tkance. Rzecz wciąż ciepła, ponieważ publikacja ukazała się w PNAS na początku czerwca tego roku.
W doświadczeniu wzięło udział 2520 uczestników. Niestety budżet badawczy nie przewidywał fundowania ochotnikom prawdziwych posiłków, więc test miał wyłącznie charakter symulacji online.
Uczestnicy mieli wyobrazić sobie pobyt w obcym mieście trwający od jednego do czterech tygodni[3]. Każdego dnia mieli wybierać miejsce wirtualnego posiłku, któremu system przypisywał losową wartość od 1 do 100. Za każdym razem mogli pozostać przy sprawdzonym lokalu lub próbować szczęścia gdzie indziej. Celem każdego gracza była maksymalizacja łącznego wyniku, symbolizującego ogólną satysfakcję z całego pobytu.
Wybory ludzi okazały się zaskakująco racjonalne. Nie oznacza to jednak, że wiernie podążali za radami wielkiego fizyka i podświadomie wyliczali optymalny próg, przy którym powinni zakończyć eksplorację.
Gdyby przenieść rozwiązanie Feynmana na wykres, zobaczylibyśmy krzywą, która przez większość czasu opada bardzo delikatnie, zaliczając dramatyczny zjazd dopiero pod sam koniec. To ilustracja tego, że kiedy pobyt się kończy, zysk ze znalezienia lepszej opcji staje się marginalny.
Ludzie postępowali prościej, choć w ostatecznym rozrachunku prawie równie skutecznie. Obniżali swoje wymagania równiutko, po troszku każdego dnia, od początku do końca wyznaczonego czasu. Intuicyjne rozwiązanie okazało się niemal doskonale liniowe. Zamiast płaskowyżu z urwiskiem na wykresie pokazała się zwyczajna prosta.
Przez większość czasu oba rozwiązania są bardzo zbliżone, rozjeżdżając się wyraźnie dopiero pod sam koniec. Dlatego zachowania uczestników dawały wyniki bliskie matematycznemu optimum – uzyskiwali około 90% tego, co mogliby uzyskać przy strategii idealnej. Mimo banalności takiego podejścia efekt jest więc praktycznie tak samo dobry.
Może nie jesteśmy żywymi kalkulatorami, ale skoro myśląc liniowo mocno zbliżamy się do optymalnego rezultatu, nie ma sensu, żeby nasze mózgi przepalały zasoby na bardziej złożone operacje.
Z ciekawszych aberracji, badacze odnotowali skłonność części uczestników do nadmiernej eksploracji na początku. Jeżeli gracz miał szczęście i już na starcie trafił na rewelacyjną restaurację, często i tak podejmował ryzyko spróbowania czegoś nowego. Wybór mocno nieoptymalny matematycznie, ale jakże ludzki. Jeżeli zbyt szybko ustrzeliliście liczbę 99, jakaś część waszego mózgu będzie chciała znów spróbować szczęścia – jeśli nie z ciekawości, to szukając zabawy lub podstępu (może skala przekracza 100, a naukowcy sprawdzają naszą łatwowierność?).
Ostatnie komentarze: