Analiza ryzyka

Bzdurne dane, bzdurne wnioski. Na czym polega błąd apokalipsy?

Zawsze znajdzie się ekspert gotowy do oszacowania ryzyka wojny nuklearnej, epidemii superwirusa, albo buntu sztucznej inteligencji. Problem w tym, że takie analizy – z wierzchu bardzo profesjonalne i podparte szeregiem obliczeń – stanowią niebezpieczne narzędzie manipulacji.

Od dziesięcioleci analiza ryzyka pozostaje głównym narzędziem wyznaczającym kierunki rozwoju wielu dyscyplin: od ochrony środowiska i zdrowia publicznego, po bezpieczeństwo pracy i transportu, a nawet zbrojenia nuklearne. Szacuje się korzyści i koszty wynikające z różnych kierunków działań oraz możliwe skutki, zazwyczaj w postaci ludzkiego cierpienia i dobrobytu, chociaż w niektórych kontekstach mogą dominować inne dobra, takie jak przewaga taktyczna lub strategiczna nad przeciwnikiem. Szacowane jest także prawdopodobieństwo wystąpienia tych wyników. Mnoży się prawdopodobieństwo przez koszt lub korzyść, a następnie sumuje wszystkie rezultaty, aby poznać użyteczność każdego kierunku działania.

Analiza (pseudo)racjonalna

Zaleca się takie działanie, które maksymalizuje zysk i minimalizuje straty. W swojej najbardziej ogólnej formie nazywamy to “analizą kosztów i korzyści”. Mówimy też o “analizie ryzyka”, gdy nasza uwaga skupia się głównie na negatywnych konsekwencjach, takich jak ryzyko awarii reaktora elektrowni jądrowej.

Od dawna niepokoi mnie pseudoracjonalizm takich analiz. Skomplikowany aparat formalny sprawia wrażenie rygorystycznego i wyrafinowanego, podczas gdy szeroko zróżnicowane wnioski – mogące “uzasadnić” prawie każdą obraną politykę – sugerują wysoki stopień subiektywności, o ile nie jawnej, to zorientowanej na dany cel. Jednak moje zaangażowanie w debatę na temat kosztów i korzyści, związanych z badaniami gain-of-function (GoF), dotyczącymi patogenów o potencjale pandemicznym (PPP), skłoniła mnie do głębszej refleksji i wyrażenia swoich wątpliwości wobec paradygmatu analizy ryzyka.

Badania gain-of-function
Wirus MERS-CoV wywołujący bliskowschodni zespół oddechowy. W ramach badań GoF naukowcy dokonali modyfikacji, która umożliwiła patogenowi zakażanie myszy. Pozwoliło to na opracowanie skuteczniejszych terapii.

Jakie dane, takie wnioski

Istota problemu została zasygnalizowana w tytule tego tekstu: bzdury na wejściu generują bzdury na wyjściu. Żeby to zrozumieć, rozważmy każdy element analizy korzyści i kosztów po kolei. Zacznijmy od zysków i strat w postaci ludzkiego cierpienia i dobrobytu. Pytanie brzmi: “Jak zmierzyć ból i przyjemność”? Czy pełny brzuch jest przyjemniejszy od ciepłego kaloryfera w zimową noc? Czy chroniczny ból jest gorszy od strachu przed torturami? Nie ma obiektywnych wskaźników hedonizmu.

A czyj ból lub przyjemność liczy się bardziej? Czy dobro mojej lokalnej społeczności lub narodu przewyższa dobro innych ludzi? Czy cierpienie żyjących jest ważniejsze od cierpienia przyszłych pokoleń[1]? Wielu powiedziałoby, że nasi potomkowie powinni mieć jakieś prawa. Ale w takim razie, jak możemy oszacować liczbę potencjalnie poszkodowanych osób za dwadzieścia lat, nie mówiąc już o pięćdziesięciu lub stu latach? Jeśli zaś uwzględnimy dobrobyt zbyt wielu pokoleń, to w kalkulacjach gdzieś po drodze znikną w końcu nasze własne współczesne troski.

Następnie rozważmy kwestię katalogowania możliwych skutków. Niektóre konsekwencje naszych działań wydają się oczywiste. Uderz kogoś w złości, a prawdopodobnie spowodujesz ból i obrażenia. Nie moglibyśmy funkcjonować, jako istoty moralne, gdyby natura, w tym natura ludzka i społeczeństwo, nie były choć trochę przewidywalne. Jednak oczywiste i krótkoterminowe konsekwencje stanowią tylko element większego zbioru wszystkich możliwych konsekwencji naszych działań. Jak w takim razie, możemy w ogóle myśleć o ważeniu odległych i długoterminowych skutków naszych decyzji?

Nie musimy nawet odwoływać się do teorii chaosu i efektu motyla, chociaż również mają tu znaczenie. Kto mógł przewidzieć w 1905 roku, że odkrycie przez Einsteina formuły E=mc², zawiera w sobie potencjał do unicestwienia sporej części życia na Ziemi? Kto mógł przewidzieć w latach 30., że odkrycie penicyliny, ratując miliony istnień w krótkim okresie, niesie ze sobą odległe ryzyko powstania superbakterii, odpornych na wszystkie standardowe antybiotyki? To z kolei może przynieść znacznie większą liczbę zgonów, od tych, którym zapobiegła wcześniej penicylina. Analiza ryzyka jest tak dobra, jak katalog możliwych skutków, a historia uczy nas, że jak dotąd słabo radzimy sobie z przewidywaniem tych najważniejszych.

Teraz pomyślmy o szacowaniu prawdopodobieństw. Niektóre z tych szacunków, takich jak prawdopodobieństwo odniesienia obrażeń lub śmierci podczas przejażdżki samochodem w słoneczny dzień przy małym ruchu, są solidne, ponieważ opierają się na twardych danych. Posiadamy ogrom informacji na temat wskaźników wypadków z udziałem pojazdów osobowych. Jednak gdy przechodzimy do sytuacji wyjątkowych i nietypowych, mamy do dyspozycji niewiele danych, które mogłyby nas poprowadzić – właśnie dlatego, że wydarzenia te są tak rzadkie.

Nie możemy nawet wiarygodnie oszacować wypadków związanych z transportem ropy naftowej koleją, bowiem transport ropy koleją był kiedyś rzadkością, a teraz stał się bardzo powszechny. Skąpe dowody z dawnych doświadczeń nie przekładają się w żaden miarodajny sposób na współczesną gospodarkę przesyłami ropy. Czy transport rurociągami byłby lepszy, czy gorszy? Kto wie? Gdy brakuje rzeczywistych danych, próbuje się wnioskować przez analogię do innych, odpowiednio podobnych praktyk. Ale kto potrafi określić, czym jest “odpowiednie podobieństwo”?

Szacujesz czy zgadujesz?

Szczególnie w przypadku niezwykle rzadkich zdarzeń, takich jak globalna pandemia, cała sztuka szacowania rozpływa się w morzu chaosu i niepewności. Z definicji nie ma danych, na podstawie których można by oszacować prawdopodobieństwo unikalnych wydarzeń. Robienie tego na podstawie teorii, zamiast opierania się na pomiarach, jest bezcelowe. Próżnia w danych oznacza również próżnię w teorii, a teoria wymaga danych do swojej walidacji. Pozostaje nam tylko ślepe zgadywanie.

Większość z was na pewno kojarzy ideę Zegara Zagłady. Metaforyczne wskazówki zbliżają się do północy, kiedy napięcie międzynarodowe zwiększa ryzyko samounicestwienia ludzkości. Jak widać, od rozpoczęcia konfliktu na Ukrainie, do północy zostały nam mniej niż dwie minuty. Według autorów inicjatywy, znajdujemy się więc obecnie bliżej katastrofy niż w najmroczniejszych momentach zimnej wojny. Jest to rzetelna i bezstronna ocena sytuacji, czy tylko publicystyczna ciekawostka?

Złóżmy to wszystko w całość. Nie ma obiektywnych sposobów pomiaru ludzkiego cierpienia i dobrostanu. Nie jesteśmy w stanie przeanalizować wszystkich możliwych skutków naszych działań. Nasze szacunki pozostają w naprawdę wielu ważnych przypadkach czystą fikcją. W rezultacie można łatwo manipulować wszystkimi trzema czynnikami – miarą bólu i przyjemności, katalogami rezultatów oraz prawdopodobieństwem – aby uzyskać dowolny pożądany wynik.

I w tym właśnie tkwi moralne, a także intelektualne bankructwo analizy ryzyka oraz analizy kosztów i korzyści.

Ale jest coś gorszego. Nie chodzi tylko o to, że takie analizy można wykorzystać do manipulacji, aby osiągnąć dowolne cele. Istnieje również problem celowego wprowadzania w błąd. Formalny aparat analizy ryzyka – wszystkie te wykresy, tabele, liczby i formuły – stwarza pozory naukowego rygoru tam, gdzie tak naprawdę go nie ma. Zbyt często chodzi właśnie o to, aby tworzyć fasadę matematycznej precyzji do stłumienia sprzeciwu i uciszenia sceptyków.

Dobre decyzje, złe przesłanki

Wracając do rzadkich i katastrofalnych wydarzeń, takich jak globalna pandemia wywołana nieudanym eksperymentem. Jaką liczbę przypisać cierpieniu? Niezależnie od tego, jak niskie jest oszacowanie prawdopodobieństwa – owszem, szanse na taką pandemię są niskie – apokaliptyczny charakter pandemii sprawia, że ocena cierpienia podnosi ostateczny szacunek ryzyka do niebotycznych wartości. Ale chwila. Czy nie powiedzieliśmy właśnie, że nie potrafimy skutecznie przewidzieć wszystkich konsekwencji naszych działań? Czy potrafimy wykluczyć, że jakiekolwiek działanie, jakakolwiek innowacja, jakiekolwiek odkrycie doprowadzi do nieprzewidzianej katastrofy? Być może to mało prawdopodobne, ale to bez znaczenia, ponieważ konsekwencje byłyby tak straszne, że przetłoczyłyby każdą kalkulację.

Najlepiej zatem nie robić nic. To oczywiście absurdalny wniosek.

Ten “błąd apokalipsy”, przywoływanie możliwych katastrofalnych konsekwencji, które przygniatają kalkulację zysków i strat, jest aż nazbyt powszechnym motywem debaty publicznej. Czy broń jądrowa powinna zostać natychmiast wyeliminowana po odkryciu zjawiska zimy nuklearnej? Istnieją doskonałe argumenty za opcją rozbrojenia, ale ten konkretny do nich nie należy. Czy mglista możliwość powstania mikroskopijnej czarnej dziury, która unicestwi Ziemię, powinna była wyhamować poszukiwania bozonu Higgsa w CERN-ie? Cóż, oczywiście należy przeprowadzić więcej obliczeń i przygotować dokładniejsze modele, aby ustalić granice prawdopodobieństwa, ale nie przerywamy tylko dlatego, że szansa jest różna od zera.

Nuklearna zagłada według Tegmarka

Doskonałym przykładem zjawiska opisywanego przez prof. Howarda jest aktywność Maxa Tegmarka. Popularny matematyk należący do Future of Life Institute, od kilku lat zalewa swoje kanały społecznościowe scenariuszami apokalipsy, okraszone zdumiewająco konkretnymi liczbami. “Wiele osób pytało mnie, jakie są według mnie szanse na wielką wojnę nuklearną między USA i Rosją” – pisał po napaści Putina na Ukrainę. “Moja obecna ocena jest zbliżona do ryzyka przegranej w rosyjskiej ruletce: jedna do sześciu”. Tym samym, apelował do zachodu o natychmiastową deeskalację konfliktu, cokolwiek miałaby ona oznaczać. W końcu z liczbami się nie dyskutuje, nawet jeżeli są mocno dyskusyjne.

Więcej na temat poglądów Tegmarka mogliście przeczytać w felietonie Wizjoner, naiwniak czy cynik? Max Tegmark i jego troska o pokój (wtrącenie Adama).

Kiedy zatem eksperci mówią, żeby nie inwestować w nowe technologie wytwarzania energii jądrowej, ponieważ istnieje ryzyko powtórki z Czarnobyla[2] – zignoruj ich. Dosłownie nie wiedzą, o czym mówią. Kiedy osoba w dobrej wierze nawołuje do natychmiastowego, powszechnego użycia szczepionki przeciw wirusowi Ebola, która nie przeszła badań klinicznych, argumentując, że szansa na uratowanie tysięcy, nawet milionów istnień przewyższa wszelkie wyobrażalne negatywne konsekwencje – zignoruj go. Dosłownie nie wie o czym mówi.

Czy to oznacza, że powinniśmy spieszyć się z wdrażaniem nowych technologii w energetyce lub odrzucać afrykańskie prośby o szczepionkę przeciw Eboli? Oczywiście, że nie. Oznacza to, że powinniśmy decydować na podstawie dobrych przesłanek, a nie złych. A argumenty oparte na analizie ryzyka, szczególnie w przypadku sytuacji rzadkich, są złymi argumentami.

Bądźmy ostrożni, ale uczciwie

Błędem byłoby wyciąganie z tego wszystkiego wniosku, że zalecam lekceważenie ostrożności i robienie tego, co nam się żywnie podoba. Nie. Wartość pokory oraz roztropności pozostaje niezmienna. Należy przemyśleć podjęcie każdego działania, rozważać możliwe konsekwencje swoich decyzji i oceniać szanse najlepiej, jak się tylko da. Tyle tylko, że trzeba być świadomym ograniczeń i wystrzegać się nadużywania moralizatorstwa w pseudoracjonalnym tonie, opartym o analizę ryzyka lub analizę korzyści i kosztów.

To powiedziawszy, intelektualny reżim takich analiz nadal ma wartość, przynajmniej jako forma zobowiązania do możliwie najdokładniejszej i najobiektywniejszej oceny konsekwencji swoich działań, nawet jeśli tego wysiłku nie można sprowadzić do algorytmu. Ale to tylko inny sposób na stwierdzenie, że do moralnej cnoty roztropności należy dodać intelektualne cnoty (które przecież także są cnotami moralnymi), takie jak uczciwość i wytrwałość.

Don Howard

[+]
Total
0
Shares
Zobacz też