Za murami uczelni dzieją się rzeczy dziwne, wstydliwe, a czasem po prostu niegodziwe. Pomyślcie tylko o ostatnich miesiącach. W marcu informowałem na blogu o kompromitacji izraelskich lekarzy, którzy posłali w świat artykuł zawierający “podsumowanie” żywcem przekopiowane z Chata GPT. W kwietniu Uniwersytet Rochester wydał raport podsumowujący skandal dotyczący fabrykowania danych przez swojego pracownika – rzekomego odkrywcę pierwszego nadprzewodnika działającego w temperaturze pokojowej.
Z kolei w maju polski internet nieomal pękł ze śmiechu za sprawą wybornej prowokacji Konrada Szaciłowskiego i Kapeli Abdulayeva Pilaki. Krakowski chemik “wspólnie” ze swoim zmyślonym kompanem – turkmeńskim znawcą instrumentów ludowych – napisał bełkotliwą publikację o Filumenistycznym hobby Karola Wojtyły, chcąc sprawdzić, jak na ten nonsens zareagują recenzenci. Test oczywiście oblali, a bezwartościowy tekst trafił do jednego z punktowanych czasopism.
Kiedy więc po tym wszystkim PWN zapowiedziało premierę książki Science Fictions, opowiadającej o Oszustwach, uprzedzeniach, zaniedbaniach i szumie informacyjnym w nauce – od razu zamówiłem egzemplarz recenzencki.
Autorem książki jest Stuart Ritchie, wykładający na co dzień w Instytucie Psychiatrii, Psychologii i Neuronauki londyńskiego King’s College. Nie fizyk, nie chemik, nie biolog, lecz psycholog. Ma to znaczenie o tyle, że chociaż Brytyjczyk stara się na 380 stronach objąć krajobraz całej współczesnej nauki, to siłą rzeczy najchętniej sięga do przykładów z własnego podwórka. Ritchie nie wykazuje przy tym, ani odrobiny litości względem swoich kolegów. Wręcz przeciwnie. Już we wstępie zostałem uraczony historiami dwóch głośnych badań z 2011 roku, które skutecznie podniosły mi ciśnienie.
Pierwsze z nich miało dowodzić istnienia zdolności parapsychicznych. W wyjątkowo prostym eksperymencie psycholog społeczny Daryl Bem dowiódł, że testowani studenci dysponują jakimś rodzajem prekognicji i potrafią “wyczuć” treść zakrytego zdjęcia. Wbrew wszelkim wątpliwościom “przełomowe” wyniki zostały błyskawicznie przedstawione na łamach renomowanego czasopisma. Ten sam periodyk nie był jednak równie zainteresowany opublikowaniem rezultatów zewnętrznych powtórek eksperymentu, które – niespodzianka – jednoznacznie zaprzeczyły pierwotnym ustaleniom Bema.
Drugie przytoczone we wstępie badanie, miało dowodzić, że ludzie wykazują większe uprzedzenia rasowe w brudnym lub zdezorganizowanym środowisku. Teza jak teza. Sęk w tym, że statystyki doskonale wspierające wyciągnięty wniosek, zostały od początku do końca zmyślone przez autora.
Problem polegał na tym, że nic z tego nie było prawdziwe. Wyniki eksperymentów Stapela były trochę aż nazbyt doskonałe, co spowodowało, że jego koledzy nabrali podejrzeń. (…) W napisanej później autobiografii Stapel przyznał, że zamiast zbierać dane do badań, siedział samotnie w biurze, wpisując w arkuszu kalkulacyjnym liczby potrzebne do wyimaginowanych wyników, wymyślając je wszystkie od podstaw.
Fragment wstępu “Science Fictions”
O tym z grubsza jest ta książka. O pomyłkach i oszustwach. O bezczelnym fabrykowaniu danych, ale też o bardzo subtelnych (a nawet nieświadomych) manipulacjach, składających się na zjawisko tzw. p-hackingu. Jest to jednocześnie kompleksowa krytyka niewydolnego systemu, który z każdym rokiem coraz słabiej radzi sobie z filtrowaniem nadużyć. Na tyle słabo, że według danych Cochrane Collaboration każdego roku marnotrawimy 28 miliardów dolarów na badania o niskiej jakości, przedstawiające naciągnięte lub po prostu fałszywe wnioski, na podstawie niewystarczających dowodów.
To więcej niż przypuszczalny koszt następcy Wielkiego Zderzacza Hadronów. A żeby było zabawniej, Cochrane uwzględnia wyłącznie straty w branży medycznej…
Autor wydaje się typem twardo stąpającego po ziemi realisty. Przypomina, że badacze są tylko ludźmi, więc do czasopism zawsze będą napływać mierne prace. A skoro wszystkich publikacji z roku na rok jest coraz więcej, to w naturalny sposób wzrasta też liczba tekstów pozbawionych wartości. Szukając rozwiązania, nie powinniśmy zatem skupiać się na walce z ludzkimi słabościami, lecz na uszczelnieniu systemu; w taki sposób, aby ograniczyć wpływ felernych prac na swoją dziedzinę. Zdaniem Ritchiego, żeby to osiągnąć, należy w pierwszej kolejności zmierzyć się z kryzysem replikacji.
Żeby to wyjaśnić, Brytyjczyk przywołuje inicjatywę z 2015 roku, w ramach której wybrano 100 badań, opisanych na łamach trzech największych periodyków psychologicznych, z zamiarem ich powtórzenia. Rezultaty projektu okazały się druzgocące. Tylko w przypadku 39% doświadczeń uzyskano wyniki zbliżone do tych, przedstawionych w oryginalnej publikacji. W 61% przypadków rezultaty były sprzeczne albo co najmniej nie wspierały pierwotnych konkluzji naukowców. Podkreślę, że wzięto pod lupę artykuły pochodzące wyłącznie z najwyżej punktowanych czasopism.
Psycholog wychodzi z utylitarnego założenia, że bez względu na to czy mamy do czynienia z wyrachowanym oszustwem, z błędem, czy z nieszczęśliwym zbiegiem okoliczności – ostatecznie wszystko sprowadza się do replikacji. Jeżeli badacz nie potrafi powtórzyć eksperymentu i odtworzyć zbliżonych wyników, to hipoteza nie powinna być traktowana poważnie. Przyczyna kłopotu z replikacją to już sprawa drugorzędna.
Jak pewnie zdążyliście się już zorientować, Science Fictions potrafi wzbudzić emocje i nie da się ukryć, że są to głównie emocje negatywne. Oczywiście to nie jest tak, że wcześniej żyłem pod kamieniem i nie słyszałem o żadnych aferach, oszustwach i spektakularnych kompromitacjach. Zawsze zdawałem sobie sprawę, że gdzieś obok czystego strumyka solidnych odkryć, płynie śmierdzący ściek badań błędnych, wtórnych i nierzetelnych. Jednak mimo to, lektura Science Fictions potrafiła mnie zaskoczyć skalą patologii.
Upatruję w tym dość oczywistego zagrożenia. Przez całą lekturę nie mogłem wyzbyć się wrażenia, że postronny odbiorca mógłby odczytać utyskiwania autora, jako ogólny antynaukowy manifest. Absolutnie nie taka była intencja Ritchiego. Kilkukrotnie podkreśla on, że uważa proces naukowy – z całym bagażem swoich niedoskonałości – wciąż za najlepsze narzędzie do poznawania rzeczywistości.
Nie twierdzi, że nie potrzebujemy nauki, tylko że potrzebujemy lepszej nauki.
Bardzo łatwo jednak wyobrazić mi sobie osobę o pseudonaukowych ciągotach, która w potoku narzekań na akademicką bylejakość i nieuczciwość, szybko straci z oczu powyższą konkluzję. Zastąpi ją własną, przypisując przedstawione zarzuty wszystkim uczonym, z którymi mu akurat nie po drodze.
Obawa, że argumenty zawarte w tej książce mogą zostać niewłaściwie wykorzystane do wybiórczych, obłudnych ataków na badania, nie powinna powstrzymywać nas przed publiczną dyskusją na temat kryzysu replikacji. Nie możemy zmuszać nauki, aby, gdy przygląda się jej obywatel lub polityk, retuszowała swoje mankamenty. W rzeczywistości szczere przyznanie się do słabości jest najlepszym sposobem uprzedzenia ataków krytyków i, mówiąc bardziej ogólnie, wyrazem tego, jak naprawdę działa pełen niepewności proces zdobywania wiedzy.
Fragment epilogu “Science Fictions”
Ostatecznie pozostaje mi jednak przyjąć argument Ritchiego. Publiczne wywlekanie hańbiących statystyk i kilkudziesięciu przykładów śmieciowych badań, przy odrobinie złej woli może posłużyć do zmniejszenia społecznego zaufania do nauki. Jednakże brak debaty na ten temat, ignorowanie złej nauki – długofalowo przyniesie znacznie groźniejsze skutki. Powtórzę zatem za autorem, że najrozsądniej naprawić naukę i liczyć, że “zaufanie przyjdzie samo”.
Z tych samych powodów Science Fictions wydaje się pozycją jak najbardziej potrzebną. W pewnym sensie nieprzyjemną, nawet męczącą, ale potrzebną. Pasjonaci nauki mogą dzięki niej podpatrzeć proces powstawania naukowego hamburgera od kuchni. Przekonają się, z czego tak naprawdę jest zrobiony i nabiorą do wszechobecnych “przełomowych odkryć” należytego dystansu. Z kolei sami naukowcy, powinni wykorzystać tę lekturę, jako pretekst do sporządzenia rachunku sumienia. Nawet jeżeli sami nie są fałszerzami, plagiatorami bądź partaczami, istnieje niemała szansa, że również przyczynili się do umocnienia opisywanych patologii. Przymykając oko na grzeszki swoich kolegów.
