Psycholog społeczny Brian Nosek, dyrektor Center for Open Science w Virginii oraz 269 innych naukowców postanowili zweryfikować dane z 98 artykułów opublikowanych w 3 różnych pismach specjalistycznych. Uczeni chcieli sprawdzić, czy na podstawie opisanych eksperymentów dojdą do takich samych wniosków jak autorzy oryginalnych badań.
Próby powtórzenia badań i uzyskania podobnych wyników generalnie spaliły na panewce. Na 100 prób – dwa badania były niezależnie testowane przez dwa różne zespoły – odtworzono jedynie 39 badań. Wynik 39% to subiektywna ocena badaczy co do tego, czy udało się eksperyment powtórzyć. Uczeni wykorzystali też metody statystyczne do oceny, czy badania przyniosły istotne rezultaty. O ile w autorzy oryginalnych eksperymentów aż w 97% twierdzili, że uzyskali znaczące wyniki, to autorzy obecnych studiów uzyskali takie wyniki zaledwie w 36% przypadków.
Nosek mówi, że nie ma sposobu, by na podstawie samego artykułu ocenić, czy uzyskane wyniki są prawdziwe czy nie. Błędy mogą istnieć zarówno w pracy oryginalnej, jak i w jej powtórzeniu. Mogą też istnieć ważne czynniki, które zaburzają jedną lub drugą pracę. Jednak projekt przeprowadzony przez Noska i jego kolegów dowodzi, że w psychologicznych pismach naukowych publikowane są badania, które nie przechodzą pozytywnie testu sprawdzającego ich wiarygodność. Zdaniem Noska istnieje potrzeba badań sprawdzających inne badania. Obecnie niemal nikt nie przeznacza funduszy na tego typu działania.
Badania Noska to część Reproducibility Project, który rozpoczęto w 2011 roku w związku z ujawnionym skandalem dotyczącym fałszowania statystyk podczas badań psychologicznych. John Ioannidis, epidemiolog ze Stanford University mówi, że prawdziwy odsetek błędnych prac może przekraczać 80%. Dzieje się tak, gdyż twórcy Reproducibility Project skupiają się wyłącznie na pracach publikowanych w poważanych pismach, autorzy oryginalnych badań ściśle z nimi współpracują, a badacze próbujący odtworzyć prace innych skupiają się głównie na tych eksperymentach, w których wykorzystano stosunkowo proste metody. Powinniśmy wykorzystać ten projekt to poprawy sytuacji, a nie do lamentowania nad nią. Sam fakt, że naukowcy współpracują na tak szeroką skalę wskazuje, iż naprawdę dążą do poprawienia sytuacji, stwierdza Ioannidis.
Z kolei Andrew Gelman, statystyk z Columbia University podkreśla, że testy Noska są wyjątkowo cenne. Po raz pierwszy bowiem wzięto pod uwagę tak dużą liczbę eksperymentów. Dotychczas podobne sprawdzenia były wykonywane na małych próbkach lub też posługiwano się symulacjami statystycznymi.
Sam Nosek podkreśla, że jego celem nie jest potępianie autorów poszczególnych prac, ale wskazanie, jak wiele błędów i niedociągnięć pojawia się w publikacjach psychologicznych. Istnieje na przykład ryzyko, że eksperymenty nudne, ale prawdziwe, nie zostaną opublikowane czy też, że do publikacji trafią interesujące prace, z których wnioski wyciągnięto nie na podstawie eksperymentów, a analiz statystycznych, często próbując różnych metod, by właśnie takie sensacyjne wyniki uzyskać.
Źródło: kopalniawiedzy.pl
