Wnioski z analizy badań naukowych mogą się diametralnie różnić w zależności od tego, kto przeprowadza analizy – stwierdzili autorzy publikacji, która ukazała się w czasopiśmie „Nature”. Do takiego wniosku doszli w wyniku projektu dotyczącego oceny wiarygodności badań naukowych, w którym brało udział prawie 900 naukowców.

Artykuł powstał w wyniku międzynarodowej współpracy pod kierownictwem dr. Balázsa Aczéla i dr. Barnabása Szásziego (Uniwersytet Loránda Eötvösa, Budapeszt, Węgry oraz Uniwersytet Korwina w Budapeszcie). To element projektu „Systematizing Confidence in Open Research and Evidence” (SCORE) finansowanego przez amerykańską agencję rządową Defense Advanced Research Projects Agency (z ang. Agencja Zaawansowanych Projektów Badawczych Departamentu Obrony, DARPA). W badanie byli zaangażowani naukowcy z Uniwersytetu SWPS (USWPS), Uniwersytetu Adama Mickiewicza w Poznaniu, Instytutu Nauk Politycznych PAN w Warszawie, Uniwersytetu Wrocławskiego, Uniwersytetu Jagiellońskiego i Warszawskiego Uniwersytetu Medycznego.

W trakcie programu SCORE zgromadzono bazę informacji na temat wyników badań z dziedziny nauk społecznych i behawioralnych. Posłużyły one sprawdzeniu solidności i powtarzalności badań. Takie kontrole odtwarzalności analitycznej i badania replikacyjne służą zapobieganiu przypadkowym odkryciom i błędom we wnioskach naukowców. Jednak do tej pory nie sprawdzano, w jakim stopniu wyniki badań zależą od konkretnego sposobu analizy danych - podsumowano w komunikacie nadesłanym do PAP z USWPS.

W ramach badania zespół 457 niezależnych specjalistów z całego świata ponownie wziął pod lupę 100 opublikowanych wcześniej badań z dziedziny nauk społecznych i behawioralnych. Badacze prześwietlili te same dane pod tym samym kątem, co autorzy pierwotnych prac, jednak teraz eksperci mogli dowolnie wybrać metody analizy.

Jak stwierdzili autorzy nowego opracowania, ponowna analiza danych prowadziła najczęściej do innych wniosków. Różnice były widoczne szczególnie w przypadku oceny siły opisywanego efektu, szacunków statystycznych i stopnia niepewności; główne tezy badań były zazwyczaj zgodne z pierwotnymi. „Tylko w około jednej trzeciej przypadków wszyscy analitycy doszli do takich samych wniosków jak autorzy pierwotnych badań” – napisano w komunikacie.

Zdaniem autorów publikacji w „Nature” nowe wyniki nie podważają wiarygodności wcześniejszych badań. Wskazują raczej na to, że wykorzystanie konkretnej metody analitycznej często nie odzwierciedla rzeczywistego stopnia dokładności badania, czyli niepewności empirycznej. A to prowadzi do wniosku, że w przypadku kwestii o dużym znaczeniu naukowym lub społecznym przy badaniach powinno pracować wielu analityków.

„Wyniki tego projektu wskazują, że rzetelna weryfikacja twierdzeń naukowych poprzez niezależne, wielokrotne analizy stanowi fundament wiarygodnej nauki” – uważa cytowany w komunikacie prof. Jakub Traczyk z Instytutu Psychologii USWPS.

Zdaniem dr. Kamila Izydorczaka z tejże uczelni, również cytowanego w materiale, projekt SCORE to kolejne wezwanie do pokory dla naukowców i przestroga przed zaufaniem do wyników pojedynczego badania, nawet opublikowanego w prestiżowym czasopiśmie. „Rzetelna nauka opiera się na wyciąganiu ostrożnych wniosków, i to dopiero na podstawie analizy skumulowanych dowodów pochodzących z wielu niezależnych badań” – podsumował dr Izydorczyk.

Psycholog społeczny był też współautorem dwóch innych badań w ramach programu SCORE. Na podstawie jednego z nich stwierdzono, że większość wyników badań można odtworzyć, pod warunkiem, że ich autorzy udostępnią dane analitykom – a wielu z nich tego nie robi. W kolejnym badaniu naukowcy odkryli, że tylko połowę opublikowanych wyników badań udaje się odtworzyć po ponownej analizie na podstawie nowych danych. (PAP)

Nauka w Polsce

abu/ zan/