Težko je ugovarjati moči znanosti. Od raziskav, ki ocenjujejo najnovejši prehranski trend, do eksperimentov, ki osvetljujejo napovedovalce sreče, ljudje vse pogosteje gledajo na znanstvene rezultate kot na konkretna, zanesljiva dejstva, ki lahko vplivajo na to, kako razmišljamo in ravnamo.
Sorodne vsebine
- Znanstveniki so ponovili 100 psiholoških študij in manj kot pol jih dosegli enake rezultate
Toda v zadnjih nekaj letih je naraščajoči kontingent znanstvenikov začel dvomiti v sprejeto resničnost objavljenih raziskav - tudi potem, ko so odpravili ovire medsebojnega strokovnega pregleda in se pojavljajo v zelo cenjenih revijah. Težava je razširjena nezmožnost ponovitve velikega dela rezultatov v številnih disciplinah.
Leta 2005 je na primer John Ioannidis, profesor medicine na univerzi Stanford, uporabil več simulacij, da je pokazal, da so znanstvene trditve bolj lažne kot resnične. In minulo poletje je Brian Nosek, profesor psihologije na univerzi v Virginiji, poskušal ponoviti ugotovitve 100 raziskav psihologije in ugotovil, da je bilo le 39 odstotkov rezultatov pod strogim ponovnim testiranjem.
"Obstaja več dokazil, teoretičnih in empiričnih, ki so začeli postavljati pod vprašaj obnovljivost znatnega dela znanstvene literature, " pravi Ioannidis. "Dobivamo milijone papirjev, ki ne gredo nikamor."
Te predhodne ugotovitve so sprožile oblikovanje povsem novega področja, imenovanega meta-raziskave - znanstvenega študija znanosti.
Ta teden je oddelek za biologijo Javne knjižnice znanosti (PLOS), neprofitne založniške in zagovorniške organizacije, odprl nov odsek, namenjen izključno meta-raziskavam. Oddelek bo preučil vprašanja, kot so preglednost raziskav, metodološki standardi, viri pristranskosti, izmenjava podatkov, financiranje in spodbujevalne strukture.
Ioannidis in njegovi sodelavci so ocenili naključni vzorec 441 biomedicinskih člankov, objavljenih med letoma 2000 in 2014. Preverili so, ali ti dokumenti zagotavljajo javni dostop do surovih podatkov in eksperimentalnih protokolov, so bili ponovljeni v nadaljnjih študijah, ali so bili njihovi rezultati integrirani v sistematične preglede zadevnega področja in vključeno dokumentacijo o virih financiranja in drugih morebitnih navzkrižjih interesov.
Njihovi rezultati so bili najmanj zaskrbljujoči. Na primer, samo ena študija je nudila polne eksperimentalne protokole, nič raziskave pa so neposredno na voljo neobdelane podatke.
"To sta dva osnovna stebra obnovljivosti, " pravi Ioannidis. "Če ni na voljo podatkov in celotnega protokola, človek res ne more reproducirati ničesar." Konec koncev, brez teh ključnih informacij, kako lahko druga ekipa natančno ve, kaj mora storiti, in kako se njihovi rezultati razlikujejo od rezultatov v prvotnem poskusu?
Skupina je tudi ugotovila, da so trditve o samo osmih pregledanih člankih pozneje potrdile poznejše študije. In čeprav je v številnih raziskavah trdilo, da imajo nove ugotovitve, so bili v poznejših recenzijskih člankih vključeni rezultati le 16 člankov, ki služijo kot lakmusov test resničnega vpliva študije na določeno temo.
"Številke, ki jih dobimo, so precej strašljive, " pravi Ioannidis. "Toda to lahko vidite kot izhodišče, kjer smo zdaj, in veliko je prostora za izboljšave."
Vendar niso bili vsi rezultati odvračilni. Odstotek člankov brez izjave o navzkrižju interesov se je zmanjšal z 94, 4 odstotka v letu 2000 na 34, 6 odstotka v letu 2014, kar je verjetno posledica vse večjega zavedanja o škodljivih učinkih pristranskosti na rezultate raziskav.
V drugi raziskavi meta raziskave je nemška skupina analizirala, kako lahko izguba preiskovancev na živalih med predkliničnimi preskušanji prispeva k razširjeni nezmožnosti prevajanja laboratorijskih ugotovitev v koristna klinična zdravila.
Raziskovalne živali lahko iz študije izginejo naključno - na primer zato, ker je žival umrla - ali s subtilno pristranskimi dejanji, kot so bile odstranjene iz preskusa, da bi odstranili podatke, ki spodkopavajo pričakovane rezultate. Skupina je dokazala, da lahko pristransko odstranjevanje živalskih subjektov izkrivi rezultate in znatno poveča verjetnost lažnega pozitivnega mnenja - kadar naj bi novo zdravilo delovalo, vendar dejansko ne.
V ločeni analizi predkliničnih študij možganske kapi in raka so isti raziskovalci ugotovili, da večina prispevkov ni ustrezno poročala o izgubi živalskih oseb in da je mogoče pozitivne učinke številnih zdravil, ki se testirajo, močno preceniti.
Zakaj se torej sploh pojavlja ta kriza preglednosti in obnovljivosti?
Medtem ko so nekatera vprašanja lahko zavestna ali nezavedna raziskovalna pristranskost, je verjetno, da je večina raziskav, ki segajo do objave, takšnih zaradi trenutne spodbujevalne strukture v znanosti.
V presežnem svetu akademskega sveta je glavno merilo uspeha število študij, ki jih raziskovalec dobi v prestižnih revijah. Posledično so znanstveniki pod pritiskom, da večino svojega časa porabijo za pridobitev najpomembnejših rezultatov, ki bodo najverjetneje objavljeni.
"Čeprav v konceptu cenimo obnovljivost, je v praksi ne cenimo več, " pravi Nosek, ki je tudi so-direktor Centra za odprto znanost, zagona neprofitne tehnologije, ki spodbuja preglednost in obnovljivost znanstvenih raziskav.
"Prave spodbude za moje vedenje znanstvenika so inovacije, nova odkritja in razbijanje novih temeljev - da ne ponovim tega, kar so storili drugi. To je dolgočasen del znanosti. "
Znanstveniki vidijo tudi malo spodbud za zagotavljanje informacij, potrebnih drugim, da ponovijo svoje delo, kar je eden glavnih razlogov, da trditve toliko študij ostanejo nepreverjene.
"Nisem nagrajen za to, da svoje podatke dam na razpolago ali podrobneje razložim svojo metodologijo, kot je tisto, kar je potrebno za objavo, " pravi Nosek.
Številne revije znanstvenike prosijo, naj predložijo podrobno razlago svojih metod in izmenjavo podatkov, vendar se te politike le redko uveljavijo in ni univerzalnih standardov za objavo.
"Če bi vedel, da na cestah nikoli ne bo policajev, bi se vedno držal omejitve hitrosti? Ne - to je človeška narava, "pravi Ivan Oranski, soustanovitelj Retraction Watch, organizacije, ki spodbuja odgovornost in preglednost s sledenjem umikom v znanstveni literaturi. "Če veste, da vas nihče ne bo kaznoval, potem ne boste delili podatkov."
Tisti znanstveniki, ki želijo opraviti posnemajoče poskuse in so sposobni pridobiti eksperimentalne podrobnosti, potem verjetno ne bodo našli finančnih sredstev javnih agencij, kot je NIH, ki pretežno presodijo vloge za donacije na podlagi novosti in inovativnosti.
"Kvote so očitno proti podvajanju, " pravi Ioannidis.
Tukaj lahko stopi novo področje meta-raziskav. Organizacije, kot sta Center za odprto znanost in Meta-Research Innovation Center na Stanfordu (METRICS), si prizadevajo za prilagajanje sistema nagrajevanja in postavljanje strogih univerzalnih standardov, ki bodo spodbujali širše razširjanje prakse preglednosti in obnovljivosti.
"Če bi bila raven financiranja ali promocija odvisna od tega, kaj se je zgodilo z vašo predhodno raziskavo - če bi bila ponovljiva, če bi jo ljudje lahko smislili, če bi jo ljudje lahko prevedli v kaj koristnega, ne le na koliko dokumentov, ki ste jih objavili - bi to bilo zelo močna spodbuda za spreminjanje raziskav, da bi postale bolj ponovljive, "pravi Ioannidis, ki je so-direktor METRICS-a.
"Upam, da se bodo ti kazalniki izboljšali, " doda. "In za nekatere od njih ni druge možnosti, kot da gremo navzgor, saj začnemo od nič."
