Crisi della replicazione: differenze tra le versioni

Da Wikipedia, l'enciclopedia libera.
Vai alla navigazione Vai alla ricerca
Naviga nella cronologia in modo interattivo
← Differenza precedenteDifferenza successiva →
Contenuto cancellato Contenuto aggiunto
VisualeWikitesto
IlPoncio (discussione | contributi)
6 969 modifiche
Nessun oggetto della modifica
IlPoncio (discussione | contributi)
6 969 modifiche
Creata dalla traduzione della pagina "Replication crisis"
Riga 1: Riga 1:


[[File:Ioannidis_(2005)_Why_Most_Published_Research_Findings_Are_False.pdf|miniatura| Ioannidis (2005), " Perché i risultati delle ricerche più pubblicate sono falsi". <ref name="Ioannidis2005">{{Cita pubblicazione|autore=Ioannidis|nome=John P. A.|data=August 1, 2005|titolo=Why Most Published Research Findings Are False|rivista=[[PLOS Medicine]]|volume=2|numero=8|pp=e124|doi=10.1371/journal.pmed.0020124|PMID=16060722|issn=1549-1277}}</ref>]]
[[File:Ioannidis_(2005)_Why_Most_Published_Research_Findings_Are_False.pdf|miniatura| Ioannidis (2005), " Perché i risultati delle ricerche più pubblicate sono falsi ". <ref name="Ioannidis2005">{{Cita pubblicazione|autore=Ioannidis|nome=John P. A.|data=August 1, 2005|titolo=Why Most Published Research Findings Are False|rivista=[[PLOS Medicine]]|volume=2|numero=8|pp=e124|doi=10.1371/journal.pmed.0020124|PMID=16060722|issn=1549-1277}}</ref>]]
La '''crisi della replicazione''' (chiamata anche '''crisi della replicabilità''' e '''crisi della riproducibilità''') è una [[Metodologia|crisi metodologica]] per cui è stato riscontrato che molti studi scientifici sono difficili o impossibili da [[Riproducibilità|replicare o riprodurre]]. La crisi della replicazione colpisce più gravemente le [[scienze sociali]] e la [[medicina]],<ref>{{Cita pubblicazione|autore=Schooler|nome=J. W.|anno=2014|titolo=Metascience could rescue the 'replication crisis'|rivista=Nature|volume=515|numero=7525|p=9|doi=10.1038/515009a|bibcode=2014Natur.515....9S|PMID=25373639}}</ref><ref name="Why 'Statistical Significance' Is Often Insignificant">{{Cita web|url=https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant|sito=Bloomberg|dataaccesso=7 November 2017}}</ref> mentre i dati delle rilevazioni indicano fortemente che anche tutte le [[scienze naturali]] sono probabilmente implicate.<ref name="Nature 5-25-2016">{{Cita pubblicazione|autore=Baker|nome=Monya|data=25 May 2016|titolo=1,500 scientists lift the lid on reproducibility|editore=[[Springer Nature]]|volume=533|pp=452–454|accesso=May 21, 2021|url=https://www.nature.com/articles/533452a}}</ref> La frase è stata coniata nei primi anni 2010<ref>{{Cita pubblicazione|autore=Pashler|nome=Harold|autore2=Wagenmakers|nome2=Eric Jan|anno=2012|titolo=Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=528–530|doi=10.1177/1745691612465253|url=https://semanticscholar.org/paper/1a67f9a4624b4ea989e4ea9b14ea178a010017c0|PMID=26168108}}</ref> come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze.<ref>{{Cita web|url=https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris|sito=The Stanford Encyclopedia of Philosophy|dataaccesso=19 May 2019}}</ref>
La '''crisi della replicazione''' (chiamata anche '''crisi della replicabilità''' e '''crisi della riproducibilità''') è una [[Metodologia|crisi metodologica]] per cui è stato riscontrato che molti studi scientifici sono difficili o impossibili da [[Riproducibilità|replicare o riprodurre]]. La crisi della replicazione colpisce più gravemente le [[scienze sociali]] e la [[medicina]],<ref>{{Cita pubblicazione|autore=Schooler|nome=J. W.|anno=2014|titolo=Metascience could rescue the 'replication crisis'|rivista=Nature|volume=515|numero=7525|p=9|doi=10.1038/515009a|bibcode=2014Natur.515....9S|PMID=25373639}}</ref><ref name="Why 'Statistical Significance' Is Often Insignificant">{{Cita web|url=https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant|sito=Bloomberg|dataaccesso=7 November 2017}}</ref> mentre i dati delle rilevazioni indicano fortemente che anche tutte le [[scienze naturali]] sono probabilmente implicate.<ref name="Nature 5-25-2016">{{Cita pubblicazione|autore=Baker|nome=Monya|data=25 May 2016|titolo=1,500 scientists lift the lid on reproducibility|editore=[[Springer Nature]]|volume=533|pp=452–454|accesso=May 21, 2021|url=https://www.nature.com/articles/533452a}}</ref> La frase è stata coniata nei primi anni 2010<ref>{{Cita pubblicazione|autore=Pashler|nome=Harold|autore2=Wagenmakers|nome2=Eric Jan|anno=2012|titolo=Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=528–530|doi=10.1177/1745691612465253|url=https://semanticscholar.org/paper/1a67f9a4624b4ea989e4ea9b14ea178a010017c0|PMID=26168108}}</ref> come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze . <ref>{{Cita web|url=https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris|sito=The Stanford Encyclopedia of Philosophy|dataaccesso=19 May 2019}}</ref>


Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del [[metodo scientifico]],<ref>Staddon, John (2017). ''Scientific Method: How Science Works, Fails to Work or Pretends to Work''. Taylor and Francis.</ref> l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.<ref>{{Cita web|url=https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off|sito=The New Yorker|lingua=en|dataaccesso=2020-01-30}}</ref><ref>{{Cita web|url=https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt|sito=The New Yorker|lingua=en|dataaccesso=2020-01-30}}</ref>
Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del [[metodo scientifico]],<ref>Staddon, John (2017). ''Scientific Method: How Science Works, Fails to Work or Pretends to Work''. Taylor and Francis.</ref> l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.<ref>{{Cita web|url=https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off|sito=The New Yorker|lingua=en|dataaccesso=2020-01-30}}</ref><ref>{{Cita web|url=https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt|sito=The New Yorker|lingua=en|dataaccesso=2020-01-30}}</ref>
Riga 53: Riga 53:


=== Nella medicina ===
=== Nella medicina ===
Su 49 studi medici dal 1990 al 2003 con più di 1000 citazioni, 45 hanno affermato che la terapia studiata era efficace. Di questi studi, il 16% è stato contraddetto da studi successivi, il 16% ha riscontrato effetti più forti rispetto a studi successivi, il 44% è stato replicato e il 24% è rimasto ampiamente incontrastato.<ref>{{Cita pubblicazione|autore=Ioannidis JA|data=13 July 2005|titolo=Contradicted and initially stronger effects in highly cited clinical research|rivista=JAMA|volume=294|numero=2|pp=218–228|doi=10.1001/jama.294.2.218|PMID=16014596}}</ref> La [[Food and Drug Administration|Food and Drug Administration degli Stati Uniti]] nel 1977-1990 ha riscontrato difetti nel 10-20% degli studi medici.<ref>{{Cita pubblicazione|autore=Glick|nome=J. Leslie|data=1992|titolo=Scientific data audit—A key management tool|rivista=Accountability in Research|volume=2|numero=3|pp=153–168|doi=10.1080/08989629208573811}}</ref> In un articolo pubblicato nel 2012, [[C. Glenn Begley]], un consulente biotecnologico che lavora presso [[Amgen]], e Lee Ellis, presso l'Università del Texas, hanno scoperto che solo l'11% di 53 studi preclinici sul cancro poteva essere replicato.<ref name="Begley-Lee2012">{{Cita pubblicazione|autore=Begley|nome=C. G.|autore2=Ellis|nome2=L. M.|anno=2012|titolo=Drug Development: Raise Standards for Preclinical Cancer Research|rivista=Nature|volume=483|numero=7391|pp=531–533|doi=10.1038/483531a|bibcode=2012Natur.483..531B|url=https://www.semanticscholar.org/paper/1a81d3d1e8a983e0551edf485f4ac1a8cdd7fea4|PMID=22460880}}</ref> Gli studi irriproducibili avevano una serie di caratteristiche in comune, incluso il fatto che gli studi non sono stati eseguiti da investigatori all'oscuro dei bracci sperimentali rispetto ai bracci di controllo, l'impossibilità di ripetere gli esperimenti, la mancanza di controlli positivi e negativi, la mancata visualizzazione di tutti i dati, uso inappropriato di test statistici e uso di reagenti non adeguatamente convalidati.<ref name="Begley2013">{{Cita pubblicazione|autore=Begley|nome=C. G.|anno=2013|titolo=Reproducibility: Six red flags for suspect work|rivista=Nature|volume=497|numero=7450|pp=433–434|doi=10.1038/497433a|bibcode=2013Natur.497..433B|PMID=23698428}}</ref>
Su 49 studi medici dal 1990 al 2003 con più di 1000 citazioni, 45 hanno affermato che la terapia studiata era efficace. Di questi studi, il 16% è stato contraddetto da studi successivi, il 16% ha riscontrato effetti più forti rispetto a studi successivi, il 44% è stato replicato e il 24% è rimasto ampiamente incontrastato.<ref>{{Cita pubblicazione|autore=Ioannidis JA|data=13 July 2005|titolo=Contradicted and initially stronger effects in highly cited clinical research|rivista=JAMA|volume=294|numero=2|pp=218–228|doi=10.1001/jama.294.2.218|PMID=16014596}}</ref> La [[Food and Drug Administration|Food and Drug Administration degli Stati Uniti]] nel 1977-1990 ha riscontrato difetti nel 10-20% degli studi medici.<ref>{{Cita pubblicazione|autore=Glick|nome=J. Leslie|data=1992|titolo=Scientific data audit—A key management tool|rivista=Accountability in Research|volume=2|numero=3|pp=153–168|doi=10.1080/08989629208573811}}</ref> In un articolo pubblicato nel 2012, [[C. Glenn Begley]], un consulente biotecnologico che lavora presso [[Amgen]], e Lee Ellis, presso l'Università del Texas, hanno scoperto che solo l'11% di 53 studi preclinici sul cancro poteva essere replicato.<ref name="Begley-Lee2012">{{Cita pubblicazione|autore=Begley|nome=C. G.|autore2=Ellis|nome2=L. M.|anno=2012|titolo=Drug Development: Raise Standards for Preclinical Cancer Research|rivista=Nature|volume=483|numero=7391|pp=531–533|doi=10.1038/483531a|bibcode=2012Natur.483..531B|url=https://www.semanticscholar.org/paper/1a81d3d1e8a983e0551edf485f4ac1a8cdd7fea4|PMID=22460880}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBegleyEllis2012">Begley, C. G.; Ellis, L. M. (2012). [https://www.semanticscholar.org/paper/1a81d3d1e8a983e0551edf485f4ac1a8cdd7fea4 "Drug Development: Raise Standards for Preclinical Cancer Research"]. ''Nature''. '''483''' (7391): 531–533. [[Bibcode]]:[https://ui.adsabs.harvard.edu/abs/2012Natur.483..531B 2012Natur.483..531B]. [[Digital object identifier|doi]]:[[doi:10.1038/483531a|10.1038/483531a]]. [[PubMed|PMID]]&nbsp;[//pubmed.ncbi.nlm.nih.gov/22460880 22460880]. [[Semantic Scholar|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:4326966 4326966].</cite></ref> Gli studi irriproducibili avevano una serie di caratteristiche in comune, incluso il fatto che gli studi non sono stati eseguiti da investigatori all'oscuro dei bracci sperimentali rispetto ai bracci di controllo, l'impossibilità di ripetere gli esperimenti, la mancanza di controlli positivi e negativi, la mancata visualizzazione di tutti i dati, uso inappropriato di test statistici e uso di reagenti non adeguatamente convalidati.<ref name="Begley2013">{{Cita pubblicazione|autore=Begley|nome=C. G.|anno=2013|titolo=Reproducibility: Six red flags for suspect work|rivista=Nature|volume=497|numero=7450|pp=433–434|doi=10.1038/497433a|bibcode=2013Natur.497..433B|PMID=23698428}}</ref>

Un sondaggio sui ricercatori sul cancro ha scoperto che la metà di loro non era stata in grado di riprodurre un risultato pubblicato.<ref>{{Cita pubblicazione|autore=Mobley|nome=A.|autore2=Linder|autore3=Braeuer|nome2=S. K.|nome3=R.|anno=2013|titolo=A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic|rivista=PLOS ONE|volume=8|numero=5|p=e63221|doi=10.1371/journal.pone.0063221|bibcode=2013PLoSO...863221M|PMID=23691000}}</ref> Un'indagine simile di ''Nature'' su 1.576 ricercatori che hanno compilato un breve questionario online sulla riproducibilità ha mostrato che oltre il 70% dei ricercatori ha provato e non è riuscito a riprodurre gli esperimenti di un altro scienziato e più della metà non è riuscita a riprodurre i propri esperimenti. "Sebbene il 52% degli intervistati concordi sull'esistenza di una significativa 'crisi' di riproducibilità, meno del 31% pensa che la mancata riproduzione dei risultati pubblicati significhi che il risultato è probabilmente sbagliato e la maggior parte afferma di fidarsi ancora della letteratura pubblicata".<ref>{{Cita pubblicazione|autore=Baker|nome=Monya|anno=2016|titolo=1,500 scientists lift the lid on reproducibility|rivista=Nature|volume=533|numero=7604|pp=452–454|doi=10.1038/533452a|bibcode=2016Natur.533..452B|PMID=27225100}}</ref>

Un articolo del 2016 di [[John P. A. Ioannidis|John Ioannidis]], professore di medicina e di ricerca e politica sanitaria presso la Stanford University School of Medicine e professore di statistica presso la Stanford University School of Humanities and Sciences, elaborato su "Perché la maggior parte della ricerca clinica non è utile".<ref name="Ioannidis2016">{{Cita pubblicazione|autore=Ioannidis|nome=JPA|anno=2016|titolo=Why Most Clinical Research Is Not Useful|rivista=PLOS Med|volume=13|numero=6|p=e1002049|doi=10.1371/journal.pmed.1002049|PMID=27328301}}</ref> Nell'articolo Ioannidis ha esposto alcuni problemi e ha invitato alla riforma, caratterizzando alcuni punti affinché la ricerca medica torni ad essere utile; un esempio che ha fatto è stata la necessità che la medicina sia "centrata sul paziente" (ad esempio nella forma dell'Istituto di ricerca sui risultati centrati sul paziente) invece della pratica attuale di prendersi cura principalmente delle "esigenze di medici, ricercatori o sponsor" .

=== Nel marketing ===
Il marketing è un'altra disciplina con un "disperato bisogno" di replica.<ref>{{Cita pubblicazione|autore=Hunter|nome=John E.|data=2001-06-01|titolo=The desperate need for replications|rivista=Journal of Consumer Research|volume=28|numero=1|pp=149–158|doi=10.1086/321953}}</ref> Molti famosi studi di marketing non vengono ripetuti dopo la replica, un esempio notevole è l'"[[Overchoice|effetto "troppe scelte]]", in cui un numero elevato di scelte di prodotto rende un consumatore meno propenso all'acquisto <ref>{{Cita pubblicazione|autore=Armstrong|nome=J.|autore2=Green|nome2=Kesten|data=2017-01-24|titolo=Guidelines for Science: Evidence and Checklists|rivista=Marketing Papers|url=https://repository.upenn.edu/marketing_papers/181/}}</ref> Oltre agli argomenti menzionati in precedenza, sono necessari studi di replica nel marketing per esaminare l'applicabilità di teorie e modelli tra paesi e culture, che è particolarmente importante a causa delle possibili influenze della [[globalizzazione]].<ref>{{Cita pubblicazione|autore=Aichner|nome=Thomas|autore2=Coletti|autore3=Forza|nome2=Paolo|nome3=Cipriano|data=2016-03-22|titolo=Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study|rivista=Journal of Global Marketing|volume=29|numero=3|pp=115–127|doi=10.1080/08911762.2015.1138012}}</ref>

=== In economia ===
Uno studio del 2016 sulla rivista ''Science ha'' rilevato che un terzo dei 18 studi sperimentali di due riviste economiche di alto livello ( ''[[Rivista economica americana American|American Economic Review]]'' e ''[[Quarterly Journal of Economics]]'') non è riuscito a replicarsi con successo.<ref>{{Cita pubblicazione|autore=Camerer|nome=Colin F.|autore2=Dreber|autore3=Forsell|nome2=Anna|nome3=Eskil|data=2016-03-25|titolo=Evaluating replicability of laboratory experiments in economics|rivista=Science|volume=351|numero=6280|pp=1433–1436|lingua=en|doi=10.1126/science.aaf0918|bibcode=2016Sci...351.1433C|PMID=26940865|issn=0036-8075}}</ref><ref>{{Cita web|url=https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey|sito=Science|lingua=en|dataaccesso=2017-10-25}}</ref> Uno studio del 2017 sull'''[[The Economic Journal|Economic Journal]]'' ha suggerito che "la maggior parte degli effetti medi nella letteratura economica empirica è esagerata di un fattore di almeno 2 e almeno un terzo è esagerata di un fattore di 4 o più".<ref>{{Cita pubblicazione|autore=Ioannidis|nome=John P. A.|autore2=Stanley|autore3=Doucouliagos|nome2=T. D.|nome3=Hristos|data=2017-10-01|titolo=The Power of Bias in Economics Research|rivista=The Economic Journal|volume=127|numero=605|pp=F236–F265|lingua=en|doi=10.1111/ecoj.12461|issn=1468-0297}}</ref>


== Implicazioni per l'industria farmaceutica ==
== Implicazioni per l'industria farmaceutica ==

Versione delle 09:33, 7 giu 2021

Ioannidis (2005), " Perché i risultati delle ricerche più pubblicate sono falsi ". [1]

La crisi della replicazione (chiamata anche crisi della replicabilità e crisi della riproducibilità) è una crisi metodologica per cui è stato riscontrato che molti studi scientifici sono difficili o impossibili da replicare o riprodurre. La crisi della replicazione colpisce più gravemente le scienze sociali e la medicina,[2][3] mentre i dati delle rilevazioni indicano fortemente che anche tutte le scienze naturali sono probabilmente implicate.[4] La frase è stata coniata nei primi anni 2010[5] come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze . [6]

Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del metodo scientifico,[7] l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.[8][9]

Nelle scienze

In generale

Un sondaggio del 2016 su 1.500 scienziati condotto da Nature ha riferito che il 70% di loro non era riuscito a riprodurre almeno l'esperimento di un altro scienziato (compreso l'87% dei chimici, il 77% dei biologi, il 69% dei fisici e degli ingegneri, il 67% dei ricercatori medici, il 64% degli scienziati della terra e dell'ambiente e il 62% di tutti gli altri), mentre il 50% non era riuscito a riprodurre uno dei propri esperimenti e meno del 20% era mai stato contattato da un altro ricercatore incapace di riprodurre il proprio lavoro. Solo una minoranza aveva tentato di pubblicare una replica, e mentre il 24% era stato in grado di pubblicare una replica riuscita, solo il 13% aveva pubblicato una replica fallita, e diversi intervistati che avevano pubblicato repliche fallite hanno notato che editori e revisori hanno chiesto di riprodurre confronto con gli studi originali.[4][10] Nel 2009, il 2% degli scienziati ha ammesso di aver falsificato studi almeno una volta e il 14% ha ammesso di conoscere personalmente qualcuno che l'ha fatto. Secondo uno studio, tale cattiva condotta è stata segnalata più frequentemente dai ricercatori medici che da altri.[11]

Nella psicologia

Diversi fattori combinati hanno contribuito a mettere la psicologia la centro della controversia.[12][13]Sono particolarmente coinvolte la psicologia sociale,[14] oltre alla psicologia clinica,[15][16] la psicologia dello sviluppo,[17] e la ricerca educazionale.[18][19]

In primo luogo, le pratiche di ricerca discutibili (PRD) sono state identificate come comuni nel settore. Tali pratiche, pur non essendo intenzionalmente fraudolente, comportano la capitalizzazione dell'area grigia delle pratiche scientifiche accettabili o lo sfruttamento della flessibilità nella raccolta, analisi e segnalazione dei dati, spesso nel tentativo di ottenere un risultato desiderato. Esempi di QRP includono la segnalazione selettiva o la pubblicazione parziale dei dati (riportando solo alcune delle condizioni di studio o le misure dipendenti raccolte in una pubblicazione), l'interruzione facoltativa (scegliere quando interrompere la raccolta dei dati, spesso basata sulla significatività statistica dei test), inquadratura di analisi esplorative come analisi di conferma e manipolazione di outlier (rimuovendo outlier o lasciando outlier in un set di dati per rendere significativo un test statistico).[20][21][22][23] Un sondaggio di oltre 2.000 psicologi ha indicato che la maggioranza degli intervistati ha ammesso di utilizzare almeno un PRD. Il bias di pubblicazione porta a un numero elevato di risultati falsi positivi. È accresciuto dalla pressione alla pubblicazione, nonché dal pregiudizio di conferma dell'autore stesso ed è un rischio intrinseco nel campo, che richiede un certo grado di scetticismo da parte dei lettori.[24]

In secondo luogo, la psicologia e la psicologia sociale in particolare, si sono trovate al centro di numerosi scandali che hanno coinvolto ricerche completamente fraudolente, in particolare l'ammessa fabbricazione di dati da parte di Diederik Stapel[25] e accuse contro altri. Tuttavia, la maggior parte degli studiosi riconoscono che la frode è, forse, il contributo minore alle crisi di replica.

In terzo luogo, è stato riscontrato che diversi effetti nella scienza psicologica sono difficili da replicare anche prima dell'attuale crisi di replicazione. Ad esempio, la rivista scientifica Judgment and Decision Making ha pubblicato diversi studi nel corso degli anni che non riescono a fornire supporto alla teoria del pensiero inconscio. Le repliche appaiono particolarmente difficili quando le sperimentazioni di ricerca sono preregistrate e condotte da gruppi di ricerca non molto coinvolti nella teoria in discussione.

Questi tre elementi insieme hanno portato a una rinnovata attenzione per la replicazione sostenuta dallo psicologo Daniel Kahneman.[26] L'esame accurato di molti effetti ha dimostrato che diverse convinzioni fondamentali sono difficili da replicare. Un'edizione speciale del 2014 della rivista Social Psychology si è concentrata sugli studi di replicazione e si è scoperto che una serie di credenze precedentemente sostenute era difficile da replicare.[27] Anche un'edizione speciale del 2012 della rivista Perspectives on Psychological Science si è concentrata su questioni che vanno dal bias di pubblicazione all'avversione al "null" che contribuiscono alle crisi di replicazione in psicologia.[28] Nel 2015 è stato pubblicato il primo studio empirico aperto sulla riproducibilità in psicologia, chiamato Reproducibility Project. Ricercatori di tutto il mondo hanno collaborato per replicare 100 studi empirici di tre importanti riviste di psicologia. Meno della metà dei tentativi di replica ha avuto successo nel produrre risultati statisticamente significativi nelle direzioni previste, sebbene la maggior parte delle repliche tentate abbia prodotto tendenze nelle direzioni previste.[29]

Molti studi di ricerca e meta-analisi sono compromessi da scarsa qualità e conflitti di interesse che coinvolgono sia gli autori che le organizzazioni professionali di advocacy, risultando in molti falsi positivi per quanto riguarda l'efficacia di alcuni tipi di psicoterapia.[30]

Sebbene il quotidiano britannico The Independent abbia scritto che i risultati del progetto di riproducibilità mostrano che gran parte della ricerca pubblicata è solo "psico-balbettio",[31] la crisi della replicazione non significa necessariamente che la psicologia non sia scientifica.[32][33][34] Piuttosto questo processo fa parte del processo scientifico in cui vengono potate le vecchie idee o quelle che non possono resistere a un attento esame,[35][36] sebbene questo processo di potatura non sia sempre efficace.[37][38] La conseguenza è che alcune aree della psicologia una volta considerate solide, come il priming sociale, sono state oggetto di un maggiore controllo a causa di repliche fallite.[39]

Il premio Nobel e professore emerito in psicologia Daniel Kahneman ha sostenuto che gli autori originali dovrebbero essere coinvolti nello sforzo di replica perché i metodi pubblicati sono spesso troppo vaghi.[40] Altri, come Andrew Wilson, non sono d'accordo, sostenendo che i metodi dovrebbero essere scritti in dettaglio. Un'indagine sui tassi di replicazione in psicologia nel 2012 ha indicato tassi di replicazione di successo più elevati negli studi di replicazione quando c'era sovrapposizione dell'autore con gli autori originali di uno studio[41] (tassi di replicazione di successo del 91,7% negli studi con sovrapposizione dell'autore rispetto al 64,6% di replica di successo tariffe senza sovrapposizione di autori).

L'attenzione alla crisi della replica ha portato ad altri rinnovati sforzi nella disciplina per riesaminare importanti risultati.[24][42] In risposta alle preoccupazioni circa il bias di pubblicazione e il p-hacking, più di 140 riviste di psicologia hanno adottato una revisione tra pari cieca dei risultati in cui gli studi sono accettati non sulla base dei loro risultati e dopo che gli studi sono stati completati, ma prima che gli studi siano condotti e dopo la base del rigore metodologico dei loro disegni sperimentali e le giustificazioni teoriche per le loro tecniche di analisi statistica prima della raccolta o dell'analisi dei dati.[43] L'analisi iniziale di questa procedura ha stimato che il 61 percento degli studi in cieco sui risultati ha portato a risultati nulli, in contrasto con una stima dal 5 al 20 percento nelle ricerche precedenti.[44] Inoltre, nel settore sono diventate molto più comuni collaborazioni su larga scala tra ricercatori che lavorano in più laboratori in diversi paesi e che rendono regolarmente disponibili i loro dati per la valutazione di diversi ricercatori.[45]

Tassi di replicazione della psicologia

Un rapporto della Open Science Collaboration nell'agosto 2015 coordinato da Brian Nosek ha stimato la riproducibilità di 100 studi in scienze psicologiche da tre riviste di psicologia di alto livello.[46] Complessivamente, il 36% delle repliche ha prodotto risultati significativi ( valore p inferiore a 0,05) rispetto al 97% degli studi originali che hanno avuto effetti significativi. La dimensione media dell'effetto nelle repliche era circa la metà dell'entità degli effetti riportati negli studi originali.

Lo stesso articolo ha esaminato i tassi di riproducibilità e le dimensioni degli effetti per rivista ( Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, Psychological Science) e disciplina (psicologia sociale, psicologia dello sviluppo). I tassi di replicazione dello studio erano del 23% per JPSP, del 48% per JEP:LMC e del 38% per PSCI. Gli studi nel campo della psicologia cognitiva hanno avuto un tasso di replica più elevato (50%) rispetto agli studi nel campo della psicologia sociale (25%).[47]

Un'analisi della cronologia delle pubblicazioni nelle prime 100 riviste di psicologia tra il 1900 e il 2012 ha indicato che circa l'1,6% di tutte le pubblicazioni di psicologia erano tentativi di replica.[41] Gli articoli erano considerati un tentativo di replica se nel testo compariva il termine "replica". Un sottoinsieme di questi studi (500 studi) è stato selezionato casualmente per ulteriori esami e ha prodotto un tasso di replicazione inferiore dell'1,07% (342 dei 500 studi erano in realtà repliche). Nel sottoinsieme di 500 studi, l'analisi ha indicato che il 78,9% dei tentativi di replica pubblicati ha avuto successo.

Uno studio pubblicato nel 2018 su Nature Human Behavior ha cercato di replicare 21 articoli di scienze sociali e comportamentali di Nature and Science, scoprendo che solo 13 potrebbero essere replicati con successo.[48][49] Allo stesso modo, in uno studio condotto sotto gli auspici del Center for Open Science, un team di 186 ricercatori provenienti da 60 diversi laboratori (in rappresentanza di 36 diverse nazionalità provenienti da 6 diversi continenti) ha condotto repliche di 28 scoperte classiche e contemporanee in psicologia.[50] Il focus dello studio non era solo sulla replica o meno dei risultati dei documenti originali, ma anche sulla misura in cui i risultati variavano in funzione delle variazioni nei campioni e nei contesti. Nel complesso, 14 dei 28 risultati non sono stati replicati nonostante le enormi dimensioni del campione. Tuttavia, se un risultato si replicava, si replicava nella maggior parte dei campioni, mentre se un risultato non veniva replicato, non riusciva a replicarsi con poche variazioni tra campioni e contesti. Questa prova è incoerente con una spiegazione popolare secondo cui i fallimenti nella replicazione in psicologia sono probabilmente dovuti a cambiamenti nel campione tra lo studio originale e quello di replica.[51]

Un dilemma sociale

Evidenziando la struttura sociale che scoraggia la replicazione in psicologia, Brian D. Earp e Jim AC Everett hanno elencato cinque punti sul perché i tentativi di replicazione sono rari:[52][53]

  1. "Le repliche indipendenti e dirette dei risultati di altri possono richiedere molto tempo per il ricercatore che replica"
  2. "Le repliche rischiano di sottrarre energia e risorse direttamente ad altri progetti che riflettono il proprio pensiero originale"
  3. "Le repliche sono generalmente più difficili da pubblicare (in gran parte perché sono considerate non originali)"
  4. "Anche se replicazioni vengono pubblicate, è probabile che vengano viste come esercizi di 'fortificazione', piuttosto che come importanti contributi al campo"
  5. "Le repliche portano ai loro autori meno riconoscimenti e ricompense, e persino una sicurezza di base nella carriera"[54]

Per questi motivi gli autori hanno sostenuto che la psicologia si trova di fronte a un dilemma sociale, in cui gli interessi della disciplina sono in contrasto con gli interessi del singolo ricercatore.

Polemica sul "terrorismo metodologico"

Con la crisi di replica della psicologia che ha attirato l'attenzione, la psicologa della Princeton University Susan Fiske ha suscitato polemiche per aver criticato aspramente questi studi sulla psicologia.[55][56][57][58] Ha etichettato questi "avversari" non identificati con nomi come "terrorista metodologico" e "polizia dei dati autoproclamata", e ha affermato che le critiche alla psicologia dovrebbero essere espresse solo in privato o contattando le riviste. Lo statistico e politologo della Columbia University Andrew Gelman, ha risposto a Fiske, dicendo che si era trovata disposta a tollerare il "paradigma morente" delle statistiche errate e si era rifiutata di ritrattare le pubblicazioni anche quando venivano segnalati errori.[59] Ha aggiunto che il suo incarico come editore è stato pessimo e che un certo numero di articoli pubblicati da lei modificati sono risultati basati su statistiche estremamente deboli; uno degli articoli pubblicati da Fiske conteneva un grave errore statistico e conclusioni "impossibili".

Nella medicina

Su 49 studi medici dal 1990 al 2003 con più di 1000 citazioni, 45 hanno affermato che la terapia studiata era efficace. Di questi studi, il 16% è stato contraddetto da studi successivi, il 16% ha riscontrato effetti più forti rispetto a studi successivi, il 44% è stato replicato e il 24% è rimasto ampiamente incontrastato.[60] La Food and Drug Administration degli Stati Uniti nel 1977-1990 ha riscontrato difetti nel 10-20% degli studi medici.[61] In un articolo pubblicato nel 2012, C. Glenn Begley, un consulente biotecnologico che lavora presso Amgen, e Lee Ellis, presso l'Università del Texas, hanno scoperto che solo l'11% di 53 studi preclinici sul cancro poteva essere replicato.[62] Gli studi irriproducibili avevano una serie di caratteristiche in comune, incluso il fatto che gli studi non sono stati eseguiti da investigatori all'oscuro dei bracci sperimentali rispetto ai bracci di controllo, l'impossibilità di ripetere gli esperimenti, la mancanza di controlli positivi e negativi, la mancata visualizzazione di tutti i dati, uso inappropriato di test statistici e uso di reagenti non adeguatamente convalidati.[63]

Un sondaggio sui ricercatori sul cancro ha scoperto che la metà di loro non era stata in grado di riprodurre un risultato pubblicato.[64] Un'indagine simile di Nature su 1.576 ricercatori che hanno compilato un breve questionario online sulla riproducibilità ha mostrato che oltre il 70% dei ricercatori ha provato e non è riuscito a riprodurre gli esperimenti di un altro scienziato e più della metà non è riuscita a riprodurre i propri esperimenti. "Sebbene il 52% degli intervistati concordi sull'esistenza di una significativa 'crisi' di riproducibilità, meno del 31% pensa che la mancata riproduzione dei risultati pubblicati significhi che il risultato è probabilmente sbagliato e la maggior parte afferma di fidarsi ancora della letteratura pubblicata".[65]

Un articolo del 2016 di John Ioannidis, professore di medicina e di ricerca e politica sanitaria presso la Stanford University School of Medicine e professore di statistica presso la Stanford University School of Humanities and Sciences, elaborato su "Perché la maggior parte della ricerca clinica non è utile".[66] Nell'articolo Ioannidis ha esposto alcuni problemi e ha invitato alla riforma, caratterizzando alcuni punti affinché la ricerca medica torni ad essere utile; un esempio che ha fatto è stata la necessità che la medicina sia "centrata sul paziente" (ad esempio nella forma dell'Istituto di ricerca sui risultati centrati sul paziente) invece della pratica attuale di prendersi cura principalmente delle "esigenze di medici, ricercatori o sponsor" .

Nel marketing

Il marketing è un'altra disciplina con un "disperato bisogno" di replica.[67] Molti famosi studi di marketing non vengono ripetuti dopo la replica, un esempio notevole è l'"effetto "troppe scelte", in cui un numero elevato di scelte di prodotto rende un consumatore meno propenso all'acquisto [68] Oltre agli argomenti menzionati in precedenza, sono necessari studi di replica nel marketing per esaminare l'applicabilità di teorie e modelli tra paesi e culture, che è particolarmente importante a causa delle possibili influenze della globalizzazione.[69]

In economia

Uno studio del 2016 sulla rivista Science ha rilevato che un terzo dei 18 studi sperimentali di due riviste economiche di alto livello ( American Economic Review e Quarterly Journal of Economics) non è riuscito a replicarsi con successo.[70][71] Uno studio del 2017 sull'Economic Journal ha suggerito che "la maggior parte degli effetti medi nella letteratura economica empirica è esagerata di un fattore di almeno 2 e almeno un terzo è esagerata di un fattore di 4 o più".[72]

Implicazioni per l'industria farmaceutica

Le aziende farmaceutiche mantengono laboratori di ricerca o stipulano contratti con fornitori di servizi di ricerca privati il cui compito è replicare studi accademici, al fine di testare se sono accurati prima di investire o provare a sviluppare un nuovo farmaco basato su tale ricerca. La posta in gioco finanziaria è alta per l'azienda e gli investitori, quindi è conveniente per loro investire in repliche esatte.[73] Inoltre, eseguire una replica richiede non solo competenze generiche nella metodologia di ricerca, ma anche competenze specifiche nell'argomento di interesse spesso ristretto. A volte la ricerca richiede competenze e conoscenze tecniche specifiche e solo i ricercatori dedicati a un'area ristretta di ricerca potrebbero avere tali competenze. In questo momento, le agenzie di finanziamento sono raramente interessate a finanziare studi di replica e la maggior parte delle riviste scientifiche non è interessata a pubblicare tali risultati. I ricercatori sul cancro di Amgen Oncology sono stati in grado di replicare solo l'11% dei 53 studi innovativi che hanno scelto di perseguire in un periodo di 10 anni;[62] un'analisi del 2011 condotta da ricercatori con l'azienda farmaceutica Bayer ha rilevato che i risultati interni dell'azienda concordavano con i risultati originali solo un quarto delle volte, al massimo.[74] L'analisi ha anche rivelato che, quando gli scienziati erano in grado di riprodurre un risultato in un esperimento di replicazione diretta, tendeva a tradursi bene in applicazioni cliniche; il che significa che la riproducibilità è un utile indicatore del potenziale clinico.

Voci correlate

Note

 

  1. ^ John P. A. Ioannidis, Why Most Published Research Findings Are False, in PLOS Medicine, vol. 2, n. 8, August 1, 2005, pp. e124, DOI:10.1371/journal.pmed.0020124, ISSN 1549-1277 (WC · ACNP), PMID 16060722.
  2. ^ J. W. Schooler, Metascience could rescue the 'replication crisis', in Nature, vol. 515, n. 7525, 2014, p. 9, Bibcode:2014Natur.515....9S, DOI:10.1038/515009a, PMID 25373639.
  3. ^ Bloomberg, https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant. URL consultato il 7 November 2017.
  4. ^ a b Monya Baker, 1,500 scientists lift the lid on reproducibility, vol. 533, Springer Nature, 25 May 2016, pp. 452–454. URL consultato il May 21, 2021. Errore nelle note: Tag <ref> non valido; il nome "Nature 5-25-2016" è stato definito più volte con contenuti diversi
  5. ^ Harold Pashler e Eric Jan Wagenmakers, Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, pp. 528–530, DOI:10.1177/1745691612465253, PMID 26168108.
  6. ^ The Stanford Encyclopedia of Philosophy, https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris. URL consultato il 19 May 2019.
  7. ^ Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis.
  8. ^ (EN) The New Yorker, https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off. URL consultato il 30 gennaio 2020.
  9. ^ (EN) The New Yorker, https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt. URL consultato il 30 gennaio 2020.
  10. ^ (EN) Nature Video, Scientific American, https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/. URL consultato il 15 August 2019.
  11. ^ Daniele Fanelli, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data, in PLOS ONE, vol. 4, n. 5, 29 May 2009, pp. e5738, Bibcode:2009PLoSO...4.5738F, DOI:10.1371/journal.pone.0005738, PMID 19478950.
  12. ^ The Washington Post, https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/. URL consultato il 10 September 2015.
  13. ^ (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018, pp. 1325–1346, DOI:10.1037/bul0000169, ISSN 1939-1455 (WC · ACNP), PMID 30321017.
  14. ^ (EN) Susan Dominus, When the Revolution Came for Amy Cuddy, in The New York Times, 18 ottobre 2017, ISSN 0362-4331 (WC · ACNP). URL consultato il 19 ottobre 2017.
  15. ^ Falk Leichsenring, Allan Abbass e Mark J. Hilsenroth, Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research, in Psychological Medicine, vol. 47, n. 6, April 2017, pp. 1000–1011, DOI:10.1017/S003329171600324X, PMID 27955715.
  16. ^ Michael P. Hengartner, Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?, in Frontiers in Psychology, vol. 9, Frontiers Media, February 28, 2018, p. 256, DOI:10.3389/fpsyg.2018.00256, PMID 29541051.
  17. ^ Michael C. Frank, Elika Bergelson e Christina Bergmann, A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building, in Infancy, vol. 22, n. 4, 9 March 2017, pp. 421–435, DOI:10.1111/infa.12182, PMID 31772509.
  18. ^ Charlie Tyson, Failure to Replicate, in Inside Higher Ed, 14 August 2014. URL consultato il 19 December 2018.
  19. ^ Matthew C. Makel e Jonathan A. Plucker, Facts Are More Important Than Novelty: Replication in the Education Sciences, in Educational Researcher, vol. 43, n. 6, 1º August 2014, pp. 304–316, DOI:10.3102/0013189X14545513. URL consultato il 19 December 2018.
  20. ^ Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling (PDF), in Psychological Science, vol. 23, n. 5, 1º maggio 2012, pp. 524–532, DOI:10.1177/0956797611430953, ISSN 0956-7976 (WC · ACNP), PMID 22508865.
  21. ^ Neuroskeptic, The Nine Circles of Scientific Hell, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 643–644, DOI:10.1177/1745691612459519, ISSN 1745-6916 (WC · ACNP), PMID 26168124.
  22. ^ www.vib.be, http://www.vib.be/en/news/Pages/Research-misconduct---The-grey-area-of-Questionable-Research-Practices.aspx. URL consultato il 13 novembre 2015.
  23. ^ Klaus Fiedler e Norbert Schwarz, Questionable Research Practices Revisited, in Social Psychological and Personality Science, vol. 7, 19 ottobre 2015, pp. 45–52, DOI:10.1177/1948550615612150, ISSN 1948-5506 (WC · ACNP).
  24. ^ a b Joseph Simmons, Leif Nelson e Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, in Psychological Science, vol. 22, n. 11, November 2011, pp. 1359–1366, DOI:10.1177/0956797611417632, ISSN 0956-7976 (WC · ACNP), PMID 22006061. Errore nelle note: Tag <ref> non valido; il nome "Simmons et al. (2011)" è stato definito più volte con contenuti diversi
  25. ^ Christopher Shea, Fraud Scandal Fuels Debate Over Practices of Social Psychology, in The Chronicle of Higher Education, 13 November 2011.
  26. ^ Daniel Kahneman, A New Etiquette for Replication, in Social Psychology, vol. 45, n. 4, 2014, pp. 310–311, DOI:10.1027/1864-9335/a000202.
  27. ^ Table of contents, in Social Psychology, vol. 45, n. 3, 2014, ISSN 1864-9335 (WC · ACNP).
  28. ^ Table of contents, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, ISSN 1745-6916 (WC · ACNP).
  29. ^ Open Science Collaboration, Estimating the reproducibility of Psychological Science (PDF), in Science, vol. 349, n. 6251, 2015, pp. aac4716, DOI:10.1126/science.aac4716, PMID 26315443.
  30. ^ blogs.plos.org, http://blogs.plos.org/mindthebrain/2014/04/15/meta-analyses-conducted-professional-organizations-trustworthy/. URL consultato il September 13, 2016.
  31. ^ Steve Connor, Study reveals that a lot of psychology research really is just 'psycho-babble', in The Independent, London, 27 August 2015.
  32. ^ Slate, http://www.slate.com/articles/health_and_science/science/2014/07/replication_controversy_in_psychology_bullying_file_drawer_effect_blog_posts.single.html.
  33. ^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/science-isnt-broken/. URL consultato il 30 gennaio 2020.
  34. ^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/psychology-is-starting-to-deal-with-its-replication-problem/. URL consultato il 30 gennaio 2020.
  35. ^ Pete Etchells, Psychology's replication drive: it's not about you, in The Guardian, 28 May 2014.
  36. ^ Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, An Agenda for Purely Confirmatory Research, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 632–638, DOI:10.1177/1745691612463078, ISSN 1745-6916 (WC · ACNP), PMID 26168122.
  37. ^ John P. A. Ioannidis, Why Science Is Not Necessarily Self-Correcting, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 645–654, DOI:10.1177/1745691612464056, ISSN 1745-6916 (WC · ACNP), PMID 26168125.
  38. ^ Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 531–536, DOI:10.1177/1745691612463401, ISSN 1745-6916 (WC · ACNP), PMID 26168109.
  39. ^ Tom Bartlett, Power of Suggestion, in The Chronicle of Higher Education, 30 January 2013.
  40. ^ Chris Chambers, Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?, in The Guardian, 10 June 2014.
  41. ^ a b Matthew C. Makel, Jonathan A. Plucker e Boyd Hegarty, Replications in Psychology Research How Often Do They Really Occur?, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 537–542, DOI:10.1177/1745691612460688, ISSN 1745-6916 (WC · ACNP), PMID 26168110. Errore nelle note: Tag <ref> non valido; il nome ":1" è stato definito più volte con contenuti diversi
  42. ^ Wolfgang Stroebe e Fritz Strack, The Alleged Crisis and the Illusion of Exact Replication (PDF), in Perspectives on Psychological Science, vol. 9, n. 1, 2014, pp. 59–71, DOI:10.1177/1745691613514450, PMID 26173241.
  43. ^ Christie Aschwanden, Psychology's Replication Crisis Has Made The Field Better, in FiveThirtyEight, 6 December 2018. URL consultato il 19 December 2018.
  44. ^ Christopher P G. Allen e David Marc Anton Mehler, Open Science challenges, benefits and tips in early career and beyond, DOI:10.31234/osf.io/3czyt.
  45. ^ vol. 31, https://www.psychologicalscience.org/observer/the-cooperative-revolution-is-making-psychological-science-better.
  46. ^ Open Science Collaboration, Estimating the reproducibility of psychological science (PDF), in Science, vol. 349, n. 6251, 28 agosto 2015, pp. aac4716, DOI:10.1126/science.aac4716, ISSN 0036-8075 (WC · ACNP), PMID 26315443.
  47. ^ mfr.osf.io, https://mfr.osf.io/render?url=https://osf.io/jq7v6/?action=download%26mode=render. URL consultato il 16 October 2019.
  48. ^ (EN) Adam Roger, The Science Behind Social Science Gets Shaken Up—Again, in Wired, 27 agosto 2018. URL consultato il 28 agosto 2018.
  49. ^ Colin F. Camerer, Anna Dreber e Felix Holzmeister, Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 (PDF), in Nature Human Behaviour, vol. 2, n. 9, 27 August 2018, pp. 637–644, DOI:10.1038/s41562-018-0399-z, PMID 31346273.
  50. ^ R.A. Klein, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings, in Advances in Methods and Practices in Psychological Science, vol. 1, n. 4, 2018, pp. 443–490, DOI:10.1177/2515245918810225.
  51. ^ Tomasz Witkowski, Is the glass half empty or half full? Latest results in the replication crisis in Psychology (PDF), in Skeptical Inquirer, vol. 43, n. 2, 2019, pp. 5–6 (archiviato dall'url originale il 30 gennaio 2020).
  52. ^ (EN) Brian D. Earp e David Trafimow, Replication, falsification, and the crisis of confidence in social psychology, in Frontiers in Psychology, vol. 6, 2015, p. 621, DOI:10.3389/fpsyg.2015.00621, ISSN 1664-1078 (WC · ACNP), PMID 26042061.
  53. ^ Jim Albert Charlton Everett e Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 1º gennaio 2015, p. 1152, DOI:10.3389/fpsyg.2015.01152, PMID 26300832.
  54. ^ spsp.org, http://www.spsp.org/blog/resolving-replication-crisis-social-psychology. URL consultato il 18 novembre 2015.
  55. ^ Business Insider, https://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9. URL consultato il 30 gennaio 2020.
  56. ^ (EN) Draft of Observer Column Sparks Strong Social Media Response, in Association for Psychological Science. URL consultato il 4 ottobre 2017.
  57. ^ (EN) Susan T. Fiske, A Call to Change Science's Culture of Shaming, in APS Observer, vol. 29, n. 9, 31 ottobre 2016.
  58. ^ (EN) Jesse Singal, Inside Psychology's 'Methodological Terrorism' Debate, in NY Mag, 12 ottobre 2016. URL consultato il 4 ottobre 2017.
  59. ^ (EN) BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science, in Statistical Modeling, Causal Inference, and Social Science, 4 ottobre 2017. URL consultato il 4 ottobre 2017.
  60. ^ Ioannidis JA, Contradicted and initially stronger effects in highly cited clinical research, in JAMA, vol. 294, n. 2, 13 July 2005, pp. 218–228, DOI:10.1001/jama.294.2.218, PMID 16014596.
  61. ^ J. Leslie Glick, Scientific data audit—A key management tool, in Accountability in Research, vol. 2, n. 3, 1992, pp. 153–168, DOI:10.1080/08989629208573811.
  62. ^ a b C. G. Begley e L. M. Ellis, Drug Development: Raise Standards for Preclinical Cancer Research, in Nature, vol. 483, n. 7391, 2012, pp. 531–533, Bibcode:2012Natur.483..531B, DOI:10.1038/483531a, PMID 22460880.Begley, C. G.; Ellis, L. M. (2012). "Drug Development: Raise Standards for Preclinical Cancer Research". Nature. 483 (7391): 531–533. Bibcode:2012Natur.483..531B. doi:10.1038/483531a. PMID 22460880. S2CID 4326966. Errore nelle note: Tag <ref> non valido; il nome "Begley-Lee2012" è stato definito più volte con contenuti diversi
  63. ^ C. G. Begley, Reproducibility: Six red flags for suspect work, in Nature, vol. 497, n. 7450, 2013, pp. 433–434, Bibcode:2013Natur.497..433B, DOI:10.1038/497433a, PMID 23698428.
  64. ^ A. Mobley, S. K. Linder e R. Braeuer, A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic, in PLOS ONE, vol. 8, n. 5, 2013, p. e63221, Bibcode:2013PLoSO...863221M, DOI:10.1371/journal.pone.0063221, PMID 23691000.
  65. ^ Monya Baker, 1,500 scientists lift the lid on reproducibility, in Nature, vol. 533, n. 7604, 2016, pp. 452–454, Bibcode:2016Natur.533..452B, DOI:10.1038/533452a, PMID 27225100.
  66. ^ JPA Ioannidis, Why Most Clinical Research Is Not Useful, in PLOS Med, vol. 13, n. 6, 2016, p. e1002049, DOI:10.1371/journal.pmed.1002049, PMID 27328301.
  67. ^ John E. Hunter, The desperate need for replications, in Journal of Consumer Research, vol. 28, n. 1, 1º giugno 2001, pp. 149–158, DOI:10.1086/321953.
  68. ^ J. Armstrong e Kesten Green, Guidelines for Science: Evidence and Checklists, in Marketing Papers, 24 gennaio 2017.
  69. ^ Thomas Aichner, Paolo Coletti e Cipriano Forza, Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study, in Journal of Global Marketing, vol. 29, n. 3, 22 marzo 2016, pp. 115–127, DOI:10.1080/08911762.2015.1138012.
  70. ^ (EN) Colin F. Camerer, Anna Dreber e Eskil Forsell, Evaluating replicability of laboratory experiments in economics, in Science, vol. 351, n. 6280, 25 marzo 2016, pp. 1433–1436, Bibcode:2016Sci...351.1433C, DOI:10.1126/science.aaf0918, ISSN 0036-8075 (WC · ACNP), PMID 26940865.
  71. ^ (EN) Science, https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey. URL consultato il 25 ottobre 2017.
  72. ^ (EN) John P. A. Ioannidis, T. D. Stanley e Hristos Doucouliagos, The Power of Bias in Economics Research, in The Economic Journal, vol. 127, n. 605, 1º ottobre 2017, pp. F236–F265, DOI:10.1111/ecoj.12461, ISSN 1468-0297 (WC · ACNP).
  73. ^ (EN) Pacific Standard, https://psmag.com/news/big-pharma-reveals-a-biomedical-replication-crisis. URL consultato il 30 gennaio 2020. Updated on June 14, 2017.
  74. ^ Florian Prinz, Believe it or not: how much can we rely on published data on potential drug targets, in Nature Reviews Drug Discovery, vol. 10, n. 712, 31 agosto 2011, p. 712, DOI:10.1038/nrd3439-c1, PMID 21892149.
Estratto da "https://it.wikipedia.org/w/index.php?title=Crisi_della_replicazione&oldid=121127740"