Crisi della replicazione

Da Wikipedia, l'enciclopedia libera.
Jump to navigation Jump to search
Ioannidis (2005), " Perché i risultati delle ricerche più pubblicate sono falsi".[1]

La crisi della replicazione[2] (chiamata anche crisi della replicabilità e crisi della riproducibilità) è una crisi metodologica per cui è stato riscontrato che molti studi scientifici sono difficili o impossibili da replicare o riprodurre. La crisi della replicazione colpisce più gravemente le scienze sociali e la medicina,[3][4] mentre i dati delle rilevazioni indicano fortemente che anche tutte le scienze naturali sono probabilmente implicate. La frase è stata coniata nei primi anni 2010[5] come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze.[6]

Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del metodo scientifico,[7] l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.[8][9]

Nelle scienze[modifica | modifica wikitesto]

In generale[modifica | modifica wikitesto]

Un sondaggio del 2016 su 1.500 scienziati condotto da Nature ha riferito che il 70% di loro non era riuscito a riprodurre almeno l'esperimento di un altro scienziato (compreso l'87% dei chimici, il 77% dei biologi, il 69% dei fisici e degli ingegneri, il 67% dei ricercatori medici, il 64% degli scienziati della terra e dell'ambiente e il 62% di tutti gli altri), mentre il 50% non era riuscito a riprodurre uno dei propri esperimenti e meno del 20% era mai stato contattato da un altro ricercatore incapace di riprodurre il proprio lavoro. Solo una minoranza aveva tentato di pubblicare una replica, e mentre il 24% era stato in grado di pubblicare una replica riuscita, solo il 13% aveva pubblicato una replica fallita, e diversi intervistati che avevano pubblicato repliche fallite hanno notato che editori e revisori hanno chiesto di riprodurre confronto con gli studi originali.[10][11] Nel 2009, il 2% degli scienziati ha ammesso di aver falsificato studi almeno una volta e il 14% ha ammesso di conoscere personalmente qualcuno che l'ha fatto. Secondo uno studio, tale cattiva condotta è stata segnalata più frequentemente dai ricercatori medici che da altri.[12]

Nella psicologia[modifica | modifica wikitesto]

Diversi fattori combinati hanno contribuito a mettere la psicologia al centro della controversia.[13][14] Sono particolarmente coinvolte la psicologia sociale,[15] oltre alla psicologia clinica,[16][17] la psicologia dello sviluppo,[18] e la ricerca educazionale.[19][20]

In primo luogo, le pratiche di ricerca discutibili (PRD) sono state identificate come comuni nel settore. Tali pratiche, pur non essendo intenzionalmente fraudolente, comportano la capitalizzazione dell'area grigia delle pratiche scientifiche accettabili o lo sfruttamento della flessibilità nella raccolta, analisi e segnalazione dei dati, spesso nel tentativo di ottenere un risultato desiderato. Esempi di QRP includono la segnalazione selettiva o la pubblicazione parziale dei dati (riportando solo alcune delle condizioni di studio o le misure dipendenti raccolte in una pubblicazione), l'interruzione facoltativa (scegliere quando interrompere la raccolta dei dati, spesso basata sulla significatività statistica dei test), inquadratura di analisi esplorative come analisi di conferma e manipolazione di outlier (rimuovendo outlier o lasciando outlier in un set di dati per rendere significativo un test statistico).[21][22][23][24] Un sondaggio di oltre 2.000 psicologi ha indicato che la maggioranza degli intervistati ha ammesso di utilizzare almeno un PRD. Il bias di pubblicazione porta a un numero elevato di risultati falsi positivi. È accresciuto dalla pressione alla pubblicazione, nonché dal pregiudizio di conferma dell'autore stesso ed è un rischio intrinseco nel campo, che richiede un certo grado di scetticismo da parte dei lettori.[25]

In secondo luogo, la psicologia e la psicologia sociale in particolare, si sono trovate al centro di numerosi scandali che hanno coinvolto ricerche completamente fraudolente, in particolare l'ammessa fabbricazione di dati da parte di Diederik Stapel[26] e accuse contro altri. Tuttavia, la maggior parte degli studiosi riconoscono che la frode è, forse, il contributo minore alle crisi di replica.

In terzo luogo, è stato riscontrato che diversi effetti nella scienza psicologica sono difficili da replicare anche prima dell'attuale crisi di replicazione. Ad esempio, la rivista scientifica Judgment and Decision Making ha pubblicato diversi studi nel corso degli anni che non riescono a fornire supporto alla teoria del pensiero inconscio. Le repliche appaiono particolarmente difficili quando le sperimentazioni di ricerca sono preregistrate e condotte da gruppi di ricerca non molto coinvolti nella teoria in discussione.

Questi tre elementi insieme hanno portato a una rinnovata attenzione per la replicazione sostenuta dallo psicologo Daniel Kahneman.[27] L'esame accurato di molti effetti ha dimostrato che diverse convinzioni assodate sono difficili da replicare. Un'edizione speciale del 2014 della rivista Social Psychology si è concentrata sugli studi di replicazione e ha evidenziato come una serie di credenze precedentemente sostenute era difficile da replicare.[28] Anche un'edizione speciale del 2012 della rivista Perspectives on Psychological Science si è concentrata su questioni che vanno dal bias di pubblicazione all'avversione al "null" che contribuiscono alle crisi di replicazione in psicologia.[29] Nel 2015 è stato pubblicato il primo studio empirico aperto sulla riproducibilità in psicologia, chiamato Reproducibility Project. Ricercatori di tutto il mondo hanno collaborato per replicare 100 studi empirici di tre importanti riviste di psicologia. Meno della metà dei tentativi di replica ha avuto successo nel produrre risultati statisticamente significativi nelle direzioni previste, sebbene la maggior parte delle repliche tentate abbia prodotto tendenze nelle direzioni previste.[30]

Molti studi di ricerca e meta-analisi sono compromessi da scarsa qualità e conflitti di interesse che coinvolgono sia gli autori che le organizzazioni professionali di advocacy, risultando in molti falsi positivi per quanto riguarda l'efficacia di alcuni tipi di psicoterapia.[31]

Sebbene il quotidiano britannico The Independent abbia scritto che i risultati del progetto di riproducibilità mostrano che gran parte della ricerca pubblicata è solo "psico-balbettio",[32] la crisi della replicazione non significa necessariamente che la psicologia non sia scientifica.[33][34][35] Piuttosto questo processo fa parte del processo scientifico in cui vengono potate le vecchie idee o quelle che non possono resistere a un attento esame,[36][37] sebbene questo processo di potatura non sia sempre efficace.[38][39] La conseguenza è che alcune aree della psicologia una volta considerate solide, come il priming sociale, sono state oggetto di un maggiore controllo a causa di repliche fallite.[40]

Il premio Nobel e professore emerito in psicologia Daniel Kahneman ha sostenuto che gli autori originali dovrebbero essere coinvolti nello sforzo di replica perché i metodi pubblicati sono spesso troppo vaghi.[41] Altri, come Andrew Wilson, non sono d'accordo, sostenendo che i metodi dovrebbero essere scritti in dettaglio. Un'indagine sui tassi di replicazione nella psicologia del 2012 ha indicato tassi di replicazione di successo più elevati negli studi di replicazione quando c'era sovrapposizione dell'autore con gli autori originali di un dato studio[42] (tassi di replicazione di successo del 91,7% negli studi con sovrapposizione dell'autore rispetto al 64,6% di replica di successo tariffe senza sovrapposizione di autori).

L'interesse per la crisi di replica ha portato ad altri rinnovati sforzi nella disciplina per riesaminare importanti risultati.[25][43] In risposta alle preoccupazioni circa il bias di pubblicazione e il p-hacking, più di 140 riviste di psicologia hanno adottato una revisione tra pari cieca dei risultati in cui gli studi sono accettati non sulla base dei loro risultati e dopo che gli studi sono stati completati, ma prima che gli studi siano condotti e dopo la base del rigore metodologico dei loro disegni sperimentali e le giustificazioni teoriche per le loro tecniche di analisi statistica prima della raccolta o dell'analisi dei dati.[44] L'analisi iniziale di questa procedura ha stimato che il 61 percento degli studi in cieco sui risultati ha portato a risultati nulli, in contrasto con una stima dal 5 al 20 percento nelle ricerche precedenti.[45] Inoltre, nel settore sono diventate molto più comuni collaborazioni su larga scala tra ricercatori che lavorano in più laboratori in diversi paesi e che rendono regolarmente disponibili i loro dati per la valutazione di diversi ricercatori.[46]

Tassi di replicazione della psicologia[modifica | modifica wikitesto]

Un rapporto della Open Science Collaboration nell'agosto 2015 coordinato da Brian Nosek ha stimato la riproducibilità di 100 studi in scienze psicologiche da tre riviste di psicologia di alto livello.[47] Complessivamente, il 36% delle repliche ha prodotto risultati significativi ( valore p inferiore a 0,05) rispetto al 97% degli studi originali che hanno avuto effetti significativi. La dimensione media dell'effetto nelle repliche era circa la metà dell'entità degli effetti riportati negli studi originali.

Lo stesso articolo ha esaminato i tassi di riproducibilità e le dimensioni degli effetti per rivista ( Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, Psychological Science) e disciplina (psicologia sociale, psicologia dello sviluppo). I tassi di replicazione dello studio erano del 23% per JPSP, del 48% per JEP:LMC e del 38% per PSCI. Gli studi nel campo della psicologia cognitiva hanno avuto un tasso di replica più elevato (50%) rispetto agli studi nel campo della psicologia sociale (25%).[48]

Un'analisi delle pubblicazioni nelle prime 100 riviste di psicologia tra il 1900 e il 2012 ha evidenziato che circa l'1,6% di tutte le pubblicazioni di psicologia erano tentativi di replicazione, un valore decisamente troppo basso.[42] Gli articoli erano considerati un tentativo di replicazione solo se nel testo compariva il termine "replica". Una parte di questi studi (500 studi) è stato selezionato casualmente per ulteriori esami e ha prodotto un tasso di replicazione inferiore all'1,07% (342 dei 500 studi erano in realtà repliche). Nel sottoinsieme dei 500 studi, l'analisi ha indicato che il 78,9% dei tentativi di replica pubblicati ha avuto successo.

Uno studio pubblicato nel 2018 su Nature Human Behavior ha cercato di replicare 21 articoli di scienze sociali e comportamentali di Nature e Science, scoprendo che solo 13 potrebbero essere replicati con successo.[49][50] Allo stesso modo, in uno studio condotto dal Center for Open Science, un team di 186 ricercatori provenienti da 60 diversi laboratori (in rappresentanza di 36 diverse nazionalità provenienti da 6 diversi continenti) ha condotto repliche di 28 scoperte classiche e contemporanee in psicologia.[51] Il focus dello studio non era solo sulla replicazione o meno dei risultati dei documenti originali, ma anche sulla misura in cui i risultati variavano in funzione delle variazioni nei campioni e nei contesti. Nel complesso, 14 dei 28 risultati non sono stati replicati nonostante le enormi dimensioni del campione. Tuttavia, se un risultato si replicava, si replicava nella maggior parte dei campioni, mentre se un risultato non veniva replicato, non riusciva a replicarsi con poche variazioni tra campioni e contesti. Questa prova è incoerente con una spiegazione popolare secondo cui i fallimenti nella replicazione in psicologia sono probabilmente dovuti a cambiamenti nel campione tra lo studio originale e quello di replica.[52]

Un dilemma sociale[modifica | modifica wikitesto]

Evidenziando la struttura sociale che scoraggia la replicazione in psicologia, Brian D. Earp e Jim AC Everett hanno elencato cinque punti sul perché i tentativi di replicazione sono rari:[53][54]

  1. "Le repliche indipendenti e dirette dei risultati di altri possono richiedere molto tempo per il ricercatore che replica"
  2. "Le repliche rischiano di sottrarre energia e risorse direttamente ad altri progetti che riflettono il proprio pensiero originale"
  3. "Le repliche sono generalmente più difficili da pubblicare (in gran parte perché sono considerate non originali)"
  4. "Anche se replicazioni vengono pubblicate, è probabile che vengano viste come esercizi di 'fortificazione', piuttosto che come importanti contributi al campo"
  5. "Le repliche portano ai loro autori meno riconoscimenti e ricompense, e persino una sicurezza di base nella carriera"[55]

Per questi motivi gli autori hanno sostenuto che la psicologia si trova di fronte a un dilemma sociale, in cui gli interessi della disciplina sono in contrasto con gli interessi del singolo ricercatore.

Polemica sul "terrorismo metodologico"[modifica | modifica wikitesto]

Con la crisi di replica della psicologia che ha attirato l'attenzione, la psicologa della Princeton University Susan Fiske ha suscitato polemiche per aver criticato aspramente questi studi sulla psicologia.[56][57][58][59] Ha etichettato questi "avversari" non identificati con nomi come "terrorista metodologico" e "polizia dei dati autoproclamata", e ha affermato che le critiche alla psicologia dovrebbero essere espresse solo in privato o contattando le riviste. Lo statistico e politologo della Columbia University Andrew Gelman, ha risposto a Fiske, dicendo che si era trovata disposta a tollerare il "paradigma morente" delle statistiche errate e si era rifiutata di ritrattare le pubblicazioni anche quando venivano segnalati errori.[60] Ha aggiunto che il suo incarico come editore è stato pessimo e che un certo numero di articoli pubblicati da lei modificati sono risultati basati su statistiche estremamente deboli; uno degli articoli pubblicati da Fiske conteneva un grave errore statistico e conclusioni "impossibili".

Nella medicina[modifica | modifica wikitesto]

Su 49 studi medici dal 1990 al 2003 con più di 1000 contribuzioni, 45 sostenevano che la terapia studiata fosse efficace. Di questi studi, il 16% è stato contraddetto da studi successivi, il 16% ha riscontrato effetti più forti rispetto a studi successivi, il 44% è stato replicato e il 24% è rimasto ampiamente incontrastato.[61] La Food and Drug Administration degli Stati Uniti nel 1977-1990 ha riscontrato errori nel 10-20% degli studi medici.[62] In un articolo pubblicato nel 2012, C. Glenn Begley, un consulente biotecnologico che lavora presso Amgen, e Lee Ellis, presso l'Università del Texas, hanno scoperto che solo l'11% di 53 studi preclinici sul cancro poteva essere replicato.[63] Gli studi irriproducibili avevano una serie di caratteristiche in comune, incluso il fatto che gli studi non sono stati eseguiti da investigatori all'oscuro dei bracci sperimentali rispetto ai bracci di controllo, l'impossibilità di ripetere gli esperimenti, la mancanza di controlli positivi e negativi, la mancata visualizzazione di tutti i dati, uso inappropriato di test statistici e uso di reagenti non adeguatamente convalidati.[64]

Un sondaggio sui ricercatori sul cancro ha scoperto che la metà di loro non era stata in grado di riprodurre un risultato pubblicato.[65] Un'indagine simile di Nature su 1.576 ricercatori che hanno compilato un breve questionario online sulla riproducibilità ha mostrato che oltre il 70% dei ricercatori ha provato e non è riuscito a riprodurre gli esperimenti di un altro scienziato e più della metà non è riuscita a riprodurre i propri esperimenti. "Sebbene il 52% degli intervistati concordi sull'esistenza di una significativa 'crisi' di riproducibilità, meno del 31% pensa che la mancata riproduzione dei risultati pubblicati significhi che il risultato è probabilmente sbagliato e la maggior parte afferma di fidarsi ancora della letteratura pubblicata".[66]

Un articolo del 2016 di John Ioannidis, professore di medicina,della ricerca e della politica sanitaria presso la Stanford University School of Medicine, oltre che professore di statistica presso la Stanford University School of Humanities and Sciences, ha composto un articolo su "Perché la maggior parte della ricerca clinica non è utile".[67] Nell'articolo Ioannidis ha esposto alcuni problemi e ha invitato alla riforma, caratterizzando alcuni punti affinché la ricerca medica torni ad essere utile; un esempio che ha fatto è stata la necessità che la medicina sia "centrata sul paziente" (ad esempio nella forma dell'Istituto di ricerca sui risultati centrati sul paziente) invece della pratica attuale di prendersi cura principalmente delle "esigenze di medici, ricercatori o sponsor" .

Nel marketing[modifica | modifica wikitesto]

Il marketing è un'altra disciplina con un "disperato bisogno" di replica.[68] Molti famosi studi di marketing non vengono ripetuti dopo la replica, un esempio notevole è l'"effetto "troppe scelte", in cui un numero elevato di scelte di prodotto rende un consumatore meno propenso all'acquisto[69] Oltre agli argomenti menzionati in precedenza, sono necessari studi di replica nel marketing per esaminare l'applicabilità di teorie e modelli tra paesi e culture, che è particolarmente importante a causa delle possibili influenze della globalizzazione.[70]

In economia[modifica | modifica wikitesto]

Uno studio del 2016 sulla rivista Science ha rilevato che un terzo dei 18 studi sperimentali di due riviste economiche di alto livello ( American Economic Review e Quarterly Journal of Economics) non è riuscito a replicarsi con successo.[71][72] Uno studio del 2017 sull'Economic Journal ha suggerito che "la maggior parte degli effetti medi nella letteratura economica empirica è esagerata di un fattore di almeno 2 e almeno un terzo è esagerata di un fattore di 4 o più".[73]

Nella scienza dello sport[modifica | modifica wikitesto]

Uno studio del 2018 ha preso in considerazione il campo dell'esercizio e della scienza dello sport per studi di replica insufficienti, segnalazione limitata di risultati sia nulli che banali e trasparenza della ricerca insufficiente.[74] Gli statistici hanno criticato la scienza dello sport per l'uso comune di un controverso metodo statistico chiamato "inferenza basata sulla grandezza" che ha permesso agli scienziati dello sport di estrarre risultati apparentemente significativi da dati rumorosi in cui i normali test di ipotesi non ne avrebbero trovati.[75]

Nella gestione delle risorse idriche[modifica | modifica wikitesto]

Uno studio del 2019 pubblicato su Scientific Data ha suggerito che solo un piccolo numero di articoli sulle risorse idriche e riviste di gestione potrebbe essere riprodotto, mentre la maggior parte degli articoli non era replicabile a causa dell'indisponibilità dei dati. Lo studio ha stimato con il 95% di certezza che "i risultati potrebbero essere riprodotti solo dallo 0,6% al 6,8% di tutti i 1.989 articoli".[76]

Ripercussioni politiche e cambiamento climatico[modifica | modifica wikitesto]

Negli Stati Uniti, la crisi della riproducibilità della scienza è diventata un argomento di contesa politica, legata al tentativo di diminuire le normative – ad esempio delle emissioni di inquinanti, con l'argomento che queste normative si basano su una scienza non riproducibile.[77][78] Precedenti tentativi con lo stesso obiettivo hanno accusato gli studi utilizzati dai regolatori di non essere trasparenti.[79]

Consapevolezza e percezioni del pubblico[modifica | modifica wikitesto]

All'interno della comunità scientifica sono state espresse preoccupazioni sul fatto che il pubblico in generale possa considerare la scienza meno credibile a causa delle repliche fallite.[80] La ricerca a sostegno di questa preoccupazione è scarsa, ma un'indagine rappresentativa a livello nazionale in Germania ha mostrato che oltre il 75% dei tedeschi non ha sentito parlare di errori di replica nella scienza.[81] Lo studio ha anche scoperto che la maggior parte dei tedeschi ha una percezione positiva degli sforzi di replicazione: solo il 18% pensa che la non replicabilità dimostri che non ci si può fidare della scienza, mentre il 65% pensa che la ricerca sulla replica mostri che la scienza applica il controllo di qualità e l'80% concorda sul fatto che errori e le correzioni fanno parte della scienza.

Cause[modifica | modifica wikitesto]

Una delle principali cause della bassa riproducibilità è il bias di pubblicazione e il bias di selezione, a loro volta causati dal fatto che i risultati statisticamente insignificanti sono raramente pubblicati o discussi in pubblicazioni su molteplici potenziali effetti. Tra i potenziali effetti che sono inesistenti (o minuscoli), i test statistici mostrano significatività (al livello normale) con una probabilità del 5%. Se un gran numero di tali effetti viene vagliato alla ricerca di risultati significativi, questi erroneamente significativi inondano quelli trovati in modo appropriato e portano a repliche (ancora erroneamente) di nuovo successo con solo il 5% di probabilità. Una proporzione crescente di tali studi riduce quindi progressivamente il tasso di replicazione corrispondente a studi di effetti plausibilmente rilevanti. Risultati erroneamente significativi possono anche provenire da pratiche discutibili nell'analisi dei dati chiamate dragaggio dei dati o P-hacking e HARKing.

C. Glenn Begley e John Ioannidis hanno proposto queste cause:

  • Generazione di nuovi dati/pubblicazioni a un ritmo senza precedenti.
  • La maggior parte di queste scoperte non resisterà alla prova del tempo.
  • Mancato rispetto della buona pratica scientifica.
  • Molteplici e variegate parti interessate.

Concludono che nessuna parte è l'unica responsabile e che nessuna singola soluzione sarà sufficiente.

Questi problemi possono portare alla canonizzazione di fatti falsi.[82]

In effetti, alcune previsioni di una crisi imminente nel meccanismo di controllo della qualità della scienza possono essere fatte risalire a diversi decenni, specialmente tra gli studiosi di studi scientifici e tecnologici (STS).[83] Una parte della letteratura attuale sembra rivendicare questa profezia di 'overflow', lamentando il decadimento sia dell'attenzione che della qualità.[84][85]

Il filosofo e storico della scienza Jerome R. Ravetz ha predetto nel suo libro del 1971 La conoscenza scientifica e i suoi problemi sociali che la scienza - nella sua progressione da "piccola" scienza composta da comunità isolate di ricercatori, a "grande" scienza o "tecnoscienza" - subirebbe grossi problemi nel suo sistema interno di controllo della qualità. Ravetz ha riconosciuto che la struttura degli incentivi per gli scienziati moderni potrebbe diventare disfunzionale, ora nota come l'attuale sfida "pubblica o perisci", creando incentivi perversi a pubblicare qualsiasi risultato, per quanto dubbioso. Secondo Ravetz, la qualità nella scienza viene mantenuta solo quando esiste una comunità di studiosi collegati da un insieme di norme e standard condivisi, tutti disposti e in grado di ritenersi reciprocamente responsabili.

Lo storico Philip Mirowski ha offerto una diagnosi simile nel suo libro del 2011 Science Mart (2011).[86] Nel titolo, la parola 'Mart' fa riferimento al gigante della vendita al dettaglio 'Walmart', usato da Mirowski come metafora della mercificazione della scienza. Nell'analisi di Mirowski, la qualità della scienza crolla quando diventa una merce scambiata in un mercato. Mirowski sostiene il suo caso facendo risalire il decadimento della scienza alla decisione delle grandi aziende di chiudere i loro laboratori interni. Hanno esternalizzato il loro lavoro alle università nel tentativo di ridurre i costi e aumentare i profitti. Le società hanno successivamente spostato la loro ricerca dalle università a un'opzione ancora più economica: le organizzazioni di ricerca a contratto (CRO).

La crisi del sistema di controllo della qualità della scienza sta influenzando l'uso della scienza per la politica. Questa è la tesi di un recente lavoro di un gruppo di studiosi di STS, che individuano nella "politica basata sull'evidenza (o informata)" un punto di tensione attuale.[78][87][88] L'economista Noah Smith suggerisce che un fattore nella crisi è stata la sopravvalutazione della ricerca nel mondo accademico e la sottovalutazione della capacità di insegnamento, specialmente in campi con poche importanti scoperte recenti.[89]

La teoria del sistema sociale, dovuta al sociologo tedesco Niklas Luhmann[90][91] offre un'altra lettura della crisi. Secondo questa teoria ciascuno dei sistemi come 'economia', 'scienza', 'religione', 'media' e così via comunica utilizzando il proprio codice, vero/falso per la scienza, profitto/perdita per l'economia, nuovo/no per le notizie per i media; secondo alcuni sociologi,[92] la mediatizzazione della scienza,[93] sua mercificazione[94] e la sua politicizzazione,[95] – come risultato dell'accoppiamento strutturale tra sistemi, hanno portato ad una confusione dei codici di sistema originari. Se al codice vero/falso della scienza si sostituisce quello degli altri sistemi, come profitto/perdita, notizia/no-notizia, il funzionamento della scienza entra in crisi interna.

Accoglienza[modifica | modifica wikitesto]

La replicazione è stata definita "la pietra angolare della scienza".[96][97] Gli studi di replica tentano di valutare se i risultati pubblicati riflettono risultati veri o falsi positivi. L'integrità dei risultati scientifici e la riproducibilità della ricerca sono importanti in quanto costituiscono la base della conoscenza su cui sono costruiti gli studi futuri.

Metascienza[modifica | modifica wikitesto]

La metascienza è l'uso della metodologia scientifica per studiare la scienza stessa. La metascienza cerca di aumentare la qualità della ricerca scientifica riducendo gli sprechi. È anche conosciuta come "ricerca sulla ricerca" e "la scienza della scienza", poiché utilizza metodi di ricerca per studiare come si fa la ricerca e dove si possono apportare miglioramenti. La metascienza si occupa di tutti i campi di ricerca ed è stata descritta come "una visione a volo d'uccello della scienza".[98] Nelle parole di John Ioannidis, "La scienza è la cosa migliore che sia capitata agli esseri umani... ma possiamo farla meglio".[99]

Continuano le meta-ricerche per individuare le radici della crisi e per affrontarle. I metodi per affrontare la crisi includono la pre-registrazione di studi scientifici, nonché la fondazione di organizzazioni come CONSORT e la rete EQUATOR che emettono linee guida per la metodologia e la rendicontazione. Ci sono continui sforzi per riformare il sistema di incentivi accademici, per migliorare il processo di revisione tra pari, per ridurre l'uso improprio delle statistiche, per combattere i pregiudizi nella letteratura scientifica e per aumentare la qualità e l'efficienza complessive del processo scientifico.

Affrontare il bias di pubblicazione con la pre-registrazione degli studi[modifica | modifica wikitesto]

Una recente innovazione nell'editoria scientifica ideata per affrontare la crisi della replicazione è attraverso l'uso di rapporti preregistrati.[100][101] In pratica, il modus operandi prevede che il formato del rapporto registrato richieda che gli autori presentino una descrizione dei metodi di studio e delle analisi solo prima della raccolta dei dati. Una volta che il metodo e il piano di analisi sono stati quindi verificati tramite peer-review, la pubblicazione dei risultati è inizlamnete e provvisoriamente garantita, a seconda che gli autori seguano o memno il protocollo proposto. Uno degli obiettivi dei rapporti registrati è quello di aggirare il bias di pubblicazione verso risultati significativi che possono portare all'implementazione di pratiche di ricerca discutibili e quindi di incoraggiare la pubblicazione di studi effettuati con metodi rigorosi e prettamente scientifici.

La rivista Psychological Science ha incoraggiato ed elogiato la preregistrazione degli studi e la segnalazione delle dimensioni degli effetti e degli intervalli di confidenza.[102] Il caporedattore della rivista ha anche osservato come la redazione chiederà la replica degli studi con risultati poco probabili o stupefacenti utilizzando campioni di piccole dimensioni, prima di consentire la pubblicazione degli studi.

Inoltre, solo una piccolissima percentuale di riviste accademiche di psicologia e neuroscienze ha dichiarato esplicitamente di accogliere con favore la presentazione di studi di replicazione nel loro scopo e scopo o istruzioni agli autori.[103][104] Questo fenomeno non incoraggia la segnalazione o addirittura il tentativo di studi di replica.

Passaggio a un paradigma di sistemi complessi[modifica | modifica wikitesto]

È stato sostenuto che gli sforzi di ricerca che lavorano all'interno del paradigma lineare convenzionale finiscono necessariamente con difficoltà di replica.[105] I problemi sorgono se i processi causali nel sistema in esame sono "dominanti di interazione" anziché "dominante per componente", moltiplicativi anziché additivi e con molte piccole interazioni non lineari che producono fenomeni di livello macro, non riducibili al loro micro componenti di livello. Nel contesto di sistemi così complessi, i modelli lineari convenzionali producono risposte non ragionevoli, perché non è in linea di principio possibile scomporre la varianza come suggerito dal framework del General Linear Model (GLM) – mirare a riprodurre tale risultato è quindi evidentemente problematico. Le stesse domande vengono attualmente poste in molti campi della scienza, dove i ricercatori stanno iniziando a mettere in discussione le ipotesi alla base dei metodi statistici classici.[106]

Enfatizzare i tentativi di replica nell'insegnamento[modifica | modifica wikitesto]

Sulla base dei corsi sui metodi sperimentali presso il MIT, Stanford e l'Università di Washington, è stato suggerito che i corsi sui metodi in psicologia e altri campi enfatizzano i tentativi di replica piuttosto che gli studi originali.[107][108][109] Un tale approccio aiuterebbe gli studenti ad apprendere la metodologia scientifica e fornire numerose repliche indipendenti di scoperte scientifiche significative che metterebbero alla prova la replicabilità delle scoperte scientifiche. Alcuni hanno raccomandato che agli studenti laureati sia richiesto di pubblicare un tentativo di replica di alta qualità su un argomento relativo alla loro ricerca di dottorato prima della laurea.[54]

Ridurre il valore richiesto per rivendicare la significatività di nuovi risultati[modifica | modifica wikitesto]

Molte pubblicazioni richiedono un valore p di p < 0,05 per rivendicare la significatività statistica. Il documento "Ridefinire la significatività statistica",[110] firmato da un gran numero di scienziati e matematici, propone che nei "campi in cui la soglia per definire la significatività statistica per le nuove scoperte è p <0.05, proponiamo un cambiamento a p <0.005. Questo semplice passo migliorerebbe immediatamente la riproducibilità della ricerca scientifica in molti campi".

La loro logica è che "una delle principali cause di non riproducibilità (è che gli standard statistici di evidenza per rivendicare nuove scoperte in molti campi della scienza sono semplicemente troppo bassi. L'associazione di risultati "statisticamente significativi" con p < 0,05 si traduce in un alto tasso di falsi positivi anche in assenza di altri problemi sperimentali, procedurali e di segnalazione".

Questo invito è stato successivamente criticato da un altro grande gruppo, il quale ha sostenuto che "ridefinire" la soglia non risolverebbe i problemi attuali, ne porterebbe di nuovi e che alla fine, tutte le soglie dovevano essere giustificate caso per caso anziché seguenti convenzioni generali.[111]

Affrontare l'errata interpretazione dei valori p[modifica | modifica wikitesto]

Sebbene gli statistici siano unanimi sul fatto che l'uso del p < 0,05 fornisca prove più deboli di quanto generalmente ritenuto, c'è una mancanza di unanimità su ciò che dovrebbe essere fatto al riguardo. Alcuni hanno sostenuto che i metodi bayesiani dovrebbero sostituire i valori p. Ciò non è avvenuto su larga scala, in parte perché è complicato e in parte perché molti utenti diffidano delle specifiche delle distribuzioni precedenti in assenza di dati concreti. Una versione semplificata dell'argomento bayesiano, basata sulla verifica di un'ipotesi di punto nullo, è stata suggerita da Colquhoun (2014, 2017).[112][113] I problemi logici dell'inferenza induttiva sono stati discussi in "The problem with p-values" (2016).[114]

I rischi della dipendenza dai valori di p sono stati enfatizzati sottolineando che anche l'osservazione di p = 0.001 non era necessariamente una prova forte contro l'ipotesi nulla.[113] Nonostante il fatto che il rapporto di verosimiglianza a favore dell'ipotesi alternativa sul nulla sia vicino a 100, se l'ipotesi non fosse plausibile, con una probabilità a priori di un effetto reale pari a 0,1, anche l'osservazione di p = 0,001 avrebbe un rischio di falsi positivi dell'8%. Non raggiungerebbe quindi nemmeno il livello del 5 percento.

È stato raccomandato[113] di utilizzare i termini "significativo" e "non significativo", oltre a suggerire che il modo migliore per farlo è calcolare la probabilità a priori che sarebbe necessario credere per ottenere un rischio falso positivo, ovvero, del 5%. I calcoli possono essere effettuati con gli script R forniti, o, più semplicemente, con un calcolatore web.[115] Questo cosiddetto approccio bayesiano inverso è stato suggerito da Matthews (2001).[116]

Incoraggiare campioni di dimensioni maggiori[modifica | modifica wikitesto]

Per migliorare la qualità delle repliche, sono spesso necessarie dimensioni del campione più grandi di quelle utilizzate nello studio originale.[117] Sono necessarie dimensioni del campione più grandi perché le stime delle dimensioni dell'effetto nel lavoro pubblicato sono spesso esagerate a causa della distorsione della pubblicazione e dell'ampia variabilità del campionamento associata a dimensioni del campione ridotte in uno studio originale.[118][119][120] Inoltre, l'utilizzo di soglie di significatività di solito porta a effetti gonfiati, perché in particolare con campioni di piccole dimensioni, solo gli effetti maggiori diventeranno significativi.[121]

Condivisione di dati parziali online[modifica | modifica wikitesto]

Gli archivi online in cui dati, protocolli e risultati possono essere archiviati e valutati dal pubblico cercano di migliorare l'integrità e la riproducibilità della ricerca. Esempi includono Open Science Framework, Registry of Research Data Repositories e Psychfiledrawer. Siti come Open Science Framework offrono badge per l'utilizzo di pratiche di scienza aperta nel tentativo di incentivare gli scienziati. Tuttavia, c'è stata la preoccupazione che coloro che hanno maggiori probabilità di fornire i loro dati e il codice per le analisi siano i ricercatori che sono probabilmente i più sofisticati.[122] John Ioannidis dell'Università di Stanford ha suggerito che "potrebbe sorgere il paradosso che i ricercatori più meticolosi e sofisticati, esperti di metodo e attenti possano diventare più suscettibili alle critiche e agli attacchi alla reputazione da parte di rianalizzatori che vanno a caccia di errori, non importa quanto trascurabili siano questi errori".

Finanziamenti per studi di replica[modifica | modifica wikitesto]

Nel luglio 2016 l'Organizzazione olandese per la ricerca scientifica ha messo a disposizione 3 milioni di euro per studi di replica. Il finanziamento è per la replica basata sulla rianalisi dei dati esistenti e la replica tramite la raccolta e l'analisi di nuovi dati. Sono disponibili finanziamenti nei settori delle scienze sociali, della ricerca sanitaria e dell'innovazione sanitaria.[123]

Nel 2013 la Laura e la John Arnold Foundation ha finanziato il lancio del Center for Open Science con una sovvenzione di $ 5,25 milioni e nel 2017 ha fornito ulteriori $ 10 milioni di finanziamenti.[124] Ha anche finanziato il lancio del Meta-Research Innovation Center a Stanford presso la Stanford University gestito da John Ioannidis e Steven Goodman per studiare modi per migliorare la ricerca scientifica. Ha inoltre fornito finanziamenti per l'iniziativa AllTrials guidata in parte da Ben Goldacre.

Aumentare gli standard generali di presentazione dei metodi[modifica | modifica wikitesto]

Alcuni autori hanno sostenuto che l'insufficiente comunicazione dei metodi sperimentali contribuisce in larga parte alla crisi della riproducibilità e che il miglioramento della qualità del modo in cui vengono riportati il disegno sperimentale e le analisi statistiche aiuterebbe a migliorare la situazione.[125] Questi autori tendono a citare sia un ampio cambiamento culturale nella comunità scientifica su come vengono considerate le statistiche sia una spinta più coercitiva da parte delle riviste scientifiche e degli organismi di finanziamento.

Implicazioni per l'industria farmaceutica[modifica | modifica wikitesto]

Le aziende farmaceutiche mantengono laboratori di ricerca o stipulano contratti con fornitori di servizi di ricerca privati il cui compito è replicare studi accademici, al fine di testare se sono accurati prima di investire o provare a sviluppare un nuovo farmaco basato su tale ricerca. La posta in gioco finanziaria è alta per l'azienda e gli investitori, quindi è conveniente per loro investire in repliche esatte.[126] Inoltre, eseguire una replica richiede non solo competenze generiche nella metodologia di ricerca, ma anche competenze specifiche nell'argomento di interesse spesso ristretto. A volte la ricerca richiede competenze e conoscenze tecniche specifiche e solo i ricercatori dedicati a un'area ristretta di ricerca potrebbero avere tali competenze. In questo momento, le agenzie di finanziamento sono raramente interessate a finanziare studi di replica e la maggior parte delle riviste scientifiche non è interessata a pubblicare tali risultati. I ricercatori sul cancro di Amgen Oncology sono stati in grado di replicare solo l'11% dei 53 studi innovativi che hanno scelto di perseguire in un periodo di 10 anni;[63] un'analisi del 2011 condotta da ricercatori con l'azienda farmaceutica Bayer ha rilevato che i risultati interni dell'azienda concordavano con i risultati originali solo un quarto delle volte, al massimo.[127] L'analisi ha anche rivelato che, quando gli scienziati erano in grado di riprodurre un risultato in un esperimento di replicazione diretta, tendeva a tradursi bene in applicazioni cliniche; il che significa che la riproducibilità è un utile indicatore del potenziale clinico.

Note[modifica | modifica wikitesto]

  1. ^ John P. A. Ioannidis, Why Most Published Research Findings Are False, in PLOS Medicine, vol. 2, n. 8, 1º agosto 2005, pp. e124, DOI:10.1371/journal.pmed.0020124, ISSN 1549-1277 (WC · ACNP), PMID 16060722.
  2. ^ (EN) Reproducibility Crisis Timeline: Milestones in Tackling Research Reliability, su Absolutely Maybe, 5 dicembre 2016. URL consultato il 12 febbraio 2022.
  3. ^ J. W. Schooler, Metascience could rescue the 'replication crisis', in Nature, vol. 515, n. 7525, 2014, p. 9, Bibcode:2014Natur.515....9S, DOI:10.1038/515009a, PMID 25373639.
  4. ^ Bloomberg, https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant. URL consultato il 7 novembre 2017.
  5. ^ Harold Pashler e Eric Jan Wagenmakers, Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, pp. 528–530, DOI:10.1177/1745691612465253, PMID 26168108.
  6. ^ The Stanford Encyclopedia of Philosophy, https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris. URL consultato il 19 maggio 2019.
  7. ^ Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis.
  8. ^ (EN) The New Yorker, https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off. URL consultato il 30 gennaio 2020.
  9. ^ (EN) The New Yorker, https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt. URL consultato il 30 gennaio 2020.
  10. ^ Monya Baker, 1,500 scientists lift the lid on reproducibility, vol. 533, Springer Nature, 25 maggio 2016, pp. 452–454. URL consultato il 21 maggio 2021.
  11. ^ (EN) Nature Video, Scientific American, https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/. URL consultato il 15 agosto 2019.
  12. ^ Daniele Fanelli, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data, in PLOS ONE, vol. 4, n. 5, 29 maggio 2009, pp. e5738, Bibcode:2009PLoSO...4.5738F, DOI:10.1371/journal.pone.0005738, PMID 19478950.
  13. ^ The Washington Post, https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/. URL consultato il 10 settembre 2015.
  14. ^ (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018, pp. 1325–1346, DOI:10.1037/bul0000169, ISSN 1939-1455 (WC · ACNP), PMID 30321017.
  15. ^ (EN) Susan Dominus, When the Revolution Came for Amy Cuddy, in The New York Times, 18 ottobre 2017, ISSN 0362-4331 (WC · ACNP). URL consultato il 19 ottobre 2017.
  16. ^ Falk Leichsenring, Allan Abbass e Mark J. Hilsenroth, Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research, in Psychological Medicine, vol. 47, n. 6, aprile 2017, pp. 1000–1011, DOI:10.1017/S003329171600324X, PMID 27955715.
  17. ^ Michael P. Hengartner, Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?, in Frontiers in Psychology, vol. 9, Frontiers Media, 28 febbraio 2018, p. 256, DOI:10.3389/fpsyg.2018.00256, PMID 29541051.
  18. ^ Michael C. Frank, Elika Bergelson e Christina Bergmann, A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building, in Infancy, vol. 22, n. 4, 9 marzo 2017, pp. 421–435, DOI:10.1111/infa.12182, PMID 31772509.
  19. ^ Charlie Tyson, Failure to Replicate, in Inside Higher Ed, 14 agosto 2014. URL consultato il 19 dicembre 2018.
  20. ^ Matthew C. Makel e Jonathan A. Plucker, Facts Are More Important Than Novelty: Replication in the Education Sciences, in Educational Researcher, vol. 43, n. 6, 1º agosto 2014, pp. 304–316, DOI:10.3102/0013189X14545513. URL consultato il 19 dicembre 2018.
  21. ^ Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling (PDF), in Psychological Science, vol. 23, n. 5, 1º maggio 2012, pp. 524–532, DOI:10.1177/0956797611430953, ISSN 0956-7976 (WC · ACNP), PMID 22508865.
  22. ^ Neuroskeptic, The Nine Circles of Scientific Hell, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 643–644, DOI:10.1177/1745691612459519, ISSN 1745-6916 (WC · ACNP), PMID 26168124.
  23. ^ Copia archiviata, su vib.be. URL consultato il 13 novembre 2015 (archiviato dall'url originale il 31 ottobre 2014).
  24. ^ Klaus Fiedler e Norbert Schwarz, Questionable Research Practices Revisited, in Social Psychological and Personality Science, vol. 7, 19 ottobre 2015, pp. 45–52, DOI:10.1177/1948550615612150, ISSN 1948-5506 (WC · ACNP).
  25. ^ a b Joseph Simmons, Leif Nelson e Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, in Psychological Science, vol. 22, n. 11, novembre 2011, pp. 1359–1366, DOI:10.1177/0956797611417632, ISSN 0956-7976 (WC · ACNP), PMID 22006061.
  26. ^ Christopher Shea, Fraud Scandal Fuels Debate Over Practices of Social Psychology, in The Chronicle of Higher Education, 13 novembre 2011.
  27. ^ Daniel Kahneman, A New Etiquette for Replication, in Social Psychology, vol. 45, n. 4, 2014, pp. 310–311, DOI:10.1027/1864-9335/a000202.
  28. ^ Table of contents, in Social Psychology, vol. 45, n. 3, 2014, ISSN 1864-9335 (WC · ACNP).
  29. ^ Table of contents, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, ISSN 1745-6916 (WC · ACNP).
  30. ^ Open Science Collaboration, Estimating the reproducibility of Psychological Science (PDF), in Science, vol. 349, n. 6251, 2015, pp. aac4716, DOI:10.1126/science.aac4716, PMID 26315443.
  31. ^ Copia archiviata, su blogs.plos.org. URL consultato il 13 settembre 2016 (archiviato dall'url originale il 1º maggio 2016).
  32. ^ Steve Connor, Study reveals that a lot of psychology research really is just 'psycho-babble', in The Independent, London, 27 agosto 2015.
  33. ^ (EN) Michelle N. Meyer , Christopher Chabris, Psychologists’ Food Fight Over Replication of “Important Findings”, su Slate Magazine, 31 luglio 2014. URL consultato il 27 febbraio 2022.
  34. ^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/science-isnt-broken/. URL consultato il 30 gennaio 2020.
  35. ^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/psychology-is-starting-to-deal-with-its-replication-problem/. URL consultato il 30 gennaio 2020.
  36. ^ Pete Etchells, Psychology's replication drive: it's not about you, in The Guardian, 28 maggio 2014.
  37. ^ Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, An Agenda for Purely Confirmatory Research, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 632–638, DOI:10.1177/1745691612463078, ISSN 1745-6916 (WC · ACNP), PMID 26168122.
  38. ^ John P. A. Ioannidis, Why Science Is Not Necessarily Self-Correcting, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 645–654, DOI:10.1177/1745691612464056, ISSN 1745-6916 (WC · ACNP), PMID 26168125.
  39. ^ Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 531–536, DOI:10.1177/1745691612463401, ISSN 1745-6916 (WC · ACNP), PMID 26168109.
  40. ^ Tom Bartlett, Power of Suggestion, in The Chronicle of Higher Education, 30 gennaio 2013.
  41. ^ Chris Chambers, Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?, in The Guardian, 10 giugno 2014.
  42. ^ a b Matthew C. Makel, Jonathan A. Plucker e Boyd Hegarty, Replications in Psychology Research How Often Do They Really Occur?, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 537–542, DOI:10.1177/1745691612460688, ISSN 1745-6916 (WC · ACNP), PMID 26168110.
  43. ^ Wolfgang Stroebe e Fritz Strack, The Alleged Crisis and the Illusion of Exact Replication (PDF), in Perspectives on Psychological Science, vol. 9, n. 1, 2014, pp. 59–71, DOI:10.1177/1745691613514450, PMID 26173241.
  44. ^ Christie Aschwanden, Psychology's Replication Crisis Has Made The Field Better, in FiveThirtyEight, 6 dicembre 2018. URL consultato il 19 dicembre 2018.
  45. ^ Christopher P G. Allen e David Marc Anton Mehler, Open Science challenges, benefits and tips in early career and beyond, DOI:10.31234/osf.io/3czyt.
  46. ^ vol. 31, https://www.psychologicalscience.org/observer/the-cooperative-revolution-is-making-psychological-science-better.
  47. ^ Open Science Collaboration, Estimating the reproducibility of psychological science (PDF), in Science, vol. 349, n. 6251, 28 agosto 2015, pp. aac4716, DOI:10.1126/science.aac4716, ISSN 0036-8075 (WC · ACNP), PMID 26315443.
  48. ^ mfr.osf.io, https://mfr.osf.io/render?url=https://osf.io/jq7v6/?action=download%26mode=render. URL consultato il 16 ottobre 2019.
  49. ^ (EN) Adam Roger, The Science Behind Social Science Gets Shaken Up—Again, in Wired, 27 agosto 2018. URL consultato il 28 agosto 2018.
  50. ^ Colin F. Camerer, Anna Dreber e Felix Holzmeister, Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 (PDF), in Nature Human Behaviour, vol. 2, n. 9, 27 agosto 2018, pp. 637–644, DOI:10.1038/s41562-018-0399-z, PMID 31346273.
  51. ^ R.A. Klein, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings, in Advances in Methods and Practices in Psychological Science, vol. 1, n. 4, 2018, pp. 443–490, DOI:10.1177/2515245918810225.
  52. ^ Tomasz Witkowski, Is the glass half empty or half full? Latest results in the replication crisis in Psychology (PDF), in Skeptical Inquirer, vol. 43, n. 2, 2019, pp. 5–6 (archiviato dall'url originale il 30 gennaio 2020).
  53. ^ (EN) Brian D. Earp e David Trafimow, Replication, falsification, and the crisis of confidence in social psychology, in Frontiers in Psychology, vol. 6, 2015, p. 621, DOI:10.3389/fpsyg.2015.00621, ISSN 1664-1078 (WC · ACNP), PMID 26042061.
  54. ^ a b Jim Albert Charlton Everett e Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 1º gennaio 2015, p. 1152, DOI:10.3389/fpsyg.2015.01152, PMID 26300832.
  55. ^ spsp.org, http://www.spsp.org/blog/resolving-replication-crisis-social-psychology. URL consultato il 18 novembre 2015.
  56. ^ Business Insider, https://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9. URL consultato il 30 gennaio 2020.
  57. ^ (EN) Draft of Observer Column Sparks Strong Social Media Response, in Association for Psychological Science. URL consultato il 4 ottobre 2017.
  58. ^ (EN) Susan T. Fiske, A Call to Change Science's Culture of Shaming, in APS Observer, vol. 29, n. 9, 31 ottobre 2016.
  59. ^ (EN) Jesse Singal, Inside Psychology's 'Methodological Terrorism' Debate, in NY Mag, 12 ottobre 2016. URL consultato il 4 ottobre 2017.
  60. ^ (EN) BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science, in Statistical Modeling, Causal Inference, and Social Science, 4 ottobre 2017. URL consultato il 4 ottobre 2017.
  61. ^ Ioannidis JA, Contradicted and initially stronger effects in highly cited clinical research, in JAMA, vol. 294, n. 2, 13 luglio 2005, pp. 218–228, DOI:10.1001/jama.294.2.218, PMID 16014596.
  62. ^ J. Leslie Glick, Scientific data audit—A key management tool, in Accountability in Research, vol. 2, n. 3, 1992, pp. 153–168, DOI:10.1080/08989629208573811.
  63. ^ a b C. G. Begley e L. M. Ellis, Drug Development: Raise Standards for Preclinical Cancer Research, in Nature, vol. 483, n. 7391, 2012, pp. 531–533, Bibcode:2012Natur.483..531B, DOI:10.1038/483531a, PMID 22460880.
  64. ^ C. G. Begley, Reproducibility: Six red flags for suspect work, in Nature, vol. 497, n. 7450, 2013, pp. 433–434, Bibcode:2013Natur.497..433B, DOI:10.1038/497433a, PMID 23698428.
  65. ^ A. Mobley, S. K. Linder e R. Braeuer, A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic, in PLOS ONE, vol. 8, n. 5, 2013, p. e63221, Bibcode:2013PLoSO...863221M, DOI:10.1371/journal.pone.0063221, PMID 23691000.
  66. ^ Monya Baker, 1,500 scientists lift the lid on reproducibility, in Nature, vol. 533, n. 7604, 2016, pp. 452–454, Bibcode:2016Natur.533..452B, DOI:10.1038/533452a, PMID 27225100.
  67. ^ JPA Ioannidis, Why Most Clinical Research Is Not Useful, in PLOS Med, vol. 13, n. 6, 2016, p. e1002049, DOI:10.1371/journal.pmed.1002049, PMID 27328301.
  68. ^ John E. Hunter, The desperate need for replications, in Journal of Consumer Research, vol. 28, n. 1, 1º giugno 2001, pp. 149–158, DOI:10.1086/321953.
  69. ^ J. Armstrong e Kesten Green, Guidelines for Science: Evidence and Checklists, in Marketing Papers, 24 gennaio 2017.
  70. ^ Thomas Aichner, Paolo Coletti e Cipriano Forza, Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study, in Journal of Global Marketing, vol. 29, n. 3, 22 marzo 2016, pp. 115–127, DOI:10.1080/08911762.2015.1138012.
  71. ^ (EN) Colin F. Camerer, Anna Dreber e Eskil Forsell, Evaluating replicability of laboratory experiments in economics, in Science, vol. 351, n. 6280, 25 marzo 2016, pp. 1433–1436, Bibcode:2016Sci...351.1433C, DOI:10.1126/science.aaf0918, ISSN 0036-8075 (WC · ACNP), PMID 26940865.
  72. ^ (EN) Science, https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey. URL consultato il 25 ottobre 2017.
  73. ^ (EN) John P. A. Ioannidis, T. D. Stanley e Hristos Doucouliagos, The Power of Bias in Economics Research, in The Economic Journal, vol. 127, n. 605, 1º ottobre 2017, pp. F236–F265, DOI:10.1111/ecoj.12461, ISSN 1468-0297 (WC · ACNP).
  74. ^ Israel Halperin, Andrew D. Vigotsky e Carl Foster, Strengthening the Practice of Exercise and Sport-Science Research, in International Journal of Sports Physiology and Performance, vol. 13, n. 2, 1º febbraio 2018, pp. 127–134, DOI:10.1123/ijspp.2017-0322, ISSN 1555-0273 (WC · ACNP), PMID 28787228.
  75. ^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/how-shoddy-statistics-found-a-home-in-sports-research/. URL consultato il 16 maggio 2018.
  76. ^ (EN) James H. Stagge, David E. Rosenberg e Adel M. Abdallah, Assessing data availability and research reproducibility in hydrology and water resources, in Scientific Data, vol. 6, 26 febbraio 2019, p. 190030, Bibcode:2019NatSD...690030S, DOI:10.1038/sdata.2019.30, ISSN 2052-4463 (WC · ACNP), PMID 30806638.
  77. ^ N. Oreskes, Beware: Transparency rule is a trojan horse, in Nature, vol. 557, n. 7706, 2018, p. 469, Bibcode:2018Natur.557..469O, DOI:10.1038/d41586-018-05207-9, PMID 29789751.
  78. ^ a b Andrea Saltelli, Why science's crisis should not become a political battling ground, in Futures, vol. 104, dicembre 2018, pp. 85–90, DOI:10.1016/j.futures.2018.07.006.
  79. ^ D. Michaels, Doubt is their product: How industry's assault on science threatens your health, Oxford University Press, 2008, ISBN 9780195300673.
  80. ^ (EN) Michał Białek, Replications can cause distorted belief in scientific progress, in Behavioral and Brain Sciences, vol. 41, 2018, pp. e122, DOI:10.1017/S0140525X18000584, ISSN 0140-525X (WC · ACNP), PMID 31064528.
  81. ^ (EN) Niels G. Mede, Mike S. Schäfer e Ricarda Ziegler, The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research, in Public Understanding of Science, vol. 30, n. 1, 2020, pp. 91–102, DOI:10.1177/0963662520954370, PMID 32924865.
  82. ^ Silas Boye Nissen, Tali Magidson e Kevin Gross, Research: Publication bias and the canonization of false facts, in eLife, vol. 5, 20 dicembre 2016, pp. e21451, DOI:10.7554/eLife.21451, PMID 27995896, arXiv:1609.00494.
  83. ^ De Solla Price e Derek J., Little science big science, Columbia University Press, 1963.
  84. ^ Siebert, S., Machesky, L. M. e Insall, R. H., Overflow in science and its implications for trust, in eLife, vol. 4, 2015, p. e10825, DOI:10.7554/eLife.10825, PMID 26365552.
  85. ^ Della Briotta Parolo, P., Kumar Pan e R. Ghosh, Attention decay in science, in Journal of Informetrics, vol. 9, n. 4, 2015, pp. 734–745, Bibcode:2015arXiv150301881D, DOI:10.1016/j.joi.2015.07.006, arXiv:1503.01881.
  86. ^ Mirowski, P., Science-Mart: Privatizing American Science, Harvard University Press, 2011.
  87. ^ A. Saltelli e S. Funtowicz, What is science's crisis really about?, in Futures, vol. 91, 2017, pp. 5–11, DOI:10.1016/j.futures.2017.05.010.
  88. ^ A. Benessia, S. Funtowicz e M. Giampietro, The Rightful Place of Science: Science on the Verge, Consortium for Science, Policy and Outcomes at Arizona State University, 2016.
  89. ^ Noahpinion, http://noahpinionblog.blogspot.co.uk/2016/12/academic-signaling-and-post-truth-world.html. URL consultato il 5 novembre 2017.
  90. ^ H. G. Moeller, Luhmann explained. Open Court Publishing Company, 2006.
  91. ^ N. Luhmann, Social System. Stanford University Press, 1995.
  92. ^ A. Saltelli and P.-M. Boulanger, "Technoscience, policy and the new media. Nexus or vortex?", Futures, vol. 115, p. 102491, November 2019.
  93. ^ D. A. Scheufele, "Science communication as political communication", Proceedings of the National Academy of Sciences of the United States of America, vol. 111 Suppl, no. Supplement 4, pp. 13585–13592, September 2014.
  94. ^ P. Mirowski. Science-Mart: Privatizing American Science. Harvard University Press, 2011.
  95. ^ R. A. Pielke, Jr. The Honest Broker. Cambridge University Press, 2007.
  96. ^ Ramal Moonesinghe, Muin J. Khoury e A. Cecile J. W. Janssens, Most Published Research Findings Are False—But a Little Replication Goes a Long Way, in PLOS Med, vol. 4, n. 2, 27 febbraio 2007, pp. e28, DOI:10.1371/journal.pmed.0040028, PMID 17326704.
  97. ^ Daniel J. Simons, The Value of Direct Replication, in Perspectives on Psychological Science, vol. 9, n. 1, 1º gennaio 2014, pp. 76–80, DOI:10.1177/1745691613514755, ISSN 1745-6916 (WC · ACNP), PMID 26173243.
  98. ^ John P. A. Ioannidis, Daniele Fanelli e Debbie Drake Dunne, Meta-research: Evaluation and Improvement of Research Methods and Practices, in PLOS Biology, vol. 13, n. 10, 2 ottobre 2015, pp. –1002264, DOI:10.1371/journal.pbio.1002264, ISSN 1545-7885 (WC · ACNP), PMID 26431313.
  99. ^ Scope, https://scopeblog.stanford.edu/2015/12/08/on-communicating-science-and-uncertainty-a-podcast-with-john-ioannidis/. URL consultato il 20 maggio 2019.
  100. ^ psychologicalscience.org, http://www.psychologicalscience.org/index.php/replication. URL consultato il 13 novembre 2015.
  101. ^ Chris Chambers, Psychology's 'registration revolution', in The Guardian, 20 maggio 2014. URL consultato il 13 novembre 2015.
  102. ^ D. Stephen Lindsay, Replication in Psychological Science, in Psychological Science, vol. 26, n. 12, 9 novembre 2015, pp. 1827–32, DOI:10.1177/0956797615616374, ISSN 0956-7976 (WC · ACNP), PMID 26553013.
  103. ^ (EN) Andy W. K. Yeung, Do Neuroscience Journals Accept Replications? A Survey of Literature, in Frontiers in Human Neuroscience, vol. 11, 2017, p. 468, DOI:10.3389/fnhum.2017.00468, ISSN 1662-5161 (WC · ACNP), PMID 28979201.
  104. ^ (EN) G. N. Martin e Richard M. Clarke, Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices, in Frontiers in Psychology, vol. 8, 2017, p. 523, DOI:10.3389/fpsyg.2017.00523, ISSN 1664-1078 (WC · ACNP), PMID 28443044.
  105. ^ (EN) Sebastian Wallot e Damian G. Kelty-Stephen, Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication, in Minds and Machines, vol. 28, n. 2, 1º giugno 2018, pp. 353–374, DOI:10.1007/s11023-017-9455-0, ISSN 1572-8641 (WC · ACNP).
  106. ^ Alexander F. Siegenfeld e Yaneer Bar-Yam, An Introduction to Complex Systems Science and Its Applications, in Complexity, vol. 2020, 2020, pp. 1–16, DOI:10.1155/2020/6105872, arXiv:1912.05088.
  107. ^ Michael C. Frank e Rebecca Saxe, Teaching Replication, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 600–604, DOI:10.1177/1745691612460686, ISSN 1745-6916 (WC · ACNP), PMID 26168118.
  108. ^ Jon E. Grahe, Alan Reifman e Anthony D. Hermann, Harnessing the Undiscovered Resource of Student Research Projects, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 605–607, DOI:10.1177/1745691612459057, ISSN 1745-6916 (WC · ACNP), PMID 26168119.
  109. ^ Ben Marwick, Li-Ying Wang e Ryan Robinson, How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology, in Advances in Archaeological Practice, vol. 8, 22 ottobre 2019, pp. 78–86, DOI:10.1017/aap.2019.38.
  110. ^ Daniel J. Benjamin e James O. Berger, Redefine statistical significance, in Nature Human Behaviour, vol. 2, n. 1, 2018, pp. 6–10, DOI:10.1038/s41562-017-0189-z, PMID 30980045.
  111. ^ (EN) Daniel Lakens, Federico G. Adolfi e Casper J. Albers, Justify your alpha, in Nature Human Behaviour, vol. 2, n. 3, marzo 2018, pp. 168–171, DOI:10.1038/s41562-018-0311-x, ISSN 2397-3374 (WC · ACNP).
  112. ^ David Colquhoun, An investigation of the false discovery rate and the misinterpretation of p-values, in Royal Society Open Science, vol. 1, n. 3, 2015, p. 140216, Bibcode:2014RSOS....140216C, DOI:10.1098/rsos.140216, PMID 26064558, arXiv:1407.5296.
  113. ^ a b c David Colquhoun, The reproducibility of research and the misinterpretation of p-values, in Royal Society Open Science, vol. 4, n. 12, 2017, p. 171085, DOI:10.1098/rsos.171085, PMID 29308247.
  114. ^ aeon.co, https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant. URL consultato l'11 dicembre 2016.
  115. ^ fpr-calc.ucl.ac.uk, http://fpr-calc.ucl.ac.uk/.
  116. ^ R. A. J. Matthews, Why should clinicians care about Bayesian methods?, in Journal of Statistical Planning and Inference, vol. 94, 2001, pp. 43–58, DOI:10.1016/S0378-3758(00)00232-9.
  117. ^ Scott E. Maxwell, Michael Y. Lau e George S. Howard, Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?, in American Psychologist, vol. 70, n. 6, 2015, pp. 487–498, DOI:10.1037/a0039400, PMID 26348332.
  118. ^ Joanna IntHout, John P. A. Ioannidis e George F. Borm, Small studies are more heterogeneous than large ones: a meta-meta-analysis, in Journal of Clinical Epidemiology, vol. 68, n. 8, 2015, pp. 860–869, DOI:10.1016/j.jclinepi.2015.03.017, PMID 25959635.
  119. ^ Katherine S. Button, John P. A. Ioannidis e Claire Mokrysz, Power failure: why small sample size undermines the reliability of neuroscience, in Nature Reviews Neuroscience, vol. 14, n. 5, 1º maggio 2013, pp. 365–376, DOI:10.1038/nrn3475, ISSN 1471-003X (WC · ACNP), PMID 23571845.
  120. ^ (EN) Anthony G. Greenwald, Consequences of prejudice against the null hypothesis (PDF), in Psychological Bulletin, vol. 82, n. 1, 1975, pp. 1–20, DOI:10.1037/h0076157.
  121. ^ Valentin Amrhein, Fränzi Korner-Nievergelt e Tobias Roth, The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research, in PeerJ, vol. 5, 2017, p. e3544, DOI:10.7717/peerj.3544, PMID 28698825.
  122. ^ John P. A. Ioannidis, Anticipating consequences of sharing raw data and code and of awarding badges for sharing, in Journal of Clinical Epidemiology, vol. 70, 2016, pp. 258–260, DOI:10.1016/j.jclinepi.2015.04.015, PMID 26163123.
  123. ^ NWO, http://www.nwo.nl/en/news-and-events/news/2016/nwo-makes-3-million-available-for-replication-studies-pilot.html. URL consultato il 2 agosto 2016.
  124. ^ Sam Apple, The Young Billionaire Behind the War on Bad Science, in Wired, 22 gennaio 2017.
  125. ^ Romain D. Gosselin, Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action, in BioEssays, vol. 42, n. 1, 2019, p. 1900189, DOI:10.1002/bies.201900189, PMID 31755115.
  126. ^ (EN) Pacific Standard, https://psmag.com/news/big-pharma-reveals-a-biomedical-replication-crisis. URL consultato il 30 gennaio 2020. Updated on June 14, 2017.
  127. ^ Florian Prinz, Believe it or not: how much can we rely on published data on potential drug targets, in Nature Reviews Drug Discovery, vol. 10, n. 712, 31 agosto 2011, p. 712, DOI:10.1038/nrd3439-c1, PMID 21892149.

Bibliografia[modifica | modifica wikitesto]

Collegamenti esterni[modifica | modifica wikitesto]

Voci correlate[modifica | modifica wikitesto]