Crisi della replicazione: differenze tra le versioni

Naviga nella cronologia in modo interattivo

← Differenza precedente Differenza successiva →

Contenuto cancellato Contenuto aggiunto

In linea

Versione delle 20:33, 7 lug 2023

La crisi della replicazione^[2] (chiamata anche crisi della replicabilità e crisi della riproducibilità) è una crisi metodologica per cui è stato riscontrato come molti risultati sperimentali siano difficili o impossibili da replicare o riprodurre. La crisi della replicazione colpisce più gravemente le scienze sociali e la medicina,^[3]^[4] mentre i dati delle rilevazioni indicano fortemente che anche tutte le scienze naturali sono probabilmente implicate. La frase è stata coniata nei primi anni 2010^[5] come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze.^[6]

Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del metodo scientifico,^[7] l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.^[8]^[9]

Il concetto e l'importanza della replicazione sperimentale

Definizione e criteri di replicazione

Il concetto di replicazione può essere generalmente definito come uno strumento metodologico basato sulla ripetizione di un esperimento al fine di stabilire un certo fatto, verità o un elemento di conoscenza scientifica^[10]. In una replicazione, la ripetizione di una data procedura sperimentale viene operata su un campione di dati diverso dall’esperimento originale, in maniera tale da testare l’affidabilità dei risultati di quest’ultimo^[11]. In questo senso, la replicazione si differenzia dalla riproduzione, in quanto la seconda viene definita come una procedura volta al ripetere lo stesso processo di analisi sugli stessi dati dell’originale. La replicazione si differenzia anche da un test di “robustezza” che è invece volto all’analizzare gli stessi dati con una strategia di analisi sufficientemente diversa da quella usata nell'esperimento originale^[11].

Generalmente, nel decidere se un esperimento sia stato replicato con successo, questa decisione si conforma come un giudizio dicotomico di tipo “replicato/non replicato”^[11].Nel contesto di un test di verifica d’ipotesi, la replicazione di risultati trovati in precedenza avviene quando i risultati ottenuti in uno studio di replicazione sono statisticamente significativi nella direzione prevista dallo studio originale^[11]. Un secondo metodo per stabilire se una replicazione ha avuto successo sta nel calcolare gli intervalli di confidenza del parametro stimato (e.g. la differenza tra le medie di due gruppi sperimentali in un test t) per l’esperimento originale e per la replicazione, e il valutare se la stima del parametro dei due esperimenti rientri nell’intervallo di confidenza dell’altro esperimento (la stima dell’originale nell’intervallo di confidenza della replicazione e vice versa). Altri metodi includono: stabilire se il risultato ottenuto nella replicazione sia coerente con la possibile dimensione dell'effetto stimata dall’originale, valutare soggettivamente se i risultati della replicazione e quelli dell’originale siano simili, o l’utilizzo di fattori Bayes per comparare i risultati dell’originale e della replicazione nel contesto della statistica Bayesiana.^[11]

La definizione di cosa implichi esattamente “ripetere un esperimento” è ancora un concetto molto discusso nel campo delle metascienze, specialmente quando applicato alle scienze psicologiche^[12]^[10]. In generale, vi è accordo sul fatto che in diverse discipline scientifiche, non sia possibile riprodurre un esperimento tale e quale all’originale (ciò che viene talvolta definita come una “replicazione esatta”). Secondo Stefan Schmidt, docente universitario in scienze della salute e psicologia, ciò è particolarmente vero per le discipline scientifiche che lavorano con “unità irreversibili”, ovvero sistemi complessi che variano inevitabilmente col passare del tempo non rendendo possibile lo stabilire le stesse condizioni dell’esperimento originale. Un possibile esempio possono essere le reazioni fisiologiche a stimoli minacciosi dei partecipanti ad uno studio, che si conformano necessariamente in maniera diversa una volta che l’esposizione a questi stimoli viene ripetuta multiple volte in diversi momenti. Più in generale, due esperimenti è inevitabile che si differenzino in una moltitudine di aspetti, tra cui: il campione studiato, il contesto sperimentale (i.e. Il laboratorio dove si tiene l’esperimento), la conformazione delle condizioni sperimentali, et cetera^[11]. In psicologia sociale, secondo gli psicologi dell'omonima disciplina Christian S. Crandall e Jeffrey Sherman, l’impossibilità di condurre una replicazione esatta viene racchiusa dalla nozione per cui non si può “discendere due volte nello stesso fiume”. L’espressione in questo contesto riflette l’idea che i fenomeni psicologici sono necessariamente influenzati da una moltitudine di fattori quali cultura, lingua, priming di certe conoscenze e idee, il significato attribuito a domande e frasi, e le esperienze costantemente soggette a cambiamento dei partecipanti a diversi studi. In questo senso, i fenomeni psicologici sono influenzati dal contesto storico e culturale dove avvengono (a differenze dei fenomeni nelle scienze naturali) e ciò rende impossibile replicare un esperimento in maniera esatta rispetto all’originale.^[13]

Tipi di replicazione

Un numero di tassonomie è stato sviluppato con l’obbiettivo di definire diversi tipi di replicazione sperimentale. Comunemente, una distinzione molto spesso usata^[13]^[10]^[14] è quella tra i seguenti tipi:

Replicazione diretta - Una replicazione viene definita come “diretta” se sufficientemente simile all’esperimento originale da un punto di vista metodologico, in maniera tale da aspettarsi legittimamente di ottenere gli stessi risultati^[15]. Più nello specifico, una replicazione diretta può essere intesa come un esperimento che ripete le caratteristiche cruciali per riprodurre un certo effetto o fenomeno. Le caratteristiche cruciali per la produzione di un certo effetto sono a loro volta basate sulla comprensione teorica dell’effetto stesso^[16].

Replicazione concettuale - Una replicazione viene definita come “concettuale” nel momento in cui si testa una certa ipotesi già testata in precedenza con significative variazioni metodologiche. Un esempio di variazione metodologica significativa può essere l’utilizzo di una diversa operazionalizzazione delle variabili indipendenti e dipendenti nello studio di replicazione rispetto all’originale.^[10]^[15]

Allo stesso tempo, il meta-scienziato Etienne P. Lebel e colleghi^[15] hanno proposto una tassonomia che vede la differenza tra diversi tipi di replicazione come meglio rappresentata da un continuum di similarità metodologica tra la replicazione e l'esperimento originale. In questo senso, si possono quindi individuare i seguenti tipi di replicazione:

Replicazione esatta - Una replicazione dove tutto ciò che è sotto il controllo del ricercatore viene ripetuto tale e quale all’originale. Ciò include: l’operazionalizzazione delle variabili dipendenti e indipendenti, gli stimoli utilizzati per le variabili dipendenti e indipendenti, i dettagli procedurali dell’esperimento e le caratteristiche fisiche del luogo dove l’esperimento avviene. Si ammette invece una variazione nelle variabili contestuali (e.g. contesto storico).
Replicazione molto prossimale - Una replicazione dove a differenza della replicazione esatta, vi è anche una variazione nei dettagli procedurali dell’esperimento e nelle caratteristiche fisiche del luogo dove l’esperimento avviene (mentre non vi è variazione nell’operazionalizzazione delle variabili e negli stimoli utilizzati)
Replicazione prossimale - Una replicazione dove a differenza delle precedenti, vi è anche una variazione negli stimoli utilizzati per le variabili dipendenti e indipendenti (mentre non vi è variazione per l’operazionalizzazione delle due variabili).
Replicazione distale - Una replicazione dove a differenza delle precedenti, vi è anche una variazione nell’operazionalizzazione delle variabili dipendenti e indipendenti.
Replicazione molto distale - Una replicazione per cui ogni singolo aspetto metodologico menzionato in precedenza può essere diverso, e solo l’astrazione teorica del fenomeno è la stessa. Un esempio di replicazione molto distale possono essere i tre diversi studi condotti dallo psicologo sociale John Bargh e colleghi sul fenomeno del comportamento sociale automatico.^[17]

Funzioni

In via generale, l’importanza della replicazione a livello scientifico viene spesso associata agli scritti di Karl Popper^[18]. In particolare, un numero di'nterpretazioni circa l’importanza della replicazione scientifica fa riferimento al seguente estratto dal primo capitolo della Logica della scoperta scientifica:

“Soltanto quando certi eventi ricorrono in accordo con regole, o regolarità, come nel caso degli esperimenti ripetibili, le nostre osservazioni possono essere controllate - in linea di principio - da chiunque. Non prendiamo neppure sul serio le nostre proprie osservazioni, né le accettiamo come osservazioni scientifiche, finché non le abbiamo ripetute e controllate. Soltanto in seguito a tali ripetizioni possiamo convincerci che non stiamo trattando con una semplice ‘coincidenza’ isolata, ma con eventi che, grazie alla loro ripetibilità e riproducibilità possono, in linea di principio, essere sottoposti a controlli intersoggettivi” (Popper, 1959/2012, p. 26-27)^[19]

Secondo il sopracitato Stefan Schmidt, Popper connette l’idea di ripetere un esperimento con il principio di uniformità della natura di Hume come metodo base per ottenere conoscenza oggettiva delle leggi che regolano i fenomeni del mondo. Attraverso la ripetizione di un determinato esperimento, è quindi possibile dimostrare la stabilità delle nostre osservazioni e conoscenze dei fenomeni naturali.^[10] In altre parole, la ricorrenza sistematica di un certo evento secondo precise regole è ciò che rende dato evento testabile intersoggettivamente. A sua volta, questa verifica intersoggettiva è ciò che permette di stabilire conoscenze valide e oggettive dell'evento stesso. Gli psicologi sociali Christian S. Crandall e Jeffrey Sherman in uno dei paragrafi iniziali di un loro scritto, affermano che l’estratto di Popper suggerisce chiaramente che nel momento in cui un effetto non è replicabile, supporto verso lo stesso non può e non deve essere mantenuto a livello scientifico, e che in maniera complementare, solo attraverso la replicazione possiamo guardare con fiducia alle nostre scoperte passate^[13]. Il sociologo Sanjay Srivastava a sua volta interpreta l'estratto di Popper come un chiaro messaggio per cui 1) gli scienziati dovrebbero replicare i propri esperimenti, 2) gli scienziati dovrebbero essere in grado di fornire chiare istruzioni ad altri esperti sul come replicare i propri esperimenti e ottenere gli stessi risultati, e 3) stabilire la riproducibilità degl’esperimenti (tramite replicazione diretta degli stessi) sia una precondizione necessaria allo sviluppare ed il testare le teorie scientifiche atte a spiegarne i risultati^[20].

Più nello specifico, i diversi tipi di replicazione discussi nella sezione precedente svolgono differenti funzioni da un punto di vista epistemologico.

Le replicazioni di tipo diretto, esatto o molto prossimale svolgono la funzione di testare l’effettiva esistenza degli effetti e fenomeni osservati in precedenza. Più precisamente, vista la loro similarità con gli esperimenti originali, replicazioni di questo tipo sono mirate al falsificare l’ipotesi che un fenomeno osservato originariamente fosse un falso positivo.^[10]^[16]^[15]

In questo senso, se da una parte il successo di uno studio di replicazione diretto, esatto o molto prossimale può renderci più fiduciosi nell’effettiva esistenza degli effetti trovati in precedenza, dall’altra il fallimento di uno studio di replicazione può generalmente diminuire la nostra fiducia nell’esistenza di quegli stessi effetti (suggerendo invece che possa essersi trattato di falsi positivi).^[12]^[14] Questo tipo di replicabilità è considerato fondamentale per gli obbiettivi della ricerca scientifica in generale. Il testare l’esistenza di base e la stabilità di un fenomeno osservabile è ciò che a sua volta permette di perseguire altri obbiettivi della ricerca scientifica, quali: l’accumulazione di evidenza e conoscenza scientifica, la consequenzialità dei risultati, la scoperta di fenomeni, e il testare diversi tipi di validità di un esperimento (i.e. interna, esterna, di costrutto)^[15]

Differentemente dalle replicazioni sopracitate, le replicazioni di tipo concettuale, prossimale, distale e molto distale sono considerate importanti nel processo di espansione teorica, nel testare la validità di esperimenti precedenti e nello stabilire la generalizzabilità dei fenomeni osservati in precedenza.^[13]^[15] Ciò avviene grazie alle variazioni metodologiche proprie di questi tipi di replicazione, che permettono quindi di testare certe ipotesi ausiliarie associate all’ipotesi principale, e l’importanza di certi fattori nella produzione di un effetto (e.g. il tipo di operazionalizzazione utilizzata, il tipo di stimoli, o il tipo di costrutti teorici, et cetera)^[15]

Viste le considerazioni di cui sopra sulle funzioni della replicazione sperimentale nelle discipline scientifiche, una bassa incidenza di replicazioni dirette rispetto a replicazioni concettuali, unita a bassi tassi di replicabilità può essere considerata allarmante da un punto di vista epistemologico.^[14]

Storia

L’inizio della crisi di replicazione può essere ricondotto ad una serie di eventi verificatisi all’inizio dei primi anni 2010. Il filosofo della scienza ed epistemologo sociale Felipe Romero ha identificato i seguenti fatti come probabili eventi scatenanti della crisi^[21]:

Controversie riguardanti gli studi sui fenomeni del priming sociale: Nei primi anni 2010, un famoso esperimento condotto nel 1996 dallo psicologo sociale John Bargh e colleghi^[22] non viene replicato in una serie di replicazioni dirette^[23]. La serie di studi di cui l’esperimento faceva parte era stata fino a quel momento largamente citata da altri studi accademici, veniva regolarmente insegnata nei corsi universitari di psicologia sociale, e aveva dato luogo ad un gran numero di replicazioni concettuali. Quest’ultimo fatto è risultato nella creazione di un intero programma di ricerca sui cosiddetti fenomeni di “priming sociale”^{[N 1]}. In aggiunta ai fallimenti nel replicare uno degl’esperimenti originali di Bargh e colleghi, un numero considerevole delle replicazioni concettuali sopracitate non è stato replicato in successive replicazioni dirette^[24]^[25]^[26]^[27]. Inoltre, la controversia generata dal fallimento nel replicare l’esperimento originale ha scatentato un acceso dibattito che ha visto protagonista lo stesso John Bargh^[28].

Controversie riguardanti il fenomeno della percezione extrasensoriale: Nel 2011 una serie di esperimenti condotti dallo psicologo sociale Daryl Bem ha riportato la possibile esistenza del fenomeno della "percezione extrasensoriale" secondo il quale le persone potrebbero, sorprendentemente, venir influenzate da eventi futuri dei quali non sono a conoscenza^[29]. Bem è stato fortemente criticato per la metodologia usata negli studi, e una più precisa rianalisi dei dati dello studio originale non ha constato alcuna evidenza per l’esistenza del fenomeno sopracitato^[30]. Inoltre, una serie di replicazioni dirette degli esperimenti condotti da Bem non ha prodotto risultati significativi^[31]. La vicenda è stata considerata particolarmente allarmante dalla comunità psicologica in quanto le tecniche di analisi utilizzate da Bem erano di uso comune nella ricerca.

Report delle compagnie Amgen e Bayer sui bassi tassi di replicazione nella ricerca biomedica: Tra il 2011 e il 2012, due studi condotti da ricercatori delle compagnie Amgen e Bayer Healthcare vengono pubblicati in cui gli stessi riportano tassi di replicazione particolarmente bassi (11-20%) per una serie d’importanti studi nel campo della ricerca oncologica^[32]^[33].

Pubblicazione di una serie di studi sui fenomeni del p-hacking e delle pratiche di ricerca discutibili (PDR): A partire dagl’ultimi anni 2000, una serie di studi nel campo delle metascienze dimostra come l’adozione di una serie di pratiche di ricerca, quali lo sfruttare la flessibilità del processo di analisi e report dei dati può aumentare considerevolmente la probabilità di ottenere dei falsi positivi^[34]^[35]. La prevalenza di queste pratiche viene attestata da uno studio condotto nel 2012 dalla scienziata del comportamento Leslie K. John e colleghi^[35]. In via generale, questa serie di studi ha suggerito come una percentuale significativa degli studi pubblicati fino a quel momento in diversi campi potesse non essere replicabile in quanto riportante falsi positivi.

La serie di eventi di cui sopra ha generato un’ondata di scetticismo verso la validità della ricerca esistente in diversi campi scientifici vista l’adozione comune di pratiche di ricerca di dubbia validità e il fallimento nel replicare diversi studi. Ciò ha portato figure di spicco nella comunità psicologica e di altre scienze a dichiarare una “crisi di fiducia” nella conoscenza scientifica prodotta fino a quel momento^[36]. La situazione che ne è scaturita è adesso comunemente conosciuta come crisi della replicazione.

Cause

Problemi nel sistema di pubblicazione

Bias di pubblicazione

Il bias di pubblicazione si riferisce ad un fenomeno per cui nelle scienze, gli studi che trovano risultati positivi e sorprendenti hanno una maggior probabilità di venir pubblicati^[21]. Questo porta alla creazione del cosiddetto "Effetto del cassetto dei file” concettualizzato dallo psicologo Robert Rosenthal secondo il quale, alla luce del bias di pubblicazione, un numero considerevole di risultati negativi (non-significativi nel caso di un test d’ipotesi) non viene pubblicato^[37]. Quest’utimo tende a distorcere la percezione di quale sia il reale supporto empirico verso una teoria o un fenomeno scientifico. Secondo il sopracitato Romero, quando il bias di pubblicazione viene considerato insieme al fatto che una possibile larga maggioranza delle ipotesi che vengono testate sono false a priori (sezione 3.5), ciò crea una situazione in cui è plausibile che una porzione considerevole di risultati pubblicati siano falsi positivi^[1]. Un alto tasso di falsi positivi spiegherebbe a sua volta i diffusi fallimenti nel replicare esperimenti passati.

Un’ulteriore e ancor più diretto ruolo del bias di pubblicazione nella crisi di replicazione sta nel fatto che la forte preferenza delle riviste scientifiche verso risultati ed esperimenti originali costitituisce un deterrente per i ricercatori al condurre replicazioni dirette, come spiegato dal filosofo Brian D. Earp e dallo psicologo Jim A. C. Everett^[38]. In mancanza di replicazioni dirette, diventa complicato stabilire la validità dei risultati esistenti (sezione 1.3). A testimonianza di questo fatto, un sondaggio della rivista Nature condotto con più di 1500 ricercatori ha constatato come solo una minoranza degli stessi avesse mai provato a pubblicare una replicazione diretta. Degli stessi, molti hanno riportato come, al momento di pubblicare una replicazione fallita, una richiesta comune da parte degl’editori della rivista fosse quella di minimizzare i paragoni con l’esperimento originale^[39].

Cultura del “pubblica o perisci”

Le conseguenze del bias di pubblicazione sono esacerbate dalla cosiddetta cultura del “pubblica o perisci” in ambito accademico. Come notato dal metascienziato Daniele Fanelli, la cultura del “pubblica o perisci” si riferisce ad un aspetto sociologico del mondo accademico per cui i ricercatori lavorano in un ambito ultracompetitivo e nel quale il riconoscimento è sempre più basato su parametri bibliometrici come il numero di studi pubblicati fino a quel momento^[40]. Secondo Fanelli, ciò crea una forte pressione nei singoli ricercatori volta a produrre risultati che siano “pubblicabili”. Alla luce del bias di pubblicazione, ciò può spingere diversi ricercatori a metter in pratica una serie di strategie per far si che un risultato sperimentale diventi positivo o statisticamente significativo, a discapito della validità dello stesso. (PDR, sezione 3.2). Di un’idea simile sono il biopsicologo ed esperto di metascienza Brian Nosek e colleghi, secondo cui la cultura del “pubblica o perisci” ha creato una situazione in cui gli obbietivi dei singlori ricercatori (e.g. ottenere più pubblicazioni possibili) non sono generalmente allineati con quelli della ricerca scientifica in generale (e.g. ricerca della verità scientifica)^[41].

Pratiche di Ricerca Discutibili

Una delle possibili cause dei bassi tassi di replicabilità in diversi campi e sottocampi scientifici può essere vista nelle cosiddette Pratiche di Ricerca Discutibili (PDR).^{[N 2]} Le pratiche di ricerca discutibili sono una serie di pratiche di ricerca che rientrano in una “zona grigia” tra pratiche accettabili e non accettabili^[42]. Il problema principale nell’utilizzo di queste pratiche sta nell’aumentare in maniera significativa la probabilità di ottenere falsi positivi^[34]. Alla luce di ciò, un’alta prevalenza nell’utilizzo di PDR può portare alla proliferazione di un numero significativo di falsi positivi. Esperimenti riportanti questi risultati risultano di conseguenza non-replicabili in successivi studi.

La non-chiara accettabilità delle PDR dipende dall’intenzione del ricercatore che le mette in pratica. A seconda del livello di consapevolezza sulla problematicità del loro impiego, le PDR ricadono lungo un continuum che va dal grave caso di una volontaria “cattiva condotta” scientifica a l’assenza di consapevolezza dello star impiegando pratiche di ricerca problematiche, passando per casi in cui il loro utilizzo viene giustifcato da bias cognitivi o avviene per semplice sbadataggine del ricercatore^[42].

Esempi comuni di PDR includono il formare un’ipotesi solo una volta che si è a conoscenza dei dati (i.e. HARKing)^[43], il raccogliere dati fino a quando non si trovano risultati significativi, il riportare esclusivamente le ipotesi che sono state confermate, il riportare esclusivamente le variabili dipendenti che hanno portato a risultati significativi, e l’esclusione di outlier, covariate o condizioni sperimentali al fine di ottenere risultati significativi^[35]^[42].

Le PDR sono generalmente associate alla più generica pratica del p-hacking. Il p-hacking si riferisce ad una serie di comportamenti messi in pratica dal ricercatore al fine di aumentare le probabilità di trovare risultati significativi^[44]. Come spiegato nella sezione precedente, ciò viene fatto nella speranza di vedere i propri studi pubblicati ed è quindi, come l’impiego delle PDR in generale, considerabile una conseguenza del bias di pubblicazione^[40]^[41].

Proliferazione di replicazioni concettuali e assenza di replicazioni dirette

Una causa aggiuntiva della mancanza di replicabilità sta nella pratica comune di condurre solo replicazioni concettuali e la loro interazione con il bias di pubblicazione. Secondo gli psicologi Hal Pashler e Christine Harris la problematicità dell’interazione di questi due fattori sta nel fatto che può portare un’intero programma di ricerca ad essere basato su risultati non validi^[14]. Ciò è dovuto al fatto che, come notato in precedenza, per via del bias di pubblicazione la stragrande maggioranza delle replicazioni che vengono condotte sono concettuali, e di queste, solo quelle che ottengono risultati significativi vengono pubblicate. In aggiunta, una replicazione concettuale che fallisce non genera scetticismo verso la validità dei risultati originali. In tal caso, è probabile che un ricercatore attribuisca il fallimento nel replicare alle differenze metodologiche tra l’originale e la replicazione.

In sunto, le replicazioni che vengono condotte sono prevalentemente di tipo concettuale, solo quelle signficative vengono pubblicate e quelle che falliscono non sono informative. Ciò crea potenzialmente una situazione in cui un dato programma di ricerca è basato esclusivamente su una percentuale di replicazioni concettuali riuscite, senza alcun metodo per misurare la validità e l’affidibilità delle stesse (per esempio il condurre replicazioni dirette). Secondo Pashler e Harris, la situazione è particolarmente preoccupante nelle aree di studio in cui gli esperimenti hanno bassa potenza statistica (dove è quindi probabile che una più alta percentuale di studi siano falsi positivi)^[14].

Problemi di natura statistica

Bassa potenza statistica

Il professore all’università di Deakin ed esperto di meta-analisi Tom Stanley e colleghi spiegano come un fattore importante che contribuisce alla bassa replicabilità degli studi sia il fatto che un certo studio abbia una bassa potenza statistica, dove quest'ultima è definita come la probabilità di respingere correttamente l'ipotesi nulla ^[45]. L'influenza di una bassa potenza statistica su la replicabilità degl'esperimenti avviene per tre motivi distinti. Primo, nel momento in cui una replicazione ha bassa potenza statistica, per definizione, avrà una bassa probabilità di rilevare un effetto realmente esistente (e quindi, secondo alcune definizioni, di aver successo nel replicare)^{[N 3]}. Secondo, se l’esperimento originale ha bassa potenza statistica, tenderà a sovrastimare la dimensione dell’effetto del fenomeno studiato. Di conseguenza, una replicazione in cui viene performata una cosiddetta “Analisi della potenza a priori”^{[N 4]} tenderà a sottostimare la dimensione del campione necessaria a replicare l’effetto. Infine, è dimostratibile come nel caso la potenza dello studio originale sia bassa, la probabilità a posteriori che un risultato statisticamente significativo rifletta un effetto esistente sia molto bassa (che analogamente, suggerisce che lo stesso risulato possa trattarsi di un falso positivo). Queste tre ragioni insieme mostrano come in un contesto dove mediamente gli esperimenti che vengono condotti hanno bassa potenza statistica, un numero significativo di questi stessi esperimenti possa essere difficile da replicare^[45].

Uno studio su 200 meta-analisi in psicologia condotto dallo stesso Stanley e colleghi ha determinato che la potenza statistica nella ricerca psicologia tende ad essere piuttosto bassa. La potenza media si aggira tra il 33.1% e il 36.4% contro l’80% considerato convenzionalmente come una buona potenza statistica. Rispetto a questo 80%, solamente un numero tra il 7.7.% e il 9.1% degli studi sembra possa essere adeguato in termini di potenza statistica^[45]. Alla luce di questi dati, è plausibile che una delle cause principali di bassi tassi di replicabilità in psicologia sia dunque una potenza statistica mediamente inadeguata.

Utilizzo dei test d'ipotesi nulla

Secondo il già menzionato Felipe Romero, un possibile fattore che contribuisce alla bassa replicabilità dei risultati può essere trovato nelle limitazioni epistemologiche dei test d'ipotesi nulla. Nella sua argomentazione, Romero cita un comunicato dell’Associazione Statistica Americana in cui il direttore esecutivo dell’associazione Ronald Wasserstein e la statistica Nicole Lazar riportano un numero di limitazioni ed errori d’interpretazione del cosiddetto p-value usato nei test d'ipotesi nulla^[46]. Tra questi vi è il fatto che i p-value non possono portare ad accettare o a rifiutare l’ipotesi nulla in maniera conclusiva. Secondo Romero, questo fatto va a limitare l’informatività di una replicazione fallita e la rende conseguentemente difficile da interpretare e da pubblicare^[21].

Tasso di accuratezza delle ipotesi testate

Un’ulteriore fattore che potrebbe essere alla base dei bassi tassi di replicabilità nei campi scientifici va ritrovato nel tasso di accuratezza/veridicità a priori delle ipotesi che vengono testate. Questa spiegazione è stata proposata ed elaborate dal filosofo e professore all’Università di Cambirdge Alexander Bird. Bird fa notare come l’aspettativa che una maggioranza dei risultati sperimentali in certi campi scientifici possa essere replicata potrebbe non essere giustificata. Ciò deriva essenzialmente dal fatto che in certe scienze, è concepibile che una proporzione non-indifferente d’ipotesi che vengono testate sia falsa a priori. Di conseguenza, assumendo il caso tipico dei test d'ipotesi nulla nel quale vi è una probabilità del 5% di ottenere un falso positivo (errore di tipo I) e l’80% di ottenere un vero positivo (potenza statistica), nel momento in cui un’alta proporzione di ipotesi testate è negativa, la percentuale di falsi positivi sarà relativamente alta rispetto al totale dei casi positivi.

Per esempio, nel caso il 10% delle ipotesi testate siano positive, si può calcolare come il 34% delle ipotesi che risultano significative siano in realtà falsi positivi ^{[N 5]}. Nel caso in cui il 34% dei risultati significativi pubblicati siano dei falsi positivi, è lecito aspettarsi che un numbero non-indifferente di replicazioni dirette sia destinato a fallire. Tutt’al più, questa considerazione è ancora più rilevante se fatta insieme al dato per cui la potenza statistica degli studi in certi campi tende ad essere bassa. Prendendo la percentuale calcolata del 36% da Stanley e colleghi per la ricerca psicologica (sezione 3.4.1)^[45], il numero di falsi positivi con un 10% di ipotesi testate vere a priori sale al 55%.

Bird fa notare come l’asserzione che un basso numero d’ipotesi testate siano vere a priori sia plausibile per certi campi scientifici per ragioni come la complessità dei fenomeni studiati, il fatto che certe teorie non siano totalmente fondate, la “distanza inferenziale” tra teoria e ipotesi, la facilità nel generare ipotesi, e il fatto che in certi campi, le ipotesi possano essere generate da semplici osservazioni o addirittura solo su base intuitiva. I campi a cui Bird fa riferimento in questo senso sono la medicina clinica, l’epidemiologia genetica e molecolare e la psicologia sociale. La situazione è diversa per campi in cui le teorie testate hanno un ottimo fondamento empirico e nei quali le ipotesi possono essere facilmente dedotte dalle teorie (e.g. la fisica sperimentale)

Nelle varie scienze

In generale

Nel 2016, un sondaggio condotto da Nature su circa 1500 scienziati di diverse discipline, ha riportato come il 70% di loro dichiari di non essere riuscito a replicare gli esperimenti di un altro scienziato/a, ma allo stesso tempo, meno del 20% è mai stato contattato da un altro ricercatore o ricercatrice non in grado di riprodurre un loro esperimento. Più precisamente, l'87% dei chimici, il 77% dei biologi, il 69% dei fisici e degli ingegneri, il 67% dei ricercatori medici, il 64% degli scienziati della terra e dell'ambiente e il 62% di tutti gli altri ha dichiarato di non essere stato in grado di replicare gli esperimenti di qualcun altro. Inoltre, Il 50% degli stessi ha dichiarato invece di non essere stato/a in grado di replicare un proprio esperimento. Del campione, solo una minoranza ha dichiarato di aver tentato di pubblicare una replicazione. Nello specifico, il 24% ha dichiarato di essere stato in grado di pubblicare una replicazione riuscita, mentre solo il 13% ha dichiarato di essere stato in grado di pubblicare una replicazione fallita, un fatto coerente con il fenomeno del bias di pubblicazione. Di questi, un numero non precisato di intervistati ha dichiarato come gli editori/editrici delle riviste a cui si è fatto domanda abbiano spesso richiesto di ridurre quanto possibile il paragone con gli studi originali. Allo stesso tempo, gli intervistatori hanno notato come nonostante tutto, le percentuali di accoglienza per gli studi di replicazione fossero comunque maggiori rispetto a quelle di rifiuto da parte delle riviste, con solamente il 12% degl’intervistati ad aver dichiarato di non essere stato in grado di pubblicare una replicazione riuscita, ed il 10% di non essere stato in grado di pubblicare una replicazione fallita. In conclusione, il 52% degl’intervistati ha dichiarato come quella corrente sia una situazione di crisi degna di nota, ma solo il 31% crede che un fallimento nel replicare risultati pubblicati indichi che i risultati originali fossero falsi, e la maggioranza degl’intervistati ha espresso di avere comunque fiducia nella validità dei risultati pubblicati fino a quel momento. ^[39]^[47]

Nella psicologia

Diversi fattori combinati hanno contribuito a mettere la psicologia al centro della controversia.^[48]^[49] Sono particolarmente coinvolte la psicologia sociale,^[50] oltre alla psicologia clinica,^[51]^[52] la psicologia dello sviluppo,^[53] e la ricerca educazionale.^[54]^[55]

In primo luogo, le pratiche di ricerca discutibili (PRD) sono state identificate come comuni nel settore^[56]. Tali pratiche, pur non essendo intenzionalmente fraudolente, comportano la capitalizzazione dell'area grigia delle pratiche scientifiche accettabili o lo sfruttamento della flessibilità nella raccolta, analisi e segnalazione dei dati, spesso nel tentativo di ottenere un risultato desiderato. Esempi di PRD includono la segnalazione selettiva o la pubblicazione parziale dei dati (riportando solo alcune delle condizioni di studio o le misure dipendenti raccolte in una pubblicazione), l'interruzione facoltativa (scegliere quando interrompere la raccolta dei dati, spesso basata sulla significatività statistica dei test), inquadratura di analisi esplorative come analisi di conferma e manipolazione di outlier (rimuovendo outlier o lasciando outlier in un set di dati per rendere significativo un test statistico).^[57]^[58]^[59]^[60] In un sondaggio condotto con circa 2000 psicologi, il 94% dei partecipanti assegnati ad una condizione sperimentale con specifici incentivi a dire la verità ha ammesso di aver utilizzato almeno una delle PDR indicate dal sondaggio^[56]. Il bias di pubblicazione porta a un numero elevato di risultati falsi positivi. È accresciuto dalla pressione alla pubblicazione, nonché dal pregiudizio di conferma dell'autore stesso ed è un rischio intrinseco nel campo, che richiede un certo grado di scetticismo da parte dei lettori.^[34]

In secondo luogo, la psicologia e la psicologia sociale in particolare, si sono trovate al centro di numerosi scandali che hanno coinvolto ricerche completamente fraudolente, in particolare l'ammessa fabbricazione di dati da parte di Diederik Stapel^[61] e accuse contro altri. Tuttavia, la maggior parte degli studiosi riconoscono che la frode è, forse, il contributo minore alle crisi di replicazione.

In terzo luogo, è stato riscontrato che diversi effetti nella scienza psicologica sono difficili da replicare anche prima dell'attuale crisi di replicazione. Ad esempio, la rivista scientifica Judgment and Decision Making ha pubblicato diversi studi nel corso degli anni che non riescono a fornire supporto alla teoria del pensiero inconscio. Le repliche appaiono particolarmente difficili quando le sperimentazioni di ricerca sono preregistrate e condotte da gruppi di ricerca non molto coinvolti nella teoria in discussione.

Questi tre elementi insieme hanno portato a una rinnovata attenzione per la replicazione sostenuta dallo psicologo Daniel Kahneman.^[62] L'esame accurato di molti effetti ha dimostrato che diverse convinzioni assodate sono difficili da replicare. Un'edizione speciale del 2014 della rivista Social Psychology si è concentrata sugli studi di replicazione e ha evidenziato come una serie di credenze precedentemente sostenute fosse difficile da replicare.^[63] Anche un'edizione speciale del 2012 della rivista Perspectives on Psychological Science si è concentrata su questioni che vanno dal bias di pubblicazione all'avversione al "null" che contribuiscono alle crisi di replicazione in psicologia.^[64] Nel 2015 è stato pubblicato il primo studio empirico aperto sulla riproducibilità in psicologia, chiamato Reproducibility Project. Ricercatori di tutto il mondo hanno collaborato per replicare 100 studi empirici di tre importanti riviste di psicologia. Meno della metà dei tentativi di replica ha avuto successo nel produrre risultati statisticamente significativi nelle direzioni previste, sebbene la maggior parte delle repliche tentate abbia prodotto tendenze nelle direzioni previste.^[65]

Molti studi di ricerca e meta-analisi sono compromessi da scarsa qualità e conflitti di interesse che coinvolgono sia gli autori che le organizzazioni professionali di advocacy, risultando in molti falsi positivi per quanto riguarda l'efficacia di alcuni tipi di psicoterapia.^[66]

Sebbene il quotidiano britannico The Independent abbia scritto che i risultati del progetto di riproducibilità mostrano che gran parte della ricerca pubblicata è solo "psico-balbettio",^[67] la crisi della replicazione non significa necessariamente che la psicologia non sia scientifica.^[68]^[69]^[70] Piuttosto questo processo fa parte del processo scientifico in cui vengono potate le vecchie idee o quelle che non possono resistere a un attento esame,^[71]^[72] sebbene questo processo di potatura non sia sempre efficace.^[73]^[74] La conseguenza è che alcune aree della psicologia una volta considerate solide, come il priming sociale, sono state oggetto di un maggiore controllo a causa di repliche fallite.^[75]

Il premio Nobel e professore emerito in psicologia Daniel Kahneman ha sostenuto che gli autori originali dovrebbero essere coinvolti nello sforzo di replica perché i metodi pubblicati sono spesso troppo vaghi.^[76] Altri, come Andrew Wilson, non sono d'accordo, sostenendo che i metodi dovrebbero essere scritti in dettaglio. Un'indagine sui tassi di replicazione nella psicologia del 2012 ha indicato tassi di replicazione di successo più elevati negli studi di replicazione quando c'era sovrapposizione dell'autore con gli autori originali di un dato studio^[77] (tassi di replicazione di successo del 91,7% negli studi con sovrapposizione dell'autore rispetto al 64,6% di successo senza sovrapposizione di autori).

L'interesse per la crisi di replica ha portato ad altri rinnovati sforzi nella disciplina per riesaminare importanti risultati.^[34]^[78] In risposta alle preoccupazioni circa il bias di pubblicazione e il p-hacking, più di 140 riviste di psicologia hanno adottato una revisione tra pari cieca dei risultati in cui gli studi sono accettati non sulla base dei loro risultati e dopo che gli studi sono stati completati, ma prima che gli studi siano condotti e dopo la base del rigore metodologico dei loro disegni sperimentali e le giustificazioni teoriche per le loro tecniche di analisi statistica prima della raccolta o dell'analisi dei dati.^[79] L'analisi iniziale di questa procedura ha stimato che il 61 percento degli studi in cieco sui risultati ha portato a risultati nulli, in contrasto con una stima dal 5 al 20 percento nelle ricerche precedenti.^[80] Inoltre, nel settore sono diventate molto più comuni collaborazioni su larga scala tra ricercatori che lavorano in più laboratori in diversi paesi e che rendono regolarmente disponibili i loro dati per la valutazione di diversi ricercatori.^[81]

Tassi di replicazione della psicologia

Un rapporto della Open Science Collaboration nell'agosto 2015 coordinato da Brian Nosek ha stimato la replicabilità di 100 studi in scienze psicologiche da tre riviste di psicologia di alto livello.^[82] Complessivamente, il 36% delle repliche ha prodotto risultati significativi (valore p inferiore a 0,05) rispetto al 97% degli studi originali che hanno avuto effetti significativi. La dimensione media dell'effetto nelle repliche era circa la metà dell'entità degli effetti riportati negli studi originali.

Lo stesso articolo ha esaminato i tassi di replicabilità e le dimensioni degli effetti per rivista ( Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, Psychological Science) e disciplina (psicologia sociale, psicologia dello sviluppo). I tassi di replicazione dello studio erano del 23% per JPSP, del 48% per JEP:LMC e del 38% per PSCI. Gli studi nel campo della psicologia cognitiva hanno avuto un tasso di replica più elevato (50%) rispetto agli studi nel campo della psicologia sociale (25%).^[83]

Un'analisi delle pubblicazioni nelle prime 100 riviste di psicologia tra il 1900 e il 2012 ha evidenziato che circa l'1,6% di tutte le pubblicazioni di psicologia erano tentativi di replicazione, un valore decisamente troppo basso.^[77] Gli articoli erano considerati un tentativo di replicazione solo se nel testo compariva il termine "replica". Una parte di questi studi (500 studi) è stato selezionato casualmente per ulteriori esami e ha prodotto un tasso di replicazione inferiore all'1,07% (342 dei 500 studi erano in realtà repliche). Nel sottoinsieme dei 500 studi, l'analisi ha indicato che il 78,9% dei tentativi di replica pubblicati ha avuto successo.

Uno studio pubblicato nel 2018 su Nature Human Behavior ha cercato di replicare 21 articoli di scienze sociali e comportamentali di Nature e Science, scoprendo che solo 13 potrebbero essere replicati con successo.^[84]^[85] Allo stesso modo, in uno studio condotto dal Center for Open Science, un team di 186 ricercatori provenienti da 60 diversi laboratori (in rappresentanza di 36 diverse nazionalità provenienti da 6 diversi continenti) ha condotto repliche di 28 scoperte classiche e contemporanee in psicologia.^[86] Il focus dello studio non era solo sulla replicazione o meno dei risultati dei documenti originali, ma anche sulla misura in cui i risultati variavano in funzione delle variazioni nei campioni e nei contesti. Nel complesso, 14 dei 28 risultati non sono stati replicati nonostante le enormi dimensioni del campione. Tuttavia, se un risultato si replicava, si replicava nella maggior parte dei campioni, mentre se un risultato non veniva replicato, non riusciva a replicarsi con poche variazioni tra campioni e contesti. Questa prova è incoerente con una spiegazione popolare secondo cui i fallimenti nella replicazione in psicologia sono probabilmente dovuti a cambiamenti nel campione tra lo studio originale e quello di replica.^[87]

Un dilemma sociale

Evidenziando la struttura sociale che scoraggia la replicazione in psicologia, Brian D. Earp e Jim AC Everett hanno elencato cinque punti sul perché i tentativi di replicazione sono rari:^[88]^[89]

"Le repliche indipendenti e dirette dei risultati di altri possono richiedere molto tempo per il ricercatore che replica"
"Le repliche rischiano di sottrarre energia e risorse direttamente ad altri progetti che riflettono il proprio pensiero originale"
"Le repliche sono generalmente più difficili da pubblicare (in gran parte perché sono considerate non originali)"
"Anche se replicazioni vengono pubblicate, è probabile che vengano viste come esercizi di 'fortificazione', piuttosto che come importanti contributi al campo"
"Le repliche portano ai loro autori meno riconoscimenti e ricompense, e persino una sicurezza di base nella carriera"^[90]

Per questi motivi gli autori hanno sostenuto che la psicologia si trova di fronte a un dilemma sociale, in cui gli interessi della disciplina sono in contrasto con gli interessi del singolo ricercatore.

Polemica sul "terrorismo metodologico"

Con la crisi di replica della psicologia che ha attirato l'attenzione, la psicologa della Princeton University Susan Fiske ha suscitato polemiche per aver criticato aspramente questi studi sulla psicologia.^[91]^[92]^[93]^[94] Ha etichettato questi "avversari" non identificati con nomi come "terrorista metodologico" e "polizia dei dati autoproclamata", e ha affermato che le critiche alla psicologia dovrebbero essere espresse solo in privato o contattando le riviste. Lo statistico e politologo della Columbia University Andrew Gelman, ha risposto a Fiske, dicendo che si era trovata disposta a tollerare il "paradigma morente" delle statistiche errate e si era rifiutata di ritrattare le pubblicazioni anche quando venivano segnalati errori.^[95] Ha aggiunto che il suo incarico come editore è stato pessimo e che un certo numero di articoli pubblicati da lei modificati sono risultati basati su statistiche estremamente deboli; uno degli articoli pubblicati da Fiske conteneva un grave errore statistico e conclusioni "impossibili".

Nella medicina

Su 49 studi medici dal 1990 al 2003 con più di 1000 contribuzioni, 45 sostenevano che la terapia studiata fosse efficace. Di questi studi, il 16% è stato contraddetto da studi successivi, il 16% ha riscontrato effetti più forti rispetto a studi successivi, il 44% è stato replicato e il 24% è rimasto ampiamente incontrastato.^[96] La Food and Drug Administration degli Stati Uniti nel 1977-1990 ha riscontrato errori nel 10-20% degli studi medici.^[97] In un articolo pubblicato nel 2012, C. Glenn Begley, un consulente biotecnologico che lavora presso Amgen, e Lee Ellis, presso l'Università del Texas, hanno scoperto che solo l'11% di 53 studi preclinici sul cancro poteva essere replicato.^[98] Gli studi irriproducibili avevano una serie di caratteristiche in comune, incluso il fatto che gli studi non sono stati eseguiti da investigatori all'oscuro dei bracci sperimentali rispetto ai bracci di controllo, l'impossibilità di ripetere gli esperimenti, la mancanza di controlli positivi e negativi, la mancata visualizzazione di tutti i dati, uso inappropriato di test statistici e uso di reagenti non adeguatamente convalidati.^[99]

Un sondaggio sui ricercatori sul cancro ha scoperto che la metà di loro non era stata in grado di riprodurre un risultato pubblicato.^[100] Un'indagine simile di Nature su 1.576 ricercatori che hanno compilato un breve questionario online sulla riproducibilità ha mostrato che oltre il 70% dei ricercatori ha provato e non è riuscito a riprodurre gli esperimenti di un altro scienziato e più della metà non è riuscita a riprodurre i propri esperimenti. "Sebbene il 52% degli intervistati concordi sull'esistenza di una significativa 'crisi' di riproducibilità, meno del 31% pensa che la mancata riproduzione dei risultati pubblicati significhi che il risultato è probabilmente sbagliato e la maggior parte afferma di fidarsi ancora della letteratura pubblicata".^[101]

Un articolo del 2016 di John Ioannidis, professore di medicina,della ricerca e della politica sanitaria presso la Stanford University School of Medicine, oltre che professore di statistica presso la Stanford University School of Humanities and Sciences, ha composto un articolo su "Perché la maggior parte della ricerca clinica non è utile".^[102] Nell'articolo Ioannidis ha esposto alcuni problemi e ha invitato alla riforma, caratterizzando alcuni punti affinché la ricerca medica torni ad essere utile; un esempio che ha fatto è stata la necessità che la medicina sia "centrata sul paziente" (ad esempio nella forma dell'Istituto di ricerca sui risultati centrati sul paziente) invece della pratica attuale di prendersi cura principalmente delle "esigenze di medici, ricercatori o sponsor" .

Nel marketing

Il marketing è un'altra disciplina con un "disperato bisogno" di replica.^[103] Molti famosi studi di marketing non vengono ripetuti dopo la replica, un esempio notevole è l'"effetto "troppe scelte", in cui un numero elevato di scelte di prodotto rende un consumatore meno propenso all'acquisto^[104] Oltre agli argomenti menzionati in precedenza, sono necessari studi di replica nel marketing per esaminare l'applicabilità di teorie e modelli tra paesi e culture, che è particolarmente importante a causa delle possibili influenze della globalizzazione.^[105]

In economia

Uno studio del 2016 sulla rivista Science ha rilevato che un terzo dei 18 studi sperimentali di due riviste economiche di alto livello ( American Economic Review e Quarterly Journal of Economics) non è riuscito a replicarsi con successo.^[106]^[107] Uno studio del 2017 sull'Economic Journal ha suggerito che "la maggior parte degli effetti medi nella letteratura economica empirica è esagerata di un fattore di almeno 2 e almeno un terzo è esagerata di un fattore di 4 o più".^[108]

Nella scienza dello sport

Uno studio del 2018 ha preso in considerazione il campo dell'esercizio e della scienza dello sport per studi di replica insufficienti, segnalazione limitata di risultati sia nulli che banali e trasparenza della ricerca insufficiente.^[109] Gli statistici hanno criticato la scienza dello sport per l'uso comune di un controverso metodo statistico chiamato "inferenza basata sulla grandezza" che ha permesso agli scienziati dello sport di estrarre risultati apparentemente significativi da dati rumorosi in cui i normali test di ipotesi non ne avrebbero trovati.^[110]

Nella gestione delle risorse idriche

Uno studio del 2019 pubblicato su Scientific Data ha suggerito che solo un piccolo numero di articoli sulle risorse idriche e riviste di gestione potrebbe essere riprodotto, mentre la maggior parte degli articoli non era replicabile a causa dell'indisponibilità dei dati. Lo studio ha stimato con il 95% di certezza che "i risultati potrebbero essere riprodotti solo dallo 0,6% al 6,8% di tutti i 1.989 articoli".^[111]

Ripercussioni politiche e cambiamento climatico

Negli Stati Uniti, la crisi della riproducibilità della scienza è diventata un argomento di contesa politica, legata al tentativo di diminuire le normative – ad esempio delle emissioni di inquinanti, con l'argomento che queste normative si basano su una scienza non riproducibile.^[112]^[113] Precedenti tentativi con lo stesso obiettivo hanno accusato gli studi utilizzati dai regolatori di non essere trasparenti.^[114]

Consapevolezza e percezioni del pubblico

All'interno della comunità scientifica sono state espresse preoccupazioni sul fatto che il pubblico in generale possa considerare la scienza meno credibile a causa delle repliche fallite.^[115] La ricerca a sostegno di questa preoccupazione è scarsa, ma un'indagine rappresentativa a livello nazionale in Germania ha mostrato che oltre il 75% dei tedeschi non ha sentito parlare di errori di replica nella scienza.^[116] Lo studio ha anche scoperto che la maggior parte dei tedeschi ha una percezione positiva degli sforzi di replicazione: solo il 18% pensa che la non replicabilità dimostri che non ci si può fidare della scienza, mentre il 65% pensa che la ricerca sulla replica mostri che la scienza applica il controllo di qualità e l'80% concorda sul fatto che errori e le correzioni fanno parte della scienza.

Accoglienza

La replicazione è stata definita "la pietra angolare della scienza".^[117]^[118] Gli studi di replica tentano di valutare se i risultati pubblicati riflettono risultati veri o falsi positivi. L'integrità dei risultati scientifici e la riproducibilità della ricerca sono importanti in quanto costituiscono la base della conoscenza su cui sono costruiti gli studi futuri.

Metascienza

La metascienza è l'uso della metodologia scientifica per studiare la scienza stessa. La metascienza cerca di aumentare la qualità della ricerca scientifica riducendo gli sprechi. È anche conosciuta come "ricerca sulla ricerca" e "la scienza della scienza", poiché utilizza metodi di ricerca per studiare come si fa la ricerca e dove si possono apportare miglioramenti. La metascienza si occupa di tutti i campi di ricerca ed è stata descritta come "una visione a volo d'uccello della scienza".^[119] Nelle parole di John Ioannidis, "La scienza è la cosa migliore che sia capitata agli esseri umani... ma possiamo farla meglio".^[120]

Continuano le meta-ricerche per individuare le radici della crisi e per affrontarle. I metodi per affrontare la crisi includono la pre-registrazione di studi scientifici, nonché la fondazione di organizzazioni come CONSORT e la rete EQUATOR che emettono linee guida per la metodologia e la rendicontazione. Ci sono continui sforzi per riformare il sistema di incentivi accademici, per migliorare il processo di revisione tra pari, per ridurre l'uso improprio delle statistiche, per combattere i pregiudizi nella letteratura scientifica e per aumentare la qualità e l'efficienza complessive del processo scientifico.

Affrontare il bias di pubblicazione con la pre-registrazione degli studi

Una recente innovazione nell'editoria scientifica ideata per affrontare la crisi della replicazione è attraverso l'uso di rapporti preregistrati.^[121]^[122] In pratica, il modus operandi prevede che il formato del rapporto registrato richieda che gli autori presentino una descrizione dei metodi di studio e delle analisi solo prima della raccolta dei dati. Una volta che il metodo e il piano di analisi sono stati quindi verificati tramite peer-review, la pubblicazione dei risultati è inizialmente e provvisoriamente garantita, a seconda che gli autori seguano o meno il protocollo proposto. Uno degli obiettivi dei rapporti registrati è quello di aggirare il bias di pubblicazione verso risultati significativi che possono portare all'implementazione di pratiche di ricerca discutibili e quindi di incoraggiare la pubblicazione di studi effettuati con metodi rigorosi e prettamente scientifici.

La rivista Psychological Science ha incoraggiato ed elogiato la preregistrazione degli studi e la segnalazione delle dimensioni degli effetti e degli intervalli di confidenza.^[123] Il caporedattore della rivista ha anche osservato come la redazione chiederà la replica degli studi con risultati poco probabili o stupefacenti utilizzando campioni di piccole dimensioni, prima di consentire la pubblicazione degli studi.

Inoltre, solo una piccolissima percentuale di riviste accademiche di psicologia e neuroscienze ha dichiarato esplicitamente di accogliere con favore la presentazione di studi di replicazione nel loro scopo e scopo o istruzioni agli autori.^[124]^[125] Questo fenomeno non incoraggia la segnalazione o addirittura il tentativo di studi di replica.

Passaggio a un paradigma di sistemi complessi

È stato sostenuto che gli sforzi di ricerca che lavorano all'interno del paradigma lineare convenzionale finiscono necessariamente con difficoltà di replica.^[126] I problemi sorgono se i processi causali nel sistema in esame sono "dominanti di interazione" anziché "dominante per componente", moltiplicativi anziché additivi e con molte piccole interazioni non lineari che producono fenomeni di livello macro, non riducibili al loro micro componenti di livello. Nel contesto di sistemi così complessi, i modelli lineari convenzionali producono risposte non ragionevoli, perché non è in linea di principio possibile scomporre la varianza come suggerito dal framework del General Linear Model (GLM) – mirare a riprodurre tale risultato è quindi evidentemente problematico. Le stesse domande vengono attualmente poste in molti campi della scienza, dove i ricercatori stanno iniziando a mettere in discussione le ipotesi alla base dei metodi statistici classici.^[127]

Enfatizzare i tentativi di replica nell'insegnamento

Sulla base dei corsi sui metodi sperimentali presso il MIT, Stanford e l'Università di Washington, è stato suggerito che i corsi sui metodi in psicologia e altri campi enfatizzano i tentativi di replica piuttosto che gli studi originali.^[128]^[129]^[130] Un tale approccio aiuterebbe gli studenti ad apprendere la metodologia scientifica e fornire numerose repliche indipendenti di scoperte scientifiche significative che metterebbero alla prova la replicabilità delle scoperte scientifiche. Alcuni hanno raccomandato che agli studenti laureati sia richiesto di pubblicare un tentativo di replica di alta qualità su un argomento relativo alla loro ricerca di dottorato prima della laurea.^[89]

Ridurre il valore richiesto per rivendicare la significatività di nuovi risultati

Molte pubblicazioni richiedono un valore p di p < 0,05 per rivendicare la significatività statistica. Il documento "Ridefinire la significatività statistica",^[131] firmato da un gran numero di scienziati e matematici, propone che nei "campi in cui la soglia per definire la significatività statistica per le nuove scoperte è p <0.05, proponiamo un cambiamento a p <0.005. Questo semplice passo migliorerebbe immediatamente la riproducibilità della ricerca scientifica in molti campi".

La loro logica è che "una delle principali cause di non riproducibilità (è che gli standard statistici di evidenza per rivendicare nuove scoperte in molti campi della scienza sono semplicemente troppo bassi. L'associazione di risultati "statisticamente significativi" con p < 0,05 si traduce in un alto tasso di falsi positivi anche in assenza di altri problemi sperimentali, procedurali e di segnalazione".

Questo invito è stato successivamente criticato da un altro grande gruppo, il quale ha sostenuto che "ridefinire" la soglia non risolverebbe i problemi attuali, ne porterebbe di nuovi e che alla fine, tutte le soglie dovevano essere giustificate caso per caso anziché seguenti convenzioni generali.^[132]

Affrontare l'errata interpretazione dei valori p

Sebbene gli statistici siano unanimi sul fatto che l'uso del p < 0,05 fornisca prove più deboli di quanto generalmente ritenuto, c'è una mancanza di unanimità su ciò che dovrebbe essere fatto al riguardo. Alcuni hanno sostenuto che i metodi bayesiani dovrebbero sostituire i valori p. Ciò non è avvenuto su larga scala, in parte perché è complicato e in parte perché molti utenti diffidano delle specifiche delle distribuzioni precedenti in assenza di dati concreti. Una versione semplificata dell'argomento bayesiano, basata sulla verifica di un'ipotesi di punto nullo, è stata suggerita da Colquhoun (2014, 2017).^[133]^[134] I problemi logici dell'inferenza induttiva sono stati discussi in "The problem with p-values" (2016).^[135]

I rischi della dipendenza dai valori di p sono stati enfatizzati sottolineando che anche l'osservazione di p = 0.001 non era necessariamente una prova forte contro l'ipotesi nulla.^[134] Nonostante il fatto che il rapporto di verosimiglianza a favore dell'ipotesi alternativa sul nulla sia vicino a 100, se l'ipotesi non fosse plausibile, con una probabilità a priori di un effetto reale pari a 0,1, anche l'osservazione di p = 0,001 avrebbe un rischio di falsi positivi dell'8%. Non raggiungerebbe quindi nemmeno il livello del 5 percento.

È stato raccomandato^[134] di utilizzare i termini "significativo" e "non significativo", oltre a suggerire che il modo migliore per farlo è calcolare la probabilità a priori che sarebbe necessario credere per ottenere un rischio falso positivo, ovvero, del 5%. I calcoli possono essere effettuati con gli script R forniti, o, più semplicemente, con un calcolatore web.^[136] Questo cosiddetto approccio bayesiano inverso è stato suggerito da Matthews (2001).^[137]

Incoraggiare campioni di dimensioni maggiori

Per migliorare la qualità delle repliche, sono spesso necessarie dimensioni del campione più grandi di quelle utilizzate nello studio originale.^[138] Sono necessarie dimensioni del campione più grandi perché le stime delle dimensioni dell'effetto nel lavoro pubblicato sono spesso esagerate a causa della distorsione della pubblicazione e dell'ampia variabilità del campionamento associata a dimensioni del campione ridotte in uno studio originale.^[139]^[140]^[141] Inoltre, l'utilizzo di soglie di significatività di solito porta a effetti gonfiati, perché in particolare con campioni di piccole dimensioni, solo gli effetti maggiori diventeranno significativi.^[142]

Condivisione di dati parziali online

Gli archivi online in cui dati, protocolli e risultati possono essere archiviati e valutati dal pubblico cercano di migliorare l'integrità e la riproducibilità della ricerca. Esempi includono Open Science Framework, Registry of Research Data Repositories e Psychfiledrawer. Siti come Open Science Framework offrono badge per l'utilizzo di pratiche di scienza aperta nel tentativo di incentivare gli scienziati. Tuttavia, c'è stata la preoccupazione che coloro che hanno maggiori probabilità di fornire i loro dati e il codice per le analisi siano i ricercatori che sono probabilmente i più sofisticati.^[143] John Ioannidis dell'Università di Stanford ha suggerito che "potrebbe sorgere il paradosso che i ricercatori più meticolosi e sofisticati, esperti di metodo e attenti possano diventare più suscettibili alle critiche e agli attacchi alla reputazione da parte di rianalizzatori che vanno a caccia di errori, non importa quanto trascurabili siano questi errori".

Finanziamenti per studi di replica

Nel luglio 2016 l'Organizzazione olandese per la ricerca scientifica ha messo a disposizione 3 milioni di euro per studi di replica. Il finanziamento è per la replica basata sulla rianalisi dei dati esistenti e la replica tramite la raccolta e l'analisi di nuovi dati. Sono disponibili finanziamenti nei settori delle scienze sociali, della ricerca sanitaria e dell'innovazione sanitaria.^[144]

Nel 2013 la Laura e la John Arnold Foundation ha finanziato il lancio del Center for Open Science con una sovvenzione di $ 5,25 milioni e nel 2017 ha fornito ulteriori $ 10 milioni di finanziamenti.^[145] Ha anche finanziato il lancio del Meta-Research Innovation Center a Stanford presso la Stanford University gestito da John Ioannidis e Steven Goodman per studiare modi per migliorare la ricerca scientifica. Ha inoltre fornito finanziamenti per l'iniziativa AllTrials guidata in parte da Ben Goldacre.

Aumentare gli standard generali di presentazione dei metodi

Alcuni autori hanno sostenuto che l'insufficiente comunicazione dei metodi sperimentali contribuisce in larga parte alla crisi della riproducibilità e che il miglioramento della qualità del modo in cui vengono riportati il disegno sperimentale e le analisi statistiche aiuterebbe a migliorare la situazione.^[146] Questi autori tendono a citare sia un ampio cambiamento culturale nella comunità scientifica su come vengono considerate le statistiche sia una spinta più coercitiva da parte delle riviste scientifiche e degli organismi di finanziamento.

Implicazioni per l'industria farmaceutica

Le aziende farmaceutiche mantengono laboratori di ricerca o stipulano contratti con fornitori di servizi di ricerca privati il cui compito è replicare studi accademici, al fine di testare se sono accurati prima di investire o provare a sviluppare un nuovo farmaco basato su tale ricerca. La posta in gioco finanziaria è alta per l'azienda e gli investitori, quindi è conveniente per loro investire in repliche esatte.^[147] Inoltre, eseguire una replica richiede non solo competenze generiche nella metodologia di ricerca, ma anche competenze specifiche nell'argomento di interesse spesso ristretto. A volte la ricerca richiede competenze e conoscenze tecniche specifiche e solo i ricercatori dedicati a un'area ristretta di ricerca potrebbero avere tali competenze. In questo momento, le agenzie di finanziamento sono raramente interessate a finanziare studi di replica e la maggior parte delle riviste scientifiche non è interessata a pubblicare tali risultati. I ricercatori sul cancro di Amgen Oncology sono stati in grado di replicare solo l'11% dei 53 studi innovativi che hanno scelto di perseguire in un periodo di 10 anni;^[98] un'analisi del 2011 condotta da ricercatori con l'azienda farmaceutica Bayer ha rilevato che i risultati interni dell'azienda concordavano con i risultati originali solo un quarto delle volte, al massimo.^[148] L'analisi ha anche rivelato che, quando gli scienziati erano in grado di riprodurre un risultato in un esperimento di replicazione diretta, tendeva a tradursi bene in applicazioni cliniche; il che significa che la riproducibilità è un utile indicatore del potenziale clinico.

Note

^ Il priming sociale può essere generalmente definito come l'influenza inconscia che l'attivazione di certe rappresentazioni cognitive può avere sul comportamento delle persone in ambito sociale. L'esatta definizione di questo sottocampo è però oggetto di disputa.
^ Dall'inglese "Questionable Research Practices"
^ In altre parole, in tal casso la replicazione non sarà in grado di trovare l'effetto trovato nell'originale
^ L'analisi della potenza a priori è un metodo che permette di stimare il campione necessario per ottenere una certa potenza statistica in relazione a la dimensione dell'effetto che si vuole trovare
^ la statistica a cui Bird si riferisce come il “Resoconto della Probabilità dei Falsi Positivi”, complementare al Valore Predittivo dei Positivi citato da Ioannidis (2005)

^ ^a ^b John P. A. Ioannidis, Why Most Published Research Findings Are False, in PLOS Medicine, vol. 2, n. 8, 1º agosto 2005, pp. e124, DOI:10.1371/journal.pmed.0020124, ISSN 1549-1277 (WC · ACNP), PMID 16060722.
^ (EN) Reproducibility Crisis Timeline: Milestones in Tackling Research Reliability, su Absolutely Maybe, 5 dicembre 2016. URL consultato il 12 febbraio 2022.
^ J. W. Schooler, Metascience could rescue the 'replication crisis', in Nature, vol. 515, n. 7525, 2014, p. 9, Bibcode:2014Natur.515....9S, DOI:10.1038/515009a, PMID 25373639.
^ Bloomberg, https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant Titolo mancante per url url (aiuto). URL consultato il 7 novembre 2017.
^ Harold Pashler e Eric Jan Wagenmakers, Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, pp. 528–530, DOI:10.1177/1745691612465253, PMID 26168108.
^ The Stanford Encyclopedia of Philosophy, https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris Titolo mancante per url url (aiuto). URL consultato il 19 maggio 2019.
^ Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis.
^ (EN) The New Yorker, https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.
^ (EN) The New Yorker, https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.
^ ^a ^b ^c ^d ^e ^f (EN) Stefan Schmidt, Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences, in Review of General Psychology, vol. 13, n. 2, 2009-06, pp. 90–100, DOI:10.1037/a0015108. URL consultato il 23 maggio 2023.
^ ^a ^b ^c ^d ^e ^f (EN) Brian A. Nosek, Tom E. Hardwicke e Hannah Moshontz, Replicability, Robustness, and Reproducibility in Psychological Science, in Annual Review of Psychology, vol. 73, n. 1, 4 gennaio 2022, pp. 719–748, DOI:10.1146/annurev-psych-020821-114157. URL consultato il 23 maggio 2023.
^ ^a ^b (EN) Brian A. Nosek e Timothy M. Errington, What is replication?, in PLOS Biology, vol. 18, n. 3, 27 marzo 2020, pp. e3000691, DOI:10.1371/journal.pbio.3000691. URL consultato il 23 maggio 2023.
^ ^a ^b ^c ^d (EN) Christian S. Crandall e Jeffrey W. Sherman, On the scientific superiority of conceptual replications for scientific progress, in Journal of Experimental Social Psychology, vol. 66, 1º settembre 2016, pp. 93–99, DOI:10.1016/j.jesp.2015.10.002. URL consultato il 23 maggio 2023.
^ ^a ^b ^c ^d ^e (EN) Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 531–536, DOI:10.1177/1745691612463401. URL consultato il 23 maggio 2023.
^ ^a ^b ^c ^d ^e ^f ^g (EN) Etienne P. LeBel, Derek Berger e Lorne Campbell, Falsifiability is not optional., in Journal of Personality and Social Psychology, vol. 113, n. 2, 2017-08, pp. 254–261, DOI:10.1037/pspi0000106. URL consultato il 23 maggio 2023.
^ ^a ^b (EN) Rolf A. Zwaan, Alexander Etz e Richard E. Lucas, Making replication mainstream, in Behavioral and Brain Sciences, vol. 41, 2018, DOI:10.1017/S0140525X17001972. URL consultato il 23 maggio 2023.
^ (EN) John A. Bargh, Mark Chen e Lara Burrows, Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action., in Journal of Personality and Social Psychology, vol. 71, n. 2, 1996, pp. 230–244, DOI:10.1037/0022-3514.71.2.230. URL consultato il 23 maggio 2023.
^ (EN) Maarten Derksen e Jill Morawski, Kinds of Replication: Examining the Meanings of “Conceptual Replication” and “Direct Replication”, in Perspectives on Psychological Science, vol. 17, n. 5, 2022-09, pp. 1490–1505, DOI:10.1177/17456916211041116. URL consultato il 29 maggio 2023.
^ Karl R. Popper, Introduzione alla logica della scienza, in Logica della scoperta scientifica, collana Piccola Biblioteca Einaudi, traduzione di Mario Trinchero, 2012 [1959], pp. 26-27.
^ Sanjay Srivastava, Popper on direct replication, tacit knowledge, and theory construction, su The Hardest Science, 19 Novembre 2014.
^ ^a ^b ^c (EN) Felipe Romero, Philosophy of science and the replicability crisis, in Philosophy Compass, vol. 14, n. 11, 2019-11, DOI:10.1111/phc3.12633. URL consultato il 5 luglio 2023.
^ (EN) John A. Bargh, Mark Chen e Lara Burrows, Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action., in Journal of Personality and Social Psychology, vol. 71, n. 2, 1996, pp. 230–244, DOI:10.1037/0022-3514.71.2.230. URL consultato il 5 luglio 2023.
^ (EN) Stéphane Doyen, Olivier Klein e Cora-Lise Pichon, Behavioral Priming: It's All in the Mind, but Whose Mind?, in Jan Lauwereyns (a cura di), PLoS ONE, vol. 7, n. 1, 18 gennaio 2012, pp. e29081, DOI:10.1371/journal.pone.0029081. URL consultato il 5 luglio 2023.
^ (EN) Harold Pashler, Noriko Coburn e Christine R. Harris, Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments, in PLOS ONE, vol. 7, n. 8, 29 agosto 2012, pp. e42510, DOI:10.1371/journal.pone.0042510. URL consultato il 5 luglio 2023.
^ (EN) Christine R. Harris, Noriko Coburn e Doug Rohrer, Two Failures to Replicate High-Performance-Goal Priming Effects, in PLOS ONE, vol. 8, n. 8, 16 agosto 2013, pp. e72467, DOI:10.1371/journal.pone.0072467. URL consultato il 5 luglio 2023.
^ (EN) David R. Shanks, Ben R. Newell e Eun Hee Lee, Priming Intelligent Behavior: An Elusive Phenomenon, in PLOS ONE, vol. 8, n. 4, 24 aprile 2013, pp. e56515, DOI:10.1371/journal.pone.0056515. URL consultato il 5 luglio 2023.
^ Richard A. Klein, Kate A. Ratliff e Michelangelo Vianello, Investigating Variation in Replicability, in Social Psychology, vol. 45, n. 3, 2014-05, pp. 142–152, DOI:10.1027/1864-9335/a000178. URL consultato il 5 luglio 2023.
^ (EN) A failed replication draws a scathing personal attack from a psychology professor, su Science, 10 marzo 2012. URL consultato il 5 luglio 2023.
^ (EN) Daryl J. Bem, Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect., in Journal of Personality and Social Psychology, vol. 100, n. 3, 2011, pp. 407–425, DOI:10.1037/a0021524. URL consultato il 5 luglio 2023.
^ (EN) Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011)., in Journal of Personality and Social Psychology, vol. 100, n. 3, 2011-03, pp. 426–432, DOI:10.1037/a0022790. URL consultato il 5 luglio 2023.
^ (EN) Jeff Galak, Robyn A. LeBoeuf e Leif D. Nelson, Correcting the past: Failures to replicate psi., in Journal of Personality and Social Psychology, vol. 103, n. 6, 2012-12, pp. 933–948, DOI:10.1037/a0029709. URL consultato il 5 luglio 2023.
^ (EN) C. Glenn Begley e Lee M. Ellis, Raise standards for preclinical cancer research, in Nature, vol. 483, n. 7391, 2012-03, pp. 531–533, DOI:10.1038/483531a. URL consultato il 5 luglio 2023.
^ (EN) Florian Prinz, Thomas Schlange e Khusru Asadullah, Believe it or not: how much can we rely on published data on potential drug targets?, in Nature Reviews Drug Discovery, vol. 10, n. 9, 2011-09, pp. 712–712, DOI:10.1038/nrd3439-c1. URL consultato il 5 luglio 2023.
^ ^a ^b ^c ^d Joseph Simmons, Leif Nelson e Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, in Psychological Science, vol. 22, n. 11, novembre 2011, pp. 1359–1366, DOI:10.1177/0956797611417632, ISSN 0956-7976 (WC · ACNP), PMID 22006061.
^ ^a ^b ^c (EN) Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, in Psychological Science, vol. 23, n. 5, 2012-05, pp. 524–532, DOI:10.1177/0956797611430953. URL consultato il 5 luglio 2023.
^ (EN) Harold Pashler e Eric–Jan Wagenmakers, Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 528–530, DOI:10.1177/1745691612465253. URL consultato il 5 luglio 2023.
^ (EN) Robert Rosenthal, The file drawer problem and tolerance for null results., in Psychological Bulletin, vol. 86, n. 3, 1979-05, pp. 638–641, DOI:10.1037/0033-2909.86.3.638. URL consultato il 7 luglio 2023.
^ Jim Everett e Brian Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 2015, DOI:10.3389/fpsyg.2015.01152/full. URL consultato il 7 luglio 2023.
^ ^a ^b Monya Baker, 1,500 scientists lift the lid on reproducibility, vol. 533, Springer Nature, 25 maggio 2016, pp. 452–454. URL consultato il 21 maggio 2021.
^ ^a ^b Daniele Fanelli, Do pressures to publish increase scientists' bias? An empirical support from US States Data, in PloS One, vol. 5, n. 4, 21 aprile 2010, pp. e10271, DOI:10.1371/journal.pone.0010271. URL consultato il 7 luglio 2023.
^ ^a ^b (EN) Brian A. Nosek, Jeffrey R. Spies e Matt Motyl, Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 615–631, DOI:10.1177/1745691612459058. URL consultato il 7 luglio 2023.
^ ^a ^b ^c O'Boyle E. H. e Götz M., Questionable Research Practices, in Jussim L., Krosnick J. A. e Stevens S. T. (a cura di), Research Integrity: Best Practices for the Social and Behavioral Sciences, Oxford Academic, 2022, pp. 261-294.
^ (EN) Norbert L. Kerr, HARKing: Hypothesizing After the Results are Known, in Personality and Social Psychology Review, vol. 2, n. 3, 1998-08, pp. 196–217, DOI:10.1207/s15327957pspr0203_4. URL consultato il 7 luglio 2023.
^ MacCoun R. J., P-hacking: A Strategic Analysis, in Jussim L., Krosnick J. A. e Stevens S. T. (a cura di), Research Integrity: Best Practices for the Social and Behavioral Sciences, Oxford Academic, 2022.
^ ^a ^b ^c ^d (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018-12, pp. 1325–1346, DOI:10.1037/bul0000169. URL consultato il 7 luglio 2023.
^ (EN) Ronald L. Wasserstein e Nicole A. Lazar, The ASA Statement on p -Values: Context, Process, and Purpose, in The American Statistician, vol. 70, n. 2, 2 aprile 2016, pp. 129–133, DOI:10.1080/00031305.2016.1154108. URL consultato il 7 luglio 2023.
^ (EN) Nature Video, Scientific American, https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/ Titolo mancante per url url (aiuto). URL consultato il 15 agosto 2019.
^ The Washington Post, https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/ Titolo mancante per url url (aiuto). URL consultato il 10 settembre 2015.
^ (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018, pp. 1325–1346, DOI:10.1037/bul0000169, ISSN 1939-1455 (WC · ACNP), PMID 30321017.
^ (EN) Susan Dominus, When the Revolution Came for Amy Cuddy, in The New York Times, 18 ottobre 2017, ISSN 0362-4331 (WC · ACNP). URL consultato il 19 ottobre 2017.
^ Falk Leichsenring, Allan Abbass e Mark J. Hilsenroth, Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research, in Psychological Medicine, vol. 47, n. 6, aprile 2017, pp. 1000–1011, DOI:10.1017/S003329171600324X, PMID 27955715.
^ Michael P. Hengartner, Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?, in Frontiers in Psychology, vol. 9, Frontiers Media, 28 febbraio 2018, p. 256, DOI:10.3389/fpsyg.2018.00256, PMID 29541051.
^ Michael C. Frank, Elika Bergelson e Christina Bergmann, A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building, in Infancy, vol. 22, n. 4, 9 marzo 2017, pp. 421–435, DOI:10.1111/infa.12182, PMID 31772509.
^ Charlie Tyson, Failure to Replicate, in Inside Higher Ed, 14 agosto 2014. URL consultato il 19 dicembre 2018.
^ Matthew C. Makel e Jonathan A. Plucker, Facts Are More Important Than Novelty: Replication in the Education Sciences, in Educational Researcher, vol. 43, n. 6, 1º agosto 2014, pp. 304–316, DOI:10.3102/0013189X14545513. URL consultato il 19 dicembre 2018.
^ ^a ^b (EN) Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, in Psychological Science, vol. 23, n. 5, 2012-05, pp. 524–532, DOI:10.1177/0956797611430953. URL consultato il 2 luglio 2023.
^ Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling (PDF), in Psychological Science, vol. 23, n. 5, 1º maggio 2012, pp. 524–532, DOI:10.1177/0956797611430953, ISSN 0956-7976 (WC · ACNP), PMID 22508865.
^ Neuroskeptic, The Nine Circles of Scientific Hell, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 643–644, DOI:10.1177/1745691612459519, ISSN 1745-6916 (WC · ACNP), PMID 26168124.
^ Copia archiviata, su vib.be. URL consultato il 13 novembre 2015 (archiviato dall'url originale il 31 ottobre 2014).
^ Klaus Fiedler e Norbert Schwarz, Questionable Research Practices Revisited, in Social Psychological and Personality Science, vol. 7, 19 ottobre 2015, pp. 45–52, DOI:10.1177/1948550615612150, ISSN 1948-5506 (WC · ACNP).
^ Christopher Shea, Fraud Scandal Fuels Debate Over Practices of Social Psychology, in The Chronicle of Higher Education, 13 novembre 2011.
^ Daniel Kahneman, A New Etiquette for Replication, in Social Psychology, vol. 45, n. 4, 2014, pp. 310–311, DOI:10.1027/1864-9335/a000202.
^ Table of contents, in Social Psychology, vol. 45, n. 3, 2014, ISSN 1864-9335 (WC · ACNP).
^ Table of contents, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, ISSN 1745-6916 (WC · ACNP).
^ Open Science Collaboration, Estimating the reproducibility of Psychological Science (PDF), in Science, vol. 349, n. 6251, 2015, pp. aac4716, DOI:10.1126/science.aac4716, PMID 26315443.
^ Copia archiviata, su blogs.plos.org. URL consultato il 13 settembre 2016 (archiviato dall'url originale il 1º maggio 2016).
^ Steve Connor, Study reveals that a lot of psychology research really is just 'psycho-babble', in The Independent, London, 27 agosto 2015.
^ (EN) Michelle N. Meyer , Christopher Chabris, Psychologists’ Food Fight Over Replication of “Important Findings”, su Slate Magazine, 31 luglio 2014. URL consultato il 27 febbraio 2022.
^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/science-isnt-broken/ Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.
^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/psychology-is-starting-to-deal-with-its-replication-problem/ Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.
^ Pete Etchells, Psychology's replication drive: it's not about you, in The Guardian, 28 maggio 2014.
^ Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, An Agenda for Purely Confirmatory Research, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 632–638, DOI:10.1177/1745691612463078, ISSN 1745-6916 (WC · ACNP), PMID 26168122.
^ John P. A. Ioannidis, Why Science Is Not Necessarily Self-Correcting, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 645–654, DOI:10.1177/1745691612464056, ISSN 1745-6916 (WC · ACNP), PMID 26168125.
^ Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 531–536, DOI:10.1177/1745691612463401, ISSN 1745-6916 (WC · ACNP), PMID 26168109.
^ Tom Bartlett, Power of Suggestion, in The Chronicle of Higher Education, 30 gennaio 2013.
^ Chris Chambers, Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?, in The Guardian, 10 giugno 2014.
^ ^a ^b Matthew C. Makel, Jonathan A. Plucker e Boyd Hegarty, Replications in Psychology Research How Often Do They Really Occur?, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 537–542, DOI:10.1177/1745691612460688, ISSN 1745-6916 (WC · ACNP), PMID 26168110.
^ Wolfgang Stroebe e Fritz Strack, The Alleged Crisis and the Illusion of Exact Replication (PDF), in Perspectives on Psychological Science, vol. 9, n. 1, 2014, pp. 59–71, DOI:10.1177/1745691613514450, PMID 26173241.
^ Christie Aschwanden, Psychology's Replication Crisis Has Made The Field Better, in FiveThirtyEight, 6 dicembre 2018. URL consultato il 19 dicembre 2018.
^ Christopher P G. Allen e David Marc Anton Mehler, Open Science challenges, benefits and tips in early career and beyond, DOI:10.31234/osf.io/3czyt.
^ vol. 31, https://www.psychologicalscience.org/observer/the-cooperative-revolution-is-making-psychological-science-better.
^ Open Science Collaboration, Estimating the reproducibility of psychological science (PDF), in Science, vol. 349, n. 6251, 28 agosto 2015, pp. aac4716, DOI:10.1126/science.aac4716, ISSN 0036-8075 (WC · ACNP), PMID 26315443.
^ mfr.osf.io, https://mfr.osf.io/render?url=https://osf.io/jq7v6/?action=download%26mode=render Titolo mancante per url url (aiuto). URL consultato il 16 ottobre 2019.
^ (EN) Adam Roger, The Science Behind Social Science Gets Shaken Up—Again, in Wired, 27 agosto 2018. URL consultato il 28 agosto 2018.
^ Colin F. Camerer, Anna Dreber e Felix Holzmeister, Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 (PDF), in Nature Human Behaviour, vol. 2, n. 9, 27 agosto 2018, pp. 637–644, DOI:10.1038/s41562-018-0399-z, PMID 31346273.
^ R.A. Klein, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings, in Advances in Methods and Practices in Psychological Science, vol. 1, n. 4, 2018, pp. 443–490, DOI:10.1177/2515245918810225.
^ Tomasz Witkowski, Is the glass half empty or half full? Latest results in the replication crisis in Psychology (PDF), in Skeptical Inquirer, vol. 43, n. 2, 2019, pp. 5–6 (archiviato dall'url originale il 30 gennaio 2020).
^ (EN) Brian D. Earp e David Trafimow, Replication, falsification, and the crisis of confidence in social psychology, in Frontiers in Psychology, vol. 6, 2015, p. 621, DOI:10.3389/fpsyg.2015.00621, ISSN 1664-1078 (WC · ACNP), PMID 26042061.
^ ^a ^b Jim Albert Charlton Everett e Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 1º gennaio 2015, p. 1152, DOI:10.3389/fpsyg.2015.01152, PMID 26300832.
^ spsp.org, http://www.spsp.org/blog/resolving-replication-crisis-social-psychology Titolo mancante per url url (aiuto). URL consultato il 18 novembre 2015.
^ Business Insider, https://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9 Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.
^ (EN) Draft of Observer Column Sparks Strong Social Media Response, in Association for Psychological Science. URL consultato il 4 ottobre 2017.
^ (EN) Susan T. Fiske, A Call to Change Science's Culture of Shaming, in APS Observer, vol. 29, n. 9, 31 ottobre 2016.
^ (EN) Jesse Singal, Inside Psychology's 'Methodological Terrorism' Debate, in NY Mag, 12 ottobre 2016. URL consultato il 4 ottobre 2017.
^ (EN) BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science, in Statistical Modeling, Causal Inference, and Social Science, 4 ottobre 2017. URL consultato il 4 ottobre 2017.
^ Ioannidis JA, Contradicted and initially stronger effects in highly cited clinical research, in JAMA, vol. 294, n. 2, 13 luglio 2005, pp. 218–228, DOI:10.1001/jama.294.2.218, PMID 16014596.
^ J. Leslie Glick, Scientific data audit—A key management tool, in Accountability in Research, vol. 2, n. 3, 1992, pp. 153–168, DOI:10.1080/08989629208573811.
^ ^a ^b C. G. Begley e L. M. Ellis, Drug Development: Raise Standards for Preclinical Cancer Research, in Nature, vol. 483, n. 7391, 2012, pp. 531–533, Bibcode:2012Natur.483..531B, DOI:10.1038/483531a, PMID 22460880.
^ C. G. Begley, Reproducibility: Six red flags for suspect work, in Nature, vol. 497, n. 7450, 2013, pp. 433–434, Bibcode:2013Natur.497..433B, DOI:10.1038/497433a, PMID 23698428.
^ A. Mobley, S. K. Linder e R. Braeuer, A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic, in PLOS ONE, vol. 8, n. 5, 2013, p. e63221, Bibcode:2013PLoSO...863221M, DOI:10.1371/journal.pone.0063221, PMID 23691000.
^ Monya Baker, 1,500 scientists lift the lid on reproducibility, in Nature, vol. 533, n. 7604, 2016, pp. 452–454, Bibcode:2016Natur.533..452B, DOI:10.1038/533452a, PMID 27225100.
^ JPA Ioannidis, Why Most Clinical Research Is Not Useful, in PLOS Med, vol. 13, n. 6, 2016, p. e1002049, DOI:10.1371/journal.pmed.1002049, PMID 27328301.
^ John E. Hunter, The desperate need for replications, in Journal of Consumer Research, vol. 28, n. 1, 1º giugno 2001, pp. 149–158, DOI:10.1086/321953.
^ J. Armstrong e Kesten Green, Guidelines for Science: Evidence and Checklists, in Marketing Papers, 24 gennaio 2017.
^ Thomas Aichner, Paolo Coletti e Cipriano Forza, Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study, in Journal of Global Marketing, vol. 29, n. 3, 22 marzo 2016, pp. 115–127, DOI:10.1080/08911762.2015.1138012.
^ (EN) Colin F. Camerer, Anna Dreber e Eskil Forsell, Evaluating replicability of laboratory experiments in economics, in Science, vol. 351, n. 6280, 25 marzo 2016, pp. 1433–1436, Bibcode:2016Sci...351.1433C, DOI:10.1126/science.aaf0918, ISSN 0036-8075 (WC · ACNP), PMID 26940865.
^ (EN) Science, https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey Titolo mancante per url url (aiuto). URL consultato il 25 ottobre 2017.
^ (EN) John P. A. Ioannidis, T. D. Stanley e Hristos Doucouliagos, The Power of Bias in Economics Research, in The Economic Journal, vol. 127, n. 605, 1º ottobre 2017, pp. F236–F265, DOI:10.1111/ecoj.12461, ISSN 1468-0297 (WC · ACNP).
^ Israel Halperin, Andrew D. Vigotsky e Carl Foster, Strengthening the Practice of Exercise and Sport-Science Research, in International Journal of Sports Physiology and Performance, vol. 13, n. 2, 1º febbraio 2018, pp. 127–134, DOI:10.1123/ijspp.2017-0322, ISSN 1555-0273 (WC · ACNP), PMID 28787228.
^ (EN) FiveThirtyEight, https://fivethirtyeight.com/features/how-shoddy-statistics-found-a-home-in-sports-research/ Titolo mancante per url url (aiuto). URL consultato il 16 maggio 2018.
^ (EN) James H. Stagge, David E. Rosenberg e Adel M. Abdallah, Assessing data availability and research reproducibility in hydrology and water resources, in Scientific Data, vol. 6, 26 febbraio 2019, p. 190030, Bibcode:2019NatSD...690030S, DOI:10.1038/sdata.2019.30, ISSN 2052-4463 (WC · ACNP), PMID 30806638.
^ N. Oreskes, Beware: Transparency rule is a trojan horse, in Nature, vol. 557, n. 7706, 2018, p. 469, Bibcode:2018Natur.557..469O, DOI:10.1038/d41586-018-05207-9, PMID 29789751.
^ Andrea Saltelli, Why science's crisis should not become a political battling ground, in Futures, vol. 104, dicembre 2018, pp. 85–90, DOI:10.1016/j.futures.2018.07.006.
^ D. Michaels, Doubt is their product: How industry's assault on science threatens your health, Oxford University Press, 2008, ISBN 9780195300673.
^ (EN) Michał Białek, Replications can cause distorted belief in scientific progress, in Behavioral and Brain Sciences, vol. 41, 2018, pp. e122, DOI:10.1017/S0140525X18000584, ISSN 0140-525X (WC · ACNP), PMID 31064528.
^ (EN) Niels G. Mede, Mike S. Schäfer e Ricarda Ziegler, The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research, in Public Understanding of Science, vol. 30, n. 1, 2020, pp. 91–102, DOI:10.1177/0963662520954370, PMID 32924865.
^ Ramal Moonesinghe, Muin J. Khoury e A. Cecile J. W. Janssens, Most Published Research Findings Are False—But a Little Replication Goes a Long Way, in PLOS Med, vol. 4, n. 2, 27 febbraio 2007, pp. e28, DOI:10.1371/journal.pmed.0040028, PMID 17326704.
^ Daniel J. Simons, The Value of Direct Replication, in Perspectives on Psychological Science, vol. 9, n. 1, 1º gennaio 2014, pp. 76–80, DOI:10.1177/1745691613514755, ISSN 1745-6916 (WC · ACNP), PMID 26173243.
^ John P. A. Ioannidis, Daniele Fanelli e Debbie Drake Dunne, Meta-research: Evaluation and Improvement of Research Methods and Practices, in PLOS Biology, vol. 13, n. 10, 2 ottobre 2015, pp. –1002264, DOI:10.1371/journal.pbio.1002264, ISSN 1545-7885 (WC · ACNP), PMID 26431313.
^ Scope, https://scopeblog.stanford.edu/2015/12/08/on-communicating-science-and-uncertainty-a-podcast-with-john-ioannidis/ Titolo mancante per url url (aiuto). URL consultato il 20 maggio 2019.
^ psychologicalscience.org, http://www.psychologicalscience.org/index.php/replication Titolo mancante per url url (aiuto). URL consultato il 13 novembre 2015.
^ Chris Chambers, Psychology's 'registration revolution', in The Guardian, 20 maggio 2014. URL consultato il 13 novembre 2015.
^ D. Stephen Lindsay, Replication in Psychological Science, in Psychological Science, vol. 26, n. 12, 9 novembre 2015, pp. 1827–32, DOI:10.1177/0956797615616374, ISSN 0956-7976 (WC · ACNP), PMID 26553013.
^ (EN) Andy W. K. Yeung, Do Neuroscience Journals Accept Replications? A Survey of Literature, in Frontiers in Human Neuroscience, vol. 11, 2017, p. 468, DOI:10.3389/fnhum.2017.00468, ISSN 1662-5161 (WC · ACNP), PMID 28979201.
^ (EN) G. N. Martin e Richard M. Clarke, Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices, in Frontiers in Psychology, vol. 8, 2017, p. 523, DOI:10.3389/fpsyg.2017.00523, ISSN 1664-1078 (WC · ACNP), PMID 28443044.
^ (EN) Sebastian Wallot e Damian G. Kelty-Stephen, Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication, in Minds and Machines, vol. 28, n. 2, 1º giugno 2018, pp. 353–374, DOI:10.1007/s11023-017-9455-0, ISSN 1572-8641 (WC · ACNP).
^ Alexander F. Siegenfeld e Yaneer Bar-Yam, An Introduction to Complex Systems Science and Its Applications, in Complexity, vol. 2020, 2020, pp. 1–16, DOI:10.1155/2020/6105872, arXiv:1912.05088.
^ Michael C. Frank e Rebecca Saxe, Teaching Replication, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 600–604, DOI:10.1177/1745691612460686, ISSN 1745-6916 (WC · ACNP), PMID 26168118.
^ Jon E. Grahe, Alan Reifman e Anthony D. Hermann, Harnessing the Undiscovered Resource of Student Research Projects, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 605–607, DOI:10.1177/1745691612459057, ISSN 1745-6916 (WC · ACNP), PMID 26168119.
^ Ben Marwick, Li-Ying Wang e Ryan Robinson, How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology, in Advances in Archaeological Practice, vol. 8, 22 ottobre 2019, pp. 78–86, DOI:10.1017/aap.2019.38.
^ Daniel J. Benjamin e James O. Berger, Redefine statistical significance, in Nature Human Behaviour, vol. 2, n. 1, 2018, pp. 6–10, DOI:10.1038/s41562-017-0189-z, PMID 30980045.
^ (EN) Daniel Lakens, Federico G. Adolfi e Casper J. Albers, Justify your alpha, in Nature Human Behaviour, vol. 2, n. 3, marzo 2018, pp. 168–171, DOI:10.1038/s41562-018-0311-x, ISSN 2397-3374 (WC · ACNP).
^ David Colquhoun, An investigation of the false discovery rate and the misinterpretation of p-values, in Royal Society Open Science, vol. 1, n. 3, 2015, p. 140216, Bibcode:2014RSOS....140216C, DOI:10.1098/rsos.140216, PMID 26064558, arXiv:1407.5296.
^ ^a ^b ^c David Colquhoun, The reproducibility of research and the misinterpretation of p-values, in Royal Society Open Science, vol. 4, n. 12, 2017, p. 171085, DOI:10.1098/rsos.171085, PMID 29308247.
^ aeon.co, https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant Titolo mancante per url url (aiuto). URL consultato l'11 dicembre 2016.
^ fpr-calc.ucl.ac.uk, http://fpr-calc.ucl.ac.uk/ Titolo mancante per url url (aiuto).
^ R. A. J. Matthews, Why should clinicians care about Bayesian methods?, in Journal of Statistical Planning and Inference, vol. 94, 2001, pp. 43–58, DOI:10.1016/S0378-3758(00)00232-9.
^ Scott E. Maxwell, Michael Y. Lau e George S. Howard, Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?, in American Psychologist, vol. 70, n. 6, 2015, pp. 487–498, DOI:10.1037/a0039400, PMID 26348332.
^ Joanna IntHout, John P. A. Ioannidis e George F. Borm, Small studies are more heterogeneous than large ones: a meta-meta-analysis, in Journal of Clinical Epidemiology, vol. 68, n. 8, 2015, pp. 860–869, DOI:10.1016/j.jclinepi.2015.03.017, PMID 25959635.
^ Katherine S. Button, John P. A. Ioannidis e Claire Mokrysz, Power failure: why small sample size undermines the reliability of neuroscience, in Nature Reviews Neuroscience, vol. 14, n. 5, 1º maggio 2013, pp. 365–376, DOI:10.1038/nrn3475, ISSN 1471-003X (WC · ACNP), PMID 23571845.
^ (EN) Anthony G. Greenwald, Consequences of prejudice against the null hypothesis (PDF), in Psychological Bulletin, vol. 82, n. 1, 1975, pp. 1–20, DOI:10.1037/h0076157.
^ Valentin Amrhein, Fränzi Korner-Nievergelt e Tobias Roth, The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research, in PeerJ, vol. 5, 2017, p. e3544, DOI:10.7717/peerj.3544, PMID 28698825.
^ John P. A. Ioannidis, Anticipating consequences of sharing raw data and code and of awarding badges for sharing, in Journal of Clinical Epidemiology, vol. 70, 2016, pp. 258–260, DOI:10.1016/j.jclinepi.2015.04.015, PMID 26163123.
^ NWO, http://www.nwo.nl/en/news-and-events/news/2016/nwo-makes-3-million-available-for-replication-studies-pilot.html Titolo mancante per url url (aiuto). URL consultato il 2 agosto 2016.
^ Sam Apple, The Young Billionaire Behind the War on Bad Science, in Wired, 22 gennaio 2017.
^ Romain D. Gosselin, Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action, in BioEssays, vol. 42, n. 1, 2019, p. 1900189, DOI:10.1002/bies.201900189, PMID 31755115.
^ (EN) Pacific Standard, https://psmag.com/news/big-pharma-reveals-a-biomedical-replication-crisis Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020. Updated on June 14, 2017.
^ Florian Prinz, Believe it or not: how much can we rely on published data on potential drug targets, in Nature Reviews Drug Discovery, vol. 10, n. 712, 31 agosto 2011, p. 712, DOI:10.1038/nrd3439-c1, PMID 21892149.

Bibliografia

Denworth, Lydia (ottobre 2019). "Un problema significativo: i metodi scientifici standard sono sotto tiro. Cambierà qualcosa?" , Scientific American, vol. 321, n. 4, pagg. 62-67.
Richard Harris, Rigor Mortis: How Sloppy Science Creates Worthless Cures, Crushes Hope, and Wastes Billions, New York, Basic Books, 2017, ISBN 9780465097906.
Stuart Ritchie, Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth, New York, Metropolitan Books, luglio 2020, ISBN 9781250222695.

Voci correlate

Collegamenti esterni

La crisi che colpisce la scienza moderna (novembre 2020, The American Conservative).

Portale Filosofia

Portale Scienza e tecnica

Portale Sociologia

[24] Il priming sociale può essere generalmente definito come l'influenza inconscia che l'attivazione di certe rappresentazioni cognitive può avere sul comportamento delle persone in ambito sociale. L'esatta definizione di questo sottocampo è però oggetto di disputa.

[43] Dall'inglese "Questionable Research Practices"

[48] In altre parole, in tal casso la replicazione non sarà in grado di trovare l'effetto trovato nell'originale

[49] L'analisi della potenza a priori è un metodo che permette di stimare il campione necessario per ottenere una certa potenza statistica in relazione a la dimensione dell'effetto che si vuole trovare

[51] statistica a cui Bird si riferisce come il “Resoconto della Probabilità dei Falsi Positivi”, complementare al Valore Predittivo dei Positivi citato da Ioannidis (2005)

[Ioannidis2005-1] John P. A. Ioannidis, Why Most Published Research Findings Are False, in PLOS Medicine, vol. 2, n. 8, 1º agosto 2005, pp. e124, DOI:10.1371/journal.pmed.0020124, ISSN 1549-1277 (WC · ACNP), PMID 16060722.

[2] (EN) Reproducibility Crisis Timeline: Milestones in Tackling Research Reliability, su Absolutely Maybe, 5 dicembre 2016. URL consultato il 12 febbraio 2022.

[3] J. W. Schooler, Metascience could rescue the 'replication crisis', in Nature, vol. 515, n. 7525, 2014, p. 9, Bibcode:2014Natur.515....9S, DOI:10.1038/515009a, PMID 25373639.

[Why_'Statistical_Significance'_Is_Often_Insignificant-4] Bloomberg, https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant Titolo mancante per url url (aiuto). URL consultato il 7 novembre 2017.

[5] Harold Pashler e Eric Jan Wagenmakers, Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, pp. 528–530, DOI:10.1177/1745691612465253, PMID 26168108.

[6] The Stanford Encyclopedia of Philosophy, https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris Titolo mancante per url url (aiuto). URL consultato il 19 maggio 2019.

[7] Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis.

[8] (EN) The New Yorker, https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.

[9] (EN) The New Yorker, https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.

[:6-10] ^ ^a ^b ^c ^d ^e ^f (EN) Stefan Schmidt, Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences, in Review of General Psychology, vol. 13, n. 2, 2009-06, pp. 90–100, DOI:10.1037/a0015108. URL consultato il 23 maggio 2023.

[:5-11] ^ ^a ^b ^c ^d ^e ^f (EN) Brian A. Nosek, Tom E. Hardwicke e Hannah Moshontz, Replicability, Robustness, and Reproducibility in Psychological Science, in Annual Review of Psychology, vol. 73, n. 1, 4 gennaio 2022, pp. 719–748, DOI:10.1146/annurev-psych-020821-114157. URL consultato il 23 maggio 2023.

[:7-12] (EN) Brian A. Nosek e Timothy M. Errington, What is replication?, in PLOS Biology, vol. 18, n. 3, 27 marzo 2020, pp. e3000691, DOI:10.1371/journal.pbio.3000691. URL consultato il 23 maggio 2023.

[:8-13] (EN) Christian S. Crandall e Jeffrey W. Sherman, On the scientific superiority of conceptual replications for scientific progress, in Journal of Experimental Social Psychology, vol. 66, 1º settembre 2016, pp. 93–99, DOI:10.1016/j.jesp.2015.10.002. URL consultato il 23 maggio 2023.

[:9-14] (EN) Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 531–536, DOI:10.1177/1745691612463401. URL consultato il 23 maggio 2023.

[:10-15] ^ ^a ^b ^c ^d ^e ^f ^g (EN) Etienne P. LeBel, Derek Berger e Lorne Campbell, Falsifiability is not optional., in Journal of Personality and Social Psychology, vol. 113, n. 2, 2017-08, pp. 254–261, DOI:10.1037/pspi0000106. URL consultato il 23 maggio 2023.

[:11-16] (EN) Rolf A. Zwaan, Alexander Etz e Richard E. Lucas, Making replication mainstream, in Behavioral and Brain Sciences, vol. 41, 2018, DOI:10.1017/S0140525X17001972. URL consultato il 23 maggio 2023.

[17] (EN) John A. Bargh, Mark Chen e Lara Burrows, Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action., in Journal of Personality and Social Psychology, vol. 71, n. 2, 1996, pp. 230–244, DOI:10.1037/0022-3514.71.2.230. URL consultato il 23 maggio 2023.

[18] (EN) Maarten Derksen e Jill Morawski, Kinds of Replication: Examining the Meanings of “Conceptual Replication” and “Direct Replication”, in Perspectives on Psychological Science, vol. 17, n. 5, 2022-09, pp. 1490–1505, DOI:10.1177/17456916211041116. URL consultato il 29 maggio 2023.

[19] Karl R. Popper, Introduzione alla logica della scienza, in Logica della scoperta scientifica, collana Piccola Biblioteca Einaudi, traduzione di Mario Trinchero, 2012 [1959], pp. 26-27.

[20] Sanjay Srivastava, Popper on direct replication, tacit knowledge, and theory construction, su The Hardest Science, 19 Novembre 2014.

[:14-21] (EN) Felipe Romero, Philosophy of science and the replicability crisis, in Philosophy Compass, vol. 14, n. 11, 2019-11, DOI:10.1111/phc3.12633. URL consultato il 5 luglio 2023.

[22] (EN) John A. Bargh, Mark Chen e Lara Burrows, Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action., in Journal of Personality and Social Psychology, vol. 71, n. 2, 1996, pp. 230–244, DOI:10.1037/0022-3514.71.2.230. URL consultato il 5 luglio 2023.

[23] (EN) Stéphane Doyen, Olivier Klein e Cora-Lise Pichon, Behavioral Priming: It's All in the Mind, but Whose Mind?, in Jan Lauwereyns (a cura di), PLoS ONE, vol. 7, n. 1, 18 gennaio 2012, pp. e29081, DOI:10.1371/journal.pone.0029081. URL consultato il 5 luglio 2023.

[25] (EN) Harold Pashler, Noriko Coburn e Christine R. Harris, Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments, in PLOS ONE, vol. 7, n. 8, 29 agosto 2012, pp. e42510, DOI:10.1371/journal.pone.0042510. URL consultato il 5 luglio 2023.

[26] (EN) Christine R. Harris, Noriko Coburn e Doug Rohrer, Two Failures to Replicate High-Performance-Goal Priming Effects, in PLOS ONE, vol. 8, n. 8, 16 agosto 2013, pp. e72467, DOI:10.1371/journal.pone.0072467. URL consultato il 5 luglio 2023.

[27] (EN) David R. Shanks, Ben R. Newell e Eun Hee Lee, Priming Intelligent Behavior: An Elusive Phenomenon, in PLOS ONE, vol. 8, n. 4, 24 aprile 2013, pp. e56515, DOI:10.1371/journal.pone.0056515. URL consultato il 5 luglio 2023.

[28] Richard A. Klein, Kate A. Ratliff e Michelangelo Vianello, Investigating Variation in Replicability, in Social Psychology, vol. 45, n. 3, 2014-05, pp. 142–152, DOI:10.1027/1864-9335/a000178. URL consultato il 5 luglio 2023.

[29] (EN) A failed replication draws a scathing personal attack from a psychology professor, su Science, 10 marzo 2012. URL consultato il 5 luglio 2023.

[30] (EN) Daryl J. Bem, Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect., in Journal of Personality and Social Psychology, vol. 100, n. 3, 2011, pp. 407–425, DOI:10.1037/a0021524. URL consultato il 5 luglio 2023.

[31] (EN) Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011)., in Journal of Personality and Social Psychology, vol. 100, n. 3, 2011-03, pp. 426–432, DOI:10.1037/a0022790. URL consultato il 5 luglio 2023.

[32] (EN) Jeff Galak, Robyn A. LeBoeuf e Leif D. Nelson, Correcting the past: Failures to replicate psi., in Journal of Personality and Social Psychology, vol. 103, n. 6, 2012-12, pp. 933–948, DOI:10.1037/a0029709. URL consultato il 5 luglio 2023.

[33] (EN) C. Glenn Begley e Lee M. Ellis, Raise standards for preclinical cancer research, in Nature, vol. 483, n. 7391, 2012-03, pp. 531–533, DOI:10.1038/483531a. URL consultato il 5 luglio 2023.

[34] (EN) Florian Prinz, Thomas Schlange e Khusru Asadullah, Believe it or not: how much can we rely on published data on potential drug targets?, in Nature Reviews Drug Discovery, vol. 10, n. 9, 2011-09, pp. 712–712, DOI:10.1038/nrd3439-c1. URL consultato il 5 luglio 2023.

[Simmons_et_al._(2011)-35] Joseph Simmons, Leif Nelson e Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, in Psychological Science, vol. 22, n. 11, novembre 2011, pp. 1359–1366, DOI:10.1177/0956797611417632, ISSN 0956-7976 (WC · ACNP), PMID 22006061.

[:13-36] (EN) Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, in Psychological Science, vol. 23, n. 5, 2012-05, pp. 524–532, DOI:10.1177/0956797611430953. URL consultato il 5 luglio 2023.

[37] (EN) Harold Pashler e Eric–Jan Wagenmakers, Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 528–530, DOI:10.1177/1745691612465253. URL consultato il 5 luglio 2023.

[38] (EN) Robert Rosenthal, The file drawer problem and tolerance for null results., in Psychological Bulletin, vol. 86, n. 3, 1979-05, pp. 638–641, DOI:10.1037/0033-2909.86.3.638. URL consultato il 7 luglio 2023.

[39] Jim Everett e Brian Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 2015, DOI:10.3389/fpsyg.2015.01152/full. URL consultato il 7 luglio 2023.

[Nature_5-25-2016-40] Monya Baker, 1,500 scientists lift the lid on reproducibility, vol. 533, Springer Nature, 25 maggio 2016, pp. 452–454. URL consultato il 21 maggio 2021.

[:15-41] Daniele Fanelli, Do pressures to publish increase scientists' bias? An empirical support from US States Data, in PloS One, vol. 5, n. 4, 21 aprile 2010, pp. e10271, DOI:10.1371/journal.pone.0010271. URL consultato il 7 luglio 2023.

[:16-42] (EN) Brian A. Nosek, Jeffrey R. Spies e Matt Motyl, Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability, in Perspectives on Psychological Science, vol. 7, n. 6, 2012-11, pp. 615–631, DOI:10.1177/1745691612459058. URL consultato il 7 luglio 2023.

[:17-44] O'Boyle E. H. e Götz M., Questionable Research Practices, in Jussim L., Krosnick J. A. e Stevens S. T. (a cura di), Research Integrity: Best Practices for the Social and Behavioral Sciences, Oxford Academic, 2022, pp. 261-294.

[45] (EN) Norbert L. Kerr, HARKing: Hypothesizing After the Results are Known, in Personality and Social Psychology Review, vol. 2, n. 3, 1998-08, pp. 196–217, DOI:10.1207/s15327957pspr0203_4. URL consultato il 7 luglio 2023.

[46] MacCoun R. J., P-hacking: A Strategic Analysis, in Jussim L., Krosnick J. A. e Stevens S. T. (a cura di), Research Integrity: Best Practices for the Social and Behavioral Sciences, Oxford Academic, 2022.

[:18-47] (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018-12, pp. 1325–1346, DOI:10.1037/bul0000169. URL consultato il 7 luglio 2023.

[50] (EN) Ronald L. Wasserstein e Nicole A. Lazar, The ASA Statement on p -Values: Context, Process, and Purpose, in The American Statistician, vol. 70, n. 2, 2 aprile 2016, pp. 129–133, DOI:10.1080/00031305.2016.1154108. URL consultato il 7 luglio 2023.

[52] (EN) Nature Video, Scientific American, https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/ Titolo mancante per url url (aiuto). URL consultato il 15 agosto 2019.

[53] The Washington Post, https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/ Titolo mancante per url url (aiuto). URL consultato il 10 settembre 2015.

[54] (EN) T. D. Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research., in Psychological Bulletin, vol. 144, n. 12, 2018, pp. 1325–1346, DOI:10.1037/bul0000169, ISSN 1939-1455 (WC · ACNP), PMID 30321017.

[55] (EN) Susan Dominus, When the Revolution Came for Amy Cuddy, in The New York Times, 18 ottobre 2017, ISSN 0362-4331 (WC · ACNP). URL consultato il 19 ottobre 2017.

[56] Falk Leichsenring, Allan Abbass e Mark J. Hilsenroth, Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research, in Psychological Medicine, vol. 47, n. 6, aprile 2017, pp. 1000–1011, DOI:10.1017/S003329171600324X, PMID 27955715.

[57] Michael P. Hengartner, Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?, in Frontiers in Psychology, vol. 9, Frontiers Media, 28 febbraio 2018, p. 256, DOI:10.3389/fpsyg.2018.00256, PMID 29541051.

[58] Michael C. Frank, Elika Bergelson e Christina Bergmann, A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building, in Infancy, vol. 22, n. 4, 9 marzo 2017, pp. 421–435, DOI:10.1111/infa.12182, PMID 31772509.

[59] Charlie Tyson, Failure to Replicate, in Inside Higher Ed, 14 agosto 2014. URL consultato il 19 dicembre 2018.

[60] Matthew C. Makel e Jonathan A. Plucker, Facts Are More Important Than Novelty: Replication in the Education Sciences, in Educational Researcher, vol. 43, n. 6, 1º agosto 2014, pp. 304–316, DOI:10.3102/0013189X14545513. URL consultato il 19 dicembre 2018.

[:12-61] (EN) Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, in Psychological Science, vol. 23, n. 5, 2012-05, pp. 524–532, DOI:10.1177/0956797611430953. URL consultato il 2 luglio 2023.

[:0-62] Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling (PDF), in Psychological Science, vol. 23, n. 5, 1º maggio 2012, pp. 524–532, DOI:10.1177/0956797611430953, ISSN 0956-7976 (WC · ACNP), PMID 22508865.

[63] Neuroskeptic, The Nine Circles of Scientific Hell, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 643–644, DOI:10.1177/1745691612459519, ISSN 1745-6916 (WC · ACNP), PMID 26168124.

[64] Copia archiviata, su vib.be. URL consultato il 13 novembre 2015 (archiviato dall'url originale il 31 ottobre 2014).

[65] Klaus Fiedler e Norbert Schwarz, Questionable Research Practices Revisited, in Social Psychological and Personality Science, vol. 7, 19 ottobre 2015, pp. 45–52, DOI:10.1177/1948550615612150, ISSN 1948-5506 (WC · ACNP).

[66] Christopher Shea, Fraud Scandal Fuels Debate Over Practices of Social Psychology, in The Chronicle of Higher Education, 13 novembre 2011.

[67] Daniel Kahneman, A New Etiquette for Replication, in Social Psychology, vol. 45, n. 4, 2014, pp. 310–311, DOI:10.1027/1864-9335/a000202.

[68] Table of contents, in Social Psychology, vol. 45, n. 3, 2014, ISSN 1864-9335 (WC · ACNP).

[69] Table of contents, in Perspectives on Psychological Science, vol. 7, n. 6, 2012, ISSN 1745-6916 (WC · ACNP).

[70] Open Science Collaboration, Estimating the reproducibility of Psychological Science (PDF), in Science, vol. 349, n. 6251, 2015, pp. aac4716, DOI:10.1126/science.aac4716, PMID 26315443.

[71] Copia archiviata, su blogs.plos.org. URL consultato il 13 settembre 2016 (archiviato dall'url originale il 1º maggio 2016).

[72] Steve Connor, Study reveals that a lot of psychology research really is just 'psycho-babble', in The Independent, London, 27 agosto 2015.

[73] (EN) Michelle N. Meyer , Christopher Chabris, Psychologists’ Food Fight Over Replication of “Important Findings”, su Slate Magazine, 31 luglio 2014. URL consultato il 27 febbraio 2022.

[74] (EN) FiveThirtyEight, https://fivethirtyeight.com/features/science-isnt-broken/ Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.

[75] (EN) FiveThirtyEight, https://fivethirtyeight.com/features/psychology-is-starting-to-deal-with-its-replication-problem/ Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.

[76] Pete Etchells, Psychology's replication drive: it's not about you, in The Guardian, 28 maggio 2014.

[77] Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, An Agenda for Purely Confirmatory Research, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 632–638, DOI:10.1177/1745691612463078, ISSN 1745-6916 (WC · ACNP), PMID 26168122.

[78] John P. A. Ioannidis, Why Science Is Not Necessarily Self-Correcting, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 645–654, DOI:10.1177/1745691612464056, ISSN 1745-6916 (WC · ACNP), PMID 26168125.

[79] Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 531–536, DOI:10.1177/1745691612463401, ISSN 1745-6916 (WC · ACNP), PMID 26168109.

[80] Tom Bartlett, Power of Suggestion, in The Chronicle of Higher Education, 30 gennaio 2013.

[Chambers-81] Chris Chambers, Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?, in The Guardian, 10 giugno 2014.

[:1-82] Matthew C. Makel, Jonathan A. Plucker e Boyd Hegarty, Replications in Psychology Research How Often Do They Really Occur?, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 537–542, DOI:10.1177/1745691612460688, ISSN 1745-6916 (WC · ACNP), PMID 26168110.

[83] Wolfgang Stroebe e Fritz Strack, The Alleged Crisis and the Illusion of Exact Replication (PDF), in Perspectives on Psychological Science, vol. 9, n. 1, 2014, pp. 59–71, DOI:10.1177/1745691613514450, PMID 26173241.

[84] Christie Aschwanden, Psychology's Replication Crisis Has Made The Field Better, in FiveThirtyEight, 6 dicembre 2018. URL consultato il 19 dicembre 2018.

[85] Christopher P G. Allen e David Marc Anton Mehler, Open Science challenges, benefits and tips in early career and beyond, DOI:10.31234/osf.io/3czyt.

[86] vol. 31, https://www.psychologicalscience.org/observer/the-cooperative-revolution-is-making-psychological-science-better.

[87] Open Science Collaboration, Estimating the reproducibility of psychological science (PDF), in Science, vol. 349, n. 6251, 28 agosto 2015, pp. aac4716, DOI:10.1126/science.aac4716, ISSN 0036-8075 (WC · ACNP), PMID 26315443.

[88] r.osf.io, https://mfr.osf.io/render?url=https://osf.io/jq7v6/?action=download%26mode=render Titolo mancante per url url (aiuto). URL consultato il 16 ottobre 2019.

[89] (EN) Adam Roger, The Science Behind Social Science Gets Shaken Up—Again, in Wired, 27 agosto 2018. URL consultato il 28 agosto 2018.

[90] Colin F. Camerer, Anna Dreber e Felix Holzmeister, Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 (PDF), in Nature Human Behaviour, vol. 2, n. 9, 27 agosto 2018, pp. 637–644, DOI:10.1038/s41562-018-0399-z, PMID 31346273.

[Many_Labs_2-91] R.A. Klein, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings, in Advances in Methods and Practices in Psychological Science, vol. 1, n. 4, 2018, pp. 443–490, DOI:10.1177/2515245918810225.

[Witkowski-92] Tomasz Witkowski, Is the glass half empty or half full? Latest results in the replication crisis in Psychology (PDF), in Skeptical Inquirer, vol. 43, n. 2, 2019, pp. 5–6 (archiviato dall'url originale il 30 gennaio 2020).

[EarpTrafimow2015-93] (EN) Brian D. Earp e David Trafimow, Replication, falsification, and the crisis of confidence in social psychology, in Frontiers in Psychology, vol. 6, 2015, p. 621, DOI:10.3389/fpsyg.2015.00621, ISSN 1664-1078 (WC · ACNP), PMID 26042061.

[Everett_1152-94] Jim Albert Charlton Everett e Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, in Frontiers in Psychology, vol. 6, 1º gennaio 2015, p. 1152, DOI:10.3389/fpsyg.2015.01152, PMID 26300832.

[:3-95] spsp.org, http://www.spsp.org/blog/resolving-replication-crisis-social-psychology Titolo mancante per url url (aiuto). URL consultato il 18 novembre 2015.

[:02-96] Business Insider, https://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9 Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020.

[97] (EN) Draft of Observer Column Sparks Strong Social Media Response, in Association for Psychological Science. URL consultato il 4 ottobre 2017.

[98] (EN) Susan T. Fiske, A Call to Change Science's Culture of Shaming, in APS Observer, vol. 29, n. 9, 31 ottobre 2016.

[99] (EN) Jesse Singal, Inside Psychology's 'Methodological Terrorism' Debate, in NY Mag, 12 ottobre 2016. URL consultato il 4 ottobre 2017.

[100] (EN) BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science, in Statistical Modeling, Causal Inference, and Social Science, 4 ottobre 2017. URL consultato il 4 ottobre 2017.

[101] Ioannidis JA, Contradicted and initially stronger effects in highly cited clinical research, in JAMA, vol. 294, n. 2, 13 luglio 2005, pp. 218–228, DOI:10.1001/jama.294.2.218, PMID 16014596.

[102] J. Leslie Glick, Scientific data audit—A key management tool, in Accountability in Research, vol. 2, n. 3, 1992, pp. 153–168, DOI:10.1080/08989629208573811.

[Begley-Lee2012-103] C. G. Begley e L. M. Ellis, Drug Development: Raise Standards for Preclinical Cancer Research, in Nature, vol. 483, n. 7391, 2012, pp. 531–533, Bibcode:2012Natur.483..531B, DOI:10.1038/483531a, PMID 22460880.

[Begley2013-104] C. G. Begley, Reproducibility: Six red flags for suspect work, in Nature, vol. 497, n. 7450, 2013, pp. 433–434, Bibcode:2013Natur.497..433B, DOI:10.1038/497433a, PMID 23698428.

[105] A. Mobley, S. K. Linder e R. Braeuer, A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic, in PLOS ONE, vol. 8, n. 5, 2013, p. e63221, Bibcode:2013PLoSO...863221M, DOI:10.1371/journal.pone.0063221, PMID 23691000.

[106] Monya Baker, 1,500 scientists lift the lid on reproducibility, in Nature, vol. 533, n. 7604, 2016, pp. 452–454, Bibcode:2016Natur.533..452B, DOI:10.1038/533452a, PMID 27225100.

[Ioannidis2016-107] JPA Ioannidis, Why Most Clinical Research Is Not Useful, in PLOS Med, vol. 13, n. 6, 2016, p. e1002049, DOI:10.1371/journal.pmed.1002049, PMID 27328301.

[108] John E. Hunter, The desperate need for replications, in Journal of Consumer Research, vol. 28, n. 1, 1º giugno 2001, pp. 149–158, DOI:10.1086/321953.

[109] J. Armstrong e Kesten Green, Guidelines for Science: Evidence and Checklists, in Marketing Papers, 24 gennaio 2017.

[110] Thomas Aichner, Paolo Coletti e Cipriano Forza, Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study, in Journal of Global Marketing, vol. 29, n. 3, 22 marzo 2016, pp. 115–127, DOI:10.1080/08911762.2015.1138012.

[111] (EN) Colin F. Camerer, Anna Dreber e Eskil Forsell, Evaluating replicability of laboratory experiments in economics, in Science, vol. 351, n. 6280, 25 marzo 2016, pp. 1433–1436, Bibcode:2016Sci...351.1433C, DOI:10.1126/science.aaf0918, ISSN 0036-8075 (WC · ACNP), PMID 26940865.

[112] (EN) Science, https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey Titolo mancante per url url (aiuto). URL consultato il 25 ottobre 2017.

[113] (EN) John P. A. Ioannidis, T. D. Stanley e Hristos Doucouliagos, The Power of Bias in Economics Research, in The Economic Journal, vol. 127, n. 605, 1º ottobre 2017, pp. F236–F265, DOI:10.1111/ecoj.12461, ISSN 1468-0297 (WC · ACNP).

[114] Israel Halperin, Andrew D. Vigotsky e Carl Foster, Strengthening the Practice of Exercise and Sport-Science Research, in International Journal of Sports Physiology and Performance, vol. 13, n. 2, 1º febbraio 2018, pp. 127–134, DOI:10.1123/ijspp.2017-0322, ISSN 1555-0273 (WC · ACNP), PMID 28787228.

[115] (EN) FiveThirtyEight, https://fivethirtyeight.com/features/how-shoddy-statistics-found-a-home-in-sports-research/ Titolo mancante per url url (aiuto). URL consultato il 16 maggio 2018.

[116] (EN) James H. Stagge, David E. Rosenberg e Adel M. Abdallah, Assessing data availability and research reproducibility in hydrology and water resources, in Scientific Data, vol. 6, 26 febbraio 2019, p. 190030, Bibcode:2019NatSD...690030S, DOI:10.1038/sdata.2019.30, ISSN 2052-4463 (WC · ACNP), PMID 30806638.

[Oreskes-117] N. Oreskes, Beware: Transparency rule is a trojan horse, in Nature, vol. 557, n. 7706, 2018, p. 469, Bibcode:2018Natur.557..469O, DOI:10.1038/d41586-018-05207-9, PMID 29789751.

[FUTURES2-118] Andrea Saltelli, Why science's crisis should not become a political battling ground, in Futures, vol. 104, dicembre 2018, pp. 85–90, DOI:10.1016/j.futures.2018.07.006.

[Michaels-119] D. Michaels, Doubt is their product: How industry's assault on science threatens your health, Oxford University Press, 2008, ISBN 9780195300673.

[120] (EN) Michał Białek, Replications can cause distorted belief in scientific progress, in Behavioral and Brain Sciences, vol. 41, 2018, pp. e122, DOI:10.1017/S0140525X18000584, ISSN 0140-525X (WC · ACNP), PMID 31064528.

[:4-121] (EN) Niels G. Mede, Mike S. Schäfer e Ricarda Ziegler, The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research, in Public Understanding of Science, vol. 30, n. 1, 2020, pp. 91–102, DOI:10.1177/0963662520954370, PMID 32924865.

[122] Ramal Moonesinghe, Muin J. Khoury e A. Cecile J. W. Janssens, Most Published Research Findings Are False—But a Little Replication Goes a Long Way, in PLOS Med, vol. 4, n. 2, 27 febbraio 2007, pp. e28, DOI:10.1371/journal.pmed.0040028, PMID 17326704.

[123] Daniel J. Simons, The Value of Direct Replication, in Perspectives on Psychological Science, vol. 9, n. 1, 1º gennaio 2014, pp. 76–80, DOI:10.1177/1745691613514755, ISSN 1745-6916 (WC · ACNP), PMID 26173243.

[124] John P. A. Ioannidis, Daniele Fanelli e Debbie Drake Dunne, Meta-research: Evaluation and Improvement of Research Methods and Practices, in PLOS Biology, vol. 13, n. 10, 2 ottobre 2015, pp. –1002264, DOI:10.1371/journal.pbio.1002264, ISSN 1545-7885 (WC · ACNP), PMID 26431313.

[125] Scope, https://scopeblog.stanford.edu/2015/12/08/on-communicating-science-and-uncertainty-a-podcast-with-john-ioannidis/ Titolo mancante per url url (aiuto). URL consultato il 20 maggio 2019.

[126] sychologicalscience.org, http://www.psychologicalscience.org/index.php/replication Titolo mancante per url url (aiuto). URL consultato il 13 novembre 2015.

[127] Chris Chambers, Psychology's 'registration revolution', in The Guardian, 20 maggio 2014. URL consultato il 13 novembre 2015.

[128] D. Stephen Lindsay, Replication in Psychological Science, in Psychological Science, vol. 26, n. 12, 9 novembre 2015, pp. 1827–32, DOI:10.1177/0956797615616374, ISSN 0956-7976 (WC · ACNP), PMID 26553013.

[129] (EN) Andy W. K. Yeung, Do Neuroscience Journals Accept Replications? A Survey of Literature, in Frontiers in Human Neuroscience, vol. 11, 2017, p. 468, DOI:10.3389/fnhum.2017.00468, ISSN 1662-5161 (WC · ACNP), PMID 28979201.

[130] (EN) G. N. Martin e Richard M. Clarke, Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices, in Frontiers in Psychology, vol. 8, 2017, p. 523, DOI:10.3389/fpsyg.2017.00523, ISSN 1664-1078 (WC · ACNP), PMID 28443044.

[131] (EN) Sebastian Wallot e Damian G. Kelty-Stephen, Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication, in Minds and Machines, vol. 28, n. 2, 1º giugno 2018, pp. 353–374, DOI:10.1007/s11023-017-9455-0, ISSN 1572-8641 (WC · ACNP).

[132] Alexander F. Siegenfeld e Yaneer Bar-Yam, An Introduction to Complex Systems Science and Its Applications, in Complexity, vol. 2020, 2020, pp. 1–16, DOI:10.1155/2020/6105872, arXiv:1912.05088.

[133] Michael C. Frank e Rebecca Saxe, Teaching Replication, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 600–604, DOI:10.1177/1745691612460686, ISSN 1745-6916 (WC · ACNP), PMID 26168118.

[134] Jon E. Grahe, Alan Reifman e Anthony D. Hermann, Harnessing the Undiscovered Resource of Student Research Projects, in Perspectives on Psychological Science, vol. 7, n. 6, 1º novembre 2012, pp. 605–607, DOI:10.1177/1745691612459057, ISSN 1745-6916 (WC · ACNP), PMID 26168119.

[135] Ben Marwick, Li-Ying Wang e Ryan Robinson, How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology, in Advances in Archaeological Practice, vol. 8, 22 ottobre 2019, pp. 78–86, DOI:10.1017/aap.2019.38.

[136] Daniel J. Benjamin e James O. Berger, Redefine statistical significance, in Nature Human Behaviour, vol. 2, n. 1, 2018, pp. 6–10, DOI:10.1038/s41562-017-0189-z, PMID 30980045.

[137] (EN) Daniel Lakens, Federico G. Adolfi e Casper J. Albers, Justify your alpha, in Nature Human Behaviour, vol. 2, n. 3, marzo 2018, pp. 168–171, DOI:10.1038/s41562-018-0311-x, ISSN 2397-3374 (WC · ACNP).

[DC2014-138] David Colquhoun, An investigation of the false discovery rate and the misinterpretation of p-values, in Royal Society Open Science, vol. 1, n. 3, 2015, p. 140216, Bibcode:2014RSOS....140216C, DOI:10.1098/rsos.140216, PMID 26064558, arXiv:1407.5296.

[DC2017-139] David Colquhoun, The reproducibility of research and the misinterpretation of p-values, in Royal Society Open Science, vol. 4, n. 12, 2017, p. 171085, DOI:10.1098/rsos.171085, PMID 29308247.

[DC2016-140] .co, https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant Titolo mancante per url url (aiuto). URL consultato l'11 dicembre 2016.

[fpr-calc-141] r-calc.ucl.ac.uk, http://fpr-calc.ucl.ac.uk/ Titolo mancante per url url (aiuto).

[142] R. A. J. Matthews, Why should clinicians care about Bayesian methods?, in Journal of Statistical Planning and Inference, vol. 94, 2001, pp. 43–58, DOI:10.1016/S0378-3758(00)00232-9.

[143] Scott E. Maxwell, Michael Y. Lau e George S. Howard, Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?, in American Psychologist, vol. 70, n. 6, 2015, pp. 487–498, DOI:10.1037/a0039400, PMID 26348332.

[144] Joanna IntHout, John P. A. Ioannidis e George F. Borm, Small studies are more heterogeneous than large ones: a meta-meta-analysis, in Journal of Clinical Epidemiology, vol. 68, n. 8, 2015, pp. 860–869, DOI:10.1016/j.jclinepi.2015.03.017, PMID 25959635.

[Button_365–376-145] Katherine S. Button, John P. A. Ioannidis e Claire Mokrysz, Power failure: why small sample size undermines the reliability of neuroscience, in Nature Reviews Neuroscience, vol. 14, n. 5, 1º maggio 2013, pp. 365–376, DOI:10.1038/nrn3475, ISSN 1471-003X (WC · ACNP), PMID 23571845.

[146] (EN) Anthony G. Greenwald, Consequences of prejudice against the null hypothesis (PDF), in Psychological Bulletin, vol. 82, n. 1, 1975, pp. 1–20, DOI:10.1037/h0076157.

[147] Valentin Amrhein, Fränzi Korner-Nievergelt e Tobias Roth, The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research, in PeerJ, vol. 5, 2017, p. e3544, DOI:10.7717/peerj.3544, PMID 28698825.

[:2-148] John P. A. Ioannidis, Anticipating consequences of sharing raw data and code and of awarding badges for sharing, in Journal of Clinical Epidemiology, vol. 70, 2016, pp. 258–260, DOI:10.1016/j.jclinepi.2015.04.015, PMID 26163123.

[149] NWO, http://www.nwo.nl/en/news-and-events/news/2016/nwo-makes-3-million-available-for-replication-studies-pilot.html Titolo mancante per url url (aiuto). URL consultato il 2 agosto 2016.

[Wired2017-150] Sam Apple, The Young Billionaire Behind the War on Bad Science, in Wired, 22 gennaio 2017.

[151] Romain D. Gosselin, Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action, in BioEssays, vol. 42, n. 1, 2019, p. 1900189, DOI:10.1002/bies.201900189, PMID 31755115.

[Wheeling2017-152] (EN) Pacific Standard, https://psmag.com/news/big-pharma-reveals-a-biomedical-replication-crisis Titolo mancante per url url (aiuto). URL consultato il 30 gennaio 2020. Updated on June 14, 2017.

[153] Florian Prinz, Believe it or not: how much can we rely on published data on potential drug targets, in Nature Reviews Drug Discovery, vol. 10, n. 712, 31 agosto 2011, p. 712, DOI:10.1038/nrd3439-c1, PMID 21892149.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[N 1]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[N 2]

[42]

[43]

[44]

[45]

[N 3]

[N 4]

[46]

[N 5]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

[56]

[57]

[58]

[59]

[60]

[61]

[62]

[63]

[64]

[65]

[66]

[67]

[68]

[69]

[70]

[71]

[72]

[73]

[74]

[75]

[76]

[77]

[78]

[79]

[80]

[81]

[82]

[83]

[84]

[85]

[86]

[87]

[88]

[89]

[90]

[91]

[92]

[93]

[94]

[95]

@@ Riga 43: / Riga 43: @@
 == Storia ==
-L’inizio della crisi di replicazione può essere ricondotto ad una serie di eventi verificatisi all’inizio dei primi anni 2010. Il filosofo della scienza ed epistemologo sociale [https://www.feliperomero.org/ Felipe Romero] ha identificato i seguenti fatti come probabili eventi scatenanti della crisi<ref>{{Cita pubblicazione|nome=Felipe|cognome=Romero|data=2019-11|titolo=Philosophy of science and the replicability crisis|rivista=Philosophy Compass|volume=14|numero=11|lingua=en|accesso=2023-07-05|doi=10.1111/phc3.12633|url=https://onlinelibrary.wiley.com/doi/10.1111/phc3.12633}}</ref>:
+L’inizio della crisi di replicazione può essere ricondotto ad una serie di eventi verificatisi all’inizio dei primi anni 2010. Il filosofo della scienza ed epistemologo sociale [https://www.feliperomero.org/ Felipe Romero] ha identificato i seguenti fatti come probabili eventi scatenanti della crisi<ref name=":14">{{Cita pubblicazione|nome=Felipe|cognome=Romero|data=2019-11|titolo=Philosophy of science and the replicability crisis|rivista=Philosophy Compass|volume=14|numero=11|lingua=en|accesso=2023-07-05|doi=10.1111/phc3.12633|url=https://onlinelibrary.wiley.com/doi/10.1111/phc3.12633}}</ref>:
 * '''Controversie riguardanti gli studi sui fenomeni del priming sociale''': Nei primi anni 2010, un famoso esperimento condotto nel 1996 dallo psicologo sociale [[w: John Bargh | John Bargh]] e colleghi<ref>{{Cita pubblicazione|nome=John A.|cognome=Bargh|nome2=Mark|cognome2=Chen|nome3=Lara|cognome3=Burrows|data=1996|titolo=Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action.|rivista=Journal of Personality and Social Psychology|volume=71|numero=2|pp=230–244|lingua=en|accesso=2023-07-05|doi=10.1037/0022-3514.71.2.230|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/0022-3514.71.2.230}}</ref> non viene replicato in una serie di replicazioni dirette<ref>{{Cita pubblicazione|nome=Stéphane|cognome=Doyen|nome2=Olivier|cognome2=Klein|nome3=Cora-Lise|cognome3=Pichon|data=2012-01-18|titolo=Behavioral Priming: It's All in the Mind, but Whose Mind?|rivista=PLoS ONE|curatore=Jan Lauwereyns|volume=7|numero=1|pp=e29081|lingua=en|accesso=2023-07-05|doi=10.1371/journal.pone.0029081|url=https://dx.plos.org/10.1371/journal.pone.0029081}}</ref>. La serie di studi di cui l’esperimento faceva parte era stata fino a quel momento largamente citata da altri studi accademici, veniva regolarmente insegnata nei corsi universitari di psicologia sociale, e aveva dato luogo ad un gran numero di replicazioni concettuali. Quest’ultimo fatto è risultato nella creazione di un intero programma di ricerca sui cosiddetti fenomeni di “priming sociale”{{efn|Il priming sociale può essere generalmente definito come l'influenza inconscia che l'attivazione di certe rappresentazioni cognitive può avere sul comportamento delle persone in ambito sociale. L'esatta definizione di questo sottocampo è però oggetto di disputa.}}. In aggiunta ai fallimenti nel replicare uno degl’esperimenti originali di Bargh e colleghi, un numero considerevole delle replicazioni concettuali sopracitate non è stato replicato in successive replicazioni dirette<ref>{{Cita pubblicazione|nome=Harold|cognome=Pashler|nome2=Noriko|cognome2=Coburn|nome3=Christine R.|cognome3=Harris|data=2012-08-29|titolo=Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments|rivista=PLOS ONE|volume=7|numero=8|pp=e42510|lingua=en|accesso=2023-07-05|doi=10.1371/journal.pone.0042510|url=https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0042510}}</ref><ref>{{Cita pubblicazione|nome=Christine R.|cognome=Harris|nome2=Noriko|cognome2=Coburn|nome3=Doug|cognome3=Rohrer|data=2013-08-16|titolo=Two Failures to Replicate High-Performance-Goal Priming Effects|rivista=PLOS ONE|volume=8|numero=8|pp=e72467|lingua=en|accesso=2023-07-05|doi=10.1371/journal.pone.0072467|url=https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0072467}}</ref><ref>{{Cita pubblicazione|nome=David R.|cognome=Shanks|nome2=Ben R.|cognome2=Newell|nome3=Eun Hee|cognome3=Lee|data=2013-04-24|titolo=Priming Intelligent Behavior: An Elusive Phenomenon|rivista=PLOS ONE|volume=8|numero=4|pp=e56515|lingua=en|accesso=2023-07-05|doi=10.1371/journal.pone.0056515|url=https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0056515}}</ref><ref>{{Cita pubblicazione|nome=Richard A.|cognome=Klein|nome2=Kate A.|cognome2=Ratliff|nome3=Michelangelo|cognome3=Vianello|data=2014-05|titolo=Investigating Variation in Replicability|rivista=Social Psychology|volume=45|numero=3|pp=142–152|accesso=2023-07-05|doi=10.1027/1864-9335/a000178|url=https://econtent.hogrefe.com/doi/10.1027/1864-9335/a000178}}</ref>. Inoltre, la controversia generata dal fallimento nel replicare l’esperimento originale ha scatentato un acceso dibattito che ha visto protagonista lo stesso John Bargh<ref>{{Cita web|url=https://www.nationalgeographic.com/science/article/failed-replication-bargh-psychology-study-doyen|titolo=A failed replication draws a scathing personal attack from a psychology professor|sito=Science|data=2012-03-10|lingua=en|accesso=2023-07-05}}</ref>.
@@ Riga 55: / Riga 55: @@
 La serie di eventi di cui sopra ha generato un’ondata di scetticismo verso la validità della ricerca esistente in diversi campi scientifici vista l’adozione comune di pratiche di ricerca di dubbia validità e il fallimento nel replicare diversi studi. Ciò ha portato figure di spicco nella comunità psicologica e di altre scienze a dichiarare una “crisi di fiducia” nella conoscenza scientifica prodotta fino a quel momento<ref>{{Cita pubblicazione|nome=Harold|cognome=Pashler|nome2=Eric–Jan|cognome2=Wagenmakers|data=2012-11|titolo=Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=528–530|lingua=en|accesso=2023-07-05|doi=10.1177/1745691612465253|url=http://journals.sagepub.com/doi/10.1177/1745691612465253}}</ref>. La situazione che ne è scaturita è adesso comunemente conosciuta come ''crisi della replicazione''.
-== Incidenza nelle scienze ==
+== Cause ==
+=== Problemi nel sistema di pubblicazione ===
+==== Bias di pubblicazione ====
+Il [[bias di pubblicazione]] si riferisce ad un fenomeno per cui nelle scienze, gli studi che trovano risultati positivi e sorprendenti hanno una maggior probabilità di venir pubblicati<ref name=":14" />. Questo porta alla creazione del cosiddetto "Effetto del cassetto dei file” concettualizzato dallo psicologo [[w:Robert Rosenthal |Robert Rosenthal]] secondo il quale, alla luce del bias di pubblicazione, un numero considerevole di risultati negativi (non-significativi nel caso di un [[Test di verifica d'ipotesi|test d’ipotesi]]) non viene pubblicato<ref>{{Cita pubblicazione|nome=Robert|cognome=Rosenthal|data=1979-05|titolo=The file drawer problem and tolerance for null results.|rivista=Psychological Bulletin|volume=86|numero=3|pp=638–641|lingua=en|accesso=2023-07-07|doi=10.1037/0033-2909.86.3.638|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/0033-2909.86.3.638}}</ref>. Quest’utimo tende a distorcere la percezione di quale sia il reale supporto empirico verso una teoria o un fenomeno scientifico. Secondo il sopracitato Romero, quando il bias di pubblicazione viene considerato insieme al fatto che una possibile larga maggioranza delle ipotesi che vengono testate sono false ''a priori'' (sezione 3.5), ciò crea una situazione in cui è plausibile che una porzione considerevole di risultati pubblicati siano [[Falso positivo e falso negativo|falsi positivi]]<ref name="Ioannidis2005" />. Un alto tasso di falsi positivi spiegherebbe a sua volta i diffusi fallimenti nel replicare esperimenti passati.
+Un’ulteriore e ancor più diretto ruolo del bias di pubblicazione nella crisi di replicazione sta nel fatto che la forte preferenza delle riviste scientifiche verso risultati ed esperimenti originali costitituisce un deterrente per i ricercatori al condurre replicazioni dirette, come spiegato dal filosofo Brian D. Earp e dallo psicologo Jim A. C. Everett<ref>{{Cita pubblicazione|nome=Jim|cognome=Everett|nome2=Brian|cognome2=Earp|data=2015|titolo=A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers|rivista=Frontiers in Psychology|volume=6|accesso=2023-07-07|doi=10.3389/fpsyg.2015.01152/full|url=https://www.frontiersin.org/articles/10.3389/fpsyg.2015.01152}}</ref>. In mancanza di replicazioni dirette, diventa complicato stabilire la validità dei risultati esistenti (sezione 1.3). A testimonianza di questo fatto, un sondaggio della rivista ''Nature'' condotto con più di 1500 ricercatori ha constatato come solo una minoranza degli stessi avesse mai provato a pubblicare una replicazione diretta. Degli stessi, molti hanno riportato come, al momento di pubblicare una replicazione fallita, una richiesta comune da parte degl’editori della rivista fosse quella di minimizzare i paragoni con l’esperimento originale<ref name="Nature 5-25-2016" />.
+==== Cultura del “pubblica o perisci” ====
+Le conseguenze del bias di pubblicazione sono esacerbate dalla cosiddetta cultura del “pubblica o perisci” in ambito accademico. Come notato dal metascienziato Daniele Fanelli, la cultura del “pubblica o perisci” si riferisce ad un aspetto sociologico del mondo accademico per cui i ricercatori lavorano in un ambito ultracompetitivo e nel quale il riconoscimento è sempre più basato su parametri bibliometrici come il numero di studi pubblicati fino a quel momento<ref name=":15">{{Cita pubblicazione|nome=Daniele|cognome=Fanelli|data=2010-04-21|titolo=Do pressures to publish increase scientists' bias? An empirical support from US States Data|rivista=PloS One|volume=5|numero=4|pp=e10271|accesso=2023-07-07|doi=10.1371/journal.pone.0010271|url=https://pubmed.ncbi.nlm.nih.gov/20422014/}}</ref>. Secondo Fanelli, ciò crea una forte pressione nei singoli ricercatori volta a produrre risultati che siano “pubblicabili”.
+Alla luce del bias di pubblicazione, ciò può spingere diversi ricercatori a metter in pratica una serie di strategie per far si che un risultato sperimentale diventi positivo o statisticamente significativo, a discapito della validità dello stesso. (PDR, sezione 3.2). Di un’idea simile sono il biopsicologo ed esperto di metascienza [[w:Brian Nosek|Brian Nosek]] e colleghi, secondo cui la cultura del “pubblica o perisci” ha creato una situazione in cui gli obbietivi dei singlori ricercatori (e.g. ottenere più pubblicazioni possibili) non sono generalmente allineati con quelli della ricerca scientifica in generale (e.g. ricerca della verità scientifica)<ref name=":16">{{Cita pubblicazione|nome=Brian A.|cognome=Nosek|nome2=Jeffrey R.|cognome2=Spies|nome3=Matt|cognome3=Motyl|data=2012-11|titolo=Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=615–631|lingua=en|accesso=2023-07-07|doi=10.1177/1745691612459058|url=http://journals.sagepub.com/doi/10.1177/1745691612459058}}</ref>.
+=== Pratiche di Ricerca Discutibili ===
+Una delle possibili cause dei bassi tassi di replicabilità in diversi campi e sottocampi scientifici può essere vista nelle cosiddette ''Pratiche di Ricerca Discutibili'' (PDR).{{efn|Dall'inglese "Questionable Research Practices"}} Le pratiche di ricerca discutibili sono una serie di pratiche di ricerca che rientrano in una “zona grigia” tra pratiche accettabili e non accettabili<ref name=":17">{{Cita libro|autore=O'Boyle E. H.|autore2=Götz M.|curatore=Jussim L.|curatore2=Krosnick J. A.|curatore3=Stevens S. T.|titolo=Research Integrity: Best Practices for the Social and Behavioral Sciences|annooriginale=2022|editore=Oxford Academic|pp=261-294|capitolo=Questionable Research Practices|url_capitolo=https://doi.org/10.1093/oso/9780190938550.003.0010}}</ref>. Il problema principale nell’utilizzo di queste pratiche sta nell’aumentare in maniera significativa la probabilità di ottenere falsi positivi<ref name="Simmons et al. (2011)" />. Alla luce di ciò, un’alta prevalenza nell’utilizzo di PDR può portare alla proliferazione di un numero significativo di falsi positivi. Esperimenti riportanti questi risultati risultano di conseguenza non-replicabili in successivi studi.
+La non-chiara accettabilità delle PDR dipende dall’intenzione del ricercatore che le mette in pratica. A seconda del livello di consapevolezza sulla problematicità del loro impiego, le PDR ricadono lungo un continuum che va dal grave caso di una volontaria “cattiva condotta” scientifica a l’assenza di consapevolezza dello star impiegando pratiche di ricerca problematiche, passando per casi in cui il loro utilizzo viene giustifcato da bias cognitivi o avviene per semplice sbadataggine del ricercatore<ref name=":17" />.
+Esempi comuni di PDR includono il formare un’ipotesi solo una volta che si è a conoscenza dei dati (i.e. [[w:HARKing|HARKing]])<ref>{{Cita pubblicazione|nome=Norbert L.|cognome=Kerr|data=1998-08|titolo=HARKing: Hypothesizing After the Results are Known|rivista=Personality and Social Psychology Review|volume=2|numero=3|pp=196–217|lingua=en|accesso=2023-07-07|doi=10.1207/s15327957pspr0203_4|url=http://journals.sagepub.com/doi/10.1207/s15327957pspr0203_4}}</ref>, il raccogliere dati fino a quando non si trovano risultati significativi, il riportare esclusivamente le ipotesi che sono state confermate, il riportare esclusivamente le variabili dipendenti che hanno portato a risultati significativi, e l’esclusione di [[outlier]], covariate o condizioni sperimentali al fine di ottenere risultati significativi<ref name=":13" /><ref name=":17" />.
+Le PDR sono generalmente associate alla più generica pratica del ''[[w:Data-dredging|p-hacking]]''. Il p-hacking si riferisce ad una serie di comportamenti messi in pratica dal ricercatore al fine di aumentare le probabilità di trovare risultati significativi<ref>{{Cita libro|autore=MacCoun R. J.|curatore=Jussim L.|curatore2=Krosnick J. A.|curatore3=Stevens S. T.|titolo=Research Integrity: Best Practices for the Social and Behavioral Sciences|anno=2022|editore=Oxford Academic|capitolo=P-hacking: A Strategic Analysis|url_capitolo=https://doi.org/10.1093/oso/9780190938550.003.0011}}</ref>. Come spiegato nella sezione precedente, ciò viene fatto nella speranza di vedere i propri studi pubblicati ed è quindi, come l’impiego delle PDR in generale, considerabile una conseguenza del bias di pubblicazione<ref name=":15" /><ref name=":16" />.
+=== Proliferazione di replicazioni concettuali e assenza di replicazioni dirette ===
+Una causa aggiuntiva della mancanza di replicabilità sta nella pratica comune di condurre solo replicazioni concettuali e la loro interazione con il bias di pubblicazione. Secondo gli psicologi [[w: Hal Pashler|Hal Pashler]] e Christine Harris la problematicità dell’interazione di questi due fattori sta nel fatto che può portare un’intero programma di ricerca ad essere basato su risultati non validi<ref name=":9" />. Ciò è dovuto al fatto che, come notato in precedenza, per via del bias di pubblicazione la stragrande maggioranza delle replicazioni che vengono condotte sono concettuali, e di queste, solo quelle che ottengono risultati significativi vengono pubblicate. In aggiunta, una replicazione concettuale che fallisce non genera scetticismo verso la validità dei risultati originali. In tal caso, è probabile che un ricercatore attribuisca il fallimento nel replicare alle differenze metodologiche tra l’originale e la replicazione.
+In sunto, le replicazioni che vengono condotte sono prevalentemente di tipo concettuale, solo quelle signficative vengono pubblicate e quelle che falliscono non sono informative. Ciò crea potenzialmente una situazione in cui un dato programma di ricerca è basato esclusivamente su una percentuale di replicazioni concettuali riuscite, senza alcun metodo per misurare la validità e l’affidibilità delle stesse (per esempio il condurre replicazioni dirette). Secondo Pashler e Harris, la situazione è particolarmente preoccupante nelle aree di studio in cui gli esperimenti hanno bassa potenza statistica (dove è quindi probabile che una più alta percentuale di studi siano falsi positivi)<ref name=":9" />.
+=== Problemi di natura statistica ===
+==== Bassa potenza statistica ====
+Il professore all’università di Deakin ed esperto di meta-analisi Tom Stanley e colleghi spiegano come un fattore importante che contribuisce alla bassa replicabilità degli studi sia il fatto che un certo studio abbia una bassa potenza statistica, dove quest'ultima è definita come la probabilità di respingere correttamente l'ipotesi nulla <ref name=":18">{{Cita pubblicazione|nome=T. D.|cognome=Stanley|nome2=Evan C.|cognome2=Carter|nome3=Hristos|cognome3=Doucouliagos|data=2018-12|titolo=What meta-analyses reveal about the replicability of psychological research.|rivista=Psychological Bulletin|volume=144|numero=12|pp=1325–1346|lingua=en|accesso=2023-07-07|doi=10.1037/bul0000169|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/bul0000169}}</ref>. L'influenza di una bassa potenza statistica su la replicabilità degl'esperimenti avviene per tre motivi distinti. Primo, nel momento in cui una replicazione ha bassa potenza statistica, per definizione, avrà una bassa probabilità di rilevare un effetto realmente esistente (e quindi, secondo alcune definizioni, di aver successo nel replicare){{efn|In altre parole, in tal casso la replicazione non sarà in grado di trovare l'effetto trovato nell'originale}}. Secondo, se l’esperimento originale ha bassa potenza statistica, tenderà a sovrastimare la dimensione dell’effetto del fenomeno studiato. Di conseguenza, una replicazione in cui viene performata una cosiddetta “Analisi della potenza a priori”{{efn|L'analisi della potenza a priori è un metodo che permette di stimare il campione necessario per ottenere una certa potenza statistica in relazione a la dimensione dell'effetto che si vuole trovare}} tenderà a sottostimare la dimensione del campione necessaria a replicare l’effetto. Infine, è dimostratibile come nel caso la potenza dello studio originale sia bassa, la probabilità a posteriori che un risultato statisticamente significativo rifletta un effetto esistente sia molto bassa (che analogamente, suggerisce che lo stesso risulato possa trattarsi di un falso positivo). Queste tre ragioni insieme mostrano come in un contesto dove mediamente gli esperimenti che vengono condotti hanno bassa potenza statistica, un numero significativo di questi stessi esperimenti possa essere difficile da replicare<ref name=":18" />.
+Uno studio su 200 meta-analisi in psicologia condotto dallo stesso Stanley e colleghi ha determinato che la potenza statistica nella ricerca psicologia tende ad essere piuttosto bassa. La potenza media si aggira tra il 33.1% e il 36.4% contro l’80% considerato convenzionalmente come una buona potenza statistica. Rispetto a questo 80%, solamente un numero tra il 7.7.% e il 9.1% degli studi sembra possa essere adeguato in termini di potenza statistica<ref name=":18" />. Alla luce di questi dati, è plausibile che una delle cause principali di bassi tassi di replicabilità in psicologia sia dunque una potenza statistica mediamente inadeguata.
+==== Utilizzo dei test d'ipotesi nulla====
+Secondo il già menzionato Felipe Romero, un possibile fattore che contribuisce alla bassa replicabilità dei risultati può essere trovato nelle limitazioni epistemologiche dei test d'ipotesi nulla. Nella sua argomentazione, Romero cita un comunicato dell’Associazione Statistica Americana in cui il direttore esecutivo dell’associazione Ronald Wasserstein e la statistica [[w: Nicole Lazar|Nicole Lazar]] riportano un numero di limitazioni ed errori d’interpretazione del cosiddetto p-value usato nei test d'ipotesi nulla<ref>{{Cita pubblicazione|nome=Ronald L.|cognome=Wasserstein|nome2=Nicole A.|cognome2=Lazar|data=2016-04-02|titolo=The ASA Statement on p -Values: Context, Process, and Purpose|rivista=The American Statistician|volume=70|numero=2|pp=129–133|lingua=en|accesso=2023-07-07|doi=10.1080/00031305.2016.1154108|url=https://www.tandfonline.com/doi/full/10.1080/00031305.2016.1154108}}</ref>. Tra questi vi è il fatto che i p-value non possono portare ad accettare o a rifiutare l’ipotesi nulla in maniera conclusiva. Secondo Romero, questo fatto va a limitare l’informatività di una replicazione fallita e la rende conseguentemente difficile da interpretare e da pubblicare<ref name=":14" />.
+=== Tasso di accuratezza delle ipotesi testate ===
+Un’ulteriore fattore che potrebbe essere alla base dei bassi tassi di replicabilità nei campi scientifici va ritrovato nel tasso di accuratezza/veridicità a priori delle ipotesi che vengono testate. Questa spiegazione è stata proposata ed elaborate dal filosofo e professore all’[[Università di Cambridge|Università di Cambirdge]] [[w:Alexader Bird|Alexander Bird]]. Bird fa notare come l’aspettativa che una maggioranza dei risultati sperimentali in certi campi scientifici possa essere replicata potrebbe non essere giustificata. Ciò deriva essenzialmente dal fatto che in certe scienze, è concepibile che una proporzione non-indifferente d’ipotesi che vengono testate sia falsa a priori. Di conseguenza, assumendo il caso tipico dei test d'ipotesi nulla nel quale vi è una probabilità del 5% di ottenere un falso positivo ([[w:Type I and Type II errors|errore di tipo I]]) e l’80% di ottenere un vero positivo (potenza statistica), nel momento in cui un’alta proporzione di ipotesi testate è negativa, la percentuale di falsi positivi sarà relativamente alta rispetto al totale dei casi positivi.
+Per esempio, nel caso il 10% delle ipotesi testate siano positive, si può calcolare come il 34% delle ipotesi che risultano significative siano in realtà falsi positivi {{efn|la statistica a cui Bird si riferisce come il “Resoconto della Probabilità dei Falsi Positivi”, complementare al Valore Predittivo dei Positivi citato da Ioannidis (2005)}}. Nel caso in cui il 34% dei risultati significativi pubblicati siano dei falsi positivi, è lecito aspettarsi che un numbero non-indifferente di replicazioni dirette sia destinato a fallire. Tutt’al più, questa considerazione è ancora più rilevante se fatta insieme al dato per cui la potenza statistica degli studi in certi campi tende ad essere bassa. Prendendo la percentuale calcolata del 36% da Stanley e colleghi per la ricerca psicologica (sezione 3.4.1)<ref name=":18" />, il numero di falsi positivi con un 10% di ipotesi testate vere a priori sale al 55%.
+Bird fa notare come l’asserzione che un basso numero d’ipotesi testate siano vere a priori sia plausibile per certi campi scientifici per ragioni come la complessità dei fenomeni studiati, il fatto che certe teorie non siano totalmente fondate, la “distanza [[Inferenza|inferenziale]]” tra teoria e ipotesi, la facilità nel generare ipotesi, e il fatto che in certi campi, le ipotesi possano essere generate da semplici osservazioni o addirittura solo su base intuitiva. I campi a cui Bird fa riferimento in questo senso sono la medicina clinica, l’epidemiologia genetica e molecolare e la psicologia sociale. La situazione è diversa per campi in cui le teorie testate hanno un ottimo fondamento empirico e nei quali le ipotesi possono essere facilmente dedotte dalle teorie (e.g. la fisica sperimentale)
+== Nelle varie scienze ==
 === In generale ===
 Nel 2016, un sondaggio condotto da Nature su circa 1500 scienziati di diverse discipline, ha riportato come il 70% di loro dichiari di non essere riuscito a replicare gli esperimenti di un altro scienziato/a, ma allo stesso tempo, meno del 20% è mai stato contattato da un altro ricercatore o ricercatrice non in grado di riprodurre un loro esperimento. Più precisamente, l'87% dei [[Chimica|chimici]], il 77% dei [[Biologia|biologi]], il 69% dei [[Fisica|fisici]] e degli [[Ingegneria|ingegneri]], il 67% dei [[Medicina|ricercatori medici]], il 64% degli [[Scienze ambientali|scienziati]] [[Scienze della Terra|della terra]] e dell'ambiente e il 62% di tutti gli altri ha dichiarato di non essere stato in grado di replicare gli esperimenti di qualcun altro. Inoltre, Il 50% degli stessi ha dichiarato invece di non essere stato/a in grado di replicare un ''proprio'' esperimento. Del campione, solo una minoranza ha dichiarato di aver tentato di pubblicare una replicazione. Nello specifico, il 24% ha dichiarato di essere stato in grado di pubblicare una replicazione riuscita, mentre solo il 13% ha dichiarato di essere stato in grado di pubblicare una replicazione fallita, un fatto coerente con il fenomeno del [[bias di pubblicazione]]. Di questi, un numero non precisato di intervistati ha dichiarato come gli editori/editrici delle riviste a cui si è fatto domanda abbiano spesso richiesto di ridurre quanto possibile il paragone con gli studi originali. Allo stesso tempo, gli intervistatori hanno notato come nonostante tutto, le percentuali di accoglienza per gli studi di replicazione fossero comunque maggiori rispetto a quelle di rifiuto da parte delle riviste, con solamente il 12% degl’intervistati ad aver dichiarato di ''non'' essere stato in grado di pubblicare una replicazione riuscita, ed il 10% di non essere stato in grado di pubblicare una replicazione fallita. In conclusione, il 52% degl’intervistati ha dichiarato come quella corrente sia una situazione di crisi degna di nota, ma solo il 31% crede che un fallimento nel replicare risultati pubblicati indichi che i risultati originali fossero [[Falso positivo e falso negativo|falsi]], e la maggioranza degl’intervistati ha espresso di avere comunque fiducia nella validità dei risultati pubblicati fino a quel momento. <ref name="Nature 5-25-2016">{{Cita pubblicazione|autore=Baker|nome=Monya|data=25 maggio 2016|titolo=1,500 scientists lift the lid on reproducibility|editore=[[Springer Nature]]|volume=533|pp=452–454|accesso=21 maggio 2021|url=https://www.nature.com/articles/533452a}}</ref><ref>{{Cita web|url=https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/|titolo= |autore=Nature Video|sito=Scientific American|lingua=en|accesso=15 agosto 2019}}</ref>
@@ Riga 125: / Riga 169: @@
 === Consapevolezza e percezioni del pubblico ===
 All'interno della comunità scientifica sono state espresse preoccupazioni sul fatto che il pubblico in generale possa considerare la scienza meno credibile a causa delle repliche fallite.<ref>{{Cita pubblicazione|autore=Białek|nome=Michał|data=2018|titolo=Replications can cause distorted belief in scientific progress|rivista=Behavioral and Brain Sciences|volume=41|pp=e122|lingua=en|doi=10.1017/S0140525X18000584|url=https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/replications-can-cause-distorted-belief-in-scientific-progress/C00FC2F199B29788037E77ADB77037F2|PMID=31064528|issn=0140-525X}}</ref> La ricerca a sostegno di questa preoccupazione è scarsa, ma un'indagine rappresentativa a livello nazionale in Germania ha mostrato che oltre il 75% dei tedeschi non ha sentito parlare di errori di replica nella scienza.<ref name=":4">{{Cita pubblicazione|autore=Mede|nome=Niels G.|autore2=Schäfer|autore3=Ziegler|nome2=Mike S.|nome3=Ricarda|data=2020|titolo=The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research|rivista=Public Understanding of Science|volume=30|numero=1|pp=91–102|lingua=en|doi=10.1177/0963662520954370|url=https://journals.sagepub.com/doi/10.1177/0963662520954370|PMID=32924865}}</ref> Lo studio ha anche scoperto che la maggior parte dei tedeschi ha una percezione positiva degli sforzi di replicazione: solo il 18% pensa che la non replicabilità dimostri che non ci si può fidare della scienza, mentre il 65% pensa che la ricerca sulla replica mostri che la scienza applica il controllo di qualità e l'80% concorda sul fatto che errori e le correzioni fanno parte della scienza.
-== Cause ==
-Una delle principali cause della bassa riproducibilità è il [[bias di pubblicazione]] e il [[Effetto di selezione|bias di selezione]], a loro volta causati dal fatto che i risultati statisticamente insignificanti sono raramente pubblicati o discussi in pubblicazioni su molteplici potenziali effetti. Tra i potenziali effetti che sono inesistenti (o minuscoli), i test statistici mostrano significatività (al livello normale) con una probabilità del 5%. Se un gran numero di tali effetti viene vagliato alla ricerca di risultati significativi, questi erroneamente significativi inondano quelli trovati in modo appropriato e portano a repliche (ancora erroneamente) di nuovo successo con solo il 5% di probabilità. Una proporzione crescente di tali studi riduce quindi progressivamente il tasso di replicazione corrispondente a studi di effetti plausibilmente rilevanti. Risultati erroneamente significativi possono anche provenire da pratiche discutibili nell'analisi dei dati chiamate dragaggio dei dati o P-hacking e [[HARKing]].
-C. Glenn Begley e [[John P. A. Ioannidis|John Ioannidis]] hanno proposto queste cause:
-* Generazione di nuovi dati/pubblicazioni a un ritmo senza precedenti.
-* La maggior parte di queste scoperte non resisterà alla prova del tempo.
-* Mancato rispetto della buona pratica scientifica.
-* Molteplici e variegate parti interessate.
-Concludono che nessuna parte è l'unica responsabile e che nessuna singola soluzione sarà sufficiente.
-Questi problemi possono portare alla canonizzazione di fatti falsi.<ref>{{Cita pubblicazione|autore=Nissen|nome=Silas Boye|autore2=Magidson|autore3=Gross|nome2=Tali|nome3=Kevin|data=20 dicembre 2016|titolo=Research: Publication bias and the canonization of false facts|rivista=eLife|volume=5|pp=e21451|doi=10.7554/eLife.21451|PMID=27995896|arxiv=1609.00494}}</ref>
-In effetti, alcune previsioni di una crisi imminente nel meccanismo di controllo della qualità della scienza possono essere fatte risalire a diversi decenni, specialmente tra gli studiosi di [[Studi su scienza e tecnologia|studi scientifici e tecnologici]] (STS).<ref name="DeSollaPrice1963">{{Cita libro|autore=De Solla Price|autore2=Derek J.|titolo=Little science big science|url=https://archive.org/details/littlesciencebig0000pric|anno=1963|editore=Columbia University Press}}</ref> Una parte della letteratura attuale sembra rivendicare questa profezia di 'overflow', lamentando il decadimento sia dell'attenzione che della qualità.<ref name="Siebert-al2015">{{Cita pubblicazione|autore=Siebert, S.|autore2=Machesky, L. M.|autore3=Insall, R. H.|anno=2015|titolo=Overflow in science and its implications for trust|rivista=eLife|volume=4|p=e10825|doi=10.7554/eLife.10825|PMID=26365552}}</ref><ref name="Della-Briotta-al2015">{{Cita pubblicazione|autore=Della Briotta Parolo, P.|autore2=Kumar Pan|autore3=R. Ghosh|anno=2015|titolo=Attention decay in science|rivista=Journal of Informetrics|volume=9|numero=4|pp=734–745|doi=10.1016/j.joi.2015.07.006|bibcode=2015arXiv150301881D|arxiv=1503.01881}}</ref>
-Il filosofo e storico della scienza [[Jerome Ravetz|Jerome R. Ravetz]] ha predetto nel suo libro del 1971 ''[[La conoscenza scientifica e i suoi problemi sociali]]'' che la scienza - nella sua progressione da "piccola" scienza composta da comunità isolate di ricercatori, a "grande" scienza o "tecnoscienza" - subirebbe grossi problemi nel suo sistema interno di controllo della qualità. Ravetz ha riconosciuto che la struttura degli incentivi per gli scienziati moderni potrebbe diventare disfunzionale, ora nota come l'attuale sfida "pubblica o perisci", creando [[incentivi perversi]] a pubblicare qualsiasi risultato, per quanto dubbioso. Secondo Ravetz, la qualità nella scienza viene mantenuta solo quando esiste una comunità di studiosi collegati da un insieme di norme e standard condivisi, tutti disposti e in grado di ritenersi reciprocamente responsabili.
-Lo storico [[Philip Mirowski]] ha offerto una diagnosi simile nel suo libro del 2011 ''Science Mart'' (2011).<ref name="Mirowski">{{Cita libro|autore=Mirowski, P.|titolo=Science-Mart: Privatizing American Science|anno=2011|editore=Harvard University Press}}</ref> Nel titolo, la parola 'Mart' fa riferimento al gigante della vendita al dettaglio 'Walmart', usato da Mirowski come metafora della mercificazione della scienza. Nell'analisi di Mirowski, la qualità della scienza crolla quando diventa una merce scambiata in un mercato. Mirowski sostiene il suo caso facendo risalire il decadimento della scienza alla decisione delle grandi aziende di chiudere i loro laboratori interni. Hanno esternalizzato il loro lavoro alle università nel tentativo di ridurre i costi e aumentare i profitti. Le società hanno successivamente spostato la loro ricerca dalle università a un'opzione ancora più economica: le organizzazioni di ricerca a contratto (CRO).
-La crisi del sistema di controllo della qualità della scienza sta influenzando l'uso della scienza per la politica. Questa è la tesi di un recente lavoro di un gruppo di studiosi di STS, che individuano nella "politica basata sull'evidenza (o informata)" un punto di tensione attuale.<ref name="FUTURES2"/><ref name="FUTURES1">{{Cita pubblicazione|autore=Saltelli|nome=A.|autore2=Funtowicz|nome2=S.|anno=2017|titolo=What is science's crisis really about?|rivista=Futures|volume=91|pp=5–11|doi=10.1016/j.futures.2017.05.010}}</ref><ref name="Benessia-al2016">{{Cita libro|autore=Benessia|nome=A.|autore2=Funtowicz|nome2=S.|nome3=M.|autore3=Giampietro|titolo=The Rightful Place of Science: Science on the Verge|anno=2016|editore=Consortium for Science, Policy and Outcomes at Arizona State University}}</ref> L'economista [[Noah Smith]] suggerisce che un fattore nella crisi è stata la sopravvalutazione della ricerca nel mondo accademico e la sottovalutazione della capacità di insegnamento, specialmente in campi con poche importanti scoperte recenti.<ref name="Academic signaling and the post-truth world">{{Cita web|url=http://noahpinionblog.blogspot.co.uk/2016/12/academic-signaling-and-post-truth-world.html|titolo= |sito=Noahpinion|accesso=5 novembre 2017}}</ref>
-La teoria del sistema sociale, dovuta al sociologo tedesco [[Niklas Luhmann]]<ref>H. G. Moeller, Luhmann explained. Open Court Publishing Company, 2006.</ref><ref>N. Luhmann, Social System. Stanford University Press, 1995.</ref> offre un'altra lettura della crisi. Secondo questa teoria ciascuno dei sistemi come 'economia', 'scienza', 'religione', 'media' e così via comunica utilizzando il proprio codice, vero/falso per la scienza, profitto/perdita per l'economia, nuovo/no per le notizie per i media; secondo alcuni sociologi,<ref>A. Saltelli and [[Paul-Marie Boulanger|P.-M. Boulanger]], "Technoscience, policy and the new media. Nexus or vortex?", ''Futures'', vol. 115, p. 102491, November 2019.</ref> la mediatizzazione della scienza,<ref>D. A. Scheufele, "Science communication as political communication", ''[[Proceedings of the National Academy of Sciences of the United States of America]]'', vol. 111 Suppl, no. Supplement 4, pp. 13585–13592, September 2014.</ref> sua mercificazione<ref>P. Mirowski. ''Science-Mart: Privatizing American Science''. Harvard University Press, 2011.</ref> e la sua politicizzazione,<ref>R. A. Pielke, Jr. ''The Honest Broker''. Cambridge University Press, 2007.</ref> – come risultato dell'accoppiamento strutturale tra sistemi, hanno portato ad una confusione dei codici di sistema originari. Se al codice vero/falso della scienza si sostituisce quello degli altri sistemi, come profitto/perdita, notizia/no-notizia, il funzionamento della scienza entra in crisi interna.
 == Accoglienza ==