Mange empiriske videnskaber har de seneste årtier oplevet en replikationskrise, hvor resultater fra et laboratorie ikke kan repliceres af andre laboratorier. Der er to hovedproblemer i den nuværende replikationskrise.
1) File drawer-problemet: de fleste artikler (95% i psykologiske tidsskrifter) rapporterer resultater, som understøtter den hypotese, der undersøges. Der findes næsten ingen publicerede studier, som viser, at en hypotese er forkert. Det tyder på, at der findes en lang række studier (hovedparten), som aldrig publiceres, fordi de ikke understøtter de undersøgte hypoteser. En af grundene hertil kan være, at forskeren ikke har interesse i at afvise en bestemt hypotese, og derfor efterlader negative resultater i arkivskabet (file drawer). Samtidig har tidsskrifter en økonomisk interesse i at afvise ’kedelige’ rapporter, som ikke resulterer i citationer og downloads.
Problemet bliver tydeligt, når der foretages såkaldte meta-analyser, som samler indsigterne fra alle studier, der undersøger en bestemt hypotese, fx effekten af et medicinsk præparat. Hvis forskeren kun har adgang til de ’positive’ studier, som understøtter en hypotese, vil meta-analysen miste sin værdi, fordi udfaldet med garanti vil være, at der findes en effekt, fx af et medicinsk præparat, selvom der udmærket kan eksistere hundredevis af studier, som viser det modsatte.
2) Replikationskrisen kan også skyldes markedsgørelsen af forskningen i dag, hvor bevillinger er afgørende for, om en forsker kan fortsætte sin forskning. Dette skaber et pres på forskere til at publicere interessante resultater. En alvorlig konsekvens kan være at forskere, bevidst eller ubevidst, finder støtte for en hypotese, selvom deres observationer i udgangspunktet ikke understøtter hypotesen. En forsker kan fx ændre sin hypotese eller analysestrategi, så tilfældige observationer i et eksperiment kan rapporteres som evidens for spændende hypoteser. En løsning på denne problematik er kravet om præregistrering.
En række initiativer, som skal løse replikationskrisen, samles i den såkaldte Open Science bevægelse. Formålet med Open Science er at gøre alle skridt i forskningsprocessen, fx hypoteser, pilotstudier, data, analyser, resultater, offentligt tilgængelig. Hvis alle skridt i alle studier gøres offentligt tilgængelige, vil både file drawer-problemet og problemet med ændrede hypoteser og analysestrategier være løst.
