Група изследователи публикува резултат, който изглежда важен. Друга група се опитва да го повтори и не успява. Първата отговаря, че втората е сгрешила в детайлите; втората — че първата е имала късмет. Спорът не стига до вестниците, защото е скучен и не предлага ясен победител. А той е важен: ако резултатът не се повтаря, какво точно знаем? Кризата на възпроизводимостта не е скандал за един експеримент, а въпрос за цялата система, която произвежда знание. Затова е важно да се пита не само какво е открито, а и колко стабилно е.
Проблемът е установен при повторения на изследвания в психологията, медицината и някои области на биологията. Значителна част от резултатите не се появяват отново, когато опитът се направи наново с повече данни. Това не значи, че всички са измислени. Значи, че ефектите са били по-малки, отколкото са изглеждали, или че са зависили от детайли, които не са били описани. И двете са нормални грешки, които системата е трябвало да хване и не е успяла навреме. Затова малките ефекти са най-уязвими от случайност и най-често изчезват при повторение.
Причините са структурни. Малките извадки дават силни случайни отклонения. Гъвкавият анализ позволява на изследователя да опита много варианти и да публикува този, който дава значим резултат. Публикационната пристрастност означава, че положителните резултати се публикуват, а отрицателните остават в чекмеджето. Никой от тези механизми не изисква лош човек. Те са резултат от стимули: кариера, финансиране, желание да се намери нещо. Поради това и решението не е призив към честност, а промяна на правилата. Честно е да се казва какво е доказано и какво не.