Studien an Mäusen oder der Laborbank werden zuweilen als wegweisend gehandelt, etwa für die Medikamentenentwicklung. Ein Forschungsprojekt wiederholte knapp 200 solcher einflussreichen Versuche und konnte die Hälfte der wissenschaftlichen Aussagen nicht bestätigen.
Vor etwa acht Jahren initiierte ein Forschungsteam ein Projekt zur präzisen Wiederholung früher, aber einflussreicher Laborexperimente in der Krebsforschung, unter dem Namen 'The Reproducibility Project: Cancer Biology'. Das Team des renommierten Center of Open Science (CoS) versuchte, 193 Versuche aus 53 Publikationen zu replizieren, die zwischen 2010 und 2012 in besonders einflussreichen (high-impact) wissenschaftlichen Zeitschriften erschienen waren, darunter Cell, Science und Nature.1
Beim Nachbilden der Experimente stieß das Team auf folgende Probleme:
Die vervollständigten Versuchsanordnungen wurden einem erneuten Peer Review-Prozess unterzogen, um die notwendige Genauigkeit und Qualität sicherzustellen und Abweichungen vom Originalexperiment zu minimieren. Bei zwei Dritteln (67%) der Versuche waren Modifikationen nötig, um sie methodisch sauber abschließen zu können, bei 41% wurden diese vollständig implementiert. Hiernach blieben 50 Experimente aus 23 Originalpublikationen übrig, die das CoS-Team nachvollzog und damit Daten zur Reproduzierbarkeit von 158 Effekten oder Thesen generierte.
Die Autoren dieses jahrelangen Projektes stellten unter anderem fest, dass:
Die stärkste Evidenz stammt aus Experimenten, die sich mit ähnlichen Ergebnissen wiederholen lassen, doch im echten Leben gibt es wenig Anreiz für Forscher, ihre Daten und Methoden mit anderen zu teilen, damit diese ihre Arbeit verifizieren können, meint die Präsidentin der National Academy of Sciences und frühere Chefredakteurin der Fachzeitschriftengruppe Science, Marcia McNutt.2
Diese alarmierenden Entdeckungen sind auch anderweitig bereits beschrieben.
Wissenschaftler des Biotechnologieunternehmens Amgen berichteten vor Jahren über noch niedrigere Bestätigungsraten, als sie versuchten, publizierte Krebsexperimente zu kopieren. Und auch für das Reproducibility Project ist es nicht das erste Mal, dass zentrale Schwächen in der Art, wie wegweisende Evidenz generiert wird, zum Vorschein kommen: eine ähnliche Studie auf dem Gebiet der Psychologie von 2015 deutete in die gleiche Richtung.
Ohne zunächst die Sorgfalt walten zu lassen, die initialen Ergebnisse aus Grundlagenstudien zu validieren, kann es verschwenderisch und sogar schädlich sein, weiter voranzustürmen, sagt einer der Koautoren vom CoS. "Wir beginnen eine klinische Studie oder gründen ein Start-up-Unternehmen oder wir posaunen in die Welt hinaus: 'Wir haben eine Lösung', bevor wir die Anschlussarbeiten zur Verifizierung durchgeführt haben."
Schlagzeilen über Mausstudien, die den Anschein erwecken, ein therapeutischer Durchbruch sei in greifbarer Nähe, können bei Patienten zudem falsche Hoffnungen schüren und für nicht unerhebliche Kosten sorgen. Unter den Studien, deren Ergebnisse sich in dieser Arbeit als nicht belastbar erwiesen, war zum Beispiel eine Mausstudie zu einem potenziellen Medikament für Prostatakrebs. Mittlerweile wurde ein Unternehmen gegründet, welches derzeit Versuche am Menschen mit demselben Wirkstoff gegen metastatischen Bauchspeicheldrüsenkrebs durchführt.2
... sagte einst Oscar Wilde. Skepsis ist aktuell der richtige Ansatz, meint auch Dr. Glenn Begley, Biotechnologieberater und ehemaliger Leiter der Krebsforschung bei Amgen. "Es ist sehr einfach für Forscher, sich von Ergebnissen einnehmen zu lassen, die aufregend und provokativ aussehen, Ergebnisse, die ihre Lieblingsvorstellung davon, wie Krebs funktionieren sollte, weiter zu unterstützen scheinen, die aber dennoch einfach falsch sind."2 Und es gibt inhärente Belohnungen für die Veröffentlichung von Entdeckungen.Der stellvertretende Direktor der National Institutes of Health (NIH) äußerte, dass die Behörde versuchen wird, die Freigabe und das Teilen von Daten zwischen Wissenschaftlern zu verbessern, indem es dies ab 2023 für finanziell geförderte Forschungseinrichtungen zur Bedingung macht.
Auch Prof. Vinay Prasad, Onkologe und hoch aktiver Forscher an der Universität San Francisco, der an dem CoS-Projekt nicht beteiligt war, meint, dass wir uns selbst etwas vormachen. "Das meiste von dem, was wir als neu oder bedeutsam bezeichnen, ist es gar nicht."2
Referenzen:
1. Science, C. for O. Reproducibility Project: Cancer Biology. https://www.cos.io/rpcb.
2. Study can’t confirm lab results for many cancer experiments. AP NEWS https://apnews.com/article/science-business-health-cancer-marcia-mcnutt-93219170405e3de753651b89d4308461 (2021).