Darum ist es normal, dass Wissenschaftler ihre Kollegen kritisieren

Wissenschaftler zusammen im Labor Foto: ThisisEngineering RAEng / Unsplash.com

Studien

Darum ist es normal, dass Wissenschaftler ihre Kollegen kritisieren

Während der Corona-Pandemie werden viele Studien öffentlich diskutiert. Unnötig? Nein, denn Kritik ist in der Wissenschaft total normal und sogar wichtig.

8. Juni 2020

Darum geht’s:

Ohne Kritik unter Forschern keine Wissenschaft

Debatten, Kritik und sogar Widersprüche sind in der Wissenschaft normal. Forschungsergebnisse gelten erst dann als gesichert, wenn sie umfassend diskutiert und überprüft worden sind. Bis ein Forschungsergebnis an die Öffentlichkeit gelangt, kann es mitunter Jahre dauern. Das liegt daran, dass eine Studie, wenn sie abgeschlossen ist, selten direkt veröffentlicht wird.

Die Untersuchung wird in Fachkreisen diskutiert, von Gutachtern bei Fachmagazinen überprüft, auch mal wieder an die Autoren zurückgegeben zur Überarbeitung. Erscheint die Studie schließlich in einem Journal, landet sie vielleicht in den Händen von Journalisten, die darüber berichten.

Doch selbst dann können die Ergebnisse noch infrage gestellt werden. Es liegt in der Natur der Forschung, dass Erkenntnisse nicht endgültig sind. Sie können erweitert, überholt oder widerlegt werden. Und nichts davon ist schlimm. Sondern es bringt die Wissenschaft nur weiter.

Darum müssen wir drüber sprechen:

Der Fall Drosten vs. Bild

Was passiert, wenn diese Debatte plötzlich an die Öffentlichkeit gezerrt und zu einem wissenschaftlichen Konflikt skandalisiert wird, zeigt sich ganz gut am Beispiel eines Artikels der “Bild”-Zeitung, der am 25. Mai 2020 veröffentlicht wurde und den Titel trägt: “Fragwürdige Methoden: Drosten-Studie über ansteckende Kinder grob falsch”.

Darin greift ein Reporter der Zeitung eine Studie an, die das Team um den Virologen Christian Drosten durchgeführt hat. Drosten und seine Kollegen haben ein paar Tausend Probanden verschiedener Altersklassen auf ihre Corona-Viruslast untersucht.

Sie kommen unter anderem zu dem Schluss: Kinder könnten genauso infektiös sein wie Erwachsene. Statistiker hatten die Studie nach ihrem Erscheinen (bereits Ende April) kritisiert: Die statistischen Methoden der Studie seien nicht geeignet für diese Art der Auswertung und aus statistischer Sicht käme man auf andere Schlussfolgerungen.

Der “Bild”-Reporter zitierte nun aus den Aufsätzen der Statistiker und unterstellte Christian Drosten, mithilfe seiner Studie die Schließung von Kitas und Schulen unrechtmäßig erzwungen zu haben.

Aber:

Überprüfung und Fehlerfindung bedeutet gute wissenschaftliche Praxis

Was der “Bild”-Reporter außer Acht gelassen hat: Innerhalb der Wissenschaftscommunity stehen Diskurse, wie es sie auf die Drosten-Studie gegeben hat, für Qualität und gute wissenschaftliche Praxis. Einem Aufsatz eines Kollegen zu widersprechen, dient nicht dazu, dessen Forschungsergebnisse zu diskreditieren. Die Kritik dient dazu, eine neue Perspektive auf die Ergebnisse zu geben – und diese zu verbessern.

Die Forscher, die in der “Bild” zitiert worden sind, distanzieren sich von der Berichterstattung. Niemand habe einen Skandal heraufbeschwören wollen. Sie hatten alle nur an einem üblichen wissenschaftlichen Vorgang teilgenommen.

Was Statistiker an der Drosten-Studie kritisieren

Christian Drosten und seine Kollegen schlussfolgern aus ihren Daten, dass sie keine signifikanten Unterschiede finden können, ob Kinder grundsätzlich weniger Viruslast im Rachen aufweisen als Erwachsene.

Statistiker, die die Publikation unter die Lupe genommen haben, sagen, dass die Auswertung recht grob sei und dass sie beim Nachrechnen zu anderen Schlüssen kämen.

Sie sind der Ansicht, dass sich die Viruslasten nach Altersgruppen schon unterscheiden und dass Kinder statistisch gesehen geringere Viruslasten aufweisen. Daraufhin haben Drosten und sein Team eine Überarbeitung der statistischen Auswertung angekündigt.

In seinem Podcast hat Christian Drosten die Diskussion um die Studie thematisiert und gesagt, dass er und sein Team grobe statistische Methoden verwendet hätten, um erst mal zu testen, was die Daten überhaupt hergeben. Wäre nichts dabei herausgekommen, hätten sie gewusst, dass sie den Datensatz nicht mit feineren Methoden analysieren müssen.

Die Kritiker zweifeln nicht die Warnung Drostens an, dass Kinder möglicherweise genauso infektiös sein könnten wie Erwachsene. Dabei handelt es sich um eine medizinische Einschätzung, die sich der Statistik entzieht. Drosten antwortet im Podcast auf die Frage, ob die Aussage seiner Studie nun hinfällig sei, dass die Methoden zwar grob seien, dass dies für die “medizinische Interpretation und die Bedeutung dieser Daten überhaupt keine Konsequenz” habe.

Er sagt außerdem: “Die Aussage ist einfach klar: Es gibt auch bei Kindern sehr hohe Viruslasten. Und das ist nur das, was wir sagen wollen. Man hätte das im Prinzip ohne jede statistische Analyse veröffentlichen können.”

Weiter erklärt Drosten, dass in die Daten auch mit reinspiele, dass sein Labor schon in der frühen Phase der Epidemie ein aktives Testlabor gewesen sei. Und dass dies Herausforderungen mit sich bringe. In einer späteren Analyse der Proben sei aufgefallen, dass in der Frühphase insbesondere Proben von asymptomatischen Kindern gut vertreten waren.

Die Kinderproben, die das Team in der späteren Phase genommen habe, stammten eher von ins Krankenhaus eingelieferten Kindern mit schweren Verläufen, mit Grunderkrankungen. Wer aber schon weiter im Krankheitsverlauf sei, habe bereits geringere Viruskonzentrationen im Rachen. “Wenn wir die Frühphase unserer Testung separat analysieren, dann ist unser Befund noch viel stärker”, sagt Drosten. “Dann ist es überdeutlich, dass die Kinder die gleiche Viruskonzentration haben wie die anderen Altersgruppen auch. Da gibt es nichts dran zu kritisieren.”

Einer der von “Bild” zitierten Forscher, Jörg Stoye, gab kurz nach dem Erscheinen des Artikels dem “Spiegel” ein Interview, in dem er unter anderem sagte, er hätte das Paper nie so geschrieben, wenn er gewusst hätte, dass die “Bild” diese Zeile verwendet. Und er erwiderte auf die Behauptung der “Bild”, er gehe mit der Drosten-Studie hart ins Gericht: “Na ja, was heißt hart? Es ist ein wissenschaftlicher Fachaufsatz. Darin wird schon mal eine undiplomatische Sprache verwendet.”

Begutachten, nachrechnen, reproduzieren – und auch mal kritisieren und widersprechen

Allein dieses Zitat zeigt, wie es in der Forschung läuft: Ein Wissenschaftler publiziert seine Ergebnisse oder reicht sie bei einem Journal ein. Andere begutachten, rechnen nach, reproduzieren, kritisieren eventuell. Dann knöpft sich der Autor seine Studie nochmals vor, überarbeitet sie, stellt sie wieder zur Debatte und so weiter. Diese Prozesse sind Gütekriterien für seriöse Forschung.

Ein Prozess, nach dem wissenschaftliche Inhalte vor der Veröffentlichung in einer Fachzeitschrift begutachtet werden, ist das Peer-Review-Verfahren. Das Wort “Peer” kann man übersetzen mit “Kollege”. Das Peer-Review ist gedacht als Begutachtungsprozess durch unabhängige Fachkolleginnen und Fachkollegen. Viele Journale nutzen das Verfahren, um Beiträge auf ihre Qualität zu prüfen, bevor sie veröffentlicht werden.

Wenn das Peer-Review versagt

Trotz vieler Kontrollinstanzen, die die Qualität wissenschaftlicher Ergebnisse überprüfen, kann es zu Fehlern und sogar Täuschungen kommen. In solchen Fällen kann es passieren, dass Journale Ergebnisse zurückziehen. Diesen Schritt gehen gerade zwei große medizinische Fachzeitschriften. Das “New England Journal of Medicine“ (NEJM) und “The Lancet“ haben zugegeben, dass sie Studien abgedruckt haben, die unter Vorbehalt betrachtet werden müssen.

Beide Studien basieren auf Daten des US-Unternehmens “Surgisphere“, an dessen Glaubwürdigkeit einige Dutzend Wissenschaftler und Wissenschaftlerinnen zweifeln.

  • In der Lancet-Studie ging es um die Wirksamkeit der Medikamente Hydroxychloroquin und Chloroquin in Kombination mit dem Antibiotikum Makrolid zur Behandlung von Covid-19. Die Studie kommt zu dem Ergebnis, dass der Einsatz der Mittel die Sterblichkeit von Covid-19-Patienten steigern könnte. Es gibt aber einige Ungereimtheiten in den Zahlen. Forscher fragen sich, wie es dem Unternehmen gelingen konnte, in so kurzer Zeit so viele Patientendaten weltweit zusammenzutragen. Aus Afrika etwa sollen Daten von 4402 Patienten stammen, von denen 561 gestorben sein sollen. Die Kritiker merken an, dass es auf dem Kontinent nur wenige Kliniken gibt, die detaillierte elektronische Gesundheitsakten führen. Hinzu kommt, dass die Studie für Australien mehr im Krankenhaus verstorbene Covid-19-Patienten betrachtet, als in dem Land tatsächlich gemeldet wurden.
  • Die Studie im “New England Journal of Medicine“ untersuchte einen anderen Gesundheitsaspekt von Covid-19, die Datenbasis für diese Analyse stammte aber auch von der Firma “Surgisphere“. Auch hier gab es Kritik an der Studie.

“Surgisphere“ selbst weigert sich, die Rohdaten herauszugeben. Die spärlich bestückte Website und dass die Firma nur wenige und anscheinend unqualifizierte Mitarbeiter beschäftigt, trägt nicht zu Glaubwürdigkeit bei. Die Journale müssen nun prüfen, wie all das in den eigenen Reihen keinen Verdacht erregen konnte.

“Es ist in der Tat sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer-Review noch im editoriellen Prozess der Journale aufgefallen sind“, sagt Jörg Meerpohl, Direktor des Instituts für Evidenz in der Medizin am Universitätsklinikum Freiburg. “Gerade bei so hochrangigen Zeitschriften wie “The Lancet“ und dem “NEJM“ sollte so etwas nicht vorkommen. Hier müssen die entsprechenden Fachzeitschriften jetzt rigoros prüfen, wie es dazu gekommen ist, und entsprechende Maßnahmen einleiten, damit so etwas in Zukunft nicht mehr vorkommt.“

Besonders dramatisch sei, dass es sich um Studien handele, die eine große Bedeutung für das Management der Pandemie weltweit haben. “Das einzig Positive, das ich dieser Sache abgewinnen kann, ist, dass die Fachzeitschriften jetzt sehr schnell reagiert haben und die entsprechenden Publikationen seit gestern zurückgezogen sind.“ Wichtig ist nun, dass die Ergebnisse geprüft und richtiggestellt oder bestätigt werden. Das wird auch Einfluss darauf haben, wie die Forschung vorankommt auf der Suche nach Therapien gegen Covid-19. Die Weltgesundheitsorganisation (WHO) etwa hat wegen der Lancet-Studie Ende Mai eine klinische Studie pausiert, die die Wirksamkeit von Hydroxychloroquin bei Covid-19 prüfen sollte. Die Studie wird jetzt wieder aufgenommen.

Wenn ein Aufsatz eigenständig von einem Forscher veröffentlicht wird, überspringt er das Peer-Review-Verfahren. Das muss aber nicht heißen, dass er gar nicht oder weniger begutachtet wird. Während Fachzeitschriften häufig eine feste Auswahl an “Peers” haben, die sie mit der Begutachtung von Artikeln beauftragen, können auf eigenständig veröffentlichte Aufsätze viele Wissenschaftlerinnen und Wissenschaftler unterschiedlichster Disziplinen direkt zugreifen. Das kann den Vorteil haben, dass das Paper noch in seiner Entwicklungsphase aus verschiedenen Perspektiven begutachtet wird.

Selbst wenn eine Studie all diese Vorgänge überstanden hat, sind ihre Ergebnisse noch nicht unbedingt gesichert. Zum einen entwickeln sich Untersuchungsmethoden kontinuierlich weiter.

Mit neueren Methoden kann ein Forschungsergebnis auch anders ausfallen. Zum anderen kann es durchaus vorkommen, dass andere Wissenschaftler die Ergebnisse prüfen und widersprechen. Falsifikation ist üblich in der Wissenschaft: Ein Ergebnis gilt nur so lange als richtig, bis es widerlegt wird.

Auch deswegen gehört es zum guten Ton in der Wissenschaft, Rohdaten und Methoden einer Studie offenzulegen, damit andere das Vorgehen nachvollziehen können. Die Überprüfbarkeit und die Möglichkeit der Fehlerfindung kalkulieren Forscher mit ein und akzeptieren diese.

Replikation schafft neues Wissen

Ein wichtiger Pfeiler guter wissenschaftlicher Praxis ist daher auch die Replikation. Das bedeutet, dass eine Studie wiederholbar sein muss – zum Zweck der Kontrolle und der Überprüfbarkeit der Ergebnisse. Unter anderem die Deutsche Forschungsgemeinschaft (DFG) schreibt in ihren Leitlinien für gute wissenschaftliche Praxis:

“Eine wichtige Grundlage für die Ermöglichung einer Replikation ist es, die für das Verständnis der Forschung notwendigen Informationen über verwendete oder entstehende Forschungsdaten, die Methoden-, Auswertungs- und Analyseschritte sowie gegebenenfalls die Entstehung der Hypothese zu hinterlegen, die Nachvollziehbarkeit von Zitationen zu gewährleisten und, soweit möglich, Dritten den Zugang zu diesen Informationen zu gestatten.”

Am Ende dient jeder dieser Prozesse der Schaffung neuen Wissens. Die Forschung profitiert davon.

Es gibt nie die eine Wahrheit

Außerdem sind Forschungsergebnisse immer auch subjektiv geprägt. Nicht nur unterschiedliche Untersuchungsmethoden können aus identischen Daten verschiedene Ergebnisse herausholen, auch die fachlichen Hintergründe der Autoren und Autorinnen etwa haben Einfluss darauf, welche Aspekte eines Datensatzes ihre Analyse beleuchtet.

Das lässt sich auch im aktuellen Fall der Drosten-Studie beobachten:
Als die Kritiker aus der Statistik bemerkten, wie sie im “Bild”-Artikel zitiert worden waren, betonten sie, dass sie die Ergebnisse aus statistischer Sicht beurteilt hatten, nicht aus medizinischer oder virologischer. Und dass sie eben andere Methoden verwendet hätten, um die Statistik zu verfeinern. Was auch bedeutet: Die eine richtige Methode gibt es eigentlich nie.

Unterschiedliche Ergebnisse trotz identischer Daten

Das wiederum unterstreicht eine andere Studie, die kürzlich im Wissenschaftsmagazin Nature erschienen ist: Forscher hatten darin untersucht, was passiert, wenn mehrere Forschungsteams die identischen Daten einer Hirnscanuntersuchung auswerten.

Hirnscans von 108 Versuchspersonen, die an einer neuropsychologischen Studie teilgenommen hatten, wurden verschickt an 70 Forscherteams in der ganzen Welt. Diese analysierten die Daten, wobei jeder seine eigenen Standardmethoden verwendete.

Dazu bekamen die Forscher neun Hypothesen, die sie nach Analyse der Daten entweder mit “Ja” oder “Nein” beantworten sollten. Je nachdem, ob sie die Hypothesen in den Daten bestätigt sahen oder nicht.

Das Ergebnis: Bei den Zwischenergebnissen kamen alle Teams noch auf vergleichbare Werte, aber als es um die Interpretation ging – also darum, welche Hypothesen sich aus den Daten ableiten ließen – waren sich die Teams deutlich uneinig.

Die Forscher, die die Hirnscans rumgeschickt hatten, vermuteten, dass es den Teams schwergefallen war, eindeutige Ja-/Nein-Antworten auf die Hypothesen zu geben. Dafür war der Datensatz vermutlich zu komplex.

Das zeigt aber auch: Gerade bei komplexen Daten hängen Ergebnisse und ihre Interpretation davon ab, wer die Daten mit welchen Methoden auswertet.

Und jetzt?

Das heißt nicht, dass Forschung Auslegungssache ist

Man muss Studien genau so interpretieren, wie sie verfasst sind. Wer nicht Mitglied der Wissenschaftscommunity ist, muss sehr genau lesen und insbesondere darauf achten, welche Einschränkungen vorliegen.

In einer seriösen Publikation diskutieren Forscher diese Limitationen. Die muss man mitbedenken, denn sie gehören natürlich zu den Ergebnissen dazu.

Die Studie von Drosten und seinem Team war ein Preprint, also eine Vorveröffentlichung – ohne Anspruch auf Vollständigkeit oder vollkommene Richtigkeit. Und schon gar nicht als alleiniger Antriebsfaktor für bundesweite politische Entscheidungen – wie die Schul- und Kita-Schließungen.

Das Ziel eines solchen Preprints ist unter anderem, etwas zum Diskurs beizutragen und der Wissenschaftscommunity überhaupt zu ermöglichen, an so einer Diskussion teilzunehmen. Und einen solchen Diskurs hat die Studie ermöglicht: Eben beispielsweise, indem sich die besagten Statistiker zu Wort meldeten und darauf hinwiesen, dass die statistische Auswertung überdacht werden sollte.

Gerade bei Preprints: Genau hinschauen

Preprints überspringen viele der wissenschaftlichen Kontrollinstanzen, die eigentlich greifen, bevor ein Paper veröffentlicht wird, also die interne Begutachtung durch andere Wissenschaftler oder die kritische Auseinandersetzung der Gutachter mit der Studie, bevor sie als wissenschaftliche Publikation in einem Journal veröffentlicht wird.

Die Veröffentlichung von sogenannten Preprints ist nicht neu, passiert derzeit aber häufiger. Warum, haben wir hier in einem ausführlichen Text beschrieben.

Die Veröffentlichung von Preprints ist grundsätzlich keine schlechte Sache. Denn: Die Ergebnisse stehen direkt auch anderen Wissenschaftlern zur Verfügung, die mit ihrer Forschung darauf aufbauen können. Zudem können die Ergebnisse transparent und für die Wissenschaftscommunity nachvollziehbar diskutiert werden.

In Zeiten von Corona, mit einer sich dynamisch entwickelnden Datenlage, schauen vermehrt auch Journalisten auf die Preprints – und das kann gut sein, aber eben auch schlecht laufen, wenn sie nicht wissen, wie man damit richtig umgeht.

Autorin: Saskia Gerhard

Unsere Quellen

Verwandte Themen

2 Kommentare;

  1. Es stellt sich grundsätzlich die Frage, ob der wissenschaftliche Diskurs tatsächlich in den Social Media stattfinden muss. Ich denke, sollte er nicht…

Schreibe einen Kommentar Antworten abbrechen

Mehr Wissen:

Jana Heck: