Heutzutage ist es sehr einfach, über Online-Medien Zugang zu einem breiten Spektrum an Informationen über verschiedene Krankheiten zu erhalten. Die meisten Menschen sind sich zwar bewusst, dass sie nicht alles glauben sollten, was sie online lesen, und haben gelernt, nach Quellen wie wissenschaftlichen Arbeiten zu suchen, aber die Bewertung der Qualität dieser Arbeiten kann sich als schwierig darstellen.
Klinische Evidenz, die durch randomisierte, kontrollierte Studien sowie durch Studien aus der Praxis gestützt wird, bildet den Goldstandard für Behandlungsentscheidungen. Vor allem bei Erkrankungen, die noch nicht gut untersucht sind oder für die nur begrenzte Daten über mögliche Behandlungen vorliegen, wie z. B. bei Long COVID, verlassen sich sowohl Patienten als auch Ärztinnen auf die laufende Forschung und aktuelle Veröffentlichungen. Allerdings entsprechen nicht alle wissenschaftlichen Studien demselben Qualitätsstandard, und die Veröffentlichungsprozesse können für Personen, die mit den Mechanismen zur Qualitätskontrolle für wissenschaftliche Veröffentlichungen nicht vertraut sind, verwirrend sein. Ausserdem kann ein wissenschaftliches Layout dazu verwendet werden, nicht validierte Informationen als wissenschaftlich korrekt erscheinen zu lassen. Solche Behauptungen können dadurch schnell von den Medien aufgegriffen und ohne jegliche Qualitätskontrolle an ein breites Publikum herangetragen werden.
Daher ist es wichtig, ein Grundverständnis dafür zu haben, wie wissenschaftliche Veröffentlichungen gehandhabt werden sollten, wie Sie herausfinden können, ob eine Studie vertrauenswürdig ist oder nicht, und wie gut bewertete Ergebnisse von kühnen, nicht durch Daten gestützten Behauptungen unterschieden werden können. Im Folgenden finden Sie eine Liste von Kriterien, anhand derer Sie herausfinden können, ob eine Studie glaubwürdig ist oder nicht, und auf welche Daten Sie in einer Veröffentlichung über die Ergebnisse einer klinischen Studie achten sollten.
Nicht allen wissenschaftlichen Daten kann man gleichermassen vertrauen. Manchmal ist es legitim, "das Buch nach seinem Einband zu beurteilen".
Um zu beurteilen, ob die Forschungsarbeit, die Sie gerade lesen wollen, einigen Standardqualitätskriterien entspricht, gibt es Dinge, die Sie überprüfen können, BEVOR Sie die Arbeit lesen:
- Wurde die Arbeit in einer Zeitschrift mit Peer-Review Prozess veröffentlicht?
Wissenschaftliche Fachzeitschriften mit hohem Impact verwenden ein sogeanntes Peer-Review-Verfahren, um die Qualität ihrer Veröffentlichungen zu gewährleisten. Bevor eine Arbeit veröffentlicht wird, wird sie mehreren Gutachtern (Experten auf dem jeweiligen Gebiet) vorgelegt, die die Qualität des Manuskripts bewerten. Dieses Verfahren ist entweder doppelt verblindet (der Peer-Reviewer weiss nicht, wer den Artikel verfasst hat, und der Autor weiss nicht, wer das Gutachten durchgeführt hat) oder mindestens einfach verblindet (der Autor weiss nicht, wer das Gutachten durchgeführt hat). Die Experten können weitere Daten anfordern, wenn sie von den vorgelegten Ergebnissen nicht überzeugt sind, oder Änderungen am Manuskript verlangen, wenn es nicht klar genug ist. Nur wenn sich alle Gutachter einig sind, dass der vorgelegte Inhalt veröffentlichungswürdig ist, kann die Arbeit veröffentlicht werden. Zeitschriften, die kein Peer-Review-Verfahren verlangen, sind in der Regel weniger vertrauenswürdig und können Daten enthalten die nicht extern überprüft wurden.
- Handelt es sich um einen Preprint?
Neben der Einreichung bei einer Fachzeitschrift mit Peer-Review ist es möglich, Manuskripte auf einer Preprint-Plattform, also einer Plattform, die Publikationen schon vor dem Druck in einer Fachzeitschrift online zur Verfügung stellt, zu veröffentlichen. Das bedeutet, dass die vorgelegten Daten noch nicht von anderen Experten geprüft wurden. Es ist möglich, dass eine Arbeit von renommierten Fachzeitschriften wegen mangelnder Qualität abgelehnt wird, aber dennoch als Preprint existiert.
- Wie viele Autoren sind beteiligt?
Eine klinische Studie ist mit viel Arbeit verbunden, und oft sind mehrere verschiedene Einrichtungen daran beteiligt. Wenn an einer Arbeit nur ein oder zwei Autoren beteiligt sind, handelt es sich höchstwahrscheinlich eher um eine Stellungnahme, eine Zusammenfassung aktueller Daten (Literaturübersicht) oder eine Zusammenfassung inklusive Vergleich aktueller Daten (Übersicht und Meta-Analyse). Letztere kann wertvolle Informationen darüber liefern, wie verschiedene auf dem Markt erhältliche Behandlungen im Vergleich zueinander abschneiden.
- Wo und wann wurde die Studie durchgeführt?
Ist die Studie auf dem neuesten Stand? Die Standards für klinische Studien entwickeln sich ständig weiter, eine ältere Studie entspricht möglicherweise nicht mehr den aktuellen Qualitätsstandards. Herkunft, ethnische Zugehörigkeit und Umweltfaktoren können einen starken Einfluss auf die Wirksamkeit bestimmter Behandlungen haben. Die Merkmale der Studienteilnehmer sollten mit Ihren oder denen Ihrer Patientinnen vergleichbar sein, um Schlussfolgerungen ziehen zu können.
- Ist die jeweilige Studie bei clinicaltrials.gov oder einem nationalen Register registriert?
Eine Studie muss bestimmte Qualitätskriterien erfüllen, um bei einem nationalen oder internationalen Register registriert zu werden.
- Gibt es Interessenskonflikte bei den Forschern?
Wie wurde die Studie finanziert, und stehen die Autorinnen mit Personen in Verbindung, die finanziell von den vorgestellten Studienergebnissen profitieren könnten? Klinische Studien sind sehr teuer und daher auf die finanzielle Unterstützung von Pharmaunternehmen angewiesen. Um eine mögliche Einflussnahme zu verhindern und vollständige Objektivität zu gewährleisten, wird die Kommunikation in der pharmazeutischen Industrie von nationalen und internationalen Behörden streng reguliert.
Wie ist die Studie aufgebaut und inwiefern spiegelt das Studiendesign den klinischen Alltag wider?
Wenn Ihnen die Studie, die Sie sich ansehen, anhand der oben genannten Kriterien vertrauenswürdig erscheint, können Sie mit der Bewertung des Inhalts fortfahren. Bei der Analyse des Studiendesigns ist Folgendes zu beachten:
- Wie viele Patienten waren beteiligt?
Eine Studie, die nur eine Handvoll Personen einschliesst, lässt keine Rückschlüsse auf eine breite Patientenschaft zu. Die Anzahl der einbezogenen Personen hängt jedoch stark davon ab, wie viele Menschen von der untersuchten Erkrankung betroffen sind.
- Welche Art von Patientinnen wurde einbezogen?
Um Schlussfolgerungen ziehen zu können, muss die Patientenpopulation mit Ihren/Ihren Patienten vergleichbar sein.
- Wurden die Patienten randomisiert?
Wenn zwei oder mehr Behandlungen in einer Studie verglichen werden, ist es wichtig zu wissen, ob die Behandlungen nach dem Zufallsprinzip zugeteilt wurden. Ist dies nicht der Fall, könnte es zu einer Verzerrung der Ergebnisse kommen.
- War die Studie verblindet?
Wenn zwei oder mehr Behandlungen verglichen werden, ist es wichtig zu wissen, ob die Teilnehmenden und die Prüfärztinnen wussten, welche Behandlung sie erhalten würden (Open Label) oder nicht (einfach oder doppelt verblindet).
- Wie lange war die Studiendauer?
Die Studiendauer sollte lange genug sein, um mögliche Sicherheitsbedenken zu bewerten und einen Nutzen über einen längeren Zeitraum zu gewährleisten.
- Bei Studien zum Vergleich verschiedener Behandlungen: Ist der gewählte Komparator geeignet und sind die Patientenmerkmale in beiden Gruppen vergleichbar?
Insbesondere bei Erkrankungen, für die es bereits wirksame Behandlungen gibt, kann es notwendig sein, eine neue Behandlung mit der derzeitigen Standardbehandlung zu vergleichen anstatt einem Placebo. Die Merkmale der Teilnehmenden in den beiden Vergleichsgruppen müssen berücksichtigt werden. Im Idealfall sind sie ähnlich, andernfalls könnte eine statistische Anpassung der Ergebnisse auf der Grundlage der Ausgangsmerkmale erforderlich sein.
Verfügt die Studie über eine klare Hypothese und sind die vorgestellten Methoden geeignet, diese Hypothese zu bewerten?
Die in einer Studie verwendeten Methoden sind entscheidend für die Bewertung der vorgelegten Ergebnisse. Wenn die Methodik unklar, voreingenommen oder fehlerhaft ist, kann man den erzielten Ergebnissen nicht trauen.
- Ist die Hypothese klar?
Die Autoren müssen angeben, welches Ergebnis sie von der Studie erwarten.
- Ist die Methodik der Studie geeignet, um die Hypothese zu bewerten?
Die Ergebnisse können die Hypothese nur stützen, wenn die Messparameter gut gewählt sind.
- Wer hat die Messparameter definiert?
Es ist ein gutes Zeichen, wenn die Messparameter von einem unabhängigen Expertengremium festgelegt wurden.
- Welche Messparameter wurden definiert?
Es sollte definiert werden, was gemessen wurde, und erklärt werden, warum diese Messwerte die Hypothese stützen oder widerlegen können.
Stützen die Ergebnisse die Hypothese?
Die Ergebnisse sollten objektiv dargestellt werden, und in der Diskussion sollte erläutert werden, warum diese Ergebnisse die zuvor gestellte Hypothese stützen können.
- Lassen die Ergebnisse die gezogenen Schlussfolgerungen zu?
Manchmal werden Schlussfolgerungen aus uneindeutigen Daten gezogen. Der Unterschied zwischen Kausalität und Korrelation muss klar sein.
- Sind alle Ergebnisse in der Analyse und in der Diskussion enthalten?
Wenn einige Ergebnisse nicht in der Diskussion auftauchen, ist dies ein Hinweis darauf, dass die Ergebnisse nicht wie erwartet waren. Wenn ausserdem nur ein Bruchteil der in die Studie aufgenommenen Personen analysiert wird, ist es wahrscheinlich, dass einige Teilnehmende zensiert wurden, weil sie die erwarteten Ergebnisse nicht erreicht haben, oder dass viele Personen die Studie abgebrochen haben (z. B. aufgrund von Toxizität oder mangelnder Wirksamkeit der Studienmedikation).
- Können die Ergebnisse auf die klinische Praxis verallgemeinert werden?
Das hängt sehr stark von der Patientenpopulation ab. Wenn die Patientinnen eine Reihe sehr spezifischer Kriterien erfüllen mussten, um das vorgestellte Ergebnis zu erreichen, ist die Behandlung in der klinischen Praxis möglicherweise nicht anwendbar.
- Sind die Ergebnisse objektiv dargestellt?
Die Ergebnisse sollten ohne jegliche Wertung angegeben werden. Wenn die Ergebnisse nicht objektiv dargestellt werden, besteht ein grosses Potenzial für eine Voreingenommenheit der Autoren.
- Wird in der Diskussion angegeben, ob die vorgegebenen Endpunkte erreicht wurden?
Zu Beginn einer Studie sollten die Hypothese und das erwartete Ergebnis definiert werden. Abschliessend sollte die Diskussion einer wissenschaftlichen Veröffentlichung eine Aussage darüber enthalten, ob die erwarteten Ergebnisse erreicht wurden, ob die Hypothese richtig ist und ob die Studie positiv ist oder nicht.
- Weisen die Forscher in der Diskussion auf mögliche Limitationen der Studie hin?
Wenn die Diskussion einen Abschnitt über die Einschränkungen einer Studie enthält, ist dies ein Zeichen dafür, dass sich die Forscher möglicher Fehler bewusst sind und die Ergebnisse objektiv darstellen, indem sie den Leser auffordern, das Ergebnis kritisch zu bewerten.
Sind die Studienergebnisse statistisch signifikant?
Da bei klinischen Studien in der Regel eine grosse Menge an individuellen Patientendaten verarbeitet wird, ist eine statistische Analyse der erzielten Ergebnisse unerlässlich. Statistiken können schwer zu verstehen sein, aber es gibt ein paar einfache Dinge, auf die man achten sollte:
- Welche statistischen Methoden wurden verwendet?
Für Personen, die mit statistischen Methoden nicht vertraut sind, ist es dennoch empfehlenswert zu prüfen, ob eine statistische Analyse durchgeführt wurde. Behandelnde sollten sich die Zeit nehmen, um die statistischen Standardmethoden und die Bedeutung der statistischen Signifikanz zu verstehen.
- Was sind Quotenverhältnisse und Konfidenzintervalle?
Quotenverhältnisse werden häufig für Sicherheitsergebnisse verwendet und zeigen, wie verschiedene Behandlungen im Hinblick auf Nebenwirkungen im Vergleich gegeneinander abschneiden. Ein Quotientenverhältnis von 1 bedeutet, dass die Häufigkeit einer bestimmten Nebenwirkung in beiden Gruppen gleich war. Ein Quotientenverhältnis unter 1 bedeutet, dass die Nebenwirkung in der untersuchten Behandlungsgruppe seltener auftrat als in der Vergleichsgruppe (z. B. Placebo), und ein Quotientenverhältnis über 1 bedeutet, dass die Nebenwirkung häufiger auftrat. Ein Konfidenzintervall gibt den Bereich an, der 95 % der Ergebnisse umfasst. Wenn das Konfidenzintervall sehr breit ist, variieren die Ergebnisse unter den Teilnehmenden sehr stark. In Bezug auf die Wirksamkeit könnte dies bedeuten, dass die betreffende Therapie bei einigen Patienten sehr wirksam war, während bei anderen kein Nutzen festgestellt wurde.
- Wurde statistische Signifikanz nachgewiesen?
Es sollte in der Diskussion angegeben werden, ob eine statistische Signifikanz erreicht wurde. Behandlungen mit einem sehr geringen Nebenwirkungsrisiko könnten in der Praxis auch dann in Betracht gezogen werden, wenn die statistische Signifikanz nicht erreicht wird, die Forscherinnen aber zeigen konnten, dass der Nutzen höchstwahrscheinlich die Risiken überwiegt und dass kein Schaden entsteht, sollte die Behandlung nicht wirksam sein.
Altea Long COVID setzt sich dafür ein, die laufende Forschung für jedermann verständlich zu machen. Wir hoffen, dass diese Tipps Ihnen helfen werden, den Inhalt wissenschaftlicher Studien leichter zu beurteilen, und laden Sie ein, neue Veröffentlichungen mit anderen Betroffenen und medizinischen Fachkräften in unserer Community zu diskutieren.
