Grundlagen

• Die Menge an Informationen, die im Rahmen medizinischer Forschung generiert werden, ist enorm.
• Immer häufiger sieht man Übersichtsartikel, die die Ergebnisse vieler ähnlicher Studien in einer sog. Metaanalyse zusammenfassen („Pool the Data“).¹
• Eine Metaanalyse ist ein statistisches Verfahren, um die Ergebnisse mehrerer Studien, die die gleiche Frage bearbeiten, quantitativ zu einem Gesamtergebnis zusammenzufassen und dadurch die Aussagekraft (Ergebnissicherheit) gegenüber Einzelstudien zu erhöhen. Metaanalysen werden mit zunehmender Häufigkeit in systematischen Reviews eingesetzt. Allerdings beruht nicht jede Metaanalyse auf einem systematischen Review.²
  • Ergebnissicherheit ist eine Eigenschaft einer Einzelstudie oder einer systematischen Übersicht/Metaanalyse. Sie bezeichnet das Vertrauen, das ein in der (den) Studie(n) gefundenes Ergebnis nahe am wahren Ergebnis liegt. Die Ergebnissicherheit ergibt sich aus der Bewertung des Verzerrungspotenzials einer Studie (systematischer Fehler) und der Größe der statistischen Unsicherheit (zufälliger Fehler).³
• Eine korrekt durchgeführte Metaanalyse kann wertvolle Informationen liefern.
• Eine Metaanalyse ist ein leistungsfähiges, aber auch kontrovers diskutiertes Forschungsverfahren. Kleine Verstöße gegen die Idealbedingungen, nach denen die Analyse durchgeführt wird, können zu irreführenden Schlussfolgerungen führen.

Zweck von Metaanalysen

• Zusammenfassung und Integration der Ergebnisse aus mehreren individuellen Studien
• Analyse der Unterschiede in den Ergebnissen der Studien
• Kombination individueller Studien mit zu wenigen Patient*innen (geringer Stichprobenumfang), um Effekte von Bedeutung nachzuweisen, sowie Analyse von Endpunkten, die größere Studien erforderlich machen.
• Erhöhung der Präzision der angenommenen Effekte
• Evaluation der Effekte in Patientenuntergruppen
• Abklärung, ob zusätzliche Studien zur weiteren Erforschung des Themas notwendig sind.
• Entwicklung neuer Hypothesen für zukünftige Studien

Gestaltung von Metaanalysen

• Vier kritische Aspekte sind entscheidend, um eine gute Metaanalyse zu erstellen:
  • Identifikation und Auswahl der Studien (Literaturrecherche⁴)
  • Heterogenität der Ergebnisse
  • Verfügbarkeit von Informationen
  • Analyse der Daten.
• Wichtiges Kriterium evidenzbasierter Verfahren: systematische und umfassende Suche nach bestmöglicher Evidenz
• grundsätzliche Unterscheidung zwischen der möglichst umfassenden und der möglichst effizienten Suche
• Für die Erstellung von systematischen Übersichtsarbeiten sind Strategien erforderlich, die ein möglichst vollständiges Bild der vorhandenen Evidenz bieten.
• Weitere Informationen zur systematischen Literaturrecherche finden Sie im Informationsangebot des Deutschen Cochrane-Zentrums.

Identifikation und Auswahl der Studien

• Das Ergebnis einer Metaanalyse hängt von den Studien, die zusammengefasst werden, ab.
• Die Auswahl der Studien umfasst zwei wesentliche Elemente:
  1. Identifikationsphase oder Literatursuche
  2. Einschlusskriterien.
• Drei methodische Fehler können auftreten:
  1. Publikations-Bias
  2. Such-Bias
  3. Selektions-Bias.

Publikations-Bias

• Die Suche nach relevanten Studien in großen Datenbanken liefert nur Treffer von veröffentlichten Studien.
• Eine solche Suche ergibt keine repräsentative Studienauswahl, da Studien, die ein „positives“ Ergebnis zeigen (normalerweise zugunsten einer neuen Therapie), weit häufiger publiziert werden als solche, die zu keinem positiven Ergebnis kommen.
• Eine solche selektive Publikation wird Publikations-Bias genannt.⁵
  • In Bezug auf Antidepressiva fanden Wissenschaftler*innen z. B. heraus, dass 97 % der positiven Studien veröffentlicht wurden gegenüber nur 12 % der negativen.⁶
• Um diese schwerwiegende Fehlerquelle der Metaanalysen zu vermeiden, ist es wichtig, dass die Wissenschaftler*innen hinter der Metaanalyse große Anstrengungen unternehmen, um veröffentlichte Studien zu finden.
  • Die Zusammenarbeit auf internationaler Ebene hat dazu geführt, dass sämtliche Studien, deren Durchführung beantragt wurde, heutzutage registriert werden, unabhängig vom Ergebnis und von der Veröffentlichung.
  • Auch eine verbesserte Kommunikation unter den Wissenschaftler*innen ermöglicht heutzutage eine leichtere Auffindung nicht veröffentlichter Studien.
  • Die Cochrane Collaboration ist ein zentraler Anbieter, der systematische Übersichten und Metaanalysen zu vielen Erkrankungen und Verfahren sammelt.

Such-Bias

• Selbst im Idealfall, wenn alle relevanten Studien verfügbar sind, kann eine falsch durchgeführte Suche dazu führen, dass nicht alle Studien gefunden werden.
• Es ist entscheidend, dass möglichst vollständige und richtige Suchwörter verwendet werden.
• Dieser Teil der Metaanalyse ist so kritisch, dass man in letzter Zeit dazu übergegangen ist, die verwendeten Suchworte im veröffentlichten Artikel mit anzugeben.
• Auch die Suchmaschine (z. B. Google, PubMed) ist kritisch und hat Auswirkungen auf Art und Anzahl der Studien, die gefunden werden.⁷
• Kleine Unterschiede in der Suchstrategie können zu großen Unterschieden in den gefundenen Studien führen.

Selektions-Bias

• Der Suchprozess identifiziert in der Regel eine lange Liste mit potenziellen Studien, von denen viele aber nicht relevant sind.
• Es müssen Einschlusskriterien verwendet werden, um die richtigen/besten Studien zu selektieren.
• Dieser kritische Prozessschritt ist notwendig, um die Unterschiede zwischen den Studien zu reduzieren, um zu vermeiden, Daten oder Studien zu wiederholen, um die Datenqualität zu verbessern und somit die Validität der Ergebnisse zu verstärken.
• Um die Möglichkeit für ein Selektions-Bias zu reduzieren, ist es von entscheidender Bedeutung, eindeutig definierte Kriterien zu verwenden und die Studien von mehr als einer Wissenschaftler*in bewerten zu lassen. Außerdem sollte die endgültige Liste mit inkludierten Studien auf einen Konsens basieren.

Häufig verwendete Inklusionskriterien

• Ziel der Studie
• Welche Population?
• Studiengestaltung: z. B. experimentelle vs. Beobachtungsstudie
• Größe (Stichprobenumfang)
• Behandlung: Art und Dosierung
• Kriterium für die Selektion von Kontrollen
• Ergebnismaß
• Qualität der Daten
• Analyse und Darstellung der Ergebnisse
• Registrierung und Darstellung der Ausfälle
• Dauer des Follow-up
• Wann wurde die Studie durchgeführt?

Die Suche

• Das Ziel dieser Phase ist es, Studien auszuwählen, die in Bezug auf diese Kriterien so ähnlich wie möglich sind. Es schwächt die Studie, Ergebnisse zusammenzufassen aus Studien, die sehr verschieden sind, um eine „vereinte“ Schlussfolgerung zu bekommen.
• Manchmal ist es sehr schwierig, gleiche Studien zu finden, und in einigen Fällen verhindern die Unterschiede und die geringe Qualität der Studien eine Integration.
• Stratifizierung ist ein effektiver Weg, mit den Unterschieden zwischen den Studien umzugehen und die Qualität und Anwendbarkeit der Ergebnisse zu verbessern.
• Wesentliche Unterschiede in der Größe (Stichprobenumfang) können erhebliche Schwierigkeiten verursachen und dazu führen, dass große Studien an der oberen Grenze großen Einfluss auf die Ergebnisse haben.⁸
• Andersherum können große Unterschiede zwischen den Studien den Vorteil haben, dass sie die Generalisierbarkeit der Schlussfolgerung erhöhen.
  • Beispielsweise führt eine breite Anzahl an Patientenmerkmalen dazu, dass die Schlussfolgerungen aus der Metaanalyse für eine größere, heterogenere Patientengruppe gelten.⁹

Heterogenität

• In Metaanalysen verweist die Heterogenität auf den Grad der Verschiedenheit der Ergebnisse aus den jeweiligen Studien.
• Die Heterogenität ist am einfachsten in einer Grafik darzustellen, in dem die Konfidenzintervalle aus den verschiedenen Studien in Form eines Striches für jede Studie eingetragen werden. Große Lücken und wenig Überlappung zwischen den Konfidenzintervallen zeigen einen hohen Grad an Heterogenität (siehe Abbildungen).
• Die Gründe für die Unterschiede in den Ergebnisse können in grundlegenden Unterschieden der Studien liegen, doch in einigen Fällen ist eine Erklärung schwierig.
• Ein hohes Maß an Heterogenität führt dazu, dass die Schlussfolgerungen aus der Metaanalyse unsicher werden.

hohe Heterogenität

geringe Heterogenität

Zugang zu Informationen

• Viele Studien bestehen nur aus einer Zusammenfassung der Ergebnisse. Dies kann die Möglichkeiten für Analysen und Schlussfolgerungen, zu denen die Metaanalyse beitragen kann, ernsthaft einschränken.
• Die besten Voraussetzungen für eine gute Metaanalyse liegen vor, wenn Patientendaten verfügbar sind. Dadurch sind die Wissenschaftler*innen bei den Analysen flexibler.
• Ein häufiges Problem bei Metaanalysen ist fehlende Konsistenz bei der Art und Weise, wie die Ergebnisvariablen gemessen werden.

Randomisierte kontrollierte Studien vs. Beobachtungsstudien

• Einige Wissenschaftler*innen sind der Ansicht, dass Metaanalysen nur mit randomisierten, kontrollierten Studien (RCT) durchgeführt werden können.
• Begründet wird dies damit, dass Metaanalysen nur Qualitätsstudien (RCT) einschließen sollten, was das Risiko fehlerhafter Schlussfolgerungen reduzieren soll.
• Jedoch lassen sich viele wichtige Erkrankungen nur durch Beobachtung studieren. Weisen diese Studien ein bestimmtes Qualitätsniveau auf, gibt es keine technischen Gründe dafür, sie nicht in eine Metaanalyse einzuschließen.

Datenanalyse

• Bei Metaanalysen werden spezifische, statistische Techniken zur Analyse und Integration der Informationen verwendet.
• Die Daten aus den einzelnen Studien können mithilfe eines von zwei Modellen analysiert werden: Fixed Effects-Modell oder Random-Effects-Modell.
• Fixed-Effects-Modell
  • Das Modell basiert auf der Annahme, dass der Behandlungseffekt in allen Studien der gleiche ist.
  • Dieser gemeinsame Effekt ist unbekannt, und das Ziel der Analyse ist es, ihn mit größerer Präzision als in den individuellen Studien einzuschätzen.
• Random-Effects-Modell
  • Bei diesem Modell wird angenommen, dass der Behandlungseffekt nicht der gleiche in allen Studien ist.
  • Dadurch soll der Durchschnittseffekt der Studien gemessen werden.
• Infolge der Heterogenität zwischen den Studien führt das Random-Effects-Modell zu einem breiteren Konfidenzintervall.
• Beide Modelle haben ihre Vor- und Nachteile.
  • Ist der Behandlungseffekt groß, sind die Ergebnisse der zwei Modelle sehr ähnlich.
  • Ist der Effekt gering oder ist die Heterogenität hoch, hängt das Ergebnis in höherem Maße vom verwendeten Modell ab.
  • In diesen Fällen sollten die Analysen anhand beider Modelle erfolgen und beide Ergebnisse sollten präsentiert werden.
• Sensitivitätsanalyse
  • Es ist höchst wünschenswert, dass die Metaanalyse eine Sensitivitätsanalyse umfasst, die die Robustheit der Ergebnisse untersucht.
  • Ein üblicher Weg, um eine Sensitivitätsanalyse durchzuführen, ist eine Analyse der Daten unter Verwendung verschiedener Methoden sowie eine Präsentation der Ergebnisse, wenn einige Studien aus der Analyse entfernt wurden.
  • Wenn diese verschiedenen Analysen erhebliche Änderungen im Gesamtergebnis zur Folge haben, ist die Glaubwürdigkeit der Ergebnisse zweifelhaft.
• Die Stärke von Metaanalysen ist, durch Zusammenfassung vieler Studien den effektiven „Stichprobenumfang“ erheblich zu erhöhen, dadurch können mehr Variablen und Ergebnisse untersucht werden.
• Es ist wichtig, dass Subgruppenanalysen im Vorhinein geplant und im Protokoll beschrieben werden, das erstellt wird, bevor die Studie beginnt. Die Auswertung von nicht geplanten Daten („Data Mining“) erhöht das Risiko für falsch positive Ergebnisse erheblich.
• Post-hoc-Tests sind als exploratorisch aufzufassen, und die Leser*innen müssen auf diesen Umstand aufmerksam gemacht werden, damit sie die Validität der Schlussfolgerungen einschätzen können.

Metaanalysen von seltenen Ereignissen

• In den letzten Jahren wurden Metaanalysen verwendet, um seltene Ergebnisse zu analysieren, bei denen die jeweiligen Studien nicht dafür ausgelegt waren, diese Ereignisse zu untersuchen. Der Stichprobenumfang der jeweiligen Studien weist keine ausreichende Teststärke auf, um seltene Ergebnisse zu untersuchen.
• Vor allem der Nachweis von Nebenwirkungen der Therapien ist wichtig, wo jedoch die einzelnen Studien zu wenige Ereignisse aufweisen, um sichere Schlussfolgerungen zu ziehen.

Metanalysen vs. große randomisierte, kontrollierte Studien

• Es wird diskutiert, ob eine Metaanalyse von vielen Studien oder eine große randomisierte, kontrollierte Studie besser ist.¹
• Beispiele, bei denen eine Metaanalyse und eine später ausgeführte große randomisierte, kontrollierte Studie verglichen werden, sind nicht unüblich und zeigen häufig nicht übereinstimmende Ergebnisse.
• Ein Hauptgrund für die Unterschiede ist, dass Metaanalysen auf heterogenen, häufig kleinen Studien basieren. Die Ergebnisse aus der Metaanalyse können für eine Zielgruppe generalisiert werden („Target population“), die den Zielgruppen jeder der Studien entspricht. Die Patient*innen in den einzelnen Studien können im Hinblick auf u. a. diagnostische Kriterien, Komorbidität, Schweregrad der Erkrankung, geografische Region und Zeitpunkt der Durchführung der Studie sehr verschieden sein.
• Auf der anderen Seite muss selbst in einer großen randomisierten, kontrollierten Studie die Zielgruppe nicht stärker eingeschränkt sein.
• Eine große und gut gestaltete randomisierte, kontrollierte Studie wird als Goldstandard in dem Sinne wahrgenommen, dass sie die zuverlässigsten Informationen über ein bestimmtes Publikum zur Verfügung stellt. In dieser Population werden also die Ergebnisse einer randomisierten, kontrollierten Studie der der Metaanalyse übertreffen.
• Umgekehrt kann eine gut durchgeführte Metaanalyse komplementäre Informationen liefern, die für einen Wissenschaftler*innen, Kliniker*innen oder Gesundheitspolitiker*innen wertvoll sind.

Illustrationen

hohe Heterogenität

geringe Heterogenität

Quellen

Literatur

1. Walker E, Hernandez AV, Kattan MW. Meta-analysis: Its strengths and limitations. Cleveland Clinic Journal of Medicine 2008; 75: 431-9. PubMed
2. AW;MF, ÄZQ. Metaanalyse. Leitlinien-Glossar. Kommentierte Stichwortsammlung zu Entwicklung und Nutzung medizinischer Leitlinien. Herausgeber: AWMF und ÄZQ. Stand 2007. www.leitlinien.de
3. Deutsches Netzwerk Evidenzbasierte Medizin. Glossar zur evidenzbasierten Medizin. Berlin 2011 (22.6.2016). www.ebm-netzwerk.de
4. Deutsches Cochrane-Zentrum, Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften- Institut für Medizinisches Wissensmanagement, Ärztliches Zentrum für Qualität in der Medizin. „Manual Sys-tematische Literaturrecherche für die Erstellung von Leitlinien“. 1. Auflage 2013. (22.6.2016) www.leitlinien.de
5. Cochrane Deutschland, Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften - Institut für Medizinisches Wissensmanagement. „Bewertung des Biasrisikos (Risiko systematischer Fehler) in klinischen Studien: ein Manual für die Leitlinienerstellung“. 1. Auflage 2016. www.cochrane.de
6. Turner EH, Matthews AM, Linardatos E, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med 2008; 358: 252-60. New England Journal of Medicine
7. Steinbrook R. Searching for the right search—reaching the medical literature. N Engl J Med 2006; 354:4–7.
8. Nissen SE, Wolski K. Effect of rosiglitazone on the risk of myocardial infarction and death from cardiovascular causes. N Engl J Med 2007; 356:2457–2471.
9. Berlin JA, Colditz GA. The role of meta-analysis in the regulatory process for food, drugs, and devices. JAMA 1999; 281:830–834.
10. De Luca G, Suryapranta H, Stone GW, et al.. Coronary stenting versus balloon angioplasty for acute myocardial infarction: a meta-regression analysis of randomized trials. Int J Cardiol 2007;
11. Ng TT, McGory ML, Ko CY, et al.. Meta-analysis in surgery. Arch Surg 2006; 141:1125–1130.

Weitere Informationen

• Deutsches Cochrane-Zentrum – Infos und Links zu:
  • Glosssar
  • Handbook
  • Evidenzbasierte Medizin
  • Literaturrecherche
  • Literaturbewertung
  • Systematische Übersichtsarbeiten
  • Leitlinien
  • Health Technology Assessment
  • Epidemiologie
  • Patienteninformationen.
• Deutsches Netzwerk Evidenzbasierte Medizin DNEbM. Was ist EbM?
• Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften AWMF. AWMF-Regelwerk Leitlinien
• Ärztliches Zentrum für Qualität in der Medizin. Leitlinien – Grundlagen, Methodik, Fundstellen
• Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen IQWiG. Methoden und Grundsätze
• The NNT Group: Quick summaries of evidence based medicine. NNT

Autoren

• Günter Ollenschläger, Prof. Dr. Dr. med., Internist, Uniklinikum Köln
• Terje Johannessen, professor i allmennmedisin, Trondheim