Übertragbarkeit von Studienergebnissen: Anhebungsregel
Hintergrund
Der IQWiG-Bericht GA18-01 untersucht die statistischen Eigenschaften von Verfahren, mit denen Studienergebnisse auf Teilpopulationen übertragen werden können. Dies ist relevant, wenn in einer Nutzenbewertung nur eine spezifische Zielpopulation (ZP) von Interesse ist.
Oft zeigt sich in der Zielpopulation ein nicht statistisch signifikanter Effekt, während die Gesamtstudienpopulation (SP) einen signifikanten Effekt aufweist. Wenn der Interaktionstest zwischen Zielpopulation und Nichtzielpopulation (nZP) nicht signifikant ist, stellt sich die Frage nach der Übertragbarkeit der Ergebnisse.
Das Dokument analysiert, unter welchen Bedingungen das Ergebnis der Gesamtpopulation herangezogen werden kann. Dabei wird insbesondere die sogenannte Erweiterungsregel (EWR) hinsichtlich des Fehlers 1. Art und der statistischen Power evaluiert.
Empfehlungen
Der Bericht formuliert folgende methodische Erkenntnisse:
Problematik der Erweiterungsregel (EWR)
Laut Untersuchung führt die unmodifizierte Erweiterungsregel (EWR) konstruktionsbedingt zu einer Erhöhung des Fehlers 1. Art. In den durchgeführten Simulationen lag dieser in einigen Szenarien bei über 10 Prozent.
Daher wird der uneingeschränkte Einsatz der EWR als nicht akzeptabel bewertet.
Untersuchte Testprozeduren
Das IQWiG vergleicht verschiedene modifizierte und alternative Testprozeduren, um den Fehler 1. Art zu begrenzen und gleichzeitig einen Powergewinn zu erzielen.
| Testprozedur | Beschreibung | Fehler 1. Art (Median) | Powergewinn vs. Standard |
|---|---|---|---|
| A5 (Standard) | Test auf Effekt in der ZP zum Signifikanzniveau 5 % | ca. 5,0 % | Referenzwert |
| EWR0.33 | EWR-Anwendung nur, wenn Stichprobengröße ZP/nZP ≥ 0,33 | ca. 5,9 % | Gering |
| AHR15 | Anhebungsregel: Test in der ZP mit erhöhtem Signifikanzniveau von 15 % | ca. 6,1 % | Am höchsten |
| PInt15 | Signifikanzübertragung, wenn p-Wert ZP < p-Wert Interaktion (max. 15 %) | ca. 5,9 % | Moderat |
Fazit und methodische Wahl
Der Bericht kommt zu dem Schluss, dass die modifizierte Erweiterungsregel (EWR0.33) den hohen Rechenaufwand nicht durch entsprechende Power-Vorteile rechtfertigt.
Als am besten geeignetes Verfahren wird die Anhebungsregel (AHR15) identifiziert. Diese liefert laut Untersuchung die besten Ergebnisse in der Abwägung zwischen:
-
Einbußen beim empirischen Fehler 1. Art
-
Zugewinn bei der empirischen Power
-
Praktikabilität und Rechenaufwand
Es wird betont, dass die Anwendung der AHR15 stets eine bewusste Abwägung zwischen der Inkaufnahme eines erhöhten Fehlers 1. Art und dem erzielbaren Powergewinn erfordert.
💡Praxis-Tipp
Bei der Übertragung von signifikanten Gesamteffekten auf nicht-signifikante Teilpopulationen warnt der Bericht vor einem unkritischen Vorgehen. Ein rein nicht-signifikanter Interaktionstest reicht nicht aus, um eine Gleichheit der Effekte zu belegen. Es wird darauf hingewiesen, dass methodische Anpassungen wie die Anhebungsregel (AHR15) zwar die Power erhöhen, aber zwingend mit einem höheren Risiko für falsch-positive Ergebnisse (Fehler 1. Art bis zu 15 %) einhergehen.
Häufig gestellte Fragen
Laut IQWiG-Bericht reicht ein nicht-signifikanter Interaktionstest allein dafür nicht aus. Es muss mit ausreichender Sicherheit ausgeschlossen werden, dass zwischen der Zielpopulation und der restlichen Population eine qualitative Interaktion besteht.
Die EWR ist ein statistisches Verfahren, das durch Simulationen einen empirischen p-Wert ermittelt. Ist dieser kleiner als 0,025, wird das signifikante Ergebnis der Gesamtpopulation auf die Zielpopulation übertragen.
Die Untersuchung zeigt, dass die unmodifizierte EWR in bestimmten Datenkonstellationen zu einer inakzeptablen Überschreitung des Signifikanzniveaus führt. Der Fehler 1. Art kann dabei deutlich über 10 Prozent ansteigen.
Der Bericht identifiziert die sogenannte Anhebungsregel (AHR15) als das geeignetste Verfahren. Hierbei wird auf die EWR verzichtet und stattdessen ein Test auf einen Effekt in der Zielpopulation mit einem erhöhten Signifikanzniveau von 15 Prozent durchgeführt.
War diese Zusammenfassung hilfreich?
Quelle: IQWiG GA18-01: Untersuchung der statistischen Eigenschaften von Verfahren zur Übertragbarkeit von Studienergebnissen auf Teilpopulationen (IQWiG, 2018). Originaldokument ansehen
KI-generierte Zusammenfassung. Keine Diagnose- oder Therapieempfehlung. Die klinische Entscheidung trifft der behandelnde Arzt.
Verwandte Leitlinien
IQWiG GA14-04: Treatment Switching in onkologischen Studien
IQWiG GA23-01 : Ausmaßmethodik Zusatznutzen – Empirie aus Dossierbewertungen
IQWiG A23-102: Konzept für eine anwendungsbegleitende Datenerhebung – Valoctocogen Roxaparvovec: Prüfung des Studienprotokolls (Version 2.0) und des
IQWiG A25-13 : Wissenschaftliche Ausarbeitung ausgewählter Aspekte zur Generierung versorgungsnaher Daten und deren Auswertung zum Zwecke der Nutzenbewertung von Arzneimitteln nach § 35a SGB V
IQWiG A23-64: Konzept für eine anwendungsbegleitende Datenerhebung – Valoctocogen Roxaparvovec: Prüfung des Studienprotokolls (Version 1.0) und des
ClariMed durchsucht alle medizinischen Leitlinien
AWMF, NVL, NICE, WHO, ESC, KDIGO - Quellenzitiert, kostenlos. Speichern Sie Ihren Verlauf auf allen Geräten mit einem kostenlosen Konto.
Kostenloses Konto erstellen