Studienselektion in systematischen Reviews: IQWiG
Hintergrund
Die systematische Literaturauswahl ist ein zentraler Bestandteil von systematischen Reviews und Health Technology Assessments (HTAs). Traditionell wird hierbei ein ressourcenintensives Double-Screening-Verfahren angewendet, bei dem zwei Personen unabhängig voneinander die Literatur sichten.
Um die Effizienz zu steigern, untersucht die vorliegende IQWiG-Analyse den Einsatz von Text-Mining-Tools zur Priorisierung von Suchergebnissen. Zudem wird evaluiert, ob ein Single-Screening-Ansatz durch nur eine Person ausreichend ist, ohne die Validität der Ergebnisse zu gefährden.
Die Untersuchung basiert auf elf bibliografischen Suchen aus HTAs zu medikamentösen und nicht-medikamentösen Interventionen. Dabei wurden die Priorisierungs-Tools Rayyan und EPPI Reviewer mit einem Standardverfahren verglichen.
Empfehlungen
Die Analyse formuliert folgende zentrale Erkenntnisse zur Effizienzsteigerung:
Priorisierungs-Tools (Text Mining)
Die Untersuchung zeigt, dass der Einsatz von Priorisierungs-Tools die Identifikation relevanter Literatur deutlich beschleunigen kann. Laut IQWiG erwies sich der EPPI Reviewer insgesamt als leistungsfähiger im Vergleich zu Rayyan.
| Tool | Sensitivität nach 25 % Screening | Sensitivität nach 50 % Screening | Sensitivität nach 75 % Screening |
|---|---|---|---|
| EPPI Reviewer | 76 % | 88 % | 93 % |
| Rayyan | 53 % | 66 % | 75 % |
Es wird angemerkt, dass trotz der guten Leistung des EPPI Reviewers bei einem vorzeitigen Abbruch des Screenings ein Restrisiko für übersehene Studien bleibt. Die Einsparung von Ressourcen muss gegen diese Unsicherheit abgewogen werden.
Single-Screening-Ansatz
Die Untersuchung ergab, dass ein Single-Screening-Ansatz grundsätzlich ausreichen kann, um alle für die HTA-Schlussfolgerung relevanten Studien zu identifizieren. Zwar wurden durch einzelne Screener initial Studien fälschlicherweise ausgeschlossen, dies änderte jedoch in keinem Fall die finale HTA-Bewertung.
Die Autoren betonen folgende Voraussetzungen und Einschränkungen für ein sicheres Single-Screening:
-
Zwingende Einbeziehung weiterer Informationsquellen wie Studienregister und Referenzlisten.
-
Bewusstsein darüber, dass das offensichtliche Fehlen einzelner Studien die Glaubwürdigkeit eines HTAs beeinträchtigen kann.
-
Bei sehr komplexen Projekten mit vielen erwarteten Treffern bleibt das Double-Screening weiterhin gerechtfertigt.
💡Praxis-Tipp
Ein Single-Screening-Ansatz spart zwar Zeit bei der primären Datenbankrecherche, erfordert jedoch zwingend die systematische Durchsuchung sekundärer Quellen wie Studienregister. Die Analyse warnt davor, dass offensichtlich fehlende Studien die Glaubwürdigkeit eines Reviews gefährden können, selbst wenn sie das Endergebnis der Meta-Analyse nicht verändern.
Häufig gestellte Fragen
Laut der IQWiG-Analyse zeigte der EPPI Reviewer eine bessere Leistung als Rayyan. Er identifizierte relevante Zitationen durch maschinelles Lernen deutlich früher im Screening-Prozess.
Die Untersuchung zeigt, dass ein Single-Screening die Gesamtaussage eines HTAs in der Regel nicht verfälscht. Es wird jedoch betont, dass zwingend weitere Informationsquellen wie Studienregister herangezogen werden müssen, um Lücken zu schließen.
In der untersuchten Stichprobe wurden durch das Single-Screening initial 29 Studien übersehen. Durch die Nutzung zusätzlicher Suchquellen reduzierte sich diese Zahl auf fünf, deren Fehlen das Endergebnis der jeweiligen HTAs nicht veränderte.
War diese Zusammenfassung hilfreich?
Quelle: IQWiG GA17-01: Steigerung der Effizienz der Studienselektion (IQWiG, 2024). Originaldokument ansehen
KI-generierte Zusammenfassung. Keine Diagnose- oder Therapieempfehlung. Die klinische Entscheidung trifft der behandelnde Arzt.