searchbuildR für systematische Reviews: IQWiG
Hintergrund
Die Erstellung präziser Suchstrategien ist ein zentraler Schritt bei systematischen Reviews. Das Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) nutzt hierfür den sogenannten objektiven Ansatz.
Bisher wurde dieser Ansatz mit einer kostenpflichtigen und komplexen Textanalyse-Software umgesetzt. Um den Prozess zu vereinfachen und frei zugänglich zu machen, wurde eine neue Lösung entwickelt.
Das vorliegende Methodenpapier beschreibt die neu entwickelte Open-Source-Anwendung searchbuildR. Diese R-basierte Shiny-App automatisiert die Identifikation relevanter Suchbegriffe aus bibliografischen Datenbanken.
Empfehlungen
Das Methodenpapier des IQWiG beschreibt die Funktionen der App wie folgt:
Funktionsweise und Datenimport
Die Anwendung ermöglicht den Import von Testdatensätzen im RIS-Format. Unterstützt werden dabei gängige Exporte aus PubMed oder Endnote.
Der Datensatz kann automatisch in ein Entwicklungsset und ein Validierungsset im Verhältnis 2:1 aufgeteilt werden. Dies dient der späteren Überprüfung der identifizierten Suchbegriffe.
Textanalyse und Z-Score
Die App führt eine Frequenzanalyse für Freitextbegriffe, MeSH-Terms und MeSH-Qualifiers durch. Zur Identifikation relevanter Kandidatenbegriffe berechnet das Tool einen Z-Score mittels Binomialtest.
Dabei wird die Häufigkeit eines Begriffs im Testdatensatz mit einer Basispopulation von über 19.000 zufälligen PubMed-Einträgen verglichen. Das Papier definiert folgende Kriterien für die Relevanz:
-
Ein Z-Score von ≥ 20 gilt als empirischer Schwellenwert für überrepräsentierte Kandidatenbegriffe.
-
Begriffe, die in der Basispopulation nicht vorkommen, erhalten automatisch einen Z-Score von 10.000.
-
Seltene Begriffe (Vorkommen in nur einem Dokument oder in unter 10 % der Gesamtdokumente) können ausgeblendet werden.
Kontext- und Phrasenanalyse
Um die Erstellung von Suchstrategien mit Proximity-Operatoren zu erleichtern, bietet das Tool erweiterte Analysefunktionen. Dazu gehört die interaktive Darstellung von Freitextbegriffen in ihrem ursprünglichen Textkontext (Titel und Abstract).
Zudem erfolgt eine Extraktion und Häufigkeitsanalyse von Zwei-Wort-Kombinationen. Dabei werden auch sogenannte "Skip-Grams" berücksichtigt, also Wortkombinationen mit definierten Abständen.
Die Ergebnisse der Textanalyse können zur weiteren Bearbeitung als CSV-Datei exportiert werden.
💡Praxis-Tipp
Das Methodenpapier betont, dass searchbuildR den Prozess der Suchstrategie-Entwicklung zwar objektiviert, ihn jedoch nicht vollständig automatisiert. Die finale Auswahl und logische Verknüpfung der identifizierten Kandidatenbegriffe zu einer funktionierenden booleschen Suchanfrage obliegt weiterhin dem Anwender.
Häufig gestellte Fragen
Laut IQWiG ist searchbuildR eine R-basierte Open-Source-Webanwendung. Sie dient der Textanalyse zur objektiven Entwicklung von Suchstrategien für systematische Reviews.
Das Tool vergleicht die Häufigkeit eines Begriffs im Testdatensatz mit einer zufälligen PubMed-Basispopulation. Daraus wird ein Z-Score berechnet, wobei ein Wert ab 20 auf einen relevanten Kandidatenbegriff hindeutet.
Das Methodenpapier gibt an, dass Testdatensätze im RIS-Format importiert werden können. Unterstützt werden insbesondere Standard-Exporte aus PubMed und Endnote.
Ja, das IQWiG stellt den Quellcode der Anwendung unter einer Open-Source-Lizenz zur Verfügung. Er kann über GitHub frei abgerufen und ohne fortgeschrittene Programmierkenntnisse genutzt werden.
War diese Zusammenfassung hilfreich?
Quelle: IQWiG GA22-02: Umsetzung des Vorgehens zur Textanalyse in R (IQWiG, 2024). Originaldokument ansehen
KI-generierte Zusammenfassung. Keine Diagnose- oder Therapieempfehlung. Die klinische Entscheidung trifft der behandelnde Arzt.