KI in der medizinischen Bildgebung. Quo vadis?
Nach einer aktuellen Meta-Analyse der Universität Birmingham ist die Diagnosegenauigkeit von Deep-Learning-Modellen (KI) in der bildgebenden Diagnostik ungefähr vergleichbar mit der von medizinischem Fachpersonal. Bevor jedoch aussagefähige Ergebnisse und Einsatzempfehlungen für den klinischen Alltag abgeleitet werden können, bedarf es aktuell weiterer vergleichender Forschungen.
Hintergrund, Antwort und das große „Aber“
Jedes Jahr werden mehrere tausend Studien zu KI in wissenschaftlichen Fachzeitschriften veröffentlicht (1). Mit Fokus auf das Gesundheitswesen wird hierbei vermehrt postuliert, dass die neuste Form von KI dem Fachpersonal bildgebunden arbeitender Disziplinen überlegen sei. Dies könnte angesichts der wachsenden Inanspruchnahme von Bildgebungsleistungen Kapazitäten in der Ressourcenauslastung freisetzen.
Forscher der Universität Birmingham gehen in einer aktuellen Meta-Analyse (2) der Validität dieser Aussage nach. Sie konnten zeigen, dass die Diagnosegenauigkeit von KI und medizinischem Fachpersonal ungefähr vergleichbar, ein Übertragen der Ergebnisse auf die klinische Realität gleichzeitig aufgrund diverser methodischer Limitationen nur schwer möglich ist. Im Folgenden werden die wesentlichen methodischen Limitationen bisheriger Studien skizziert sowie Ziele für die künftige Forschung und Standardisierung zu diesem Bereich genannt.
Fehlender Bezug zum klinischen Alltag
Im klinischen Alltag werden neben Bilddaten weitere Informationsquellen zur Diagnosefindung verwendet. Eine Arbeitsdiagnose kann sich in Abhängigkeit von den zur Verfügung stehenden Informationen verändern. Konträr dazu nutzte eine Mehrzahl retrospektiv durchgeführter Studien ausschließlich im Vorfeld erstellte Bilddatensätze.
Das tatsächliche diagnostische Vorgehen scheint so nur fraglich abgebildet zu werden. Erschwerend kamen heterogene Definitionen der Metriken zur Erfassung der Diagnosegenauigkeit hinzu, die sich zudem häufig als für den klinischen Gebrauch weniger nützlich darstellten.
Keine Einigkeit in der Datenbasis und Trainingsmethodik
Die für das Training und die Validierung von KI-Modellen genutzten Datensätze sind selten qualitätsgeprüft, standardisiert oder auf die Testung an neuen Populationen übertragbar. Verzerrungen in Studienergebnissen (3) können so statistisch nicht erfasst werden.
Studien zeigten inkonsistente Anwendungen von Kernelementen des KI-Trainings, etwa der Validation. Zuletzt erschwerten Intransparenzen der Berichterstattung, beispielsweise eine unvollständige Darstellung des Umgangs mit Datenlücken in den Datensätzen, die Vergleichbarkeit der Ergebnisse.
Immer noch eine Black Box
Das Black-Box Problem, die Unmöglichkeit, den „Entscheidungsprozess“ von Neuronalen Netzwerken transparent zu machen, erschwert eine Reproduzierbarkeit von Ergebnissen bis hin zur Unmöglichkeit. Neue Entwicklungen wie Heat-Maps erlauben die Lokalität zu visualisieren, die eine KI für die Diagnosefindung genutzt hat.
Diese kann indes nicht den pathologischen Charakter einer Beobachtung beschreiben, welcher für die Nachvollziehbarkeit der Diagnose von höchster Bedeutung wäre. Scheinkorrelationen, die eine potentielle Gefahr für den Patienten darstellen, können somit weiter nicht ausgeschlossen werden.
Ziele für die KI-Forschung im Gesundheitswesen
Die Forscher leiten aus den skizzierten Limitationen einige Empfehlungen für die künftige Testung von KI-Modellen ab. Diese sind:
- Durchführung randomisierter, prospektiver klinischer Studien zur realitätsnäheren Testung der Modelle. Hierzu wäre ein international abgestimmter Leitfaden für die Entwicklung und Berichterstattung von Studien prädiktiver KIs (4) hilfreich.
- Nutzung einheitlicher Metriken zur Erfassung von Diagnosegenauigkeit. Diese sollten mindestens Kontingenztafeln entsprechend einer Wahrheitsmatrix sowie die Sensitivität und Spezifität der getesteten Modelle und Kliniker enthalten.
- Nutzung einer standardisierten und qualitätsgeprüften Datenbasis (Ground Truth), eines Referenzstandards für Trainingsdatensätze und einer systematischen Methodik zur externen Validierung. Klassifizierung von Studien ohne diese Elemente als lediglich Hypothesen-generierend.
- Nutzung einer einheitlichen Nomenklatur für Kernbegriffe der Deep-Learning-Studien. Die Autoren formulieren hier einen konkreten Vorschlag.
- Suche nach einer Lösung für das Black-Box Problem von KIs auf Basis ethischer, medizinischer, juristischer sowie politischer Überlegungen.
Fazit
Trotz der methodischen Limitationen der KI-Forschung, konnten vielversprechende Ergebnisse für die medizinische Bildgebung aufzeigt werden. Keine dieser Limitationen wurde als unüberwindbar beschrieben. Auch wenn der Nutzen von KI-Diagnoseunterstützung einer valideren Bewertungsmethode unterzogen werden muss, sollte die strategische Entwicklung bildgebunden arbeitender medizinischer Disziplinen darauf hin ausgerichtet werden, die möglichen Veränderungen im klinischen Arbeitsalltag und am Berufsbild als Chance für eine bessere, sichere und menschlichere Behandlung zu werten.
Quellen
- Shoham Y, Perrault R, Brynjolfsson E, Clark J, Manyika J, Niebles J, et al. The AI Index 2018 Annual Report. Stanford: Human-Centered AI Initiative, Stanford University; 2018. zum Original
- Liu X, Faes L, Kale AU, Wagner SK, Fu DJ, Bruynseels A, et al. A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. The Lancet Digital Health. 2019;1(6):e271-e97. zum Original
- Crawford K, Calo R. There is a blind spot in AI research. Nature. 2016;538:311 – 3. zum Original
- Luo W, Phung D, Tran T, Gupta S, Rana S, Karmakar C, et al. Guidelines for Developing and Reporting Machine Learning Predictive Models in Biomedical Research: A Multidisciplinary View. J Med Internet Res. 2016;18(12):e323. zum Original
