Bug des Monats Dezember 2024 - Florian Schwiecker

„Keine KI der Welt kann Halluzinationen völlig ausschließen“

**Überzeugend formulierte, aber weitgehend erfundene Resultate einer KI sind gerade in der Medizin ein großes Problem – Halluzinationen lassen sich aber verringern, sagt Florian Schwiecker, Chief Partnership Officer des dänischen KI-Unternehmens Corti. Im Interview erklärt er, was den Einsatz von KI in deutschen Krankenhäusern erschwert, wie KI-basierte Entscheidungsunterstützung in Notrufzentralen in unterschiedlichen Ländern eingesetzt wird – und wie medizinisches Personal auf KI-Vorschläge reagiert, die ihren eigenen Vorstellungen zuwiderlaufen.**

Herr Schwiecker, was ist Ihr persönlicher Bug des Monats? Auf welches größere Hindernis bei der Digitalisierung des Gesundheitswesens sind Sie persönlich zuletzt gestoßen?

Corti ist in Skandinavien und den USA gestartet, in Deutschland sind wir seit 2024 aktiv. Dabei zeigt sich, dass Deutschland bei der Digitalisierung des Gesundheitswesens um Jahre hinter den USA oder skandinavischen Ländern hinterherhinkt. Wenn wir in diesen Ländern in ein Krankenhaus gehen und zum Beispiel nach radiologischen Diktaten und Transkripten der vergangenen Jahre fragen, um unsere KI für die Dokumentation in der jeweiligen Klinik zu trainieren, liegen diese in großen Mengen vor. Wenn man in Deutschland nach den digitalisierten Audiodateien und Transkripten fragt, dann bekommt man meist nur zu hören: Wir haben da einen Aktenschrank, könnt ihr das scannen? Uns liegen also gar keine digitalen Daten vor, die wir verwenden könnten. Da, wo die Daten vorliegen, kann man aber sehr viel schneller mit einer höheren Qualität starten.

Corti hat ein Large Language Model (LLM) entwickelt, das ausschließlich auf medizinischen Daten basiert. Das Modell ist Basis für einen Ko-Piloten, der Personal im Gesundheitswesen bei der Triagierung, Entscheidungsunterstützung und später auch bei Codierung im Krankenhaus helfen soll. Warum hat Corti ein eigenes Modell entwickelt anstatt bestehende zu nutzen?

Als Corti 2016 gestartet ist, war es das Ziel, eine eigene vertrauenswürdige KI zu entwickeln. Es war damals absehbar, dass andere KIs, wie etwa von OpenAI, mit einer unfassbar großen Zahl an Daten trainiert wurden. Es war jedoch klar, dass gerade in der Medizin das Halluzinieren einer KI – also überzeugend formulierte, aber weitgehend erfundene Resultate – ein großes Problem darstellt. Daher haben wir von Anfang an nur medizinische Daten verwendet, um damit unser LLM zu trainieren. Inzwischen sind es mehrere hundert Millionen Datensätze.

Was für Daten sind das genau?

Wir sind gestartet mit Audiodateien von Gesprächen aus Notrufzentralen, aus dem Krankenwagen und anschließenden Gesprächen in der Notaufnahme. Einer unserer ersten Kunden war das Seattle Fire Department. Die Informationen aus den Gesprächen wurden dann mit den Daten verknüpft, die Mitarbeiter in der Notrufzentrale, im Krankenwagen und später in der Notaufnahme im Computer erfasst haben. Etwas später kamen die Notrufzentralen in Schweden hinzu.

Welches Ziel wollten Ihre Auftraggeber ursprünglich mithilfe der Daten erreichen?

In Seattle ging es ursprünglich darum, die Zahl der Fehldiagnosen zu senken – insbesondere mit Blick auf Anrufer, die kurz nach einem Telefonat einen Herzstillstand oder Schlaganfall erleiden. Wir haben die Software so gestaltet, dass sie die Mitarbeiter in der Notrufzentrale live unterstützt: Während des Gesprächs erscheinen Pop-Ups. Diese erinnern sie daran, bestimmte Fragen zu stellen, um beispielsweise einen Schlaganfall oder Anzeichen für einen drohenden Herzstillstand feststellen beziehungsweise ausschließen zu können.

Inzwischen geht es bei der Unterstützung in Seattle aber auch noch um ein anderes Thema: nämlich die Anrufer herauszufiltern, die gar keinen Krankenwagen benötigen. Die Entscheidungsunterstützung hilft dabei, einen Anruf direkt an eine „Nurse Line“ zu vermitteln – also Hotlines, bei denen Krankenschwestern die Anrufer zunächst einschätzen und sie gegebenenfalls weiterleiten. Die Leitung für richtige Notfälle wird dadurch wieder frei, unnötige Krankenwagenfahrten werden vermieden. Das ist wichtig, weil es in den USA einen sehr hohen Anteil an Leerfahrten gibt, weil sich vor Ort herausstellt, dass es sich gar nicht um einen Notfall handelte.

Neben den Notrufzentralen kamen später auch Arztpraxen und „Nurse Lines“ hinzu; also Auftraggeber, bei denen es eher um leichtere Fälle wie einen Hautausschlag geht. Inzwischen unterstützen wir ungefähr 250.000 Interaktionen pro Tag. Und wir konnten feststellen, dass dort, wo unsere Live-Unterstützung eingesetzt wurde, bis zu 40 Prozent weniger kritische Fälle übersehen wurden.

Notfallmediziner in Deutschland sind skeptisch mit Blick auf die telefonische Ersteinschätzung. Sie wenden ein, es sei äußerst schwierig, Patienten validiert am Telefon vorab einzuschätzen. Denn die Anrufer verhalten sich sehr unterschiedlich. Manche sind aufgeregt, andere wiederum berichten über ihre Symptome sehr zurückhaltend. Ein Klassiker ist ja zum Beispiel der Brustschmerz, der am Telefon sehr unterschiedlich eingeschätzt wird. Wie geht Corti mit dieser Herausforderung um?

Mit dieser Frage haben wir uns auch schon sehr früh beschäftigt. Unsere Kunden wollten wissen, ob unsere KI nicht nur hören kann, was gesagt wird, sondern auch wie es gesagt wird. Sprich: Ist jemand besonders gestresst oder relativ ruhig? Wir haben schon vor einigen Jahren mit einem Rettungsdienst in Neuseeland eine große Untersuchung durchgeführt und festgestellt: Wie jemand etwas sagt, ist weniger wichtig, als was jemand sagt.

Fließen in Ihr Sprachmodell auch weiterhin neue Daten ein, um es weiterzuentwickeln?

Genau das ist einer der Vorteile der KI: Mit immer mehr medizinischen Gesprächen, die wir unterstützen, lernt das Modell immer weiter dazu.

Wie willigen die Patient:innen ein, dass Gespräche mit ihnen aufgezeichnet werden dürfen?

Das hängt von den jeweiligen Ländern und deren Regeln ab. Beim Anruf bei Notfallzentralen in den unterschiedlichen Ländern ist es so geregelt, dass es zum Beispiel auf deren Webseite publiziert ist.

Im allgemeinmedizinischen Bereich verwenden die Unternehmen, die unser Sprachmodell verwenden, schon lange Spracherkennung. Sie haben die Einwilligung also schon in ihre Aufnahmeprotokolle eingebunden. Wir hängen da also mit Blick auf das Einverständnis automatisch mit drin. Oder wenn das in Ausnahmefällen nicht inkludiert ist, fügen die Häuser das hinzu.

Das Einverständnis ist dann geklärt. Wie sieht es im nächsten Schritt mit der Verarbeitung der Daten aus?

Wir hosten unsere Daten bei einem Anbieter, der überall auf der Welt Serverfarmen hat, also auch in der EU. Bei der Verarbeitung der Daten gibt es in einzelnen Ländern Sonderregelungen, in Deutschland zum Beispiel das C5-Testat. Das hatten wir schon sehr frühzeitig erhalten.

Unser Vorteil war die ganze Zeit über, dass wir von Anfang an eine Compliance-Abteilung hatten. Und unsere Compliance-Experten haben immer klar gesagt: Bevor wir in einem Land starten, müssen wir mit den entsprechenden Gremien oder führenden Unternehmen sprechen, die das Testat erteilen können. Dadurch waren die datenschutzrechtlichen Fragen frühzeitig geklärt. Und wir waren dadurch auch frühzeitig auf den AI Act der EU vorbereitet.

Welche Erfahrungen hat Corti dazu gemacht, wie gut die Entscheidungsunterstützung von den Nutzer:innen akzeptiert wird. Wie reagieren sie, wenn sie einen Vorschlag macht, der ihren eigenen Vorstellungen zuwiderläuft?

Grundsätzlich ist nicht-ärztliches Personal der Entscheidungsunterstützung gegenüber aufgeschlossener als Ärzte, wobei es unser vorrangiges Ziel ist, die Entscheider durch ein Plus an Informationen zu unterstützen. Ärzte mit mehr Erfahrung in höheren Positionen – wie Oberärzte oder Chefärzte – sehen das jedoch ein wenig anders. Sie können sich sehr gut vorstellen, dass jüngere Kolleginnen und Kollegen mit wenig praktischer Erfahrung unterstützt werden.

Wichtig ist grundsätzlich auch die Explainability – also wie gut jemand erklärt bekommt, warum er oder sie einen bestimmten Vorschlag bekommen hat. Wenn Anwender anderer Meinung sind als die Entscheidungsunterstützung, möchten sie natürlich wissen, warum das System auf diesen Vorschlag gekommen ist. Unser Ko-Pilot liefert daher zum einen die Erklärung und zum anderen Querverweise zu den medizinischen Datenbanken in der Klinik, sodass jemand nachlesen kann, warum das System diesen Vorschlag gemacht hat.

Corti ist seit 2024 auch in Deutschland aktiv. Wo drückt der Schuh bei den deutschen Kunden am meisten?

Die Dokumentation ist der Bereich, in dem wir am schnellsten Sinn stiften können.

Das Thema Entscheidungsunterstützung spielt also in Deutschland noch keine Rolle?

Das ist für uns momentan in den USA ein Thema. Einige deutsche Kliniken haben aber bereits großes Interesse angemeldet, das im zweiten Schritt umzusetzen.

Auf welche Erfahrungen aus der Arbeit in anderen Ländern können sie nun zurückgreifen, die Ihnen beim Start in Deutschland helfen?

Wir haben damals als Research Organisation angefangen und unsere eigenen Applikationen gebaut. Wir bieten unsere eigenen Applikationen zwar auch weiterhin ansind aber dazu übergegangen, unsere KI-Anwendung über eine API-Plattform zur Verfügung zu stellen, sodass sie in die führenden Frontend-Systeme integriert werden kann. Im Sinne der Usability hat das den Vorteil, dass die Anwender unser LLM nutzen, aber weiterhin in ihrer gewohnten Software-Umgebung, wie etwa dem Krankenhausinformationssystem, arbeiten. Wir machen es im Grunde so wie OpenAI: Wir stellen Unternehmen ein LLM zur Verfügung, sodass sie die KI-Lösung für ihre eigenen Zwecke verwenden können. Neben der Dokumentation, die vor allem auf Zeitersparnis und Qualitätserhöhung abzielt, oder dem medizinischen Coding, das eine Verbesserung der Abrechnung gegenüber den Kassen bietet, können zahlreiche Workflows unterstützt und so Effektivität und Effizienz insgesamt gesteigert werden.

Sie hatten eingangs erzählt, dass Corti es schafft, Halluzinationen besser auszuschließen als andere Modelle. Wie gelingt das?

Das erste Datentraining ist das Wichtigste. Wenn in das Training Daten aus dem Internet, wie etwa von YouTube einfließen, dann ist die Wahrscheinlichkeit größer, dass auch falsche Informationen in den Datensatz hineinkommen. Wenn man sich nur auf medizinische Daten beschränkt, ist die Datengrundlage besser.

Wir haben außerdem Sicherheitsmechanismen eingebaut, um frühzeitig Fehler zu erkennen. Das ist wichtig, weil sich Halluzinationen immer weiter fortsetzen. Wenn ein System davon ausgeht, dass 2 plus 2 zusammengerechnet 5 ergibt, dann kommt im nächsten Schritt bei der Addition von 4 plus 4 insgesamt 10 heraus. Deshalb ist es wichtig, einen Fehler so früh wie möglich zu erkennen.

Keine KI der Welt kann Halluzinationen völlig ausschließen. Man kann sie aber verringern. Dazu haben wir Checks eingebaut: Der Arzt muss die Dokumentation freigeben. Durch diesen abschließenden Fakten-Check lernt das System. Wir ersparen den Ärzten also nicht 100 Prozent der Dokumentation. Das wäre ein Versprechen, das man nicht einhalten kann. Aber wenn man nun 80 Prozent der Zeit einspart, ist das auch schon ein riesiger Gewinn.

Lesen Sie auch die weiteren Bug des Monats Interviews