Künstliche Intelligenz ist kein Arzt: Rechtliche Haftung bei Gesundheitsberatung — Rechtsanwältin Gizem Gonce
Dieser Artikel dient der allgemeinen Information. Rechtsvorschriften, Fristen und Beträge können sich im Laufe der Zeit ändern; lassen Sie Ihre konkrete Situation aktuell beurteilen.
Rechtsanwältin Gizem Gonce
Rechtsanwältin Gizem Gonce bewertet die rechtlichen Folgen von Gesundheitsempfehlungen aus künstlicher Intelligenz anhand der Vorwürfe in der in den USA eingereichten Klage bezüglich des Todes von Bowen Wan. Die Erläuterungen zum türkischen Recht werden im Hinblick auf die Wahrscheinlichkeit eines ähnlichen Vorfalls in der Türkei behandelt.
Künstliche Intelligenz ist kein Arzt; kritische Entscheidungen in Bezug auf die Gesundheit erfordern die Beurteilung durch einen Arzt.
Wie bewerten Sie zunächst die rechtliche Dimension des Vorfalls?
Dieser Vorfall ist ein bedeutendes Beispiel dafür, wie schwerwiegend die Folgen einer unkontrollierten oder falschen Nutzung von Technologien der künstlichen Intelligenz sein können. Es wird geltend gemacht, dass die 31-jährige Bowen Wan in den USA bei ChatGPT Rat dazu einholte, das Medikament zur Behandlung ihrer Epilepsie zu reduzieren und abzusetzen, und dass die künstliche Intelligenz ihr nach den Behauptungen ihrer Familie einen schrittweisen Absetzplan erstellte und ihr empfahl, diesen Prozess vor ihren Ärzten zu verbergen.
Den Behauptungen der Familie zufolge setzte die junge Frau ihre Medikamente über einen Zeitraum von etwa 25 Tagen vollständig ab und verstarb im Februar 2026 infolge eines unerwarteten epilepsiebedingten Todes.
Ihre Familie reichte am 27. Oktober 2026 in den USA Klage gegen OpenAI und den CEO des Unternehmens ein.
Hierbei müssen wir jedoch eine wichtige rechtliche Unterscheidung treffen: Die Anschuldigungen in der Klageschrift sind vom Gericht noch nicht rechtskräftig festgestellt. Daher wäre es nicht korrekt, ein endgültiges Urteil darüber zu fällen, dass die künstliche Intelligenz die direkte Todesursache ist.
Dennoch erfordert der Vorfall eine ernsthafte Diskussion der Verpflichtungen von Entwicklern künstlicher Intelligenz hinsichtlich der Nutzersicherheit, der Vermeidung von Risiken und der Verhinderung irreführender Lenkung.
Kann eine Anwendung der künstlichen Intelligenz medizinische Beratung anbieten?
Anwendungen der künstlichen Intelligenz können allgemeine gesundheitsbezogene Informationen bereitstellen, Patienten helfen, medizinische Fachbegriffe zu verstehen, und Unterstützung bei der Vorbereitung auf Arzttermine bieten.
Das Bereitstellen allgemeiner Gesundheitsinformationen unterscheidet sich jedoch grundlegend von der Stellung einer personalisierten Diagnose, der Änderung einer Medikamentendosis oder der Beendigung einer Behandlung.
Insbesondere bei Krankheiten, die eine kontinuierliche Nachsorge und Behandlung erfordern, wie etwa Epilepsie, sollte eine Änderung von Medikamenten nur durch die Beurteilung befugter medizinischer Fachkräfte erfolgen.
Die Tatsache, dass künstliche Intelligenz Antworten gibt, die selbstbewusst, überzeugend oder personalisiert wirken, bedeutet nicht, dass diese Antworten medizinisch korrekt sind.
Kann das Unternehmen, das die künstliche Intelligenz entwickelt hat, in diesem Fall rechtlich zur Verantwortung gezogen werden?
Ja, unter bestimmten Bedingungen kann die rechtliche Haftung des Unternehmens zur Sprache kommen. Hierfür reicht jedoch das bloße Eintreten des Schadens nicht aus.
Zunächst muss untersucht werden, wie die Anwendung konzipiert war, welche Sicherheitsvorkehrungen getroffen wurden, ob bekannte Risiken verhindert wurden, ob die Nutzer ausreichend gewarnt wurden und ob das System über die notwendigen Mechanismen verfügt, um gefährliche Lenkungen zu verhindern.
Insbesondere in lebenswichtigen Bereichen wie der Gesundheit ist es wichtig, dass die Anwendung so konzipiert ist, dass sie Risiken vorhersehen und den Nutzer bei Bedarf an eine medizinische Fachkraft verweisen kann.
Wenn ein adäquater Kausalzusammenhang zwischen dem Verschulden des Unternehmens, dem rechtswidrigen Verhalten und dem eingetretenen Schaden dargetan werden kann, kann eine Schadensersatzhaftung entstehen.
Welche rechtlichen Bestimmungen könnten Anwendung finden, wenn sich ein ähnlicher Vorfall in der Türkei ereignet?
Eine Bewertung hinsichtlich durch künstliche Intelligenz verursachter Schäden kann in der Türkei nicht allein über ein einziges Gesetz erfolgen. Je nach Art des Vorfalls können unterschiedliche Rechtsvorschriften gemeinsam herangezogen werden.
Die Deliktshaftung im Rahmen von Artikel 49 des Türkischen Obligationenrechts sowie die Haftung aus Vertragsverletzung im Rahmen von Artikel 112 können zur Sprache kommen.
In Fällen, in denen eine Dienstleistung, die der Nutzer gegen Entgelt in Anspruch nimmt, objektiv die gebotenen Eigenschaften nicht aufweist, können auch die Bestimmungen über mangelhafte Dienstleistungen des Gesetzes Nr. 6502 über den Schutz der Verbraucher bewertet werden.
Darüber hinaus kann je nach Art des Vorfalls die Anwendbarkeit des Gesetzes Nr. 7223 über Produktsicherheit und technische Vorschriften diskutiert werden. Wie softwarebasierte Dienste der künstlichen Intelligenz im Rahmen dieses Gesetzes zu bewerten sind, muss jedoch je nach rechtlicher Natur des konkreten Produkts und der konkreten Dienstleistung gesondert geprüft werden.
Obwohl es somit auch in der Türkei Rechtsbehelfe gibt, auf die die geschädigte Person zurückgreifen kann, muss folglich anhand der Merkmale des konkreten Falles bestimmt werden, welche Person oder Institution die Haftung trägt.
Entsteht eine strafrechtliche Haftung, wenn eine durch künstliche Intelligenz erteilte falsche Beratung zum Tode führt?
Die Antwort auf diese Frage hängt nicht nur von der Erteilung der falschen Antwort ab, sondern auch von den Verhaltensweisen der für die Erteilung dieser Antwort verantwortlichen natürlichen Personen und deren Kausalzusammenhang mit dem Tod.
Die fahrlässige Tötung ist in Artikel 85 des türkischen Strafgesetzbuches geregelt. Verursacht eine Person durch Verletzung ihrer Sorgfaltspflicht den Tod eines anderen Menschen, kann dieser Straftatbestand bei Vorliegen der gesetzlichen Voraussetzungen in Betracht kommen.
Hierbei sollte untersucht werden, ob der Entwickler, die technisch verantwortliche Person, der Gesundheitsdienstleister oder eine andere natürliche Person ein im konkreten Fall rechtlich ihr zurechenbares Verschulden trifft.
Ein wichtiger Punkt ist jedoch hervorzuheben: Nach Artikel 20 des türkischen Strafgesetzbuches können gegen juristische Personen keine Strafen verhängt werden. Eine strafrechtliche Verantwortung des Unternehmens selbst kann nicht begründet werden; bei Vorliegen der Voraussetzungen kann eine Prüfung hinsichtlich der verantwortlichen natürlichen Personen erfolgen. Für das Unternehmen wird die Haftung nach Privatrecht und einschlägigen Vorschriften gesondert geprüft.
Kann auch der Nutzer zur Verantwortung gezogen werden?
Auch das Verhalten des Nutzers kann bei der rechtlichen Beurteilung des Vorfalls von Bedeutung sein. Beispielsweise kann die Tatsache, dass die Person ihre Behandlung trotz ausdrücklicher Warnungen ihres Arztes nach eigener Entscheidung geändert hat, für den Eintritt des Schadens ursächlich gewesen sein.
Dieser Umstand beseitigt jedoch nicht automatisch das mögliche Verschulden der Parteien, die die Anwendung entwickeln oder den Dienst bereitstellen.
Im Rahmen von Artikel 52 des Türkischen Obligationenrechts kann der Beitrag des Geschädigten zur Entstehung oder Vergrößerung des Schadens bei der Bemessung des Schadensersatzes berücksichtigt werden.
Hierbei muss jeder Vorfall innerhalb seiner eigenen Bedingungen bewertet werden. Die Tatsache, dass der Nutzer der künstlichen Intelligenz vertraut hat, hebt die rechtliche Haftung anderer Parteien nicht automatisch auf.
Beseitigen Warntexte von Anwendungen der künstlichen Intelligenz die rechtliche Haftung?
Nein. Das Vorhandensein eines Warnhinweises in den Nutzungsbedingungen oder auf dem Bildschirm einer Anwendung wie „Diese Anwendung ist kein Arzt“ oder „Ersetzt keine medizinische Beratung“ schließt die Haftung nicht in jedem Fall aus.
Es ist wichtig, dass der Warnhinweis klar, verständlich und für den Nutzer erkennbar ist. Darüber hinaus muss auch bewertet werden, wie die Anwendung tatsächlich funktioniert, welche Anleitungen sie dem Nutzer gibt und welche Vorkehrungen sie gegen vorhersehbare Risiken trifft.
Die bloße Erstellung eines Haftungsausschlusses durch ein Unternehmen bedeutet nicht, dass die Verpflichtung zur Bereitstellung eines sicheren Dienstes erfüllt wurde.
Welche rechtlichen Wege kann die Familie in einem solchen Fall beschreiten?
Zunächst müssen die genaue Todesursache, der Status der verwendeten Medikamente, die Krankengeschichte und der Hergang des Vorfalls durch ein Sachverständigengutachten ermittelt werden.
Darüber hinaus spielen mit künstlicher Intelligenz geführte Korrespondenzen, Anwendungsprotokolle, Unterlagen zur Medikamenteneinnahme, Arztberichte, Rezepte und sonstige digitale Beweismittel eine große Rolle.
In dem Vorfall in den USA hat die Familie unter dem Vorwurf der unrechtmäßigen Tötung (Wrongful Death) den Klageweg gegen das Unternehmen beschritten.
Sollte sich ein ähnlicher Vorfall in der Türkei ereignen, können je nach den Voraussetzungen Ansprüche auf materielle und immaterielle Entschädigung, Schadensersatz wegen entgangenen Unterhalts sowie ein strafrechtliches Ermittlungsverfahren in Betracht kommen.
Jedoch muss anhand des konkreten Falles ermittelt werden, welcher Anspruch gegen welche Person oder Institution gerichtet werden kann und wie Verschulden sowie Kausalzusammenhang zu begründen sind.
Kann Korrespondenz, die mit künstlicher Intelligenz geführt wurde, als Beweismittel vor Gericht verwendet werden?
Ja. Mit der Anwendung künstlicher Intelligenz geführte Korrespondenzen können im Hinblick auf die Aufklärung des Vorfalls als elektronische Daten und Dokumente bewertet werden.
Es kann jedoch nicht gesagt werden, dass diese Aufzeichnungen für sich allein einen abschließenden Beweis darstellen.
Es müssen die Originalität, die Integrität, das Datum der Durchführung der Korrespondenz, die Frage, ob sie nachträglich verändert wurden, und ob sie tatsächlich von dem betreffenden Nutzer getätigt wurden, untersucht werden.
Daher ist es wichtig, digitale Aufzeichnungen möglichst in ihrem Originalzustand zu bewahren und neben Screenshots auch zugängliche Konto- und Gesprächsdaten aufzubewahren.
Welche Art von Haftungsdebatte löst dieser Vorfall für Unternehmen im Bereich der künstlichen Intelligenz aus?
Meiner Ansicht nach ist die wichtigste Debatte, ob künstliche Intelligenz lediglich als ein informationsgenerierendes Werkzeug bewertet wird oder als eine Technologie, die in Entscheidungsprozessen eingesetzt wird, welche das menschliche Leben direkt beeinflussen.
Wenn eine Anwendung detaillierte Fragen zum Gesundheitszustand des Nutzers stellt, Medikamentendosierungen berechnet, einen Zeitplan für Therapieänderungen erstellt und Formulierungen verwendet, die eine ärztliche Kontrolle überflüssig erscheinen lassen, können wir hier nicht mehr von einem gewöhnlichen Informationsaustausch sprechen.
Solche Systeme müssen insbesondere im Gesundheitsbereich über wesentlich stärkere Sicherheitsmechanismen verfügen.
Es geht nicht darum, technologischen Fortschritt zu verhindern, sondern rechtliche Standards zu schaffen, die das menschliche Leben und die Grundrechte schützen.
Was möchten Sie den Bürgerinnen und Bürgern anhand dieses Vorfalls sagen?
Wir können künstliche Intelligenz als einen Assistenten nutzen, der unser Leben erleichtert. Wir können sie nutzen, um rechtliche Informationen zu erhalten, allgemeine Gesundheitsthemen zu verstehen, uns ein Dokument erklären zu lassen oder unsere Fragen zu ordnen.
Wenn es jedoch um Gesundheit geht, dürfen wir die Antwort der künstlichen Intelligenz nicht an die Stelle der Beurteilung durch einen Arzt setzen.
Insbesondere bei Epilepsiemedikamenten kann es schwerwiegende Folgen haben, die Dosis zu verringern, zu erhöhen oder das Medikament ganz abzusetzen. Solche Änderungen müssen unbedingt vom behandelnden Arzt beurteilt werden.
Technologie sollte das menschliche Leben erleichtern, und das menschliche Leben sollte nicht der Technologie anvertraut werden.
Unabhängig davon, wie stark sich die künstliche Intelligenz entwickelt, dürfen wir nicht vergessen, dass kritische Entscheidungen bezüglich der menschlichen Gesundheit unter wissenschaftlicher Bewertung und fachlicher Überwachung getroffen werden müssen.