Ein US-amerikanischer Pastor hat das Unternehmen OpenAI und dessen Geschäftsführer Sam Altman verklagt, nachdem ihm der Chatbot ChatGPT bei einer Lungenembolie angeblich zu lebensgefährlichen Verhaltensweisen geraten hat. Die Software stufte die Symptome des Mannes als ungefährlich ein und versicherte ihm unter Berufung auf seinen Glauben, dass sein Körper nicht für das Versagen geschaffen sei. Der Rechtsstreit gilt als die erste Klage dieser Art, in der eine erlittene Gesundheitsschädigung direkt auf die Ratschläge eines KI-Chatbots zurückgeführt wird.
- Ein US-Pastor verklagt OpenAI und Sam Altman wegen fahrlässiger und unbefugter medizinischer Beratung.
- ChatGPT hielt den Betroffenen trotz schwerer Lungenembolie von einem notwendigen Krankenhausbesuch ab.
- Die Klage fordert Schadenersatz und eine Aussetzung von ChatGPT Health bis zu einer unabhängigen Sicherheitsprüfung.
Scharfe Vorwürfe gegen die manipulative Wirkung der KI
Im Zentrum der Klage stehen drastische Aussagen, die ChatGPT gegenüber dem Geistlichen Scott Winters getätigt haben soll. Als dieser unter den Symptomen einer schweren Lungenembolie litt, erklärte die KI angeblich, dass die geschilderten Beschwerden nicht gefährlich seien. Das System nutzte dabei sogar den religiösen Hintergrund des Mannes und versicherte ihm, Gott habe seinen Körper nicht so erschaffen, dass er endlos versage.
Rechtsanwältin Meetali Jain, Exekutivdirektorin der Organisation Tech Justice Law und Mitingenieurin der Klage, kritisierte das Verhalten der Software scharf.
„Sie schiebt sich wie ein Keil zwischen den Nutzer und sein reales Umfeld“, warnte Jain gegenüber der New York Times.
Diese isolierende Wirkung zeigte sich laut der Klageschrift konkret, als Winters der KI mitteilte, dass die Mitglieder seiner Kirchengemeinde ihn für verrückt hielten, weil er nicht ins Krankenhaus gehe. Der Chatbot entgegnete daraufhin, dass die meisten Menschen – einschließlich wohlmeinender Gemeindemitglieder – die Situation einfach nicht verstünden.
Forderung nach Stopp von ChatGPT Health und strengeren Sperren
Die Kläger werfen OpenAI und Firmenchef Sam Altman Fahrlässigkeit sowie die unbefugte Ausübung der Heilkunde vor. Neben finanziellem Schadenersatz verlangt die Klageschrift, dass der Dienst ChatGPT Health so lange gestoppt wird, bis unabhängige Prüfer dessen Sicherheit bestätigt haben. Über diese Funktion werden Nutzer ermutigt, medizinische Dokumente hochzuladen. Zudem fordert die Klage wirksamere technische Schutzmechanismen, um konkrete Diagnosen und Therapieempfehlungen durch den Bot zu verhindern.
Für Entwickler von KI-Systemen bedeutet dieses Gerichtsverfahren eine erhebliche rechtliche Grundsatzfrage. Sollten Gerichte entscheiden, dass bloße Warnhinweise in den allgemeinen Geschäftsbedingungen nicht ausreichen, um sich vor Haftung für fehlerhafte medizinische Ratschläge zu schützen, könnte dies weitreichende Konsequenzen für die gesamte Branche nach sich ziehen.
OpenAI verweist zwar darauf, dass die eigenen Nutzungsbedingungen eine Verwendung von ChatGPT für medizinische Diagnosen oder Behandlungen ausdrücklich ausschließen. Dennoch wirbt das Unternehmen damit, dass wöchentlich rund 230 Millionen Menschen die Plattform für Gesundheitsfragen nutzen. Bisherige Sicherheitsleitplanken erwiesen sich im Fall des Pastors als unzureichend.
Weitere Klagen belasten das KI-Unternehmen
Obwohl Winters den Vorfall überlebte, steht ihm laut Klageschrift eine jahrelange, intensive körperliche und psychische Erholung bevor. Der Fall ist nicht die einzige juristische Front für OpenAI: Das Unternehmen sieht sich bereits weiteren Klagen ausgesetzt. Darunter befindet sich ein Verfahren wegen widerrechtlicher Tötung, nachdem ein 19-Jähriger nach Befolgung eines vom Chatbot erstellten Behandlungsplans an einer Drogenüberdosis starb. Eine weitere Klage wirft der KI vor, den Suizid eines Jugendlichen ermöglicht zu haben.
Welche Verantwortung tragen Entwickler, wenn Nutzer Vertrauen in KI-Systeme fassen? Teilen Sie Ihre Meinung in den Kommentaren.
