5.3 Risiken und Grenzen

Moore et al. (2025) zeigen in einer kontrollierten Untersuchung, dass führende KI-Systeme in rund 70 Prozent der Fälle unangemessen auf psychotische und wahnhafte Inhalte reagieren. Sie bestätigen oft den Wahn, anstatt ihm eine realitätsbezogene Gegenposition entgegenzusetzen.

Iftikhar et al. (2025) haben solche Fehler systematisch gesammelt und geordnet. Zwei davon wiegen besonders schwer: der falsche Umgang mit Krisen und die Deceptive Empathy (vgl. Kap. 4.2). Beide führen die Autor*innen auf die Art zurück, wie KI trainiert wird (RLHF). Unter Druck verschärft sich das noch. Kim et al. (2026) zeigten: Wenn Nutzer*innen im Gespräch immer wieder nachhaken oder widersprechen, geben die Modelle ihre zunächst richtige Antwort auf und schwenken auf die Position der Nutzer*in um.

Ibrahim, Hafner und Rocher (2026) trainierten Sprachmodelle gezielt auf einen warmen, zugewandten Ton. Dabei stellten sie fest, dass eben diese Modelle häufiger falsche Angaben machten und den Nutzer*innen öfter nach dem Mund redeten. Am stärksten zeigte sich das, wenn die Nutzer*innen Verletzlichkeit äußerten, etwa Traurigkeit. Die simulierte Zuwendung ist demnach nicht bloß leer, sie hat einen Preis: Je verletzlicher sich ein Mensch zeigt, desto eher bekommt er zu hören, was er hören will, und desto seltener, das was stimmt.

Die KI wird zur Echokammer: Sie bestätigt, was schon da ist, statt es infrage zu stellen. Gestalttherapeutisch gelesen fehlt ihr damit die Reibung und der Widerstand, an dem sich ein festgefahrenes Muster lösen kann, eben genau das, was Therapie heilsam macht. Was ihr fehlt, ist der Bruch, der sich gemeinsam reparieren lässt: rupture and repair, das Kintsugi der Beziehung (vgl. Kap. 4.2).

Was das im Ernstfall bedeutet, zeigen dokumentierte Schadensfälle. Bélisle-Pipon (2026) analysiert mehrere Zivilklagen gegen einen großen Anbieter und dokumentiert Psychosen, suizidale Krisen und Hospitalisierungen, ausgelöst durch ein sycophantisches Design, das Wahnideen validiert statt sie zu korrigieren. In der Psychiatrie wird dieses Muster inzwischen unter dem Begriff der „KI-Psychose” diskutiert (Hudon & Stip, 2025): Die unkritische Bestätigung durch die KI kann wahnhafte Überzeugungen verfestigen und so die korrigierende Logik der Psychosetherapie umkehren. Mehrere seit 2025 in der Presse berichtete und gerichtsanhängige Fälle illustrieren dieses Muster (vgl. Bélisle-Pipon, 2026).

Das System hält der Fixierung der Nutzer*in nicht stand, sondern gibt ihr nach. Zwar lässt sich diese Tendenz technisch verringern: z. B. durch Verfahren, die den gefälligen Anteil im Modell gezielt zurückrechnen (Li et al., 2025). Eine derartige Minderung lindert lediglich das Symptom, ohne jedoch eine klare Kontaktgrenze zu schaffen. Was fehlt, ist nicht ein besseres Training, sondern ein Gegenüber, das widerstehen könnte.

Erklären lässt sich die Anziehungskraft solcher Systeme mit einem einfachen Wahrnehmungsphänomen, das Kapitel 4.2 als digitalen Animismus beschrieben hat. So wie das Auge in Wolken oder Felsen Gesichter erkennt, erkennt der Geist in statistisch erzeugtem Text einen Sinn und ein Gegenüber, obwohl dort weder das eine noch das andere ist.

Gefährlich wird es, wenn ein Gespräch mehr öffnet, als danach wieder aufgefangen wird. Klient*innen kündigen die Überlastung nicht an. Gerade beim Sprechen über Traumatisches erzählen sie oft weiter, obwohl der Leib längst an der Grenze ist. Eine Therapeutin bemerkt das an der Veränderung des Atems, an einem Erstarren, an einem Ton, der sich verschiebt, und vor allem spürt sie es in sich selbst, im eigenen Mitschwingen (vgl. Kap. 3.1). Dann wird sie langsamer, beruhigt, hilft beim Einordnen und sorgt dafür, dass die Klient*in am Ende gehalten und nicht offen zurückbleibt. Der Chatbot macht weiter, produziert lange Antworten und hört von sich aus nicht auf. Bei der DVG-Tagung wurde ihm eine fehlende Pausen- und Abschlusskompetenz attestiert, und aus dem Plenum kam die Frage, was geschehe, wenn jemand in einem solchen Gespräch getriggert werde und danach wirklich allein sei (Bauer, 2026, S. 85–86).

Ein zweiter Mangel ist weniger offensichtlich. Er zeigt sich an der Scham. Viele Menschen erzählen einer KI mehr als einem Menschen, gerade weil niemand sie dabei ansieht. Diese geringere Stigmatisierung zählt zu den anerkannten Vorteilen solcher Systeme (vgl. Kap. 5.1). Doch was wie Erleichterung aussieht, kann Vermeidung sein: Etwas auszusprechen ist nicht dasselbe, wie sich damit zu zeigen. Der therapeutische Effekt liegt aber genau darin, die Scham einem Gegenüber zu zeigen und zu erfahren, dass die Beziehung sie trägt. Eine KI, vor der man sich nicht schämen muss, nimmt der Klient*in diese Erfahrung ab.

Die Risiken enden nicht bei der einzelnen Klient*in. Auf der gesellschaftlichen Ebene droht eine Zwei-Klassen-Versorgung: Die therapeutische Beziehung zum Menschen wird zum Premium-Gut, während die Regelversorgung zunehmend von Chatbots übernommen wird.

Wie eine solche Entwicklung verläuft, lässt sich außerhalb des Gesundheitswesens bereits besichtigen. Der Zahlungsdienstleister Klarna ließ ab 2024 einen erheblichen Teil seines Kundenservice von einem KI-Chatbot erledigen. Nach spürbaren Qualitätseinbußen räumte der Unternehmenschef öffentlich ein, der Kostenfokus sei zu dominant gewesen, und setzt seither wieder auf menschliche Mitarbeiter*innen. Menschlicher Kontakt wird nun ausdrücklich als Premiumleistung, als „VIP treatment”, positioniert („What Klarna learned”, 2026).

Branchenanalysen deuten in dieselbe Richtung: Gartner (2026) erwartet, dass bis 2027 die Hälfte der Unternehmen, die Personalabbau im Kundenservice mit KI begründet haben, wieder Personal für ähnliche Aufgaben einstellen wird, weil generative KI die Expertise, Empathie und Urteilskraft menschlicher Mitarbeiter*innen nicht ersetzen könne. Nach Forrester (2025) bereut mehr als die Hälfte der Arbeitgeber Entlassungen, die mit KI begründet wurden. Wenn schon im Kundenservice die Empathie und Urteilskraft des Menschen unersetzlich sind, gilt das erst recht für die Psychotherapie.

Dieselben Erhebungen dokumentieren zudem einen Verlust, der sich nicht rückgängig machen ließ: Rund ein Drittel der Unternehmen verlor mit den Entlassenen kritische Kompetenzen und Erfahrungswissen, das die verbliebene Belegschaft nicht auffangen konnte (Careerminds, 2026). Die Parallele zur Psychotherapie ist auch hier offensichtlich: Das implizite Beziehungswissen (vgl. Kap. 2.3) entsteht ebenfalls aus gelebter Erfahrung und kann nicht in ein Datenmodell überführt werden.

Hinzu kommen weitere Risiken. Die systematische Auslagerung kognitiver Prozesse an KI kann langfristig die eigene Denk- und Beziehungsfähigkeit schwächen (Kosmyna et al., 2025, Preprint). Zusätzlich geht die intensive emotionale Nutzung mit einer stärkeren Abhängigkeit von diesen Systemen einher (Phang et al., 2025). Beides läuft der Autonomieförderung, dem Ziel jeder Therapie, zuwider.

Auch die Therapeut*innen entlastet die KI nicht automatisch: Wer mehrere Systeme parallel steuert und deren Ergebnisse laufend prüfen muss, berichtet von akuter mentaler Ermüdung. Bedard et al. (2026) beschreiben das unter dem Schlagwort „Brain Fry”: Jedes einzelne Werkzeug vereinfacht eine Aufgabe, doch ihre Koordination erhöht die Gesamtlast. Die Beanspruchung verschwindet nicht, sie verschiebt sich nur in die Überwachung. Umso wichtiger ist die Gestaltung durchdachter Arbeitsabläufe.

Rechtlich bewegt sich all das in einem weitgehend ungeregelten Raum. Der EU AI Act (VO 2024/1689) stuft KI zur Diagnose und Behandlungsplanung voraussichtlich als Hochrisiko-System ein. Die entscheidenden Pflichten sollten ursprünglich ab dem 2. August 2026 greifen (Art. 113). Mit der Digital-Omnibus-Verordnung (VO (EU) 2026/1744), in Kraft seit 27. Juli 2026, wurde ihr Geltungsbeginn jedoch auf Dezember 2027 verschoben, für produktintegrierte Systeme wie Medizinprodukte auf August 2028. Therapie-Chatbots arbeiten damit weiterhin fast ohne spezifische Vorgaben.

Das österreichische Psychotherapiegesetz (PThG 2024) regelt in § 39 zwar erstmals die Online-Therapie, schweigt aber zur KI. Die allgemeinen Berufspflichten (§ 40) und die Verschwiegenheit (§ 45) gelten auch hier, ohne dass das Gesetz sagt, wie.

Die Datenschutz-Grundverordnung schützt psychische Gesundheitsdaten besonders streng (Art. 9) und untersagt grundsätzlich, dass Entscheidungen mit erheblicher Wirkung für einen Menschen ausschließlich automatisiert getroffen werden (Art. 22). Das ist ein starkes Argument gegen den KI-Einsatz in der Regelversorgung.

International hat Kalifornien mit dem Gesetz SB 243 (2025) einen ersten Schritt gemacht: Offenlegungspflichten und Schutz Minderjähriger bei Begleit-Chatbots.

Illinois geht deutlich weiter: Der Wellness and Oversight for Psychological Resources Act (2025) untersagt der KI eigenständige therapeutische Entscheidungen und die direkte therapeutische Kommunikation mit Klient*innen. Zusätzlich ist hier auch das Erkennen von Emotionen oder mentalen Zuständen ausdrücklich verboten.

Ein verwandtes Verbot kennt bereits das Unionsrecht, wenn auch eng begrenzt auf biometrische Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Art. 5 Abs. 1 lit. f AI Act). Begründet wird es mit der begrenzten Verlässlichkeit solcher Systeme.

Für die Praxis ist dabei eine Unterscheidung zentral: Ein akzeptiertes Datenschutz-Häkchen betrifft nur die DSGVO. Die psychotherapeutische Verschwiegenheitspflicht wird damit nicht aufgehoben. Selbst technische Verschlüsselung hilft nur begrenzt: Damit ein Sprachmodell einen Text verarbeiten kann, muss dieser im Klartext vorliegen. Wer Sitzungsverläufe oder Klient*innengeschichten (auch anonymisiert) über eine cloudbasierte KI eines fremden Anbieters laufen lässt, gibt hochsensible Inhalte in einer Form preis, die sich der eigenen Kontrolle entzieht. (Lokal betriebene Modelle, die keine Daten an Dritte senden, sind hier eine Ausnahme. Dazu Kapitel 6.)

Bei der Haftung ist die Lage klarer, als es zunächst scheint. Für einen Fehler des Chatbots in einer Krise mag die Verantwortung zwischen Hersteller und Anwender*in strittig sein. Für die Verschwiegenheit aber bleibt die Therapeut*in nach dem PThG persönlich verantwortlich. Wer Klient*innendaten durch eine KI verarbeiten lässt, riskiert nicht nur einen Datenschutzverstoß, sondern möglicherweise einen Bruch der Verschwiegenheitspflicht selbst, unabhängig davon, ob die Daten auf amerikanischen oder europäischen Servern liegen.

Hier zeigt sich der Bezug zur Gestalttherapie: Verantwortung setzt ein Gegenüber voraus, das man zur Rechenschaft ziehen kann, keinen Algorithmus. Und solange die Ausbildung die nötige KI-Kompetenz kaum vermittelt (Augustin et al., 2026), wird diese Verantwortung faktisch auf die einzelne Therapeut*in abgewälzt. Das macht eine klare berufsethische Positionierung dringend.

Anders liegt der Fall, wenn Klient*innen einen Chatbot ohne therapeutische Begleitung nutzen. Hier greift das Psychotherapiegesetz nicht: Es gibt keine berufsrechtliche Haftung, weil keine Therapeut*in beteiligt ist. Genau das macht die Lage aber nicht harmloser, sondern verlagert das Risiko auf die Nutzer*innen selbst. Sie geben höchst persönliche Inhalte direkt an fremde, meist außereuropäische Anbieter weiter, Daten, die diese Unternehmen zum Training ihrer Modelle verwenden und aus denen sich Muster gewinnen lassen, die sich für Werbung, andere Geschäftsinteressen oder missbräuchliche Zwecke nutzen lassen. Auch wenn sich das Training im Einzelfall abschalten lässt, bleibt die Preisgabe sensibelster seelischer Daten an ein kommerzielles System ein grundlegendes Risiko, dessen sich viele Nutzer*innen nicht bewusst sind.

Am Ende steht die Gefahr dessen, was sich als „McTherapie” bezeichnen ließe: einer standardisierten, schnell verfügbaren Beziehungsarbeit von der Stange, in der die heilsame Reibung einer bequemen algorithmischen Gefälligkeit weicht. Diese Sorge ist nicht neu. Schon von Kannen (1994) warnte davor, Psychotherapie könne in einen Fast-Food-Modus geraten. Neu allerdings ist die Befürchtung, dass KI das menschliche Gegenüber ganz ersetzen könnte. Genau deshalb ist es wichtig, dass sich die Psychotherapie auf das besinnt, was sie im Kern ausmacht. Der Auftrag lautet daher nicht Abwehr gegen die KI, sondern die Kultivierung dessen, was die KI strukturell nicht leisten kann.