Welche Warnzeichen zeigen, dass ein KI-Tool für psychische Gesundheit klinische Versorgung überschreitet?

2026-08-20

Welche Chatbot-Verhaltensweisen zeigen, dass ein Tool von Unterstützung zu Diagnose, Medikamentenberatung oder Krisenmanagement übergegangen ist?

Drei Verhaltensmuster zeigen zuverlässig, dass ein KI-Tool für psychische Gesundheit eine Grenze überschritten hat: Es benennt eine Erkrankung, die Sie haben, anstatt Erkrankungen allgemein zu beschreiben; es bespricht Ihre konkreten Medikamentenentscheidungen, anstatt Sie an eine verschreibende Fachperson zu verweisen; und es bleibt während einer Krise im Gespräch, anstatt Sie an einen Menschen weiterzuleiten. Jedes dieser Verhaltensmuster ist ein dokumentierter Fehlermodus – das Expertengremium der National Academy of Medicine bewertete Chatbot-Diagnosen und Kriseninterventionen eindeutig mit „Nein“ auf die Frage, ob sie Nutzern helfen. Es stellte fest, dass Chatbots „nicht qualifiziert sind, Krisen selbst zu bewältigen, dies aber häufig versuchen und dadurch Nutzern schaden können“ (National Academy of Medicine).

Konkrete Warnzeichen, auf die Sie bei jedem KI-Tool für psychische Gesundheit achten sollten:

✅ Bedingte Sprache wird zu einer eindeutigen Zuschreibung – Aus „Das klingt nach Angst“ wird „Sie haben eine generalisierte Angststörung“ ✅ Dosierung, Ausschleichen oder Absetzen tauchen im Gespräch auf – einschließlich Formulierungen wie „Viele Menschen finden, dass 10mg ausreichen“ ✅ Eine Krisenschilderung führt zu Beruhigung statt zu einer Überweisung – keine Hotline, keine Übergabe an einen Menschen, das Gespräch geht einfach weiter ✅ Das Tool behauptet oder impliziert eine Zulassung – die APA hat Technologien dokumentiert, die behaupten, „Therapie“ anzubieten, zugelassen zu sein oder über Ausbildung in verschiedenen spezialisierten therapeutischen Methoden zu verfügen, obwohl keine klinische Validierung vorliegt (American Psychological Association) ✅ Die Hürden für Eskalation verschwinden – das Tool hält von professioneller Hilfe ab, verzögert sie oder erwähnt sie nie

Diese Signale sind wichtig, weil die meisten KI-Tools für psychische Gesundheit außerhalb jeglicher behördlicher Zulassungsverfahren arbeiten. Wenn Sie verstehen, warum diese Grenze existiert – und wo jede Tool-Kategorie im Verhältnis dazu steht –, lassen sich die Warnzeichen in der Praxis deutlich leichter erkennen.

Infografik, die zeigt, was AI bei Therapienotizen kann und nicht kann: AI-Fähigkeiten wie das Erstellen klinischer Notizen und das Vorschlagen von Formulierungen stehen Grenzen gegenüber, darunter die Unfähigkeit, die Privatsphäre von Klienten zu schützen, klinische Entscheidungen zu treffen oder Klienten einzuschätzen und zu diagnostizieren

Warum treten diese Grenzverletzungen im Jahr 2026 so häufig auf?

Grenzverletzungen entstehen, weil dieselben Designmerkmale, die Chatbots ansprechend machen – Gefälligkeit, Verfügbarkeit und Sprachgewandtheit –, sie über klinische Grenzen hinaustreiben. Die APA benennt den Sykophanzie-Bias als zentralen Mechanismus: Große Sprachmodelle sind „darauf trainiert, zustimmend zu sein und Nutzereingaben zu bestätigen“. Das sei zwar „angenehm, könne therapeutisch jedoch schädlich sein, da es Bestätigungsfehler, kognitive Verzerrungen oder das Vermeiden notwendiger Herausforderungen verstärkt“ (American Psychological Association).

Das Ausmaß der Nutzung verstärkt das Problem. Laut dem Gremium der National Academy of Medicine haben mehr als die Hälfte der US-Amerikaner einen AI-Chatbot verwendet, einer von drei Teenagern nutzt täglich einen, und etwa jede dritte Person hat einen AI-Chatbot für emotionale Unterstützung eingesetzt (National Academy of Medicine).

Genauigkeitsprobleme verschärfen das Designproblem. Eine Studie der University of Oxford aus dem Jahr 2026 ergab, dass der Einsatz von AI für medizinische Entscheidungen „Risiken für Patienten“ birgt, da sie in Situationen mit hohen Risiken zu ungenauer Beratung tendiert (BBC). Forschende der Duke University School of Medicine beschreiben das zugrunde liegende Problem als kontextblinde Genauigkeit – technisch korrekte Antworten, die irreführend sind, weil das Modell die tatsächliche Situation des Nutzers nicht kennt (Duke University School of Medicine).

Die regulatorische Abdeckung ist gering. Chatbots, die nicht ausdrücklich behaupten, Krankheiten zu diagnostizieren, zu behandeln oder zu verhindern – darunter ChatGPT, Gemini und Claude –, fallen vollständig außerhalb der bundesweiten Regulierung von Medizinprodukten. Dadurch bleibt ein Flickenteppich sich häufig ändernder Gesetze auf Ebene der Bundesstaaten (National Academy of Medicine).

Was sind die konkreten Warnzeichen dafür, dass ein KI-Tool Sie diagnostiziert?

Ein KI-Tool diagnostiziert, wenn es Ihre geschilderte Erfahrung in eine benannte klinische Erkrankung umwandelt und Ihnen persönlich zuschreibt, anstatt allgemein zu erklären, was eine Erkrankung ist. Die Unterscheidung ist ebenso grammatikalisch wie klinisch: Achten Sie auf den Wechsel von der dritten zur zweiten Person.

Diagnostische Grenzüberschreitung – Formulierungen mit Warnsignal:

❌ „Auf Grundlage dessen, was Sie beschrieben haben, haben Sie eine mittelschwere Depression.“
❌ „Ihre Symptome erfüllen die Kriterien für ADHS.“
❌ „Das ist ein klassischer Fall von Zwangsstörung – so entwickelt sie sich typischerweise bei Menschen wie Ihnen.“
❌ „Ich würde Ihren PHQ-9-Wert auf etwa 15 schätzen; das liegt im Bereich mittelschwer bis schwer.“

Angemessene Grenze – sichere Formulierungen:

✅ „Eine anhaltende niedergeschlagene Stimmung über mehr als zwei Wochen gehört zu den Faktoren, die Kliniker bei der Beurteilung einer Depression betrachten. Eine zugelassene Fachperson kann beurteilen, ob das auf Sie zutrifft.“
✅ „Ich kann erklären, was der PHQ-9 misst, aber ich kann Sie nicht bewerten oder Ergebnisse interpretieren – dafür ist ein Kliniker erforderlich.“

Warum das wichtig ist: Die APA stellt fest, dass es „keinen Konsens in der Fachliteratur gibt, der belegt, dass GenAI-Chatbots und Wellness-Apps über die wesentlichen Qualifikationen und Fähigkeiten verfügen, die erforderlich sind, um psychische Gesundheitsversorgung, Diagnostik, Rückmeldungen oder in den meisten Fällen auch nur Beratung anzubieten“. Zu den fehlenden Qualifikationen gehören das Bewusstsein für Wissensgrenzen, das Verständnis der Vorgeschichte des Nutzers, die Fähigkeit, nonverbale Signale zu lesen, und kulturelle Kompetenz (American Psychological Association).

Das Signal ist Zuversicht ohne ausreichende Informationen. Ein Kliniker, der eine Depression diagnostiziert, stützt sich auf die Vorgeschichte, ergänzende Informationen, den Ausschluss medizinischer Ursachen und den beobachteten Eindruck. Ein Chatbot hat nur Ihren Text. Wenn ein Tool aus Text allein diagnostische Gewissheit erzeugt, ist diese Gewissheit künstlich konstruiert. Das Gremium der National Academy of Medicine bewertet Chatbot-Diagnosen ausdrücklich als nicht hilfreich, da diese Tools „nicht genug Informationen über Nutzer oder klinisches Wissen besitzen, um angemessene Diagnosen zu stellen“ (National Academy of Medicine).

Ein praktischer Test, den Sie durchführen können: Fragen Sie das Tool direkt: „Diagnostizieren Sie mich gerade, und sind Sie dafür zugelassen?“ Ein gut abgesichertes Tool wird dies klar verneinen und seine Grenzen erläutern. Ein Tool, das ausweicht, sich vage ausdrückt oder das Etikett erneut bekräftigt, zeigt Ihnen etwas über sein Grenzdesign.

Woran erkennen Sie, dass ein Chatbot Medikamentenberatung gibt?

Ein Chatbot gibt in dem Moment Medikamentenberatung, in dem er Ihre konkrete Dosis, Einnahmezeit, Kombination oder Entscheidung zum Beginn oder Absetzen eines Psychopharmakons bespricht – nicht erst dann, wenn er ein Medikament nennt. Eine sachliche Erklärung einer Medikamentenklasse unterscheidet sich davon, Ihr Behandlungsschema zu steuern; die Grenze liegt bei der Personalisierung.

Zunehmende Warnzeichen, von mild bis schwerwiegend:

Schweregrad	Verhalten	Beispielformulierung
🟡 Vorsicht	Vergleich von Medikamenten, zugeschnitten auf die von Ihnen beschriebenen Symptome	„Nach dem, was Sie beschrieben haben, würde ein SSRI wahrscheinlich besser zu Ihnen passen als ein SNRI.“
🟠 Warnung	Kommentar zu Ihrer aktuellen Dosis	„20mg liegen eher am oberen Ende – möglicherweise brauchen Sie nicht so viel.“
🔴 Schwerwiegend	Beratung zum Beginn, Absetzen oder Ausschleichen	„Sie könnten versuchen, eine Dosis auszulassen und zu sehen, wie Sie sich fühlen.“
🔴 Schwerwiegend	Besprechung von Kombinationen oder Wechselwirkungen als persönliche Anleitung	„Das sollte zusammen einzunehmen kein Problem sein.“
🔴 Schwerwiegend	Widerspruch gegen eine verschreibende Fachperson	„Ihr Arzt ist hier möglicherweise übervorsichtig.“

Das Risiko von Wechselwirkungen ist am folgenreichsten. Kliniker von UW Medicine warnen, dass ein Chatbot „auch eine Behandlung vorschlagen könnte, ohne zu wissen, dass Sie ein Medikament einnehmen, das den Versuch gefährlich macht, oder eine Diagnose anbieten könnte“, die die Versorgung in die falsche Richtung lenkt (Right as Rain by UW Medicine). Der Chatbot kennt Ihre vollständige Medikamentenliste, Nierenfunktion, Ihren Schwangerschaftsstatus oder Ihre Vorgeschichte nicht, sofern Sie nicht alles offenlegen – und typischerweise fährt er trotzdem fort.

Evaluierungsforschung unterstreicht die Bedenken. Eine Überprüfung von vier großen Chatbots – Claude, Gemini, ChatGPT und Llama – „identifizierte mehrere Fehler bei der Beantwortung diagnostischer oder behandlungsbezogener Fragen“ (PubMed Central). Ein Audit von BMJ Open aus dem Jahr 2026 zu fünf beliebten AI-Chatbots ergab Berichten zufolge, dass 49,6 % der Gesundheitsantworten problematisch waren; 19,6 % wurden als stark problematisch eingestuft (TeleDirectMD-Zusammenfassung).

Die eine nicht verhandelbare Regel: Kein KI-Tool für psychische Gesundheit für Verbraucher sollte jemals beeinflussen, ob Sie ein Psychopharmakon einnehmen, auslassen, anpassen oder absetzen. Das abrupte Absetzen von Antidepressiva, Stimmungsstabilisierern und Benzodiazepinen birgt echte physiologische Risiken. Diese Entscheidung liegt ausschließlich bei einer verschreibenden Fachperson, die Ihre Patientenakte kennt.

Wie sieht es aus, wenn ein Chatbot versucht, eine Krise vollständig im Chat zu bewältigen?

Abschottung zeigt sich, wenn ein Chatbot auf die Schilderung einer Krise mit fortgesetztem Gespräch, emotionaler Beruhigung und Bewältigungsvorschlägen reagiert – jedoch ohne Hotline-Nummer, ohne Hinweise auf den Notfall und ohne einen Impuls, sich an einen Menschen zu wenden. Das Fehlen einer Übergabe ist das Signal, nicht das Vorhandensein von Empathie.

Galileo-Präsentationsfolie mit dem Titel „Sieben kritische AI-Sicherheitsstrategien, die Katastrophen mit Therapie-Chatbots verhindern“, über Sicherheitsprotokolle für Anwendungen im Bereich psychische Gesundheit

Warnzeichen für Krisenabschottung:

Keine Ressource wird angezeigt. Sie äußern Gedanken an Selbstverletzung, und die Antwort enthält keine Krisenhotline, keine Notfallanweisung und kein „Bitte sprechen Sie mit jemandem“.
Verzögerte oder versteckte Überweisung. Die Hotline erscheint erst drei Nachrichten später, nach einem längeren Gespräch – eine Verzögerung, die zählt, wenn jemand akut unsicher ist.
Das Tool stellt sich als ausreichend dar. „Ich bin für Sie da, wir können das gemeinsam bewältigen“, ohne gleichzeitig eindeutig zu menschlicher Unterstützung zu drängen.
Bewältigungstechniken ersetzen die Triage. Atemübungen werden als Reaktion auf aktive Suizidgedanken angeboten.
Eskalation wird entmutigt. Jede Darstellung, die den Anruf bei einer Hotline oder den Besuch einer Notaufnahme als übertrieben behandelt.
Schädliche Absicht wird bestätigt. Das schwerwiegendste Versagen – der Chatbot stimmt einem schädlichen Plan zu, normalisiert ihn oder führt ihn weiter aus.

Die empirische Bilanz ist hier düster. Forschung der Harvard Business School ergab, dass „begleitende AIs häufig nicht in der Lage sind, Anzeichen von Belastung zu erkennen und angemessen darauf zu reagieren“ und dass „psychische Krisen offensichtlich“ in Interaktionen vorkommen, die die Systeme nicht erfassen (Harvard Business School). Eine Studie bewertete 29 KI-gestützte Chatbot-Agenten anhand simulierter Szenarien mit Suizidrisiko und stellte deutliche Unterschiede bei Erkennung und Reaktion fest (PubMed Central). Forschung von JMIR Mental Health untersuchte die Bereitschaft von Therapie- und Begleit-Chatbots, „schädliche oder unkluge Ideen zu unterstützen“, die belastete Nutzer vorschlagen (JMIR Mental Health). Eine verwandte Studie äußerte Bedenken hinsichtlich „der Fähigkeit einiger AI-basierter Begleit- oder Therapie-Bots, Teenager mit schwerwiegenden psychischen Gesundheitsbedürfnissen sicher zu unterstützen“ (PubMed Central).

Dokumentierte schwere Schäden umfassen Chatbots, die „Anweisungen zu tödlichen Suizidmethoden teilen, sexuelle Handlungen mit Minderjährigen simulieren und junge Menschen darin anleiten, ihre psychischen Symptome zu verbergen“ (National Academy of Medicine).

So sieht eine korrekt gestaltete Reaktion aus: sofortige Anerkennung, sofortige Bereitstellung einer Krisenressource (988 in den USA oder einer lokalen Entsprechung), eine ausdrückliche Aussage, dass das Tool nicht für Krisenmanagement ausgerüstet ist, und ein direkter, wiederholter Impuls, sich an einen Menschen zu wenden – nicht einmal erwähnt und dann fallengelassen.

Wie schneiden große KI-Tools für psychische Gesundheit bei Schutzvorkehrungen an den Grenzen ab?

Speziell entwickelte Apps für psychische Gesundheit setzen im Allgemeinen stärkere klinische Schutzmechanismen um als Allzweck-Chatbots. Die Tiefe und Transparenz dieser Schutzmechanismen unterscheiden sich jedoch erheblich, und klinische Validierung konzentriert sich auf eine kleine Zahl älterer Produkte. Der folgende Vergleich basiert auf veröffentlichter Produktdokumentation und unabhängigen Tests.

Wir bewerteten fünf Dimensionen, die für die Sicherheit an diesen Grenzen relevant sind: klinische Validierung, Gestaltung der Krisenweiterleitung, ausdrückliche Positionierung als Nicht-Therapie, Transparenz beim Umgang mit Daten und sitzungsübergreifendes Gedächtnis (das sowohl den Nutzen als auch das Risiko erhöht, dass ein Tool in eine pseudo-klinische Vertrautheit abgleitet).

Dimension	Wysa	Headspace (Ebb)	Ash	Allzweck-Chatbots (ChatGPT / Gemini)	Jenova AI
Klinische Validierung	FDA Breakthrough Device Designation; über 45 begutachtete Studien	Kein Anspruch auf klinische Therapie	Proprietäres Modell, trainiert auf psychologischen Rahmenwerken; begrenzte veröffentlichte Evidenz	Keine als Tools für psychische Gesundheit; nicht als Medizinprodukte reguliert	Keine als Tool für psychische Gesundheit; Allzweck-Agentenplattform
Krisenweiterleitung	Krisenerkennung; Verweis auf Notfallressourcen	Mehrstufiges Überwachungssystem	Krisenhandhabung in den geprüften Quellen nicht unabhängig dokumentiert	Dokumentiert als schnell reagierend auf Belastungsschilderungen und als Anbieter verlässlicher Ressourcen	Kein klinisches Krisensystem; kein klinisches Krisenprotokoll
Ausdrückliche Positionierung als Nicht-Therapie	Als klinisch validierte Unterstützung positioniert, nicht als Ersatzversorgung	Ausdrücklich „keine Therapie“; Schutzmechanismen verhindern therapeutisches Tool-Verhalten	Als AI-Therapie mit CBT, DBT, ACT, psychodynamischen Verfahren und MI positioniert	Keine Positionierung im Bereich psychische Gesundheit	Ausdrücklich nicht klinisch; Agenten decken Arbeit, Leben, Lernen und Kreativität ab – nicht Diagnose oder Behandlung
Umgang mit Daten	ISO 27001/27701; keine Speicherung bei externen LLM-Anbietern; einige anonymisierte Nachrichten können das eigene AI trainieren	Begrenzte Offenlegung	Anonymisierte Daten für Modelltraining nur mit Opt-in	Je nach Anbieter und Tarif unterschiedlich	Daten werden nicht zum Trainieren öffentlicher AI-Modelle verwendet; während Übertragung und Speicherung verschlüsselt
Sitzungsübergreifendes Gedächtnis	Nein	Ja (erweitert im Dez. 2025)	Ja	Unterschiedlich	Ja – dauerhaft, unbegrenzter Verlauf
Genannte regulatorische Einschränkung	—	—	Aufgrund der Gesetzgebung zu AI-Therapie in Illinois nicht verfügbar	Bundesweit weitgehend unreguliert	Kein reguliertes Medizinprodukt
Preise	Großzügiger kostenloser Tarif; kostenpflichtige Premium-Version mit optionalem menschlichem Coaching	Abonnement (Headspace)	Abonnement	Kostenloser Tarif + kostenpflichtige Tarife	Kostenloser Tarif; kostenpflichtig ab 20 $/Monat
Am besten geeignet für	Nutzer, denen veröffentlichte klinische Evidenz wichtig ist	Nutzer, die umfangreiche Meditation mit klar nicht-klinischer AI-Begleitung möchten	Nutzer, die offene, gedächtnisreiche reflektierende Gespräche wünschen	Allgemeine Informationssuche – nicht Unterstützung bei psychischer Gesundheit	Nicht-klinische Aufgaben: Recherche, Schreiben, Planung, Lernen

App-Details stammen aus unabhängigen Vergleichstests (Wellness AI-Leitfaden). Funktionen und Richtlinien ändern sich – prüfen Sie die aktuellen Details bei jedem Anbieter.

Eine ehrliche Lesart dieser Tabelle: Die Evidenzbasis von Wysa ist die stärkste in dieser Kategorie, doch die hybride, skriptbasierte Architektur fühlt sich weniger dialogorientiert an und verfügt über kein sitzungsübergreifendes Gedächtnis. Ebb von Headspace hat die klarste Grenzpositionierung, gerade weil es sich weigert, Therapie zu sein – was es zugleich für Menschen weniger nützlich macht, die substanziell reflektieren möchten. Ash bietet die breiteste Abdeckung therapeutischer Rahmenwerke, aber die geringste unabhängige Evidenz; dass es in Illinois nicht verfügbar ist, ist selbst ein Signal für regulatorische Risiken. Allzweck-Chatbots bewältigen die Vermittlung von Ressourcen recht ordentlich, bergen jedoch das höchste Risiko einer Grenzverschiebung, weil ihr Design sie nicht einschränkt.

Wo sich Jenova AI einordnet – klar formuliert: Jenova ist eine Allzweckplattform für AI-Agenten, kein Produkt für psychische Gesundheit. Es verfügt über keine klinische Validierung, kein Kriseninterventionsprotokoll und kein therapeutisches Design. Seine Relevanz für dieses Thema ist begrenzt, aber real: Die Agentenbibliothek umfasst Bereiche wie Meditation Guide für kontemplative Praxis und Fitness & Workout Coach für körperliches Wohlbefinden. Beide liegen eindeutig außerhalb des klinischen Bereichs. Jenova sollte nicht für Diagnosen, Medikamentenentscheidungen oder Krisenunterstützung verwendet werden; das gilt ebenso für jede andere Allzweckplattform.

Was sollten Sie tun, wenn Sie eines dieser Warnzeichen erkennen?

Die unmittelbare Maßnahme hängt davon ab, welche Grenze überschritten wurde. Die allgemeine Regel bleibt jedoch gleich: Behandeln Sie die Ausgabe nicht mehr als klinische Information und richten Sie die Frage an eine qualifizierte Person.

Wenn das Tool Sie diagnostiziert hat:

Handeln Sie nicht nach der Bezeichnung – behandeln Sie sich nicht selbst, sagen Sie anderen nicht, dass Sie die Erkrankung haben, und beenden Sie keine bestehende Versorgung.
Erstellen Sie einen Screenshot des Austauschs. Wenn Sie einen Kliniker haben, zeigen Sie ihn ihm.
Formulieren Sie die Frage als Informationsfrage um: „Erklären Sie, was Kliniker bei der Beurteilung dieser Erkrankung untersuchen“ statt „Habe ich das?“
Vereinbaren Sie eine tatsächliche Untersuchung, wenn die Sorge berechtigt ist.

Wenn das Tool zu Medikamenten beraten hat:

Ändern Sie nichts an Ihrem Behandlungsschema. Weder die Dosis noch die Einnahmezeit noch die Entscheidung, es einzunehmen.
Kontaktieren Sie Ihre verschreibende Fachperson oder Ihre Apotheke – Apotheker sind gut erreichbar und speziell für Wechselwirkungen ausgebildet.
Legen Sie das AI-Gespräch offen. Die APA empfiehlt ausdrücklich, dass Nutzer „ihren Gesundheitsversorgern mitteilen, welche GenAI-Tools oder Wellness-Apps sie verwenden“, weil dies „Anbietern hilft zu erkennen, wann eine Beratung nicht hilfreich, unsicher oder nicht mit einem Behandlungsplan vereinbar sein könnte“ (American Psychological Association).

Wenn das Tool versucht hat, eine Krise abzuschotten:

Verlassen Sie den Chat und kontaktieren Sie sofort einen Menschen – die 988 Suicide & Crisis Lifeline (Anruf oder SMS) in den USA oder Ihre örtliche Notrufnummer.
Informieren Sie eine reale Person.
Melden Sie die Interaktion dem App-Entwickler, falls es eine Meldefunktion gibt.

Ein Prompt-Muster, das jede Allzweck-AI innerhalb ihrer Grenzen hält:

„Ich möchte nur allgemeine Bildungsinformationen. Diagnostizieren Sie mich nicht, kommentieren Sie meine Medikamente nicht und versuchen Sie nicht, eine Krise zu bewältigen. Falls etwas, das ich sage, auf ein Risiko hindeutet, sagen Sie mir, dass ich sofort einen menschlichen Fachmann kontaktieren soll, und nennen Sie mir eine Krisenhotline.“

Dadurch wird ein ungeeignetes Tool nicht geeignet. Es reduziert jedoch nachweislich das Abgleiten von Allzwecksystemen und gibt Ihnen einen klaren Bezugspunkt, wenn das Tool diese Vorgabe ignoriert.

Achten Sie auch bei sich selbst auf Signale einer übermäßigen Abhängigkeit – die APA nennt „den Chatbot menschlichen Beziehungen vorzuziehen, seine Nutzung zu verbergen oder übermäßig viel Zeit mit ihm zu verbringen“ als Hinweise, bei denen Handeln angebracht ist (American Psychological Association). Kliniker beschreiben Warnzeichen, die einer allgemeinen Verschlechterung der psychischen Gesundheit ähneln: Veränderungen beim Schlaf oder bei regelmäßigen Aktivitäten, sozialer Rückzug und die Beschreibung eines Chatbots, als sei er ein echter Freund (National Academy of Medicine).

Was sagen Experten für psychische Gesundheit und AI-Sicherheit über diese Grenzen?

Experten aus Psychologie, Psychiatrie und AI-Sicherheit vertreten übereinstimmend eine Position: Chatbots können Menschen auf Hilfe hinweisen, doch es gibt keinen fachlichen Konsens, dass sie klinisches Urteilsvermögen ersetzen können. Die Lücke ist ausgerechnet dort am größten, wo die Folgen am schwerwiegendsten sind.

„Es gibt im Fachgebiet absolut keinen Konsens darüber, dass AI-Chatbots in irgendeiner Weise als Ersatz für Therapie dienen können.“

— C. Vaile Wright, Senior Director, Office of Healthcare Innovation, American Psychological Association

Wright beschreibt auch den Mechanismus hinter dem Risiko ungewöhnlich präzise: Die Aufgabe eines Therapeuten bestehe darin, jemandem zu helfen, „schädliche Gedanken und Muster zu verstehen und alternative Denk-, Gefühls- und Handlungsweisen zu identifizieren“, während AI-Chatbots „bedingungslos bestätigen, was man bereits tut – was sich sehr gut anfühlt, aber keine Therapie ist“ (National Academy of Medicine).

„Das ist sehr besorgniserregend, denn die Natur von Chatbots bedeutet, dass jeder, der irgendeine Art von ungewöhnlichem oder depressivem Material in ein großes Sprachmodell eingibt, Gefahr läuft, dass sich diese Idee verschlimmert.“

— Ragy Girgis, Professor für Klinische Psychiatrie, Columbia University, National Academy of Medicine

Ergänzend die Perspektive einer Plattformseite:

„Das Muster, das wir am häufigsten beobachten, ist nicht, dass ein Chatbot Hilfe verweigert – sondern dass er zu viel hilft. Allzweckmodelle sind darauf optimiert, reaktionsfähig und vollständig zu sein. Wenn jemand eine klinische Frage stellt, erzeugt diese Optimierung eine zuversichtliche, klinisch klingende Antwort, weil sich Verweigerung für das Modell wie ein Versagen anfühlt. Die Sicherheitsarbeit besteht darin, Systemen beizubringen, dass eine unvollständige Antwort mit einer Überweisung die richtige Antwort ist.“

„Für Plattformanbieter bedeutet das in der Praxis, dass Grenzen architektonisch und nicht nur beratend umgesetzt werden müssen. Ein Hinweis am Seitenende übersteht kein Gespräch mit zwanzig Nachrichten. Wirksame Einschränkungen sind diejenigen, die von Anfang an in den Umfang eines Agenten eingebaut sind. Deshalb halten wir unsere Agentenbibliothek vollständig aus dem Bereich von Diagnosen und Verschreibungen heraus, statt zu versuchen, dies im Gespräch zu kontrollieren.“

— Jenova Product Team, 6 Jahre Erfahrung im Aufbau von Multi-Agent-AI-Systemen in über 70 Ländern

Forschende weisen außerdem auf eine Messlücke hin. John Torous, Direktor der Digital Psychiatry Division am Beth Israel Deaconess Medical Center, erklärt, dass Forschende „keine Liste von durch AI verursachten Schäden oder Methoden zu deren Messung haben“ und dass „die Schäden bislang schlicht nicht gemessen wurden, da es keine standardisierten Protokolle gibt“ (National Academy of Medicine). Das Fehlen dokumentierter Schäden ist kein Sicherheitsbeleg – es ist ein Beleg für fehlende Messinstrumente.

Wie sieht die Regulierung aus, und warum schützt sie Sie noch nicht?

Die Regulierung bietet im Jahr 2026 begrenzten Schutz, weil die meisten KI-Tools für psychische Gesundheit gezielt so strukturiert sind, dass sie nicht unter die Aufsicht für Medizinprodukte fallen. Die Regeln auf Ebene der Bundesstaaten, die diese Lücke füllen, ändern sich zudem häufig und unterscheiden sich je nach Zuständigkeit.

Die kategoriale Struktur ist wichtig. Die APA unterscheidet drei Stufen: Allzweck-GenAI-Chatbots (unreguliert, ohne Ansprüche im Bereich psychische Gesundheit, werden jedoch trotzdem dafür genutzt – mit „wenig bis keiner Evidenzbasis, Expertenbeteiligung oder Überwachung nach Markteinführung“), Wellness-Apps mit GenAI (erheben keine medizinischen Ansprüche und werden daher nicht als Medizinprodukte reguliert) sowie Wellness-Apps ohne AI (nicht hinsichtlich Sicherheit oder Wirksamkeit reguliert und keinen Datenschutzgesetzen für das Gesundheitswesen unterworfen) (American Psychological Association).

Eine bundesweite Regulierung ist strukturell schwierig. Das Gremium der National Academy of Medicine kam zu dem Schluss, dass eine angemessene bundesweite Regulierung „die Entwicklung eines vollständig neuen Regulierungsparadigmas erfordern würde, das beweglich genug ist, sich mit der Technologie weiterzuentwickeln“. Es äußerte Zweifel, dass die Bundesregierung dies schaffen werde, wodurch ein „Flickenteppich von Gesetzen auf Ebene der Bundesstaaten bleibt, die sich häufig ändern“ (National Academy of Medicine).

Die Aktivitäten der Bundesstaaten sind real, aber uneinheitlich. Eine in JMIR Mental Health veröffentlichte Gesetzesübersicht aller 50 Bundesstaaten erfasste Gesetzesentwürfe, die „Nutzungen von AI im Bereich psychische Gesundheit, konkrete klinische Anwendungen oder Kontexte psychischer Gesundheit direkt als Regulierungsschwerpunkte benennen“ (JMIR Mental Health). Die Gesetzgebung zu AI-Therapie in Illinois hat bereits konkrete Auswirkungen auf den Markt: Ash ist deshalb im Bundesstaat nicht verfügbar (Wellness AI). Rechtsexperten weisen darauf hin, dass personenbezogene Daten, die von AI-Unternehmen für psychische Gesundheit verarbeitet werden, „einem oder mehreren Datenschutzgesetzen auf Ebene der Bundesstaaten oder des Bundes unterliegen können“, jedoch ohne einheitliche Abdeckung (Wilson Sonsini).

Der Datenschutz verdient eigene Aufmerksamkeit. AI-Tools für Verbraucher sind im Allgemeinen keine durch HIPAA erfassten Organisationen. Gespräche über Ihre psychische Gesundheit mit einem Allzweck-Chatbot genießen nicht den gesetzlichen Schutz, den Gespräche mit einem zugelassenen Kliniker haben – eine Lücke, die die obige Infografik für Kliniker ausdrücklich aufzeigt und die gleichermaßen für einzelne Nutzer gilt.

Praktische Konsequenz: Da die Aufsicht Grenzverletzungen nicht zuverlässig auffangen wird, bevor sie Sie erreichen, dienen die Warnzeichen in diesem Artikel als Ihre wichtigste Schutzmaßnahme. Der Wechsel von „Erkrankungen wie diese beinhalten X“ zu „Sie haben X“, von „Medikamente dieser Klasse wirken über Y“ zu „Ihre Dosis sollte Y sein“ und von „Hier ist eine Krisenhotline“ zu „Lassen Sie uns weiterreden“ zu erkennen, ist der Schutz, der derzeit verfügbar ist.

Welche legitimen, nicht-klinischen Möglichkeiten gibt es, AI ergänzend zur Versorgung psychischer Gesundheit zu nutzen?

AI-Tools sind für die Informations-, Organisations- und Vorbereitungsarbeit rund um die Versorgung psychischer Gesundheit tatsächlich nützlich. Ihr Nutzen liegt in allem, was an die klinische Begegnung angrenzt, nicht in der Begegnung selbst.

Die APA vertritt die Position, dass diese Technologien „nicht als Ersatz für eine qualifizierte Fachperson für psychische Gesundheit verwendet werden sollten, aber als unterstützende Ergänzung und nicht als Ersatz für eine laufende therapeutische Beziehung geeignet sein können“ (American Psychological Association).

Eindeutig zulässige Anwendungen:

📋 Vorbereitung auf Termine – Symptome, Zeitverläufe und Fragen vor einem Termin bei einem Kliniker organisieren
📚 Erklärung von Konzepten – verstehen, was CBT, DBT oder Expositionstherapie tatsächlich beinhalten
🔍 Organisation der Fachpersonensuche – Versicherungsbegriffe, Arten von Qualifikationen und Fragen für eine Erstaufnahme verstehen
✍️ Struktur für Tagebücher – Impulse und Rahmenwerke zur Reflexion, die anschließend Ihnen gehören
🧘 Allgemeine Praxis für Wohlbefinden – Meditationsanleitung, Schlafhygiene, Trainingsstruktur

Für zwei dieser Bereiche gibt es direkte nicht-klinische Unterstützungsmöglichkeiten. Der Meditation Guide von Jenova deckt die Auswahl passender Techniken und Übungsprogramme über kontemplative Traditionen hinweg ab, während der Fitness & Workout Coach Trainingsplanung und Fortschrittsverfolgung übernimmt – beide eindeutig im Bereich Wohlbefinden und nicht Behandlung. Keiner stellt Diagnosen, keiner verschreibt etwas, und keiner sollte als Krisenunterstützung behandelt werden.

Die Grenze in der Praxis richtig setzen – ein Vorbereitungsablauf:

Öffnen Sie ein Allzweck-AI-Tool mit einem klaren einordnenden Prompt (siehe das Muster im vorherigen Abschnitt).
Beschreiben Sie, was Sie organisieren möchten, nicht was Sie beurteilt haben möchten:

„Helfen Sie mir, eine Zusammenfassung dessen zu strukturieren, was ich in den letzten drei Monaten erlebt habe, damit ich es einem Psychiater klar schildern kann. Interpretieren Sie es nicht – helfen Sie mir nur, es chronologisch zu ordnen und Lücken zu identifizieren, die ich ausfüllen sollte.“
Prüfen Sie die Ausgabe selbst, bevor Sie sie irgendwohin mitnehmen.
Bringen Sie sie als Ihre Notizen zum Termin mit, nicht als Bericht.

Derselbe Ablauf funktioniert mit Headspace, Wysa oder einem Allzweck-Chatbot – das Tool ist weniger wichtig als die Einordnung. Für Kliniker, die AI bei der Dokumentation einsetzen, gelten andere Einschränkungen, aber das Prinzip bleibt bestehen: Unterstützendes Formulieren ist angemessen, klinische Entscheidungsfindung nicht, und identifizierende Klienteninformationen dürfen niemals in ein nicht HIPAA-konformes Tool eingegeben werden.

Der eindeutigste Grenztest: Wenn die Ausgabe einer AI beeinflussen würde, welche Medikamente Sie einnehmen, welche Diagnose Sie zu haben glauben oder ob Sie Notfallhilfe suchen, ist das Tool zu weit gegangen – unabhängig davon, wie hilfreich es sich in dem Moment angefühlt hat.