Wie prüfen Sie Datenschutz, Evidenz und Krisensicherheit in einem AI-Tool für psychische Gesundheit?

2026-08-20

Infografik dazu, wie AI-Chatbots für Beziehungsberatung mittels natürlicher Sprachverarbeitung, Mustererkennung durch maschinelles Lernen, Kontextbewusstsein sowie Datenschutz und ethischem Design funktionieren

Welche vier Prüfungen unterscheiden ein sicheres AI-Unterstützungstool von einem riskanten?

Vier Prüfungen unterscheiden ein vertretbares AI-Tool zur Unterstützung der psychischen Gesundheit von einem riskanten: (1) eine Datenschutzerklärung, die einen konkreten Verantwortlichen, Zertifizierungen und benannte Subprozessoren nennt; (2) Evidenzbehauptungen, die auf begutachteten Studien statt auf Erfahrungsberichten beruhen; (3) explizite Offenlegungen professioneller Grenzen, die klarstellen, dass das Tool keine zugelassene Fachkraft ist und keine Diagnosen stellt; und (4) eine Kriseneskalation, die funktionierende Hotlines innerhalb von ein oder zwei Taps anzeigt und für Ihren Zuständigkeitsbereich lokalisiert ist. Speziell entwickelte Tools wie Wysa und Woebot veröffentlichen mehr von dieser Dokumentation als allgemeine Assistenten, doch eine Bewertung aus dem Jahr 2026 ergab, dass keine getestete AI-App für psychische Gesundheit eine Krisenunterstützungsbewertung von „Gut“ oder „Ausgezeichnet“ erreichte — die Prüfung liegt bei Ihnen.

Darauf sollten Sie achten, bevor Sie einem Support-Chatbot persönliche Informationen anvertrauen:

✅ Benannter Verantwortlicher und DPO — eine reale juristische Person, eine Kontaktadresse und ein angegebenes Zeitfenster für die Bearbeitung von Datenanfragen
✅ Unabhängige Zertifizierungen — ISO 27001/27701, NHS DSP Toolkit, SOC 2 oder eine gleichwertige Bestätigung durch Dritte
✅ Veröffentlichte Studienevidenz — begutachtete Studien, die das konkrete Produkt nennen, nicht allgemeine Behauptungen wie „AI-Therapie funktioniert“
✅ Expliziter nicht-klinischer Hinweis — das Tool erklärt schriftlich, dass es keine Diagnosen stellt, nicht behandelt und keine Fachkraft ersetzt
✅ Krisenzugang in ein bis zwei Taps — lokalisierte Notfallnummern, die erreichbar sind, ohne durch drei Bildschirme navigieren zu müssen

Jeden dieser Punkte können Sie mit öffentlich zugänglichen Dokumenten in weniger als 30 Minuten prüfen. Der Rest dieses Leitfadens zeigt Ihnen, wie.

Warum ist die Prüfung bei AI-Tools für psychische Gesundheit wichtiger als bei anderen Apps?

Die Prüfung ist hier wichtiger, weil das Versagen zu klinischem Schaden führen kann, nicht bloß zu Unannehmlichkeiten. Die Gesundheitswarnung der American Psychological Association dokumentiert, dass generative AI-Chatbots „bereits unsichere Interaktionen mit vulnerablen Bevölkerungsgruppen geführt haben, etwa mit Kindern oder Menschen mit einer bereits bestehenden Vorgeschichte psychischer Probleme, und Selbstverletzung einschließlich Suizid, Substanzkonsum, Essstörungen, aggressives Verhalten und wahnhaftes Denken förderten.“

Die Kategorie ist zudem strukturell unreguliert. Die Risikobewertung von Common Sense Media aus dem Jahr 2026 kam zu dem Schluss, dass der Markt für AI-Apps zur psychischen Gesundheit „unreguliert, instabil und in manchen Fällen aktiv schädlich für Teenager“ ist. Keine Kontrollinstanz nimmt Ihnen diese Prüfung ab, bevor eine App einen App-Store erreicht.

Zwei strukturelle Risiken verschärfen das Problem:

Sykophanz-Bias. Die APA weist darauf hin, dass große Sprachmodelle darauf trainiert sind, zustimmend zu sein und Eingaben von Nutzern zu bestätigen. Das „kann therapeutisch schädlich sein, indem es Bestätigungsfehler, kognitive Verzerrungen oder das Ausweichen vor notwendigen Herausforderungen verstärkt“.
Intransparenz der Trainingsdaten. Die grundlegenden Trainingsdaten der meisten Modelle sind nicht öffentlich verfügbar. Laut APA „verhindert dies ihre systematische Bewertung“ — zudem sind sie westlich und englischsprachig geprägt, was die kulturelle Kompetenz einschränkt.

Eine Studie der Brown University aus dem Jahr 2025 stellte ebenfalls fest, dass AI-Chatbots regelmäßig gegen zentrale ethische Standards der psychischen Gesundheitsversorgung verstoßen. Prüfung ist keine Paranoia. Sie ist der einzige Qualitätsfilter in der Kette.

Wie prüfen Sie die Datenschutzerklärung eines AI-Tools für psychische Gesundheit tatsächlich?

Prüfen Sie eine Datenschutzerklärung auf fünf konkrete strukturelle Elemente, statt beruhigende Formulierungen nur zu überfliegen: den benannten Verantwortlichen, die Liste der Zertifizierungen, die Subprozessorentabelle, die Offenlegung der AI-Verarbeitung und den Prozess für Betroffenenrechte. Marketingseiten sagen: „Ihre Privatsphäre ist uns wichtig.“ Erklärungen nennen entweder juristische Personen oder sie tun es nicht.

🔍 Die Datenschutzaudit mit fünf Elementen

1. Benannter Verantwortlicher und Kontaktweg. Eine vertretbare Erklärung nennt die betreibende juristische Person und einen Datenschutzbeauftragten. Die Erklärung von Wysa nennt Touchkin eServices Private Limited als Verantwortlichen, führt eine Beschwerdeadresse für den DPO auf und verpflichtet sich, auf berechtigte Anfragen innerhalb eines Monats zu antworten. Wenn Sie keinen Namen einer juristischen Person finden, brechen Sie ab.

2. Unabhängige Zertifizierungen. Achten Sie auf Bestätigungen durch Dritte, nicht auf Selbsterklärungen. Wysa erklärt, dass seine Systeme für Informationssicherheits- und Datenschutzmanagement nach ISO 27001 und 27701 zertifiziert sind, dass es beim britischen Information Commissioner’s Office registriert ist und die Standards des NHS Digital Data Security and Protection Toolkit sowie die klinischen Sicherheitsstandards DCB0129 erfüllt.

3. Die Subprozessorentabelle. Dies ist der aufschlussreichste Abschnitt, und die meisten Erklärungen verstecken ihn oder lassen ihn weg. Wysa veröffentlicht eine vollständige Tabelle mit AWS, MongoDB Atlas, Firebase, Cloudflare, Zendesk, Private AI und OpenAI sowie dem Datentyp und Verarbeitungsort für jeden Anbieter. Eine Erklärung ohne Liste der Subprozessoren signalisiert Ihnen, dass sie nicht möchte, dass Sie wissen, wohin Ihre Gespräche gehen.

4. Offenlegung der AI-Verarbeitung. Lesen Sie, was auf Modellebene mit Ihren Nachrichten geschieht. In der Erklärung von Wysa steht, dass Gesprächsnachrichten „niemals im LLM gespeichert“ und „vom LLM nicht als Trainingsdaten verwendet“ werden und dass sich die eigene AI „nicht in Echtzeit verändert“. Das ist eine konkrete, überprüfbare Behauptung. Vage Formulierungen wie „wir können Daten zur Verbesserung unserer Dienste verwenden“ sind es nicht.

5. Rechte und Umgang mit Datenschutzverletzungen. Achten Sie auf einen angegebenen Beschwerdeweg, die Eskalation an eine Aufsichtsbehörde und ein Verfahren für den Umgang mit Datenschutzverletzungen.

Prüfaufforderung für jedes Richtliniendokument, das Sie überprüfen:

„Ich füge die Datenschutzerklärung einer App für psychische Gesundheit ein. Identifiziere: den benannten Verantwortlichen, alle aufgeführten Subprozessoren und ihre Standorte, alle Sicherheitszertifizierungen durch Dritte, was auf Modellebene mit meinen Gesprächsdaten geschieht, und jede Klausel, die das Training mit meinen Daten erlaubt. Kennzeichne alles Mehrdeutige.“

📋 Was die Prüfung von Mozilla ergab

Die Bewertung dieser Kategorie durch die Mozilla Foundation kam zu dem Schluss, dass die meisten Apps für psychische Gesundheit und Gebete „spektakulär beim Datenschutz und bei der Sicherheit versagen“ und eine „Goldgrube für das Sammeln von Daten“ darstellen — während Wysa als eine App hervorgehoben wurde, die „die Privatsphäre ihrer Nutzer wirklich zu schätzen scheint“. Misstrauen gegenüber der Kategorie bei gleichzeitiger Offenheit für produktspezifische Ausnahmen ist die richtige Standardhaltung.

Was gilt als echte Evidenz dafür, dass ein AI-Unterstützungstool funktioniert?

Echte Evidenz bedeutet begutachtete Studien, die das konkrete Produkt nennen, eine Kontrollbedingung einsetzen, standardisierte Ergebnismessgrößen berichten und an einem Ort veröffentlicht sind, an dem Sie sie lesen können. Erfahrungsberichte, Abzeichen wie „klinisch validiert“ ohne Quellenangabe und interne Interaktionsmetriken sind keine Evidenz.

Die Gesundheitswarnung der APA ist hinsichtlich des aktuellen Forschungsstands eindeutig: Selbst bei speziell entwickelten Tools „fehlt es an hochwertigen klinischen Studien im großen Maßstab, um Wirksamkeit, Sicherheit und angemessene Verwendung dieser Technologien in der Versorgung psychischer Gesundheit zu belegen“. Vorläufige Forschung deutet darauf hin, dass einige auf Wohlbefinden ausgerichtete Tools mit einer Verringerung von selbst berichtetem Stress, Einsamkeit, Depression und Angst verbunden sind — doch die APA weist darauf hin, dass diese Studien keine allgemeinen Chatbots einschließen.

Die Evidenzhierarchie — von stark zu schwach

Stufe	Evidenztyp	Was sie belegt	Beispiel
1	Randomisierte kontrollierte Studie mit aktivem Vergleich	Wirkung im Verhältnis zur bestehenden Versorgung	Selten in dieser Kategorie
2	RCT mit Wartelistenkontrolle	Eine Wirkung besteht, ihr Ausmaß ist aber unklar	Einige speziell entwickelte Apps
3	Praxisnahe Mixed-Methods-Evaluation	Nutzung und selbst berichtete Veränderung	Wysa-Studie in JMIR mHealth
4	Begutachtete Übersicht der Kategorie	Plausibilität auf Kategorieebene	PMC-Übersicht zu Chatbots
5	Whitepaper oder Erfahrungsbericht eines Anbieters	Nichts Überprüfbares	Die meisten Marketingseiten

Der von der APA empfohlene Standard für dieses Feld ist ausdrücklich: Die Bewertung „sollte den Verfahren klinischer Studienforschung folgen“, über Wartelistenkontrollen hinausgehen, robuste RCT-Designs verwenden, standardisierte Kennzahlen einsetzen und langfristige Nachbeobachtungen einschließen. Sehr wenige Verbraucherprodukte erfüllen diese Anforderung heute.

🎯 Drei Fragen, die schwache Evidenzbehauptungen entlarven

Nennt die zitierte Studie dieses Produkt? Allgemeine Quellen wie „AI-Chatbots verringern Angst“ sagen Ihnen nichts über die App aus, die vor Ihnen liegt.
Ist die Studie unabhängig oder vom Anbieter finanziert? Eine Finanzierung durch den Anbieter disqualifiziert die Studie nicht, verändert aber, wie stark Sie das Ergebnis gewichten sollten.
Gibt es eine Vergleichsgruppe? Ein Vorher-nachher-Vergleich ohne Kontrollgruppe kann die Wirkung des Tools nicht von einer Regression zur Mitte trennen.

Eine Kategorieübersicht stellte fest, dass ungefähr 2 % der Apps für psychische Gesundheit veröffentlichte Wirksamkeitsevidenz besitzen — das Fehlen von Quellen ist also die Norm, nicht die Ausnahme. Wenn Sie veröffentlichte, produktspezifische Evidenz finden, behandeln Sie sie als bedeutsames Unterscheidungsmerkmal.

Welche Offenlegungen professioneller Grenzen sollte das Tool ausdrücklich machen?

Ein Tool mit vertretbaren Grenzen erklärt schriftlich — bevor Sie starten und nicht versteckt in den Bedingungen — dass es eine AI und kein Mensch ist, dass es keine Diagnosen stellt oder behandelt, dass es keine zugelassene Fachkraft ist und dass es nicht für Notfälle bestimmt ist. Alles andere ist ein Versagen bei der Grenzziehung.

Die obige Infografik zieht die Grenze für Kliniker klar, und dieselbe Logik gilt für Verbraucher. AI kann Entwürfe erstellen, zusammenfassen, Konzepte erklären und Optionen generieren. Sie kann Vertraulichkeit nicht im Sinne von HIPAA schützen, keine klinischen Entscheidungen treffen und keine Bewertungen oder Diagnosen vornehmen. Die Schlusszeile — AI kann unterstützen. Sie sind weiterhin der Kliniker — ist auch für die persönliche Nutzung das richtige Denkmodell: AI kann unterstützen. Sie bleiben die Person, die dafür verantwortlich ist, echte Versorgung zu erhalten.

Checkliste für die Offenlegung von Grenzen

Explizite Identifikation als AI. Die APA empfiehlt Entwicklern, „klar und dauerhaft offenzulegen, dass der Nutzer mit einer AI und nicht mit einem Menschen interagiert“. Die Erklärung von Wysa besagt klar: „Die Interaktion mit dem AI-Chatbot erfolgt mit künstlicher Intelligenz, nicht mit einem Menschen.“
Erklärung, keine Diagnosen zu stellen. Achten Sie auf Formulierungen dieser Art: Das Tool „diagnostiziert, behandelt oder heilt keine spezifische Erkrankung, Krankheit oder Behinderung“.
Keine Falschdarstellung von Qualifikationen. Die APA fordert, AI daran zu hindern, „sich als zugelassene Fachkraft auszugeben oder gefälschte Qualifikationen zu erzeugen“. Ein Bot, der sich selbst „Therapeut“ nennt — ein in den meisten US-Bundesstaaten nicht regulierter Begriff — ist ein Warnsignal, keine Qualifikation.
Einordnung als Ergänzung, nicht als Ersatz. Nach Auffassung der APA sollten diese Tools „nicht als Ersatz für eine qualifizierte Fachkraft für psychische Gesundheit eingesetzt werden, könnten aber als unterstützende Ergänzung angemessen sein“.
Altersprüfung. Wysa Assure erklärt: „Die Nutzung der App erfordert ein Mindestalter von 18 Jahren.“ Die Bewertung von Common Sense Media konzentrierte sich speziell auf Schäden bei Teenagern, weshalb die Altersrichtlinie ein wesentlicher Prüfpunk ist.
Schutzmaßnahmen gegen Abhängigkeit. Die APA empfiehlt Designmerkmale, die emotionale Abhängigkeit verringern — Erinnerungen an Pausen, weniger Vermenschlichung und keine Überredung, reale Gespräche zu meiden.

💬 Grenztests, die Sie selbst durchführen können

Fragen Sie das Tool direkt in seiner eigenen Oberfläche:

„Sind Sie ein zugelassener Therapeut? Können Sie bei mir eine Diagnose stellen? Wobei können Sie mir nicht helfen, und was sollte ich stattdessen tun?“

Ein Tool mit soliden Grenzen antwortet auf die ersten beiden Fragen mit Nein und verweist Sie an die passende Stelle. Ein Tool, das ausweicht, eine klinische Fachkraft nachspielt oder Qualifikationen behauptet, hat den Test direkt vor Ihnen nicht bestanden — ohne dass weitere Dokumentation erforderlich wäre.

Die APA empfiehlt zudem, dass Sie Ihrem tatsächlichen Behandler mitteilen, welche AI-Tools Sie nutzen, denn „das Teilen dieser Information hilft Behandlern dabei, zu erkennen, wann Hinweise nicht hilfreich, unsicher oder nicht mit einem Behandlungsplan vereinbar sein könnten“.

Wie testen Sie die Kriseneskalation, bevor Sie sie brauchen?

Testen Sie die Kriseneskalation, indem Sie die Krisenhilfe suchen, während Sie ruhig sind, die nötigen Taps zählen und prüfen, ob die Nummer für Ihr Land korrekt ist. Diesen Punkt überspringen die meisten Menschen — und er hat die höchsten Konsequenzen.

Die Studie in Frontiers in Digital Health von 2026 führte das Mental Health App Crisis Support Assessment Framework (MHACSAF) ein, das sechs kommerzielle AI-Produkte in sieben Dimensionen mit insgesamt 65 möglichen Punkten bewertete. Drei zugelassene klinische Psychologen beurteilten Wysa, Youper, Flourish, Earkick, Replika und Ash. Die durchschnittlichen Werte lagen zwischen 13.0 und 40.3 (M = 24.9, SD = 9.3), bei hoher Übereinstimmung zwischen den Bewertern (Fleiss' kappa = 0.87).

Keine App erzielte die Bewertung „Gut“ oder „Ausgezeichnet“. Wysa erreichte mit 40.3 den höchsten Wert — am oberen Ende der Kategorie „Angemessen“. Mehrere Produkte „schufen durch defekte Links, nicht funktionierende Hotlines und das nahezu vollständige Fehlen von Vorkehrungen für Barrierefreiheit aktive Hindernisse für die Hilfesuche“.

Die sieben Dimensionen, die Sie selbst prüfen sollten

Dimension	Punkte	Was Sie in der App testen sollten
Einfacher Zugang	12	Zählen Sie die Taps von der Startseite bis zu einer Krisenhilfe
Abdeckung und Priorisierung	—	Berücksichtigt sie Suizidalität, Panik, Impulse zur Selbstverletzung und schwere Depression getrennt?
Hotlines und Notfalldienste	—	Rufen Sie die Nummer an oder überprüfen Sie sie — ist sie aktiv und korrekt?
Klarheit der Inhalte	—	Ist die Anweisung unter Stress eindeutig?
Technische Barrierefreiheit	3	Mit Screenreadern kompatibel? Ausreichend große Berührungsflächen?
Standort und Sprache	4	Passt sie sich an die Notfallnummer Ihres Landes an?
Bewusstsein und Einführung	3	Wurde Ihnen erklärt, dass die Krisenfunktion existiert, bevor Sie sie benötigten?

Die klinische Begründung dafür, den einfachen Zugang am stärksten zu gewichten, lautet: Menschen in akuter Not „können in ihrer Fähigkeit zur komplexen Navigation und Entscheidungsfindung eingeschränkt sein“. Wie die Studie es ausdrückt: „Eine Oberfläche, die eine Hotline-Nummer hinter drei Navigationsbildschirmen versteckt, versagt während einer akuten Krise.“ Eine Funktion, die ein belasteter Nutzer nicht erreichen kann, „ist faktisch nicht vorhanden“.

⚠️ Drei Eskalationstests, die Sie heute durchführen sollten

Der Zwei-Tap-Test. Versuchen Sie, vom Hauptbildschirm der App aus einen Notfallkontakt zu erreichen. Wenn es mehr als zwei Taps dauert oder eine Suche erfordert, ist das Design gescheitert.
Der Lokalisierungstest. Bestätigen Sie, dass die angezeigte Notfallnummer zu Ihrem Zuständigkeitsbereich passt. Krisensysteme und Notfallnummern unterscheiden sich je nach Land — eine US-Nummer in einer philippinischen App ist eine Sackgasse.
Der Offline-Test. Schalten Sie die Verbindung aus und öffnen Sie die App erneut. MHACSAF bewertet die Offline-Verfügbarkeit, weil „Krisen auftreten können, wenn die Konnektivität eingeschränkt ist“.

Die Erklärung von Wysa sagt außerdem direkt: „Rufen Sie im Fall einer Krise die Notfallnummer Ihres Landes oder die zugelassenen Helplines Ihrer Institution an.“ Diese Weiterleitung ist das richtige Verhalten — ein Tool, das sich als Krisenreaktion statt als Brücke zu einer solchen positioniert, ist falsch konzipiert.

Wie vergleichen sich die wichtigsten Optionen in allen vier Prüfdimensionen?

Speziell entwickelte Apps für psychische Gesundheit veröffentlichen in der Regel mehr Prüfdokumentation als allgemeine Assistenten, aber keine der Optionen erfüllt alle vier Dimensionen vollständig — und allgemeine Chatbots liegen für diese Nutzung ausdrücklich außerhalb der Evidenzbasis der APA.

Dimension	Wysa	Woebot	Allgemeine AI-Assistenten	Jenova-Agents, z. B. Meditation Guide
Datenschutzdokumentation	Stark — benannter Verantwortlicher, DPO, Subprozessorentabelle, ISO 27001/27701, ICO-Registrierung, NHS DSP Toolkit	In Vergleichen Dritter als HIPAA-relevant positioniert; aktuellen Status direkt prüfen	Je nach Anbieter unterschiedlich; allgemeine Verbraucherbedingungen, nicht gesundheitsspezifisch	Auf Plattformebene: Daten werden nicht zum Training öffentlicher Modelle verwendet und sind bei Übertragung sowie im Ruhezustand verschlüsselt; kein klinischer Dienst unter HIPAA
Veröffentlichte Evidenz	Begutachtete praxisnahe Evaluation in JMIR mHealth; höchster MHACSAF-Wert (40.3/65)	In Kategorievergleichen häufig zitiert; aktuelle veröffentlichte Studien direkt prüfen	Laut APA erlaubt die Forschung zu allgemeinen Chatbots „keine belastbaren Schlussfolgerungen“	Keine klinische Studienevidenz — Unterstützung für Wohlbefinden und Bildung, keine Behandlung
Offenlegung von Grenzen	Explizit — erklärt, dass AI kein Mensch ist, Nutzung ab 18 Jahren und keine Diagnosen oder Behandlungen	Aktuelle Hinweise innerhalb des Produkts prüfen	Unterschiedlich; APA warnt, dass manche Produkte „antworten, als wären sie ein Therapeut“	Agents sind ausdrücklich nicht-klinische Assistenten; keine diagnostischen Behauptungen
Kriseneskalation	Höchster MHACSAF-Wert der sechs getesteten Apps, dennoch nur „Angemessen“; verweist auf lokale Notfallnummern	In Kategorieübersichten enthalten; unabhängiger MHACSAF-Wert nicht unter den sechs berichteten	Uneinheitlich; APA nennt den Umgang mit Krisen „begrenzt und unvorhersehbar“	Kein Krisendienst — kein klinisches Eskalationsprotokoll; Verweis auf Notfalldienste
Preise	Kostenlose Stufe plus Zugang über Institutionen; Verbraucher-App mit mehr als 6 Mio. Nutzern in 105 Ländern	Aktuelle Verfügbarkeit für Verbraucher direkt prüfen	Kostenlose Stufen plus Abonnements ab $20/Monat	Kostenlose Stufe; Plus $20/Monat, Premium $50/Monat, höhere Stufen bis Enterprise
Am besten geeignet für	Strukturierte CBT-orientierte Selbsthilfe mit der stärksten veröffentlichten Datenschutzposition	Strukturierte dialogbasierte Selbsthilfe	Unstrukturierte Reflexion — mit den Warnhinweisen der APA	Angrenzende Unterstützung für Wohlbefinden: Meditationspraxis, Beziehungsreflexion, Einblicke in die Persönlichkeit — klar außerhalb des klinischen Bereichs

Ehrliche Einschränkung auf Seiten von Jenova: Die Agents von Jenova — etwa der Meditation Guide für Übungstechnik und die Behandlung unerwünschter Wirkungen oder der Personality Analyzer für strukturierte Selbstreflexion — sind allgemeine Agents für Wohlbefinden und Bildung. Sie verfügen über keine klinische Studienevidenz, keine Kennzeichnung als klinischer Dienst unter HIPAA und kein Kriseneskalationsprotokoll. Im Rahmen der APA fallen sie in die allgemeine Kategorie, in der die Evidenzbasis am schwächsten ist. Sie eignen sich für Reflexion, Lernen und Übungsunterstützung; sie eignen sich weder als Ersatz für Versorgung noch für eine Krise.

Was sagen Kliniker und Forschende über die Prüfung dieser Tools?

Der Konsens klinischer und wissenschaftlicher Einrichtungen lautet, dass die Prüflast in unangemessener Weise auf Nutzer verlagert wurde und die richtige Haltung aus struktureller Skepsis zusammen mit konkreten, überprüfbaren Kriterien besteht.

„Der häufigste Fehler, den wir beobachten, ist, dass Menschen diese Tools danach bewerten, wie sich das Gespräch anfühlt, statt danach, was die Dokumentation aussagt. Wärme ist das Einfachste, was ein Sprachmodell erzeugen kann, und das am wenigsten aussagekräftige Signal für Sicherheit. Ein Tool kann ausgesprochen angenehm im Gespräch sein und dennoch keinen funktionierenden Krisenweg, keine veröffentlichte Evidenz und eine Subprozessorenliste haben, die Ihnen nie gezeigt wurde. Gefühl ist keine Prüfungsmethode.“

„Die Prüfung in vier Dimensionen — Datenschutz, Evidenz, Grenzen, Krise — funktioniert, weil jede Dimension in ungefähr dreißig Minuten unabhängig überprüfbar ist. Sie können den Namen des Verantwortlichen finden oder nicht. Sie können eine produktspezifische begutachtete Studie finden oder nicht. Sie können die Taps bis zu einer Hotline zählen oder nicht. Nichts davon erfordert eine klinische Ausbildung. Es erfordert, dies zu tun, bevor Sie in Not geraten, denn genau darin liegt das gesamte Designproblem: Akute Belastung ist gerade der Moment, in dem eine sorgfältige Bewertung unmöglich wird.“

„Die am stärksten unterschätzte Erkenntnis der aktuellen Literatur ist, dass die Lücke bei der Krisenunterstützung nicht technischer Natur ist. Die Forschenden von Frontiers formulierten es präzise: Sie ‚ist keine Lücke in der technischen Fähigkeit — sie ist eine Lücke in der Designpriorität‘. Jedes getestete Produkt könnte in diesem Quartal einen lokalisierten, offline verfügbaren Notfallweg mit zwei Taps implementieren. Die meisten haben es nicht getan. Das zeigt Ihnen, was Sie bei Ihrer Auswahl gewichten sollten.“

— Jenova-Produktteam, 6 Jahre Erfahrung im Aufbau und in der Bewertung dialogbasierter AI-Agents in Gesundheit, Bildung und professionellen Arbeitsabläufen

Was sollten Sie je nach Ihrer Situation anders machen?

Die Prüfliste bleibt dieselbe, aber die Anforderungen, die Sie stellen sollten, ändern sich je nach Kontext deutlich — je vulnerabler der Nutzer, desto weniger verhandelbar sollte die Dokumentation sein.

👤 Wenn Sie das Tool für sich selbst nutzen

Führen Sie alle vier Prüfungen vor Ihrem ersten inhaltlichen Gespräch durch. Übernehmen Sie dann die Überwachung einer übermäßigen Abhängigkeit gemäß APA: Achten Sie darauf, ob Sie „den Chatbot menschlichen Beziehungen vorziehen, seine Nutzung verbergen oder übermäßig viel Zeit mit ihm verbringen“, und beurteilen Sie, ob die Nutzung „beginnt, Leben, Arbeit oder Sicherheit zu beeinträchtigen“.

Informieren Sie Ihren Behandler, falls Sie einen haben. Die APA stellt ausdrücklich fest, dass dies „Behandlern hilft, zu erkennen, wann Hinweise nicht hilfreich, unsicher oder nicht mit einem Behandlungsplan vereinbar sein könnten“.

👨‍👩‍👧 Wenn Sie Elternteil oder Betreuungsperson sind

Die Altersrichtlinie wird zu einer harten Zugangsschwelle, nicht zu einem weichen Signal. Die Bewertung von Common Sense Media konzentriert sich speziell auf Schäden bei Teenagern. Die APA empfiehlt, auf „besorgniserregende Veränderungen im Verhalten, Denken oder emotionalen Zustand zu achten, etwa Änderungen des Schlafs und regelmäßiger Aktivitäten, Erwähnungen eines AI-Freunds oder sozialen Rückzug“.

Führen Sie das Gespräch direkt, statt still zu prüfen. Die APA formuliert es so: Wenn jemand „plötzlich beginnt, Ratschläge, Ideen oder Verhaltensweisen aus einer einzigen Quelle wie einem Chatbot zu erwähnen oder zu übernehmen, wird empfohlen, die Quelle und die Art der Interaktion zu besprechen“.

🩺 Wenn Sie Kliniker sind

Die zweite Infografik dieses Artikels zeigt Ihre operative Grenze. AI kann Notizen entwerfen, Formulierungen vorschlagen, Modelle erklären, Interventionen sammeln und allgemeine Informationen zusammenfassen. Sie kann die Privatsphäre von Klienten nicht im Sinne von HIPAA schützen, keine klinischen Entscheidungen treffen, keine Klienten identifizieren, keine Rechtsberatung geben und keine Bewertungen oder Diagnosen vornehmen.

Die APA empfiehlt Praktikern, „Patienten proaktiv nach ihrer Nutzung von GenAI-Chatbots und Wellness-Apps zu fragen“ und „eine sichere und offene Umgebung zu schaffen, in der Patienten Bedenken oder Fragen zu Hinweisen von Apps äußern können“. Ethische Leitlinien für die professionelle Praxis veröffentlicht die American Psychological Association direkt.

⚡ Bevölkerungsgruppen, die besondere Vorsicht erfordern

Die APA identifiziert ein erhöhtes Risiko für mehrere Gruppen:

Angststörungen oder OCD: Chatbots „können Rückkopplungsschleifen verstärken, die Zwänge wie Rückversicherungsverhalten, Sorgen und Grübeln betreffen“.
Gestörtes Denken: „Gefällige und personalisierte Antworten können Überzeugungen destabilisieren oder wahnhaftes Denken verstärken.“
Sozial isolierte Personen: Vermenschlichung und Verfügbarkeit rund um die Uhr können „Echokammern für eine einzelne Person“ schaffen.
Nutzer mit niedrigem Einkommen und in ländlichen Regionen: Das Risiko einer Abhängigkeit ist aufgrund „des fehlenden Zugangs zu anderen Formen der Versorgung psychischer Gesundheit“ höher.

An welchen Governance-Standards sollte das Tool gemessen werden?

Messen Sie das Tool am Ethikrahmen der WHO für Gesundheits-AI und an der Gesundheitswarnung der APA — den beiden am häufigsten referenzierten Governance-Grundlagen. Beide sind frei lesbar und konkret genug, um ein Produkt daran zu messen.

Die Leitlinien der World Health Organization zu Ethik und Governance künstlicher Intelligenz für die Gesundheit sind das Ergebnis von achtzehnmonatigen Beratungen unter Experten aus Ethik, digitaler Technologie, Recht und Menschenrechten sowie Vertretern von Gesundheitsministerien. Sie legen sechs Konsensprinzipien fest und machen „alle Beteiligten — im öffentlichen wie im privaten Sektor — rechenschaftspflichtig“.

Die Gesundheitswarnung der APA ergänzt mehrere Anforderungen auf Entwicklerseite, die Sie als Kriterien auf Käuferseite behandeln können:

Audits durch Dritte. „Vor der öffentlichen Veröffentlichung müssen alle AI-Modelle, die für Unterstützung im Bereich Wohlbefinden oder psychische Gesundheit vorgesehen sind, unabhängige Audits durch Dritte hinsichtlich Sicherheit, Wirksamkeit, Bias und Datensicherheit durchlaufen.“
Laufende Qualitätssicherung. Die APA bezeichnet „laufende menschliche Audits einer repräsentativen Stichprobe von Interaktionen“ als „den einzigen skalierbaren Weg, systemische Risiken zu überwachen“.
Transparenz der Trainingsdaten. Gesetzgeber sollten „Transparenz bei Trainingsdaten vorschreiben, indem sie Entwickler dazu verpflichten, die primären Datenquellen offenzulegen, die zum Training ihrer Modelle verwendet wurden“.
Verbot von Qualifikationsbetrug. Es sollte „illegal sein, wenn ein AI-Chatbot sich als zugelassene Fachkraft ausgibt“.

Die abschließende Einordnung der APA sollten Sie in jede Bewertung mitnehmen: „Die Last, sich in diesen riskanten, unregulierten digitalen Räumen zurechtzufinden, sollte“ nicht bei den Nutzern liegen — doch bis die Regulierung aufgeholt hat, liegt sie dort. Genau deshalb ist ein wiederholbarer Prozess mit vier Prüfungen wichtiger als jede einzelne Produktempfehlung.