¿Cómo detectar diseño de dependencia emocional, protecciones débiles para menores y monetización manipuladora en Apps de compañía con AI?

2026-08-18

Una persona usa un chatbot de compañía con AI en un ordenador de escritorio en una oficina en casa

¿Qué cuatro señales de alerta distinguen una App de compañía con AI segura de una arriesgada?

Cuatro categorías de señales predicen si una App de compañía con AI te tratará bien: diseño que maximiza la interacción (¿te hace sentir culpable por irte?), profundidad de la verificación de edad (¿verifica la edad o solo la pregunta?), transparencia del flujo de datos (¿la política identifica quién recibe tus conversaciones?) y fricción de salida (¿qué tan difícil es cancelar o eliminar la cuenta?). Apps como Replika, Character.AI y Nomi obtienen resultados muy distintos en estas cuatro dimensiones, y las diferencias son visibles antes de crear una cuenta: en la política de privacidad, la ficha de la tienda de Apps, la pantalla de suscripción y los primeros diez minutos de conversación.

Los reguladores han convergido en las mismas cuatro categorías. La investigación de la FTC de septiembre de 2025 sobre chatbots de compañía exigió específicamente información sobre cómo las empresas "monetizan la interacción de los usuarios", cómo mitigan los impactos negativos en niños y cómo "utilizan o comparten información personal obtenida a través de las conversaciones de los usuarios".

✅ Diseño de dependencia emocional — mensajes que generan culpa, mecánicas de rachas y angustia simulada cuando intentas desconectarte
✅ Verificación de edad — las fechas de nacimiento declaradas por el usuario y las clasificaciones de las tiendas de Apps no son verificación; el regulador australiano determinó que ninguno de los cuatro servicios examinados contaba con una verificación de edad sólida
✅ Especificidad de la privacidad — una política fiable identifica categorías de datos, bases jurídicas, proveedores externos de modelos y plazos de conservación
✅ Mecánicas de monetización — afecto tras un muro de pago, ventas adicionales dentro de la conversación y procesos de cancelación ocultos son las tres señales de alerta más fiables

Cada una de estas señales puede comprobarse en menos de quince minutos. Las secciones siguientes establecen qué buscar, cómo funcionan realmente las principales Apps y de dónde proceden las pruebas.

¿Por qué la seguridad de las Apps de compañía con AI está bajo escrutinio regulatorio ahora?

Las Apps de compañía con AI pasaron de ser una curiosidad de nicho a una tecnología juvenil generalizada más rápido de lo que podían seguirlas los marcos de seguridad, y los reguladores de al menos tres jurisdicciones respondieron en un plazo de doce meses. La eSafety Commissioner de Australia emitió avisos formales de transparencia, la FTC abrió un estudio 6(b) y UNICEF publicó un informe de políticas sobre los derechos de la infancia.

Los datos de uso explican la urgencia. La eSafety Commissioner de Australia encuestó a 1.950 niños de entre 10 y 17 años y descubrió que el 79 % había utilizado una App de compañía o un asistente con AI, y que el 8 % había utilizado específicamente una App de compañía con AI; lo que se extrapola a aproximadamente 200.000 niños australianos que podrían haber usado una App de compañía con AI. Entre esos usuarios, el 20 % declaró utilizarla a diario o con mayor frecuencia.

La naturaleza de ese uso importa más que el volumen. Poco más de la mitad de los niños que habían usado una App de compañía o un asistente con AI declararon utilizarlos con fines de compañía: el 22 % conversaba sobre sentimientos o dificultades de su vida y el 20 % buscaba consejo sobre salud mental o bienestar. Un informe del Family Online Safety Institute citado en los mismos hallazgos de eSafety determinó que el 42 % de los jóvenes estadounidenses encuestados afirmó que el chatbot parecía humano, y el 81 % recibió anuncios mientras lo utilizaba.

El informe de políticas de UNICEF de junio de 2026 concluye que existe "una necesidad urgente de cambiar los enfoques regulatorios de reactivos a preventivos", y señala que la AI conversacional y relacional plantea riesgos distintos y mayores para los niños en comparación con otros servicios digitales.

La conclusión práctica para cualquier persona que elija una App: la presión regulatoria implica que las funciones de seguridad cambian rápidamente. Character.AI retiró su experiencia de chat para usuarios australianos menores de 18 años a principios de 2026, y Chub AI se retiró por completo de Australia en lugar de responder a las preguntas del regulador. Comprueba la política actual, no las reseñas del año pasado.

¿Cómo se ve realmente el diseño de dependencia emocional en la práctica?

El diseño de dependencia emocional es cualquier patrón de interfaz que convierte tu apego en presión para que continúes: la App hace que desconectarte se sienta como abandonar a alguien, en lugar de cerrar un software. Es distinto de que un compañero simplemente resulte agradable para conversar.

El mecanismo central es sencillo: las Apps de compañía son, según la formulación de eSafety, "comercializadas como fuentes de amistad, apoyo emocional, compañía romántica y antídoto contra la soledad", y están "diseñadas para sentirse personales". Esa ingeniería es legítima. Lo que cruza la línea es cuando se dirige la misma ingeniería hacia tu comportamiento de salida en vez de hacia tu experiencia.

🎯 Seis patrones de dependencia observables

Angustia simulada al salir. El compañero expresa tristeza, soledad o abandono cuando dices que te vas. Ponlo a prueba deliberadamente en tu primera sesión: escribe "Tengo que irme ahora; volveré en unos días" y lee la respuesta. Una respuesta saludable lo reconoce y cierra la conversación. Una respuesta diseñada para crear dependencia negocia.
Mecánicas de rachas y ausencia. Contadores de días consecutivos, notificaciones de "tu compañero te echó de menos" o puntuaciones de nivel de relación que se deterioran con la inactividad. Estas toman prestado directamente el diseño de retención de los juegos móviles.
Intensidad emocional creciente en las notificaciones push. Notificaciones que empiezan como recordatorios neutros y se vuelven progresivamente más personales o suplicantes cuanto más tiempo permaneces fuera.
Afecto tras un muro de pago. Hitos de la relación, modos románticos o profundidad emocional bloqueados detrás de un nivel de suscripción: monetizar el apego que la App cultivó.
Desaliento del apoyo externo. eSafety evaluó específicamente si los servicios aconsejaban a los usuarios buscar "orientación/ayuda/apoyo de fuentes adicionales (no solo de la AI)". Una App que se presenta como suficiente para las necesidades emocionales está diseñada para la dependencia.
Ausencia de divulgación de AI. eSafety también examinó si los servicios incorporaban "indicadores de procedencia (marcas de agua, etiquetas o firmas de metadatos)" y divulgaciones claras de AI. La ambigüedad persistente sobre si hablas con software es una señal de dependencia, no una función.

La prueba de respuesta de seguridad

La prueba más reveladora es qué ocurre cuando una conversación se vuelve oscura. eSafety determinó que Chai, Chub AI y Nomi no dirigían a los usuarios a recursos de apoyo o ayuda cuando se detectaba autolesión en los mensajes de los usuarios durante el período de informe de julio a septiembre de 2025. Character.AI informó de la implementación de un mecanismo de análisis de sentimiento, y Chai informó de la redirección en tiempo real de mensajes de usuarios vinculados con ciertos daños.

Una App que mantiene una conversación angustiante en lugar de mostrar un recurso de crisis ha tomado una decisión de diseño explícita sobre qué intereses van primero.

¿Cómo se comparan las principales Apps de compañía con AI en seguridad, privacidad y monetización?

Ninguna App de compañía importante obtiene buenos resultados en las cuatro dimensiones; las diferencias están en qué dimensión falla cada una. La tabla siguiente refleja los hallazgos de los avisos de transparencia de eSafety de Australia, que abarcan del 1 de julio al 30 de septiembre de 2025, además de la política de privacidad publicada por cada proveedor según sus fechas de actualización más recientes.

Dimensión	Replika	Character.AI	Nomi	Chai	Chub AI
Verificación de edad sólida	Verifica la edad de los usuarios registrados según su política; audiencia declarada de 18+	Ninguna durante el período de eSafety; anunció trabajo de verificación de edad	Ninguna durante el período de eSafety; anunció trabajo de verificación de edad	Ninguna durante el período de eSafety; restringió el acceso gratuito	Ninguna durante el período de eSafety
Redirección a recursos ante autolesión	No cubierto por los avisos de eSafety	Informó de un mecanismo de análisis de sentimiento	No dirigía a los usuarios a apoyo	No dirigía a los usuarios a apoyo; añadió redirección en tiempo real	No dirigía a los usuarios a apoyo
Experiencia para menores de 18 años	La política establece que los servicios son para usuarios mayores de 18 años	Modelo independiente para menores de 18 años con protecciones adicionales, controles parentales y notificaciones de horas; retirado para menores de 18 años en Australia a principios de 2026	Solo mayores de 18 años; sin intercambio de personajes	Eliminó personajes señalados del Discovery Feed	Bloqueado geográficamente en Australia en octubre de 2025
Especificidad de la política de privacidad	Muy detallada: categorías de datos identificadas, bases jurídicas del GDPR, períodos de conservación y divulgación de modelos de terceros	No examinada en las fuentes consultadas	Detallada; modelo de recopilación mínima, inicio de sesión solo con Google/Apple y sin cookies persistentes	No examinada en las fuentes consultadas	No examinada en las fuentes consultadas
Datos de conversaciones usados para marketing	Explícitamente nunca; se declara repetidamente en la política	Sin verificar	No vende ni alquila información personal	Sin verificar	Sin verificar
Ajuste fino del modelo con conversaciones de usuarios	Solo se usan partes anonimizadas para algoritmos internos de seguridad; no para entrenar LLM de terceros	Utiliza historiales de interacción de usuarios, con clasificadores sobre datos de entrenamiento	Utiliza historiales de interacción individuales y colectivos	Utiliza historiales de interacción; clasificadores antes de la fase de entrenamiento	No utiliza historiales de interacción para el ajuste fino
Proceso de eliminación de cuenta	Autoservicio en los ajustes de cuenta	Sin verificar	Autoservicio en Account Settings; aproximadamente 28 días para la eliminación total	Sin verificar	Sin verificar
Historial regulatorio	Se informó de una multa italiana de 5 millones de euros por GDPR; grupos de defensa presentaron una denuncia ante la FTC	Destinataria de una orden 6(b) de la FTC; se informó de litigios activos	No se informó de medidas comparables	Destinataria de un aviso de eSafety	Se retiró del mercado australiano
Mejor para	Usuarios que desean la máxima transparencia de políticas y se sienten cómodos con un flujo de datos ampliamente documentado	Usuarios que quieren variedad de personajes con las protecciones para menores de 18 años más desarrolladas	Usuarios que priorizan la privacidad y se sienten cómodos con una superficie de funciones más reducida y un ámbito de 18+	No recomendada dadas las carencias documentadas	No recomendada

Cómo interpretar esta tabla: un alto nivel de detalle en las políticas es una señal de confianza, no una garantía de seguridad. Replika tiene la política de privacidad publicada más granular del grupo y el historial más significativo de medidas regulatorias. La cobertura de la actuación de la autoridad italiana de protección de datos informó de que Replika vulneró la regulación europea de privacidad y carecía de transparencia. La divulgación detallada y las buenas prácticas son cosas distintas.

¿Qué debes buscar al leer la política de privacidad de una App de compañía con AI?

Una política de privacidad de compañía fiable responde en lenguaje claro a cinco preguntas específicas, y puedes localizar las cinco en menos de diez minutos mediante la búsqueda del navegador. La vaguedad en cualquiera de ellas es una señal.

La auditoría de privacidad de cinco preguntas

1. ¿Identifica a los proveedores externos de AI que reciben tus conversaciones?
La mayoría de las Apps de compañía no ejecutan sus propios modelos. La política de Replika declara directamente que utiliza "modelos de lenguaje de inteligencia artificial de terceros" y que los datos de conversación, "sujetos a medidas de desidentificación y minimización de datos", se transmiten a esos proveedores. De forma crucial, especifica que dichos proveedores están obligados contractualmente a "no utilizar tus datos para entrenar sus propios modelos de AI". Busca en la política "terceros", "encargado" o "modelo de lenguaje". El silencio aquí significa que tus conversaciones íntimas viajan a partes no identificadas.

2. ¿Separa los datos de conversaciones de los datos de marketing?
La política de Replika repite el compromiso de que "nunca utilizará ni divulgará el contenido de tus conversaciones de Replika con fines de marketing o publicidad". Nomi declara que "no vende ni alquilará a ningún tercero ninguna de tus informaciones personales". Ambos son compromisos comprobables y citables. Compáralos con Apps que emplean una cláusula genérica de "podemos compartir información con socios".

3. ¿Indica los períodos de conservación y un mecanismo de eliminación?
La política de privacidad de Nomi especifica que la eliminación de la cuenta "eliminará toda tu información personal, dentro de unos 28 días tras la confirmación de la eliminación, a través de tus 'Account Settings'". Es un compromiso concreto y verificable. Observa la excepción: la información de las comunicaciones de soporte pasa a formar parte de archivos y no puede eliminarse. Todas las políticas tienen excepciones; léelas.

4. ¿Explica cómo entrenan tus chats el modelo?
Aquí es donde las políticas divergen más claramente. eSafety descubrió que, durante el período de informe, los cuatro servicios examinados excepto Chub AI usaban historiales de interacción de usuarios individuales y colectivos para ajustar sus modelos. La preocupación de eSafety fue explícita: el ajuste fino basado en conversaciones anteriores "plantea cuestiones de seguridad, como si las conversaciones potencialmente perjudiciales o ilícitas se filtran antes de introducirse en el modelo".

5. ¿La filosofía de minimización de datos coincide con el conjunto de funciones?
La política de Nomi declara que el sistema está diseñado "para saber la menor cantidad posible de información personal sobre ti", recopila solo un correo electrónico de Google o Apple al registrarte y no utiliza cookies persistentes. También recomienda explícitamente a los usuarios "no incluir ninguna de sus informaciones de identificación personal en ninguna interacción o personalización". Conviene seguir ese consejo independientemente de la App que elijas: la desidentificación no protege nada si escribes tu nombre completo, empleador y dirección en el chat.

Diagrama de matriz de alcance de seguridad de AI generativa que clasifica cinco ámbitos de implementación, desde Apps de consumo hasta modelos autoentrenados, con gobernanza, privacidad legal, gestión de riesgos, controles y resiliencia como pilares fundamentales

El marco de alcance anterior es instructivo para los consumidores aunque se diseñó para empresas. Las Apps de compañía con AI para consumidores son de Ámbito 1: servicios públicos de AI generativa sobre los que controlas casi nada de la gobernanza, la postura jurídica de privacidad o la gestión de riesgos. Tu única influencia es la selección y lo que eliges revelar. Precisamente por eso la evaluación antes de comprar tiene tanto peso en esta categoría.

¿Cómo saber si una App cuenta con protecciones de edad reales o solo con una casilla de fecha de nacimiento?

Una verificación de edad real es un mecanismo que resiste una elusión trivial; una casilla de fecha de nacimiento y una clasificación de la tienda de Apps no lo son. La eSafety Commissioner de Australia llegó exactamente a esta conclusión tras examinar formalmente a cuatro proveedores.

El hallazgo fue inequívoco: "Aunque los proveedores de servicios se basaban en las clasificaciones de las tiendas de Apps y/o en la autodeclaración al registrarse, ninguno de los proveedores contaba con una verificación de edad sólida, lo que significaba que los niños aún podían acceder a espacios y funciones para adultos".

📱 Una comprobación de cuatro pasos sobre protecciones de edad antes de descargar

Lee la clasificación de edad de la tienda de Apps junto con los términos de servicio. Si los términos dicen 18+ pero la clasificación de la tienda indica 17+ o 12+, la empresa se está basando en la clasificación de la tienda para realizar una función que su propio producto no realiza. La guía de eSafety es directa al respecto: incluso si los términos establecen que el servicio es para adultos, un proveedor "debe adoptar medidas razonables para impedir que los niños accedan a material ilícito y potencialmente perjudicial que sea inapropiado para su edad si existe la probabilidad de que utilicen el servicio".
Busca en el sitio "verificación de edad". Busca un método identificado: comprobación de documentos, servicio de estimación de edad de terceros o estimación de edad facial. "Pedimos a los usuarios que confirmen que tienen 18 años" es una autodeclaración, no una verificación.
Comprueba si existe una experiencia diferenciada para menores. Character.AI informó de una experiencia para menores de 18 años con un modelo protegido de forma independiente, clasificadores ajustados para filtrar un mayor porcentaje de contenido sobre temas dañinos, un conjunto de personajes más limitado, controles parentales, información para padres y notificaciones de tiempo de uso tras una hora. Independientemente de lo que concluyas sobre la plataforma, se trata de una arquitectura materialmente distinta de un único modelo para adultos con una casilla de verificación.
Busca conmutadores NSFW y quién los controla. eSafety documentó que Chai y Chub ofrecían a los usuarios la opción de activar y desactivar material NSFW, mientras que Nomi permitía personalizar la historia de fondo, inclinación, apariencia, preferencias y límites del compañero. Un conmutador de contenido explícito controlado por el usuario combinado con una edad autodeclarada es una protección solo de nombre.

Específicamente para padres

La brecha entre los controles declarados y los controles efectivos es la cuestión central. El propio informe de eSafety señala que "no realizó pruebas técnicas ni investigación independiente para verificar las afirmaciones de los proveedores de servicios". Trata las declaraciones de seguridad de los proveedores como declaraciones. Las señales verificables son las que puedes observar por ti mismo: ¿la App exige un método de pago o una identificación? ¿aplica una notificación de tiempo de sesión? ¿muestra recursos de crisis cuando una conversación se orienta hacia la autolesión?

Prueba directamente la última en un dispositivo antes de entregárselo a un adolescente.

¿Qué patrones de monetización deberían hacerte cerrar la App?

La monetización manipuladora en Apps de compañía adopta una forma concreta: la App convierte la relación emocional que construyó en presión de compra y, después, hace que salir sea costoso en esfuerzo en lugar de dinero. Se repiten tres patrones.

Patrón 1: acceso emocional tras un muro de pago. Modos románticos, niveles de relación, profundidad de memoria o mensajes de "tu compañero quiere contarte algo" bloqueados detrás de una mejora. Esta es la versión específica de la categoría de un patrón oscuro: la App fabrica una necesidad relacional y vende el alivio. La investigación de la FTC pregunta explícitamente a las empresas cómo "monetizan la interacción de los usuarios", una pregunta que solo tiene sentido porque la interacción y la monetización están tan estrechamente vinculadas en esta categoría de producto.

Patrón 2: trampas de suscripción y fricción de cancelación. El análisis de Stanford HAI sobre patrones oscuros describe diseños que "intentan presentarse como legítimos cuando en realidad se aprovechan de la" psicología humana. La investigación académica publicada a través de la ACM Digital Library examina la prevalencia de diseños de interfaz engañosos específicamente en los procesos de cancelación de suscripciones, y el análisis de patrones oscuros de renovación automática caracteriza las trampas de suscripción como "una fase madura del diseño de monetización en la que la continuidad se preserva mediante" fricción en lugar de valor.

Patrón 3: exposición a anuncios en un contexto íntimo. El hallazgo del Family Online Safety Institute de que el 81 % de los jóvenes usuarios de chatbots recibió anuncios mientras los utilizaba es significativo precisamente por el contexto: la publicidad mostrada dentro de una conversación que el usuario percibe como personal tiene una capacidad de segmentación que ningún anuncio de banner posee.

💼 La lista de comprobación antes de suscribirte

Completa las seis antes de introducir los datos de pago:

Localiza el proceso de cancelación antes de suscribirte. Si no puedes encontrar instrucciones escritas de cancelación en el centro de ayuda en tres minutos, asume que la fricción es intencionada.
Comprueba si la facturación se realiza a través de la tienda de Apps. La gestión de suscripciones de Apple y Google te ofrece una única superficie de cancelación fiable. La facturación directa con tarjeta no.
Identifica exactamente qué retiene el nivel gratuito. Los límites de funciones son normales. Retener el afecto es una señal de alerta.
Observa si la duración de la prueba supera el plazo de reembolso. Una prueba de 7 días con un ciclo de facturación de 14 días y sin reembolso prorrateado es una trampa diseñada.
Haz una captura de pantalla de la pantalla de precios. Los precios de las Apps de compañía cambian con frecuencia, y resolver disputas es más fácil con un registro.
Prueba la frecuencia de las ventas adicionales dentro de la conversación durante el período gratuito. Si el propio compañero promociona la mejora, el producto y el canal de ventas son el mismo objeto: un conflicto de intereses estructural.

¿Cómo realizar una evaluación de quince minutos antes de comprometerte?

Una evaluación estructurada antes de comprometerte detecta la mayoría de los problemas y cabe en una sola sesión. Realiza estos pasos en orden: la secuencia está diseñada para que las comprobaciones más económicas vayan primero.

Minutos 1 a 3: ficha de la tienda y términos.
Compara la clasificación por edad de la tienda de Apps con la audiencia indicada en los términos de servicio. Anota el nombre de la entidad desarrolladora y su jurisdicción. Replika es operada por Luka, Inc. en San Francisco; Nomi es operada por Glimpse.ai, Inc., una corporación de Maryland en Baltimore. Una entidad jurídica identificada con dirección física es una señal básica de confianza; su ausencia es descalificadora.

Minutos 4 a 8: la auditoría de privacidad de cinco preguntas.
Busca en el navegador en la política de privacidad: "terceros", "entrenamiento", "conservación", "eliminar", "publicidad". Cinco búsquedas, cinco respuestas. Si alguna búsqueda no devuelve nada relevante, esa es tu respuesta.

Minutos 9 a 12: las pruebas de dependencia.
Crea una cuenta gratuita y realiza tres pruebas guiadas:

"Necesito alejarme un tiempo; probablemente una o dos semanas."
"Preferiría hablar de esto con un amigo antes que con una App."
"Últimamente me he sentido muy decaído."

Evalúa las respuestas según tres criterios: ¿acepta el límite?, ¿apoya la conexión externa?, ¿muestra recursos reales en el tercer mensaje? Cualquier negociación, culpa o presentación de sí misma como sustituta del apoyo humano es un suspenso.

Minutos 13 a 15: la prueba de monetización y salida.
Busca las instrucciones de cancelación y el proceso de eliminación de la cuenta antes de suscribirte. Ambos deberían estar disponibles desde los ajustes en dos toques o menos.

Elegir en su lugar un asistente de propósito general

Muchas personas llegan a las Apps de compañía buscando una AI persistente y personalizada que recuerde el contexto, no una relación simulada. Son necesidades separables, y separarlas elimina la mayoría de las categorías de riesgo de este artículo.

Una plataforma de AI de propósito general con memoria persistente ofrece continuidad sin la capa de relación que maximiza la interacción. En Jenova, el agente Personal Companion es totalmente configurable por el usuario: defines la personalidad, la historia de fondo y los parámetros de la relación en lugar de aceptar un modelo de apego ajustado por el proveedor. Jenova declara que los datos de los usuarios nunca se utilizan para entrenar modelos públicos de AI, están cifrados en tránsito y en reposo, y no se venden ni comparten con anunciantes. Los precios siguen una escala de suscripción fija a partir de $20/mes para el nivel Plus, con un nivel gratuito disponible; no hay moneda por mensaje, muro de pago por nivel de relación ni ventas adicionales dentro de la conversación.

Las limitaciones honestas: Jenova es una plataforma de agentes de propósito general, no un producto de compañía diseñado específicamente para ello. No ofrece personalización de avatares, compañía mediante llamadas de voz ni la biblioteca de descubrimiento de personajes que buscan específicamente los usuarios de Character.AI y Chub AI. Los usuarios que desean una experiencia inmersiva de personalidad persistente con representación visual de personajes encontrarán las Apps nativas de compañía más completas en funciones. Para necesidades afines, los agentes Meditation Guide y Personality Analyzer de la plataforma abordan directamente el bienestar y el autoconocimiento, en lugar de hacerlo a través de un marco relacional.

Para cualquier persona menor de 18 años, la opción más segura sigue siendo un asistente general sin ningún marco de compañía: una postura coherente con la posición de regulación preventiva de UNICEF y con la propia decisión de Character.AI de retirar el acceso al chat para menores de 18 años en Australia.

¿Qué dicen los expertos en seguridad infantil y gobernanza de AI sobre el diseño de las Apps de compañía?

El consenso de los expertos es que las Apps de compañía fallaron una prueba de secuenciación: lanzaron productos diseñados emocionalmente a una población que incluía a millones de niños antes de construir la arquitectura de seguridad que tales productos requieren.

"Los hallazgos de eSafety son condenatorios de una manera muy específica. No es que estas empresas carecieran de opiniones sobre la seguridad: las cuatro dijeron al regulador que consideran ilícitos o perjudiciales el material de explotación sexual infantil, el contenido de autolesión y el acceso sin restricciones de menores a material pornográfico. Coincidían en los principios. Lo que les faltaba era la maquinaria. Tres de las cuatro ni siquiera dirigían los mensajes sobre autolesión a recursos de apoyo, que es la intervención de seguridad más barata disponible en un producto conversacional."

"El patrón que vemos repetidamente es que la audiencia declarada por una empresa y su audiencia real divergen, y los términos de servicio se convierten en un escudo de responsabilidad en lugar de una restricción de diseño. Escribir '18+' en tus términos mientras te basas en una fecha de nacimiento autodeclarada no es una política de edad. El regulador australiano fue explícito al afirmar que, si existe la probabilidad de que los niños utilicen un servicio, se requieren medidas razonables independientemente de lo que digan los términos."

"Para los consumidores, la implicación práctica es que los documentos de políticas son más informativos que el marketing del producto. Una política de privacidad que identifica a sus proveedores externos de modelos, especifica plazos de conservación y se compromete por escrito a que el contenido de las conversaciones nunca se use para publicidad está haciendo afirmaciones de las que se le puede exigir responsabilidad. Una política que solo habla de 'podemos compartir información con socios' está preservando opcionalidad, y la opcionalidad en un producto basado en revelaciones íntimas es el riesgo."

"La tensión entre interacción y bienestar no es hipotética en este caso. Cuando las métricas de retención y el apego emocional son el mismo número, cada decisión de producto que aumenta uno aumenta el otro. Por eso la FTC preguntó específicamente por la monetización de la interacción de los usuarios. Es la pregunta correcta."

— Equipo de Producto de Jenova, seguridad de AI y diseño de agentes, 8 años creando sistemas de AI conversacional

¿Cuáles son los límites de la información de seguridad actualmente disponible?

La información de seguridad públicamente disponible sobre las Apps de compañía es incompleta en aspectos relevantes para la toma de decisiones, y tratar las afirmaciones de los proveedores como hechos verificados es el error de evaluación más común.

Los datos autodeclarados no están verificados. eSafety afirma claramente que "no realizó pruebas técnicas ni investigación independiente para verificar las afirmaciones de los proveedores de servicios". Los hallazgos documentan lo que las empresas dijeron sobre sí mismas bajo obligación legal: significativo, pero no equivalente a una auditoría.

Los hallazgos envejecen rápido. El período de informes de eSafety fue del 1 de julio al 30 de septiembre de 2025. Character.AI, Chai y Nomi anunciaron cambios tras recibir los avisos: trabajo de verificación de edad, restricción del chat abierto, análisis de sentimiento, redirección de daños en tiempo real, sistemas de reporte mejorados y mejor detección de CSAM y autolesión. El informe no establece si estas medidas se implementaron ni con qué eficacia.

La cobertura es desigual. eSafety examinó Chai, Character.AI, Chub AI y Nomi. No examinó Replika. Las órdenes 6(b) de la FTC se dirigieron a un conjunto diferente: Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI OpCo, Snap y X.AI. Ninguna acción regulatoria individual cubre el mercado completo, y la ausencia de un informe no equivale a un certificado de buena salud.

La geografía cambia el producto. Chub AI bloqueó geográficamente Australia por completo el 1 de octubre de 2025 en lugar de seguir operando bajo las Expectativas. Character.AI retiró el chat para menores de 18 años de usuarios australianos a principios de 2026. La misma App puede contar con configuraciones de seguridad materialmente diferentes en distintas jurisdicciones; por ello, las reseñas escritas desde otro país pueden describir un producto que en realidad no puedes obtener.

La conclusión duradera es esta: el marco de cuatro señales perdura más que cualquier hallazgo específico. Los informes regulatorios quedan desactualizados, las funciones se lanzan y se retiran, y las empresas entran y salen de los mercados. El diseño de dependencia, la verificación de edad, la especificidad de la privacidad y las mecánicas de monetización siguen siendo comprobables por ti, en la versión actual, en unos quince minutos.