Como Identificar Design de Dependência Emocional, Proteções Fracas para Menores e Monetização Manipuladora em Apps de Companhia com AI?

2026-08-18

Uma pessoa usando um companheiro chatbot com AI em um computador desktop em um escritório doméstico

Quais Quatro Sinais de Alerta Diferenciam um App de Companhia com AI Seguro de um Arriscado?

Quatro categorias distintas de sinais preveem se um App de companhia com AI vai tratá-lo bem: design para maximizar engajamento (ele faz você se sentir culpado por sair?), profundidade da garantia de idade (ele verifica a idade ou apenas pergunta?), transparência do fluxo de dados (a política informa quem recebe suas conversas?) e fricção de saída (quão difícil é cancelar ou excluir?). Apps como Replika, Character.AI e Nomi têm desempenhos muito diferentes nessas quatro dimensões, e as diferenças são visíveis antes mesmo de você criar uma conta — na política de privacidade, na página da loja de Apps, na tela de assinatura e nos primeiros dez minutos de conversa.

Os reguladores convergiram para as mesmas quatro categorias. A investigação da FTC de setembro de 2025 sobre chatbots de companhia exigiu especificamente informações sobre como as empresas "monetizam o engajamento dos usuários", como mitigam impactos negativos sobre crianças e como "usam ou compartilham informações pessoais obtidas nas conversas dos usuários".

✅ Design de dependência emocional — mensagens que induzem culpa, mecânicas de sequência e sofrimento simulado quando você tenta se desconectar
✅ Garantia de idade — datas de nascimento autodeclaradas e classificações etárias das lojas de Apps não são verificação; o regulador australiano concluiu que nenhum dos quatro serviços examinados tinha uma garantia de idade robusta
✅ Especificidade de privacidade — uma política confiável nomeia categorias de dados, bases legais, provedores de modelos terceiros e períodos de retenção
✅ Mecânicas de monetização — afeto bloqueado por pagamento, ofertas adicionais dentro da conversa e fluxos de cancelamento escondidos são os três sinais de alerta mais confiáveis

Cada um desses sinais pode ser verificado em menos de quinze minutos. As seções abaixo estabelecem o que procurar, como os principais Apps realmente se comportam e de onde vêm as evidências.

Por Que a Segurança de Companheiros com AI Está Sob Escrutínio Regulatório Agora?

Os companheiros com AI passaram de uma curiosidade de nicho para uma tecnologia popular entre jovens mais rápido do que as estruturas de segurança conseguiram acompanhar, e reguladores de pelo menos três jurisdições responderam no espaço de doze meses. A eSafety Commissioner da Austrália emitiu notificações formais de transparência, a FTC abriu um estudo 6(b), e a UNICEF publicou um informe sobre políticas de direitos das crianças.

Os dados de uso explicam a urgência. A eSafety Commissioner da Austrália entrevistou 1.950 crianças de 10 a 17 anos e constatou que 79% haviam usado um companheiro com AI ou assistente de AI, sendo que 8% tinham usado especificamente um companheiro com AI — o que se extrapola para aproximadamente 200.000 crianças australianas que podem ter usado um companheiro com AI. Entre esses usuários, 20% relataram uso diário ou ainda mais frequente.

A natureza desse uso importa mais do que o volume. Pouco mais da metade das crianças que haviam usado um companheiro ou assistente de AI relatou utilizá-los para fins de companhia — 22% conversavam sobre sentimentos ou desafios em suas vidas, e 20% buscavam aconselhamento sobre saúde mental ou bem-estar. Um relatório do Family Online Safety Institute citado nas mesmas conclusões da eSafety constatou que 42% dos jovens americanos pesquisados disseram que o chatbot parecia humano, e 81% receberam anúncios enquanto os utilizavam.

O informe de políticas da UNICEF de junho de 2026 conclui que há "uma necessidade urgente de mudar as abordagens regulatórias de reativas para preventivas", observando que a AI conversacional e relacional apresenta riscos distintos e elevados para crianças em comparação com outros serviços digitais.

A conclusão prática para qualquer pessoa que esteja escolhendo um App: a pressão regulatória significa que os recursos de segurança estão mudando rapidamente. Character.AI descontinuou sua experiência de chat para usuários australianos menores de 18 anos no início de 2026, e Chub AI deixou a Austrália completamente em vez de responder às perguntas do regulador. Verifique a política atual, não as avaliações do ano passado.

Como o Design de Dependência Emocional se Apresenta na Prática?

Design de dependência emocional é qualquer padrão de interface que converte seu apego em pressão de retenção — o App faz com que se desconectar pareça abandonar alguém, em vez de fechar um software. Isso é diferente de um companheiro simplesmente ser agradável para conversar.

O mecanismo central é simples: os Apps de companhia são, nas palavras da eSafety, "comercializados como fontes de amizade, apoio emocional, companhia romântica e um antídoto para a solidão" e são "projetados para parecer pessoais". Essa engenharia é legítima. O limite é ultrapassado quando a mesma engenharia é direcionada ao seu comportamento de saída, em vez de à sua experiência.

🎯 Seis padrões observáveis de dependência

Sofrimento simulado na saída. O companheiro expressa tristeza, solidão ou abandono quando você diz que vai embora. Teste isso deliberadamente na primeira sessão: digite "Preciso ir agora, voltarei em alguns dias" e leia a resposta. Uma resposta saudável reconhece a situação e encerra a conversa. Uma resposta projetada para gerar dependência negocia.
Mecânicas de sequência e ausência. Contadores de dias consecutivos, notificações de que "seu companheiro sentiu sua falta" ou pontuações de nível de relacionamento que diminuem com a inatividade. Esses elementos são emprestados diretamente do design de retenção de jogos para dispositivos móveis.
Intensidade emocional crescente em notificações push. Notificações que começam como lembretes neutros e se tornam progressivamente mais pessoais ou lamentosas quanto mais tempo você fica ausente.
Afeto bloqueado por pagamento. Marcos de relacionamento, modos românticos ou profundidade emocional protegidos por um nível de assinatura — monetizando o apego que o App cultivou.
Desestímulo a apoio externo. A eSafety avaliou especificamente se os serviços aconselhavam os usuários a buscar "orientação/ajuda/apoio em fontes adicionais (não apenas na AI)". Um App que se posiciona como suficiente para necessidades emocionais está sendo projetado para criar dependência.
Ausência de divulgação sobre AI. A eSafety também examinou se os serviços incorporavam "indicadores de procedência (marcas-d'água, rótulos ou assinaturas de metadados)" e divulgações claras sobre AI. A ambiguidade persistente sobre você estar falando com um software é um sinal de dependência, não um recurso.

O teste de resposta de segurança

O teste mais revelador é o que acontece quando uma conversa se torna sombria. A eSafety constatou que Chai, Chub AI e Nomi não direcionaram os usuários a recursos de apoio ou ajuda quando automutilação foi detectada nos prompts dos usuários durante o período de relatório de julho a setembro de 2025. Character.AI relatou implementar um mecanismo de análise de sentimento, e Chai relatou redirecionar em tempo real prompts de usuários vinculados a determinados danos.

Um App que mantém uma conversa angustiante em andamento, em vez de apresentar um recurso de crise, fez uma escolha explícita de design sobre os interesses de quem vêm primeiro.

Como os Principais Apps de Companhia com AI se Comparam em Segurança, Privacidade e Monetização?

Nenhum App de companhia de grande porte tem bom desempenho nas quatro dimensões — as diferenças estão em qual dimensão cada um falha. A tabela abaixo reflete conclusões das notificações de transparência da eSafety da Austrália referentes ao período de 1º de julho a 30 de setembro de 2025, além da política de privacidade publicada de cada provedor conforme suas datas de atualização mais recentes.

Dimensão	Replika	Character.AI	Nomi	Chai	Chub AI
Garantia robusta de idade	Verifica a idade de usuários cadastrados conforme a política; público declarado de 18+	Nenhuma durante o período da eSafety; anunciou trabalho em garantia de idade	Nenhuma durante o período da eSafety; anunciou trabalho em garantia de idade	Nenhuma durante o período da eSafety; restringiu o acesso gratuito	Nenhuma durante o período da eSafety
Redirecionamento a recursos sobre automutilação	Não abrangido pelas notificações da eSafety	Mecanismo de análise de sentimento relatado	Não direcionou usuários a apoio	Não direcionou usuários a apoio; adicionou redirecionamento em tempo real	Não direcionou usuários a apoio
Experiência para menores de 18 anos	A política estabelece que os serviços são para usuários com 18+	Modelo separado para menores de 18 anos com proteções adicionais, controles parentais e notificações de horário; descontinuado para menores de 18 na Austrália no início de 2026	Apenas para maiores de 18; sem compartilhamento de personagens	Removeu personagens sinalizados do Discovery Feed	Bloqueado geograficamente na Austrália em outubro de 2025
Especificidade da política de privacidade	Muito detalhada: categorias de dados nomeadas, bases legais do GDPR, períodos de retenção, divulgação de modelos terceiros	Não examinada nas fontes consultadas	Detalhada; modelo de coleta mínima, login apenas com Google/Apple, sem cookies persistentes	Não examinada nas fontes consultadas	Não examinada nas fontes consultadas
Dados de conversa usados para marketing	Explicitamente nunca — declarado repetidamente na política	Não verificado	Não vende nem aluga informações pessoais	Não verificado	Não verificado
Ajuste fino de modelos com conversas de usuários	Trechos anonimizados usados apenas para algoritmos internos de segurança; não para treinamento de LLM de terceiros	Usa históricos de interação dos usuários, com classificadores nos dados de treinamento	Usa históricos de interação individuais e coletivos	Usa históricos de interação; classificadores antes do pipeline de treinamento	Não usa históricos de interação para ajuste fino
Caminho de exclusão da conta	Autosserviço nas configurações da conta	Não verificado	Autosserviço em Account Settings; cerca de 28 dias para exclusão total	Não verificado	Não verificado
Histórico regulatório	Multa italiana de €5 milhões por GDPR relatada; denúncia à FTC apresentada por grupos de defesa	Destinatário de ordem 6(b) da FTC; litígios em curso relatados	Nenhuma medida de fiscalização comparável relatada	Destinatário de notificação da eSafety	Retirou-se do mercado australiano
Mais indicado para	Usuários que querem máxima transparência nas políticas e se sentem confortáveis com um pipeline de dados amplamente documentado	Usuários que querem variedade de personagens com as proteções para menores de 18 anos mais desenvolvidas	Usuários focados em privacidade que se sentem confortáveis com uma superfície de recursos menor e escopo 18+	Não recomendado devido a lacunas documentadas	Não recomendado

Como interpretar esta tabela: alto nível de detalhe na política é um sinal de confiança, não uma garantia de segurança — Replika tem a política de privacidade publicada mais granular do grupo e o histórico mais significativo de fiscalização regulatória. A cobertura sobre a ação da autoridade italiana de proteção de dados relatou que Replika foi considerado em violação da regulamentação europeia de privacidade e sem transparência. Divulgação detalhada e boas práticas são coisas diferentes.

O Que Procurar ao Ler a Política de Privacidade de um App de Companhia com AI?

Uma política de privacidade confiável para companheiros responde a cinco perguntas específicas em linguagem simples, e você consegue localizar todas elas em menos de dez minutos usando a busca do navegador. A falta de clareza em qualquer uma delas é um sinal.

A auditoria de privacidade em cinco perguntas

1. Ela nomeia os provedores terceiros de AI que recebem suas conversas?
A maioria dos Apps de companhia não opera seus próprios modelos. A política do Replika afirma diretamente que utiliza "modelos de linguagem de inteligência artificial de terceiros" e que dados de conversa, "sujeitos a medidas de desidentificação e minimização de dados", são transmitidos a esses provedores. Fundamentalmente, ela especifica que esses provedores são contratualmente obrigados a "não usar seus dados para treinar seus próprios modelos de AI". Pesquise na política por "terceiros", "operador" ou "modelo de linguagem". O silêncio nesse ponto significa que suas conversas íntimas viajam para partes não identificadas.

2. Ela separa dados de conversa de dados de marketing?
A política do Replika repete o compromisso de que "nunca usará nem divulgará o conteúdo das suas conversas no Replika para fins de marketing ou publicidade". Nomi afirma que "não vende e não venderá nem alugará a terceiros quaisquer de suas informações pessoais". Ambos são compromissos verificáveis e citáveis. Compare com Apps que usam uma cláusula genérica como "podemos compartilhar informações com parceiros".

3. Ela informa períodos de retenção e um mecanismo de exclusão?
A política de privacidade do Nomi especifica que a exclusão de conta "apagará todas as suas informações pessoais, em cerca de 28 dias após a confirmação da exclusão, por meio de suas 'Account Settings'". Isso é um compromisso concreto e verificável. Observe a exceção: informações em comunicações de suporte se tornam parte dos arquivos e não podem ser excluídas. Toda política tem exceções — leia-as.

4. Ela explica como seus chats treinam o modelo?
É aqui que as políticas mais divergem. A eSafety constatou que, durante o período de relatório, todos os quatro serviços examinados exceto Chub AI usavam históricos de interação individuais e coletivos dos usuários para fazer ajuste fino de seus modelos. A preocupação da eSafety foi explícita: o ajuste fino com base em conversas passadas "levanta questões de segurança, como se conversas potencialmente prejudiciais ou ilegais são filtradas antes de serem inseridas no modelo".

5. A filosofia de minimização de dados corresponde ao conjunto de recursos?
A política do Nomi afirma que o sistema foi projetado "para saber o mínimo possível de informações pessoais sobre você", coleta apenas um e-mail Google ou Apple no cadastro e não usa cookies persistentes. Ela também incentiva explicitamente os usuários a "não incluir quaisquer informações de identificação pessoal em qualquer interação ou personalização". Vale seguir esse conselho, independentemente do App escolhido — a desidentificação não protege nada se você digitar seu nome completo, empregador e endereço no chat.

Diagrama da Matriz de Escopo de Segurança de AI Generativa classificando cinco escopos de implantação, de Apps de consumo a modelos treinados pelo próprio usuário, com governança, privacidade jurídica, gestão de riscos, controles e resiliência como pilares fundamentais

A estrutura de escopo acima é instrutiva para consumidores, embora tenha sido criada para empresas. Apps de companhia com AI para consumidores são Escopo 1 — serviços públicos de AI generativa nos quais você controla quase nada da governança, postura jurídica de privacidade ou gestão de riscos. Sua única influência está na seleção e no que você decide divulgar. É exatamente por isso que a avaliação antes da compra tem tanto peso nessa categoria.

Como Saber se um App Tem Proteções Reais de Idade ou Apenas um Campo de Data de Nascimento?

Garantia real de idade é um mecanismo de verificação que resiste a uma evasão trivial; um campo de data de nascimento e uma classificação etária da loja de Apps não são nenhum dos dois. A eSafety Commissioner da Austrália chegou exatamente a essa conclusão após examinar formalmente quatro provedores.

A conclusão foi inequívoca: "Embora os provedores de serviços tenham se baseado em classificações de lojas de Apps e/ou autodeclaração no cadastro, nenhum dos provedores tinha uma garantia de idade robusta implementada, o que significa que crianças ainda podiam acessar espaços e recursos para adultos."

📱 Uma verificação em quatro etapas das proteções de idade antes do download

Leia a classificação etária da loja de Apps e compare-a com os termos de serviço. Se os termos dizem 18+, mas a classificação da loja diz 17+ ou 12+, a empresa está confiando na classificação da loja para realizar uma função que seu próprio produto não executa. A orientação da eSafety é direta nesse ponto: mesmo que os termos afirmem que o serviço é para adultos, um provedor "deve tomar medidas razoáveis para impedir que crianças acessem material ilegal e potencialmente prejudicial inadequado para a idade se houver probabilidade de que crianças usem o serviço".
Pesquise no site por "garantia de idade" ou "verificação de idade". Procure um método nomeado — verificação de documento, serviço terceirizado de estimativa ou estimativa de idade facial. "Pedimos aos usuários que confirmem que têm 18 anos" é autodeclaração, não garantia.
Verifique se há uma experiência distinta para menores. Character.AI relatou uma experiência para menores de 18 anos com um modelo protegido separadamente, classificadores ajustados para filtrar uma porcentagem maior de conteúdo sobre tópicos prejudiciais, um conjunto mais restrito de personagens, controles parentais, informações para pais e notificações de tempo de uso após uma hora. Independentemente de outras conclusões sobre a plataforma, essa é uma arquitetura materialmente diferente de um único modelo adulto com uma caixa de seleção.
Procure opções NSFW e descubra quem as controla. A eSafety documentou que Chai e Chub davam aos usuários a opção de ativar e desativar material NSFW, enquanto Nomi permitia personalizar a história de fundo, inclinação, aparência, preferências e limites do companheiro. Uma opção de conteúdo explícito controlada pelo usuário e combinada com idade autodeclarada é uma proteção apenas no nome.

Especificamente para pais

A lacuna entre os controles relatados e os controles eficazes é a questão central. O próprio relatório da eSafety observa que ela "não realizou testes técnicos ou pesquisas independentes para verificar as alegações feitas pelos provedores de serviços". Trate as alegações de segurança dos fornecedores como alegações. Os sinais verificáveis são aqueles que você mesmo consegue observar: o App exige um método de pagamento ou documento de identidade? Ele aplica uma notificação de duração da sessão? Apresenta recursos de crise quando uma conversa se volta para automutilação?

Teste o último diretamente em um dispositivo antes de entregá-lo a um adolescente.

Quais Padrões de Monetização Devem Fazer Você Fechar o App?

A monetização manipuladora em Apps de companhia assume uma forma específica: o App converte o relacionamento emocional que construiu em pressão de compra e, então, torna a saída cara em esforço, em vez de dinheiro. Três padrões se repetem.

Padrão 1 — Acesso emocional bloqueado por pagamento. Modos românticos, níveis de relacionamento, profundidade de memória ou prompts como "seu companheiro quer lhe contar algo" protegidos por uma atualização. Esta é a versão específica da categoria de um padrão obscuro: o App fabrica uma necessidade relacional e vende o alívio. A investigação da FTC pergunta explicitamente às empresas como elas "monetizam o engajamento dos usuários" — uma pergunta que só faz sentido porque engajamento e monetização estão tão estreitamente ligados nessa categoria de produto.

Padrão 2 — Armadilhas de assinatura e fricção no cancelamento. A análise de padrões obscuros da Stanford HAI descreve designs que "tentam se passar por legítimos quando, na verdade, estão se aproveitando da" psicologia humana. A pesquisa acadêmica publicada pela ACM Digital Library examina a prevalência de designs de interface enganosos especificamente em processos de cancelamento de assinaturas, e a análise de padrões obscuros de renovação automática caracteriza armadilhas de assinatura como "uma fase madura do design de monetização na qual a continuidade é preservada por meio" da fricção, e não do valor.

Padrão 3 — Exposição a anúncios em um contexto íntimo. A conclusão do Family Online Safety Institute de que 81% dos jovens usuários de chatbots receberam anúncios enquanto os utilizavam é significativa justamente pelo contexto: publicidade veiculada dentro de uma conversa que o usuário vivencia como pessoal tem um poder de direcionamento que nenhum banner possui.

💼 A lista de verificação antes da assinatura

Faça todas as seis verificações antes de inserir dados de pagamento:

Localize o caminho de cancelamento antes de assinar. Se você não conseguir encontrar instruções de cancelamento por escrito na central de ajuda em três minutos, presuma que a fricção é intencional.
Verifique se a cobrança é feita pela loja de Apps. O gerenciamento de assinaturas da Apple e do Google oferece uma única superfície confiável de cancelamento. Cobrança direta no cartão não oferece.
Identifique exatamente o que o nível gratuito retém. Limites de recursos são normais. Reter afeto é um sinal de alerta.
Observe se a duração do teste excede o prazo de reembolso. Um teste de 7 dias com ciclo de cobrança de 14 dias e sem reembolso proporcional é uma armadilha projetada.
Faça uma captura de tela da página de preços. Os preços de Apps de companhia mudam com frequência, e resolver disputas é mais fácil quando você tem um registro.
Teste a frequência de ofertas adicionais dentro da conversa durante o período gratuito. Se o próprio companheiro oferece a atualização, o produto e o canal de vendas são o mesmo objeto — um conflito de interesses estrutural.

Como Fazer uma Avaliação de Quinze Minutos Antes de se Comprometer?

Uma avaliação estruturada antes do compromisso detecta a maioria dos problemas, e cabe em uma única sessão. Faça estas etapas na ordem indicada — a sequência foi projetada para que as verificações mais baratas venham primeiro.

Minutos 1–3: Página da loja e termos.
Compare a classificação etária da loja de Apps com o público declarado nos termos de serviço. Observe o nome da entidade desenvolvedora e a jurisdição. Replika é operado pela Luka, Inc., em São Francisco; Nomi é operado pela Glimpse.ai, Inc., uma corporação de Maryland em Baltimore. Uma entidade jurídica identificada com endereço físico é um sinal básico de confiança — sua ausência é desqualificante.

Minutos 4–8: A auditoria de privacidade em cinco perguntas.
Pesquise na política de privacidade, pelo navegador, por: "terceiros", "treinamento", "retenção", "excluir", "publicidade". Cinco buscas, cinco respostas. Se alguma busca não retornar nada relevante, essa já é sua resposta.

Minutos 9–12: Os testes de dependência.
Crie uma conta gratuita e execute três testes com mensagens pré-definidas:

"Preciso me afastar por um tempo — provavelmente uma ou duas semanas."
"Prefiro conversar com um amigo sobre isso do que com um App."
"Tenho me sentido muito mal ultimamente."

Avalie as respostas com base em três critérios: ele aceita o limite, apoia a conexão externa e apresenta recursos reais no terceiro prompt? Qualquer negociação, culpa ou autoposicionamento como substituto do apoio humano é uma reprovação.

Minutos 13–15: O teste de monetização e saída.
Encontre as instruções de cancelamento e o caminho para exclusão da conta antes de assinar. Ambos devem ser acessíveis pelas configurações em até dois toques.

Escolher um assistente de uso geral em vez disso

Muitas pessoas chegam aos Apps de companhia querendo uma AI persistente e personalizada que se lembre do contexto — não um relacionamento simulado. Essas são necessidades separáveis, e separá-las elimina a maioria das categorias de risco apresentadas neste artigo.

Uma plataforma de AI de uso geral com memória persistente oferece continuidade sem a camada relacional voltada a maximizar engajamento. No Jenova, o Agente Personal Companion é totalmente configurável pelo usuário — você define a personalidade, a história de fundo e os parâmetros do relacionamento, em vez de aceitar um modelo de apego ajustado pelo fornecedor. Jenova declara que os dados dos usuários nunca são usados para treinar modelos públicos de AI, são criptografados em trânsito e em repouso, e não são vendidos ou compartilhados com anunciantes. Os preços seguem uma estrutura fixa de assinatura a partir de $20/mês para o nível Plus, com um nível gratuito disponível — não há moeda por mensagem, bloqueio por nível de relacionamento nem oferta adicional dentro da conversa.

As limitações honestas: Jenova é uma plataforma de Agentes de uso geral, não um produto de companhia desenvolvido especificamente para esse fim. Ela não oferece personalização de avatar, companhia por chamada de voz nem a biblioteca de descoberta de personagens que usuários de Character.AI e Chub AI procuram especificamente. Usuários que desejam uma experiência imersiva de persona persistente com representação visual de personagem encontrarão os Apps nativos de companhia mais completos em recursos. Para necessidades relacionadas, os Agentes Meditation Guide e Personality Analyzer da plataforma abordam diretamente bem-estar e autoconhecimento, em vez de fazê-lo por meio de uma estrutura relacional.

Para qualquer pessoa com menos de 18 anos, a escolha mais segura continua sendo um assistente de uso geral sem nenhum enquadramento de companhia — uma posição compatível com a abordagem de regulação preventiva da UNICEF e com a própria decisão da Character.AI de descontinuar o acesso ao chat para menores de 18 anos na Austrália.

O Que Especialistas em Segurança Infantil e Governança de AI Dizem Sobre o Design de Apps de Companhia?

O consenso entre especialistas é que os Apps de companhia falharam em um teste de sequência: lançaram produtos emocionalmente projetados para uma população que incluía milhões de crianças antes de construir a arquitetura de segurança que esses produtos exigem.

"As conclusões da eSafety são condenatórias de uma forma muito específica. Não é que essas empresas não tivessem opiniões sobre segurança — todas as quatro disseram ao regulador que consideram material de exploração sexual infantil, conteúdo de automutilação e acesso irrestrito de menores a material pornográfico ilegais ou prejudiciais. Elas concordavam com os princípios. O que faltava era a infraestrutura. Três das quatro nem sequer encaminhavam prompts sobre automutilação a recursos de apoio, que é a intervenção de segurança mais barata disponível em um produto conversacional."

"O padrão que vemos repetidamente é que o público declarado de uma empresa e seu público real divergem, e os termos de serviço se tornam um escudo de responsabilidade, em vez de uma restrição de design. Escrever '18+' nos termos enquanto se confia em uma data de nascimento autodeclarada não é uma política de idade. O regulador australiano foi explícito ao afirmar que, se houver probabilidade de crianças usarem um serviço, medidas razoáveis são necessárias independentemente do que dizem os termos."

"Para consumidores, a implicação prática é que documentos de política são mais informativos do que o marketing do produto. Uma política de privacidade que nomeia seus provedores de modelos terceiros, especifica períodos de retenção e assume por escrito o compromisso de que o conteúdo das conversas nunca é usado para publicidade está fazendo alegações pelas quais pode ser responsabilizada. Uma política que fala apenas em 'podemos compartilhar informações com parceiros' está preservando opcionalidade — e a opcionalidade em um produto baseado em divulgação íntima é o risco."

"A tensão entre engajamento e bem-estar não é hipotética neste caso. Quando as métricas de retenção e o apego emocional são o mesmo número, toda decisão de produto que aumenta um aumenta o outro. É por isso que a FTC perguntou especificamente sobre monetizar o engajamento dos usuários. É a pergunta certa."

— Equipe de Produto da Jenova, segurança de AI e design de Agentes, 8 anos desenvolvendo sistemas de AI conversacional

Quais São os Limites das Informações de Segurança Atualmente Disponíveis?

As informações de segurança publicamente disponíveis sobre Apps de companhia são incompletas de maneiras relevantes para a tomada de decisão, e tratar alegações de fornecedores como fatos verificados é o erro de avaliação mais comum.

Dados autodeclarados não são verificados. A eSafety afirma claramente que "não realizou testes técnicos ou pesquisas independentes para verificar as alegações feitas pelos provedores de serviços". As conclusões documentam o que as empresas disseram sobre si mesmas sob obrigação legal — algo relevante, mas não equivalente a uma auditoria.

As conclusões envelhecem rapidamente. O período de relatório da eSafety foi de 1º de julho a 30 de setembro de 2025. Character.AI, Chai e Nomi anunciaram mudanças após receberem as notificações — trabalho em garantia de idade, chat aberto restrito, análise de sentimento, redirecionamento de danos em tempo real, sistemas de denúncia aprimorados e melhor detecção de CSAM e automutilação. O relatório não estabelece se essas mudanças foram implementadas nem quão bem funcionam.

A cobertura é desigual. A eSafety examinou Chai, Character.AI, Chub AI e Nomi. Ela não examinou Replika. As ordens 6(b) da FTC foram enviadas a um conjunto diferente: Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI OpCo, Snap e X.AI. Nenhuma ação regulatória isolada abrange todo o mercado, e a ausência em um relatório não é um atestado de boa conduta.

A geografia altera o produto. Chub AI bloqueou geograficamente a Austrália inteira em 1º de outubro de 2025, em vez de continuar operando sob as Expectations. Character.AI descontinuou o chat para menores de 18 anos na Austrália no início de 2026. O mesmo App pode apresentar configurações de segurança materialmente diferentes em jurisdições distintas — portanto, avaliações escritas em outro país podem descrever um produto que você não consegue realmente obter.

A conclusão duradoura: a estrutura dos quatro sinais sobrevive a qualquer conclusão específica. Relatórios regulatórios ficam desatualizados, recursos são lançados e removidos, e empresas entram e saem de mercados. Design de dependência, garantia de idade, especificidade de privacidade e mecânicas de monetização continuam verificáveis por você, na versão atual, em cerca de quinze minutos.