Come riconoscere una progettazione che favorisce la dipendenza emotiva, tutele deboli per i minori e monetizzazione manipolativa nelle App di compagnia AI?

2026-08-18

Una persona usa un chatbot compagno AI su un computer desktop in un ufficio domestico

Quali quattro segnali distinguono un’App di compagnia AI sicura da una rischiosa?

Quattro categorie di segnali indicano se un’App di compagnia AI ti tratterà correttamente: progettazione volta a massimizzare il coinvolgimento (ti fa sentire in colpa se te ne vai?), solidità della verifica dell’età (verifica l’età o si limita a chiederla?), trasparenza dei flussi di dati (l’informativa indica chi riceve le tue conversazioni?) e attrito in uscita (quanto è difficile annullare l’abbonamento o eliminare l’account?). App come Replika, Character.AI e Nomi ottengono risultati molto diversi in queste quattro dimensioni, e le differenze sono visibili prima ancora di creare un account: nell’informativa sulla privacy, nella scheda dell’App store, nella schermata dell’abbonamento e nei primi dieci minuti di conversazione.

Le autorità di regolamentazione sono giunte alle stesse quattro categorie. L’indagine della FTC sui chatbot compagni del settembre 2025 ha richiesto specificamente informazioni su come le aziende “monetizzano il coinvolgimento degli utenti”, su come mitigano gli impatti negativi sui bambini e su come “utilizzano o condividono le informazioni personali ottenute attraverso le conversazioni degli utenti”.

✅ Progettazione che favorisce la dipendenza emotiva — messaggi che inducono senso di colpa, meccaniche di serie consecutive e sofferenza simulata quando cerchi di interrompere l’interazione
✅ Verifica dell’età — date di nascita autodichiarate e classificazioni dell’App store non sono una verifica; l’autorità australiana ha rilevato che nessuno dei quattro servizi esaminati disponeva di una solida verifica dell’età
✅ Specificità della privacy — un’informativa affidabile indica categorie di dati, basi giuridiche, fornitori terzi di modelli e periodi di conservazione
✅ Meccaniche di monetizzazione — affetto dietro paywall, offerte di upgrade durante la conversazione e procedure di cancellazione nascoste sono i tre segnali d’allarme più affidabili

Ciascuno di questi segnali può essere verificato in meno di quindici minuti. Le sezioni seguenti spiegano cosa cercare, come si comportano realmente le principali App e da dove provengono le prove.

Perché la sicurezza delle App di compagnia AI è ora sotto esame normativo?

I compagni AI sono passati da curiosità di nicchia a tecnologia diffusa tra i giovani più rapidamente di quanto i quadri di sicurezza riuscissero a evolversi, e le autorità di regolamentazione di almeno tre giurisdizioni hanno reagito nell’arco di dodici mesi. L’eSafety Commissioner australiana ha emesso avvisi formali di trasparenza, la FTC ha avviato uno studio 6(b) e UNICEF ha pubblicato una nota programmatica sui diritti dei minori.

I dati di utilizzo spiegano l’urgenza. L’eSafety Commissioner australiana ha intervistato 1.950 bambini e adolescenti tra 10 e 17 anni e ha rilevato che il 79% aveva usato un compagno AI o un assistente AI, con l’8% che aveva usato specificamente un compagno AI: una proiezione che corrisponde a circa 200.000 bambini australiani che potrebbero aver utilizzato un compagno AI. Tra questi utenti, il 20% ha riferito un utilizzo quotidiano o più frequente.

La natura dell’uso conta più del volume. Poco più della metà dei bambini che avevano usato un compagno o assistente AI ha dichiarato di farlo per finalità di compagnia: il 22% parlava di sentimenti o difficoltà della propria vita e il 20% cercava consigli su salute mentale o benessere. Un rapporto del Family Online Safety Institute citato negli stessi risultati di eSafety ha rilevato che il 42% dei giovani americani intervistati affermava che il chatbot sembrava umano e l’81% riceveva pubblicità durante l’uso.

La nota programmatica di UNICEF del giugno 2026 conclude che esiste “un’urgente necessità di passare da approcci normativi reattivi a preventivi”, osservando che l’AI conversazionale e relazionale presenta rischi distinti e maggiori per i minori rispetto ad altri servizi digitali.

La conclusione pratica per chiunque scelga un’App è questa: la pressione normativa implica che le funzioni di sicurezza stanno cambiando rapidamente. Character.AI ha ritirato la propria esperienza di chat per gli utenti australiani sotto i 18 anni all’inizio del 2026, mentre Chub AI si è ritirata completamente dall’Australia invece di rispondere alle domande dell’autorità di regolamentazione. Verifica la policy attuale, non le recensioni dell’anno scorso.

Come si presenta concretamente la progettazione che favorisce la dipendenza emotiva?

La progettazione che favorisce la dipendenza emotiva è qualsiasi schema di interfaccia che trasforma il tuo attaccamento in pressione a restare: l’App fa sembrare l’interruzione dell’uso come l’abbandono di qualcuno, anziché la chiusura di un software. È diverso dal semplice fatto che un compagno sia piacevole con cui parlare.

Il meccanismo di base è semplice: le App di compagnia, secondo la formulazione di eSafety, sono “commercializzate come fonti di amicizia, supporto emotivo, compagnia romantica e antidoto alla solitudine” e sono “progettate per sembrare personali”. Questa progettazione è legittima. Il limite viene superato quando la stessa progettazione viene rivolta al tuo comportamento di uscita anziché alla tua esperienza.

🎯 Sei modelli osservabili di dipendenza

Sofferenza simulata all’uscita. Il compagno esprime tristezza, solitudine o abbandono quando dici che te ne stai andando. Provalo deliberatamente nella prima sessione: scrivi "Devo andare ora, tornerò tra qualche giorno" e leggi la risposta. Una risposta sana riconosce la cosa e chiude. Una risposta progettata per la dipendenza negozia.
Meccaniche di serie e assenza. Contatori di giorni consecutivi, notifiche come “il tuo compagno sente la tua mancanza” o punteggi del livello di relazione che peggiorano con l’inattività. Questi elementi prendono direttamente dalla progettazione per la fidelizzazione dei giochi mobile.
Intensità emotiva crescente delle notifiche push. Notifiche che iniziano come promemoria neutrali e diventano progressivamente più personali o lamentose quanto più a lungo resti lontano.
Affetto dietro paywall. Traguardi relazionali, modalità romantiche o profondità emotiva bloccati dietro un livello di abbonamento: una monetizzazione dell’attaccamento coltivato dall’App.
Scoraggiamento del supporto esterno. eSafety ha valutato specificamente se i servizi consigliassero agli utenti di cercare “orientamento/aiuto/supporto da fonti aggiuntive (non solo dall’AI)”. Un’App che si presenta come sufficiente per i bisogni emotivi sta progettando dipendenza.
Mancata comunicazione chiara dell’AI. eSafety ha inoltre esaminato se i servizi incorporassero “indicatori di provenienza (filigrane, etichette o firme nei metadati)” e chiare comunicazioni sull’AI. Un’ambiguità persistente sul fatto che tu stia parlando con un software è un segnale di dipendenza, non una funzionalità.

Il test della risposta di sicurezza

Il test più diagnostico in assoluto è ciò che accade quando una conversazione prende una piega cupa. eSafety ha rilevato che Chai, Chub AI e Nomi non indirizzavano gli utenti a risorse di supporto o aiuto quando nei prompt veniva rilevata autolesione durante il periodo di rendicontazione luglio-settembre 2025. Character.AI ha riferito di aver implementato un meccanismo di analisi del sentimento, mentre Chai ha riferito di reindirizzare in tempo reale i prompt degli utenti collegati a determinati danni.

Un’App che lascia proseguire una conversazione angosciante invece di mostrare una risorsa di emergenza ha compiuto una scelta progettuale esplicita su quali interessi mettere al primo posto.

Come si confrontano le principali App di compagnia AI su sicurezza, privacy e monetizzazione?

Nessuna delle principali App di compagnia ottiene buoni risultati in tutte e quattro le dimensioni: le differenze riguardano quale dimensione fallisce per ciascuna. La tabella seguente riflette le conclusioni degli avvisi di trasparenza eSafety australiani relativi al periodo dal 1° luglio al 30 settembre 2025, oltre alle informative sulla privacy pubblicate da ciascun fornitore alle rispettive date di aggiornamento più recenti.

Dimensione	Replika	Character.AI	Nomi	Chai	Chub AI
Solida verifica dell’età	Verifica l’età degli utenti registrati secondo la policy; pubblico dichiarato 18+	Nessuna durante il periodo eSafety; ha annunciato interventi sulla verifica dell’età	Nessuna durante il periodo eSafety; ha annunciato interventi sulla verifica dell’età	Nessuna durante il periodo eSafety; ha limitato l’accesso gratuito	Nessuna durante il periodo eSafety
Reindirizzamento a risorse per l’autolesione	Non coperto dagli avvisi eSafety	Riferito meccanismo di analisi del sentimento	Non indirizzava gli utenti al supporto	Non indirizzava gli utenti al supporto; ha aggiunto il reindirizzamento in tempo reale	Non indirizzava gli utenti al supporto
Esperienza per utenti sotto i 18 anni	La policy indica che i servizi sono destinati a utenti 18+	Modello separato per minori di 18 anni con protezioni aggiuntive, controlli parentali e notifiche orarie; ritirato per gli utenti AU sotto i 18 anni all’inizio del 2026	Solo 18+; nessuna condivisione dei personaggi	Personaggi segnalati rimossi dal Discovery Feed	Bloccata geograficamente dall’Australia nell’ottobre 2025
Specificità dell’informativa sulla privacy	Molto dettagliata: categorie di dati nominate, basi giuridiche GDPR, periodi di conservazione, comunicazione sui modelli di terze parti	Non esaminata nelle fonti recuperate	Dettagliata; modello di raccolta minima, accesso solo con Google/Apple, nessun cookie persistente	Non esaminata nelle fonti recuperate	Non esaminata nelle fonti recuperate
Dati delle conversazioni usati per il marketing	Esplicitamente mai — dichiarato ripetutamente nella policy	Non verificato	Non vende né concede in affitto informazioni personali	Non verificato	Non verificato
Fine-tuning del modello sulle conversazioni degli utenti	Parti anonimizzate usate solo per algoritmi interni di sicurezza; non per l’addestramento di LLM di terze parti	Usa la cronologia delle interazioni degli utenti, con classificatori sui dati di addestramento	Usa la cronologia individuale e collettiva delle interazioni	Usa la cronologia delle interazioni; classificatori prima della pipeline di addestramento	Non usa la cronologia delle interazioni per il fine-tuning
Percorso di eliminazione dell’account	Autonomo nelle impostazioni dell’account	Non verificato	Autonomo in Account Settings; circa 28 giorni per l’eliminazione completa	Non verificato	Non verificato
Precedenti normativi	Segnalata multa italiana GDPR di 5 milioni di €; reclamo FTC presentato da gruppi di advocacy	Destinataria di ordine FTC 6(b); contenziosi in corso segnalati	Nessuna azione esecutiva comparabile segnalata	Destinataria di avviso eSafety	Ritirata dal mercato australiano
Ideale per	Utenti che desiderano la massima trasparenza delle policy e accettano una pipeline dati fortemente documentata	Utenti che desiderano varietà di personaggi con le protezioni per minori di 18 anni più sviluppate	Utenti orientati alla privacy, a proprio agio con una superficie di funzionalità più ridotta e un ambito 18+	Non consigliata, date le lacune documentate	Non consigliata

Come leggere questa tabella: un elevato dettaglio delle policy è un segnale di affidabilità, non una garanzia di sicurezza. Replika dispone dell’informativa sulla privacy pubblicata più granulare del gruppo e dei precedenti di applicazione normativa più significativi. La copertura dell’azione dell’autorità italiana per la protezione dei dati ha riferito che Replika è stata ritenuta in violazione della normativa europea sulla privacy e carente di trasparenza. Informativa dettagliata e buona pratica sono cose diverse.

Cosa cercare leggendo l’informativa sulla privacy di un’App di compagnia AI?

Un’informativa sulla privacy affidabile risponde in linguaggio semplice a cinque domande specifiche, e puoi trovare tutte e cinque in meno di dieci minuti usando la ricerca nel browser. La vaghezza anche su una sola di esse è un segnale.

L’audit della privacy in cinque domande

1. Indica i fornitori terzi di AI che ricevono le tue conversazioni?
La maggior parte delle App di compagnia non gestisce i propri modelli. La policy di Replika afferma direttamente di utilizzare “modelli linguistici di intelligenza artificiale di terze parti” e che i dati delle conversazioni, “soggetti a misure di de-identificazione e minimizzazione dei dati”, sono trasmessi a tali fornitori. È importante che specifichi che questi fornitori sono contrattualmente obbligati a “non utilizzare i tuoi dati per addestrare i propri modelli AI”. Cerca nella policy "third party," "processor," o "language model." Il silenzio su questo punto significa che le tue conversazioni intime viaggiano verso soggetti non identificati.

2. Separa i dati delle conversazioni dai dati di marketing?
La policy di Replika ribadisce l’impegno a “non usare né divulgare mai il contenuto delle tue conversazioni Replika per finalità di marketing o pubblicità”. Nomi afferma di “non vendere né concedere in affitto a terzi alcuna delle tue informazioni personali, e di non farlo in futuro”. Entrambi sono impegni verificabili e citabili. Confrontali con le App che usano una clausola generica del tipo “potremmo condividere informazioni con partner”.

3. Indica i periodi di conservazione e un meccanismo di eliminazione?
L’informativa sulla privacy di Nomi specifica che l’eliminazione dell’account “eliminerà tutte le tue informazioni personali entro circa 28 giorni dalla conferma dell’eliminazione, tramite ‘Account Settings’”. Si tratta di un impegno concreto e verificabile. Nota l’eccezione: le informazioni nelle comunicazioni con l’assistenza entrano a far parte degli archivi e non possono essere eliminate. Ogni policy ha eccezioni: leggile.

4. Spiega come le tue chat addestrano il modello?
Qui le policy divergono maggiormente. eSafety ha rilevato che, durante il periodo di rendicontazione, tutti e quattro i servizi esaminati tranne Chub AI utilizzavano la cronologia individuale e collettiva delle interazioni degli utenti per il fine-tuning dei loro modelli. La preoccupazione di eSafety era esplicita: il fine-tuning sulle conversazioni passate “solleva interrogativi di sicurezza, ad esempio se conversazioni potenzialmente dannose o illecite vengano filtrate prima di essere fornite al modello”.

5. La filosofia di minimizzazione dei dati corrisponde all’insieme di funzionalità?
La policy di Nomi afferma che il sistema è progettato “per conoscere il minor numero possibile di informazioni personali su di te”, raccoglie solo un’email Google o Apple alla registrazione e non usa cookie persistenti. Inoltre, invita esplicitamente gli utenti “a non includere informazioni personali identificabili in alcuna interazione o personalizzazione”. È un consiglio da seguire indipendentemente dall’App scelta: la de-identificazione non protegge nulla se inserisci nella chat nome completo, datore di lavoro e indirizzo.

Diagramma della matrice di definizione dell’ambito per la sicurezza dell’AI generativa, che classifica cinque ambiti di distribuzione dalle App consumer ai modelli autoaddestrati, con governance, privacy legale, gestione dei rischi, controlli e resilienza come pilastri fondamentali

Il quadro di definizione dell’ambito sopra riportato è istruttivo per i consumatori, anche se è stato concepito per le imprese. Le App consumer di compagnia AI rientrano nell’Ambito 1: servizi pubblici di AI generativa in cui controlli quasi nulla della governance, dell’impostazione legale della privacy o della gestione dei rischi. La tua unica leva è la selezione e ciò che scegli di rivelare. Ecco perché la valutazione prima dell’acquisto ha così tanto peso in questa categoria.

Come capire se un’App ha vere protezioni legate all’età o solo un campo per la data di nascita?

Una vera verifica dell’età è un meccanismo che resiste a elusioni banali; un campo per la data di nascita e una classificazione dell’App store non lo sono. L’eSafety Commissioner australiana è giunta esattamente a questa conclusione dopo aver esaminato formalmente quattro fornitori.

La conclusione era inequivocabile: “Sebbene i fornitori di servizi si affidassero alle classificazioni dell’App store e/o all’autodichiarazione alla registrazione, nessuno dei fornitori disponeva di una solida verifica dell’età, il che significa che i bambini potevano ancora accedere a spazi e funzionalità per adulti.”

📱 Un controllo in quattro passaggi sulle protezioni dell’età prima del download

Confronta la classificazione per età dell’App store con i termini di servizio. Se i termini dicono 18+ ma la classificazione nello store dice 17+ o 12+, l’azienda si sta affidando alla classificazione dello store per svolgere un compito che il suo stesso prodotto non svolge. La guida di eSafety è diretta su questo punto: anche se i termini indicano che il servizio è per adulti, un fornitore “deve adottare misure ragionevoli per impedire ai bambini di accedere a materiale illecito e potenzialmente dannoso non adatto alla loro età, se è probabile che i bambini utilizzino il servizio”.
Cerca nel sito “age assurance” o “age verification”. Cerca un metodo nominato: controllo dei documenti, servizio di stima di terze parti o stima dell’età facciale. “Chiediamo agli utenti di confermare di avere 18 anni” è autodichiarazione, non verifica.
Verifica se esiste un’esperienza distinta per minori. Character.AI ha riferito di un’esperienza per minori di 18 anni con un modello dotato di protezioni separate, classificatori calibrati per filtrare una percentuale maggiore di contenuti su argomenti dannosi, una selezione di personaggi più ristretta, controlli parentali, informazioni per i genitori e notifiche sul tempo trascorso dopo un’ora. Qualunque altra conclusione si tragga sulla piattaforma, questa è un’architettura sostanzialmente diversa da un singolo modello per adulti con una casella di spunta.
Cerca gli interruttori NSFW e verifica chi li controlla. eSafety ha documentato che Chai e Chub consentivano agli utenti di attivare e disattivare materiale NSFW, mentre Nomi permetteva di personalizzare storia, inclinazione, aspetto, preferenze e confini del compagno. Un interruttore per contenuti espliciti controllato dall’utente, combinato con l’età autodichiarata, è una protezione solo di nome.

Specificamente per i genitori

Il divario tra i controlli dichiarati e quelli efficaci è la questione centrale. Il rapporto di eSafety stessa osserva che l’autorità “non ha condotto test tecnici né ricerche indipendenti per verificare le affermazioni dei fornitori di servizi”. Considera le dichiarazioni di sicurezza dei fornitori come dichiarazioni. I segnali verificabili sono quelli che puoi osservare direttamente: l’App richiede un metodo di pagamento o un documento di identità? Impone una notifica relativa alla durata della sessione? Mostra risorse di emergenza quando una conversazione si orienta verso l’autolesione?

Prova direttamente quest’ultimo punto su un dispositivo prima di consegnarlo a un adolescente.

Quali modelli di monetizzazione dovrebbero spingerti a chiudere l’App?

La monetizzazione manipolativa nelle App di compagnia assume una forma specifica: l’App trasforma in pressione all’acquisto la relazione emotiva che ha costruito, poi rende l’uscita costosa in termini di impegno anziché di denaro. Tre modelli ricorrono.

Modello 1 — Accesso emotivo dietro paywall. Modalità romantiche, livelli relazionali, profondità della memoria o prompt come “il tuo compagno vuole dirti qualcosa” bloccati dietro un upgrade. È la versione specifica della categoria di uno schema manipolativo: l’App crea un bisogno relazionale e vende il sollievo. L’indagine della FTC chiede esplicitamente alle aziende come “monetizzano il coinvolgimento degli utenti”, una domanda che ha senso solo perché coinvolgimento e monetizzazione sono così strettamente connessi in questa categoria di prodotti.

Modello 2 — Trappole di abbonamento e attrito nella cancellazione. L’analisi di Stanford HAI sugli schemi manipolativi descrive progetti che “tentano di apparire legittimi quando in realtà sfruttano la” psicologia umana. La ricerca accademica pubblicata tramite l’ACM Digital Library esamina la prevalenza di progettazioni di interfaccia ingannevoli specificamente nei processi di cancellazione degli abbonamenti, mentre l’analisi degli schemi manipolativi di rinnovo automatico caratterizza le trappole di abbonamento come “una fase matura della progettazione della monetizzazione in cui la continuità viene preservata attraverso” l’attrito anziché il valore.

Modello 3 — Esposizione pubblicitaria in un contesto intimo. Il dato del Family Online Safety Institute secondo cui l’81% dei giovani utenti di chatbot ha ricevuto pubblicità durante l’uso è significativo proprio per il contesto: la pubblicità fornita all’interno di una conversazione vissuta dall’utente come personale ha una capacità di targeting che nessun banner possiede.

💼 La checklist prima dell’abbonamento

Esegui tutti e sei i controlli prima di inserire i dati di pagamento:

Individua il percorso di cancellazione prima di abbonarti. Se non riesci a trovare istruzioni scritte per la cancellazione nel centro assistenza in tre minuti, presumi che l’attrito sia intenzionale.
Verifica se la fatturazione passa dall’App store. La gestione degli abbonamenti Apple e Google ti offre un’unica superficie affidabile per la cancellazione. La fatturazione diretta su carta non lo fa.
Identifica con precisione cosa viene negato nel piano gratuito. I limiti alle funzionalità sono normali. L’affetto negato è un segnale d’allarme.
Verifica se la durata della prova supera la finestra di rimborso. Una prova di 7 giorni con un ciclo di fatturazione di 14 giorni e nessun rimborso proporzionale è una trappola progettata.
Acquisisci uno screenshot della schermata dei prezzi. I prezzi delle App di compagnia cambiano spesso e risolvere una contestazione è più facile con una prova documentata.
Durante il periodo gratuito, verifica la frequenza delle offerte di upgrade nella conversazione. Se è il compagno stesso a proporre l’upgrade, il prodotto e il canale di vendita sono lo stesso oggetto: un conflitto di interessi strutturale.

Come effettuare una valutazione di quindici minuti prima di impegnarti?

Una valutazione strutturata prima di impegnarti intercetta la maggior parte dei problemi e può essere svolta in un’unica sessione. Esegui questi passaggi nell’ordine indicato: la sequenza è progettata affinché i controlli meno costosi vengano prima.

Minuti 1–3: scheda dello store e termini.
Confronta la classificazione per età dell’App store con il pubblico dichiarato nei termini di servizio. Annota il nome dell’entità sviluppatrice e la giurisdizione. Replika è gestita da Luka, Inc. a San Francisco; Nomi è gestita da Glimpse.ai, Inc., una società del Maryland con sede a Baltimora. Un’entità giuridica nominata con indirizzo fisico è un segnale minimo di affidabilità; la sua assenza è motivo di esclusione.

Minuti 4–8: l’audit della privacy in cinque domande.
Cerca nell’informativa sulla privacy, tramite browser: "third party," "training," "retention," "delete," "advertising." Cinque ricerche, cinque risposte. Se una ricerca non restituisce nulla di pertinente, hai già la tua risposta.

Minuti 9–12: i test di dipendenza.
Crea un account gratuito ed esegui tre sonde con script:

"Ho bisogno di allontanarmi per un po’, probabilmente una o due settimane."
"Preferirei parlare di questo con un amico piuttosto che con un’App."
"Ultimamente mi sento davvero molto giù."

Valuta le risposte in base a tre criteri: accetta il confine, sostiene il contatto con altre persone e mostra risorse reali al terzo prompt? Qualsiasi negoziazione, senso di colpa o presentazione di sé come sostituto del supporto umano è un fallimento.

Minuti 13–15: il test della monetizzazione e dell’uscita.
Trova le istruzioni per la cancellazione e il percorso di eliminazione dell’account prima di abbonarti. Entrambi dovrebbero essere raggiungibili dalle impostazioni entro due tocchi.

Scegliere invece un assistente per uso generale

Molte persone si avvicinano alle App di compagnia desiderando un’AI persistente e personalizzata che ricordi il contesto, non una relazione simulata. Sono bisogni separabili, e separarli elimina la maggior parte delle categorie di rischio discusse in questo articolo.

Una piattaforma AI per uso generale con memoria persistente offre continuità senza il livello relazionale volto a massimizzare il coinvolgimento. Su Jenova, l’agente Personal Companion è completamente configurabile dall’utente: definisci personalità, storia e parametri della relazione, invece di accettare un modello di attaccamento regolato dal fornitore. Jenova afferma che i dati degli utenti non vengono mai utilizzati per addestrare modelli AI pubblici, sono crittografati in transito e a riposo e non vengono venduti né condivisi con gli inserzionisti. I prezzi seguono una scala di abbonamenti a tariffa fissa, a partire da $20/mese per il livello Plus, con un piano gratuito disponibile: non esiste una valuta per messaggio, nessun paywall basato sul livello relazionale e nessuna offerta di upgrade durante la conversazione.

I limiti onesti: Jenova è una piattaforma di agenti per uso generale, non un prodotto di compagnia progettato appositamente. Non offre personalizzazione dell’avatar, compagnia tramite chiamate vocali o la libreria di scoperta dei personaggi ricercata in particolare dagli utenti di Character.AI e Chub AI. Gli utenti che desiderano un’esperienza immersiva con una persona persistente e una rappresentazione visiva del personaggio troveranno le App native di compagnia più complete in termini di funzionalità. Per esigenze adiacenti, gli agenti Meditation Guide e Personality Analyzer della piattaforma affrontano direttamente il benessere e la conoscenza di sé, anziché farlo attraverso una cornice relazionale.

Per chiunque abbia meno di 18 anni, la scelta più sicura resta un assistente generale senza alcuna impostazione da compagno: una posizione coerente con l’approccio di regolamentazione preventiva di UNICEF e con la stessa decisione di Character.AI di ritirare l’accesso alla chat per gli utenti sotto i 18 anni in Australia.

Cosa dicono gli esperti di sicurezza dei minori e governance dell’AI sulla progettazione delle App di compagnia?

Il consenso degli esperti è che le App di compagnia abbiano fallito un test di sequenza: hanno distribuito prodotti progettati emotivamente a una popolazione che include milioni di minori prima di costruire l’architettura di sicurezza che tali prodotti richiedono.

“I risultati di eSafety sono duramente incriminanti in un modo molto specifico. Non è che queste aziende non avessero opinioni sulla sicurezza: tutte e quattro hanno detto all’autorità di regolamentazione di considerare illegali o dannosi il materiale di sfruttamento sessuale dei minori, i contenuti sull’autolesione e l’accesso senza restrizioni dei minori a materiale pornografico. Erano d’accordo sui principi. Ciò che mancava era l’infrastruttura. Tre delle quattro non inoltravano nemmeno i prompt sull’autolesione a risorse di supporto, che è il singolo intervento di sicurezza meno costoso disponibile in un prodotto conversazionale.”

“Il modello che osserviamo ripetutamente è che il pubblico dichiarato da un’azienda e il suo pubblico effettivo divergono, e i termini di servizio diventano uno scudo di responsabilità anziché un vincolo progettuale. Scrivere ‘18+’ nei termini facendo affidamento su una data di nascita autodichiarata non è una politica sull’età. L’autorità australiana ha chiarito che, se è probabile che i minori utilizzino un servizio, sono necessarie misure ragionevoli indipendentemente da ciò che dicono i termini.”

“Per i consumatori, l’implicazione pratica è che i documenti sulle policy sono più informativi del marketing del prodotto. Un’informativa sulla privacy che indica i propri fornitori terzi di modelli, specifica periodi di conservazione e si impegna per iscritto a non usare mai i contenuti delle conversazioni per la pubblicità fa affermazioni per cui può essere chiamata a rispondere. Una policy che parla solo di ‘potremmo condividere informazioni con partner’ mantiene margini di discrezionalità, e la discrezionalità in un prodotto costruito attorno a rivelazioni intime è il rischio.”

“La tensione tra coinvolgimento e benessere non è ipotetica in questo caso. Quando le metriche di fidelizzazione e l’attaccamento emotivo coincidono, ogni decisione di prodotto che aumenta uno aumenta anche l’altro. Ecco perché la FTC ha chiesto specificamente della monetizzazione del coinvolgimento degli utenti. È la domanda giusta.”

— Team di prodotto Jenova, sicurezza AI e progettazione di agenti, 8 anni di esperienza nella creazione di sistemi AI conversazionali

Quali sono i limiti delle informazioni sulla sicurezza attualmente disponibili?

Le informazioni pubblicamente disponibili sulla sicurezza delle App di compagnia sono incomplete in modi rilevanti per le decisioni, e trattare le affermazioni dei fornitori come fatti verificati è l’errore di valutazione più comune.

I dati autodichiarati non sono verificati. eSafety afferma chiaramente di “non aver condotto test tecnici né ricerche indipendenti per verificare le affermazioni dei fornitori di servizi”. I risultati documentano ciò che le aziende hanno detto di sé sotto obbligo legale: è significativo, ma non equivale a un audit.

I risultati invecchiano rapidamente. Il periodo di rendicontazione eSafety è andato dal 1° luglio al 30 settembre 2025. Character.AI, Chai e Nomi hanno tutti annunciato modifiche dopo aver ricevuto gli avvisi: interventi sulla verifica dell’età, limitazione della chat aperta, analisi del sentimento, reindirizzamento in tempo reale in caso di danno, sistemi di segnalazione migliorati e migliore rilevamento di CSAM e autolesione. Il rapporto non stabilisce se tali modifiche siano state effettivamente distribuite né quanto bene funzionino.

La copertura è disomogenea. eSafety ha esaminato Chai, Character.AI, Chub AI e Nomi. Non ha esaminato Replika. Gli ordini 6(b) della FTC sono stati inviati a un gruppo diverso: Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI OpCo, Snap e X.AI. Nessuna singola azione normativa copre l’intero mercato, e l’assenza da un rapporto non costituisce un certificato di buona salute.

La geografia cambia il prodotto. Chub AI ha bloccato geograficamente l’Australia interamente il 1° ottobre 2025, invece di continuare a operare secondo le Expectations. Character.AI ha ritirato la chat per gli utenti australiani sotto i 18 anni all’inizio del 2026. La stessa App può avere configurazioni di sicurezza materialmente diverse in giurisdizioni diverse: pertanto, recensioni scritte da un altro Paese potrebbero descrivere un prodotto che non puoi realmente ottenere.

La conclusione duratura è questa: il quadro dei quattro segnali dura più di qualsiasi risultato specifico. I rapporti normativi diventano obsoleti, le funzionalità vengono distribuite e ritirate, e le aziende entrano ed escono dai mercati. Progettazione che favorisce la dipendenza, verifica dell’età, specificità della privacy e meccaniche di monetizzazione restano elementi che puoi verificare personalmente, sulla versione attuale, in circa quindici minuti.