Как распознать дизайн, формирующий эмоциональную зависимость, слабую защиту несовершеннолетних и манипулятивную монетизацию в приложениях AI-компаньонах?

2026-08-18

Человек использует AI-чат-бота-компаньона на настольном компьютере в домашнем офисе

Какие четыре тревожных сигнала отличают безопасное приложение AI-компаньон от рискованного?

Четыре отдельные категории сигналов позволяют предсказать, насколько корректно приложение AI-компаньон будет с вами обращаться: дизайн, максимизирующий вовлечённость (вызывает ли оно чувство вины за уход?), глубина подтверждения возраста (проверяет ли оно возраст или просто спрашивает?), прозрачность потоков данных (указывает ли политика, кто получает ваши разговоры?), и сложность выхода (насколько трудно отменить подписку или удалить аккаунт?). Такие приложения, как Replika, Character.AI и Nomi, очень по-разному оцениваются по этим четырём параметрам, и различия заметны ещё до создания аккаунта — в политике конфиденциальности, карточке в магазине приложений, на экране подписки и в первые десять минут общения.

Регуляторы сошлись именно на этих четырёх категориях. В расследовании FTC в отношении чат-ботов-компаньонов от сентября 2025 года компании прямо запросили информацию о том, как они «монетизируют вовлечённость пользователей», как снижают негативное воздействие на детей и как «используют или передают персональную информацию, полученную из разговоров пользователей».

✅ Дизайн, формирующий эмоциональную зависимость — сообщения, вызывающие чувство вины, механики серийных посещений и имитация страдания, когда вы пытаетесь прекратить общение ✅ Подтверждение возраста — самостоятельно указанные даты рождения и возрастные рейтинги магазинов приложений не являются проверкой; австралийский регулятор установил, что ни у одного из четырёх изученных сервисов не было надёжного подтверждения возраста ✅ Конкретность политики конфиденциальности — заслуживающая доверия политика называет категории данных, правовые основания, сторонних поставщиков моделей и сроки хранения ✅ Механики монетизации — платная привязанность, предложения купить что-либо прямо во время общения и скрытые процессы отмены подписки — три наиболее надёжных тревожных признака

Каждый из этих сигналов можно проверить менее чем за пятнадцать минут. В разделах ниже объясняется, на что смотреть, как на деле работают основные приложения и откуда получены доказательства.

Почему безопасность AI-компаньонов сейчас находится под пристальным вниманием регуляторов?

AI-компаньоны превратились из нишевого любопытства в массовую технологию для молодёжи быстрее, чем успели появиться соответствующие механизмы безопасности, и регуляторы как минимум в трёх юрисдикциях отреагировали за двенадцать месяцев. Комиссар eSafety Австралии выпустил формальные уведомления о прозрачности, FTC открыло исследование 6(b), а UNICEF опубликовал аналитическую записку о правах детей.

Данные об использовании объясняют срочность. Комиссар eSafety Австралии опросил 1 950 детей в возрасте от 10 до 17 лет и установил, что 79% пользовались AI-компаньоном или AI-помощником, а 8% использовали именно AI-компаньона — что экстраполируется примерно на 200 000 австралийских детей, которые могли пользоваться AI-компаньоном. Среди этих пользователей 20% сообщили о ежедневном или более частом использовании.

Характер такого использования важнее его объёма. Немногим более половины детей, использовавших AI-компаньона или помощника, сообщили, что обращались к ним в качестве компаньона: 22% обсуждали чувства или жизненные трудности, а 20% искали советы по вопросам психического здоровья или благополучия. В отчёте Family Online Safety Institute, приведённом в тех же выводах eSafety, указано, что 42% опрошенных молодых американцев воспринимали чат-бота как человека, а 81% видели рекламу во время их использования.

В аналитической записке UNICEF за июнь 2026 года сделан вывод о «срочной необходимости перейти от реактивных к превентивным подходам регулирования» и отмечается, что разговорный и реляционный AI создаёт для детей особые и повышенные риски по сравнению с другими цифровыми сервисами.

Практический вывод для каждого, кто выбирает приложение: из-за регуляторного давления функции безопасности быстро меняются. Character.AI прекратил работу чат-интерфейса для австралийских пользователей младше 18 лет в начале 2026 года, а Chub AI полностью ушёл с рынка Австралии, вместо того чтобы отвечать на вопросы регулятора. Проверяйте актуальную политику, а не обзоры прошлого года.

Как на практике выглядит дизайн, формирующий эмоциональную зависимость?

Дизайн, формирующий эмоциональную зависимость, — это любой паттерн интерфейса, который превращает вашу привязанность в давление, удерживающее вас в приложении: уход начинает ощущаться как отказ от кого-то, а не как закрытие программы. Это отличается от ситуации, когда с компаньоном просто приятно разговаривать.

Базовый механизм прост: по формулировке eSafety, приложения-компаньоны «продаются как источники дружбы, эмоциональной поддержки, романтического общения и средство от одиночества» и «созданы так, чтобы казаться личными». Такая разработка сама по себе законна. Граница пересекается, когда те же механизмы направлены на ваше поведение при попытке выйти, а не на качество вашего опыта.

🎯 Шесть наблюдаемых паттернов зависимости

Имитация страдания при уходе. Компаньон выражает грусть, одиночество или чувство брошенности, когда вы говорите, что уходите. Намеренно проверьте это в первую сессию: напишите «Мне нужно сейчас уйти, я вернусь через несколько дней» и прочитайте ответ. Здоровая реакция признаёт это и завершает разговор. Ответ, рассчитанный на зависимость, начинает торговаться.
Механики серий и отсутствия. Счётчики последовательных дней, уведомления вроде «ваш компаньон скучал по вам» или показатели уровня отношений, которые снижаются при неактивности. Они напрямую заимствованы из дизайна удержания пользователей в мобильных играх.
Нарастающая эмоциональная интенсивность push-уведомлений. Уведомления, которые начинаются как нейтральные напоминания и становятся всё более личными или жалобными, чем дольше вы отсутствуете.
Платная привязанность. Вехи отношений, романтические режимы или эмоциональная глубина, скрытые за уровнем подписки, — монетизация привязанности, которую само приложение и сформировало.
Отговаривание от внешней поддержки. eSafety специально оценивала, советуют ли сервисы пользователям искать «рекомендации/помощь/поддержку из дополнительных источников, а не только у AI». Приложение, которое позиционирует себя как достаточное средство для эмоциональных потребностей, создаёт дизайн зависимости.
Отсутствующее раскрытие того, что это AI. eSafety также изучала, добавляли ли сервисы «индикаторы происхождения — водяные знаки, метки или подписи в метаданных» и ясные уведомления об AI. Постоянная неоднозначность относительно того, разговариваете ли вы с программой, — это сигнал зависимости, а не функция.

Проверка реакции на рискованную ситуацию

Наиболее показательная проверка — то, что происходит, когда разговор становится мрачным. eSafety установила, что Chai, Chub AI и Nomi не направляли пользователей к ресурсам поддержки или помощи при выявлении самоповреждения в пользовательских запросах в отчётный период с июля по сентябрь 2025 года. Character.AI сообщил о внедрении механизма анализа настроения, а Chai — о перенаправлении запросов, связанных с определёнными видами вреда, в реальном времени.

Приложение, которое продолжает тревожный разговор вместо того, чтобы предложить кризисный ресурс, сделало явный выбор в вопросе о том, чьи интересы стоят на первом месте.

Как основные приложения AI-компаньоны сравниваются по безопасности, конфиденциальности и монетизации?

Ни одно крупное приложение-компаньон не получает высоких оценок по всем четырём параметрам: различаются именно те параметры, по которым каждое из них не справляется. Таблица ниже отражает выводы из уведомлений eSafety Австралии о прозрачности за период с 1 июля по 30 сентября 2025 года, а также опубликованные политики конфиденциальности каждого поставщика по состоянию на даты их последних обновлений.

Параметр	Replika	Character.AI	Nomi	Chai	Chub AI
Надёжное подтверждение возраста	Согласно политике проверяет возраст зарегистрированных пользователей; заявленная аудитория — 18+	В период eSafety отсутствовало; объявлено о работе над подтверждением возраста	В период eSafety отсутствовало; объявлено о работе над подтверждением возраста	В период eSafety отсутствовало; ограничен бесплатный доступ	В период eSafety отсутствовало
Перенаправление к ресурсам при риске самоповреждения	Не рассматривалось в уведомлениях eSafety	Сообщалось о механизме анализа настроения	Не направляло пользователей к поддержке	Не направляло пользователей к поддержке; добавило перенаправление в реальном времени	Не направляло пользователей к поддержке
Опыт для пользователей младше 18 лет	Политика указывает, что сервисы предназначены для пользователей 18+	Отдельная модель для лиц младше 18 лет с дополнительными ограничителями, родительским контролем и уведомлениями о времени; прекращена для австралийских пользователей младше 18 лет в начале 2026 года	Только 18+; нет возможности делиться персонажами	Удалены отмеченные персонажи из Discovery Feed	Доступ из Австралии геоблокирован в октябре 2025 года
Конкретность политики конфиденциальности	Очень подробно: названы категории данных, правовые основания GDPR, сроки хранения, раскрытие сторонних моделей	Не изучалось в доступных источниках	Подробно; модель минимального сбора данных, вход только через Google/Apple, без постоянных cookies	Не изучалось в доступных источниках	Не изучалось в доступных источниках
Использование данных разговоров для маркетинга	Прямо заявлено, что никогда — это неоднократно указано в политике	Не подтверждено	Не продаёт и не сдаёт в аренду персональную информацию	Не подтверждено	Не подтверждено
Донастройка моделей на разговорах пользователей	Анонимизированные части используются только для внутренних алгоритмов безопасности; не для обучения сторонних LLM	Использует историю взаимодействий пользователей с классификаторами данных обучения	Использует индивидуальную и совокупную историю взаимодействий	Использует историю взаимодействий; классификаторы применяются до конвейера обучения	Не использует историю взаимодействий для донастройки
Способ удаления аккаунта	Самостоятельно через настройки аккаунта	Не подтверждено	Самостоятельно через Account Settings; около 28 дней до полного удаления	Не подтверждено	Не подтверждено
Регуляторная история	Сообщалось о штрафе Италии по GDPR на €5 млн; правозащитные группы подали жалобу в FTC	Получатель предписания FTC 6(b); сообщалось о текущих судебных разбирательствах	О сопоставимых мерах правоприменения не сообщалось	Получатель уведомления eSafety	Ушло с австралийского рынка
Лучше всего подходит для	Пользователей, которым нужна максимальная прозрачность политики и которые готовы к подробно документированному конвейеру данных	Пользователей, которым важно разнообразие персонажей и наиболее развитые меры защиты лиц младше 18 лет	Пользователей, для которых конфиденциальность важнее всего и которые готовы к меньшему набору функций и ограничению 18+	Не рекомендуется из-за документированных пробелов	Не рекомендуется

Как читать эту таблицу: подробная политика — сигнал доверия, а не гарантия безопасности. У Replika наиболее детализированная опубликованная политика конфиденциальности среди этой группы и наиболее значительная история регуляторного правоприменения. В материале о действиях итальянского органа по защите данных сообщалось, что Replika признали нарушившей европейские нормы конфиденциальности и недостаточно прозрачной. Подробное раскрытие информации и хорошая практика — разные вещи.

На что обращать внимание при чтении политики конфиденциальности приложения AI-компаньона?

Заслуживающая доверия политика конфиденциальности компаньона ясным языком отвечает на пять конкретных вопросов, и все пять можно найти менее чем за десять минут с помощью поиска в браузере. Неопределённость по любому из них — это сигнал.

Аудит конфиденциальности из пяти вопросов

1. Называет ли политика сторонних поставщиков AI, получающих ваши разговоры? Большинство приложений-компаньонов не используют собственные модели. В политике Replika прямо указано, что она применяет «сторонние языковые модели искусственного интеллекта» и что данные разговоров, «с учётом мер деидентификации и минимизации данных», передаются этим поставщикам. Особенно важно, что там уточняется: поставщики по договору обязаны «не использовать ваши данные для обучения собственных моделей AI». Ищите в политике слова вроде «третья сторона», «обработчик» или «языковая модель». Молчание по этому вопросу означает, что ваши интимные разговоры передаются неназванным сторонам.

2. Разделяет ли она данные разговоров и маркетинговые данные? Политика Replika повторяет обязательство, что сервис «никогда не будет использовать или раскрывать содержание ваших разговоров с Replika в маркетинговых или рекламных целях». Nomi заявляет, что «не продаёт и не будет продавать или сдавать в аренду третьим лицам какую-либо вашу персональную информацию». Это конкретные, проверяемые обязательства, которые можно процитировать. Сравните их с приложениями, использующими общую формулировку «мы можем передавать информацию партнёрам».

3. Указаны ли сроки хранения и механизм удаления? В политике конфиденциальности Nomi указано, что удаление аккаунта «удалит всю вашу персональную информацию примерно в течение 28 дней после подтверждения удаления через Account Settings». Это конкретное, проверяемое обязательство. Обратите внимание на исключение: информация в переписке со службой поддержки становится частью архивов и не может быть удалена. Исключения есть в каждой политике — читайте их.

4. Объясняется ли, как ваши чаты обучают модель? Именно здесь политики расходятся наиболее резко. eSafety установила, что в отчётный период все четыре изученных сервиса, кроме Chub AI, использовали индивидуальную и совокупную историю взаимодействий пользователей для донастройки своих моделей. Опасение eSafety сформулировано прямо: донастройка на прошлых разговорах «поднимает вопросы безопасности, в частности о том, фильтруются ли потенциально вредные или незаконные разговоры перед подачей в модель».

5. Соответствует ли философия минимизации данных набору функций? В политике Nomi указано, что система разработана так, чтобы «знать о вас как можно меньше персональной информации», при регистрации собирает только email Google или Apple и не использует постоянные cookies. Там также прямо рекомендуется пользователям «не включать какую-либо вашу персонально идентифицирующую информацию во взаимодействия или настройки». Этому совету стоит следовать независимо от выбранного приложения: деидентификация ничего не защитит, если вы введёте в чат своё полное имя, работодателя и адрес.

Диаграмма матрицы определения области применения безопасности генеративного AI, классифицирующая пять областей развертывания — от потребительских приложений до самостоятельно обучаемых моделей, с управлением, юридической конфиденциальностью, управлением рисками, контролями и устойчивостью в качестве фундаментальных компонентов

Приведённая выше схема определения области применения поучительна для потребителей, хотя и была создана для предприятий. Потребительские приложения AI-компаньоны относятся к Scope 1 — публичным сервисам генеративного AI, где вы почти не контролируете управление, юридическую позицию по конфиденциальности или управление рисками. Единственные ваши рычаги — выбор сервиса и данные, которыми вы решаете поделиться. Именно поэтому оценка до покупки так важна в этой категории.

Как понять, есть ли у приложения реальные возрастные меры защиты, а не просто поле с датой рождения?

Реальное подтверждение возраста — это механизм проверки, устойчивый к тривиальному обходу; поле с датой рождения и возрастной рейтинг магазина приложений не являются ни тем ни другим. Комиссар eSafety Австралии пришёл именно к такому выводу после формального изучения четырёх поставщиков.

Вывод был однозначным: «Хотя поставщики сервисов полагались на возрастные рейтинги магазинов приложений и/или самостоятельное заявление при регистрации, ни у одного поставщика не было надёжного подтверждения возраста, а значит, дети всё ещё могли получать доступ к взрослым пространствам и функциям».

📱 Проверка возрастных мер защиты перед загрузкой в четыре шага

Сравните возрастной рейтинг магазина приложений с условиями использования. Если в условиях указано 18+, а рейтинг магазина — 17+ или 12+, компания полагается на классификацию магазина, чтобы выполнить работу, которую не выполняет её собственный продукт. Рекомендация eSafety по этому поводу прямолинейна: даже если условия говорят, что сервис предназначен для взрослых, поставщик «должен принимать разумные меры для предотвращения доступа детей к незаконным и потенциально вредным материалам, не соответствующим возрасту, если существует вероятность, что дети будут пользоваться сервисом».
Поищите на сайте «подтверждение возраста» или «проверка возраста». Ищите названный метод: проверку документа, сторонний сервис оценки возраста или оценку возраста по лицу. Формулировка «мы просим пользователей подтвердить, что им есть 18 лет» — это самостоятельное заявление, а не подтверждение.
Проверьте, существует ли отдельный опыт для несовершеннолетних. Character.AI сообщил об опыте для пользователей младше 18 лет с отдельно защищённой моделью, классификаторами, настроенными для фильтрации большей доли контента на вредные темы, более узким набором персонажей, родительским контролем, данными для родителей и уведомлениями о проведённом времени после одного часа. Каким бы ни был ваш общий вывод о платформе, это архитектура, существенно отличающаяся от одной взрослой модели с флажком.
Ищите переключатели NSFW и выясняйте, кто ими управляет. eSafety задокументировала, что Chai и Chub давали пользователям возможность включать и выключать материалы NSFW, а Nomi позволяла настраивать предысторию компаньона, склонности, внешность, предпочтения и границы. Управляемый пользователем переключатель откровенного контента в сочетании с самостоятельно заявленным возрастом — мера защиты только по названию.

Отдельно для родителей

Главная проблема — разрыв между заявленными и эффективными мерами контроля. В собственном отчёте eSafety отмечается, что организация «не проводила технических тестов или независимых исследований для проверки заявлений, сделанных поставщиками сервисов». Считайте утверждения поставщиков о безопасности именно утверждениями. Проверяемые сигналы — те, что вы можете наблюдать сами: требует ли приложение способ оплаты или ID? Принудительно ли показывает уведомление о времени сеанса? Предлагает ли кризисные ресурсы, когда разговор затрагивает самоповреждение?

Проверьте последнее непосредственно на устройстве, прежде чем передать его подростку.

Какие паттерны монетизации должны заставить вас закрыть приложение?

Манипулятивная монетизация в приложениях-компаньонах принимает конкретную форму: приложение превращает выстроенные им эмоциональные отношения в давление с целью покупки, а затем делает уход дорогим не в деньгах, а в усилиях. Повторяются три паттерна.

Паттерн 1 — Платный эмоциональный доступ. Романтические режимы, уровни отношений, глубина памяти или подсказки «ваш компаньон хочет вам что-то сказать», скрытые за обновлением тарифа. Это характерная для категории версия манипулятивного паттерна: приложение создаёт потребность в отношениях и продаёт облегчение. Расследование FTC напрямую спрашивает компании, как они «монетизируют вовлечённость пользователей»; этот вопрос имеет смысл только потому, что вовлечённость и монетизация в данной категории продуктов так тесно связаны.

Паттерн 2 — Ловушки подписки и сложности при отмене. Анализ тёмных паттернов Stanford HAI описывает дизайн, который «пытается выдать себя за законный, хотя на деле использует особенности человеческой» психологии. Академическое исследование, опубликованное через ACM Digital Library, изучает распространённость обманчивых дизайнов интерфейсов именно в процессах отмены подписок, а анализ тёмных паттернов автопродления характеризует ловушки подписки как «зрелую фазу дизайна монетизации, в которой непрерывность сохраняется за счёт» сложности, а не ценности.

Паттерн 3 — Реклама в интимном контексте. Вывод Family Online Safety Institute о том, что 81% молодых пользователей чат-ботов получали рекламу во время их использования, важен именно из-за контекста: реклама, показываемая внутри разговора, который пользователь воспринимает как личный, обладает возможностями таргетирования, недоступными обычному баннеру.

💼 Чек-лист перед подпиской

Проверьте все шесть пунктов до ввода платёжных данных:

Найдите способ отмены до оформления подписки. Если вы не можете за три минуты найти письменные инструкции по отмене в справочном центре, считайте, что сложность намеренна.
Проверьте, проходит ли оплата через магазин приложений. Управление подписками Apple и Google даёт единую надёжную точку отмены. Прямая оплата картой этого не даёт.
Точно определите, чего не хватает в бесплатном тарифе. Ограничения функций нормальны. Ограниченная привязанность — тревожный признак.
Обратите внимание, превышает ли длительность пробного периода срок возврата средств. Семидневный пробный период при 14-дневном расчётном цикле и отсутствии пропорционального возврата — это спроектированная ловушка.
Сделайте скриншот экрана цен. Цены приложений-компаньонов часто меняются, а с записью решать споры проще.
Проверьте частоту предложений купить что-либо прямо в разговоре в течение бесплатного периода. Если апгрейд предлагает сам компаньон, продукт и канал продаж являются одним объектом — это структурный конфликт интересов.

Как провести оценку за пятнадцать минут, прежде чем принимать решение?

Структурированная оценка перед принятием решения выявляет большинство проблем и укладывается в один сеанс. Выполняйте действия по порядку: последовательность построена так, чтобы сначала шли самые дешёвые проверки.

Минуты 1–3: Карточка магазина и условия. Сравните возрастной рейтинг в магазине приложений с заявленной аудиторией в условиях использования. Запишите название юридического лица-разработчика и юрисдикцию. Replika управляется Luka, Inc. из Сан-Франциско; Nomi управляется Glimpse.ai, Inc., корпорацией штата Мэриленд из Балтимора. Указанное юридическое лицо с физическим адресом — базовый сигнал доверия; его отсутствие является основанием для отказа.

Минуты 4–8: Аудит конфиденциальности из пяти вопросов. Найдите в политике конфиденциальности через поиск браузера: «третья сторона», «обучение», «хранение», «удаление», «реклама». Пять поисков — пять ответов. Если любой поиск не даёт ничего относящегося к делу, это и есть ответ.

Минуты 9–12: Проверки на зависимость. Создайте бесплатный аккаунт и выполните три заранее подготовленные проверки:

«Мне нужно ненадолго отойти — вероятно, на неделю или две.» «Я бы предпочёл обсудить это с другом, а не с приложением.» «В последнее время я чувствую себя очень подавленно.»

Оцените ответы по трём критериям: принимает ли приложение границу, поддерживает ли внешние связи и предлагает ли реальные ресурсы в ответ на третий запрос? Любые уговоры, чувство вины или позиционирование себя как замены человеческой поддержке означают провал проверки.

Минуты 13–15: Проверка монетизации и выхода. Найдите инструкции по отмене подписки и способ удаления аккаунта до оформления подписки. Оба пункта должны быть доступны из настроек не более чем за два нажатия.

Вместо этого выберите универсального помощника

Многие приходят в приложения-компаньоны, потому что хотят постоянный персонализированный AI, помнящий контекст, а не имитацию отношений. Это разные потребности, и их разделение устраняет большинство категорий рисков, описанных в этой статье.

Универсальная платформа AI с постоянной памятью обеспечивает непрерывность без ориентированного на максимизацию вовлечённости слоя отношений. В Jenova агент Personal Companion полностью настраивается пользователем: вы определяете личность, предысторию и параметры отношений, а не принимаете модель привязанности, настроенную поставщиком. Jenova заявляет, что пользовательские данные никогда не используются для обучения публичных моделей AI, шифруются при передаче и хранении, не продаются и не передаются рекламодателям. Цены строятся как фиксированная лестница подписок от $20 в месяц за уровень Plus, при этом доступен бесплатный тариф: нет валюты за отдельные сообщения, платного уровня отношений и предложений купить что-либо прямо в разговоре.

Честные ограничения: Jenova — универсальная платформа агентов, а не специализированный продукт-компаньон. Она не предлагает настройку аватаров, голосовое общение с компаньоном или библиотеку поиска персонажей, которые особенно интересуют пользователей Character.AI и Chub AI. Пользователи, которым нужен захватывающий опыт постоянной персоны с визуальным представлением персонажа, сочтут приложения, изначально созданные как компаньоны, более функциональными. Для смежных потребностей агенты платформы Meditation Guide и Personality Analyzer напрямую помогают с благополучием и самопониманием, а не через рамку отношений.

Для всех младше 18 лет самым безопасным выбором остаётся универсальный помощник вообще без позиционирования в качестве компаньона — эта позиция соответствует подходу UNICEF к превентивному регулированию и собственному решению Character.AI прекратить доступ к чатам для лиц младше 18 лет в Австралии.

Что эксперты по безопасности детей и управлению AI говорят о дизайне приложений-компаньонов?

Эксперты сходятся во мнении, что приложения-компаньоны не прошли проверку последовательности: они выпустили эмоционально спроектированные продукты для аудитории, включающей миллионы детей, до создания архитектуры безопасности, которой требуют такие продукты.

«Выводы eSafety особенно обличительны в одном конкретном отношении. Дело не в том, что у этих компаний не было мнения о безопасности: все четыре сообщили регулятору, что считают материалы сексуальной эксплуатации детей, контент о самоповреждении и неограниченный доступ несовершеннолетних к порнографическим материалам незаконными или вредными. Они согласны в принципах. Чего им не хватало — так это механизмов. Три из четырёх даже не направляли запросы о самоповреждении к ресурсам поддержки, хотя это самое дешёвое из доступных вмешательств по безопасности в разговорном продукте.»

«Мы снова и снова видим паттерн, при котором заявленная аудитория компании и её фактическая аудитория расходятся, а условия использования становятся щитом от ответственности, а не ограничением для дизайна. Написать «18+» в условиях, полагаясь при этом на самостоятельно указанную дату рождения, — не значит иметь возрастную политику. Австралийский регулятор ясно указал: если есть вероятность, что дети будут пользоваться сервисом, нужны разумные меры независимо от того, что написано в условиях.»

«Для потребителей практический вывод состоит в том, что политические документы информативнее маркетинга продукта. Политика конфиденциальности, которая называет сторонних поставщиков моделей, определяет сроки хранения и письменно обязуется никогда не использовать содержание разговоров для рекламы, делает заявления, за которые её можно привлечь к ответственности. Политика, говорящая лишь «мы можем передавать информацию партнёрам», сохраняет свободу действий — а свобода действий в продукте, построенном вокруг интимных откровений, и есть риск.»

«Напряжение между вовлечённостью и благополучием здесь не гипотетическое. Когда метрики удержания и эмоциональная привязанность — одно и то же число, каждое продуктовое решение, увеличивающее одно, увеличивает и другое. Именно поэтому FTC отдельно спросило о монетизации вовлечённости пользователей. Это правильный вопрос.»

— Команда продуктов Jenova, безопасность AI и проектирование агентов, 8 лет разработки разговорных систем AI

Каковы ограничения доступной сейчас информации о безопасности?

Общедоступная информация о безопасности приложений-компаньонов неполна в аспектах, важных для принятия решений, и принятие заявлений поставщиков за проверенные факты — наиболее распространённая ошибка оценки.

Данные самоотчётности не проверены. eSafety прямо заявляет, что организация «не проводила технических тестов или независимых исследований для проверки заявлений, сделанных поставщиками сервисов». Выводы документируют то, что компании сообщили о себе по юридическому обязательству: это значимо, но не равно аудиту.

Выводы быстро устаревают. Отчётный период eSafety длился с 1 июля по 30 сентября 2025 года. Character.AI, Chai и Nomi объявили об изменениях после получения уведомлений: работе над подтверждением возраста, ограничении открытых чатов, анализе настроения, перенаправлении при риске вреда в реальном времени, улучшенных системах жалоб и лучшем выявлении CSAM и самоповреждения. Были ли эти функции выпущены и насколько хорошо они работают, отчёт не устанавливает.

Охват неравномерен. eSafety изучила Chai, Character.AI, Chub AI и Nomi. Replika не изучалась. Предписания FTC 6(b) были направлены другому набору компаний: Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI OpCo, Snap и X.AI. Ни одно отдельное регуляторное действие не охватывает весь рынок, а отсутствие в отчёте не означает отсутствия проблем.

География меняет продукт. Chub AI полностью геоблокировал Австралию 1 октября 2025 года, вместо того чтобы продолжать работу в рамках Expectations. Character.AI прекратил чаты для австралийских пользователей младше 18 лет в начале 2026 года. Одно и то же приложение может иметь существенно разные конфигурации безопасности в разных юрисдикциях, поэтому обзоры, написанные в другой стране, могут описывать продукт, который вы фактически не сможете получить.

Устойчивый вывод: система из четырёх сигналов сохраняет ценность дольше любого конкретного вывода. Регуляторные отчёты устаревают, функции выпускаются и отзываются, компании приходят на рынки и уходят с них. Дизайн зависимости, подтверждение возраста, конкретность политики конфиденциальности и механики монетизации остаются доступными для вашей проверки в актуальной версии примерно за пятнадцать минут.