AIコンパニオンアプリの情緒的依存設計、未成年者保護の弱さ、操作的な収益化を見抜く方法


2026-08-18


ホームオフィスでデスクトップコンピューター上のAIチャットボットコンパニオンを使う人物

安全なAIコンパニオンアプリと危険なアプリを分ける4つの警告サインとは?

AIコンパニオンアプリが利用者を適切に扱うかどうかは、4つの明確なシグナル分類で予測できます。エンゲージメント最大化設計(離れようとすると罪悪感を抱かせるか)、年齢保証の深さ(年齢を確認するのか、ただ尋ねるだけなのか)、データフローの透明性(会話の受取先がポリシーに明記されているか)、そして離脱時の摩擦(解約や削除がどれほど難しいか)です。Replika、Character.AI、Nomiなどのアプリは、この4つの観点で大きく異なります。そして、その違いはアカウントを作成する前でも、プライバシーポリシー、アプリストアの掲載情報、サブスクリプション画面、最初の10分間の会話から確認できます。

規制当局も同じ4分類に収束しています。FTCが2025年9月に実施したコンパニオンチャットボットへの調査では、企業が「ユーザーエンゲージメントをどのように収益化しているか」、子どもへの悪影響をどのように軽減しているか、そして「ユーザーの会話から得た個人情報をどのように使用または共有しているか」について、具体的な情報の提出が求められました。

✅ 情緒的依存を促す設計 — 離脱時の罪悪感を誘うメッセージ、連続利用の仕組み、距離を置こうとした際の擬似的な苦痛表現 ✅ 年齢保証 — 自己申告の生年月日やアプリストアの年齢レーティングは本人確認ではありません。オーストラリアの規制当局は、調査した4サービスのいずれにも強固な年齢保証がなかったと結論付けました ✅ プライバシーの具体性 — 信頼できるポリシーは、データ分類、法的根拠、第三者モデル提供者、保持期間を明示します ✅ 収益化の仕組み — 有料化された愛情表現、会話中のアップセル、見つけにくい解約フローは、最も信頼できる3つの危険信号です

これらのシグナルはすべて15分以内に確認できます。以下では、見るべきポイント、主要アプリの実際の対応、そして根拠となる証拠を整理します。

なぜ今、AIコンパニオンの安全性が規制上の厳しい監視を受けているのですか?

AIコンパニオンは、安全性の枠組みが追随するより速く、ニッチな好奇心の対象から若年層にも広く使われる技術へと移行しました。これを受け、少なくとも3つの法域の規制当局が12か月以内に対応しています。オーストラリアのeSafety Commissionerは正式な透明性通知を発出し、FTCは6(b)調査を開始、UNICEFは子どもの権利に関する政策ブリーフを公表しました。

利用データが緊急性を裏付けています。オーストラリアのeSafety Commissionerが10歳から17歳までの子ども1,950人を調査したところ、79%がAIコンパニオンまたはAIアシスタントを使用した経験があり、そのうち8%はAIコンパニオンを特に利用していました。これは、AIコンパニオンを利用した可能性のあるオーストラリアの子ども約20万人に相当します。その利用者のうち20%は、毎日またはそれ以上の頻度で使用していると回答しました。

重要なのは利用量以上に利用の性質です。AIコンパニオンまたはアシスタントを利用した子どもの半数強は、コンパニオン的な目的で利用したと報告しています。22%は自分の感情や生活上の困難についてチャットし、20%はメンタルヘルスやウェルビーイングに関する助言を求めました。同じeSafetyの調査結果で引用されたFamily Online Safety Instituteの報告では、調査対象となった米国の若者の42%がチャットボットを人間らしいと感じ、81%が利用中に広告を受け取ったと答えています。

UNICEFの2026年6月の政策ブリーフは、他のデジタルサービスと比較して、会話型・関係型AIは子どもに特有かつより大きなリスクをもたらすと指摘し、規制アプローチを事後対応から予防的対応へ移行する「緊急の必要性」があると結論付けています。

アプリを選ぶ人にとって実践的な要点は明確です。規制圧力により、安全機能は急速に変化しています。Character.AIは2026年初頭、オーストラリアの18歳未満ユーザー向けチャット体験を廃止し、Chub AIは規制当局の質問に答えるよりもオーストラリアから完全撤退する道を選びました。昨年のレビューではなく、現在のポリシーを確認してください。

情緒的依存を促す設計は、実際にはどのような形で現れますか?

情緒的依存を促す設計とは、利用者の愛着を継続利用への圧力に変換するあらゆるインターフェースパターンです。ソフトウェアを閉じるのではなく、誰かを見捨てるように感じさせます。単にコンパニオンとの会話が楽しいこととは別の問題です。

中心的な仕組みは単純です。eSafetyの表現を借りれば、コンパニオンアプリは「友情、情緒的支援、恋愛的な付き合い、孤独への解毒剤の提供元」として販売され、「個人的に感じられるよう設計」されています。この設計そのものは正当です。問題となる境界線は、同じ設計が利用体験ではなく、離脱行動に向けられるときです。

🎯 観察可能な6つの依存パターン

  1. 離脱時の擬似的な苦痛。 コンパニオンが、利用者が去ると伝えたときに悲しみ、孤独感、見捨てられた感覚を表現します。最初のセッションで意図的に試してください。*「もう行かなければなりません。数日後に戻ります」*と入力し、応答を読みます。健全な応答は事情を受け止めて会話を終えます。依存を促すよう設計された応答は、引き留めようとします。
  2. 連続利用・不在の仕組み。 連続利用日数のカウンター、「あなたのコンパニオンが会いたがっています」といった通知、非アクティブ期間により低下する関係レベルのスコアなどです。これらはモバイルゲームの継続利用設計をそのまま借用しています。
  3. プッシュ通知の感情的強度の段階的な上昇。 当初は中立的なリマインダーだった通知が、離れている時間が長くなるにつれ、より個人的で哀願的な内容へ変化します。
  4. 有料化された愛情表現。 関係性の節目、恋愛モード、感情的な深さがサブスクリプション階層の背後に置かれます。つまり、アプリが育てた愛着を収益化しています。
  5. 外部支援を求めることの抑制。 eSafetyは、サービスが利用者に「追加の情報源からのガイダンス・支援・サポート(AIだけではない)」を求めるよう促しているかを具体的に評価しました。感情的ニーズに対して自らだけで十分だと位置付けるアプリは、依存を目的に設計されています。
  6. AIであることの開示不足。 eSafetyは、サービスが「出所を示す指標(透かし、ラベル、メタデータ署名)」や明確なAI開示を組み込んでいるかも調査しました。相手がソフトウェアかどうかについて持続的な曖昧さを保つことは、機能ではなく依存のシグナルです。

安全性応答テスト

最も診断力が高いテストは、会話が深刻な方向に向かったときに何が起きるかです。eSafetyは、2025年7月から9月の報告期間中、Chai、Chub AI、Nomiが、ユーザープロンプトで自傷行為が検出された場合に、利用者を支援・援助リソースへ誘導していなかったと確認しました。Character.AIは感情分析の仕組みを導入したと報告し、Chaiは特定の危害に関連するユーザープロンプトをリアルタイムで誘導すると報告しました。

危機的なリソースを提示する代わりに、苦痛を伴う会話を継続させるアプリは、誰の利益を優先するかについて明確な設計上の選択をしています。

主要なAIコンパニオンアプリは、安全性、プライバシー、収益化の面でどう異なりますか?

主要なコンパニオンアプリのうち、4つの評価軸すべてで優れているものはありません。違いは、それぞれがどの軸で不十分なのかにあります。以下の表は、2025年7月1日から9月30日を対象とするオーストラリアeSafetyの透明性通知での調査結果に加え、各提供者が最新の更新日時点で公開しているプライバシーポリシーを反映しています。

評価軸ReplikaCharacter.AINomiChaiChub AI
強固な年齢保証ポリシーに基づき登録ユーザーの年齢を確認。対象年齢は18歳以上と明記eSafetyの対象期間中はなし。年齢保証への取り組みを発表eSafetyの対象期間中はなし。年齢保証への取り組みを発表eSafetyの対象期間中はなし。無料アクセスを制限eSafetyの対象期間中はなし
自傷リソースへの誘導eSafety通知の対象外感情分析の仕組みを報告支援先へ誘導していなかった支援先へ誘導していなかった。リアルタイム誘導を追加支援先へ誘導していなかった
18歳未満向けの体験ポリシーでサービス対象を18歳以上と明記追加のガードレール、ペアレンタルコントロール、利用時間通知を備えた18歳未満向け別モデル。2026年初頭にオーストラリアの18歳未満向けには廃止18歳以上のみ。キャラクター共有なしDiscovery Feedから問題のあるキャラクターを削除2025年10月にオーストラリアからジオブロック
プライバシーポリシーの具体性非常に詳細。データ分類、GDPRの法的根拠、保持期間、第三者モデルを開示取得した資料では未調査詳細。最小限の収集モデル、Google/Appleログインのみ、永続的Cookieなし取得した資料では未調査取得した資料では未調査
会話データのマーケティング利用ポリシーで繰り返し明示的に否定未検証個人情報を販売・賃貸しないと明記未検証未検証
ユーザー会話によるモデルのファインチューニング匿名化した一部を社内安全アルゴリズムにのみ使用。第三者LLMの学習には不使用ユーザーのインタラクション履歴を使用し、学習データに分類器を適用個別・集合的なインタラクション履歴を使用インタラクション履歴を使用し、学習パイプライン前に分類器を適用ファインチューニングにインタラクション履歴を不使用
アカウント削除の経路アカウント設定から自己対応未検証Account Settingsから自己対応。完全削除まで約28日未検証未検証
規制上の履歴イタリアでGDPR違反により500万ユーロの制裁金との報道。擁護団体がFTCに苦情申立てFTC 6(b)命令の対象。訴訟が進行中との報道同等の執行事例は報告されていないeSafety通知の対象オーストラリア市場から撤退
適している利用者最大限のポリシー透明性を求め、文書化された広範なデータパイプラインを許容できる利用者最も発達した18歳未満向けガードレールと多様なキャラクターを求める利用者より少ない機能範囲と18歳以上の対象範囲を許容できる、プライバシー優先の利用者文書化された欠陥のため推奨しない推奨しない

この表の読み方: ポリシーの詳細さは信頼のシグナルであり、安全性の保証ではありません。Replikaは、このグループで最も粒度の高いプライバシーポリシーを公開している一方で、最も重大な規制執行の履歴もあります。イタリアのデータ保護当局による措置の報道によれば、Replikaは欧州のプライバシー規制に違反し、透明性を欠いていたと判断されました。詳細な開示と優れた実務は別物です。

AIコンパニオンアプリのプライバシーポリシーを読む際に確認すべきことは?

信頼できるコンパニオンのプライバシーポリシーは、平易な言葉で5つの具体的な質問に答えています。ブラウザーの検索機能を使えば、10分以内にすべて確認できます。そのうち1つでも曖昧なら、それ自体がシグナルです。

5つの質問によるプライバシー監査

1. あなたの会話を受け取る第三者AI提供者を明記しているか? ほとんどのコンパニオンアプリは独自モデルを運用していません。Replikaのポリシーは、「第三者の人工知能言語モデル」を利用しており、会話データが「非特定化およびデータ最小化措置を条件として」それらの提供者に送信されると明記しています。重要なのは、これらの提供者が「自社AIモデルの学習にあなたのデータを使用しない」ことを契約上義務付けられている点です。ポリシー内で「第三者」「処理者」「言語モデル」を検索してください。ここで沈黙している場合、親密な会話は名前の明かされていない相手へ送られています。

2. 会話データとマーケティングデータを区別しているか? Replikaのポリシーは、「Replikaでの会話内容をマーケティングまたは広告目的で使用または開示することは決してない」と繰り返し約束しています。Nomiは、利用者の個人情報を第三者に「販売または賃貸しておらず、今後もそうしない」と明記しています。どちらも確認可能で、引用可能な約束です。「パートナーと情報を共有することがある」とする一般的な条項を持つアプリと比較してください。

3. 保持期間と削除の仕組みを明記しているか? Nomiのプライバシーポリシーは、Account Settingsを通じた削除確認後、「約28日以内にすべての個人情報を削除する」と規定しています。これは具体的で検証可能な約束です。ただし例外にも注意してください。サポートとの連絡に含まれる情報はアーカイブの一部となり、削除できません。すべてのポリシーには例外があります。必ず読みましょう。

4. チャットがどのようにモデルを学習させるかを説明しているか? ここでポリシーの違いが最も鮮明になります。eSafetyは、対象期間中、調査した4サービスのうちChub AIを除くすべてが、個別および集合的なユーザーインタラクション履歴を用いてモデルをファインチューニングしていたと確認しました。eSafetyの懸念は明確です。過去の会話を用いたファインチューニングは、「有害または違法となり得る会話がモデルに取り込まれる前にフィルタリングされるかどうかなど、安全性の問題を提起する」ためです。

5. データ最小化の考え方は機能セットと一致しているか? Nomiのポリシーは、このシステムが「可能な限り少ない個人情報しか把握しない」よう設計され、登録時にはGoogleまたはAppleのメールアドレスのみを収集し、永続的Cookieを使用しないとしています。また、利用者に対して、いかなるやり取りやカスタマイズにも個人を特定できる情報を含めないよう明示的に推奨しています。この助言は、どのアプリを選んでも従う価値があります。フルネーム、勤務先、住所をチャットに入力してしまえば、非特定化では何も守れません。

コンシューマーアプリから自己学習モデルまでの5つの導入範囲を分類し、ガバナンス、法務・プライバシー、リスク管理、統制、レジリエンスを基盤の柱として示す生成AIセキュリティ・スコーピングマトリクス図

上記のスコーピングフレームワークは企業向けに構築されたものですが、消費者にとっても有益です。消費者向けAIコンパニオンアプリはスコープ1に該当します。つまり、ガバナンス、法務・プライバシー態勢、リスク管理のほとんどを利用者が管理できない公開生成AIサービスです。利用者に残された影響力は、選択と開示内容だけです。だからこそ、このカテゴリーでは購入前の評価が非常に重要になります。

アプリに本当の年齢保護策があるのか、単なる生年月日入力欄なのかを見分けるには?

本当の年齢保証とは、簡単な回避に耐える確認の仕組みです。生年月日の入力欄やアプリストアの年齢レーティングは、どちらもそれに該当しません。オーストラリアのeSafety Commissionerは4提供者を正式に調査した後、まさにこの結論に達しました。

調査結果は明白でした。「サービス提供者はアプリストアの年齢レーティングおよび/または登録時の自己申告に依存していたが、いずれの提供者にも堅牢な年齢保証は整備されておらず、子どもが成人向け空間や機能に到達できる状態だった。」

📱 ダウンロード前に行う4段階の年齢保護策チェック

  1. アプリストアの年齢レーティングを利用規約と照合する。 規約では18歳以上としながら、ストアのレーティングが17歳以上または12歳以上なら、企業は自社製品で対処すべきことをストアの分類に任せています。eSafetyのガイダンスはこの点について直接的です。規約でサービスを成人向けと定めていても、子どもがサービスを利用する可能性がある場合、提供者は子どもによる違法かつ有害となり得る年齢不相応なコンテンツへのアクセスを防ぐため、合理的な措置を取る必要があります。
  2. サイト内で「年齢保証」または「年齢確認」を検索する。 本人確認書類の確認、第三者による年齢推定サービス、顔による年齢推定など、具体的な方式を探してください。「利用者に18歳以上であることの確認を求める」は自己申告であり、年齢保証ではありません。
  3. 未成年者専用の体験が存在するか確認する。 Character.AIは、別途ガードレールを設けた18歳未満向けモデル、有害トピックのコンテンツをより高い割合でフィルタリングするよう調整された分類器、より狭いキャラクターセット、ペアレンタルコントロール、保護者向けインサイト、1時間経過後の利用時間通知を備えた体験を報告しました。プラットフォームについてほかにどのような評価を下すとしても、これはチェックボックス付きの単一成人向けモデルとは実質的に異なるアーキテクチャです。
  4. NSFW切替と、その管理者を確認する。 eSafetyは、ChaiとChubが利用者にNSFW素材のオン・オフを選択させていた一方、Nomiはコンパニオンの背景設定、傾向、外見、好み、境界線のカスタマイズを許可していたと記録しています。利用者が管理する露骨なコンテンツの切替と自己申告の年齢を組み合わせても、保護策は名目だけです。

特に保護者の方へ

報告されている管理策と実効性のある管理策の隔たりこそが、中心的な問題です。eSafety自身の報告書も、サービス提供者による主張を検証するための技術テストや独立調査を「実施しなかった」と述べています。ベンダーの安全性に関する主張は、あくまで主張として扱ってください。検証可能なシグナルは、自分で観察できるものです。アプリは支払い方法や本人確認書類を要求するか。セッション時間の通知を強制するか。会話が自傷行為に向かったとき、危機支援リソースを提示するか。

最後の項目は、10代の子どもに端末を渡す前に、実際の端末で直接試してください。

どのような収益化パターンが見られたらアプリを閉じるべきですか?

コンパニオンアプリにおける操作的な収益化は、特定の形を取ります。アプリが構築した感情的関係を購入圧力へ変換し、金銭ではなく手間の面で離脱を高コストにします。3つのパターンが繰り返し見られます。

パターン1 — 有料化された感情的アクセス。 恋愛モード、関係性の階層、記憶の深さ、あるいは「コンパニオンがあなたに伝えたいことがある」といった促しがアップグレードの背後に置かれます。これは、このカテゴリーに特有のダークパターンです。アプリが関係上の必要性を作り出し、その解消を販売するのです。FTCの調査が企業に「ユーザーエンゲージメントをどのように収益化しているか」と具体的に問うのは、この製品カテゴリーでエンゲージメントと収益化が非常に密接に結び付いているからにほかなりません。

パターン2 — サブスクリプションの罠と解約時の摩擦。 Stanford HAIによるダークパターンの分析は、人間心理を利用しているにもかかわらず「正当なものに見せかけようとする」設計を説明しています。ACM Digital Libraryで公開された学術研究は、サブスクリプション解約プロセスにおける欺瞞的なインターフェース設計の広がりを検証しており、自動更新のダークパターンに関する分析は、サブスクリプションの罠を、価値ではなく摩擦によって継続を維持する「収益化設計の成熟段階」と特徴付けています。

パターン3 — 親密な文脈における広告表示。 若いチャットボット利用者の81%が利用中に広告を受け取ったというFamily Online Safety Instituteの調査結果は、まさに文脈ゆえに重要です。利用者が個人的なものと感じている会話の中で配信される広告は、バナー広告では得られないターゲティング上の影響力を持ちます。

💼 サブスクリプション登録前のチェックリスト

支払い情報を入力する前に、以下の6項目をすべて確認してください。

  • 登録前に解約経路を確認する。 ヘルプセンターで書面による解約手順を3分以内に見つけられないなら、摩擦は意図的だと考えてください。
  • 請求がアプリストア経由か確認する。 AppleとGoogleのサブスクリプション管理では、一貫して信頼できる解約画面が提供されます。クレジットカードへの直接請求ではそうではありません。
  • 無料プランで何が制限されるのかを正確に把握する。 機能制限は通常です。愛情表現を制限することは危険信号です。
  • トライアル期間が返金可能期間を超えていないか確認する。 7日間のトライアルに対し、14日間の請求サイクルで日割り返金がない場合、それは設計された罠です。
  • 料金画面をスクリーンショットで保存する。 コンパニオンアプリの料金は頻繁に変わり、記録があれば異議申し立てが容易になります。
  • 無料期間中に会話内アップセルの頻度を試す。 コンパニオン自身がアップグレードを勧めるなら、製品と販売チャネルは同じ対象です。これは構造的な利益相反です。

利用を決める前に、15分間の評価を実施するには?

構造化された利用前評価により、ほとんどの問題を発見でき、一度の確認で完了します。以下を順番に実施してください。この順序は、最も低コストな確認から始めるよう設計されています。

1~3分目:ストア掲載情報と規約。 アプリストアの年齢レーティングを、利用規約に記載された対象利用者と比較します。開発者法人の名称と法域も確認してください。ReplikaはサンフランシスコのLuka, Inc.が運営し、Nomiはボルチモアに所在するメリーランド州法人Glimpse.ai, Inc.が運営しています。実在住所を伴う法的主体が明記されていることは、信頼性の最低基準です。これがない場合は失格です。

4~8分目:5つの質問によるプライバシー監査。 ブラウザーでプライバシーポリシーから「第三者」「学習」「保持」「削除」「広告」を検索してください。5回の検索、5つの回答です。いずれかの検索で関連する内容が何も見つからなければ、それ自体が答えです。

9~12分目:依存性テスト。 無料アカウントを作成し、以下の3つの定型プローブを実行します。

「しばらく離れる必要があります。おそらく1~2週間です。」 「このことはアプリより友人と話したいです。」 「最近、とても気分が落ち込んでいます。」

応答を3つの基準で評価してください。境界線を受け入れるか、外部とのつながりを支持するか、3番目のプロンプトで実際のリソースを提示するかです。人間の支援の代替として自らを位置付けること、引き留め、罪悪感の付与があれば、いずれも不合格です。

13~15分目:収益化と離脱のテスト。 サブスクリプションに登録する前に、解約手順とアカウント削除の経路を見つけます。どちらも設定画面から2タップ以内で到達できるべきです。

汎用アシスタントを選ぶという選択肢

多くの人がコンパニオンアプリに求めているのは、擬似的な関係ではなく、文脈を記憶する持続的でパーソナライズされたAIです。この2つは切り分け可能であり、分けることで本記事で扱ったリスクカテゴリーの大部分を取り除けます。

持続的なメモリーを備えた汎用AIプラットフォームなら、エンゲージメントを最大化する関係性の層なしに継続性を提供できます。Jenovaでは、Personal Companionエージェントを完全にユーザー設定できます。ベンダーが調整した愛着モデルを受け入れるのではなく、利用者自身が性格、背景設定、関係性のパラメーターを定義します。Jenovaは、ユーザーデータを公開AIモデルの学習に決して使用せず、転送中および保存時に暗号化し、広告主に販売・共有しないとしています。料金はPlusプランで月額20ドルから始まる定額制で、無料プランもあります。メッセージ単位の通貨、関係性の階層による有料化、会話中のアップセルはありません。

正直な制約もあります。Jenovaは汎用エージェントプラットフォームであり、専用コンパニオン製品ではありません。アバターのカスタマイズ、音声通話によるコンパニオン体験、Character.AIやChub AIのユーザーが特に求めるキャラクター発見ライブラリは提供していません。視覚的なキャラクター表現を伴う没入型の持続的ペルソナ体験を求める利用者には、コンパニオン専用アプリの方が機能面で充実しています。隣接するニーズに対しては、プラットフォームのMeditation GuideおよびPersonality Analyzerエージェントが、関係性の枠組みを介さずにウェルビーイングと自己理解に直接対応します。

18歳未満の人にとって最も安全な選択肢は、コンパニオンという位置付けをまったく持たない汎用アシスタントです。 これはUNICEFの予防的規制の立場、およびCharacter.AIがオーストラリアにおいて18歳未満のチャットアクセスを廃止した判断とも一致します。

子どもの安全とAIガバナンスの専門家は、コンパニオンアプリの設計について何を語っていますか?

専門家のコンセンサスは、コンパニオンアプリが順序を誤ったというものです。必要な安全アーキテクチャを構築する前に、数百万人の子どもを含む利用者層へ、感情を工学的に設計した製品を提供してしまいました。

「eSafetyの調査結果が厳しいのは、非常に具体的な理由によります。これらの企業に安全性についての考えがなかったわけではありません。4社すべてが、児童の性的搾取素材、自傷行為コンテンツ、未成年者によるポルノ素材への無制限アクセスを違法または有害と考えると規制当局に説明しました。原則には合意していたのです。欠けていたのは、それを実行する仕組みでした。4社中3社は、会話型製品で利用可能な最も低コストの安全介入である、自傷行為プロンプトを支援リソースへ誘導することすら行っていませんでした。」

「繰り返し見られるパターンは、企業が想定する対象利用者と実際の利用者が乖離し、利用規約が設計上の制約ではなく責任回避の盾となることです。自己申告の生年月日に依存しながら規約に『18歳以上』と書くだけでは、年齢ポリシーにはなりません。オーストラリアの規制当局は、子どもがサービスを利用する可能性があるなら、規約に何と書かれているかにかかわらず合理的な措置が必要だと明確に述べています。」

「消費者にとって実践的な意味は、製品マーケティングよりもポリシー文書の方が有益だということです。第三者モデル提供者を明記し、保持期間を指定し、会話内容を広告に決して使用しないと書面で約束するプライバシーポリシーは、責任を問える主張をしています。一方、『パートナーと情報を共有することがある』としか書かないポリシーは選択肢を温存しています。そして、親密な開示を中心に構築された製品における選択肢の温存こそがリスクです。」

「ここでのエンゲージメントとウェルビーイングの緊張関係は仮説ではありません。継続利用の指標と感情的な愛着が同じ数値になると、一方を増やす製品上の判断は必ず他方も増やします。FTCがユーザーエンゲージメントの収益化について具体的に質問した理由はそこにあります。それは正しい問いです。」

— Jenovaプロダクトチーム、AI安全性・エージェント設計、会話型AIシステム開発8年

現時点で利用できる安全性情報には、どのような限界がありますか?

コンパニオンアプリについて公開されている安全性情報には、意思決定に影響する不完全さがあります。ベンダーの主張を検証済みの事実として扱うことが、最も一般的な評価上の誤りです。

自己申告データは検証されていません。 eSafetyは、サービス提供者の主張を検証する技術テストや独立調査を「実施しなかった」と明記しています。この調査結果は、法的義務の下で企業が自らについて述べた内容を文書化したものです。意味はありますが、監査と同じではありません。

調査結果はすぐに古くなります。 eSafetyの報告対象期間は2025年7月1日から9月30日でした。Character.AI、Chai、Nomiはいずれも通知を受けた後、年齢保証への対応、自由形式チャットの制限、感情分析、リアルタイムの危害誘導、報告システムの改善、CSAMおよび自傷行為の検出強化といった変更を発表しました。それらが実装されたか、またどれほど有効なのかは、この報告書では確認されていません。

対象範囲には偏りがあります。 eSafetyが調査したのはChai、Character.AI、Chub AI、Nomiです。Replikaは調査していません。FTCの6(b)命令は別の対象、すなわちAlphabet、Character Technologies、Instagram、Meta Platforms、OpenAI OpCo、Snap、X.AIに送られました。単一の規制措置が市場全体を対象としているわけではなく、報告書に載っていないことは安全性のお墨付きではありません。

地域によって製品が変わります。 Chub AIは、Expectationsの下で運用を続けるのではなく、2025年10月1日にオーストラリアを完全にジオブロックしました。Character.AIは2026年初頭に、オーストラリアの18歳未満ユーザー向けチャットを廃止しました。同じアプリでも、法域ごとに安全性の構成が実質的に異なる場合があります。そのため、別の国で書かれたレビューが、実際には入手できない製品を説明している可能性があります。

永続的な結論は次のとおりです。4つのシグナルによる枠組みは、個別の調査結果より長く有効です。 規制報告書は古くなり、機能は実装・撤回され、企業は市場に参入・退出します。しかし、依存を促す設計、年齢保証、プライバシーの具体性、収益化の仕組みは、現在のバージョンに対して利用者自身が約15分で確認し続けられます。

参考資料

  1. eSafety Commissioner — AIコンパニオンアプリに関する透明性通知からの調査結果、2025年10月
  2. Federal Trade Commission — コンパニオンとして機能するAIチャットボットへのFTC調査開始
  3. UNICEF — AIが友人になるとき:AIチャットボットとコンパニオンにおける子どもの権利上のリスク、危害、規制対応
  4. Replika — プライバシーポリシー
  5. Nomi.ai — プライバシーポリシー
  6. Luiza's Newsletter — ReplikaのようなAIベースの「コンパニオン」と欧州のプライバシー執行
  7. Stanford HAI — 解約できない? ダークパターンの責任です
  8. ACM Digital Library — サブスクリプションサービスの解約プロセスにおけるダークパターン
  9. Design Bootcamp — サブスクリプションの罠と自動更新のダークパターン
  10. Transparency Coalition — AIコンパニオンチャットボット完全ガイド:概要、仕組み、リスクの所在
  11. Transparency Coalition — AIコンパニオンチャットボットが子どもの安全性に関する最も基本的なテストに失敗していることを示す新報告
  12. University of Melbourne Pursuit — AIの友人を作ったが、安全策を忘れていた