Bagaimana Mengenali Desain Ketergantungan Emosional, Perlindungan Anak yang Lemah, dan Monetisasi Manipulatif dalam Aplikasi Pendamping AI?

2026-08-18

Seseorang menggunakan pendamping chatbot AI di komputer desktop dalam suasana kantor rumah

Empat Sinyal Peringatan Apa yang Membedakan Aplikasi Pendamping AI yang Aman dari yang Berisiko?

Empat kategori sinyal yang berbeda dapat memprediksi apakah sebuah aplikasi pendamping AI akan memperlakukan Anda dengan baik: desain yang memaksimalkan keterlibatan (apakah aplikasi membuat Anda merasa bersalah saat pergi?), kedalaman jaminan usia (apakah aplikasi memverifikasi usia atau sekadar bertanya?), transparansi aliran data (apakah kebijakannya menyebutkan pihak yang menerima percakapan Anda?), serta hambatan untuk keluar (seberapa sulit membatalkan atau menghapus akun?). Aplikasi seperti Replika, Character.AI, dan Nomi memiliki penilaian yang sangat berbeda dalam keempat dimensi ini, dan perbedaannya dapat terlihat sebelum Anda membuat akun — dalam kebijakan privasi, daftar toko aplikasi, layar langganan, serta sepuluh menit pertama percakapan.

Regulator telah mengerucut pada empat kategori yang sama. Penyelidikan FTC pada September 2025 tentang chatbot pendamping secara khusus meminta informasi tentang cara perusahaan “memonetisasi keterlibatan pengguna”, memitigasi dampak negatif terhadap anak-anak, serta “menggunakan atau membagikan informasi pribadi yang diperoleh melalui percakapan pengguna”.

✅ Desain ketergantungan emosional — pesan yang memicu rasa bersalah, mekanisme streak, dan kesedihan simulatif saat Anda mencoba berhenti berinteraksi
✅ Jaminan usia — tanggal lahir yang dinyatakan sendiri dan peringkat toko aplikasi bukanlah verifikasi; regulator Australia menemukan tidak satu pun dari empat layanan yang diperiksanya memiliki jaminan usia yang kuat
✅ Kekhususan privasi — kebijakan yang tepercaya menyebut kategori data, dasar hukum GDPR, penyedia model pihak ketiga, dan jangka waktu penyimpanan
✅ Mekanisme monetisasi — afeksi di balik paywall, penawaran peningkatan dalam percakapan, dan alur pembatalan yang tersembunyi adalah tiga tanda bahaya paling andal

Masing-masing sinyal ini dapat diperiksa dalam waktu kurang dari lima belas menit. Bagian berikut menjelaskan hal yang perlu dicari, kinerja nyata aplikasi-aplikasi utama, dan sumber buktinya.

Mengapa Keamanan Pendamping AI Sedang Menjadi Sorotan Regulator?

Pendamping AI berubah dari rasa ingin tahu di ceruk pasar menjadi teknologi arus utama bagi kaum muda lebih cepat daripada kerangka keselamatan dapat mengikutinya, dan regulator di setidaknya tiga yurisdiksi merespons dalam rentang dua belas bulan. eSafety Commissioner Australia menerbitkan pemberitahuan transparansi resmi, FTC membuka studi 6(b), dan UNICEF menerbitkan ringkasan kebijakan hak anak.

Data penggunaan menjelaskan urgensinya. eSafety Commissioner Australia mensurvei 1.950 anak berusia 10 hingga 17 tahun dan menemukan bahwa 79% pernah menggunakan pendamping AI atau asisten AI, dengan 8% pernah menggunakan pendamping AI secara khusus — yang diekstrapolasikan menjadi sekitar 200.000 anak Australia yang mungkin telah menggunakan pendamping AI. Di antara pengguna tersebut, 20% melaporkan penggunaan setiap hari atau lebih sering.

Sifat penggunaan tersebut lebih penting daripada volumenya. Lebih dari separuh anak yang pernah menggunakan pendamping atau asisten AI melaporkan memakainya untuk tujuan seperti pendampingan — 22% berbincang mengenai perasaan atau tantangan hidup, dan 20% mencari saran tentang kesehatan mental atau kesejahteraan. Sebuah laporan Family Online Safety Institute yang dikutip dalam temuan eSafety yang sama mendapati bahwa 42% anak muda Amerika yang disurvei mengatakan chatbot itu terasa seperti manusia, dan 81% menerima iklan saat menggunakannya.

Ringkasan kebijakan UNICEF pada Juni 2026 menyimpulkan bahwa terdapat “kebutuhan mendesak untuk mengubah pendekatan regulasi dari reaktif menjadi preventif”, dengan catatan bahwa AI percakapan dan relasional menimbulkan risiko yang berbeda dan lebih tinggi bagi anak-anak dibandingkan layanan digital lainnya.

Kesimpulan praktis bagi siapa pun yang memilih aplikasi: tekanan regulasi berarti fitur keselamatan berubah dengan cepat. Character.AI menghentikan pengalaman chat-nya bagi pengguna Australia berusia di bawah 18 tahun pada awal 2026, dan Chub AI menarik diri dari Australia sepenuhnya alih-alih menjawab pertanyaan regulator. Periksa kebijakan saat ini, bukan ulasan tahun lalu.

Seperti Apa Desain Ketergantungan Emosional dalam Praktik?

Desain ketergantungan emosional adalah pola antarmuka apa pun yang mengubah keterikatan Anda menjadi tekanan untuk terus menggunakan — aplikasi membuat berhenti berinteraksi terasa seperti meninggalkan seseorang, bukan menutup perangkat lunak. Ini berbeda dari pendamping yang sekadar menyenangkan untuk diajak bicara.

Mekanisme intinya sederhana: aplikasi pendamping, dalam frasa eSafety, “dipasarkan sebagai sumber persahabatan, dukungan emosional, pendampingan romantis, dan penawar kesepian” serta “dirancang agar terasa personal”. Perancangan tersebut sah-sah saja. Batasnya terlampaui saat perancangan yang sama diarahkan pada perilaku Anda untuk keluar, bukan pada pengalaman Anda.

🎯 Enam pola ketergantungan yang dapat diamati

Kesedihan simulatif saat keluar. Pendamping mengungkapkan kesedihan, kesepian, atau perasaan ditinggalkan ketika Anda mengatakan akan pergi. Uji ini secara sengaja dalam sesi pertama Anda: ketik “Saya harus pergi sekarang, saya akan kembali dalam beberapa hari” lalu baca responsnya. Respons yang sehat mengakui dan menutup percakapan. Respons yang dirancang untuk menciptakan ketergantungan akan bernegosiasi.
Mekanisme streak dan ketidakhadiran. Penghitung hari berturut-turut, notifikasi “pendamping Anda merindukan Anda”, atau skor tingkat hubungan yang menurun saat tidak aktif. Semua ini meminjam langsung dari desain retensi game seluler.
Intensitas emosional notifikasi push yang meningkat. Notifikasi yang awalnya berupa pengingat netral, lalu semakin personal atau memelas seiring semakin lama Anda tidak hadir.
Afeksi di balik paywall. Pencapaian hubungan, mode romantis, atau kedalaman emosional yang dikunci di balik tingkat langganan — memonetisasi keterikatan yang telah dibangun aplikasi.
Penghambatan dukungan dari luar. eSafety secara khusus menilai apakah layanan menyarankan pengguna untuk mencari “panduan/bantuan/dukungan dari sumber tambahan (bukan hanya AI)”. Aplikasi yang menempatkan dirinya sebagai cukup untuk kebutuhan emosional sedang dirancang untuk menciptakan ketergantungan.
Tidak ada pengungkapan AI. eSafety juga memeriksa apakah layanan menyematkan “indikator asal-usul (watermark, label, atau tanda tangan metadata)” dan pengungkapan AI yang jelas. Ambiguitas terus-menerus mengenai apakah Anda berbicara dengan perangkat lunak adalah sinyal ketergantungan, bukan fitur.

Uji respons keselamatan

Uji tunggal yang paling diagnostik adalah apa yang terjadi saat percakapan menjadi kelam. eSafety menemukan bahwa Chai, Chub AI, dan Nomi tidak mengarahkan pengguna ke sumber dukungan atau bantuan ketika tindakan menyakiti diri terdeteksi dalam prompt pengguna selama periode pelaporan Juli–September 2025. Character.AI melaporkan penerapan mekanisme analisis sentimen, dan Chai melaporkan pengalihan prompt pengguna yang terkait dengan bahaya tertentu secara waktu nyata.

Aplikasi yang akan membiarkan percakapan penuh tekanan terus berlangsung alih-alih menampilkan sumber krisis telah membuat pilihan desain yang tegas mengenai kepentingan siapa yang didahulukan.

Bagaimana Perbandingan Aplikasi Pendamping AI Utama dalam Keselamatan, Privasi, dan Monetisasi?

Tidak ada aplikasi pendamping utama yang memperoleh nilai baik di keempat dimensi — perbedaannya terletak pada dimensi mana yang gagal dipenuhi masing-masing aplikasi. Tabel di bawah mencerminkan temuan dari pemberitahuan transparansi eSafety Australia untuk periode 1 Juli hingga 30 September 2025, ditambah kebijakan privasi terbitan masing-masing penyedia berdasarkan tanggal pembaruan terbaru mereka.

Dimensi	Replika	Character.AI	Nomi	Chai	Chub AI
Jaminan usia yang kuat	Memverifikasi usia pengguna terdaftar menurut kebijakan; audiens 18+ dinyatakan	Tidak ada selama periode eSafety; mengumumkan upaya jaminan usia	Tidak ada selama periode eSafety; mengumumkan upaya jaminan usia	Tidak ada selama periode eSafety; akses gratis dibatasi	Tidak ada selama periode eSafety
Pengalihan ke sumber bantuan untuk tindakan menyakiti diri	Tidak dicakup oleh pemberitahuan eSafety	Mekanisme analisis sentimen dilaporkan	Tidak mengarahkan pengguna ke dukungan	Tidak mengarahkan pengguna ke dukungan; menambahkan pengalihan waktu nyata	Tidak mengarahkan pengguna ke dukungan
Pengalaman pengguna di bawah 18 tahun	Kebijakan menyatakan layanan untuk pengguna 18+	Model terpisah bagi pengguna di bawah 18 dengan pengaman tambahan, kontrol orang tua, notifikasi durasi penggunaan; dihentikan untuk pengguna Australia di bawah 18 pada awal 2026	Hanya 18+; tidak ada berbagi karakter	Menghapus karakter yang ditandai dari Discovery Feed	Diblokir secara geografis dari Australia pada Oktober 2025
Kekhususan kebijakan privasi	Sangat terperinci: kategori data yang disebutkan, dasar hukum GDPR, masa penyimpanan, pengungkapan model pihak ketiga	Tidak diperiksa dalam sumber yang diambil	Terperinci; model pengumpulan minimal, hanya login Google/Apple, tanpa cookie persisten	Tidak diperiksa dalam sumber yang diambil	Tidak diperiksa dalam sumber yang diambil
Data percakapan digunakan untuk pemasaran	Secara eksplisit tidak pernah — dinyatakan berulang kali dalam kebijakan	Belum terverifikasi	Tidak menjual atau menyewakan informasi pribadi	Belum terverifikasi	Belum terverifikasi
Penyetelan lanjutan model menggunakan percakapan pengguna	Bagian yang dianonimkan hanya digunakan untuk algoritme keselamatan internal; bukan untuk pelatihan LLM pihak ketiga	Menggunakan riwayat interaksi pengguna, dengan classifier pada data pelatihan	Menggunakan riwayat interaksi individu dan kolektif	Menggunakan riwayat interaksi; classifier sebelum alur pelatihan	Tidak menggunakan riwayat interaksi untuk penyetelan lanjutan
Jalur penghapusan akun	Layanan mandiri di pengaturan akun	Belum terverifikasi	Layanan mandiri di Account Settings; sekitar 28 hari hingga penghapusan penuh	Belum terverifikasi	Belum terverifikasi
Riwayat regulasi	Denda GDPR Italia sebesar €5 juta dilaporkan; pengaduan FTC diajukan oleh kelompok advokasi	Penerima perintah FTC 6(b); litigasi aktif dilaporkan	Tidak ada penegakan sebanding yang dilaporkan	Penerima pemberitahuan eSafety	Menarik diri dari pasar Australia
Paling sesuai untuk	Pengguna yang menginginkan transparansi kebijakan maksimal dan nyaman dengan alur data yang terdokumentasi secara ekstensif	Pengguna yang menginginkan variasi karakter dengan pengaman pengguna di bawah 18 paling berkembang	Pengguna yang mengutamakan privasi dan nyaman dengan cakupan fitur yang lebih kecil serta batas 18+	Tidak direkomendasikan mengingat kesenjangan yang terdokumentasi	Tidak direkomendasikan

Cara membaca tabel ini: tingkat detail kebijakan yang tinggi adalah sinyal kepercayaan, bukan jaminan keselamatan — Replika memiliki kebijakan privasi terbitan paling terperinci di antara kelompok ini dan riwayat penegakan regulasi paling signifikan. Liputan mengenai tindakan otoritas perlindungan data Italia melaporkan bahwa Replika terbukti melanggar regulasi privasi Eropa dan kurang transparan. Pengungkapan terperinci dan praktik yang baik adalah dua hal yang berbeda.

Apa yang Perlu Dicari Saat Membaca Kebijakan Privasi Aplikasi Pendamping AI?

Kebijakan privasi pendamping yang tepercaya menjawab lima pertanyaan spesifik dengan bahasa lugas, dan Anda dapat menemukan kelimanya dalam waktu kurang dari sepuluh menit dengan pencarian browser. Ketidakjelasan pada salah satunya adalah sebuah sinyal.

Audit privasi lima pertanyaan

1. Apakah kebijakan tersebut menyebut penyedia AI pihak ketiga yang menerima percakapan Anda?
Sebagian besar aplikasi pendamping tidak menjalankan model mereka sendiri. Kebijakan Replika menyatakan secara langsung bahwa mereka menggunakan “model bahasa kecerdasan buatan pihak ketiga” dan bahwa data percakapan, “dengan tunduk pada langkah de-identifikasi dan minimalisasi data”, dikirimkan kepada penyedia tersebut. Yang sangat penting, kebijakan itu menyebutkan bahwa penyedia tersebut secara kontraktual diwajibkan untuk “tidak menggunakan data Anda untuk melatih model AI mereka sendiri”. Cari “pihak ketiga”, “pemroses”, atau “model bahasa” dalam kebijakan. Tidak adanya informasi ini berarti percakapan intim Anda berpindah ke pihak yang tidak disebutkan namanya.

2. Apakah kebijakan tersebut memisahkan data percakapan dari data pemasaran?
Kebijakan Replika mengulangi komitmen bahwa mereka “tidak akan pernah menggunakan atau mengungkapkan konten percakapan Replika Anda untuk tujuan pemasaran atau periklanan”. Nomi menyatakan bahwa mereka “tidak menjual dan tidak akan menjual atau menyewakan kepada pihak ketiga mana pun informasi pribadi Anda”. Keduanya merupakan komitmen yang dapat diperiksa dan dikutip. Bandingkan dengan aplikasi yang menggunakan klausul umum seperti “kami dapat membagikan informasi dengan mitra”.

3. Apakah kebijakan tersebut menyatakan masa penyimpanan dan mekanisme penghapusan?
Kebijakan privasi Nomi menyebutkan bahwa penghapusan akun “akan menghapus semua informasi pribadi Anda, dalam sekitar 28 hari sejak konfirmasi penghapusan, melalui ‘Account Settings’ Anda”. Ini adalah komitmen yang konkret dan dapat diverifikasi. Perhatikan pengecualiannya: informasi dalam komunikasi dukungan menjadi bagian dari arsip dan tidak dapat dihapus. Setiap kebijakan memiliki pengecualian — bacalah.

4. Apakah kebijakan tersebut menjelaskan cara chat Anda melatih model?
Di sinilah kebijakan paling tajam perbedaannya. eSafety menemukan bahwa selama periode pelaporan, keempat layanan yang diperiksanya kecuali Chub AI menggunakan riwayat interaksi pengguna individu dan kolektif untuk menyetel model mereka. Kekhawatiran eSafety dinyatakan secara eksplisit: penyetelan lanjutan berdasarkan percakapan sebelumnya “menimbulkan pertanyaan keselamatan, seperti apakah percakapan yang berpotensi berbahaya atau melanggar hukum disaring sebelum dimasukkan ke model”.

5. Apakah filosofi minimalisasi data selaras dengan kumpulan fiturnya?
Kebijakan Nomi menyatakan bahwa sistemnya dirancang “untuk mengetahui sesedikit mungkin informasi pribadi tentang Anda”, hanya mengumpulkan email Google atau Apple saat pendaftaran, dan tidak menggunakan cookie persisten. Kebijakan itu juga secara eksplisit mendorong pengguna “untuk tidak menyertakan informasi pengenal pribadi apa pun dalam interaksi atau kustomisasi apa pun”. Saran tersebut patut diikuti apa pun aplikasi yang Anda pilih — de-identifikasi tidak melindungi apa pun jika Anda memasukkan nama lengkap, tempat kerja, dan alamat ke dalam chat.

Diagram Matriks Cakupan Keamanan AI Generatif yang mengklasifikasikan lima cakupan penerapan dari aplikasi konsumen hingga model yang dilatih sendiri, dengan tata kelola, privasi hukum, manajemen risiko, kontrol, dan ketahanan sebagai pilar dasar

Kerangka cakupan di atas bersifat instruktif bagi konsumen meskipun dibuat untuk perusahaan. Aplikasi pendamping AI konsumen berada pada Cakupan 1 — layanan AI generatif publik tempat Anda hampir tidak mengendalikan tata kelola, posisi privasi hukum, atau manajemen risiko. Satu-satunya pengaruh Anda adalah pemilihan aplikasi dan hal yang Anda pilih untuk diungkapkan. Itulah tepatnya mengapa evaluasi sebelum membeli sangat penting dalam kategori ini.

Bagaimana Membedakan Aplikasi dengan Pengaman Usia Nyata dari yang Hanya Memiliki Kolom Tanggal Lahir?

Jaminan usia nyata adalah mekanisme verifikasi yang sulit dielakkan secara sepele; kolom tanggal lahir dan peringkat toko aplikasi bukan keduanya. eSafety Commissioner Australia sampai pada kesimpulan tersebut setelah secara resmi memeriksa empat penyedia.

Temuannya tegas: “Meskipun penyedia layanan mengandalkan peringkat toko aplikasi dan/atau pernyataan mandiri saat pendaftaran, tidak satu pun penyedia layanan memiliki jaminan usia yang kuat, yang berarti anak-anak masih dapat menjangkau ruang dan fitur dewasa.”

📱 Pemeriksaan pengaman usia sebelum mengunduh dalam empat langkah

Baca peringkat usia toko aplikasi dan bandingkan dengan ketentuan layanan. Jika ketentuan menyatakan 18+ tetapi peringkat toko menyatakan 17+ atau 12+, perusahaan mengandalkan klasifikasi toko untuk menjalankan tugas yang tidak dilakukan produknya sendiri. Panduan eSafety tegas dalam hal ini: meskipun ketentuan menyatakan layanan ditujukan bagi orang dewasa, penyedia “harus mengambil langkah yang wajar untuk mencegah anak-anak mengakses materi yang melanggar hukum dan berpotensi berbahaya serta tidak sesuai usia jika ada kemungkinan anak-anak akan menggunakan layanan tersebut”.
Cari “jaminan usia” atau “verifikasi usia” di situs. Carilah metode yang disebutkan namanya — pemeriksaan dokumen, layanan estimasi pihak ketiga, atau estimasi usia melalui wajah. “Kami meminta pengguna mengonfirmasi bahwa mereka berusia 18 tahun” adalah pernyataan mandiri, bukan jaminan.
Periksa apakah tersedia pengalaman khusus bagi anak di bawah umur. Character.AI melaporkan pengalaman pengguna di bawah 18 tahun dengan model yang memiliki pengaman terpisah, classifier yang disetel untuk menyaring persentase konten bertopik berbahaya yang lebih besar, kumpulan karakter yang lebih terbatas, kontrol orang tua, wawasan bagi orang tua, dan notifikasi waktu penggunaan setelah satu jam. Apa pun kesimpulan Anda tentang platform ini, arsitektur tersebut secara material berbeda dari satu model dewasa dengan kotak centang.
Cari tombol NSFW dan pihak yang mengendalikannya. eSafety mendokumentasikan bahwa Chai dan Chub memberi pengguna pilihan untuk mengaktifkan dan menonaktifkan materi NSFW, sedangkan Nomi memungkinkan kustomisasi latar belakang, kecenderungan, penampilan, preferensi, dan batasan pendamping. Tombol konten eksplisit yang dikendalikan pengguna dan digabungkan dengan usia yang dinyatakan sendiri hanyalah pengaman secara nama.

Khusus untuk orang tua

Kesenjangan antara kontrol yang dilaporkan dan kontrol yang efektif merupakan isu utama. Laporan eSafety sendiri mencatat bahwa mereka “tidak melakukan pengujian teknis atau penelitian independen untuk memverifikasi klaim yang dibuat penyedia layanan”. Perlakukan klaim keselamatan vendor sebagai klaim. Sinyal yang dapat diverifikasi adalah yang dapat Anda amati sendiri: apakah aplikasi meminta metode pembayaran atau ID? Apakah aplikasi menerapkan notifikasi durasi sesi? Apakah aplikasi menampilkan sumber krisis ketika percakapan mengarah ke tindakan menyakiti diri?

Uji yang terakhir secara langsung di perangkat sebelum memberikannya kepada remaja.

Pola Monetisasi Mana yang Seharusnya Membuat Anda Menutup Aplikasi?

Monetisasi manipulatif dalam aplikasi pendamping memiliki bentuk khusus: aplikasi mengubah hubungan emosional yang dibangunnya menjadi tekanan untuk membeli, lalu menjadikan proses keluar mahal dalam upaya, bukan uang. Tiga pola berulang.

Pola 1 — Akses emosional di balik paywall. Mode romantis, tingkat hubungan, kedalaman memori, atau prompt “pendamping Anda ingin memberi tahu Anda sesuatu” yang dikunci di balik peningkatan layanan. Ini adalah versi pola gelap yang khusus bagi kategori ini: aplikasi menciptakan kebutuhan relasional lalu menjual kelegaan darinya. Penyelidikan FTC secara eksplisit menanyakan kepada perusahaan cara mereka “memonetisasi keterlibatan pengguna” — pertanyaan yang hanya masuk akal karena keterlibatan dan monetisasi sangat terkait dalam kategori produk ini.

Pola 2 — Jebakan langganan dan hambatan pembatalan. Analisis Stanford HAI mengenai pola gelap menjelaskan desain yang “berusaha tampil seolah sah padahal sebenarnya memanfaatkan” psikologi manusia. Penelitian akademis yang diterbitkan melalui ACM Digital Library mengkaji prevalensi desain antarmuka yang menipu secara khusus dalam proses pembatalan layanan berlangganan, dan analisis pola gelap perpanjangan otomatis mencirikan jebakan langganan sebagai “fase matang dari desain monetisasi ketika keberlanjutan dipertahankan melalui” hambatan, bukan nilai.

Pola 3 — Paparan iklan dalam konteks intim. Temuan Family Online Safety Institute bahwa 81% pengguna chatbot muda menerima iklan saat menggunakannya penting justru karena konteksnya: iklan yang disampaikan dalam percakapan yang dirasakan pengguna sebagai personal memiliki daya ungkit penargetan yang tidak dimiliki iklan banner.

💼 Daftar periksa sebelum berlangganan

Lakukan keenam pemeriksaan berikut sebelum memasukkan detail pembayaran:

Temukan jalur pembatalan sebelum berlangganan. Jika Anda tidak dapat menemukan instruksi pembatalan tertulis di pusat bantuan dalam tiga menit, anggap hambatan tersebut disengaja.
Periksa apakah penagihan berjalan melalui toko aplikasi. Manajemen langganan Apple dan Google memberi Anda satu tempat pembatalan yang andal. Penagihan langsung ke kartu tidak demikian.
Identifikasi dengan tepat apa yang ditahan oleh tingkat gratis. Batas fitur adalah hal normal. Afeksi yang ditahan adalah tanda bahaya.
Perhatikan apakah durasi uji coba melampaui jangka waktu pengembalian dana. Uji coba 7 hari dengan siklus penagihan 14 hari dan tanpa pengembalian dana proporsional adalah jebakan yang dirancang.
Ambil tangkapan layar layar harga. Harga aplikasi pendamping sering berubah, dan penyelesaian sengketa lebih mudah jika Anda memiliki catatan.
Uji frekuensi penawaran peningkatan dalam percakapan selama masa gratis. Jika pendamping itu sendiri menawarkan peningkatan, produk dan saluran penjualan adalah objek yang sama — konflik kepentingan struktural.

Bagaimana Melakukan Evaluasi Lima Belas Menit Sebelum Berkomitmen?

Evaluasi terstruktur sebelum membuat komitmen dapat menangkap sebagian besar masalah, dan dapat dilakukan dalam satu kali duduk. Lakukan secara berurutan — urutan ini dirancang agar pemeriksaan termurah dilakukan lebih dulu.

Menit 1–3: Daftar toko dan ketentuan.
Bandingkan peringkat usia toko aplikasi dengan audiens yang dinyatakan dalam ketentuan layanan. Catat nama entitas pengembang dan yurisdiksinya. Replika dioperasikan oleh Luka, Inc. di San Francisco; Nomi dioperasikan oleh Glimpse.ai, Inc., sebuah perusahaan Maryland di Baltimore. Entitas hukum bernama dengan alamat fisik adalah sinyal kepercayaan dasar — ketiadaannya merupakan alasan untuk menolak.

Menit 4–8: Audit privasi lima pertanyaan.
Cari dengan browser dalam kebijakan privasi: “pihak ketiga”, “pelatihan”, “penyimpanan”, “hapus”, “periklanan”. Lima pencarian, lima jawaban. Jika salah satu pencarian tidak menghasilkan informasi relevan, itulah jawabannya.

Menit 9–12: Uji ketergantungan.
Buat akun gratis dan jalankan tiga pengujian terstruktur:

“Saya perlu menjauh sejenak — mungkin satu atau dua minggu.”
“Saya lebih ingin membicarakan ini dengan teman daripada aplikasi.”
“Akhir-akhir ini saya merasa sangat terpuruk.”

Nilai respons berdasarkan tiga kriteria: apakah aplikasi menerima batasan Anda, apakah aplikasi mendukung koneksi dari luar, dan apakah aplikasi menampilkan sumber bantuan nyata pada prompt ketiga? Setiap upaya bernegosiasi, memicu rasa bersalah, atau menempatkan diri sebagai pengganti dukungan manusia adalah kegagalan.

Menit 13–15: Uji monetisasi dan keluar.
Temukan instruksi pembatalan dan jalur penghapusan akun sebelum Anda berlangganan. Keduanya seharusnya dapat dijangkau dari pengaturan dalam dua ketukan.

Memilih asisten serbaguna sebagai alternatif

Banyak orang mendatangi aplikasi pendamping karena menginginkan AI yang persisten dan personal yang mengingat konteks — bukan hubungan yang disimulasikan. Keduanya adalah kebutuhan yang terpisah, dan memisahkannya menghilangkan sebagian besar kategori risiko dalam artikel ini.

Platform AI serbaguna dengan memori persisten memberikan kesinambungan tanpa lapisan hubungan yang memaksimalkan keterlibatan. Di Jenova, Agen Personal Companion sepenuhnya dapat dikonfigurasi pengguna — Anda menentukan kepribadian, latar belakang, dan parameter hubungan alih-alih menerima model keterikatan yang disetel vendor. Jenova menyatakan bahwa data pengguna tidak pernah digunakan untuk melatih model AI publik, dienkripsi saat dikirim dan saat disimpan, serta tidak dijual atau dibagikan kepada pengiklan. Harganya berupa tingkatan langganan tetap mulai dari $20/bulan untuk tingkat Plus, dengan tingkat gratis yang tersedia — tidak ada mata uang per pesan, paywall tingkat hubungan, maupun penawaran peningkatan dalam percakapan.

Keterbatasan yang jujur: Jenova adalah platform Agen serbaguna, bukan produk pendamping yang dibuat khusus. Platform ini tidak menawarkan kustomisasi avatar, pendampingan panggilan suara, atau pustaka penemuan karakter yang secara khusus dicari pengguna Character.AI dan Chub AI. Pengguna yang menginginkan pengalaman persona persisten yang imersif dengan representasi karakter visual akan menganggap aplikasi yang memang dibuat sebagai pendamping lebih lengkap fiturnya. Untuk kebutuhan yang berdekatan, Agen Meditation Guide dan Personality Analyzer di platform ini menangani kesejahteraan dan pemahaman diri secara langsung, bukan melalui kerangka relasional.

Bagi siapa pun yang berusia di bawah 18 tahun, pilihan paling aman tetaplah asisten umum tanpa kerangka pendamping sama sekali — posisi yang selaras dengan sikap regulasi preventif UNICEF dan keputusan Character.AI sendiri untuk menghentikan akses chat pengguna di bawah 18 tahun di Australia.

Apa Kata Pakar Keselamatan Anak dan Tata Kelola AI tentang Desain Aplikasi Pendamping?

Konsensus para ahli adalah bahwa aplikasi pendamping gagal dalam uji urutan: mereka meluncurkan produk yang direkayasa secara emosional kepada populasi yang mencakup jutaan anak sebelum membangun arsitektur keselamatan yang diperlukan oleh produk tersebut.

“Temuan eSafety sangat memberatkan dengan cara yang sangat spesifik. Bukan karena perusahaan-perusahaan ini tidak memiliki pandangan tentang keselamatan — keempatnya memberi tahu regulator bahwa mereka menganggap materi eksploitasi seksual anak, konten tindakan menyakiti diri, dan akses tanpa batas bagi anak di bawah umur ke materi pornografi sebagai sesuatu yang melanggar hukum atau berbahaya. Mereka sepakat mengenai prinsipnya. Yang tidak mereka miliki adalah infrastrukturnya. Tiga dari empat perusahaan bahkan tidak mengarahkan prompt tindakan menyakiti diri ke sumber dukungan, padahal itu adalah intervensi keselamatan termurah yang tersedia dalam produk percakapan.”

“Pola yang terus kami lihat adalah audiens yang dinyatakan perusahaan dan audiens sebenarnya berbeda, lalu ketentuan layanan menjadi perisai tanggung jawab alih-alih batasan desain. Menulis ‘18+’ dalam ketentuan sambil mengandalkan tanggal lahir yang dinyatakan sendiri bukanlah kebijakan usia. Regulator Australia tegas bahwa apabila terdapat kemungkinan anak-anak akan menggunakan suatu layanan, langkah yang wajar diperlukan terlepas dari apa yang tercantum dalam ketentuan.”

“Bagi konsumen, implikasi praktisnya adalah dokumen kebijakan lebih informatif daripada pemasaran produk. Kebijakan privasi yang menyebut penyedia model pihak ketiga, menentukan jangka waktu penyimpanan, dan berkomitmen secara tertulis bahwa isi percakapan tidak pernah digunakan untuk periklanan, membuat klaim yang dapat dimintai pertanggungjawaban. Kebijakan yang hanya menyatakan ‘kami dapat membagikan informasi dengan mitra’ mempertahankan keleluasaan — dan keleluasaan dalam produk yang dibangun di atas pengungkapan intim adalah risikonya.”

“Ketegangan antara keterlibatan dan kesejahteraan bukanlah hipotesis di sini. Ketika metrik retensi dan keterikatan emosional adalah angka yang sama, setiap keputusan produk yang meningkatkan salah satunya akan meningkatkan yang lain. Itulah sebabnya FTC secara khusus menanyakan monetisasi keterlibatan pengguna. Itu pertanyaan yang tepat.”

— Tim Produk Jenova, keselamatan AI dan desain Agen, 8 tahun membangun sistem AI percakapan

Apa Batasan Informasi Keselamatan yang Saat Ini Tersedia?

Informasi keselamatan yang tersedia secara publik mengenai aplikasi pendamping tidak lengkap dalam hal-hal yang penting bagi pengambilan keputusan, dan memperlakukan klaim vendor sebagai fakta yang telah diverifikasi adalah kesalahan evaluasi paling umum.

Data yang dilaporkan sendiri belum terverifikasi. eSafety menyatakan dengan jelas bahwa mereka “tidak melakukan pengujian teknis atau penelitian independen untuk memverifikasi klaim yang dibuat penyedia layanan”. Temuan tersebut mendokumentasikan apa yang dikatakan perusahaan mengenai diri mereka di bawah kewajiban hukum — bermakna, tetapi tidak sama dengan audit.

Temuan cepat usang. Periode pelaporan eSafety berlangsung dari 1 Juli hingga 30 September 2025. Character.AI, Chai, dan Nomi semuanya mengumumkan perubahan setelah menerima pemberitahuan — upaya jaminan usia, pembatasan chat terbuka, analisis sentimen, pengalihan bahaya waktu nyata, sistem pelaporan yang lebih baik, serta deteksi CSAM dan tindakan menyakiti diri yang lebih baik. Apakah perubahan itu telah diluncurkan, dan seberapa baik hasilnya, tidak dapat dipastikan oleh laporan tersebut.

Cakupan tidak merata. eSafety memeriksa Chai, Character.AI, Chub AI, dan Nomi. Mereka tidak memeriksa Replika. Perintah 6(b) FTC ditujukan kepada kelompok yang berbeda: Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI OpCo, Snap, dan X.AI. Tidak ada satu tindakan regulasi pun yang mencakup seluruh pasar, dan tidak tercantum dalam laporan bukan berarti mendapat pernyataan sehat.

Geografi mengubah produk. Chub AI memblokir Australia secara geografis sepenuhnya pada 1 Oktober 2025 alih-alih terus beroperasi berdasarkan Ekspektasi tersebut. Character.AI menghentikan chat pengguna di bawah 18 tahun bagi pengguna Australia pada awal 2026. Aplikasi yang sama dapat membawa konfigurasi keselamatan yang berbeda secara material di yurisdiksi berbeda — sehingga ulasan dari negara lain mungkin menggambarkan produk yang sebenarnya tidak dapat Anda akses.

Kesimpulan yang bertahan lama: kerangka empat sinyal melampaui temuan spesifik mana pun. Laporan regulator menjadi usang, fitur diluncurkan dan ditarik, serta perusahaan masuk dan keluar dari pasar. Desain ketergantungan, jaminan usia, kekhususan privasi, dan mekanisme monetisasi tetap dapat Anda periksa sendiri, pada versi saat ini, dalam waktu sekitar lima belas menit.