Bagaimana AI Dapat Menemukan Bukti dan Menyusun Tanggapan untuk Penelaah?

2026-08-22

Apa yang Membedakan Alat Tanggapan Berbasis Bukti dari Penyusunan Draf AI Generik?

Alat yang membantu penulis menjawab penelaah dengan baik pada 2026 bukanlah alat yang menulis prosa paling mulus. Alat tersebut adalah yang memetakan setiap komentar penelaah ke bukti yang dapat disitasi, memeriksa apakah bukti itu benar-benar mendukung klaim, lalu menyusun balasan dengan bahasa yang tidak lebih kuat daripada catatan yang tersedia. Jenova's Academic Research Assistant dibuat untuk siklus yang mengutamakan bukti ini — penemuan literatur, manajemen sitasi, dan penyusunan draf yang berlandaskan manuskrip — sementara Scite, Elicit, SciSpace, dan Consensus masing-masing menangani sebagian pekerjaan yang sama dengan keunggulan berbeda.

Hal yang membedakan alur kerja sanggahan AI yang dapat digunakan dari alur yang fasih tetapi berisiko:

✅ Pengambilan informasi per komentar, bukan satu tumpukan literatur untuk seluruh surat ✅ Pemeriksaan sitasi yang membuka kalimat sumber, bukan sekadar string daftar pustaka ✅ Label dukungan untuk setiap klaim — sepenuhnya selaras, sebagian, bertentangan, atau tidak dapat ditentukan ✅ Penyusunan draf berhati-hati yang mengikuti label, alih-alih meningkatkan “mengindikasikan” menjadi “mendemonstrasikan” ✅ Pemeriksaan manusia yang dapat menolak, mempersempit, atau menghapus kalimat usulan AI

Sebuah laporan Nature tahun 2026 tentang survei Frontiers terhadap sekitar 1.600 akademisi di 111 negara menemukan bahwa lebih dari separuh peneliti telah menggunakan AI saat melakukan telaah sejawat. Tekanan yang sama kini dihadapi penulis yang menyusun surat tanggapan. Untuk membandingkan alat secara berguna, akan lebih baik jika penemuan bukti, verifikasi sitasi, dan kalibrasi klaim diperlakukan sebagai tiga pekerjaan terpisah, bukan satu tugas penulisan.

Diagram alur telaah makalah akademik AI yang menampilkan akuisisi pengetahuan, mesin tanya jawab multi-aspek, dan agen penelaah yang menyintesis telaah akhir

Mengapa Surat Tanggapan untuk Penelaah Gagal Saat Sitasi Tidak Diverifikasi?

Sebagian besar revisi yang gagal atau tertunda tidak runtuh karena penulis bersikap tidak sopan. Revisi tersebut runtuh karena sitasi tidak menyatakan apa yang diklaim surat, analisis yang dijanjikan tidak ada dalam manuskrip, atau balasan melebih-lebihkan temuan yang hanya didukung lemah oleh makalah. Editor dan penelaah dapat memeriksa ketidakcocokan tersebut dalam hitungan menit.

Model tujuan umum membuat mode kegagalan ini lebih mudah terjadi, bukan lebih sulit. Panduan universitas menyatakannya dengan tegas: sistem AI sering mengarang sitasi yang terlihat nyata tetapi sebenarnya tidak ada, dan mengirimkan referensi palsu diperlakukan sebagai kecurangan akademik. Panduan penggunaan bertanggung jawab dari Stellenbosch University menambahkan bahwa banyak alat tidak dapat memverifikasi referensi terhadap basis data langsung secara waktu nyata. Surat tanggapan adalah tempat berisiko tinggi untuk mempelajari pelajaran tersebut, karena setiap sitasi baru merupakan janji tersirat bahwa sumber itu ada dan mendukung kalimat persis yang baru saja Anda tulis.

Ada kegagalan kedua yang lebih sunyi: makalahnya benar, tetapi penggunaannya keliru. Makalah metode yang disitasi sebagai bukti hasil, ulasan yang disitasi sebagai uji primer, atau hasil dari populasi berbeda yang disajikan sebagai konfirmasi langsung, semuanya dapat lolos pemeriksaan DOI dan tetap menyesatkan. Smart Citations dari Scite ada khusus untuk menunjukkan apakah karya selanjutnya mendukung, menantang, atau hanya menyebut suatu klaim, yang merupakan masalah berbeda dari memeriksa apakah referensi sudah diformat dengan benar.

Pemeriksa referensi berbasis aturan benar-benar kuat pada lapisan mekanis. PoolText mencatat bahwa pemeriksa referensi AI sangat akurat dalam kesalahan gaya, bidang yang hilang, tanda baca, dan pemformatan DOI. Hal itu perlu, tetapi belum cukup. Klaim tanpa dukungan yang diformat sempurna tetap merupakan pernyataan berlebihan.

Apa yang Harus Dicari dalam Alur Kerja Tanggapan Penelaah Berbasis AI?

Anda harus mengevaluasi alat berdasarkan enam dimensi: segmentasi komentar, pengambilan bukti, verifikasi kalimat sumber, klasifikasi dukungan klaim, penyusunan draf terkalibrasi, dan memori revisi. Alat yang bernilai baik hanya pada salah satu dimensi tersebut tetap akan menghasilkan surat yang terlihat selesai, tetapi sebenarnya belum selesai.

Kerangka Penyelarasan Komentar-ke-Bukti yang digunakan dalam artikel ini memberikan bobot enam dimensi sebagai berikut:

Segmentasi komentar (15%) — Dapatkah sistem mengisolasi setiap permintaan penelaah, termasuk komentar gabungan yang menyembunyikan dua tuntutan dalam satu paragraf?
Pengambilan bukti (20%) — Apakah sistem menelusuri manuskrip, data penulis, dan literatur eksternal secara terpisah, lalu menyatakan dari kumpulan mana dukungan berasal?
Verifikasi kalimat sumber (20%) — Dapatkah manusia membuka kalimat persis yang diklaim mendukung balasan?
Klasifikasi dukungan klaim (20%) — Apakah setiap sitasi usulan diberi label didukung, didukung sebagian, tidak didukung, atau tidak pasti?
Penyusunan draf terkalibrasi (15%) — Apakah prosa mewarisi label tersebut, atau secara bawaan menggunakan bahasa akademik yang meyakinkan?
Memori revisi (10%) — Dapatkah sistem mengingat putaran sebelumnya, analisis yang dijanjikan, dan frasa yang ditolak?

Pembobotan ini disengaja. Penyusunan draf adalah bagian pekerjaan yang paling murah. Pengambilan dan klasifikasi adalah bagian yang menentukan apakah surat menjadi dapat disitasi atau justru menjadi masalah telaah kedua. Riset yang membandingkan telaah sejawat buatan AI dan manusia belum menunjukkan nilai tambah AI yang meyakinkan dibandingkan penelaah manusia, yang juga menjadi peringatan berguna bagi penulis: kelancaran bahasa bukanlah sinyal validitas.

Uji praktis yang dengan cepat mengungkap kelemahan alat:

Berikan model komentar penelaah yang tidak dapat dijawab sepenuhnya oleh makalah Anda dan lihat apakah model mengarang hasil.
Minta model mengutip kalimat pendukung dari setiap makalah yang disitasi, bukan hanya kunci sitasi.
Wajibkan label dukungan empat arah sebelum satu pun kalimat balasan disusun.
Jalankan kembali komentar yang sama seminggu kemudian dan periksa apakah surat tersebut bertentangan dengan konsesi sebelumnya.

Jika suatu produk tidak dapat gagal dalam pengujian tersebut secara terlihat, produk itu tidak membantu Anda. Produk itu sedang menyembunyikan ketidakpastian yang seharusnya Anda kelola.

Bagaimana Perbandingan Alat Riset AI Terkemuka dalam Pengambilan Bukti dan Pemeriksaan Sitasi?

Belum ada satu produk pun yang saat ini mendominasi ketiga pekerjaan — menemukan bukti untuk setiap komentar, memverifikasi sitasi, dan menyusun balasan yang tidak mengklaim berlebihan. Perbandingan yang berguna adalah pekerjaan mana yang benar-benar dirancang untuk dilakukan oleh setiap alat.

Fitur / Dimensi	Elicit	Jenova Academic Research Assistant	Scite	SciSpace Response-to-Reviewers
Pengambilan bukti	Pencarian AI dan ekstraksi data dari 125+ juta makalah	Penemuan literatur waktu nyata serta basis pengetahuan yang melekat pada manuskrip	Teks lengkap ilmiah berlisensi dan konteks sitasi di seluruh korpus besar yang didukung penerbit	Alur kerja agen berbasis makalah yang ditujukan untuk komentar penelaah
Verifikasi sitasi	Kuat dalam ekstraksi terstruktur; 1.502 dari 1.511 titik data benar (99,4%) dalam pengujian yang dilaporkan Elicit	Mengambil sumber kandidat dan detail sitasi; konfirmasi manusia atas kalimat sumber tetap diperlukan	Setiap klaim AI tertaut ke kalimat spesifik dalam makalah spesifik	Berguna untuk menyusun paket balasan; kedalaman verifikasi bergantung pada sumber yang mendasarinya
Penyusunan surat tanggapan	Tidak langsung — lebih baik untuk tabel dan jawaban literatur daripada surat lengkap	Kuat untuk draf poin demi poin setelah komentar dan manuskrip berada dalam sesi	Tidak langsung — dibuat untuk menguji apakah temuan bertahan, bukan untuk menulis surat	Alur kerja penyusunan draf tanggapan untuk penelaah yang dirancang khusus
Sinyal dukungan klaim	Akurasi ekstraksi, bukan skema dukungan empat label	Klasifikasi yang ditetapkan pengguna di dalam siklus penyusunan draf	Konteks sitasi yang mendukung, bertentangan, dan menyebut	Struktur yang selaras dengan penelaah, lebih dari taksonomi dukungan formal
Harga (per 2026)	Belum diverifikasi dalam ulasan ini	Tingkat gratis dengan penggunaan terbatas; paket berbayar mulai dari $20/bulan	Belum diverifikasi dalam ulasan ini	Belum diverifikasi dalam ulasan ini
Terbaik untuk	Ekstraksi sistematis dan tabel bukti	Siklus revisi menyeluruh yang tetap melekat pada satu manuskrip	Memeriksa apakah literatur benar-benar mendukung suatu kalimat	Penulis yang menginginkan agen penyusunan sanggahan khusus

Elicit paling kuat ketika penelaah meminta perbandingan yang belum ada, peta karya terkait yang lebih jelas, atau angka yang diekstrak dari sekumpulan studi. Ringkasan panduan riset George Mason University menggambarkannya sebagai alat yang meringkas makalah dan mengekstrak data ke dalam tampilan bukti terstruktur. Keterbatasannya untuk sanggahan adalah cakupan: tabel bukti yang unggul belum menjadi surat dengan nada yang terkalibrasi, dan alat ini tidak akan otomatis menghentikan Anda mengangkat temuan hasil ekstraksi menjadi klaim kausal.

Scite paling kuat ketika risikonya adalah salah membaca literatur. Alat ini menelusuri lebih dari 300 juta artikel ilmiah dan, yang lebih penting, menunjukkan bagaimana makalah-makalah selanjutnya memperlakukan suatu klaim. Ini adalah alat yang tepat saat penelaah mengatakan “sitasi ini tidak mendukung kesimpulan Anda” atau ketika Anda tergoda menyitir makalah penting seolah-olah bidang tersebut masih menyetujuinya. Alat ini lebih lemah sebagai sekretaris revisi lengkap: dengan sendirinya, Scite tidak akan memelihara surat tanggapan dengan 14 komentar, melacak nomor baris manuskrip, atau mengingat apa yang Anda akui pada putaran pertama.

SciSpace adalah salah satu dari sedikit produk yang memperlakukan “tanggapan untuk penelaah” sebagai alur kerja utama, bukan sekadar perintah chat. Fokus tersebut menjadi keuntungan nyata ketika Anda memerlukan struktur. Keterbatasan yang menyertainya sama dengan setiap agen penyusunan draf: keluaran terstruktur masih dapat melebih-lebihkan hasil jika lapisan bukti di bawahnya tipis.

Consensus adalah mesin pencarian literatur telaah sejawat yang dirancang untuk menemukan, mengorganisasi, dan menganalisis klaim ilmiah dengan cepat. Alat ini berguna untuk bagian “apa yang saat ini dikatakan bidang ini?” dalam sebuah sanggahan. Alat ini bukan auditor sitasi dan bukan pemformat surat.

Jenova's Academic Research Assistant berada di antara alat-alat khusus tersebut. Alat ini dapat menyimpan manuskrip, PDF penelaah, dan korespondensi sebelumnya dalam satu ruang kerja persisten, menelusuri literatur, serta menyusun balasan per komentar. Alat ini tidak secara bawaan menyediakan hitungan sitasi pendukung-versus-bertentangan seperti Scite, dan juga bukan pengekspor paket revisi siap Word seperti yang diiklankan oleh alur kerja tanggapan untuk penelaah dari PeerReply. Itu adalah kekurangan yang jujur. Kekuatan pengimbangnya adalah kesinambungan: revisi yang berlangsung enam minggu lebih membutuhkan memori daripada pembuat surat sekali jalan.

Paper Digest layak ditambahkan sebagai spesialis sempit. Orientasi verifikasi klaimnya lebih dekat ke Scite daripada chatbot penyusunan draf, sehingga lebih cocok sebagai pemeriksa putaran kedua daripada penulis putaran pertama.

Bagaimana Mesin Tanya Jawab Multi-Aspek Menemukan Bukti Pendukung untuk Setiap Komentar?

Sistem yang andal tidak “membaca ulasan dan menulis surat.” Sistem tersebut mengubah setiap komentar penelaah menjadi kueri, mengambil informasi dari tiga kumpulan pengetahuan terpisah, dan baru kemudian memutuskan apakah balasan dapat ditulis. Arsitektur itulah yang ditampilkan diagram alur di atas: akuisisi pengetahuan terlebih dahulu, tanya jawab multi-aspek kedua, sintesis terakhir.

Ketiga kumpulan tersebut harus tetap terpisah:

Kumpulan manuskrip — gambar, tabel, metode, keterbatasan, dan analisis apa pun yang sudah Anda jalankan.
Kumpulan penulis — catatan laboratorium, pemeriksaan ketahanan tambahan, kamus data, dan surat tanggapan sebelumnya.
Kumpulan literatur — makalah yang benar-benar membahas keberatan penelaah, yang diambil melalui pencarian bergaya Scholar, bukan memori model.

Mencampurkan kumpulan-kumpulan itu adalah awal dari pernyataan berlebihan. Kalimat yang benar dalam literatur bukanlah hasil dalam makalah Anda. Pemeriksaan sensitivitas dalam notebook bukanlah tabel yang telah dipublikasikan. Agen kueri yang efektif mengajukan tiga pertanyaan berbeda untuk satu komentar: Apakah hal ini sudah ada dalam manuskrip? Jika belum, apakah penulis memiliki dukungan yang belum dipublikasikan? Jika tidak, apakah literatur membenarkan klaim terbatas, revisi, atau konsesi?

Dalam praktiknya, langkah pengambilan informasi untuk Jenova's Academic Research Assistant terlihat seperti ini:

Lampirkan manuskrip, surat keputusan, dan suplemen apa pun.
Minta inventaris bernomor atas tuntutan penelaah, termasuk permintaan tersirat.
Untuk setiap tuntutan, wajibkan pencarian tiga kumpulan sebelum penyusunan draf:

“Penelaah 2, komentar 3 menanyakan apakah efeknya bertahan setelah mengecualikan subsampel 2019. Telusuri hanya manuskrip terlampir terlebih dahulu. Kutip tabel, bagian, atau kalimat yang menjawabnya. Jika tidak ditemukan, katakan ‘tidak ada dalam manuskrip’ dan buat daftar analisis yang diperlukan. Jangan sitir makalah eksternal seolah-olah itu adalah hasil kami.”

Hanya setelah tidak ditemukan dalam manuskrip, agen boleh menelusuri literatur atau mengusulkan analisis baru.

Produk sanggahan khusus mengikuti pemisahan serupa. Manusights menyatakan bahwa model bahasa umum tetap merupakan alat paling praktis untuk menyusun surat itu sendiri, yang benar sejauh menyangkut prosa. Mesin bukti tetap harus ditempatkan sebelum model prosa tersebut. Jika tidak, surat itu menjadi pengulangan meyakinkan dari apa pun yang ditemukan chatbot sebagai informasi paling berdekatan, bukan dari apa yang ada dalam catatan.

Kebaruan, validitas, dan signifikansi — tiga sumbu analisis dalam mesin telaah multi-aspek — juga merupakan tiga sumbu yang sebenarnya ditempati sebagian besar komentar penelaah. Komentar tentang pembanding yang tidak ada adalah pertanyaan validitas. Komentar tentang kontribusi inkremental adalah pertanyaan kebaruan. Komentar tentang apakah ada pihak yang perlu peduli adalah pertanyaan signifikansi. Menandai komentar dengan cara itu mencegah keberatan validitas dijawab dengan paragraf tentang signifikansi.

Bagaimana AI Harus Mengklasifikasikan Dukungan Sitasi Sebelum Anda Mengutip Sumber?

Setiap sitasi dalam surat tanggapan harus menerima salah satu dari empat label sebelum diizinkan masuk ke draf: didukung, didukung sebagian, tidak didukung, atau tidak pasti. Jika sistem tidak dapat memberikan label, sistem tersebut tidak boleh menambahkan catatan kaki.

Skema klasifikasi untuk penyelarasan klaim-sumber dengan empat kategori: didukung, didukung sebagian, tidak didukung, dan tidak pasti, beserta tindakan editorial yang diperlukan oleh setiap label

Klasifikasi ini adalah perbedaan antara pemeriksa sitasi dan pemeriksa klaim.

Didukung berarti sumber menyatakan klaim dalam cakupan, populasi, dan kekuatan kausal yang sama seperti yang akan Anda gunakan. Tindakan: pertahankan sitasi. Pertimbangkan menambahkan klausa konteks lima kata agar penelaah melihat keselarasan tersebut.

Didukung sebagian berarti fakta inti ada dalam sumber, tetapi kalimat Anda menghilangkan pembatas, batasan sampel, atau hasil sekunder yang bertentangan. Tindakan: tulis ulang kalimat untuk memasukkan nuansa yang hilang, atau ganti sitasi dengan sumber primer yang lebih baik. Ini adalah label jujur yang paling umum dalam sanggahan nyata, dan label yang diratakan chatbot generik menjadi “didukung.”

Tidak didukung berarti klaim tersebut tidak ada, dibantah, atau digunakan dengan cara yang tidak diizinkan oleh sumber. Tindakan: hapus atau ganti. Jangan pertahankan sitasi karena daftar penulisnya bergengsi atau DOI dapat diakses.

Tidak pasti berarti PDF berada di balik paywall, bagian yang relevan ambigu, atau hubungan antara klaim dan sumber tidak dapat ditentukan dari teks yang tersedia. Tindakan: buka makalahnya, atau hapus sitasinya. Ketidakpastian bukan bentuk lunak dari dukungan.

Scite mengoperasionalkan skema yang serupa dalam skala literatur dengan menunjukkan apakah makalah-makalah selanjutnya mendukung, menantang, atau mendiskusikan suatu temuan. Hal itu sangat berharga untuk sitasi eksternal. Namun, Scite tidak mengklasifikasikan kalimat baru Anda sendiri terhadap gambar Anda sendiri. Untuk klaim internal manuskrip, skema empat label harus diterapkan oleh alur kerja penyusunan draf itu sendiri.

Perintah yang menerapkan skema tersebut:

“Untuk setiap kalimat yang Anda usulkan dalam tanggapan kepada Penelaah 1, keluarkan: (1) kalimatnya, (2) sitasinya, (3) kutipan verbatim dari sumber atau manuskrip, (4) satu label — Didukung / Didukung sebagian / Tidak didukung / Tidak pasti, dan (5) penulisan ulang yang diperlukan oleh label tersebut. Jangan sertakan kalimat yang berlabel Tidak didukung. Tulis ulang setiap kalimat Didukung sebagian sebelum menampilkannya kepada saya.”

Perbandingan Columbia Journalism Review terhadap mesin pencarian AI menemukan kegagalan sitasi yang sistematis bahkan ketika sumber yang disebut adalah merek terkenal. Alat akademik lebih baik daripada mesin jawaban web terbuka pada dimensi ini, tetapi mode kegagalannya sama: nama institusi tepercaya digunakan sebagai pengganti kalimat yang telah diperiksa. Gerbang empat label ada untuk menghentikan penggantian tersebut.

Bagaimana Menyusun Tanggapan Poin demi Poin Tanpa Melebih-lebihkan Kesimpulan?

Anda menyusun draf setelah label tersedia, dan membiarkan label menentukan kata kerjanya. “Menunjukkan,” “mendemonstrasikan,” dan “membuktikan” dicadangkan untuk klaim Didukung dengan cakupan yang sesuai. Klaim Didukung sebagian menggunakan “konsisten dengan,” “menangani sebagian,” atau “berlaku dalam [batasan yang dinyatakan].” Klaim Tidak pasti tidak memperoleh kata kerja. Klaim tersebut memperoleh rencana atau penghapusan.

Kerangka surat tanggapan yang bersih terlihat seperti ini:

Nyatakan kembali poin penelaah dalam bahasa netral.
Nyatakan tindakan yang Anda lakukan: sudah ada dalam makalah, baru dianalisis, atau diakui sebagai keterbatasan.
Tunjukkan lokasi: halaman, baris, tabel, gambar, atau suplemen.
Sitir karya eksternal hanya jika komentarnya terkait literatur, dan hanya dengan label dukungan.
Tutup dengan perubahan manuskrip yang tepat, atau alasan terbatas mengapa Anda tidak membuat perubahan.

Jenova's Academic Research Assistant dapat mempertahankan kerangka tersebut dalam surat panjang jika Anda memberikan batasannya sejak awal:

“Susun balasan untuk Penelaah 2 hanya menggunakan item Didukung dan item Didukung sebagian yang telah ditulis ulang dari tabel bukti. Gunakan daftar kata kerja yang saya berikan. Setiap paragraf harus menyertakan penanda lokasi manuskrip atau konsesi eksplisit. Jangan mempratinjau eksperimen masa depan seolah-olah telah selesai. Jangan menggambarkan bagian diskusi makalah yang disitasi seolah-olah itu adalah hasil kami.”

Untuk SciSpace atau model umum yang digunakan sebagai penulis surat, batasan yang sama harus ditempelkan, karena produk penyusunan draf mengoptimalkan kelengkapan dan kesantunan. Kelengkapan adalah cara analisis semu muncul. Kesantunan adalah cara ketidaksepakatan dinaikkan menjadi “kami setuju dan kini telah menunjukkan.”

Penghalusan bahasa bukanlah hiasan. Ini adalah fitur kesetiaan. Penghalusan yang berguna bersifat spesifik:

Penghalusan cakupan: “dalam sampel ini,” “di bawah spesifikasi linear,” “di antara peserta dengan tindak lanjut lengkap”
Penghalusan epistemik: “konsisten dengan,” “tidak menyingkirkan kemungkinan,” “memberikan dukungan awal”
Penghalusan proses: “kini kami laporkan,” “kami telah menambahkan,” “kami tidak dapat menguji dengan desain saat ini”

Peningkatan yang dilarang dalam draf sanggahan mencakup mengubah korelasi menjadi efek, pemeriksaan ketahanan menjadi replikasi, hasil tidak signifikan menjadi “tidak ada perbedaan,” dan satu sitasi pendukung menjadi “hal ini telah mapan.” Panduan tentang penulisan akademik berbantuan AI menekankan bahwa penulis tetap bertanggung jawab memeriksa apakah teks yang dihasilkan sesuai dengan klaim sebenarnya dalam manuskrip. Jurnal memiliki kebijakan pengungkapan yang berbeda-beda, tetapi ringkasan The Conversation mengenai aturan penerbit menyatakan bahwa bantuan mekanis rutin mungkin tidak memerlukan sitasi, sedangkan konten substantif yang dihasilkan AI sering kali memerlukannya. Surat tanggapan yang berisi interpretasi literatur yang disusun oleh model biasanya termasuk kategori kedua.

Panduan praktis ProofreaderPro tentang surat tanggapan benar dalam hal struktur dan nada. Struktur dan nada bukan bagian yang sulit. Bagian yang sulit adalah menolak menjawab komentar dengan kekuatan yang melampaui apa yang diizinkan tabel Anda. Jika penelaah meminta strategi identifikasi kausal yang tidak Anda miliki, draf yang jujur adalah paragraf keterbatasan dan, jika memungkinkan, analisis yang lebih lemah tetapi teridentifikasi — bukan pengulangan yang lebih meyakinkan atas regresi awal.

Perintah pemeriksaan kedua untuk menangkap pernyataan berlebihan:

“Bandingkan setiap paragraf balasan dengan tabel bukti. Tandai setiap kalimat yang kata kerjanya lebih kuat daripada label dukungannya. Tandai setiap sitasi yang tidak dikutip. Tandai setiap janji yang tidak sesuai dengan suntingan manuskrip yang dilacak.”

Apa Kata Spesialis Integritas Riset tentang Sanggahan Berbantuan AI?

Peneliti yang bekerja di bidang integritas telaah sejawat terus kembali pada poin yang sama: AI dapat mempercepat pengambilan informasi dan pemformatan, tetapi penulis tetap memiliki nilai kebenaran dari setiap kalimat yang dikirim kembali kepada editor.

“Kegagalan yang kami lihat jarang berupa koma yang hilang dalam daftar referensi. Kegagalan itu berupa kalimat yang satu tingkat epistemik terlalu kuat untuk makalah yang disitasi. Model yang diberi penghargaan karena bersikap membantu akan menutup kesenjangan itu untuk Anda kecuali Anda melarangnya. Pengendalian termurah bersifat arsitektural: ambil informasi, beri label, lalu susun draf. Jika Anda membalik urutan itu, surat tersebut akan berisi klaim yang baru Anda coba justifikasi belakangan.”

“Alat sitasi cerdas mengubah biaya untuk memeriksa apakah bidang tersebut masih mempercayai suatu makalah. Alat itu tidak mengubah biaya untuk memeriksa apakah Tabel 3 Anda sendiri mendukung kata kerja di paragraf 6 tanggapan. Pemeriksaan kedua itu masih berupa manusia yang membaca angka di samping kalimat. Penulis yang melewatinya tidak menghemat waktu. Mereka meminjamnya dari putaran telaah berikutnya.”

“Kami juga menyarankan tim untuk menyimpan log penolakan. Setiap kali model ingin mengatakan ‘kami menunjukkan’ dan labelnya hanya sebagian, catat kalimat yang ditolak. Setelah dua atau tiga makalah, Anda akan melihat klaim berlebihan bawaan laboratorium Anda — biasanya kata kerja kausal, generalisasi melampaui sampel, dan menyitir ulasan seolah-olah itu uji coba. Instruksi khusus hanyalah cara untuk mengodekan log tersebut.”

— Tim Produk Jenova, desain alur kerja akademik, delapan tahun mendukung sistem manuskrip dan sitasi

Nasihat tersebut sejalan dengan literatur riset mengenai AI dalam telaah itu sendiri. Sebuah ulasan PMC tentang AI dalam telaah sejawat menekankan bahwa penelaah tetap harus mengevaluasi secara kritis konten yang dihasilkan AI sebelum mengambil keputusan. Kewajiban yang sama berlaku ketika AI berada di pihak penulis dalam surat keputusan. Penulis yang menggunakan model kelas ChatGPT dalam korespondensi telaah sejawat secara khusus diperingatkan untuk menguji saran terhadap klaim inti manuskrip dan integritas riset.

Pengujian langsung Editage terhadap AI pada tanggapan telaah sejawat lebih berguna bukan untuk peringkat pemenang-tunggal, melainkan untuk pola yang diungkapkannya: model dapat menilai apakah balasan terlihat lengkap sambil tetap lemah dalam menentukan apakah balasan itu benar. Terlihat lengkap adalah sifat yang membuat surat dikirim terlalu dini.

Kapan Anda Harus Menimpa Tanggapan Penelaah yang Disusun AI?

Anda harus menimpa draf kapan pun label dukungannya lebih lemah daripada kalimatnya, kapan pun komentar meminta penilaian yang tidak dapat didasarkan oleh model, atau kapan pun menyetujui komentar akan mengikat Anda pada klaim yang tidak dapat Anda pertahankan pada putaran berikutnya. Menimpa adalah jalur normal, bukan jalur pengecualian.

Segera timpa dalam kasus-kasus berikut:

Agen menyitir makalah yang belum Anda buka.
Agen menjawab kritik metode dengan teks pendahuluan tambahan tanpa pengujian baru.
Agen memperlakukan kesalahpahaman penelaah sebagai permintaan lebih banyak sitasi, bukan penulisan ulang penjelasan Anda.
Agen “menemukan” analisis yang tidak ada dalam repositori.
Agen menyetujui dua penelaah yang meminta analisis saling tidak kompatibel, tanpa menandai konfliknya.
Agen menggunakan artikel ulasan untuk menopang klaim empiris primer.

Sebagian komentar tidak boleh sepenuhnya didelegasikan. Permintaan tentang etika riset, akses data, konflik kepentingan, serta apakah suatu hasil signifikan secara klinis atau kebijakan memerlukan keputusan manusia tentang apa yang bersedia Anda pertanggungjawabkan. AI dapat mengumpulkan dokumen. AI tidak dapat menerima tanggung jawab atas dokumen tersebut.

Ada pula masalah terbalik yang semakin berkembang: penulis kini menemui komentar penelaah yang tampaknya juga dihasilkan AI. Tanggapan yang benar tetap mengutamakan bukti. Nyatakan kembali permintaan ilmiah yang dapat ditindaklanjuti dalam komentar tersebut, abaikan pengisi umum, dan jawab permintaan yang dapat Anda dokumentasikan. Membalas ulasan yang terdengar seperti AI dengan surat yang terdengar seperti AI hanya menggandakan teks tanpa landasan dalam berkas.

Penutup human-in-the-loop yang dapat diterapkan untuk setiap komentar:

Baca kalimat penelaah dan tulis sendiri ringkasan enam kata.
Terima atau tolak baris bukti agen sebelum Anda melihat paragraf drafnya.
Jika Anda menolak baris tersebut, jangan menyunting paragrafnya. Kirim agen kembali ke tahap pengambilan informasi.
Jika Anda menerima baris Didukung sebagian, sunting kata kerjanya sendiri.
Baru kemudian masukkan paragraf tersebut ke dalam surat.

Jika digunakan dengan cara ini, Jenova's Academic Research Assistant, Scite, Elicit, dan agen penyusunan draf khusus seperti SciSpace bersifat saling melengkapi, bukan dapat saling menggantikan. Alat pengambilan informasi mengurangi kemungkinan Anda melewatkan makalah. Klasifikasi mengurangi kemungkinan Anda menyalahgunakannya. Alat penyusunan draf mengurangi kemungkinan surat tidak terorganisasi. Tidak satu pun dari alat tersebut mengurangi kemungkinan pernyataan berlebihan kecuali Anda menolak menyusun draf dari klaim tanpa label.

Standar yang layak ditempatkan di atas jendela perintah cukup sederhana: jika Anda tidak dapat menunjuk kalimat, tabel, atau konsesi yang membenarkan kata kerjanya, kalimat itu tidak layak dimasukkan ke dalam tanggapan.