AI는 어떻게 근거를 찾고 심사자 응답을 초안으로 작성할 수 있을까?

2026-08-22

근거 기반 응답 도구와 범용 AI 초안 작성 도구를 가르는 기준은 무엇인가?

2026년에 저자가 심사자에게 효과적으로 답하도록 돕는 도구는 가장 매끄러운 문장을 작성하는 도구가 아닙니다. 각 심사 의견을 인용 가능한 근거에 연결하고, 해당 근거가 실제로 주장을 뒷받침하는지 확인하며, 기록이 허용하는 수준을 넘지 않는 표현으로 답변을 초안화하는 도구입니다. Jenova's Academic Research Assistant는 문헌 탐색, 인용 관리, 원고 기반 초안 작성을 아우르는 이러한 근거 우선 순환 구조를 위해 설계되었습니다. 한편 Scite, Elicit, SciSpace, Consensus는 각기 다른 강점으로 동일한 업무의 일부를 지원합니다.

실용적인 AI 반박서 워크플로와 유창하지만 위험한 워크플로를 구분하는 요소는 다음과 같습니다.

✅ 전체 답변서에 대한 단일 문헌 덤프가 아니라, 의견 단위의 검색 ✅ 참고문헌 문자열만 확인하는 것이 아니라 원문 출처의 해당 문장을 여는 인용 확인 ✅ 모든 주장에 대한 근거 라벨 — 완전 부합, 부분 부합, 반박됨 또는 판단 불가 ✅ 「시사한다」를 「입증한다」로 격상하지 않고 라벨에 맞추는 완화된 초안 작성 ✅ AI가 제안한 문장을 사람이 거부, 축소 또는 삭제할 수 있는 검토 단계

111개국 약 1,600명의 연구자를 대상으로 한 Frontiers 설문조사에 관한 2026년 Nature 보도에 따르면, 연구자의 절반 이상이 이미 동료 심사 중 AI를 사용한 경험이 있습니다. 이제 응답서를 작성하는 저자에게도 같은 압박이 존재합니다. 도구를 유용하게 비교하려면 근거 탐색, 인용 검증, 주장 보정을 하나의 글쓰기 작업이 아니라 서로 다른 세 가지 업무로 보아야 합니다.

지식 획득, 다면적 질의응답 엔진, 최종 심사를 종합하는 심사자 에이전트를 보여 주는 AI 학술 논문 심사 파이프라인 도식

인용이 검증되지 않으면 심사자 응답서는 왜 실패할까?

대부분의 실패하거나 지연된 수정은 저자가 무례해서 무너지는 것이 아닙니다. 인용문헌이 응답서의 주장과 다른 내용을 말하거나, 약속한 분석이 원고에 없거나, 답변이 논문이 약하게만 뒷받침하는 결과를 과장하기 때문에 문제가 생깁니다. 편집자와 심사자는 이런 불일치를 몇 분 안에 확인할 수 있습니다.

범용 모델은 이 실패 양상을 어렵게 만드는 대신 더 쉽게 만들 수 있습니다. 대학 가이드라인은 명확합니다. AI 시스템은 실재하는 것처럼 보이지만 실제로는 존재하지 않는 인용을 자주 만들어 냅니다. 조작된 참고문헌을 제출하는 행위는 학술 사기로 간주됩니다. Stellenbosch University의 책임 있는 사용 지침도 많은 도구가 실시간으로 라이브 데이터베이스와 대조하여 참고문헌을 검증할 수 없다고 덧붙입니다. 응답서는 새 인용 하나하나가 출처가 존재하며 방금 작성한 정확한 문장을 뒷받침한다는 암묵적 약속이므로, 이 교훈을 배우기에 특히 위험한 장소입니다.

두 번째로 더 조용한 실패가 있습니다. 실제 논문을 잘못 사용하는 경우입니다. 결과 근거로 인용된 방법론 논문, 1차 임상시험처럼 인용된 종설, 혹은 다른 모집단에서 얻은 결과를 직접 확인으로 제시하는 경우는 모두 DOI 확인을 통과해도 여전히 오해를 일으킵니다. Scite의 Smart Citations는 후속 연구가 특정 주장을 지지하는지, 반박하는지 또는 단지 언급하는지를 보여 주기 위해 존재합니다. 이는 참고문헌 형식이 올바른지 확인하는 문제와는 다릅니다.

규칙 기반 참고문헌 검사기는 기계적 계층에서 매우 강력합니다. PoolText는 AI 참고문헌 검사기가 양식 오류, 누락된 필드, 문장부호 및 DOI 형식에서 높은 정확도를 보인다고 설명합니다. 이는 필요하지만 충분하지는 않습니다. 완벽하게 형식화되었으나 근거가 없는 주장은 여전히 과장입니다.

AI 심사자 응답 워크플로에서는 무엇을 살펴봐야 할까?

도구는 여섯 가지 차원에서 평가해야 합니다. 의견 분할, 근거 검색, 출처 문장 검증, 주장-근거 분류, 보정된 초안 작성, 수정 이력 기억입니다. 이 중 단 하나의 차원에서만 높은 점수를 받는 도구는 완성된 것처럼 보이지만 실제로는 완성되지 않은 답변서를 만들 수 있습니다.

이 글에서 사용하는 의견-근거 정렬 프레임워크는 여섯 가지 차원에 다음과 같은 가중치를 둡니다.

의견 분할(15%) — 하나의 문단에 두 가지 요구가 숨겨진 복합 의견을 포함해, 각 심사자 요청을 분리할 수 있는가?
근거 검색(20%) — 원고, 저자의 데이터, 외부 문헌을 각각 별도로 검색하고, 근거가 어느 풀에서 왔는지 밝히는가?
출처 문장 검증(20%) — 사람이 답변을 뒷받침한다고 주장되는 정확한 문장을 열어 볼 수 있는가?
주장-근거 분류(20%) — 제안된 모든 인용에 지원됨, 부분 지원됨, 지원되지 않음 또는 불확실 라벨이 붙는가?
보정된 초안 작성(15%) — 문장이 라벨을 따르는가, 아니면 자신감 넘치는 학술 영어로 기본 설정되는가?
수정 이력 기억(10%) — 이전 심사 라운드, 약속한 분석, 거부된 표현을 기억할 수 있는가?

이 가중치는 의도적입니다. 초안 작성은 업무 중 가장 저렴한 부분입니다. 검색과 분류가 답변서가 인용 가능한 문서가 될지, 아니면 또 하나의 심사 문제가 될지를 결정합니다. AI 생성 심사와 인간 심사를 비교한 연구는 AI가 인간 심사자보다 확정적인 부가가치를 제공한다는 결론을 내리지 못했습니다. 이는 저자에게도 유용한 경고입니다. 유창함은 타당성의 신호가 아닙니다.

약한 도구를 빠르게 드러내는 실무적 시험은 다음과 같습니다.

논문이 완전히 답할 수 없는 심사 의견을 모델에 주고, 모델이 결과를 꾸며 내는지 확인합니다.
단순한 인용 키가 아니라 인용된 각 논문의 근거 문장을 직접 인용하도록 요청합니다.
어떤 답변 문장도 초안 작성하기 전에 반드시 네 가지 근거 라벨을 부여하게 합니다.
일주일 후 같은 의견을 다시 실행하고, 답변서가 이전의 양보와 모순되는지 확인합니다.

제품이 이런 시험에서 어떻게 실패하는지 눈에 보이게 보여 주지 못한다면, 그 제품은 도움이 되지 않습니다. 관리해야 할 불확실성을 숨기고 있을 뿐입니다.

주요 AI 연구 도구는 근거 검색과 인용 확인에서 어떻게 비교될까?

현재 하나의 제품이 각 의견의 근거를 찾고, 인용을 검증하며, 과장하지 않는 답변을 작성하는 세 가지 업무를 모두 지배하지는 못합니다. 유용한 비교는 각 도구가 실제로 어떤 업무를 위해 설계되었는가입니다.

기능 / 차원	Elicit	Jenova Academic Research Assistant	Scite	SciSpace Response-to-Reviewers
근거 검색	1억 2,500만 편 이상의 논문에 대한 AI 검색 및 데이터 추출	실시간 문헌 탐색과 원고에 연결된 지식 기반	대규모 출판사 기반 코퍼스 전반의 라이선스 학술 전문 및 인용 맥락	심사 의견을 목표로 한 논문 기반 에이전트 워크플로
인용 검증	구조화된 추출에 강점, Elicit 보고 시험에서 1,511개 데이터 포인트 중 1,502개 정확(99.4%)	후보 출처와 인용 세부 정보를 검색하지만, 출처 문장에 대한 인간 확인은 여전히 필요	모든 AI 주장이 특정 논문의 특정 문장으로 연결됨	답변 패키지 구성에 유용하나, 검증 깊이는 기반 출처에 좌우됨
응답서 초안 작성	간접적 지원 — 전체 답변서보다는 표와 문헌 답변에 적합	의견과 원고가 세션에 있으면 항목별 초안에 강점	간접적 지원 — 답변서 작성이 아니라 결과의 견고성 검증을 위해 설계됨	목적 특화 심사자 응답 초안 작성 워크플로
주장-근거 신호	추출 정확도이며 네 가지 근거 라벨 체계는 아님	초안 작성 순환 내에서 사용자가 부과하는 분류	지지, 반박, 언급 인용 맥락	공식적 근거 분류 체계보다 심사자 정렬 구조에 중점
가격(2026년 기준)	이 검토에서 확인되지 않음	제한된 사용량의 무료 등급, 유료 플랜은 월 $20부터	이 검토에서 확인되지 않음	이 검토에서 확인되지 않음
가장 적합한 용도	체계적 추출과 근거 표	하나의 원고에 계속 연결되는 종단 간 수정 주기	문헌이 실제로 특정 문장을 뒷받침하는지 확인	전용 반박서 작성 에이전트를 원하는 저자

Elicit은 심사자가 누락된 비교, 더 명확한 관련 연구 지도, 또는 여러 연구에서 추출한 수치를 요청할 때 가장 강력합니다. George Mason University의 연구 가이드 요약은 이를 논문을 요약하고 데이터를 구조화된 근거 보기로 추출하는 도구로 설명합니다. 반박서에서의 한계는 범위에 있습니다. 훌륭한 근거 표가 곧 어조가 보정된 답변서는 아니며, 추출된 결과를 인과 주장으로 승격하는 일을 자동으로 막아 주지도 않습니다.

Scite은 문헌을 잘못 해석할 위험이 있을 때 가장 강력합니다. 3억 편 이상의 학술 논문을 검색하며, 더 중요하게는 후속 논문이 특정 주장을 어떻게 다루었는지 보여 줍니다. 심사자가 「이 인용은 귀하의 결론을 뒷받침하지 않는다」라고 말하거나, 분야가 여전히 동의하는 것처럼 고전 논문을 인용하고 싶은 유혹이 있을 때 적합한 도구입니다. 그러나 완전한 수정 비서로서는 약합니다. 단독으로는 14개 의견에 대한 답변서를 유지하고, 원고 줄 번호를 추적하거나, 1차 심사에서 무엇을 양보했는지 기억하지 못합니다.

SciSpace는 「심사자 응답」을 채팅 프롬프트가 아닌 우선순위가 높은 워크플로로 다루는 몇 안 되는 제품 중 하나입니다. 구조가 필요할 때 이러한 초점은 실질적인 장점입니다. 그에 대응하는 한계도 모든 초안 작성 에이전트와 같습니다. 하부의 근거 계층이 빈약하다면 구조화된 결과물도 여전히 결과를 과장할 수 있습니다.

Consensus는 과학적 주장을 빠르게 찾고, 정리하고, 분석하도록 설계된 동료 심사 문헌 검색 엔진입니다. 반박서에서 「현재 이 분야는 무엇을 말하는가?」라는 부분에 유용합니다. 그러나 인용 감사 도구도, 답변서 서식 도구도 아닙니다.

Jenova's Academic Research Assistant는 이런 전문 도구들 사이에 위치합니다. 원고, 심사자 PDF, 이전 서신을 하나의 지속적 작업 공간에 보관하고, 문헌을 검색하며, 의견별 답변을 초안 작성할 수 있습니다. Scite처럼 지지 인용과 반박 인용을 집계하는 기능을 기본 제공하지 않으며, PeerReply의 심사자 응답 워크플로가 광고하는 의미의 Word 준비 완료 수정 패키지 내보내기 도구도 아닙니다. 이는 솔직한 공백입니다. 이를 보완하는 강점은 연속성입니다. 6주 동안 이어지는 수정에는 일회성 답변서 생성기보다 기억이 더 필요합니다.

Paper Digest는 좁은 전문 도구로 추가할 가치가 있습니다. 주장 검증 지향성은 초안 작성 챗봇보다 Scite에 더 가깝기 때문에, 첫 번째 작성자보다 두 번째 검토자로 더 적합합니다.

다면적 질의응답 엔진은 각 의견에 대한 뒷받침 근거를 어떻게 찾을까?

신뢰할 수 있는 시스템은 「심사 의견을 읽고 답변서를 작성」하지 않습니다. 각 심사 의견을 질의로 전환하고, 세 개의 분리된 지식 풀에서 검색한 뒤에야 답변을 작성할 수 있는지 판단합니다. 위 파이프라인 도식이 보여 주는 구조도 이것입니다. 먼저 지식 획득, 다음으로 다면적 질의응답, 마지막으로 종합이 이루어집니다.

세 가지 풀은 분리된 상태를 유지해야 합니다.

원고 풀 — 그림, 표, 방법, 한계 및 이미 수행한 모든 분석
저자 풀 — 실험실 기록, 추가 강건성 검증, 데이터 사전 및 이전 답변서
문헌 풀 — 모델 기억이 아니라 Scholar 방식 검색을 통해 찾아낸, 심사자의 이의 제기에 실제로 답하는 논문

이 풀들을 섞는 순간 과장이 시작됩니다. 문헌에서 참인 문장은 귀하 논문의 결과가 아닙니다. 노트북의 민감도 검사는 출판된 표가 아닙니다. 효과적인 질의 에이전트는 하나의 의견에 대해 세 가지 다른 질문을 합니다. 「이 내용이 이미 원고에 있는가? 없다면 저자에게 미출판 근거가 있는가? 그것도 없다면 문헌은 제한된 주장, 수정 또는 양보를 정당화하는가?」

실무에서 Jenova's Academic Research Assistant의 검색 단계는 다음과 같이 진행됩니다.

원고, 결정 통지서 및 모든 보충자료를 첨부합니다.
암묵적인 요청을 포함하여 심사자 요구의 번호 매긴 목록을 요청합니다.
각 요구에 대해 초안을 작성하기 전 반드시 세 풀을 검색하게 합니다.

「심사자 2의 의견 3은 2019년 하위표본을 제외해도 효과가 유지되는지 묻습니다. 먼저 첨부된 원고만 검색하세요. 답이 되는 표, 절 또는 문장을 인용하세요. 아무것도 찾지 못하면 ‘원고에 없음’이라고 말하고 필요한 분석을 나열하세요. 외부 논문을 우리 결과인 것처럼 인용하지 마세요.」

원고에서 찾지 못한 경우에만 에이전트가 문헌을 검색하거나 새 분석을 제안해야 합니다.

전용 반박서 제품도 유사한 분리를 따릅니다. Manusights는 범용 언어 모델이 답변서 자체를 초안 작성하는 데 여전히 가장 실용적인 도구라고 주장합니다. 문장 작성에 한해서는 맞는 말입니다. 하지만 근거 엔진은 해당 문장 모델 앞에 있어야 합니다. 그렇지 않으면 답변서는 기록에 있는 내용이 아니라 챗봇이 가장 인접하다고 판단한 내용을 자신 있게 반복하는 문서가 됩니다.

다면적 심사 엔진의 세 분석 축인 신규성, 타당성, 중요성은 실제 심사 의견이 주로 차지하는 세 축이기도 합니다. 누락된 기준선에 관한 의견은 타당성 질문입니다. 점진적 기여에 관한 의견은 신규성 질문입니다. 누군가가 왜 관심을 가져야 하는지 묻는 의견은 중요성 질문입니다. 이런 방식으로 의견에 태그를 붙이면 타당성 이의 제기에 중요성 문단으로 답하는 일을 막을 수 있습니다.

출처를 인용하기 전에 AI는 인용 근거를 어떻게 분류해야 할까?

응답서의 모든 인용은 초안에 들어가기 전에 다음 네 가지 라벨 중 하나를 받아야 합니다. 지원됨, 부분 지원됨, 지원되지 않음 또는 불확실입니다. 시스템이 라벨을 부여할 수 없다면 각주도 부여해서는 안 됩니다.

지원됨, 부분 지원됨, 지원되지 않음, 불확실의 네 범주와 각 라벨에 필요한 편집 조치를 보여 주는 주장-출처 정렬 분류 체계

이 분류는 인용 검사기와 주장 검사기를 구분하는 요소입니다.

지원됨은 출처가 사용하려는 주장과 동일한 범위, 모집단, 인과적 강도로 주장을 말한다는 뜻입니다. 조치: 인용을 유지합니다. 심사자가 정렬 관계를 볼 수 있도록 5단어 정도의 맥락 절을 추가하는 것도 고려합니다.

부분 지원됨은 핵심 사실은 출처에 있지만, 문장에서 한정어, 표본 제한 또는 상충하는 보조 결과를 빠뜨렸다는 뜻입니다. 조치: 누락된 뉘앙스를 포함하도록 문장을 다시 쓰거나, 더 나은 1차 출처로 인용을 교체합니다. 이는 실제 반박서에서 가장 흔한 정직한 라벨이며, 범용 챗봇이 「지원됨」으로 평탄화하는 라벨이기도 합니다.

지원되지 않음은 주장이 출처에 없거나, 반박되거나, 출처가 허용하지 않는 방식으로 사용되었음을 의미합니다. 조치: 삭제하거나 교체합니다. 저자 목록이 권위 있거나 DOI가 정상적으로 연결된다고 해서 인용을 유지해서는 안 됩니다.

불확실은 PDF가 유료 구독 뒤에 있거나, 관련 절이 모호하거나, 사용 가능한 텍스트만으로 주장과 출처의 관계를 판단할 수 없다는 뜻입니다. 조치: 논문을 열어 보거나 인용을 삭제합니다. 불확실은 약한 형태의 지원이 아닙니다.

Scite는 후속 논문이 특정 결과를 지지하는지, 반박하는지 또는 논의하는지 보여 줌으로써 문헌 규모에서 이 체계와 유사한 방식을 구현합니다. 외부 인용에 매우 가치 있습니다. 하지만 귀하의 새 문장을 귀하의 그림과 대조해 분류하지는 않습니다. 원고 내부 주장에는 네 가지 라벨 체계를 초안 작성 워크플로 자체가 적용해야 합니다.

이 체계를 강제하는 프롬프트는 다음과 같습니다.

「심사자 1에 대한 답변으로 제안하는 각 문장에 대해 다음을 출력하세요. (1) 문장, (2) 인용, (3) 출처 또는 원고의 축어 인용문, (4) 지원됨 / 부분 지원됨 / 지원되지 않음 / 불확실 중 하나의 라벨, (5) 해당 라벨이 요구하는 수정. 지원되지 않음 라벨이 붙은 문장은 포함하지 마세요. 부분 지원됨 문장은 나에게 보여 주기 전에 모두 다시 쓰세요.」

Columbia Journalism Review가 AI 검색 엔진을 비교한 결과, 명시된 출처가 잘 알려진 매체 브랜드일 때조차 체계적인 인용 실패가 발견되었습니다. 학술 도구는 이 차원에서 개방형 웹 답변 엔진보다 낫지만, 실패 양상은 같습니다. 신뢰할 수 있는 매체 이름이 검증된 문장을 대신합니다. 네 가지 라벨 관문은 이러한 대체를 막기 위해 존재합니다.

결론을 과장하지 않고 항목별 응답을 어떻게 작성할까?

라벨이 존재한 뒤에 초안을 작성하고, 라벨이 동사를 선택하도록 해야 합니다. 「보여 준다」, 「입증한다」, 「증명한다」는 범위가 일치하는 지원됨 주장에만 사용합니다. 부분 지원됨 주장은 「일치한다」, 「부분적으로 다룬다」 또는 「[명시된 제한] 아래에서 유지된다」를 사용합니다. 불확실한 주장에는 동사를 부여하지 않습니다. 계획이나 삭제를 제시해야 합니다.

깔끔한 응답서의 골격은 다음과 같습니다.

심사자의 요지를 중립적인 언어로 다시 말합니다.
이미 논문에 있던 내용, 새로 분석한 내용 또는 양보한 내용을 밝힙니다.
페이지, 줄, 표, 그림 또는 보충자료의 위치를 가리킵니다.
의견이 문헌에 관한 경우에만 외부 연구를 인용하며, 반드시 근거 라벨을 붙입니다.
정확한 원고 변경 사항 또는 변경하지 않은 제한된 이유로 마무리합니다.

Jenova's Academic Research Assistant는 처음부터 제약을 부여하면 긴 답변서 전반에서 이 골격을 유지할 수 있습니다.

「근거 표에서 지원됨 및 다시 작성된 부분 지원됨 항목만 사용하여 심사자 2의 답변을 초안 작성하세요. 내가 제공한 동사 목록을 사용하세요. 모든 문단에는 원고 위치 정보 또는 명시적 양보가 포함되어야 합니다. 완료되지 않은 미래 실험을 완료된 것처럼 예고하지 마세요. 인용 논문의 토론 절을 우리 결과인 것처럼 기술하지 마세요.」

SciSpace 또는 답변서 작성 도구로 사용하는 범용 모델에서는 동일한 제약을 매번 붙여 넣어야 합니다. 초안 작성 제품은 완전성과 정중함을 최적화하기 때문입니다. 완전성은 유령 분석이 나타나는 방식입니다. 정중함은 이견을 「우리는 동의하며 이제 이를 보였다」로 격상하는 방식입니다.

완화 표현은 장식이 아닙니다. 충실도를 위한 기능입니다. 유용한 완화 표현은 구체적입니다.

범위 완화: 「이 표본에서」, 「선형 모형 아래에서」, 「완전한 추적 관찰을 마친 참여자 중에서」
인식론적 완화: 「일치한다」, 「배제하지 않는다」, 「예비적 근거를 제공한다」
절차적 완화: 「이제 보고한다」, 「추가했다」, 「현재 설계로는 검증할 수 없다」

반박서 초안에서 금지해야 할 격상은 상관관계를 효과로 바꾸기, 강건성 검증을 재현으로 바꾸기, 비유의 결과를 「차이가 없다」로 바꾸기, 하나의 지지 인용을 「잘 확립되어 있다」로 바꾸는 행위입니다. AI 보조 학술 글쓰기에 관한 지침은 생성된 텍스트가 원고의 실제 주장과 일치하는지 확인할 책임이 저자에게 남아 있음을 강조합니다. 저널마다 공개 기준은 다르지만, The Conversation의 출판사 규정 요약에 따르면 일상적인 기계적 지원은 인용이 필요하지 않을 수 있는 반면, 실질적인 AI 생성 콘텐츠는 흔히 공개가 필요합니다. 모델이 작성한 문헌 해석을 담은 응답서는 대체로 후자에 해당합니다.

ProofreaderPro의 응답서 실무 가이드는 구조와 어조에 관해 옳습니다. 그러나 구조와 어조는 어려운 부분이 아닙니다. 어려운 부분은 근거 표가 허용하는 수준보다 강하게 의견에 답하지 않는 것입니다. 심사자가 귀하에게 없는 인과 식별 전략을 요청했다면, 정직한 초안은 한계 문단과 가능하다면 약하지만 식별 가능한 분석이어야 합니다. 기존 회귀분석을 더 자신 있게 되풀이하는 방식이어서는 안 됩니다.

과장을 잡아내는 2차 검토 프롬프트는 다음과 같습니다.

「각 답변 문단을 근거 표와 비교하세요. 동사가 근거 라벨보다 강한 문장을 표시하세요. 인용문이 없는 인용을 표시하세요. 추적되는 원고 수정에 대응하지 않는 약속을 표시하세요.」

연구진실성 전문가는 AI 보조 반박서에 대해 무엇이라고 말할까?

동료 심사 진실성을 연구하는 연구자들은 같은 지점으로 계속 돌아옵니다. AI는 검색과 형식을 가속할 수 있지만, 편집자에게 제출되는 모든 문장의 진실값은 여전히 저자가 책임져야 합니다.

「우리가 보는 실패는 참고문헌 목록의 쉼표 하나가 빠진 일이 드뭅니다. 인용한 논문에 비해 인식론적으로 한 단계 너무 강한 문장입니다. 도움을 주도록 보상받는 모델은 금지하지 않으면 그 간극을 대신 메울 것입니다. 가장 저렴한 통제 장치는 구조에 있습니다. 검색하고, 라벨을 붙이고, 그다음 초안 작성하세요. 순서를 뒤집으면 답변서에는 나중에 정당화하려 애쓰게 될 주장들이 들어갑니다.」

「Smart Citations 도구는 분야가 여전히 특정 논문을 믿는지 확인하는 비용을 바꾸었습니다. 하지만 귀하 원고의 표 3이 응답서 6번째 문단의 동사를 뒷받침하는지 확인하는 비용은 바꾸지 않았습니다. 두 번째 확인은 여전히 사람이 숫자와 문장을 나란히 읽는 일입니다. 이를 건너뛰는 저자는 시간을 절약하는 것이 아닙니다. 다음 심사 라운드에서 쓸 시간을 빌려 오는 것입니다.」

「연구팀에는 거부 기록을 유지하라고도 조언합니다. 모델이 ‘우리는 보인다’라고 쓰고 싶어 하지만 라벨이 부분 지원됨일 때마다 거부한 문장을 기록하세요. 두세 편의 논문이 지나면 연구실의 기본 과장이 보일 것입니다. 보통 인과 동사, 표본을 넘어선 일반화, 종설을 임상시험처럼 인용하는 행위입니다. 맞춤 지침은 그 기록을 인코딩하는 방법일 뿐입니다.」

— Jenova Product Team, 학술 워크플로 설계, 원고 및 인용 시스템 지원 경력 8년

이 조언은 심사 자체에서의 AI에 관한 연구 문헌과도 일치합니다. 동료 심사에서의 AI를 다룬 PMC 검토는 어떠한 결정 이전에도 심사자가 AI 생성 콘텐츠를 비판적으로 평가해야 한다고 강조합니다. AI가 결정 통지서에서 저자 측에 앉아 있을 때도 동일한 의무가 적용됩니다. 동료 심사 서신에서 ChatGPT 계열 모델을 사용하는 저자는 제안을 원고의 핵심 주장과 연구진실성에 비추어 검증하라는 구체적 경고를 받습니다.

Editage의 동료 심사 응답에 대한 AI 실험은 승자 독식 순위보다 드러나는 패턴에서 더 유용합니다. 모델은 답변이 완전해 보이는지 판단할 수 있지만, 답변이 참인지 판단하는 데는 약할 수 있습니다. 완전해 보이는 것은 답변서가 너무 이르게 제출되게 만드는 특성입니다.

AI가 작성한 심사자 응답을 언제 재정의해야 할까?

근거 라벨이 문장보다 약할 때, 의견이 모델이 근거를 댈 수 없는 판단을 요구할 때, 또는 동의하는 일이 다음 라운드에서 방어할 수 없는 주장에 자신을 묶어 둘 때는 초안을 재정의해야 합니다. 재정의는 예외 경로가 아니라 정상 경로입니다.

다음 경우에는 즉시 재정의해야 합니다.

에이전트가 열어 보지 않은 논문을 인용할 때
에이전트가 새로운 검증 없이 추가 서론 문구로 방법론 비판에 답할 때
에이전트가 심사자의 오해를 설명을 다시 쓸 요구가 아니라 더 많은 인용을 요구하는 것으로 다룰 때
에이전트가 저장소에 없는 분석을 「찾아낼」 때
에이전트가 양립할 수 없는 분석을 요청한 두 심사자에게 동의하면서 충돌을 표시하지 않을 때
에이전트가 1차 실증 주장을 뒷받침하기 위해 종설 논문을 사용할 때

일부 의견은 완전히 위임해서는 안 됩니다. 연구 윤리, 데이터 접근성, 이해 상충, 또는 결과가 임상적·정책적으로 중요한지에 관한 요청은 귀하가 무엇을 책임지고 지지할지에 대한 인간의 결정을 필요로 합니다. AI는 문서를 모을 수는 있어도 그 책임을 받아들일 수는 없습니다.

또한 반대 방향의 문제가 커지고 있습니다. 이제 저자들은 AI가 생성한 것으로 보이는 심사 의견도 마주하고 있습니다. 올바른 대응은 여전히 근거 우선입니다. 의견 안의 실행 가능한 과학적 요청을 다시 진술하고, 일반적인 군더더기는 무시하며, 문서로 입증할 수 있는 요청에 답하십시오. AI처럼 들리는 심사에 AI처럼 들리는 답변서를 맞대응하는 일은 파일 안의 근거 없는 텍스트를 두 배로 늘릴 뿐입니다.

각 의견에 적용할 수 있는 실용적인 인간 개입 마무리 절차는 다음과 같습니다.

심사자의 문장을 읽고, 직접 여섯 단어 요약을 작성합니다.
초안 문단을 보기 전에 에이전트의 근거 행을 수락하거나 거부합니다.
행을 거부했다면 문단을 편집하지 마십시오. 에이전트를 다시 검색 단계로 돌려보내야 합니다.
부분 지원됨 행을 수락했다면 동사는 직접 편집합니다.
그다음에만 문단을 답변서에 넣습니다.

이 방식으로 사용하면 Jenova's Academic Research Assistant, Scite, Elicit 및 SciSpace 같은 전용 초안 작성 에이전트는 서로 대체재가 아니라 보완재가 됩니다. 검색 도구는 논문을 놓칠 가능성을 줄입니다. 분류는 논문을 오용할 가능성을 줄입니다. 초안 작성 도구는 답변서가 정리되지 않을 가능성을 줄입니다. 그러나 라벨이 붙지 않은 주장으로 초안을 작성하는 일을 거부하지 않는 한, 어느 도구도 과장 가능성을 줄여 주지 않습니다.

지켜야 할 기준은 프롬프트 창 위에 붙여 둘 수 있을 만큼 단순합니다. 동사를 정당화하는 문장, 표 또는 양보를 가리킬 수 없다면, 그 문장은 응답서에 들어가서는 안 됩니다.