AI 연구 어시스턴트가 가짜 인용을 만들어내지 못하게 하려면?

2026-08-21

인용 근거 기반 AI 연구 도구와 환각을 일으키는 챗봇을 가르는 안전장치는 무엇인가요?

AI 연구 어시스턴트가 논문을 지어내지 못하게 하는 가장 신뢰할 수 있는 방법은 기억에 의존해 참고문헌을 생성하는 도구를 배제하고, 모든 주장을 기계적으로 검증 가능한 식별자가 있는 검색된 레코드에 연결하도록 요구하며, 각 인용이 원고에 들어가기 전에 원문과 대조하는 것입니다. 2026년 기준으로 이러한 구성, 즉 근거 기반 검색, 식별자 확인, 사람의 검증은 Jenova's Academic Research Assistant, Elicit, SciSpace, Consensus, Scite 같은 문헌 연구 도구와 그럴듯해 보이는 참고문헌을 여전히 조작하는 범용 챗봇을 구분하는 핵심입니다.

실제로 조작된 출처를 줄이는 핵심 요소는 다음과 같습니다.

✅ 기억이 아닌 검색 — 어시스턴트는 훈련 데이터에서 참고문헌을 자동완성하는 대신, 색인화된 학술 레코드를 검색해야 합니다. ✅ 식별자 연결 — 인용된 모든 연구에는 독립적으로 확인 가능한 DOI, PMID, arXiv ID 또는 출판사 URL이 있어야 합니다. ✅ 존재 여부가 아닌 근거 충실성 — 논문이 실제로 존재하더라도 그 안에 없는 발견을 뒷받침하는 인용으로 사용한다면 여전히 실패입니다. RAG 평가 연구가 이를 보여줍니다. ✅ 서지 정확성 — 저자명, 연도, 권, 페이지 범위는 모델이 만들어낸 그럴듯한 유사 항목이 아니라 실제 레코드와 일치해야 합니다. ✅ 사람 검증 루프 — Stanford Libraries와 주요 인용 양식 가이드는 모든 인용에 대한 책임이 도구가 아니라 저자에게 있다고 봅니다.

도구를 유용하게 비교하려면 인용 무결성을 프롬프트 작성 요령이 아니라 아키텍처 문제로 다루는 것이 좋습니다. 이 가이드의 나머지 부분에서는 그 아키텍처, 방지하려는 실패 유형, 그리고 어떤 어시스턴트에도 적용할 수 있는 워크플로를 설명합니다.

주장 검증, 출처 교차 확인, 전문가 검토를 포함한 AI 생성 학술 콘텐츠 팩트체킹의 다섯 가지 모범 사례 인포그래픽

2026년에 조작된 AI 인용이 출판 논문에 나타나는 이유는 무엇인가요?

조작된 인용은 더 이상 강의실에서나 들을 법한 일화가 아닙니다. 연구자들이 각 참고문헌을 실제로 확인하지 않은 채 챗봇이 생성한 참고문헌 목록을 원고에 붙여 넣으면서, 학술지, 연구비 신청서, 인용 색인으로 유입되고 있습니다. 2026년 Nature 분석은 2025년 출판물 수만 편에 유효하지 않은 AI 생성 참고문헌이 포함되었을 수 있다고 추정했습니다.

오염 양상에는 뚜렷한 특징이 있습니다. 컴퓨터 과학자 Guillaume Cabanac은 자신의 논문 중 하나가 자신의 연구 분야인 조작 논문 탐지와 전혀 겹치지 않는 International Dental Journal에서 인용되었다는 알림을 받았고, 자신의 논문을 가리키는 인용조차 알아볼 수 없었습니다. 유령 인용은 이런 방식으로 퍼집니다. 형식은 갖춰져 있고, 그럴듯한 학술지명을 쓰며, 대충 훑어보는 검토를 통과합니다.

문서화된 사례는 철회를 촉발할 정도로 심각합니다. Resnik과 Hosseini는 Academic Ethics 논문에서 29개 인용 중 19개가 환각으로 생성되었고, 이후 철회된 PLOS ONE 논문에서는 76개 인용 중 18개가 조작되었으며, Digestive Diseases and Sciences 관점 논문에서는 14개 참고문헌 중 12개가 존재하지 않았던 사례를 요약합니다. 2025년 GPT-4o 인용을 조사한 정신건강 연구에서는 56%에 오류가 있었고, 약 5건 중 1건은 완전히 환각으로 생성된 인용이었습니다.

교수진의 우려는 이제 거의 보편적입니다. College Board 연구는 교수자들이 AI 사용이 비판적 사고, 독창적 글쓰기, 학문적 진실성을 훼손한다고 우려한다고 보고합니다. UNC Charlotte 같은 도서관 가이드는 이제 환각 인용을 예외적 문제가 아닌 표준 연구 위험으로 다룹니다.

도구 선택에 대한 시사점은 명확합니다. 어시스턴트가 실시간 레코드를 검색하지 않고도 형식이 완벽해 보이는 APA 또는 Vancouver 참고문헌을 출력할 수 있다면, 존재하지 않는 논문을 지어낼 수 있으며 그 논문은 출판물에까지 남을 수 있습니다.

참고문헌 목록을 AI 연구 어시스턴트에 맡기기 전에 무엇을 평가해야 하나요?

AI 연구 어시스턴트는 진실의 출처, 식별자 연결, 주장-원문 구절 간 충실성, 서지 정확성, 강제된 사람 검증 루프라는 다섯 요소로 구성된 인용 무결성 스택으로 평가해야 합니다. 문장 유창성은 높지만 이 스택에서는 낮은 점수를 받는 도구는 글이 얼마나 세련되어 보이든 참고문헌 목록에 사용하기에 안전하지 않습니다.

1. 진실의 출처

답변이 검색된 코퍼스에서 오는지, 아니면 파라미터 기반 기억에서 나오는지 확인하세요. 검색 증강 시스템은 Google Scholar, PubMed, Semantic Scholar, Scopus 또는 arXiv를 검색한 후 생성합니다. 검색 기능이 없는 챗봇은 인용문의 다음 토큰을 예측합니다. 검색이 수행되었더라도 생성 결과가 검색된 맥락에서 벗어날 수 있기 때문에 충실성 지표가 존재합니다.

2. 식별자 연결

제목-저자-연도 조합만으로는 충분하지 않습니다. DOI, PMID, PMCID 또는 출판사 URL을 요구한 뒤 직접 확인하세요. 유령 참고문헌은 이 검증에서 즉시 탈락하는 경우가 많습니다. 잘못된 권이나 페이지 범위가 붙은 실제 논문 같은 서지 정보 유사 오류는 한 번 더 살펴보면 드러납니다.

3. 주장-원문 구절 간 충실성

RAG 인용에 관한 ACM 연구는 정확성이 충실성과 같지 않다는 점을 발견했습니다. 인용의 최대 57%가 자신이 뒷받침한다고 주장하는 내용을 실제로 지지하지 못할 수 있습니다. 존재하지만 해당 발견을 담고 있지 않은 논문은 존재하지 않는 논문만큼 위험합니다. 실제 저자를 통해 잘못된 결과에 정당성을 부여하기 때문입니다.

4. 서지 정확성

저자 순서, 연도, 학술지, 권, 호, 페이지는 실제 레코드와 일치해야 합니다. 경영학 분야에서 RAG 도구를 테스트한 결과, 완전히 조작된 ‘유령’ 항목은 드물 수 있지만 작은 서지 정보 오류는 여전히 흔할 수 있음을 보여주었습니다. 이러한 오류도 인용 색인을 망가뜨리고 서로 바뀐 논문을 숨길 수 있습니다.

5. 사람 검증 루프

Stanford가 요약한 APA 학술지 정책은 저자가 AI 도구가 제공하는 모든 정보와 인용을 검증해야 한다고 명시합니다. Wiley의 연구자 가이드라인과 Harvard 연구 무결성 지침도 공개와 정확성의 책임을 인간 저자에게 둡니다. 이 범주의 어떤 어시스턴트도 그 의무를 없애주지 않습니다.

작업에 따라 이 스택의 비중을 조정하세요. 체계적 문헌고찰에서는 충실성과 식별자 연결에 더 큰 비중을 두어야 합니다. 탐색적 스캐닝은 인용되기 전에 모든 후보를 검증한다면 더 넓은 재현율을 허용할 수 있습니다. 문장 품질에 과도한 비중을 두지 마세요. 유창한 문단은 가짜 인용을 설득력 있게 만드는 메커니즘입니다.

인기 있는 AI 연구 도구는 인용 신뢰성 측면에서 어떻게 비교되나요?

참고문헌이 학술 색인에서 검색되는지, 아니면 모델의 기억에서 생성되는지에 따라 큰 차이가 있으며, 이 하나의 설계 선택이 유령 인용 위험의 대부분을 예측합니다. 범용 챗봇은 참고문헌 목록에 가장 위험한 선택지로 남아 있습니다. 목적형 연구 어시스턴트는 유령 참고문헌을 줄이지만, 여전히 내용을 잘못 인용하거나 메타데이터를 잘못 분류하고 논문이 보여주는 사실을 과장할 수 있습니다.

2026년 기준 실용적인 비교는 다음과 같습니다.

기능 / 차원	범용 챗봇(예: ChatGPT)	Elicit	SciSpace	Consensus	Scite	Jenova Academic Research Assistant
근거의 출처	브라우징을 켜지 않으면 대부분 파라미터 기반 기억	검색된 논문, 추출 테이블	다중 데이터베이스 검색(Google Scholar, PubMed, arXiv)	실증적 질문을 위한 검색 논문	지지/반박 맥락이 있는 인용 색인	학술 데이터베이스와 리포지터리 전반의 실시간 문헌 탐색
유령 참고문헌 위험	높음, 학술지와 연구실에서 문서화됨	RAG 참고문헌 목록 연구에서 낮음	RAG 참고문헌 목록 연구에서 낮음	검색 기반, 그래도 검증 필요	인용 그래프 내 항목은 낮음	검색 기반, 그래도 독립적인 DOI 확인 필요
주장-출처 간 충실성	검색된 원문 구절이 없으면 약함	구조화된 추출에서 더 강함	답변이 검색된 논문을 인용할 때 더 강함	실증적 예/아니오 질문에서 더 강함	논문이 어떻게 인용되는지에 대해 강함	검색된 원문 구절과 모델 선택에 좌우됨, 사람 검토 필요
서지 정확성	조작된 세부 정보가 빈번함	RAG 감사에서 경미한 부정확성이 보고됨	RAG 감사에서 경미한 부정확성이 보고됨	현장 감사 수준에서는 미검증	인용 맥락 측면에서 강함	검색된 레코드의 메타데이터를 계승하지만 서술에서 벗어날 수 있음
가격(2026년 기준)	공급업체 요금제에 따라 다름	확인되지 않음	확인되지 않음	확인되지 않음	확인되지 않음	사용량이 제한된 무료 요금제, 유료 요금제는 월 $20부터
적합한 용도	참고문헌 목록 작성이 아닌 문장 초안 작성	근거 테이블과 체계적 추출	폭넓은 학제 간 문헌 검색	실증적 예/아니오 질문에 대한 빠른 답변	인용이 주장을 지지하거나 반박하는지 검증	지속형 메모리를 활용한 종합 문헌 탐색, 원고 준비, 인용 관리

범용 챗봇

챗봇은 개요 작성과 바꿔쓰기에는 뛰어나지만 참고문헌 구성에는 취약합니다. 앞서 언급한 GPT-4o 정신건강 감사의 생성된 인용 중 절반 이상에 오류가 있었다는 결과가 경고 수치입니다. 도구가 실시간 레코드 없이도 완벽해 보이는 참고문헌을 출력할 수 있다면, 모든 인용을 미검증 상태로 취급하세요.

Elicit

Elicit은 논문을 선별하고 방법, 결과, 한계를 테이블로 추출하는 작업에서 더 강합니다. 독립 비교 자료는 Elicit이 빠른 탐색 검색보다 엄격한 근거 기반 워크플로에 더 적합하다고 설명합니다. 한계는 검색 범위의 밀도입니다. 200개 질의로 진행된 SciSpace 벤치마크에서 Elicit은 질의당 고관련성 논문을 13.0편 반환한 반면 SciSpace Deep Review는 26.3편을 반환했습니다. 이 격차는 유령 인용 위험이 아니라 재현율에 영향을 줍니다.

SciSpace

SciSpace는 여러 학술 데이터베이스를 검색하며, 자체 Deep Review 평가에서 P@3부터 P@70까지 정밀도 선두를 기록했습니다. 이러한 폭넓은 검색은 근거가 PubMed, arXiv, Google Scholar에 동시에 흩어져 있는 학제 간 질문에 도움이 됩니다. 한계는 방법론에 있습니다. 관련성 라벨은 세 개의 외부 모델이 부여했지만, 대표 벤치마크는 SciSpace가 직접 수행했습니다. 공급업체 벤치마크는 방향을 보여주는 자료로만 보고, 최종 후보는 직접 검증하세요.

Consensus

Consensus는 서술형 문헌고찰을 작성하기보다 논문에 근거해 실증적 과학 질문에 답하도록 설계되었습니다. 동일한 200개 질의 테스트에서 Consensus Deep은 첫 번째 결과에서 최고 정밀도(P@1 = 0.5882)를 보였으나, 목록의 더 깊은 구간에서는 그 우위를 잃었습니다. 강력한 출발점 탐색기이지만 긴 선별 목록을 처리하는 주력 도구로는 약합니다.

Scite

Scite의 차별점은 인용 인텔리전스입니다. 후속 논문이 특정 주장을 지지하는지, 언급하는지, 반박하는지를 볼 수 있습니다. 비교 자료는 Scite를 종합 연구 운영 도구보다 범위는 좁지만 근거 검증에는 더 강한 도구로 평가합니다. 실패 유형이 ‘이 실제 논문은 어시스턴트가 주장한 내용을 말하지 않는다’라면, Scite 스타일의 인용 맥락이 적절한 도구입니다.

Jenova Academic Research Assistant

Jenova's Academic Research Assistant는 하나의 지속형 작업 공간에서 문헌 탐색과 원고 및 인용 지원을 함께 필요로 하는 연구자와 PhD 학생을 위해 구축되었습니다. 주요 학술 데이터베이스와 리포지터리를 실시간으로 검색하고, 세션 간 프로젝트 메모리를 유지하며, 단일 공급업체에 종속되지 않고 최신 모델로 초안을 작성할 수 있습니다. 이 조합은 문헌고찰이 몇 주에 걸쳐 진행되고 어시스턴트가 포함 기준, 제외된 논문, 미해결 DOI를 기억해야 할 때 유용합니다.

이는 전용 인용 맥락 색인이 아니므로 지지-반박 지도를 만드는 작업에서는 Scite를 대체하지 못합니다. 또한 Elicit 방식의 목적형 추출 그리드도 아닙니다. 실시간 검색은 유창한 모델이 과도하게 해석할 수 있는 저품질 또는 부적합 레코드를 가져올 수도 있습니다. 정직한 운영 원칙은 모든 검색 도구에 동일하게 적용됩니다. 참고문헌 목록을 승인하는 용도가 아니라 후보를 찾고 정리하는 용도로 사용하세요.

검색 증강 생성은 유령 참고문헌을 완전히 막나요?

아니요. 검색 증강 생성(RAG)은 참고문헌 목록에서 완전히 조작된 논문을 크게 줄이지만, 서지 오류를 제거하지는 못하며 검색된 논문이 연결된 문장을 지지한다는 보장도 하지 않습니다. 따라서 예방은 하나가 아니라 세 가지 서로 다른 실패 유형을 겨냥해야 합니다.

세 가지 유형은 모두 ‘그럴듯해 보이는 인용’을 만들어내기 때문에 혼동하기 쉽습니다.

유령 참고문헌 — 인용된 연구가 존재하지 않습니다.
서지 정보 드리프트 — 연구는 존재하지만 저자, 연도, 권 또는 페이지가 틀렸습니다.
맥락 환각 — 연구는 존재하고 메타데이터도 대체로 맞지만, 어시스턴트가 논문에 없는 발견을 그 논문에 귀속합니다.

경영학 분야에서 Scopus AI, Elicit, SciSpace, Scite를 분석한 결과, RAG 기반 도구는 일반적으로 확인 가능한 유령 참고문헌을 출력하지 않았습니다. 경미한 서지 정보 부정확성은 여전히 나타났지만, 완전히 존재하지 않는 출처는 생성된 목록에서 미미했습니다. 이것이 RAG를 이해하는 올바른 방식입니다. 유령 참고문헌에 대한 강력한 통제 장치이지만, 완전한 인용 품질 시스템은 아닙니다.

Scopus AI, Elicit, SciSpace 같은 RAG 기반 AI 연구 어시스턴트가 완전히 조작된 유령 참고문헌을 거의 생성하지 않는다는 내용을 요약한 연구 슬라이드

충실성 연구는 남아 있는 위험을 설명합니다. RAG 평가 프레임워크는 답변 관련성과 충실성을 구분합니다. 응답은 주제와 관련이 있으면서도 검색된 원문 구절에는 근거하지 않을 수 있습니다. RAG 인용의 상당수가 충실성을 결여할 수 있다는 ACM 결과가 실무적 경고입니다. DOI가 확인되는지만 점검하면 유령 참고문헌은 잡아내지만 잘못 귀속된 주장은 놓치게 됩니다.

범용 챗봇은 첫 번째 유형에서 실패합니다. RAG 어시스턴트는 주로 두 번째와 세 번째 유형에서 실패합니다. 따라서 ‘이 논문이 존재하는가?’만 묻는 예방 워크플로는 연구자가 실제로 사용해야 할 도구에 대해 불완전합니다.

AI 연구 어시스턴트가 반환한 인용은 어떻게 검증하나요?

두 단계 프로토콜로 검증하세요. 먼저 식별자를 확인하고, 그다음 특정 원문 구절이 해당 주장을 지지하는지 확인합니다. 둘 중 하나라도 건너뛰면 조작되었거나 오용된 출처가 출판물에 들어갈 수 있습니다.

1단계 — 레코드가 실제로 존재하나요?

반환된 제목, 제1저자, 연도, DOI를 정확히 복사합니다.
DOI 등록기관 또는 출판사 페이지에서 DOI를 확인합니다. DOI가 없다면 연구 가이드가 권장하는 직접 조회 방식에 따라 Google Scholar, PubMed 또는 학술지 사이트에서 정확한 제목을 검색합니다.
확인되지 않거나, 다른 논문으로 연결되거나, AI 형식의 인용으로만 존재하는 항목은 모두 제외합니다.
어시스턴트의 참고문헌 블록이 아니라 출판사 레코드를 기준으로 저자 순서, 연도, 권, 호, 페이지를 확인합니다.

2단계 — 이 논문이 이 문장을 지지하나요?

PDF 또는 HTML 전문을 엽니다. 초록만으로는 인과 주장, 효과 크기 또는 ‘최초의 근거’라는 표현을 뒷받침하기에 충분하지 않습니다.
해당 주장을 뒷받침한다고 여겨지는 원문 구절을 찾습니다. 그 구절을 메모에 인용해 둡니다.
인용을 지지, 언급, 반박으로 표시합니다. 이는 Scite가 제품화한 구분이며 수동으로도 적용할 수 있습니다.
어시스턴트가 한계를 발견처럼, 또는 가설을 결과처럼 바꿔 썼다면 그 문장에 대한 인용으로는 폐기합니다.

Jenova's Academic Research Assistant에서는 참고문헌 목록을 생성하기 전에 검색 범위를 먼저 제한하세요.

“[topic]에 관한 2019–2026년 동료 심사 논문과 프리프린트를 검색하세요. DOI 또는 PMID가 있는 항목만 반환하세요. 각 항목에 제목, 저자, 연도, 학술지, 식별자, 한 문장짜리 발견 내용, 인용한 원문 구절을 포함하세요. 검증 가능한 레코드를 검색할 수 없다면 해당 항목은 완전히 제외하세요. 메타데이터를 보완하거나 추측하지 마세요.”

그다음 동일한 최종 후보를 Elicit 또는 SciSpace에서 다시 확인하여 두 번째 코퍼스 검증을 수행하세요. 도구 간 불일치는 장점입니다. 한 시스템이 순위를 높게 매겼지만 다른 시스템은 검색하지 못한 논문을 표시해 줍니다.

환각으로 생성된 과학 논문에 관한 Science 보도는 제목만 대충 읽는 방식이 실패하는 이유를 보여줍니다. 어시스턴트는 하나의 실제 논문을 정확히 인용한 뒤 같은 문단에서 그와 유사한 다른 논문을 지어낼 수 있습니다. 검증은 문단별이 아니라 항목별로 수행해야 합니다.

환각으로 생성된 인용이 연구 부정행위에 해당할 수 있나요?

그렇습니다. 정해진 조건에서는 해당할 수 있으며, 법적 의미의 연구 부정행위 정의를 충족하지 않더라도 철회, 연구비 문제, 경력 손상으로 이어질 수 있습니다. 예방의 이유는 예절이 아니라 책임 문제입니다.

Resnik과 Hosseini의 주장에 따르면, 다음 세 가지 조건이 충족될 경우 환각 인용은 미국 연방 규정상 입증 가능한 연구 부정행위에 해당할 수 있습니다. 연구자가 생성형 도구를 사용해 존재하지 않는 인용을 만들었고, 그 인용이 문헌고찰이나 계량서지 연구처럼 발견을 뒷받침하는 데이터 역할을 하며, 연구자가 출력물을 확인하지 않아 조작 위험에 무관심을 보인 경우입니다. 서술형 서론에 들어간 유령 참고문헌은 부실한 연구입니다. 체계적 문헌고찰에서 근거로 집계되는 유령 참고문헌은 조작된 데이터에 더 가깝습니다.

연구비 지원기관도 이미 이 문제를 실무적 사안으로 다루고 있습니다. 2025년 여름 NIH 연구비 심사 직원들은 AI 지원 제안서에 압도될 정도로 몰렸고, 기관은 수상 이후 부적절한 AI 사용이 발견되면 연구 무결성 검토에 회부될 수 있음을 시사했습니다. Harvard의 연구 무결성 허브는 관련 제한을 재확인합니다. AI 도구는 저자로 등재될 수 없고, NIH 과학 동료 심사자는 비평을 작성하기 위해 생성형 AI를 사용하는 것이 금지되며, 저자는 도구를 어떻게 사용했는지 공개해야 합니다.

학술지도 책임 귀속에 대해 같은 방향으로 수렴하고 있습니다. APA, MLA, Chicago, IEEE 규정을 모은 Stanford 가이드는 AI 생성 콘텐츠의 공개를 요구하며, APA의 경우 인용에 대한 명시적인 인간 검증을 요구합니다. Cornell의 교육 지침은 자동화된 AI 탐지 알고리즘이 무결성 전략으로 쓰기에는 너무 신뢰할 수 없다고 추가로 경고합니다. 사후 탐지는 제출 전 검증을 대체하기에는 약한 수단입니다.

실무 기준은 간단합니다. 확인된 레코드와 이를 지지하는 원문 구절을 제시할 수 없다면, 그 인용은 원고, 발표 슬라이드, 연구비 신청서 어디에도 들어가서는 안 됩니다.

연구 무결성 전문가는 AI 생성 인용에 대해 무엇이라고 말하나요?

전문가들은 이제 조작된 참고문헌을 사용자가 예측할 수 없는 신비한 모델 버그가 아니라, 생성형 모델을 도서관처럼 사용하는 과정상의 실패로 봅니다. 연구 무결성 부서와 인용 연구 전반의 공통된 결론은 RAG가 유령 참고문헌을 줄이고, 사람 검증은 여전히 필수이며, 이미 알려진 실패율을 고려할 때 감독 없는 챗봇 참고문헌 목록은 무모하다는 것입니다.

“학술지에 계속 유입되는 오류는 모델이 때때로 추측한다는 사실 자체가 아닙니다. 연구자들이 언어 모델에게 애초에 그렇게 설계되지 않은 목록화 작업을 맡긴다는 점입니다. 어시스턴트가 레코드를 검색하지 않았다면, 그것은 서지 패턴을 완성하는 것입니다. 그리고 완성된 패턴은 실제처럼 보이는 학술지에 실제처럼 보이는 논문을 만들고, 확인되지 않는 DOI까지 붙이는 방식입니다. 검색 도구로 전환하면 이 실패 유형은 크게 줄어듭니다. 그러나 다음 실패 유형은 줄어들지 않습니다. 실제 논문의 결과 섹션이 아니라 모델의 요약에만 존재하는 결과를 인용하는 문제입니다.”

“우리는 연구 사용자에게 세 개의 바구니로 나누는 워크플로를 권합니다. A 바구니는 검색되고 원문 구절까지 확인된 항목이며, 이 인용은 사용할 수 있습니다. B 바구니는 검색되었지만 메타데이터만 확인된 항목이며, 읽기 목록에 남깁니다. C 바구니는 모델이 확인 가능한 식별자 없이 출력한 모든 항목이며, ‘나중에 찾아보는’ 것이 아니라 삭제합니다. 형식이 너무 공들여 만들어진 것처럼 보여 C 바구니를 건너뛰는 팀은 나중에 14개 참고문헌 중 12개가 애초에 존재하지 않았다는 사실을 발견하는 팀입니다. 추가 검토에 드는 비용은 철회나 연구비 무결성 조사 의뢰에 비하면 미미합니다.”

— Jenova 제품팀, 학술 워크플로를 위한 AI 연구 에이전트 설계

이 조언은 출판사와 대학 정책에 부합합니다. 도구의 이름, 수행한 작업을 밝히고, 모든 참고문헌에 대해 인간 저자의 책임을 유지하세요. 연구 무결성 지침은 더 이상 ‘AI를 피하라’가 아닙니다. ‘출처의 존재 여부를 외주화하지 말라’입니다.

AI를 활용해 인용 안전성이 확보된 문헌고찰을 어떻게 수행하나요?

검색을 먼저, 추출을 두 번째, 서술을 마지막에 수행하고 어떤 문장도 통과할 수 없는 검증 관문을 둔 파이프라인으로 운영하세요. 이 순서를 뒤집어 먼저 주장을 작성한 다음 어시스턴트에게 ‘인용을 추가해 달라’고 요청하는 방식이 유령 참고문헌과 가장 밀접하게 연관된 프롬프트 패턴입니다.

학술지와 연구비 심사를 견딜 수 있는 워크플로는 다음과 같습니다.

검색 전에 포함 기준을 작성하세요. 모집단, 중재, 연도, 언어, 연구 유형을 정합니다. 도구에 메모리 기능이 있다면 세션 간 유지될 수 있도록 이 기준을 어시스턴트에 붙여 넣으세요.
하나가 아닌 두 개의 검색 도구로 검색하세요. 예를 들어 Jenova's Academic Research Assistant와 Elicit 또는 SciSpace를 조합합니다. 검색 결과의 합집합을 유지하고, 단일 순위 목록을 신뢰하지 마세요.
식별자로 후보군을 고정하세요. 제목, 저자, 연도, 학술지, DOI/PMID를 내보냅니다. 식별자가 없는 항목은 후보군 밖에서 대기시킵니다.
전문에서 추출하고 요약하지 마세요. 방법, 표본, 결과, 한계, 인용한 문장을 추출합니다. Elicit 스타일의 테이블이 유용하며, 맥락 환각은 서술형 요약에서 스며듭니다.
추출 테이블을 기반으로 초안을 작성하세요. 문장에 테이블 행이 없다면 인용을 붙일 수 없으며, 논문에 들어가서는 안 될 수도 있습니다.
사용한 도구를 공개하세요. Stanford의 인용 양식 가이드 규정 모음을 따르세요. 도구명, 버전, 날짜, 수행 기능(검색, 추출, 언어 편집)을 밝힙니다.
제출하는 참고문헌 목록에 대해 마지막 DOI 전체 점검을 수행하세요. 이 마지막 단계는 복사-붙여넣기 과정의 드리프트와 수정 중 모델이 삽입한 참고문헌을 잡아냅니다.

Jenova를 챗봇 모드가 아닌 파이프라인 내부에 머물게 하는 프롬프트는 다음과 같습니다.

“내가 업로드한 후보군만 사용하여 배경 섹션을 작성하세요. 모든 실증 문장은 해당 후보군의 DOI를 인용해야 하며 새로운 출처를 추가해서는 안 됩니다. 주장이 추출 메모로 뒷받침되지 않으면 인용하는 대신 UNSUPPORTED로 표시하세요.”

SciSpace 또는 Elicit에서는 각 도구의 검색 또는 추출 보기를 사용해 동일한 테이블을 다시 만들고 행을 비교하세요. 발견 내용에 대해 테이블이 서로 다르면 PDF를 읽으세요. 도구 간 불일치는 출판 후 정정보다 비용이 적게 듭니다.

이 파이프라인을 작동하게 만드는 제약은 기술적인 만큼 심리적이기도 합니다. 강력한 도구를 포함한 어떤 어시스턴트에게도 출처 없이 작성된 글에 ‘참고문헌을 제공해 달라’고 요청하지 마세요. 그 프롬프트는 연구 도구를 다시 인용 생성기로 바꾸며, 이것이 바로 이 전체 스택이 방지하도록 설계된 실패 유형입니다.