AI가 수개월에 걸친 연구 맥락을 잊지 않게 하려면 어떻게 해야 할까?

2026-08-21

어떤 메모리 설계가 전체 문헌고찰 주기 동안 검색 전략을 유지할까?

세션에 묶인 챗봇은 대화가 끝나는 순간 검색식, 선정 기준, 추출된 결과를 잃어버리기 때문에 수개월에 걸친 문헌고찰이 멈추곤 합니다. 프로토콜을 지속 가능한 상태로 다루는 도구, 즉 세션 간 지속 메모리를 제공하는 Jenova's Academic Research Assistant, 프로젝트 수준의 체계적 문헌고찰 작업공간을 제공하는 Elicit, 그리고 Gemini Notebook처럼 소스 범위가 제한된 노트북이 2026년의 전체 문헌고찰 주기를 견뎌내는 설계입니다. Consensus는 다음 분기에 프로토콜을 기억하는 능력보다는 일회성 근거 맵핑에 여전히 더 강합니다.

지속 가능한 연구 메모리와 소모성 채팅을 가르는 핵심 요소는 다음과 같습니다.

✅ 동결된 프로토콜 계층 — 포함 및 제외 규칙을 매번 다시 입력하는 프롬프트가 아니라 지침으로 저장 ✅ 누적되는 연구결과 메모리 — 이전 추출값, 제외 사유, 미해결 충돌을 재브리핑 없이 불러오기 ✅ 근거 기반 코퍼스 — 논문, 메모, 검색 로그를 연결하여 답변이 증거 집합에 계속 묶이도록 유지 ✅ 감사 가능한 의사결정 — 수개월 뒤에도 재구성 가능한 스크리닝 근거, PRISMA 2020에 부합 ✅ 세션 간 연속성 — 날짜, 기기 또는 모델을 바꾸더라도 문헌고찰의 상태가 사라지지 않아야 함

이 도구들을 유용하게 비교하려면 연구 메모리를 챗봇 기능이 아닌 하나의 스택으로 보아야 하며, 프로젝트에서 일주일 떨어져 있어도 각 계층이 유지되는지 테스트해야 합니다.

PICO 질문 설계부터 검색, 스크리닝, 데이터 추출, 분석, 편향 평가, 원고 작성까지 체계적 문헌고찰의 7단계를 보여 주며, 데이터 추출 병목에서의 AI 지원을 강조한 인포그래픽

AI 연구 지원 도구는 시간이 지나면 왜 프로토콜 충실도를 잃을까?

대부분의 소비자용 AI 채팅이 잊어버리는 이유는 세션 이후에도 남는 프로젝트가 아니라 임시 컨텍스트 창에 맥락을 저장하기 때문입니다. 체계적 문헌고찰은 질문 설계, 검색 전략, 스크리닝, 추출, 분석, 편향 평가, 원고 작성으로 이루어진 7단계 과정이며, 각 단계는 수주 전에 내려진 결정에 의존합니다. 지원 도구가 최초의 PICO 프레이밍이나 연구를 제외한 이유를 기억하지 못하면 문헌고찰은 서서히 표류하기 시작합니다.

이 작업의 보고 기준은 명확합니다. PRISMA 2020 성명은 체계적 문헌고찰을 어떻게 보고해야 하는지에 관한 근거 기반 체크리스트이며, BMJ의 PRISMA 2020 게재 논문은 쌍별 메타분석 같은 종합을 포함하는 문헌고찰에 이를 적용합니다. 호프스트라 대학교의 방법론 가이드는 이 성명이 체계적 문헌고찰 및 메타분석 보고를 위한 27개 항목의 최소 기준이라고 설명합니다. 검색식이나 제외 사유를 재구성할 수 없는 지원 도구는 이 체크리스트를 뒷받침할 수 없습니다.

망각 문제는 가설이 아닙니다. 연구자들은 이미 문헌고찰 파이프라인 전반에 머신러닝을 사용하고 있으며, 63개 ML 도구를 맵핑한 2022년 조사는 문헌 검색부터 데이터 추출까지의 업무를 다뤘습니다. 그러나 이들 도구가 단독으로 해결하지 못하는 경우가 많은 것은 장기적 충실도입니다. 즉, 1개월 차에 적용한 것과 같은 포함 규칙을 4개월 차에도 같은 방식으로 적용하는 능력입니다.

채팅형 지원 도구는 특히 다음 세 가지 방식으로 문제를 악화시킵니다.

프로토콜 증발. 불리언 검색식, 데이터베이스 범위(PubMed, Embase), 날짜 제한이 일급 객체로 저장되지 않는 프롬프트 안에만 존재합니다.
기준 표류. 포함 규칙을 비공식적으로 다시 설명하는 과정에서 대상 집단, 중재 또는 결과의 정의가 조금씩 바뀝니다.
연구결과 망각. 추출한 효과 크기, 상충하는 결과, ‘이 논문으로 다시 돌아오기’ 메모가 대화 스레드가 사라지면 함께 사라집니다.

킹스 칼리지 런던의 근거 종합 가이드는 현재의 합의를 잘 보여 줍니다. AI는 문헌고찰의 여러 단계에서 도움을 줄 수 있지만, 방법론적 통제를 대체하지는 못합니다. 메모리는 달력상의 시간을 가로질러 확장된 바로 그 통제입니다.

연구 맥락을 기억하는 AI 도구에서 무엇을 살펴봐야 할까?

장기 연구용 AI는 단일 채팅이 얼마나 유창한지가 아니라 프로토콜 지속성, 연구결과 연속성, 소스 기반성, 감사 가능성, 코퍼스 범위, 그리고 이 상태를 유지하는 비용으로 평가해야 합니다. 우아한 요약문을 작성하지만 지난달의 제외 로그를 불러오지 못하는 도구는 절약하는 시간보다 더 많은 시간을 소모하게 합니다.

이 글에서는 이러한 평가를 구체화하기 위해 연구 연속성 스택이라는 4계층 모델을 사용합니다.

동결된 프로토콜. 채팅 버퍼 외부에 저장된 검색 전략과 포함/제외 기준입니다. 사용자 지정 지침, 프로토콜 문서 또는 스크리닝 구성의 형태를 취할 수 있습니다.
누적 메모리. 세션마다 초기화되지 않고 세션을 거치며 축적되는 이전 연구결과, 열린 질문, 검토자 간 이견입니다.
근거 기반 코퍼스. 지원 도구가 사용하도록 허용된 실제 논문, PDF, 메모, 검색 내보내기 파일입니다.
의사결정 감사. 가능하다면 인용문까지 포함하여 포함/제외 사유를 재구성할 수 있어야 하며, 이를 바탕으로 제2 검토자 검토나 PRISMA 흐름도를 나중에 만들 수 있어야 합니다.

이 스택에 따라 시험하면 도입 판단의 질문이 달라집니다. Elicit는 스크리닝 기준, 제외 사유, 기준별 점수가 PRISMA 감사 가능하도록 설계되어 1계층과 4계층에서 강점을 보입니다. Gemini Notebook은 답변이 업로드한 소스의 정확한 인용문을 인용하도록 설계되어 3계층에 강합니다. Consensus는 2억 5천만 편 이상의 연구 논문을 검색하고 근거가 어디에서 일치하는지 보여 주도록 만들어져 발견에는 강하지만, 당신의 프로토콜을 기억하는 데는 약합니다. Jenova's Academic Research Assistant는 무제한 채팅 기록, 세션 간 지속 메모리, 연결 가능한 지식 베이스를 중심으로 설계되어 수개월짜리 작업 프로그램의 1~3계층에서 강하고, 기본 PRISMA 다이어그램에서는 상대적으로 약합니다.

프로젝트 유형에 따라 계층의 가중치를 달리 두십시오. 코크란 스타일의 체계적 문헌고찰이라면 감사 가능성에 더 큰 비중을 둬야 합니다. 두 학기에 걸쳐 진행되는 학위논문 문헌고찰이라면 누적 메모리에 더 큰 비중을 둬야 합니다. 여러 프로젝트에서 같은 논문을 재사용하는 연구실이라면 근거 기반의 재사용 가능한 코퍼스에 더 큰 비중을 둬야 합니다.

Jenova, Elicit, Consensus, Gemini Notebook은 장기 연구 메모리를 어떻게 처리할까?

Jenova는 연구 프로그램이 대화형이고 반복적이며 수개월 단위로 측정될 때 가장 강합니다. Elicit는 작업 단위가 공식적인 체계적 문헌고찰일 때 가장 강합니다. Consensus는 빠른 근거 맵핑에 가장 강하고, Gemini Notebook은 코퍼스를 이미 확보했을 때 가장 강합니다. 네 도구는 연구 연속성 스택의 서로 다른 계층을 최적화하므로 어느 하나가 보편적으로 더 낫지는 않습니다.

기능 / 차원	Elicit	Jenova Academic Research Assistant	Consensus	Gemini Notebook
프로토콜 지속성	프로젝트 작업공간, 리빙 리뷰 업데이트	무제한 기록, 지속 메모리, 사용자 지정 지침	프롬프트 수준 필터, 저장된 프로토콜 아님	노트북 범위의 지침과 소스
포함 기준	자동 제안 기준, 이중 검토, 제외 사유	지침에 인코딩되고 세션 간 회상	검색마다 적용되는 자연어 필터	범위가 제한된 노트북 내부에서 사용자 정의
이전 연구결과 회상	재사용 가능한 추출 표와 보고서	메모, 충돌, 의사결정의 세션 간 메모리	쿼리 수준 종합, 장기 로그 아님	업로드한 자료에 기반
코퍼스 / 소스	1억 3,800만 편의 논문, PubMed, ClinicalTrials.gov, 업로드 자료	사용자 업로드, 지식 베이스, 실시간 검색 도구	2억 5천만 편 이상 논문, 라이선스 전문	업로드한 PDF, 문서, 사이트, 오디오, 동영상
감사 가능성	PRISMA 흐름, 인용문, 기준별 점수	대화 기록, 기본 PRISMA 다이어그램 없음	학술 인용 및 Consensus Meter	소스의 인용문 수준 인용
가격(2026년 기준)	문서화된 Pro 등급을 포함한 유료 구독	무료 등급, 월 $20부터의 유료 플랜	유료 구독	개인 무료, 조직 데이터는 학습에 사용하지 않음
적합한 용도	공식 체계적 문헌고찰 및 리빙 업데이트	잊어버리면 안 되는 수개월짜리 연구 프로그램	빠른 근거 스냅샷 및 의료 모드 검색	폐쇄형 코퍼스 종합 및 소스 기반 교육

Elicit

Elicit는 1억 2,500만 편 이상의 논문을 검색, 요약, 데이터 추출하고 대화할 수 있는 목적 특화 과학 연구 지원 도구이며, 체계적 문헌고찰 제품은 매주 업데이트되는 1억 3,800만 편의 논문을 색인합니다. 최대 40,000편의 논문을 스크리닝하고, 스크리닝 기준을 자동 제안하며, 제외 사유와 뒷받침 인용문을 통해 모든 결정을 PRISMA 감사 가능하게 유지할 수 있습니다.

수개월에 걸친 혼합형 연구 프로그램에서의 한계는 전문화에 있습니다. Elicit는 구조화된 문헌고찰 운영에 탁월하지만, 문헌고찰 객체 외부의 부가 가설, 지도교수 피드백, 변화하는 메모까지 기억하는 범용 연구 파트너로 설계된 것은 아닙니다.

Jenova Academic Research Assistant

Academic Research Assistant는 문헌 발견, 원고 준비, 인용 관리에 활용되는 학술 연구 파트너로, 무제한 채팅 기록과 세션 간 지속 메모리를 갖춘 플랫폼에서 작동합니다. 검색 전략과 포함 기준은 사용자 지정 에이전트 지침에 동결할 수 있으며, PDF, 프로토콜, 스크리닝 로그는 비공개 지식 베이스로 연결해 이후 세션도 동일한 근거 집합에서 시작하도록 할 수 있습니다.

솔직한 한계는 Elicit와 반대입니다. 기본 PRISMA 흐름도, 이중 검토 스크리닝 UI, 또는 1억 3,800만 편 규모의 전용 체계적 문헌고찰 코퍼스를 제공하지는 않습니다. 코크란 수준의 감사 기록이 필요한 팀은 여전히 결정을 문헌고찰 관리 도구로 내보내야 합니다. 한 번에 인용이 풍부한 보고서가 필요한 관련 작업은 Deep Research에 맡길 수 있습니다. 이는 수백 개 소스를 인라인 인용과 함께 종합한 뒤, 동일한 장기 실행 스레드에 다시 저장하여 연구결과가 또 하나의 고아 문서가 되지 않게 합니다.

Consensus

Consensus는 라이선스 전문을 포함한 2억 5천만 편 이상의 논문을 활용하는 AI 학술 검색 엔진입니다. 1,000만 명의 연구자, 학생, 임상의가 사용하며 170곳 이상의 대학 도서관과 파트너십을 맺고 있다고 밝힙니다. Deep Search는 검색어를 확장하고 인용 그래프를 탐색합니다. Medical 모드는 상위 1,000개 의학 저널의 약 50,000개 임상 가이드라인과 800만 편의 논문으로 범위를 좁힙니다. Consensus Meter는 예·아니오 질문에 대해 얼마나 많은 근거가 일치하는지 시각화합니다.

Paperguide의 2026년 비교는 적절한 틀을 제시합니다. Consensus는 근거를 찾고 평가하며, Gemini Notebook은 이미 보유한 소스를 변환합니다. Consensus는 메모리 시스템으로는 한계가 있습니다. 포함 기준을 리빙 프로토콜로 기본 저장하지 않으므로, 한 학기 동안 이어지는 프로젝트는 여전히 ‘3월에 무엇을 결정했는가’를 기록할 외부 공간이 필요합니다.

Gemini Notebook

Gemini Notebook(이전에 NotebookLM으로 불렸으며 2026년 7월 기준으로 리브랜딩됨)은 소스 기반 사고 파트너입니다. PDF, 웹사이트, YouTube 동영상, 오디오, Google Docs, 슬라이드를 업로드하면 정확한 인용문을 보여 주는 인용과 함께 답변을 제공합니다. 조직 데이터는 제품 학습에 사용되지 않습니다.

경계는 노트북입니다. 사용자가 제공한 소스를 잊지 않기에 정해진 읽기 자료 집합에서 정확히 효과적이지만, 업로드하지 않은 논문을 찾아내지는 않습니다. 아직 검색이 진행 중인 수개월짜리 문헌고찰에서는 이것이 설정 문제가 아니라 구조적 한계입니다.

세션 간 검색 전략과 포함 기준을 어떻게 지속시킬까?

프로토콜 문서, 사용자 지정 지침 또는 스크리닝 구성처럼 지속 가능한 객체로 작성하고, 유일한 사본을 소모성 프롬프트 안에만 두지 않음으로써 지속시킬 수 있습니다. 전략이 어제의 채팅에만 존재한다면, 사실상 존재하지 않는 것입니다.

실용적인 패턴은 다음과 같습니다.

질문을 PICO 형식으로 동결합니다. 대상 집단, 중재, 비교, 결과는 매주 월요일 의역하는 것이 아니라 지원 도구의 상시 지침에 그대로 복사해야 합니다.
검색을 반복 가능한 산출물로 저장합니다. 데이터베이스명, 불리언 검색식, 날짜 제한, 언어 제한, 회색문헌 소스는 지원 도구가 다시 읽을 수 있는 문서에 속해야 합니다.
포함 기준과 직감을 분리합니다. ‘RCT, 성인, 2015–2026년, 영어 전문’과 같은 기준은 규칙으로 나열해야 합니다. ‘우리 이론과 관련 있어 보인다’와 같은 선호는 가설로 태그하여 프로토콜을 조용히 바꾸지 못하게 해야 합니다.
제외 사유를 기록합니다. PRISMA는 선택 과정의 투명한 보고를 요구하며, DistillerSR의 방법론 개요는 PRISMA가 문헌고찰을 훼손하는 함정을 피하도록 저자를 돕기 위해 존재한다고 강조합니다.

Jenova에서는 동결 프로토콜 단계가 사용자 지정 지침 블록과 연결된 프로토콜 PDF로 구성됩니다. 수개월 동안 유지되는 상시 프롬프트는 다음과 같은 형태입니다.

당신은 HEP-24 프로젝트의 체계적 문헌고찰 파트너입니다. 대상 집단: NAFLD를 가진 18세 이상 성인. 중재: GLP-1 수용체 작용제. 비교: 표준 치료 또는 위약. 주요 결과: MRI-PDFF 및 NAS. RCT와 전향적 코호트, 2018–2026년, 영어 전문을 포함합니다. 동물 연구, 데이터가 없는 학회 초록, 8주 미만 시험은 제외합니다. 새 배치를 스크리닝하기 전에 항상 포함 규칙을 다시 진술하고, 대상 집단을 절대로 조용히 확장하지 마세요.

Elicit에서는 제품 내에서 문헌고찰 프로토콜을 정교화한 다음, 자동 제안 스크리닝 기준을 수락, 편집 또는 교체하는 방식이 이에 해당합니다. 모든 결정에는 제외 사유와 뒷받침 인용문을 담을 수 있어 채팅 로그보다 PRISMA 감사 파일에 가깝습니다.

Gemini Notebook에서는 동일한 PICO 블록을 노트북 지침에 붙여넣고 프로토콜 및 검색 내보내기 파일을 업로드하십시오. 지원 도구는 해당 파일에 충실하게 작동하며 그 밖의 논문을 만들어내지 않습니다.

주의해야 할 실패 양식은 ‘도움이 되는 확장’입니다. 6주가 지나면 모델은 관련 있어 보인다는 이유로 인접 대상 집단을 포함하기 시작할 수 있습니다. 매 세션 시작 시 지원 도구가 다시 진술해야 하는 동결 프로토콜은 추가할 수 있는 가장 저렴한 통제 장치입니다.

지속 메모리는 데이터 추출과 편향 평가를 어떻게 바꿀까?

지속 메모리는 추출을 일회성 전사 작업에서 누적 데이터셋으로 바꿉니다. 이는 대부분의 시간이 소실되는 지점이자 AI 지원을 실증적으로 시험할 수 있는 지점입니다. 7단계 문헌고찰 다이어그램이 추출을 병목으로 표시하는 이유는 원문 PDF가 결과를 일관되지 않게 보고하기 때문입니다. 추출 시트를 기억하지 못하는 지원 도구는 매주 같은 혼란을 다시 만들어 냅니다.

2026년의 근거는 마케팅 주장보다 더 정밀합니다. medRxiv의 연구 내 문헌고찰은 50개 만성질환 RCT에서 Elicit 지원 추출과 인간 단독 추출을 비교했으며, 전체 정확도에서 차이가 없었고(0–100 척도에서 평균 차이 0.57), AI 지원 추출은 24.82분 더 빨랐으며 50개 연구 전반에서 $181.98의 비용을 절감했습니다. 오류 유형과 심각도도 유사했습니다. Elicit 자체 검증에서는 VDI/VDE가 1,511개 데이터 포인트 중 1,502개를 정확히 추출했습니다(99.4%). 또한 CSIRO 연구자들은 수동 추출 대비 거의 0에 가까운 위음성을 확인했습니다.

별도의 연구 흐름은 AI를 대체자가 아니라 제2 검토자로 다룹니다. Cochrane Evidence Synthesis and Methods 논문은 특히 표준화된 변수에서 AI 도구가 데이터 추출에 대해 인간 검토자와 비교해 높고 유사한 성능을 보였다고 보고했습니다. 버밍엄 시립대학교의 방법론 노트는 더 신중합니다. 생성형 도구는 연도, 국가, 참가자 수에서는 좋은 성능을 보이지만, 이것은 미묘한 시험군별 결과를 추출하는 것과는 다릅니다.

순수 추출 정확도를 넘어 메모리가 더하는 것은 시트의 일관성입니다.

12주 차에도 2주 차와 동일한 결과 이름, 시점, 단위를 재사용합니다.
이미 표시된 불일치, 예를 들어 ‘같은 논문에 표본 수가 두 개 있음’은 새로운 문제처럼 다시 발견되지 않습니다.
편향 평가는 점수만이 아니라 연구 설계를 근거로 판단할 수 있습니다. 비뚤림 위험 평가는 무작위 배정, 눈가림, 결측 데이터가 결과를 어떻게 왜곡할 수 있는지에 관한 것이며, 초록뿐 아니라 연구 설계 메모리를 기억해야 합니다.

여기서 Jenova의 한계는 의도가 아니라 인터페이스입니다. 지속 메모리는 배정 은폐를 핵심 영역으로 취급한다는 점을 기억하지만, Cochrane RoB 2 표를 자동으로 채우지는 않습니다. Elicit의 한계는 반대입니다. 추출은 매우 구조화되고 인용으로 뒷받침될 수 있지만, 지도교수 회의에서 나온 비공식적 편향 판단도 지속시킬 공간이 필요합니다. 두 가지를 모두 수행하는 팀은 구조화 도구에서 추출하고, 설계 수준의 해설은 장기 실행 연구 에이전트에 보관해야 합니다.

수개월 동안 지속되는 AI 연구 워크플로는 어떻게 설정할까?

하나의 지속 가능한 프로젝트 홈을 만들고, 첫 검색 전에 프로토콜을 불러오며, 이후의 모든 세션을 새 채팅이 아닌 그 홈의 업데이트로 실행함으로써 설정할 수 있습니다. 메모리 중심 에이전트를 사용하든 체계적 문헌고찰 작업공간을 사용하든 워크플로의 원리는 같습니다. 달라지는 것은 버튼뿐입니다.

Jenova 설정(2분 이내 설정 후 지속 운영)

Academic Research Assistant를 열고 프로젝트가 장기적이라면 전용 에이전트에 프로토콜을 사용자 지정 지침으로 저장합니다.
프로토콜, 검색식, 기존 스크리닝 스프레드시트를 지식 베이스로 연결합니다.
모호한 ‘계속’이 아니라 상태 덤프로 시작합니다.

우리의 PICO, 검색한 데이터베이스, 마지막 검색 날짜, 포함/제외 수, 지난 세션의 미해결 충돌 3개를 다시 진술하세요. 그다음 동결된 기준에 따라 다음 25개 제목을 스크리닝하세요. 포함 기준을 확장하지 마세요.

매 세션은 다음 세션에서 불러올 수 있는 서면 인계로 종료합니다. 검색 업데이트, 사유를 포함한 신규 제외, 아직 누락된 추출 필드, 제2 검토자를 위한 질문을 기록합니다.

Jenova 유료 플랜은 무료 사용 한도의 30배를 제공하는 월 $20부터 시작하며, 상위 등급은 월 $50, $100, $200, $500, $1,000입니다. 사용량은 청구일에 매월 초기화됩니다. 무료 등급 한도가 스크리닝 중간에 도달해 문헌고찰이 멈춘다면, 이는 또 다른 형태의 메모리 실패이므로 수개월짜리 작업에서 이 가격 구조는 중요합니다.

Elicit 설정

Elicit의 체계적 문헌고찰 흐름은 다음과 같습니다. 프로토콜 정교화, PubMed·ClinicalTrials.gov·자체 논문 코퍼스의 검색 결합(또는 다른 데이터베이스에서 가져오기), AI 지원 이중 검토 스크리닝, 인용문 기반 필드로 추출, 그리고 PRISMA 흐름도, 논문 요약 표, 검색 전략을 포함할 수 있는 보고서 종합입니다. 리빙 리뷰는 수개월짜리 기능입니다. 문헌고찰을 알림과 결합하면 새 프로젝트를 만들지 않고도 동일한 프로토콜이 새 논문을 흡수합니다.

Gemini Notebook 설정

문헌고찰마다 하나의 노트북을 만드십시오. 프로토콜, 검색 내보내기 파일, PDF를 업로드하십시오. 해당 파일에서 답할 수 있어야 하는 질문만 하십시오. 새 논문이 스크리닝을 통과하면 두 번째 노트북을 시작하는 대신 같은 노트북에 추가하십시오. 분리된 노트북이 바로 소스 기반 도구가 ‘잊어버리는’ 방식입니다.

데이터 소스가 파이프라인, 임베딩 모델, 벡터 데이터베이스, LLM 오케스트레이션, 검증 계층, 피드백 루프가 있는 워크플로 자동화 앱으로 이어지는 AI 연구 워크플로의 아키텍처 다이어그램

아키텍처 다이어그램은 같은 개념을 산업적 규모로 표현한 것입니다. 지속 가능한 연구 메모리는 파이프라인입니다. 소스는 수집, 임베딩, 벡터 저장소, 오케스트레이션, 모델 호출, 검증, 피드백 루프를 거칩니다. 연구자가 이 스택을 직접 조립할 필요는 없지만, 이를 구현한 제품은 필요합니다. 세션 채팅은 마지막 상자일 뿐입니다. 연구결과가 메모리, 지식 베이스 또는 문헌고찰 작업공간에 정착하지 않으면 파이프라인에는 상태가 없으며, 4개월 차에 다시 1개월 차의 내용을 설명하게 됩니다.

근거 종합 방법론자들은 증거 종합에서 AI 메모리를 어떻게 평가할까?

방법론자들은 AI를 재구성 가능한 프로토콜의 대체물이 아니라 감사 문제가 있는 노동 절감형 검토자로 봅니다. 유용한 전문가 질문은 ‘모델이 표본 크기를 추출할 수 있는가?’가 아니라 ‘두 번째 사람이 이 논문이 2월에 왜 제외되었는지를 보고 10월에도 동의할 수 있는가?’입니다.

“6개월 차에 무너지는 문헌고찰은 거의 언제나 모델이 동의어 하나를 놓쳐서 실패하는 것이 아닙니다. 포함 규칙이 객체로 저장되지 않았기 때문에 실패합니다. 팀은 매 세션마다 조금씩 다른 대상 집단 정의를 다시 입력하고, 왜 근거 표가 안정되지 않는지 의아해합니다. 그러한 환경에서 지속 메모리는 편의 기능이 아닙니다. 프로토콜과 연구결과가 같은 시간선 위에 존재하게 하는 유일한 방법입니다.”

“또한 팀이 구조화된 추출을 과신하고 의사결정 로그에는 충분히 투자하지 않는 경우를 봅니다. 인용문 기반 데이터 필드는 필수적이며, 정확도와 시간 측면에서 2026년 추출 연구의 결과는 고무적입니다. 그러나 경계선에 있는 시험을 왜 유지했는지는 기록하지 않습니다. AI가 그 이유를 불러오지 못한다면 리빙 리뷰가 아닙니다. 서로 연관된 채팅들의 연속일 뿐입니다.”

“우리가 권장하는 실무 설계는 단순합니다. 지침에 프로토콜을 동결하고, 메모리나 작업공간에 연구결과를 누적하며, 가리킬 수 있는 코퍼스에 답변을 기반시키고, PRISMA 체크리스트가 활용할 수 있는 감사를 내보내십시오. 이 네 가지 업무를 기준으로 도구를 선택하십시오. 첫날 오후에 유창하게 느껴졌다는 이유만으로 도구를 선택하지 마십시오.”

— Jenova 제품 팀, 장기 실행 연구 워크플로 설계

이 관점은 문헌고찰이 들어가야 하는 보고 환경과도 일치합니다. PMC의 PRISMA 2020 설명 및 정교화 논문은 이 가이드라인이 종합을 포함하는 문헌고찰을 위한 것임을 명시하며, EQUATOR Network도 같은 업데이트된 보고 가이드라인을 제공합니다. 방법을 기억하지 못하는 지원 도구는 방법 보고를 도울 수 없습니다.

AI 지원 도구가 지난달의 제외 사유를 기억하지 못하면 재현성에는 어떤 일이 일어날까?

재현성은 형식적 흉내로 무너집니다. 유창한 관련 연구 섹션은 여전히 생성할 수 있지만, 더는 연구 집합을 방어할 수 없습니다. 수개월짜리 프로젝트는 수백 건의 포함/제외 결정을 만들어 냅니다. 이런 결정을 불러올 수 없다면 새 스크리너, 지도교수 또는 저널 검토자는 프로토콜에 따른 제외인지 세션별 기분에 따른 제외인지 알 수 없습니다.

리빙 체계적 문헌고찰은 이 실패를 명확히 드러냅니다. Elicit는 완성된 문헌고찰에 알림을 결합하여 새 정보가 매년 또는 필요에 따라 흡수되게 하는 리빙 리뷰를 설명하며, 전체 과정과 중간 결과에 대한 링크 공유도 허용합니다. 이것이 작동하려면 지난 분기의 제외 항목이 업데이트되는 객체의 일부여야 합니다. ‘주제’를 기억하지만 제외 로그는 기억하지 못하는 챗봇은 이미 거절한 논문을 다시 포함하거나, 이미 추출한 논문을 다시 제외하게 됩니다.

다음 세 가지 재현성 검사는 격차를 빠르게 드러냅니다.

재현 테스트. 일주일 후에 지원 도구에게 마지막 20건의 제외 항목과 사유를 나열하게 하십시오. 사유를 지어내거나 프로젝트를 섞는다면 감사 계층이 없는 것입니다.
확장 테스트. 주제상 유혹적이지만 범위를 벗어난 초록을 제시하십시오. 동결된 기준을 인용하지 않고 포함을 주장한다면 프로토콜 지속성은 실패한 것입니다.
인계 테스트. 동료가 구두 브리핑 없이 지원 도구의 마지막 상태 덤프에서 이어서 작업할 수 있어야 합니다. 그렇지 못하다면 그 메모리는 과학적인 것이 아니라 개인적인 것입니다.

Jenova는 지침, 지식 베이스, 세션 메모리를 실제로 사용할 때 재현 및 인계 테스트를 처리합니다. 다만 저널이 흐름도를 요구하면 PRISMA 형식의 로그를 여전히 내보내야 합니다. Elicit는 감사 테스트를 더 기본적으로 처리하지만 비공식적인 과학적 판단은 다른 곳에 보관해야 합니다. Consensus와 Gemini Notebook을 단독으로 사용하면 서로 다른 검사를 통과하지 못합니다. Consensus는 당신의 제외 사유를 재현하지 못하고, Gemini Notebook은 한 번도 업로드되지 않은 논문을 재현하지 못합니다.

따라서 수개월짜리 연구의 문제는 ‘2026년에 어느 모델이 가장 똑똑한가’가 아닙니다. 검색 전략, 포함 기준, 이전 연구결과가 다시 돌아왔을 때도 여전히 존재하는 스택에 저장되어 있는지가 핵심입니다. 이 세 가지 객체를 유지하는 도구를 선택한 뒤, 모든 세션의 시작에서 지원 도구가 이를 다시 진술하도록 하십시오. 그래야 표류가 공개된 상태에서만 일어날 수 있습니다.