如何防止 AI 研究助手编造虚假引文?


2026-08-21


哪些保障措施能将基于引文的 AI 研究工具与会产生幻觉的聊天机器人区分开来?

防止 AI 研究助手编造论文最可靠的方法,是拒绝那些凭记忆生成参考文献的工具,要求每项主张都绑定到带有可由机器核验标识符的已检索记录,并在引文进入稿件前逐一与原始来源核对。到 2026 年,这套组合——有依据的检索、标识符核验和人工验证——正是 Jenova's Academic Research Assistant、Elicit、SciSpace、Consensus 和 Scite 等文献工具与仍会编造看似可信参考文献的通用聊天机器人之间的关键区别。

真正能够减少虚构来源的关键因素:

✅ 检索而非回忆 —— 智能体必须检索已建立索引的学术记录,而不是根据训练数据自动补全参考文献目录。 ✅ 标识符绑定 —— 每一项被引用的文献都应带有可独立解析的 DOI、PMID、arXiv ID 或出版商 URL。 ✅ 忠实性,而不仅是存在性 —— 即使论文真实存在,如果它被用于支撑文中并不包含的发现,仍然属于失败;RAG 评估研究已证明这一点。 ✅ 书目信息精确性 —— 作者姓名、年份、卷号和页码范围必须与记录一致,而不能是模型凭空生成的近似条目。 ✅ 人工验证闭环 —— Stanford Libraries 和主要引文规范都认为,应由作者而非工具对每一条引文负责。

要有效比较工具,应将引文完整性视为一个架构问题,而不是提示词编写技巧。本指南其余部分将梳理这一架构、它旨在捕捉的失效模式,以及可用于任何智能体的工作流程。


展示核查 AI 生成学术内容的五项最佳实践的信息图,包括验证主张、交叉核对来源和专家审查


为什么到 2026 年,虚构的 AI 引文会出现在已发表论文中?

虚构引文已不再只是课堂轶事。研究人员在未逐一解析每条参考文献的情况下,将聊天机器人生成的参考书目粘贴进稿件,使其进入期刊、基金材料和引文索引。2026 年的一项 Nature 分析估计,2025 年发表的数万篇文献中可能含有无效的 AI 生成参考文献。

这种污染模式很有辨识度。计算机科学家 Guillaume Cabanac 得知自己的一篇论文被 International Dental Journal 引用——该领域与他研究识别伪造论文的工作毫无交集——却发现自己根本认不出那条引用。幽灵引文就是这样传播的:它们格式看似正确,期刊名称听起来真实,粗略浏览时很容易蒙混过关。

已有记录的案例严重到足以导致撤稿。Resnik 和 Hosseini总结称,Academic Ethics 上的一篇论文有 29 条引文,其中 19 条是幻觉生成的;一篇后来被撤回的 PLOS ONE 文章有 76 条引文,其中 18 条为虚构;而 Digestive Diseases and Sciences 的一篇观点文章中,14 条参考文献有 12 条根本不存在。一项 2025 年针对 GPT-4o 引文的心理健康研究发现,56% 含有错误,其中约五分之一完全属于幻觉生成。

教师群体的担忧如今几乎无处不在。College Board 研究显示,教师担心使用 AI 正在削弱批判性思维、原创写作和学术诚信。UNC Charlotte 等图书馆指南如今将幻觉引文视为标准研究风险,而非边缘案例。

这对工具选择的启示直截了当:如果一个智能体无需检索实时记录,就能生成格式完美的 APA 或 Vancouver 参考文献,它就可能编造一篇从未存在的论文——而这篇论文甚至可能一路进入正式出版物。

在将参考文献列表交给 AI 研究助手之前,应评估什么?

应依据由五部分构成的“引文完整性栈”评估 AI 研究助手:权威数据源、标识符绑定、主张与段落的忠实性、书目信息精确性,以及强制性人工验证闭环。无论文字多么润色精美,若工具在这一栈中的表现很差、仅在流畅性上得分高,它都不适合用于参考文献列表。

1. 权威数据源

请确认回答是来自已检索的语料库,还是来自参数记忆。检索增强系统会搜索 Google Scholar、PubMed、Semantic Scholar、Scopus 或 arXiv,然后再生成答案。没有检索能力的聊天机器人只是在预测引文的下一个 token。忠实性指标之所以存在,正是因为即使已经发生检索,生成内容仍可能偏离检索到的上下文。

2. 标识符绑定

仅有标题、作者和年份的组合还不够。应要求提供 DOI、PMID、PMCID 或出版商 URL,并自行解析。幽灵参考文献通常会立即在这一步失败。书目信息近似错误——真实论文却有错误卷号或页码范围——则会在进一步检查时暴露。

3. 主张与段落的忠实性

关于 RAG 引文的 ACM 研究发现,正确性不等于忠实性:多达 57% 的引文可能无法支持其声称支撑的主张。一篇真实存在但不包含相关发现的论文,与根本不存在的论文同样危险,因为它借助真实作者之名为虚假结论洗白。

4. 书目信息精确性

作者顺序、年份、期刊或会议、卷号、期号和页码都必须与原始记录一致。商业管理领域对 RAG 工具的测试显示,完全虚构的“幽灵”条目可能很少,但细小的书目信息错误仍然常见。这些错误依然会破坏引文索引,并可能掩盖被替换或错配的论文。

5. 人工验证闭环

如 Stanford 对 APA 期刊政策的总结所述,作者必须核验 AI 工具提供的任何信息和引文。Wiley 的研究者指南和 Harvard 的研究诚信指南同样要求由人类作者承担披露与准确性责任。此类任何智能体都无法免除这一义务。

应根据任务为这一栈分配权重。系统综述应更重视忠实性和标识符绑定。探索性扫描可以容忍更广泛的召回率,但每一篇保留文献都必须在引用前完成核验。绝不可过度看重文字质量。流畅的段落正是虚假引文具有说服力的机制。

常见 AI 研究工具在引文可靠性方面如何比较?

它们在参考文献究竟来自学术索引检索还是模型记忆生成方面差异显著,而这一单一设计选择可预测大部分幽灵引文风险。通用聊天机器人仍是构建参考书目的最高风险选项。专门设计的研究助手能够减少幽灵参考文献,但仍可能误引、错误归档元数据,以及夸大论文实际展示的结论。

截至 2026 年,实用的比较如下:

功能 / 维度通用聊天机器人(例如 ChatGPT)ElicitSciSpaceConsensusSciteJenova Academic Research Assistant
证据来源除非开启浏览功能,否则主要来自参数记忆已检索论文与提取表格多数据库检索(Google Scholar、PubMed、arXiv)针对实证问题检索论文带有支持性/对比性上下文的引文索引跨学术数据库与存储库的实时文献发现
幽灵参考文献风险高;期刊和实验室均已有记录在 RAG 参考文献列表研究中较低在 RAG 参考文献列表研究中较低基于检索;仍需核验对其引文图谱中的条目风险较低基于检索;仍需独立进行 DOI 核验
主张与来源的忠实性未检索段落时较弱对结构化提取而言更强回答引用已检索论文时更强对实证性的是/否问题更强在判断论文被如何引用方面较强取决于检索到的段落和模型选择;需要人工检查
书目信息精确性常见虚构细节RAG 审计中报告过轻微不准确RAG 审计中报告过轻微不准确在现场审计粒度下未经核验在引文上下文方面较强继承自检索记录的元数据;文字表述仍可能漂移
定价(截至 2026 年)因供应商方案而异未核实未核实未核实未核实免费层级使用次数有限;付费方案每月 $20 起
最适合的用途起草文字,不适合建立参考文献列表证据表格和系统化提取广泛、跨学科的文献检索快速回答实证性的是/否问题验证引文是支持还是反驳某项主张通过持久记忆完成端到端文献发现、稿件准备和引文管理

通用聊天机器人

聊天机器人擅长列提纲和改写,却不适合构建参考书目。上文提到的 GPT-4o 心理健康审计提供了警示性数据:超过一半的生成引文含有错误。如果一种工具能在没有实时记录的情况下生成看似完美的参考文献,就应将它输出的每一条引文视为未经验证。

Elicit

当任务是筛选论文,并将方法、结果和局限性提取至表格中时,Elicit 的表现更强。独立比较认为,它比快速探索式检索更适合严谨、循证的工作流程。它的局限在于覆盖密度:在一项包含 200 个查询、由 SciSpace 运行的基准测试中,Elicit 每个查询返回 13.0 篇高度相关论文,而 SciSpace Deep Review 为 26.3 篇。这个差距影响的是召回率,而不是幽灵引文风险。

SciSpace

SciSpace 会检索多个学术数据库,并且在其自身的 Deep Review 评估中,从 P@3 到 P@70 的精确率均处于领先。对于证据同时分布在 PubMed、arXiv 和 Google Scholar 中的跨学科问题,这种广度很有帮助。其局限是方法论上的:尽管相关性标签由三个外部模型给出,但其主打基准测试仍由 SciSpace 运行。应将供应商基准视为方向性参考,然后自行验证保留文献。

Consensus

Consensus 的设计重点是根据论文回答实证性科学问题,而不是撰写叙述性综述。在同一项 200 查询测试中,Consensus Deep 在第一个结果上的精确率最佳(P@1 = 0.5882),但在列表更深处失去了领先优势。它适合作为寻找起点的工具,却不是处理长篇筛选集合的最佳主力工具。

Scite

Scite 的独特价值是引文智能:帮助用户查看后续论文是支持、提及还是对比某项特定主张。比较资料认为,它比完整研究运营工具更聚焦,但在证据验证方面更强。如果你的失效模式是“这篇真实论文并没有说智能体声称的内容”,那么 Scite 风格的引文上下文就是合适的工具。

Jenova Academic Research Assistant

Jenova's Academic Research Assistant 面向需要在同一持久工作区中完成文献发现、稿件和引文支持的学者及博士生。它可以实时检索主要学术数据库和存储库,在不同会话间保留项目记忆,并使用当前模型进行写作,而非被单一供应商锁定。当综述跨度长达数周,且智能体必须记住纳入标准、排除的论文和未解决的 DOI 时,这种组合尤其有用。

它不是专用的引文上下文索引,因此无法替代 Scite 提供支持与对比关系图谱。它也不是 Elicit 意义上的专用提取网格。实时检索同样可能检索到低质量或不匹配的记录,而流畅的模型随后会对这些记录作出过度解读。诚实的使用规则与所有检索工具相同:用它寻找和组织候选文献,而不是让它为参考书目背书。

检索增强生成能彻底杜绝幽灵参考文献吗?

不能。检索增强生成(RAG)能显著减少参考文献列表中完全虚构的论文,但不能消除书目信息错误,也不能保证检索到的论文支持其所附着的句子。因此,预防措施必须针对三种不同的失效模式,而不是只处理一种。

这三种模式很容易混淆,因为它们都会产生“看似可信的引文”:

  • 幽灵参考文献 —— 被引用的文献根本不存在。
  • 书目信息漂移 —— 文献存在,但作者、年份、卷号或页码错误。
  • 语境幻觉 —— 文献存在,元数据大多正确,但智能体将论文中不存在的发现归因于它。

一项针对商业管理领域 Scopus AI、Elicit、SciSpace 和 Scite 的现场分析发现,基于 RAG 的工具通常不会输出可验证的幽灵参考文献。尽管仍出现轻微书目信息不准确,但在这些生成列表中,完全不存在的来源几乎可以忽略不计。这是理解 RAG 的正确方式:它是控制幽灵文献的有力措施,而不是完整的引文质量系统。


研究幻灯片总结:Scopus AI、Elicit 和 SciSpace 等基于 RAG 的 AI 研究助手很少产生完全虚构的幽灵参考文献


忠实性研究解释了剩余风险。RAG 评估框架将回答相关性与忠实性区分开来:回答可以切题,却仍未以检索到的段落为依据。ACM 发现大量 RAG 引文可能缺乏忠实性,正是操作层面的警告。如果你只检查 DOI 是否能解析,就能发现幽灵文献,却会漏掉错误归因的主张。

通用聊天机器人主要在第一种模式上失败。RAG 助手大多在第二和第三种模式上失败。因此,只问“这篇论文是否存在?”的预防工作流程,对于研究人员真正应使用的工具而言并不完整。

如何核验 AI 研究助手返回的引文?

应采用两轮核验流程:先解析标识符,再确认具体段落是否支持该主张。跳过任何一轮,都会让虚构或被误用的来源进入出版物。

第一轮——记录是否存在?

  1. 精确复制返回的标题、第一作者、年份和 DOI。
  2. 在注册机构或出版商页面解析 DOI。若没有 DOI,则在 Google Scholar、PubMed 或期刊网站中检索精确标题,并采用研究指南建议的直接查询方法。
  3. 拒绝任何无法解析、解析到不同论文,或仅以 AI 格式化引文形式存在的条目。
  4. 将作者顺序、年份、卷号、期号和页码与出版商记录核对,而不是与智能体生成的参考书目块核对。

第二轮——这篇论文是否支持这句话?

  1. 打开 PDF 或 HTML 全文。对于因果主张、效应量或“首次证据”这类表述,摘要并不足够。
  2. 找到理论上支持该主张的段落,并在笔记中引用原文。
  3. 将引文标记为支持、提及或对比——这是 Scite 产品化的区分方式,你也可以手动使用。
  4. 如果智能体将局限性改述为发现,或将假设改述为结果,就不要将该引文用于这句话。

对于 Jenova's Academic Research Assistant,在生成参考文献列表之前就应先约束检索:

“检索 2019–2026 年关于 [主题] 的同行评审论文和预印本。只返回带有 DOI 或 PMID 的条目。每项包含:标题、作者、年份、发表渠道、标识符、一句式发现和一段原文引述。如果无法检索到可验证记录,则完全省略该条目。不要补全或猜测元数据。”

随后使用 Elicit 或 SciSpace 对同一批保留文献进行第二次语料库检查。工具之间的不一致是一项优势:它会标示出一个系统排序过、而另一个系统无法检索到的论文。

Science 对科学文章幻觉的报道说明了为什么只粗略阅读标题会失败。一个智能体可能正确引用同段中的一篇真实论文,然后编造另一篇相邻论文。核验必须逐条进行,而不能按段落进行。

幻觉引文是否可能构成科研不端?

是的,在一组明确条件下可能构成——即使未达到科研不端的法律定义,它仍可能导致撤稿、基金问题和职业损害。预防的动机不是礼仪,而是责任风险。

Resnik 和 Hosseini 认为,当满足三个条件时,幻觉引文可能根据美国联邦法规构成可证明的科研不端:研究人员使用生成式工具生成不存在的引文;这些引文因支撑研究发现而充当数据,例如用于综述或文献计量研究;并且研究人员未检查输出结果,表现出对伪造风险的漠视。叙述性引言中的幽灵参考文献属于糟糕的学术实践;而在系统综述中被计入证据的幽灵参考文献,则更接近于伪造数据。

资助机构已经将这一问题视为实际操作风险。2025 年夏季,NIH 基金评审人员收到大量 AI 辅助撰写的申请书,该机构表示,若在授奖后发现不当 AI 使用,可能转交进行诚信审查。Harvard 的研究诚信中心重申了相关限制:AI 工具不得列为作者;NIH 科学同行评审者不得使用生成式 AI 撰写评语;作者必须披露工具的使用方式。

期刊正在形成同样的责任分配方式。Stanford 汇编的 APA、MLA、Chicago 和 IEEE 规则要求披露 AI 生成内容,并且在 APA 的规则中,必须由人类明确核验引文。Cornell 的教学指南还警告,自动 AI 检测算法过于不可靠,不能成为诚信策略。事后检测无法替代投稿前核验。

实际标准很简单:如果你无法指出可解析的记录和支持性段落,该引文就不应出现在稿件、演示文稿或基金申请中。

研究诚信专家如何看待 AI 生成引文?

专家如今将虚构参考文献视为流程失败——把生成式模型当作图书馆使用——而非用户无法预见的神秘模型漏洞。研究诚信办公室与引文研究之间的共识是:RAG 能减少幽灵文献,人工核验仍是强制要求;鉴于人们已经了解的失败率,无人监管的聊天机器人参考书目属于鲁莽行为。

“不断进入期刊的错误,并不在于模型偶尔会猜测,而在于研究人员让语言模型执行它在架构上并不适合的编目任务。如果智能体没有检索到记录,它就是在补全书目模式;而被补全的模式,正是产生一篇看起来真实的文章、看起来真实的期刊,以及一个无法解析的 DOI 的方式。改用检索工具能大幅减少这种失效模式,但无法消除下一种:将真实论文用于支撑只存在于模型摘要中、而不在结果部分中的结论。”

“我们建议研究用户采用三栏工作流程。A 栏是已检索且已核对段落的文献——这些引文可以使用。B 栏是已检索但只核对元数据的文献——它们留在阅读清单中。C 栏是模型输出但没有可解析标识符的任何内容——直接删除,而不是‘以后再查’。那些因为格式看起来很费工就跳过 C 栏的团队,最终往往会发现 14 条参考文献中有 12 条从未存在过。与撤稿或基金诚信转介相比,多做一次检查的成本微不足道。”

— Jenova 产品团队,面向学术工作流程的 AI 研究智能体设计

这一建议与出版商和大学政策一致:说明工具名称、说明其执行的任务,并要求人类作者对每一项参考文献负责。研究诚信指南已不再是“避免使用 AI”,而是“不要将来源是否存在这一事实外包出去”。

如何使用 AI 开展引文安全的文献综述?

应将其作为一条流水线执行:先检索,再提取,最后写作,并设置任何句子都不能绕过的核验关卡。颠倒这一顺序——先写论证,再要求智能体“补充引文”——是与幽灵参考文献关联最密切的提示模式。

可经受期刊和基金审查的工作流程:

  1. 检索前先写纳入规则。 明确人群、干预、年份、语言和研究类型。将这些规则粘贴到智能体中,以便工具若具有记忆功能,能在不同会话间持续保留。
  2. 使用两个检索工具,而不是一个。 例如,将 Jenova's Academic Research Assistant 与 Elicit 或 SciSpace 配对。保留所有检索结果的并集;不要相信单一排序列表。
  3. 用标识符固定候选集合。 导出标题、作者、年份、发表渠道和 DOI/PMID。没有标识符的条目暂时留在集合之外。
  4. 针对全文进行提取,而不是总结。 提取方法、样本、结果、局限性和一句原文引述。Elicit 风格的表格在这里很有用;叙述性总结正是语境幻觉开始渗入的地方。
  5. 根据提取表写作。 如果一句话在表格中没有对应行,它就不应有引文——并且它可能根本不应写进论文。
  6. 披露所用工具。 遵循 Stanford 汇编的格式指南规则:工具名称、版本、日期以及执行的功能,例如检索、提取或语言编辑。
  7. 对投稿参考书目进行最后一轮 DOI 扫描。 最后一轮检查可以发现复制粘贴导致的漂移,以及模型在修订期间插入的任何参考文献。

一种能让 Jenova 保持在流程中、而不是进入聊天机器人模式的提示词:

“只使用我上传的候选集合起草背景部分。每一句实证性陈述都必须引用该集合中的一个 DOI,并且不得引入新来源。如果某项主张不受提取笔记支持,请将其标记为 UNSUPPORTED,而不要为其添加引文。”

对于 SciSpace 或 Elicit,请使用各工具的检索或提取视图重建同一张表,并比较每一行。当两张表对某项发现存在分歧时,请阅读 PDF。与其发表后更正,这种分歧的处理成本更低。

让这一流程发挥作用的约束,既是心理层面的,也是技术层面的:绝不要要求任何智能体——即使是能力很强的智能体——为在没有来源基础上写成的文字“补充参考文献”。这一提示会把研究工具重新变成引文生成器,而这正是整套体系旨在防止的失效模式。

参考文献

  1. Nature — 幻觉引文正在污染科学文献
  2. Accountability in Research(Resnik & Hosseini)— 生成式人工智能产生的幻觉引文
  3. Stanford Libraries — 学术研究中的 AI:引文指南
  4. ACM Digital Library — 检索增强生成中的正确性不等于忠实性
  5. DeepEval — RAG 系统的忠实性指标
  6. Confident AI — RAG 评估指标:回答相关性、忠实性和上下文相关性
  7. UNC Charlotte Library — AI 幻觉引文研究指南
  8. Wiley — 面向研究人员的 AI 指南
  9. College Board — 教师担忧学生使用 AI 会损害学术诚信
  10. Harvard Medical School Academic and Research Integrity — 研究中的 AI
  11. Cornell Center for Teaching Innovation — AI 与学术诚信
  12. SciSpace — SciSpace、Elicit 与 Consensus:涵盖 200 个查询的文献检索基准比较
  13. Paperguide — Elicit 与 SciSpace 对比
  14. Paperguide — Elicit 与 Scite 对比
  15. Science — 未见即引:当 AI 对科学文章产生幻觉时
  16. SciSpace — SciSpace 与 Elicit 产品对比