科研中的 AI 幻觉:成因与事实核查方法

2026 年,AI 行业正在经历一场清算。Anthropic 的 CEO 公开警告过 AI 的**"信任危机"**,而对科研人员来说,利害尤其重大。聊天机器人编造一条引文不只是烦人——稿件里一条凭空捏造的参考文献可能损害你的学术信誉、拖延发表,最严重时甚至导致撤稿。

AI 幻觉——模型自信地生成虚假、捏造或无意义的信息——仍是 AI 辅助科研的头号风险。本文解释它为什么发生、现实中长什么样,以及如何搭建一套让你的研究保持诚实的事实核查工作流。

什么是 AI 幻觉?

幻觉指的是流畅、貌似合理、但错误的输出。LLM 的本质是下一个词预测器:它生成的是概率上最可能的文字延续,而不是经过验证的事实。当模型"不知道"某件事时,它很少说"我不知道"——而是给出统计上最可能的答案,而这个答案可能完全是编的。

对科研人员来说,最危险的几种形态是:

  • 捏造的引文——看起来像真的(作者、期刊、年份、页码俱全)但根本不存在的参考文献
  • 张冠李戴的引用——论文是真的,但被用来支撑它从未提出过的观点
  • 虚构的数据——编造的样本量、效应量或统计数字
  • 听起来合理的方法——理论上讲得通、但原文里从未出现过的实验流程

真实案例

这些都不是假设。2023 年,两名纽约律师因为提交了一份充满 ChatGPT 捏造判例的法律意见书而受到制裁——其中一些"案件"在任何法院记录里都不存在。此后,研究人员陆续发现幻觉引文出现在已发表论文、预印本平台和系统综述软件的输出中。

模式永远一样:引文看起来完美——作者正确、期刊名字听着对、年份也合理——唯一能抓住它的办法就是去核对原始来源。

LLM 为什么会在科研场景里产生幻觉

  1. **对文献没有真实记忆。**大多数 LLM 聊天界面靠参数化记忆回答,而不是靠你的文档。问它"Smith(2021)说了什么?",它会从训练分布里凑答案——而训练数据里可能混着成千上万个 Smith。
  2. **训练数据分布不均。**热门论文被过度代表,冷门论文代表性不足。模型就用看似合理的编造来填补空缺。
  3. **讨好用户的倾向。**模型被训练得乐于配合。你让它"多补几条参考文献",很多模型会欣然生成一份参考文献列表——听着像真的,实质是假的。
  4. **提示词里的确认偏误。**诱导性的提问("正如 Smith 所证明的,X 是成立的")会促使模型附和,引用一篇根本没说过这种话的论文。

如何核查 AI 输出:一份可操作的清单

1. 让 AI 立足于你的真实文档

最有效的解法只有一个:别再让 AI 凭记忆回答。使用严格基于你提供的文档检索和作答的工具:

  • PapersGPT 直接和你的 Zotero 原始 PDF 对话,回答附带可跳转高亮的引文——每个论断都能追溯到你拥有的文献。
  • NotebookLM 用来源卡片把回答限制在你上传的资料范围内。
  • 做网络调研时,优先选会给出可点开 URL 的工具。

强制扎根的提示词:

"只根据所附文档回答。每个论断都要标注来源(作者、年份,如有则加页码)。如果文档中没有答案,就说'所提供资料中未包含'——不要推测或猜测。"

2. 机械地核查每一条引文

  • 在文献库里打开每条被引用的文献。它存在吗?它说的真是那回事吗?
  • 对任何要投稿的稿件,核查100% 的引文——不是抽查。用 Ctrl+F 对照你的 Zotero 文献库,几分钟就能扫完一篇论文的参考文献列表。
  • 留意这个信号:差一点就对的引文(卷号错了、年份错了、作者顺序颠倒)。

3. 把生成和验证分开

永远不要让写文本的那个模型成为唯一的检查者。用一个不同的模型或全新的上下文来验证:

"这是一份带引文的初稿。逐条核实正文引文:(1) 列出的文献是否真实存在?(2) 该来源是否真的支撑这个论断?用表格汇报不一致之处。"

最后一步核查要自己动手——AI 复核能大幅降低错误率,但不能消除错误。

4. 维护一个"唯一事实来源"文献库

你的 Zotero 文献库应该是稿件中每条引文的唯一事实来源。PapersGPT 这类工具帮你直接基于文献库写出有据可依的初稿——AI 只能引用你实际收藏的文献,这从结构上杜绝了捏造引文。

5. 敏感工作用本地模型

如果你在处理预印本、基金申请或保密的行业研究,别把文档传到第三方云端。PapersGPT 内置的本地 LLM 模式(gpt-oss、Gemma 3、Qwen 3、Phi)完全在你的机器上运行——同样有扎根文档的好处,数据零出电脑。

AI 事实核查清单

  • AI 的回答基于我提供的文档(而非模型记忆)
  • 初稿中每条引文都存在于我的 Zotero 文献库
  • 每条正文论断都和所引来源的实际内容相符
  • 统计数字已对照原始 PDF 核实
  • 已用第二个模型或全新上下文独立复核过引文
  • 敏感文档要么在本地处理,要么没有处理

结论

AI 对科研已经不可或缺——但幻觉管理是一种工作流技能,不是事后补救。让 AI 立足于真实文档,逐条核查引文,永远不要把最终判断外包出去。做到这些,你就能拿到 AI 辅助科研的 10 倍速度,而不付出信任危机的代价。

想让 AI 带着出处帮你做研究?试试 PapersGPT——和 PDF 对话、生成有据可依的文献综述、用带高亮定位的引文做核查,全部在 Zotero 里完成。