在 Zotero 中与本地免费大语言模型对话

简介

如今，开源大语言模型（LLM）正在快速发展。虽然它们还不及付费的商业大语言模型，但一些开源大语言模型在自动摘要、撰写论文评论和其他辅助阅读论文的场景中已经有了一定程度的能力。而且它们完全免费、永久免费。您只需要一台个人电脑和充足的电源即可。现在，PapersGPT 已经支持在 Zotero 中无缝运行本地大语言模型，无论是 Windows 还是 Mac 平台，都可以轻松运行。

在 Zotero 中一键运行免费大语言模型

初始化环境

当您首次安装并启动 PapersGPT（至少 v0.2.0）时，系统会花一些时间自动初始化运行本地大语言模型所需的依赖库和安装包。请确保网络良好，能够连接到 GitHub 和 Huggingface。此过程在后台自动运行，用户无需担心任何繁琐的手动环境配置和安装。在某些 Windows 系统环境中，防火墙可能会提示存在风险。请授予相关权限以确保安装过程顺利进行。

选择您喜欢的模型

当运行大语言模型的环境初始化完成后，本地 LLM 选项将出现在 PapersGPT 中，并根据本地机器环境进行配置，内置匹配大小的开源大语言模型。支持的本地免费模型如下表所示。

请注意，由于您的 PC 或笔记本电脑 GPU 显存的限制，并非所有模型都会显示。只有体积小于您 GPU 显存的模型才会显示。一旦显示可供选择的大语言模型，它们就可以在您本地机器的 GPU 上安全运行，并优先在本地最大的 GPU 卡上运行。

模型下载

选择特定模型（如 gemma 3 4b）后，模型将从 Huggingface 自动下载到本地计算机。由于大语言模型通常体积较大，下载通常需要一些时间。下载进度以 PapersGPT 上的显示为准。模型下载完成后，后台将自动加载并启动本地大语言模型推理服务。

与本地大语言模型对话

在阅读论文时与本地大语言模型对话。您可以单独阅读一篇论文，也可以同时阅读多篇论文。例如，您可以基于 Zotero 中的多篇相关论文生成文献综述，非常方便易用。

重要提示

PapersGPT agent 在 Windows 上可能被误判为木马或病毒。papersgpt 的相关代理程序可能会被 Microsoft Defender 或其他杀毒软件误判为木马或病毒。在这种情况下，您可能会看到一些异常现象：

PapersGPT 左侧的"本地 LLM"选项不出现。本地模型无法下载到您的计算机。本地模型无法为您提供聊天服务。

因此，如果您想在 Windows 上使用本地大语言模型，请在 Microsoft Defender 或杀毒软件中允许安全的 papersgpt agents 在您的设备上运行。

不要在省电模式下与本地大语言模型对话

在与本地大语言模型对话 PDF 时，请确保您的计算机不在低功耗模式、省电模式或类似模式下工作。这是因为与 PDF 对话需要 GPU 进行大量计算，省电模式等会影响计算性能，导致 PapersGPT 回复缓慢。

兼容 Ollama

如果您习惯使用 Ollama APP 启动本地大语言模型服务，只需在 PapersGPT 中输入与 Ollama 相同的模型名称，如 'gemma3:1b'

在 PapersGPT 中使用 Ollama 时，请确保您的 Ollama App 正在运行。