Discutez avec des LLM locaux gratuits dans Zotero

Introduction

Aujourd'hui, les grands modèles de langage (LLM) open source se développent rapidement. Bien qu'ils ne soient pas aussi performants que les LLM commerciaux payants, certains LLM open source sont suffisants dans une certaine mesure pour les scénarios de résumé automatique, de rédaction de revues d'articles et d'autres lectures auxiliaires d'articles. Et ils sont totalement gratuits pour toujours. Tout ce dont vous avez besoin est votre ordinateur personnel et une alimentation électrique suffisante. Désormais, PapersGPT prend en charge l'exécution transparente de LLM locaux dans Zotero, que ce soit sur Windows ou Mac, cela peut être facilement exécuté.

Lancez des LLM gratuits en un clic dans Zotero

Initialiser l'environnement

Lorsque vous installez et démarrez PapersGPT (au moins v0.2.0) pour la première fois, le système prendra un certain temps pour initialiser automatiquement les bibliothèques dépendantes et les packages d'installation nécessaires à l'exécution des LLM locaux. Veuillez vous assurer que le réseau est bon et peut se connecter à GitHub et HuggingFace. Ce processus s'exécute automatiquement en arrière-plan et les utilisateurs n'ont pas à se soucier d'une configuration et d'une installation manuelles fastidieuses de l'environnement. Dans certains environnements système sur Windows, le pare-feu peut indiquer qu'il existe des risques. Veuillez accorder les autorisations nécessaires pour assurer le bon déroulement du processus d'installation.

Choisissez le modèle que vous aimez

Lorsque l'environnement d'exécution des LLM est initialisé, l'option LLM local apparaîtra dans PapersGPT, et elle sera configurée en fonction de l'environnement de la machine locale, avec des LLM open source intégrés de tailles correspondantes. Les modèles locaux gratuits pris en charge sont présentés dans le tableau suivant.

Veuillez noter qu'en raison de la limitation de la mémoire GPU sur votre PC ou ordinateur portable, tous les modèles ne seront pas affichés. Seuls les modèles dont la taille est inférieure à votre mémoire GPU pourront être affichés. Une fois les LLM affichés pour la sélection, ils peuvent être exécutés en toute sécurité sur le GPU de votre machine locale et seront prioritairement exécutés sur votre plus grande carte GPU locale.

Téléchargement des modèles

Après avoir sélectionné un modèle spécifique, tel que gemma 3 4b, le modèle sera automatiquement téléchargé depuis HuggingFace vers l'ordinateur local. Étant donné que les LLM sont généralement volumineux, ils prennent généralement un certain temps à télécharger. La progression du téléchargement est affichée sur PapersGPT. Une fois le modèle téléchargé, l'arrière-plan chargera et démarrera automatiquement le service d'inférence LLM local.

Discutez avec les LLM locaux

Discutez avec les LLM locaux lors de la lecture d'articles. Vous pouvez lire un seul article ou plusieurs articles ensemble. Par exemple, vous pouvez générer une revue de littérature basée sur plusieurs articles connexes dans Zotero. C'est très pratique et facile à utiliser.

Remarques importantes

L'agent PapersGPT peut être défini par erreur comme un cheval de Troie ou un virus sur Windows. Les agents liés à PapersGPT peuvent être définis par erreur comme un cheval de Troie ou un virus par Microsoft Defender ou d'autres logiciels antivirus. Dans ce cas, vous pouvez observer certains phénomènes anormaux :

L'élément « LLM local » dans la partie gauche de PapersGPT n'apparaît pas. Les modèles locaux ne peuvent pas être téléchargés sur votre ordinateur. Les modèles locaux ne peuvent pas fournir de service de discussion pour vous.

Donc, si vous souhaitez utiliser les LLM locaux sur votre Windows, veuillez autoriser les agents PapersGPT sécurisés à s'exécuter sur votre appareil dans Microsoft Defender ou le logiciel antivirus.

Ne discutez pas avec les LLM locaux en mode économie d'énergie

Lorsque vous discutez de PDF avec des LLM locaux, assurez-vous que votre ordinateur ne fonctionne pas en mode basse consommation, mode économie d'énergie ou tout autre mode similaire. En effet, discuter de PDF avec des LLM locaux nécessite beaucoup de calcul par le GPU, et les modes comme l'économie d'énergie affecteront les performances de calcul et rendront la réponse de PapersGPT plus lente.

Compatible avec Ollama

Si vous avez l'habitude d'utiliser l'application Ollama pour démarrer le service LLM local, vous pouvez simplement saisir le nom du modèle qui est le même que celui d'Ollama dans PapersGPT, comme 'gemma3:1b'.

Lorsque vous utilisez Ollama dans PapersGPT, veuillez vous assurer que votre application Ollama est en cours d'exécution.