Chat met Lokale Gratis LLM's in Zotero

Introductie

Nu ontwikkelen open source large language models (LLM's) zich snel. Hoewel ze niet zo goed zijn als de betaalde commerciële LLM's, zijn sommige open source LLM's tot op zekere hoogte voldoende in de scenario's van automatische samenvatting, het schrijven van artikelrecensies en ander ondersteunend lezen van papers. En ze zijn voor altijd volledig gratis. Alles wat u nodig hebt is uw pc en voldoende stroomvoorziening. Nu ondersteunt PapersGPT het naadloos draaien van lokale LLM's in Zotero, of het nu op Windows of Mac is, het kan eenvoudig worden uitgevoerd.

Met één klik gratis LLM's uitvoeren in Zotero

Initialiseer de omgeving

Wanneer u PapersGPT (minimaal v0.2.0) voor het eerst installeert en start, zal het systeem enige tijd nodig hebben om automatisch de afhankelijke bibliotheken en installatiepakketten te initialiseren die nodig zijn voor het uitvoeren van lokale LLM's. Zorg ervoor dat het netwerk goed is en verbinding kan maken met GitHub en Huggingface. Dit proces draait automatisch op de achtergrond en gebruikers hoeven zich geen zorgen te maken over vervelende handmatige omgevingsconfiguratie en installatie. In sommige systeemomgevingen op Windows kan de firewall melden dat er risico's zijn. Verleen de relevante machtigingen om een soepel installatieproces te garanderen.

Kies het model dat u wilt

Wanneer de omgeving voor het uitvoeren van LLM's is geïnitialiseerd, verschijnt de optie Lokale LLM in PapersGPT. Deze wordt geconfigureerd op basis van de lokale machine-omgeving, met ingebouwde open source LLM's van overeenkomende groottes. De ondersteunde lokale gratis modellen worden in de volgende tabel weergegeven.

Houd er rekening mee dat vanwege de beperking van het GPU-geheugen op uw pc of laptop niet alle modellen worden weergegeven. Alleen de modellen waarvan de grootte kleiner is dan uw GPU-geheugen kunnen worden weergegeven. Zodra de LLM's worden weergegeven om te kiezen, kunnen ze veilig op de GPU van uw lokale machine worden uitgevoerd en worden ze bij voorkeur uitgevoerd op uw lokale grootste GPU-kaart.

Modellen downloaden

Na het selecteren van een specifiek model, zoals gemma 3 4b, wordt het model automatisch gedownload van Huggingface naar de lokale computer. Omdat LLM's over het algemeen groot zijn, duurt het downloaden meestal enige tijd. De downloadvoortgang wordt weergegeven in PapersGPT. Nadat het model is gedownload, zal de achtergrond automatisch de lokale LLM-inferentieservice laden en starten.

Chatten met lokale LLM's

Chat met lokale LLM's tijdens het lezen van papers. U kunt een enkele paper of meerdere papers samen lezen. U kunt bijvoorbeeld een literatuuroverzicht genereren op basis van meerdere gerelateerde papers in Zotero. Het is erg handig en gemakkelijk te gebruiken.

Belangrijke opmerkingen

PapersGPT-agent kan ten onrechte worden gedefinieerd als een Trojaans paard of virus op Windows. De gerelateerde agents van PapersGPT kunnen ten onrechte worden gedefinieerd als een Trojaans paard of virus door Microsoft Defender of andere antivirussoftware. In dat geval kunt u enkele abnormale verschijnselen zien:

Het item "Lokale LLM" aan de linkerkant van PapersGPT verschijnt niet. Lokale modellen kunnen niet naar uw computer worden gedownload. Lokale modellen kunnen geen chatservice aan u leveren.

Als u de lokale LLM's op uw Windows wilt gebruiken, sta dan toe dat de veilige PapersGPT-agents op uw apparaat worden uitgevoerd in Microsoft Defender of antivirussoftware.

Chat niet met lokale LLM's in de energiebesparingsmodus

Zorg er bij het chatten van PDF's met lokale LLM's voor dat uw computer niet werkt in de energiebesparingsmodus, energiezuinige modus of dergelijke modi. Dat komt omdat het chatten van PDF's met lokale LLM's veel rekenkracht van de GPU vereist; een modus zoals energiebesparing beïnvloedt de prestaties van de berekening en maakt de antwoorden van PapersGPT langzaam.

Compatibel met Ollama

Als u gewend bent om de Ollama APP te gebruiken om de lokale LLM-service te starten, kunt u gewoon de modelnaam invoeren die hetzelfde is als in Ollama in PapersGPT, zoals 'gemma3:1b'.

Zorg er bij het gebruik van Ollama in PapersGPT voor dat uw Ollama App actief is.