Chat mit lokalen kostenlosen LLMs in Zotero

Einführung

Derzeit entwickeln sich quelloffene große Sprachmodelle (LLMs) rasant. Obwohl sie nicht so gut sind wie die kostenpflichtigen kommerziellen LLMs, sind einige Open-Source-LLMs in Szenarien wie automatischer Zusammenfassung, Verfassen von Artikelrezensionen und anderem unterstützenden Lesen von Arbeiten in gewissem Maße ausreichend. Und sie sind für immer völlig kostenlos. Alles, was Sie brauchen, ist Ihr persönlicher Computer und eine ausreichende Stromversorgung. PapersGPT unterstützt jetzt das nahtlose Ausführen lokaler LLMs in Zotero, sowohl unter Windows als auch unter Mac – es kann problemlos ausgeführt werden.

Ein-Klick-Ausführung kostenloser LLMs in Zotero

Umgebung initialisieren

Wenn Sie PapersGPT (mindestens v0.2.0) zum ersten Mal installieren und starten, benötigt das System einige Zeit, um automatisch die abhängigen Bibliotheken und Installationspakete zu initialisieren, die für die Ausführung lokaler LLMs erforderlich sind. Stellen Sie bitte sicher, dass das Netzwerk gut ist und eine Verbindung zu GitHub und HuggingFace hergestellt werden kann. Dieser Prozess läuft automatisch im Hintergrund, und die Benutzer müssen sich keine Gedanken über langwierige manuelle Umgebungskonfiguration und Installation machen. In einigen Systemumgebungen unter Windows kann die Firewall melden, dass Risiken bestehen. Bitte erteilen Sie die entsprechenden Berechtigungen, um einen reibungslosen Ablauf des Installationsprozesses zu gewährleisten.

Wählen Sie das gewünschte Modell

Wenn die LLM-Laufzeitumgebung initialisiert ist, erscheint die lokale LLM-Option in PapersGPT, und sie wird entsprechend der lokalen Maschinenumgebung konfiguriert, mit integrierten Open-Source-LLMs passender Größe. Die unterstützten lokalen kostenlosen Modelle sind in der folgenden Tabelle aufgeführt.

Bitte beachten Sie, dass aufgrund der Begrenzung des GPU-Speichers auf Ihrem PC oder Laptop nicht alle Modelle angezeigt werden. Nur die Modelle, deren Größe kleiner als Ihr GPU-Speicher ist, können angezeigt werden. Sobald die LLMs zur Auswahl angezeigt werden, können sie sicher auf der GPU Ihrer lokalen Maschine ausgeführt werden und werden bevorzugt auf Ihrer größten lokalen GPU-Karte ausgeführt.

Modelle herunterladen

Nach Auswahl eines bestimmten Modells, wie z. B. gemma 3 4b, wird das Modell automatisch von HuggingFace auf den lokalen Computer heruntergeladen. Da LLMs im Allgemeinen groß sind, dauert der Download normalerweise einige Zeit. Der Download-Fortschritt wird in PapersGPT angezeigt. Nachdem das Modell heruntergeladen wurde, wird der Hintergrund automatisch den lokalen LLM-Inferenzdienst laden und starten.

Chat mit lokalen LLMs

Chatten Sie mit lokalen LLMs beim Lesen von Arbeiten. Sie können eine einzelne Arbeit oder mehrere Arbeiten zusammen lesen. Zum Beispiel können Sie eine Literaturübersicht basierend auf mehreren verwandten Arbeiten in Zotero erstellen. Es ist sehr bequem und einfach zu bedienen.

Wichtige Hinweise

Der PapersGPT-Agent kann unter Windows fälschlicherweise als Trojaner oder Virus eingestuft werden. Die zugehörigen Agenten von PapersGPT können von Microsoft Defender oder anderer Antivirensoftware fälschlicherweise als Trojaner oder Virus definiert werden. In diesem Fall können folgende abnormale Phänomene auftreten:

Der Eintrag "Lokales LLM" auf der linken Seite von PapersGPT erscheint nicht. Lokale Modelle können nicht auf Ihren Computer heruntergeladen werden. Lokale Modelle können keinen Chat-Dienst für Sie bereitstellen.

Wenn Sie die lokalen LLMs unter Windows verwenden möchten, erlauben Sie bitte den sicheren PapersGPT-Agenten die Ausführung auf Ihrem Gerät in Microsoft Defender oder der Antivirensoftware.

Chatten Sie nicht mit lokalen LLMs im Energiesparmodus

Stellen Sie beim Chatten von PDFs mit lokalen LLMs sicher, dass Ihr Computer nicht im Energiesparmodus, Stromsparmodus oder ähnlichen Modi arbeitet. Dies liegt daran, dass das Chatten von PDFs mit lokalen LLMs eine hohe Rechenleistung der GPU erfordert und Modi wie Energiesparen die Rechenleistung beeinträchtigen und PapersGPT langsam antworten lassen.

Kompatibel mit Ollama

Wenn Sie es gewohnt sind, die Ollama-App zum Starten des lokalen LLM-Dienstes zu verwenden, können Sie einfach den Modellnamen eingeben, der mit dem in Ollama übereinstimmt, z. B. 'gemma3:1b'

Stellen Sie bei der Verwendung von Ollama in PapersGPT sicher, dass Ihre Ollama-App läuft.