צ'אט עם LLMs מקומיים חינמיים ב-Zotero
מבוא
כיום, מודלי שפה גדולים בקוד פתוח (LLMs) מתפתחים במהירות. למרות שהם עשויים שלא להיות מצוינים כמו LLMs מסחריים בתשלום, עבור סיכומים אוטומטיים, כתיבת ביקורות מאמרים ותרחישי קריאת מאמרים מסייעים אחרים, חלק מ-LLMs בקוד פתוח מספיקים במידה מסוימת. והם תמיד חינמיים לחלוטין, דורשים רק את המחשב האישי שלך ואספקת חשמל מספקת. כעת, PapersGPT תומך בהפעלת LLMs מקומיים בצורה חלקה ב-Zotero, הן בפלטפורמות Windows והן ב-Mac, בקלות.
הפעל LLMs חינמיים בלחיצה אחת ב-Zotero
אתחל את הסביבה
בעת התקנה והפעלה ראשונה של PapersGPT (לפחות v0.2.0), המערכת תבלה זמן מה באתחול אוטומטי של ספריות התלות וחבילות ההתקנה הנדרשות להפעלת LLMs מקומיים. אנא ודא שהרשת טובה ויכולה להתחבר ל-GitHub ו-HuggingFace. תהליך זה פועל אוטומטית ברקע, ללא צורך של משתמשים לדאוג להגדרות סביבה ידניות מייגעות והתקנות. בחלק מסביבות מערכת Windows, חומת האש עשויה להזהיר מפני סיכונים, אנא הענק את ההרשאות הרלוונטיות כדי להבטיח שתהליך ההתקנה יתקדם בצורה חלקה.
בחר את המודל המועדף עליך
כאשר אתחול סביבת ההרצה של LLM יושלם, אפשרות ה-LLM המקומי תופיע ב-PapersGPT, ותהיה מוגדרת בהתאם לסביבת המכונה המקומית, עם LLMs בקוד פתוח מובנים בגודל תואם. המודלים המקומיים החינמיים הנתמכים מוצגים בטבלה למטה.
| Provider | Supported Models |
|---|---|
| OpenAI | gpt-oss-20b |
| gemma-3-12b | gemma-3-4b | gemma-3-1b | gemma-3n-e4b | |
| Qwen | qwen-3-8b | qwen-3-4b | qwen-3-1.7b |
| DeepSeek | deepseek-distill-llama | deepseek-distill-llama-small | deepseek-0528-distill-qwen3 | deepseek-0528-distill-qwen3-small | deepseek-distll-qwen-1.5b |
| Microsoft | phi-4 | phi-4-mini-reasoning |
| Mistral | mistral-7b | mistral-7b-small |
| Llama | llama-3.1-8b | llama-3.1-8b-small |
שים לב שבגלל מגבלות זיכרון ה-GPU של המחשב או הלפטופ שלך, לא כל המודלים יוצגו. רק מודלים שגודלם קטן מזיכרון ה-GPU שלך יוצגו. ברגע שה-LLMs ניתנים לבחירה, ניתן להריץ אותם בבטחה על ה-GPU של המכונה המקומית שלך, ותינתן עדיפות להרצה על כרטיס ה-GPU המקומי הגדול ביותר שלך.
הורדת מודל
לאחר בחירת מודל ספציפי (למשל gemma 3 4b), המודל יורד אוטומטית מ-HuggingFace למחשב המקומי. מכיוון ש-LLMs בדרך כלל גדולים, ההורדה אורכת בדרך כלל זמן מה. התקדמות ההורדה תוצג ב-PapersGPT. לאחר השלמת הורדת המודל, שירות ההסקה של LLM המקומי ייטען ויופעל אוטומטית ברקע.
צ'אט עם LLM מקומי
צ'אט עם LLM מקומי בזמן קריאת מאמרים. אתה יכול לקרוא ממאמר בודד או לשלב מספר מאמרים. לדוגמה, אתה יכול ליצור סקירת ספרות המבוססת על מספר מאמרים קשורים ב-Zotero, וזה נוח מאוד וקל לשימוש.
הערות חשובות
סוכן PapersGPT עשוי להיות מסומן בטעות כטרויאני או וירוס ב-Windows. הסוכן הקשור של PapersGPT עשוי להיות מסומן בטעות כטרויאני או וירוס על ידי Microsoft Defender או תוכנות אנטי-וירוס אחרות. במקרה זה, ייתכן שתראה את התופעות החריגות הבאות:
הערך 'LLM מקומי' בצד שמאל של PapersGPT אינו מופיע. לא ניתן להוריד את המודל המקומי למחשב שלך. המודל המקומי אינו יכול לספק לך שירות צ'אט.
לכן, אם ברצונך להשתמש ב-LLM מקומי ב-Windows, אנא אפשר לסוכן PapersGPT הבטוח לפעול במכשיר שלך ב-Microsoft Defender או בתוכנת האנטי-וירוס.
אל תצ'טט עם LLM מקומי במצב חיסכון בחשמל
בעת צ'אט עם PDF באמצעות LLM מקומי, אנא ודא שהמחשב שלך אינו במצב צריכת חשמל נמוכה, מצב חיסכון בחשמל או מצב דומה. הסיבה לכך היא שצ'אט עם PDF דרך LLM מקומי דורש חישובי GPU כבדים, ומצבי חיסכון בחשמל משפיעים על ביצועי החישוב, מה שהופך את תגובות PapersGPT לאיטיות יותר.
תואם Ollama
אם אתה רגיל להשתמש באפליקציית Ollama להפעלת שירות LLM מקומי, פשוט הזן את שם המודל ב-PapersGPT כפי שהוא ב-Ollama, למשל 'gemma3:1b'
