צ'אט עם LLMs מקומיים חינמיים ב-Zotero
מבוא
כיום, מודלי שפה גדולים בקוד פתוח (LLMs) מתפתחים במהירות. למרות שהם עשויים שלא להיות מצוינים כמו LLMs מסחריים בתשלום, עבור סיכומים אוטומטיים, כתיבת ביקורות מאמרים ותרחישי קריאת מאמרים מסייעים אחרים, חלק מ-LLMs בקוד פתוח מספיקים במידה מסוימת. והם תמיד חינמיים לחלוטין, דורשים רק את המחשב האישי שלך ואספקת חשמל מספקת. כעת, PapersGPT תומך בהפעלת LLMs מקומיים בצורה חלקה ב-Zotero, הן בפלטפורמות Windows והן ב-Mac, בקלות.
הפעל LLMs חינמיים בלחיצה אחת ב-Zotero
אתחל את הסביבה
בעת התקנה והפעלה ראשונה של PapersGPT (לפחות v0.2.0), המערכת תבלה זמן מה באתחול אוטומטי של ספריות התלות וחבילות ההתקנה הנדרשות להפעלת LLMs מקומיים. אנא ודא שהרשת טובה ויכולה להתחבר ל-GitHub ו-HuggingFace. תהליך זה פועל אוטומטית ברקע, ללא צורך של משתמשים לדאוג להגדרות סביבה ידניות מייגעות והתקנות. בחלק מסביבות מערכת Windows, חומת האש עשויה להזהיר מפני סיכונים, אנא הענק את ההרשאות הרלוונטיות כדי להבטיח שתהליך ההתקנה יתקדם בצורה חלקה.
בחר את המודל המועדף עליך
כאשר אתחול סביבת ההרצה של LLM יושלם, אפשרות ה-LLM המקומי תופיע ב-PapersGPT, ותהיה מוגדרת בהתאם לסביבת המכונה המקומית, עם LLMs בקוד פתוח מובנים בגודל תואם. המודלים המקומיים החינמיים הנתמכים מוצגים בטבלה למטה.
| Provider | Supported Models |
|---|---|
| OpenAI | gpt-oss-20b |
| gemma-3-12b | gemma-3-4b | gemma-3-1b | gemma-3n-e4b | |
| Qwen | qwen-3-8b | qwen-3-4b | qwen-3-1.7b |
| DeepSeek | deepseek-distill-llama | deepseek-distill-llama-small | deepseek-0528-distill-qwen3 | deepseek-0528-distill-qwen3-small | deepseek-distll-qwen-1.5b |
| Microsoft | phi-4 | phi-4-mini-reasoning |
| Mistral | mistral-7b | mistral-7b-small |
| Llama | llama-3.1-8b | llama-3.1-8b-small |