تحدث مع نماذج LLM محلية مجانية في Zotero
مقدمة
اليوم، تتطور نماذج اللغة الكبيرة مفتوحة المصدر (LLMs) بسرعة. على الرغم من أنها قد لا تكون ممتازة مثل نماذج LLM التجارية المدفوعة، بالنسبة للملخصات التلقائية وكتابة مراجعات المقالات وسيناريوهات قراءة الأوراق المساعدة الأخرى، فإن بعض نماذج LLM مفتوحة المصدر كافية تمامًا إلى حد ما. وهي دائمًا مجانية تمامًا، ولا تتطلب سوى جهاز الكمبيوتر الشخصي الخاص بك ومصدر طاقة كافٍ. الآن، يدعم PapersGPT تشغيل نماذج LLM المحلية بسلاسة في Zotero، سواء على منصات Windows أو Mac، بسهولة.
شغّل نماذج LLM مجانية بنقرة واحدة في Zotero
تهيئة البيئة
عند تثبيت وتشغيل PapersGPT لأول مرة (v0.2.0 على الأقل)، سيستغرق النظام بعض الوقت لتهيئة المكتبات التابعة وحزم التثبيت اللازمة لتشغيل نماذج LLM المحلية تلقائيًا. يرجى التأكد من أن الشبكة جيدة ويمكنها الاتصال بـ GitHub و HuggingFace. تعمل هذه العملية تلقائيًا في الخلفية، دون حاجة المستخدمين للقلق بشأن التكوين اليدوي الممل للبيئة والتثبيت. في بعض بيئات نظام Windows، قد يحذر جدار الحماية من وجود مخاطر، يرجى منح الأذونات ذات الصلة لضمان سير عملية التثبيت بسلاسة.
اختر نموذجك المفضل
عند اكتمال تهيئة بيئة تشغيل LLM، سيظهر خيار LLM المحلي في PapersGPT، وسيتم تكوينه وفقًا لبيئة الجهاز المحلي، مع نماذج LLM مفتوحة المصدر مدمجة بحجم مناسب. النماذج المحلية المجانية المدعومة موضحة في الجدول أدناه.
| Provider | Supported Models |
|---|---|
| OpenAI | gpt-oss-20b |
| gemma-3-12b | gemma-3-4b | gemma-3-1b | gemma-3n-e4b | |
| Qwen | qwen-3-8b | qwen-3-4b | qwen-3-1.7b |
| DeepSeek | deepseek-distill-llama | deepseek-distill-llama-small | deepseek-0528-distill-qwen3 | deepseek-0528-distill-qwen3-small | deepseek-distll-qwen-1.5b |
| Microsoft | phi-4 | phi-4-mini-reasoning |
| Mistral | mistral-7b | mistral-7b-small |
| Llama | llama-3.1-8b | llama-3.1-8b-small |
يرجى ملاحظة أنه بسبب قيود ذاكرة GPU لجهاز الكمبيوتر أو الكمبيوتر المحمول الخاص بك، لن تظهر جميع النماذج. فقط النماذج التي يكون حجمها أصغر من ذاكرة GPU الخاصة بك ستظهر. بمجرد أن تصبح نماذج LLM قابلة للاختيار، يمكن تشغيلها بأمان على GPU لجهازك المحلي، وستعطى الأولوية للتشغيل على أكبر بطاقة GPU محلية لديك.
تنزيل النموذج
بعد اختيار نموذج معين (مثل gemma 3 4b)، سيتم تنزيل النموذج تلقائيًا من HuggingFace إلى الكمبيوتر المحلي. نظرًا لأن نماذج LLM عادة ما تكون كبيرة، يستغرق التنزيل عادة بعض الوقت. سيتم عرض تقدم التنزيل على PapersGPT. بمجرد اكتمال تنزيل النموذج، سيتم تحميل وتشغيل خدمة استدلال LLM المحلية تلقائيًا في الخلفية.
تحدث مع LLM المحلي
تحدث مع LLM المحلي أثناء قراءة الأوراق. يمكنك القراءة من ورقة واحدة أو دمج عدة أوراق. على سبيل المثال، يمكنك إنشاء مراجعة أدبيات بناءً على أوراق متعددة ذات صلة في Zotero، وهو أمر مريح للغاية وسهل الاستخدام.
ملاحظات مهمة
قد يتم تصنيف وكيل PapersGPT بشكل خاطئ كحصان طروادة أو فيروس على Windows. قد يتم تصنيف الوكيل ذي الصلة لـ PapersGPT بشكل خاطئ كحصان طروادة أو فيروس بواسطة Microsoft Defender أو برامج مكافحة الفيروسات الأخرى. في هذا الوقت، قد ترى الظواهر غير الطبيعية التالية:
لا يظهر إدخال 'LLM المحلي' على الجانب الأيسر من PapersGPT. لا يمكن تنزيل النموذج المحلي إلى جهاز الكمبيوتر الخاص بك. لا يمكن للنموذج المحلي تقديم خدمة الدردشة لك.
لذلك، إذا كنت ترغب في استخدام LLM المحلي على Windows، يرجى السماح لوكيل PapersGPT الآمن بالعمل على جهازك في Microsoft Defender أو برنامج مكافحة الفيروسات.
لا تتحدث مع LLM المحلي في وضع توفير الطاقة
عند التحدث مع PDF باستخدام LLM المحلي، يرجى التأكد من أن جهاز الكمبيوتر الخاص بك ليس في وضع الطاقة المنخفضة أو وضع توفير الطاقة أو وضع مشابه. هذا لأن الدردشة مع PDF عبر LLM المحلي تتطلب حسابات GPU كبيرة، وتؤثر أوضاع توفير الطاقة وما شابهها على أداء الحساب، مما يجعل ردود PapersGPT أبطأ.
متوافق مع Ollama
إذا كنت معتادًا على استخدام تطبيق Ollama لبدء خدمة LLM المحلية، فقط أدخل اسم النموذج في PapersGPT كما هو الحال في Ollama، على سبيل المثال 'gemma3:1b'
