إدارة مزوّدي ونماذج LLM، ومزامنة النماذج من السجلات الخارجية، وإجراء فحوص السلامة، وتهيئة مفاتيح API لكل مؤسسة من أجل فوترة مستقلة.
يدعم Entity Enricher مجموعة واسعة من مزوّدي LLM. ويمكن لكل مزوّد أن يمتلك عدّة نماذج بأسعار وقدرات وإعدادات فردية.
تُوجّه العديد من الفرق حركة LLM عبر بوابة ذكاء اصطناعي مؤسسية، أو نقطة نهاية إقليمية، أو مزوّد غير مدمج — على سبيل المثال وكيل LiteLLM مؤسسي، أو Cloudflare AI Gateway، أو Alibaba DashScope (لنماذج Qwen). تضيف هذه بوصفها مزوّد قياسي (متوافق مع OpenAI) خاص بها مع عنوان URL أساسي مخصص.
acme-openai-gw). الأسماء المدمجة مثل openai أو anthropic محجوزة. https://gateway.example.com/v1. هذا الحقل مطلوب لأي مزوّد لا يملك Entity Enricher عميلًا مدمجًا له. https://. تُرفض عناوين الاسترجاع الداخلي والنطاقات الخاصة (localhost، 10.x، 192.168.x) لمنع هجمات SSRF — يجب أن يكون الخادم المستضاف ذاتيًا قابلاً للوصول عبر الإنترنت. بالنسبة إلى Ollama محلي، استخدم نفق Ollama المخصص بدلاً من ذلك./v1 (إكمالات المحادثة، /models).{endpoint}/models للتحقق من المفتاح وعنوان URL الأساسي قبل تشغيل عملية إثراء.لكل مزوّد إعداد الحد الأقصى للاستدعاءات المتزامنة لكل مفتاح (تجاوزه لحد المعدّل). وهو يحدّد عدد استدعاءات الـ LLM التي يشغّلها مفتاح API واحد على التوازي — شاملاً كل تدفّق يستخدم المفتاح: توزيع الإثراء متعدد الخبرات، والتصنيف، والمفاضلة، وتوليد المخطط/العيّنة.
هذا منفصل عن حد أقصى عدد المهام المتزامنة في خطتك، الذي يحدّ عدد مهام الإثراء التي تشغّلها مؤسستك بالكامل في آنٍ واحد عبر جميع المزوّدين.
يتتبّع كل نموذج قدراته، التي تُعرض على شكل أيقونات في مُحدِّد النماذج:
| القدرة | الوصف |
|---|---|
| الرؤية | يمكنه معالجة الصور والمدخلات المرئية |
| استدعاءات الأدوات | يدعم استدعاء الدوال / استخدام الأدوات |
| الإدخال الصوتي | يمكنه معالجة المدخلات الصوتية |
| إدخال PDF | يمكنه معالجة مستندات PDF |
| التخزين المؤقت للمُوجّه | يدعم تخزين الموجّه مؤقتًا لخفض التكلفة |
| الاستدلال | قدرات التفكير الموسّع / سلسلة الأفكار |
حافظ على تحديث تسعير النماذج عبر المزامنة من السجلات الخارجية. تكتشف عملية المزامنة النماذج الجديدة وتغييرات الأسعار والنماذج المُزالة تلقائياً.
مصدر التسعير الافتراضي. يجلب البيانات من سجل LiteLLM الذي يديره المجتمع على GitHub مع أسماء نماذج API الحقيقية والتسعير وأطوال السياق والقدرات.
يغطي ~30 مزوّدًا. لا يتضمن أسماء العرض أو معايير القياس أو سرعة التوليد.
مصدر بديل من pricepertoken.com. يتضمن أسماء العرض، واختبارات الأداء (درجات البرمجة والرياضيات)، وسرعة التوليد (عدد الرموز في الثانية).
يغطي ~20 مزوّدًا. يوفّر بيانات وصفية أغنى من LiteLLM.
تحقّق استباقياً من إمكانية الوصول إلى النماذج عبر تشغيل موجّه بسيط لفحص الصحة. يكتشف هذا النماذج المعطّلة قبل أن يواجه المستخدمون أخطاء أثناء الإثراء.
يمكن إجراء فحوص السلامة على جميع النماذج، أو على نماذج مزوّد محدّد، أو على نموذج واحد. تُبَثّ النتائج في الوقت الفعلي عبر SSE مع شريط تقدّم يعرض عدد حالات النجاح والفشل.
عندما يفشل استدعاء إثراء بخطأ ”النموذج غير موجود“، يُعطَّل النموذج تلقائيًا لمنع تكرار الإخفاقات. يحدث ذلك في الوقت الفعلي أثناء عمليات الإثراء العادية.
| سبب إلغاء التفعيل | حُدِّد بواسطة | إعادة التنشيط تلقائيًا؟ |
|---|---|---|
| النموذج غير موجود | أخطاء الإثراء أو فحوصات السلامة | نعم (عبر مزامنة الأسعار أو التحقق) |
| تمت إزالة المزامنة | مزامنة التسعير (اختفى النموذج) | نعم (إذا ظهر النموذج مجددًا في السجل) |
| يدوي | مفتاح تبديل للمشرف في الواجهة | لا (إعادة التفعيل يدويًا فقط) |
يمكن للمؤسسات تكوين مفاتيح API الخاصة بمزوّد LLM لديها من أجل فوترة وتتبّع استخدام مستقلَّين. يستخدم النظام حلًّا للمفاتيح من مستويين مع اختيار LRU:
مفاتيح لكل مؤسسة يتم تكوينها في صفحة مفاتيح API. يدعم مفاتيح متعددة لكل مزوّد مع تدوير LRU. مشفّرة باستخدام Fernet.
مفاتيح على مستوى النظام يديرها المسؤولون. مشتركة بين كل المؤسسات. يدعم أيضًا عدة مفاتيح لكل مزوّد مع تدوير LRU.
يسجّل كل إثراء المفتاح الذي استُخدم، بحيث يمكنك تتبّع التكاليف لكل مفتاح. تتضمّن المفاتيح دعم فحص السلامة وعدّادات الاستخدام، ويُعطّل تلقائياً عند حدوث إخفاقات دائمة (مفتاح غير صالح، أو دفع مطلوب). أما المفاتيح المقيّدة بالمعدّل فيُتراجع عنها مؤقتاً بينما تُستخدم مفاتيح أخرى في المجموعة. تعرّف على كيفية إدارة المفاتيح في دليل مفاتيح API.
صدّر إعدادات المزودين والنماذج بالكامل بصيغة JSON للنسخ الاحتياطي أو النقل إلى نسخة أخرى. الاستيراد دائماً عملية تحديث أو إضافة (upsert): تتم مطابقة المزودين والنماذج الحالية بالاسم وتحديثها في مكانها، بينما تُضاف الجديدة — ولا يُحذف أي شيء.
يشمل التصدير إعدادات المزوّد، وتكوينات النماذج، والتسعير، والقدرات، والمواصفات المعيارية للنماذج — لكنه لا يشمل مطلقًا مفاتيح API التي تُخزَّن بشكل منفصل. بعد الاستيراد، اضبط مفاتيح API بشكل منفصل. يقوم مسؤولو النظام بعمل نسخة احتياطية من الكتالوج العام الكامل؛ أما مالكو المؤسسات فيصدّرون ويستوردون مزوّدي ونماذج مؤسستهم الخاصة فقط — ولا يمكن إنشاء الكتالوج العام المشترك أو تعديله عبر الاستيراد.