إدارة مزوّدي ونماذج LLM، ومزامنة النماذج من السجلات الخارجية، وإجراء فحوص السلامة، وتهيئة مفاتيح API لكل مؤسسة من أجل فوترة مستقلة.
يدعم Entity Enricher مجموعة واسعة من مزوّدي LLM. ويمكن لكل مزوّد أن يمتلك عدّة نماذج بأسعار وقدرات وإعدادات فردية.
تُوجّه العديد من الفرق حركة LLM عبر بوابة ذكاء اصطناعي مؤسسية، أو نقطة نهاية إقليمية، أو مزوّد غير مدمج — على سبيل المثال وكيل LiteLLM مؤسسي، أو Cloudflare AI Gateway، أو Alibaba DashScope (لنماذج Qwen). تضيف هذه بوصفها مزوّد قياسي (متوافق مع OpenAI) خاص بها مع عنوان URL أساسي مخصص.
acme-openai-gw). الأسماء المدمجة مثل openai أو anthropic محجوزة. https://gateway.example.com/v1. هذا الحقل مطلوب لأي مزوّد لا يملك Entity Enricher عميلًا مدمجًا له. https://. تُرفض عناوين الاسترجاع الداخلي والنطاقات الخاصة (localhost، 10.x، 192.168.x) لمنع هجمات SSRF — يجب أن يكون الخادم المستضاف ذاتيًا قابلاً للوصول عبر الإنترنت. بالنسبة إلى Ollama محلي، استخدم نفق Ollama المخصص بدلاً من ذلك./v1 (إكمالات المحادثة، /models).{endpoint}/models للتحقق من المفتاح وعنوان URL الأساسي قبل تشغيل عملية إثراء.لكل مزوّد إعداد الحد الأقصى للاستدعاءات المتزامنة لكل مفتاح (تجاوزه لحد المعدّل). وهو يحدّد عدد استدعاءات الـ LLM التي يشغّلها مفتاح API واحد على التوازي — شاملاً كل تدفّق يستخدم المفتاح: توزيع الإثراء متعدد الخبرات، والتصنيف، والمفاضلة، وتوليد المخطط/العيّنة.
هذا منفصل عن حد أقصى عدد المهام المتزامنة في خطتك، الذي يحدّ عدد مهام الإثراء التي تشغّلها مؤسستك بالكامل في آنٍ واحد عبر جميع المزوّدين.
يتتبّع كل نموذج قدراته، التي تُعرض على شكل أيقونات في مُحدِّد النماذج:
| القدرة | الوصف |
|---|---|
| الرؤية | يمكنه معالجة الصور والمدخلات المرئية |
| استدعاءات الأدوات | يدعم استدعاء الدوال / استخدام الأدوات |
| الإدخال الصوتي | يمكنه معالجة المدخلات الصوتية |
| إدخال PDF | يمكنه معالجة مستندات PDF |
| التخزين المؤقت للمُوجّه | يدعم تخزين الموجّه مؤقتًا لخفض التكلفة |
| الاستدلال | قدرات التفكير الموسّع / سلسلة الأفكار |
| التضمينات | يحوّل النص إلى متجه بدل أن يجيب — وهو ما تُحسم به المعرّفات الدلالية. ونماذج التضمين عائلة قائمة بذاتها، لكل منها حجم متجه خاص، ولا تظهر أبدًا في أداة اختيار نماذج الإثراء |
تحديد النموذج اختياري. فالإثراء وتوليد المخططات وتوليد العينات تقبل جميعها auto — وتعامل النموذج غير المحدَّد على أنه auto — ويُحسم ذلك على الخادم، لكل مهمة، لحظة انطلاق العملية. ويذكر التشغيل النموذج الذي وقع عليه الاختيار، فالتلقائي لا يعني الغموض أبدًا.
يمكن للمالكين تثبيت نموذج مفضَّل لكل مهمة من الإعدادات → المؤسسة → الافتراضيات. وإذا كان هناك نموذج محدَّد للمهمة المعنيّة، فهو الذي يُعتمد.
في غياب التثبيت، يقع الاختيار على النموذج صاحب أفضل درجة مركّبة من القياسات المرجعية لمصدر التقييم — أي قياساتك أنت للجودة والسرعة والتكلفة على مخططاتك أنت. وإذا لم يوجد أي مصدر تقييم على الإطلاق، يُرفض الطلب بدلًا من التخمين.
تفعيل البحث على الويب، أو إرفاق مستند يجب إرساله كما هو، يحصر المرشّحين في النماذج القادرة فعلًا على ذلك — وإن لم يتأهّل أي نموذج، تصلك رسالة خطأ صريحة بدل تخفيض صامت.
يمكن كذلك منع نموذج من مهمة واحدة دون تعطيله: فالنموذج الذي يُجيد الإثراء لكنه يولّد مخططات رديئة يمكن إخفاؤه من قوائم اختيار توليد المخططات والعيّنات فحسب، إمّا على مستوى مؤسستك أو عامًا بقرار من مسؤول. ويبقى متاحًا بالكامل في كل ما عداها — وهي أداة ألطف من التعطيل الوارد أدناه.
حافظ على تحديث تسعير النماذج عبر المزامنة من السجلات الخارجية. تكتشف عملية المزامنة النماذج الجديدة وتغييرات الأسعار والنماذج المُزالة تلقائياً.
مصدر التسعير الافتراضي. يجلب البيانات من سجل LiteLLM الذي يديره المجتمع على GitHub مع أسماء نماذج API الحقيقية والتسعير وأطوال السياق والقدرات.
يغطي ~30 مزوّدًا. لا يتضمن أسماء العرض أو معايير القياس أو سرعة التوليد.
مصدر بديل من pricepertoken.com. يتضمن أسماء العرض، واختبارات الأداء (درجات البرمجة والرياضيات)، وسرعة التوليد (عدد الرموز في الثانية).
يغطي ~20 مزوّدًا. يوفّر بيانات وصفية أغنى من LiteLLM.
فهرس رسمي موثّق لمعرّفات نماذج GLM، مع تسعير مُستخرَج مباشرة من وثائق Z.AI وفجوات في القدرات جرى بحثها هناك.
يستبدل مُدخلات Z.AI التي سبق استيرادها من LiteLLM وPricePerToken.
تحقّق استباقياً من إمكانية الوصول إلى النماذج عبر تشغيل موجّه بسيط لفحص الصحة. يكتشف هذا النماذج المعطّلة قبل أن يواجه المستخدمون أخطاء أثناء الإثراء.
يمكن إجراء فحوص السلامة على جميع النماذج، أو على نماذج مزوّد محدّد، أو على نموذج واحد. تُبَثّ النتائج في الوقت الفعلي عبر SSE مع شريط تقدّم يعرض عدد حالات النجاح والفشل.
عندما يفشل استدعاء إثراء بخطأ ”النموذج غير موجود“، يُعطَّل النموذج تلقائيًا لمنع تكرار الإخفاقات. يحدث ذلك في الوقت الفعلي أثناء عمليات الإثراء العادية.
| سبب إلغاء التفعيل | حُدِّد بواسطة | إعادة التنشيط تلقائيًا؟ |
|---|---|---|
| النموذج غير موجود | أخطاء الإثراء أو فحوصات السلامة | نعم (عبر مزامنة الأسعار أو التحقق) |
| تمت إزالة المزامنة | مزامنة التسعير (اختفى النموذج) | نعم (إذا ظهر النموذج مجددًا في السجل) |
| يدوي | مفتاح تبديل للمشرف في الواجهة | لا (إعادة التفعيل يدويًا فقط) |
يمكن للمؤسسات تكوين مفاتيح API الخاصة بمزوّد LLM لديها من أجل فوترة وتتبّع استخدام مستقلَّين. يستخدم النظام حلًّا للمفاتيح من مستويين مع اختيار LRU:
مفاتيح لكل مؤسسة يتم تكوينها في صفحة مفاتيح API. يدعم مفاتيح متعددة لكل مزوّد مع تدوير LRU. مشفّرة باستخدام Fernet.
مفاتيح على مستوى النظام يديرها المسؤولون. مشتركة بين كل المؤسسات. يدعم أيضًا عدة مفاتيح لكل مزوّد مع تدوير LRU.
تسجّل كل عملية إثراء المفتاح المستخدَم فيها، فيمكنك تتبع التكاليف لكل مفتاح. وتدعم المفاتيح فحص السلامة وعدادات الاستخدام. وداخل المجموعة الواحدة، يُختار تاليًا المفتاح المفعَّل صاحب أقدم زمن استخدام؛ ولا يخرج المفتاح من التناوب إلا عند تعطيله يدويًا، فلا يؤدي خطأ من المزود أبدًا إلى سحب مفتاح من الخدمة بصمت. تعرّف على كيفية إدارة المفاتيح في دليل مفاتيح API.
صدّر إعدادات المزودين والنماذج بالكامل بصيغة JSON للنسخ الاحتياطي أو النقل إلى نسخة أخرى. الاستيراد دائماً عملية تحديث أو إضافة (upsert): تتم مطابقة المزودين والنماذج الحالية بالاسم وتحديثها في مكانها، بينما تُضاف الجديدة — ولا يُحذف أي شيء.
يشمل التصدير إعدادات المزوّد، وتكوينات النماذج، والتسعير، والقدرات، والمواصفات المعيارية للنماذج — لكنه لا يشمل مطلقًا مفاتيح API التي تُخزَّن بشكل منفصل. بعد الاستيراد، اضبط مفاتيح API بشكل منفصل. يقوم مسؤولو النظام بعمل نسخة احتياطية من الكتالوج العام الكامل؛ أما مالكو المؤسسات فيصدّرون ويستوردون مزوّدي ونماذج مؤسستهم الخاصة فقط — ولا يمكن إنشاء الكتالوج العام المشترك أو تعديله عبر الاستيراد.