Управление провайдерами и моделями LLM, синхронизация моделей из внешних реестров, запуск проверок работоспособности и настройка API-ключей для каждой организации для независимой тарификации.
Entity Enricher поддерживает широкий спектр провайдеров LLM. Каждый провайдер может иметь несколько моделей с индивидуальной ценой, возможностями и конфигурацией.
Многие команды направляют трафик LLM через корпоративный ИИ-шлюз, региональную конечную точку или провайдера, который не встроен, — например, корпоративный прокси LiteLLM, Cloudflare AI Gateway или Alibaba DashScope (для моделей Qwen). Вы добавляете их как отдельного провайдера Standard (OpenAI-compatible) с пользовательским базовым URL.
acme-openai-gw). Встроенные имена, такие как openai или anthropic, зарезервированы. https://gateway.example.com/v1. Это поле обязательно для любого провайдера, для которого в Entity Enricher нет встроенного клиента. https://. Loopback и частные диапазоны (localhost, 10.x, 192.168.x) отклоняются для предотвращения SSRF — сервер с собственным размещением должен быть доступен через интернет. Для локального Ollama используйте специальный туннель Ollama./v1 (chat completions, /models). {endpoint}/models, чтобы проверить ключ и базовый URL перед запуском обогащения.У каждого provider есть настройка Максимум одновременных вызовов на ключ (переопределение его лимита запросов). Она ограничивает, сколько вызовов LLM выполняет параллельно один ключ API — охватывая все процессы, использующие ключ: параллельное выполнение enrichment multi-expertise, classification, arbitration и генерацию schema / образцов.
Это отдельно от ограничения максимального числа одновременных задач вашего тарифа, которое ограничивает, сколько задач обогащения вся ваша организация выполняет одновременно по всем провайдерам.
Каждая model отслеживает свои возможности, которые отображаются в виде значков в селекторе model:
| Возможность | Описание |
|---|---|
| Зрение | Может обрабатывать изображения и визуальные данные |
| Вызовы инструментов | Поддерживает вызов функций / использование инструментов |
| Аудиовход | Может обрабатывать аудиоданные |
| Ввод PDF | Может обрабатывать документы PDF |
| Кэширование промптов | Поддерживает кэширование промптов для снижения затрат |
| Рассуждение | Возможности расширенного мышления / цепочки рассуждений |
Поддерживайте актуальность цен на модели, синхронизируя их из внешних реестров. Процесс синхронизации автоматически обнаруживает новые модели, изменения цен и удалённые модели.
Источник цен по умолчанию. Загружает данные из поддерживаемого сообществом реестра LiteLLM на GitHub с реальными именами моделей API, ценами, длинами контекста и возможностями.
Охватывает ~30 провайдеров. Не включает отображаемые имена, бенчмарки и скорость генерации.
Альтернативный источник с pricepertoken.com. Включает отображаемые имена, бенчмарки (оценки по программированию и математике) и скорость генерации (токенов в секунду).
Охватывает ~20 провайдеров. Предоставляет более подробные метаданные, чем LiteLLM.
Заблаговременно проверяйте доступность моделей, запуская минимальный prompt проверки работоспособности. Это позволяет выявлять неработающие модели до того, как пользователи столкнутся с ошибками во время enrichment.
Проверки работоспособности можно запускать для всех моделей, моделей конкретного провайдера или отдельной модели. Результаты передаются в реальном времени через SSE с индикатором прогресса, показывающим количество успешных и неуспешных проверок.
Когда вызов обогащения завершается ошибкой «model not found», модель автоматически деактивируется, чтобы предотвратить повторные сбои. Это происходит в реальном времени во время обычных операций обогащения.
| Причина деактивации | Кем задано | Автоматически реактивировано? |
|---|---|---|
| Модель не найдена | Ошибки обогащения или проверки работоспособности | Да (через синхронизацию цен или валидацию) |
| Удалено при синхронизации | Синхронизация тарифов (model исчезла) | Да (если модель снова появляется в реестре) |
| Вручную | Переключатель администратора в интерфейсе | Нет (только ручная повторная активация) |
Организации могут настроить собственные API-ключи LLM-провайдеров для независимого биллинга и учёта использования. Система использует двухуровневое разрешение ключей с выбором по принципу LRU:
Ключи для каждой организации, настраиваемые на странице API-ключей. Поддерживает несколько ключей на провайдера с ротацией LRU. Зашифровано с помощью Fernet.
Общесистемные ключи, управляемые администраторами. Общие для всех организаций. Также поддерживается несколько ключей на провайдера с ротацией LRU.
Каждое enrichment фиксирует, какой ключ был использован, поэтому вы можете отслеживать затраты по каждому ключу. Ключи поддерживают проверку работоспособности, счётчики использования и автоматически отключаются при постоянных сбоях (недействительный ключ, требуется оплата). Ключи с превышением лимита запросов временно приостанавливаются, пока используются другие ключи из пула. Узнайте, как управлять ключами, в руководстве API Keys.
Экспортируйте всю конфигурацию провайдеров и моделей в формате JSON для резервного копирования или переноса на другой экземпляр. Импорт всегда выполняется как upsert: существующие провайдеры и модели сопоставляются по имени и обновляются на месте, а новые добавляются — ничего не удаляется.
Экспорт включает настройки провайдеров, конфигурации моделей, цены, возможности и канонические спецификации моделей, но никогда — ключи API, которые хранятся отдельно. После импорта настройте ключи API отдельно. Системные администраторы создают резервную копию всего глобального каталога; владельцы организаций экспортируют и импортируют только провайдеров и модели своей организации — общий глобальный каталог нельзя создать или изменить через импорт.