Управление провайдерами и моделями LLM, синхронизация моделей из внешних реестров, запуск проверок работоспособности и настройка API-ключей для каждой организации для независимой тарификации.
Entity Enricher поддерживает широкий спектр провайдеров LLM. Каждый провайдер может иметь несколько моделей с индивидуальной ценой, возможностями и конфигурацией.
Многие команды направляют трафик LLM через корпоративный ИИ-шлюз, региональную конечную точку или провайдера, который не встроен, — например, корпоративный прокси LiteLLM, Cloudflare AI Gateway или Alibaba DashScope (для моделей Qwen). Вы добавляете их как отдельного провайдера Standard (OpenAI-compatible) с пользовательским базовым URL.
acme-openai-gw). Встроенные имена, такие как openai или anthropic, зарезервированы. https://gateway.example.com/v1. Это поле обязательно для любого провайдера, для которого в Entity Enricher нет встроенного клиента. https://. Loopback и частные диапазоны (localhost, 10.x, 192.168.x) отклоняются для предотвращения SSRF — сервер с собственным размещением должен быть доступен через интернет. Для локального Ollama используйте специальный туннель Ollama./v1 (chat completions, /models). {endpoint}/models, чтобы проверить ключ и базовый URL перед запуском обогащения.У каждого provider есть настройка Максимум одновременных вызовов на ключ (переопределение его лимита запросов). Она ограничивает, сколько вызовов LLM выполняет параллельно один ключ API — охватывая все процессы, использующие ключ: параллельное выполнение enrichment multi-expertise, classification, arbitration и генерацию schema / образцов.
Это отдельно от ограничения максимального числа одновременных задач вашего тарифа, которое ограничивает, сколько задач обогащения вся ваша организация выполняет одновременно по всем провайдерам.
Каждая model отслеживает свои возможности, которые отображаются в виде значков в селекторе model:
| Возможность | Описание |
|---|---|
| Зрение | Может обрабатывать изображения и визуальные данные |
| Вызовы инструментов | Поддерживает вызов функций / использование инструментов |
| Аудиовход | Может обрабатывать аудиоданные |
| Ввод PDF | Может обрабатывать документы PDF |
| Кэширование промптов | Поддерживает кэширование промптов для снижения затрат |
| Рассуждение | Возможности расширенного мышления / цепочки рассуждений |
| Эмбеддинги | Превращает текст в вектор вместо ответа — именно этим разрешаются семантические ID. Модели эмбеддингов образуют отдельное семейство со своим размером вектора и никогда не появляются в выборе модели для обогащения |
Указывать модель необязательно. Обогащение, генерация схемы и генерация примеров принимают значение auto — и считают пропущенную модель равной auto, — которое разрешается на сервере, отдельно для каждой задачи, в момент запуска. Прогон сообщает, какая модель была выбрана, поэтому автоматический выбор никогда не означает непрозрачный.
Владельцы могут закрепить предпочтительную модель для каждой задачи в разделе Настройки → Организация → Значения по умолчанию. Если для текущей задачи она задана, приоритет за ней.
Если закрепления нет, выбирается модель с лучшей сводной оценкой из ваших бенчмарков источника оценок — ваших собственных измерений качества, скорости и стоимости на ваших же схемах. Если источника оценок нет вовсе, запрос отклоняется, а не выполняется наугад.
Включение веб-поиска или прикрепление документа, который нужно передать как есть, ограничивает круг кандидатов моделями, которые действительно это умеют, — и если ни одна не подходит, вы получите явную ошибку вместо молчаливого понижения.
Модель можно также закрыть для одной задачи, не отключая её целиком: модель, которая хорошо обогащает, но плохо генерирует схемы, можно скрыть только из списков выбора для генерации схем и образцов — для вашей организации или глобально силами администратора. Во всём остальном она остаётся полностью доступной — это более мягкий инструмент, чем отключение ниже.
Поддерживайте актуальность цен на модели, синхронизируя их из внешних реестров. Процесс синхронизации автоматически обнаруживает новые модели, изменения цен и удалённые модели.
Источник цен по умолчанию. Загружает данные из поддерживаемого сообществом реестра LiteLLM на GitHub с реальными именами моделей API, ценами, длинами контекста и возможностями.
Охватывает ~30 провайдеров. Не включает отображаемые имена, бенчмарки и скорость генерации.
Альтернативный источник с pricepertoken.com. Включает отображаемые имена, бенчмарки (оценки по программированию и математике) и скорость генерации (токенов в секунду).
Охватывает ~20 провайдеров. Предоставляет более подробные метаданные, чем LiteLLM.
Официальный проверенный каталог идентификаторов моделей GLM, где цены взяты напрямую из документации Z.AI, а пробелы в возможностях изучены там же.
Заменяет записи Z.AI, ранее импортированные из LiteLLM и PricePerToken.
Заблаговременно проверяйте доступность моделей, запуская минимальный prompt проверки работоспособности. Это позволяет выявлять неработающие модели до того, как пользователи столкнутся с ошибками во время enrichment.
Проверки работоспособности можно запускать для всех моделей, моделей конкретного провайдера или отдельной модели. Результаты передаются в реальном времени через SSE с индикатором прогресса, показывающим количество успешных и неуспешных проверок.
Когда вызов обогащения завершается ошибкой «model not found», модель автоматически деактивируется, чтобы предотвратить повторные сбои. Это происходит в реальном времени во время обычных операций обогащения.
| Причина деактивации | Кем задано | Автоматически реактивировано? |
|---|---|---|
| Модель не найдена | Ошибки обогащения или проверки работоспособности | Да (через синхронизацию цен или валидацию) |
| Удалено при синхронизации | Синхронизация тарифов (model исчезла) | Да (если модель снова появляется в реестре) |
| Вручную | Переключатель администратора в интерфейсе | Нет (только ручная повторная активация) |
Организации могут настроить собственные API-ключи LLM-провайдеров для независимого биллинга и учёта использования. Система использует двухуровневое разрешение ключей с выбором по принципу LRU:
Ключи для каждой организации, настраиваемые на странице API-ключей. Поддерживает несколько ключей на провайдера с ротацией LRU. Зашифровано с помощью Fernet.
Общесистемные ключи, управляемые администраторами. Общие для всех организаций. Также поддерживается несколько ключей на провайдера с ротацией LRU.
Каждое обогащение фиксирует, какой ключ был использован, поэтому вы можете отслеживать расходы по каждому ключу. Ключи поддерживают проверку работоспособности и счётчики использования. В пуле следующим выбирается включённый ключ с самой давней отметкой последнего использования; ключ выходит из ротации только тогда, когда вы отключаете его вручную, поэтому ошибка провайдера никогда не выводит ключ из работы незаметно. О том, как управлять ключами, читайте в руководстве API Keys.
Экспортируйте всю конфигурацию провайдеров и моделей в формате JSON для резервного копирования или переноса на другой экземпляр. Импорт всегда выполняется как upsert: существующие провайдеры и модели сопоставляются по имени и обновляются на месте, а новые добавляются — ничего не удаляется.
Экспорт включает настройки провайдеров, конфигурации моделей, цены, возможности и канонические спецификации моделей, но никогда — ключи API, которые хранятся отдельно. После импорта настройте ключи API отдельно. Системные администраторы создают резервную копию всего глобального каталога; владельцы организаций экспортируют и импортируют только провайдеров и модели своей организации — общий глобальный каталог нельзя создать или изменить через импорт.