Пакетная обработка — Entity Enricher

Пакетная обработка

Обогащайте до 100 сущностей параллельно с отслеживанием прогресса в реальном времени, ограничением частоты запросов по каждому провайдеру, автоматическим многомодельным слиянием и экспортом в JSON или Excel. Пакетная обработка превращает Entity Enricher из инструмента для отдельных сущностей в производственный конвейер данных.

Конвейер пакетной обработки

ВВОД A

Вставить массив JSON

ВВОД B

Получить из URL

ВВОД C

Перетащите файл

ПРОВЕРИТЬ И ВЫБРАТЬ

Список сущностей

Выбор сущностей, проверка по схеме, встроенное редактирование

ПАРАЛЛЕЛЬНОЕ ВЫПОЛНЕНИЕ

Обогащение всех сущностей одновременно

Ограничение частоты по провайдерам, прогресс SSE по сущностям, поддержка отмены/повтора

АВТОСЛИЯНИЕ (при 2+ моделях)

Объединение результатов по сущностям

Обнаружение и разрешение конфликтов выполняется автоматически после завершения каждой сущности

ЭКСПОРТ JSON

Массив структурированных результатов

ЭКСПОРТ В EXCEL

Книга из 3 листов с конфликтами

Гибкие способы ввода

Вставить JSON

Вставьте массив JSON с объектами сущностей прямо в редактор. Система автоматически распознаёт структуру массива и извлекает отдельные сущности. Редактор JSON предоставляет подсветку синтаксиса, маркеры валидации и номера строк.

Получить из URL

Введите URL REST API для удалённого получения сущностей. Поддерживаются bearer-токен, ключ API и базовая аутентификация. Система автоматически извлекает массивы из вложенных обёрток ответа (например, { results: [...] }).

Перетаскивание

Перетащите файл JSON прямо на страницу. Оверлей вставки распознаёт содержимое JSON из буфера обмена или перетащенных файлов и автоматически загружает сущности.

Отслеживание прогресса в реальном времени

Каждое пакетное задание транслирует события прогресса через Server-Sent Events (SSE). Интерфейс показывает:

Каждая карточка результата entity сворачивается, показывая вкладки по каждому model с необработанным выводом и вкладку объединённого результата, когда включён fusion. Неудавшиеся entity можно повторить по отдельности, не запуская заново весь batch.

Ограничение частоты по провайдерам

Пакетная обработка использует конкурентные семафоры для каждого провайдера, чтобы не превышать ограничения скорости API. Если вы обогащаете 50 сущностей с помощью 3 моделей, система не отправляет 150 вызовов API одновременно. Вместо этого она соблюдает настроенное ограничение скорости каждого провайдера — например, 5 одновременных вызовов к Anthropic, 10 к OpenAI и 3 к локальному экземпляру Ollama.

Ограничения частоты настраиваются для каждого провайдера в настройках управления моделями. Система максимизирует пропускную способность в пределах ваших ограничений, предотвращая ошибки 429.

Форматы экспорта

Экспорт JSON

Структурированный массив JSON с одним объектом на сущность. Включает полный обогащённый вывод, метаданные и результаты слияния. Идеально для программного использования и последующих конвейеров данных.

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Экспорт в Excel

Книга из трёх листов, предназначенная для аналитиков и заинтересованных лиц:

  • Лист результатов: Одна строка на сущность с развёрнутыми полями обогащения в виде столбцов.
  • Сводный лист: Метаданные пакета, конфигурация модели, общая стоимость и время обработки.
  • Лист конфликтов: Детали конфликтов на уровне полей с обоснованием арбитража и оценками уверенности.

Отменить и повторить

Выполняющиеся пакетные задания можно отменить в любой момент. Отмена происходит корректно — текущие вызовы LLM завершаются (вы всё равно получите их результаты), но новые вызовы не запускаются. Уже обработанные сущности сохраняют свои результаты.

Перед запуском пакета система предоставляет оценку стоимости на основе выбранных моделей, количества сущностей и сложности схемы. Это позволяет проверить ожидаемую стоимость до подтверждения запуска.

Запустить пакетное обогащение

Загрузите список сущностей, выберите модели и обогащайте до 100 сущностей параллельно. Экспортируйте результаты в JSON или Excel с полными отчётами о конфликтах.

Начать бесплатно