Пакетная обработка

Обогащайте любое количество сущностей параллельно с отслеживанием прогресса в реальном времени, автоматическим слиянием нескольких моделей и экспортом в JSON или Excel — ограничено только квотой использования вашего тарифа, а не фиксированным размером пакета.

Способы ввода

Строки поступают через панель источников над таблицей — три вкладки, одновременно открыта одна. После загрузки строк панель сворачивается в одну строку («Вставка / CSV · загружено 12 строк»), чтобы таблица сохранила высоту; нажмите на неё, чтобы загрузить другой набор.

  1. 1«Вставка / CSV», «Файл» и «URL» — одновременно открыт только один источник
  2. 2Кнопка подсчитывает строки до их загрузки
  3. 3Определённое количество столбцов и строка заголовка
Разделитель — запятая, табуляция или точка с запятой — и строка заголовка определяются в браузере прямо при вставке, поэтому неверное определение видно ещё до загрузки первой строки.

Вставка / CSV

Вставляйте строки прямо из Excel, Google Sheets или CSV-экспорта. Запятая, табуляция и точка с запятой распознаются, ячейка в кавычках может содержать разделитель, а первая строка из нечисловых значений считается заголовками столбцов.

Файл

Перетащите файл .csv, .tsv или .json на вкладку либо выберите его на диске. Файл JSON может содержать массив объектов или один объект; столбцы — это объединение их ключей, поэтому неоднородные записи тоже загружаются.

URL

Получайте сущности с любой конечной точки REST. Всё, что возвращается, читается как список произвольных объектов, а набор столбцов — это объединение их ключей.

Поддерживаемая аутентификация:

НетТокен BearerЗаголовок ключа APIBasic Auth

Если API возвращает объект, система проверяет ключи вроде data, results, items на наличие вложенного массива.

Выбор и проверка сущности

После загрузки сущности появляются в списке с возможностью выбора и статусом валидации. Вы можете выбрать, какие сущности включить в пакет:

Множественный выбор— Отмечайте строки по одной или установите флажок в заголовке, чтобы выбрать все; Ctrl+A выделяет всё, что показывает текущий фильтр. Щелчок по строке открывает панель с её результатом, а не меняет выделение.
Встроенное редактирование— Дважды щёлкните любую входную ячейку, чтобы исправить значение на месте — редактируется любой столбец из ваших данных, а не только ключи поиска схемы.
Проверка— Ваши строки не обязаны использовать имена полей схемы — модели читают их как есть. Единственное, что проверяет таблица, — это пустота: строка без единого значения помечается, отображается серым и исключается из запуска. Выберите модель классификации, чтобы сущности неподходящего типа отбрасывались автоматически.
Выборочная обработка— Для обогащения отправляются только выбранные сущности. Снимите выделение с сущностей, которые не хотите обрабатывать.
Проверка контракта для каждой строки— Сервер проверяет каждую строку на соответствие входному контракту схемы до каких-либо трат и сообщает обо всех проблемных строках, а не останавливается на первой, — так вы исправляете весь пакет за один проход.
  1. 1Флажки в строках определяют, на что расходуется запуск
  2. 2Пустая строка отмечается здесь — и исключается из запуска
  3. 3Выбрано 12 — но запустить можно только 11
В строке 11 нет имени, только страна и тикер, но она всё равно обогащается: отсутствующий поисковый ключ модели могут обойти, а пустую строку — нет. Ввод, проверка и состояние запуска здесь — одна строка, а не три отдельных списка.

Конфигурация

Боковая панель повторяет параметры настройки одиночного обогащения:

ВариантОписание
СхемаЦелевая схема, определяющая структуру результата обогащения
СтратегияОдин проход, экспертные области или мульти-экспертиза (параллельные вызовы по областям)
МоделиОдна или несколько AI-моделей для запуска на каждую сущность. Несколько моделей включают автоматическое слияние.
ЯзыкиЯзыки для многоязычного обогащения полей (например, английский + французский)
КлассификацияНеобязательная быстрая модель для проверки типа сущности перед обогащением
АрбитражМодель для разрешения конфликтов на основе LLM во время слияния. Если не задана, используется слияние на основе правил.

Оценка стоимости

Оценочная стоимость отображается на панели запуска, рядом с кнопкой, которая расходует средства. Она рассчитывается по количеству свойств вашей схемы, стоимости токенов выбранных моделей и числу выбранных вами сущностей. При автоматическом выборе модели она определяется только в момент запуска, поэтому показанная сумма — медиана по моделям, которые могут быть выбраны. Диалог подтверждения появляется не при каждом запуске, а только когда запуск действительно сопряжён с риском: результаты пишутся в связанную базу данных, оценка велика или часть выбранных строк будет пропущена.

  1. 1Две модели: по одному вызову каждой на сущность
  2. 2Оценка пересчитывается при изменении выбора
  3. 311 сущностей, а не 12 загруженных — пустая строка отбрасывается
Кнопка сообщает, что именно будет запущено, поэтому количество и цена читаются вместе. Ниже телефонной контрольной точки списки выбора сворачиваются в «Другие параметры», а оценка остаётся рядом с кнопкой.

Параллельное выполнение

Все выбранные сущности обрабатываются одновременно. Каждая сущность независимо проходит полный конвейер обогащения:

Конвейер по каждой сущности

  1. Классификация (необязательно) — Быстрая модель проверяет тип сущности. В пакетном режиме несоответствия не приостанавливают задачу; контекст передаётся дальше.
  2. Обогащение несколькими моделями — каждая выбранная модель обогащает сущность параллельно, в темпе, укладывающемся в бюджет лимитов её ключа.
  3. Автослияние (когда успешно отрабатывают 2+ моделей) — Результаты автоматически объединяются с помощью обнаружения и разрешения конфликтов.

Регулирование темпа

Все сущности используют общий бюджет лимитов каждого ключа API и модели — запросы и токены в минуту, которые провайдер выделяет этому ключу; они считываются из его ответов или определяются после отказа. При 20 сущностях и 2 моделях вызовы к модели с лимитом 15 запросов в минуту распределяются по всей минуте, а вторая модель работает в своём темпе, поэтому пакет завершается без ошибок 429.

Прогресс в реальном времени

При запуске между панелью инструментов и таблицей появляется полоса выполнения, работающая на Server-Sent Events (SSE): один индикатор прогресса для пакета, отдельные счётчики «выполнено / с ошибкой / пропущено» вместо одного общего числа, прошедшее время с оценкой оставшегося по уже завершённым строкам и текущие расходы относительно предварительной оценки. Поверх таблицы ничего не открывается — строки остаются на месте, и каждая показывает собственное состояние в столбце «Статус» рядом с затраченными временем и стоимостью.

Не запускалось

Строка ещё не проходила через запуск — в ячейке «Статус» стоит прочерк, а не повторение одного и того же значения по всему столбцу.

В очереди

Принято в пакет, ожидает места в бюджете лимитов ключа.

Выполняется

Вместо надписи появляется встроенный индикатор, показывающий, сколько шагов экспертизы завершено из общего числа.

Готово

Все модели вернули ответ. Время и стоимость заполняются, а столбцы результата становятся читаемыми.

Не удалось

Ни одна модель не выдала результат для этой строки. После остановки пакета панель предлагает повторить только неудавшиеся строки.

Пропущено

Отброшено до обогащения — например, при уверенном несовпадении классификации, — поэтому строка ничего не стоила.

Чипы «Готово» / «Ошибка» / «Пропущено» на панели инструментов фильтруют таблицу по этим строкам, а переключатель «Ввод» / «Оба» / «Результат» показывает те же строки как отправленные данные, как полученный ответ или оба варианта рядом.

Отмена и обработка ошибок

Вы можете отменить выполняющийся пакет в любой момент. Отмена кооперативная — сущности, уже находящиеся в обработке, завершают свой текущий вызов LLM, но новые вызовы не начинаются. Частичные результаты завершённых сущностей сохраняются.

Устойчивость к ошибкам

Пакетная обработка спроектирована как отказоустойчивая. Отдельные сбои не останавливают пакет:

  • Если классификация сущности не удаётся, обогащение продолжается без контекста
  • Если одна модель терпит неудачу, другие модели для этой сущности продолжают работу
  • При двух и более моделях автоматическое объединение выполняется только для тех сущностей, где успешно отработала каждая модель: неполная сущность не даёт объединённого результата, и в вашу базу данных ничего не попадёт, пока недостающая модель не будет восстановлена повторным запуском её неудавшихся экспертиз
  • Если все модели терпят неудачу для сущности, она помечается как неудавшаяся, а остальные продолжают работу
  • Модели, возвращающие ошибки «не найдено», автоматически деактивируются

Форматы экспорта

После завершения пакета экспортируйте результаты в трёх форматах. Для каждой сущности предпочтительно используется результат слияния, если он доступен; в противном случае используется результат лучшей модели.

Файл JSON

Скачайте полные результаты в виде структурированного файла JSON со всеми данными сущностей, выводами моделей и метаданными слияния.

Буфер обмена

Скопируйте результаты JSON прямо в буфер обмена, чтобы вставить их в другие инструменты или скрипты.

Excel

Книга из трёх листов: Results (одна строка на сущность с развёрнутыми свойствами), Summary (метаданные пакета, модели, затраты) и Conflicts (детали конфликтов по каждой сущности с обоснованием разрешения).

Лимиты

ЛимитЗначение
Макс. сущностей в пакетеБез фиксированного ограничения — в пределах квоты использования вашего тарифа
Макс. размер данных сущности50 000 символов
Макс. длина промпта100 000 символов
Тайм-аут загрузки по URL30 секунд

Дальнейшие шаги