Procesamiento por lotes - Entity Enricher

Procesamiento por lotes

Enriquezca hasta 100 entidades en paralelo con seguimiento del progreso en tiempo real, limitación de velocidad por proveedor, fusión multimodelo automática y exportación a JSON o Excel. El procesamiento por lotes convierte Entity Enricher de una herramienta de una sola entidad en una canalización de datos de nivel de producción.

Flujo de procesamiento por lotes

ENTRADA A

Pegar array JSON

ENTRADA B

Obtener desde URL

ENTRADA C

Arrastrar y soltar archivo

VALIDAR Y SELECCIONAR

Lista de entidades

Seleccione entidades, valide frente al schema, edición en línea

EJECUCIÓN EN PARALELO

Enriquecer todas las entidades simultáneamente

Límite de velocidad por proveedor, progreso SSE por entidad, compatibilidad con cancelar/reintentar

FUSIÓN AUTOMÁTICA (si hay 2+ modelos)

Fusionar resultados por entidad

La detección y resolución de conflictos se ejecuta automáticamente al completarse cada entidad

EXPORTACIÓN JSON

Array de resultados estructurados

EXPORTACIÓN A EXCEL

Libro de 3 hojas con conflictos

Métodos de entrada flexibles

Pegar JSON

Pegue un array JSON de objetos de entidad directamente en el editor. El sistema detecta automáticamente la estructura del array y extrae las entidades individuales. El editor JSON ofrece resaltado de sintaxis, marcadores de validación y números de línea.

Obtener desde URL

Introduzca una URL de API REST para obtener entidades de forma remota. Admite token bearer, clave de API y autenticación básica. El sistema extrae automáticamente arrays de envoltorios de respuesta anidados (p. ej., { results: [...] }).

Arrastrar y soltar

Arrastre un archivo JSON directamente sobre la página. La superposición de pegado detecta contenido JSON del portapapeles o de archivos soltados y carga las entidades automáticamente.

Seguimiento del progreso en tiempo real

Cada trabajo por lotes transmite eventos de progreso mediante Server-Sent Events (SSE). La interfaz muestra:

Cada tarjeta de resultado de entidad es plegable y muestra pestañas por modelo con la salida sin procesar, además de una pestaña de resultado combinado cuando la fusión está activada. Las entidades fallidas pueden reintentarse individualmente sin volver a ejecutar todo el lote.

Límite de velocidad por proveedor

El procesamiento por lotes utiliza semáforos concurrentes por proveedor para mantenerse dentro de los límites de tasa de la API. Si está enriqueciendo 50 entidades con 3 modelos, el sistema no lanza 150 llamadas a la API a la vez. En su lugar, respeta el límite de tasa configurado de cada proveedor: por ejemplo, 5 llamadas concurrentes a Anthropic, 10 a OpenAI y 3 a una instancia autoalojada de Ollama.

Los límites de tasa se pueden configurar por proveedor en los ajustes de gestión de modelos. El sistema maximiza el rendimiento dentro de sus límites y evita los errores 429.

Formatos de exportación

Exportación JSON

Un array JSON estructurado con un objeto por entidad. Incluye la salida enriquecida completa, los metadatos y los resultados de la fusión. Ideal para el consumo programático y las canalizaciones de datos posteriores.

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Exportación a Excel

Un libro de tres hojas diseñado para analistas y partes interesadas:

  • Hoja de resultados: Una fila por entidad con los campos de enriquecimiento aplanados como columnas.
  • Hoja de resumen: Metadatos del lote, configuración del modelo, coste total y tiempo de procesamiento.
  • Hoja de conflictos: Detalles de conflictos a nivel de campo con el razonamiento de arbitraje y las puntuaciones de confianza.

Cancelar y reintentar

Los trabajos por lotes en ejecución se pueden cancelar en cualquier momento. La cancelación es controlada: las llamadas LLM en curso se completan (usted sigue obteniendo sus resultados), pero no se inician nuevas llamadas. Las entidades ya completadas conservan sus resultados.

Antes de iniciar un lote, el sistema proporciona una estimación de costes basada en los modelos seleccionados, el número de entidades y la complejidad del esquema. Esto le permite validar el coste esperado antes de comprometerse con la ejecución.

Iniciar enriquecimiento por lotes

Cargue su lista de entidades, seleccione modelos y enriquezca hasta 100 entidades en paralelo. Exporte los resultados como JSON o Excel con informes completos de conflictos.

Empiece gratis