Traitement par lot - Entity Enricher

Traitement par lot

Enrichissez jusqu'à 100 entités en parallèle avec suivi de progression en temps réel, limitation de débit par fournisseur, fusion multi-modèles automatique et export en JSON ou Excel. Le traitement par lot transforme Entity Enricher d'un outil mono-entité en un pipeline de données de niveau production.

Pipeline de traitement par lot

ENTRÉE A

Coller un tableau JSON

ENTRÉE B

Récupérer depuis une URL

ENTRÉE C

Glisser-déposer un fichier

VALIDER ET SÉLECTIONNER

Liste d'entités

Sélection des entités, validation selon le schéma, édition directe

EXÉCUTION PARALLÈLE

Enrichir toutes les entités simultanément

Limitation de débit par fournisseur, progression SSE par entité, prise en charge de l'annulation et des nouvelles tentatives

FUSION AUTOMATIQUE (si 2 modèles ou plus)

Fusionner les résultats par entité

La détection et la résolution des conflits s'exécutent automatiquement une fois chaque entité traitée

EXPORT JSON

Tableau de résultats structurés

EXPORT EXCEL

Classeur de 3 feuilles avec conflits

Méthodes d'entrée flexibles

Coller du JSON

Collez un tableau JSON d'objets entité directement dans l'éditeur. Le système détecte automatiquement la structure du tableau et extrait les entités individuelles. L'éditeur JSON offre coloration syntaxique, marqueurs de validation et numéros de ligne.

Récupérer depuis une URL

Saisissez une URL d'API REST pour récupérer des entités à distance. Prend en charge l'authentification par jeton bearer, par clé API et basique. Le système extrait automatiquement les tableaux des enveloppes de réponse imbriquées (p. ex. { results: [...] }).

Glisser-déposer

Faites glisser un fichier JSON directement sur la page. La superposition de collage détecte le contenu JSON provenant du presse-papiers ou d'un dépôt de fichier et charge automatiquement les entités.

Suivi de progression en temps réel

Chaque traitement par lot diffuse des événements de progression via Server-Sent Events (SSE). L'interface affiche :

Chaque carte de résultat d'entité est repliable, avec des onglets par modèle affichant la sortie brute et un onglet de résultat fusionné lorsque la fusion est activée. Les entités en échec peuvent être relancées individuellement sans réexécuter tout le traitement par lot.

Limitation de débit par fournisseur

Le traitement par lot utilise des sémaphores concurrents par fournisseur pour respecter les limites de débit des API. Si vous enrichissez 50 entités avec 3 modèles, le système ne lance pas 150 appels API d'un coup. Il respecte au contraire la limite de débit configurée pour chaque fournisseur — par exemple, 5 appels concurrents vers Anthropic, 10 vers OpenAI et 3 vers une instance Ollama auto-hébergée.

Les limites de débit sont configurables par fournisseur dans les paramètres de gestion des modèles. Le système maximise le débit dans vos limites tout en évitant les erreurs 429.

Formats d'export

Export JSON

Un tableau JSON structuré avec un objet par entité. Inclut la sortie enrichie complète, les métadonnées et les résultats de fusion. Idéal pour une consommation programmatique et les pipelines de données en aval.

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Export Excel

Un classeur à trois feuilles conçu pour les analystes et les parties prenantes :

  • Feuille de résultats : Une ligne par entité, avec les champs d'enrichissement aplatis en colonnes.
  • Feuille de synthèse : Métadonnées du traitement par lot, configuration du model, coût total et temps de traitement.
  • Feuille des conflits : Détails des conflits au niveau des champs avec le raisonnement d'arbitrage et les scores de confiance.

Annuler et réessayer

Les tâches de traitement par lot en cours peuvent être annulées à tout moment. L'annulation est progressive : les appels LLM en cours se terminent (vous recevez quand même leurs résultats), mais aucun nouvel appel n'est lancé. Les entités déjà traitées conservent leurs résultats.

Avant de lancer un traitement par lot, le système fournit une estimation du coût basée sur les modèles sélectionnés, le nombre d'entités et la complexité du schéma. Vous pouvez ainsi valider le coût attendu avant de lancer l'exécution.

Lancer le traitement par lot d'enrichissement

Téléversez votre liste d'entités, sélectionnez des modèles et enrichissez jusqu'à 100 entités en parallèle. Exportez les résultats en JSON ou Excel avec des rapports de conflits complets.

Commencer gratuitement