Batchverwerking - Entity Enricher

Batchverwerking

Verrijk tot 100 entiteiten parallel met realtime voortgangsregistratie, rate limiting per provider, automatische multi-model fusie en export naar JSON of Excel. Batchverwerking maakt van Entity Enricher meer dan een tool voor één entiteit: een datapijplijn van productiekwaliteit.

Pijplijn voor batchverwerking

INVOER A

JSON-array plakken

INVOER B

Ophalen van URL

INVOER C

Bestand slepen en neerzetten

VALIDEREN & SELECTEREN

Entity-lijst

Selecteer entiteiten, valideer aan de hand van het schema, inline bewerken

PARALLELLE UITVOERING

Alle entiteiten tegelijk verrijken

Snelheidsbeperking per provider, SSE-voortgang per entiteit, ondersteuning voor annuleren/opnieuw proberen

AUTO-FUSIE (bij 2+ modellen)

Resultaten per entiteit samenvoegen

Conflictdetectie en -oplossing worden automatisch uitgevoerd nadat elke entiteit is voltooid

JSON-EXPORT

Gestructureerde resultatenarray

EXCEL-EXPORT

Werkmap met 3 bladen en conflicten

Flexibele invoermethoden

JSON plakken

Plak een JSON-array met entiteitobjecten rechtstreeks in de editor. Het systeem detecteert de arraystructuur automatisch en extraheert afzonderlijke entiteiten. De JSON-editor biedt syntaxismarkering, validatiemarkeringen en regelnummers.

Ophalen van URL

Voer een REST API-URL in om entiteiten op afstand op te halen. Ondersteunt bearer token, API-sleutel en basisverificatie. Het systeem extraheert automatisch arrays uit geneste response-wrappers (bijv. { results: [...] }).

Slepen en neerzetten

Sleep een JSON-bestand rechtstreeks op de pagina. De plak-overlay detecteert JSON-inhoud vanaf het klembord of via bestandsdrops en laadt entities automatisch.

Realtime voortgang volgen

Elke batchtaak streamt voortgangsgebeurtenissen via Server-Sent Events (SSE). De UI toont:

Elke resultaatkaart van een entity is inklapbaar en toont tabbladen per model met de ruwe output en een samengevoegd resultaattabblad wanneer fusion is ingeschakeld. Mislukte entities kunnen afzonderlijk opnieuw worden geprobeerd zonder de hele batch opnieuw uit te voeren.

Snelheidsbeperking per provider

Batchverwerking gebruikt gelijktijdige semaforen per provider om binnen de API-ratelimieten te blijven. Als je 50 entiteiten met 3 modellen verrijkt, vuurt het systeem niet 150 API-aanroepen tegelijk af. In plaats daarvan respecteert het de geconfigureerde ratelimiet van elke provider -- bijvoorbeeld 5 gelijktijdige aanroepen naar Anthropic, 10 naar OpenAI en 3 naar een zelf-gehoste Ollama-instantie.

Rate limits zijn per provider instelbaar in de instellingen voor modelbeheer. Het systeem maximaliseert de doorvoer binnen je limieten en voorkomt tegelijk 429-fouten.

Exportformaten

JSON-export

Een gestructureerde JSON-array met één object per entiteit. Bevat de volledige verrijkte uitvoer, metadata en fusieresultaten. Ideaal voor programmatisch gebruik en downstream-datapijplijnen.

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Excel-export

Een werkmap met drie tabbladen, ontworpen voor analisten en belanghebbenden:

  • Resultatenblad: Eén rij per entiteit met afgevlakte verrijkingsvelden als kolommen.
  • Overzichtsblad: Batch-metadata, modelconfiguratie, totale kosten en verwerkingstijd.
  • Conflictenblad: Conflictdetails op veldniveau met arbitrageredenering en betrouwbaarheidsscores.

Annuleren en opnieuw proberen

Lopende batchtaken kunnen op elk moment worden geannuleerd. Annuleren verloopt netjes -- lopende LLM-aanroepen worden voltooid (je krijgt hun resultaten nog steeds), maar er worden geen nieuwe aanroepen gestart. Al voltooide entiteiten behouden hun resultaten.

Voordat je een batch start, geeft het systeem een kostenraming op basis van de geselecteerde modellen, het aantal entiteiten en de complexiteit van het schema. Zo kun je de verwachte kosten valideren voordat je je aan de run vastlegt.

Batch-enrichment starten

Upload je entiteitenlijst, selecteer modellen en verrijk tot 100 entiteiten parallel. Exporteer resultaten als JSON of Excel met volledige conflictrapporten.

Gratis aan de slag