Batchverwerking - Entity Enricher-documentatie

Batchverwerking

Verrijk tot 100 entiteiten parallel met realtime voortgangsregistratie, automatische multi-model fusie en export naar JSON of Excel.

Invoermethoden

Batchverrijking ondersteunt twee manieren om entiteitgegevens aan te leveren:

JSON-editor

Plak of typ een JSON-array met entiteiten rechtstreeks. De editor biedt syntaxismarkering en validatiemarkeringen en bewaart je gegevens tussen sessies in lokale opslag.

[
  { "name": "Sanofi", "country": "France" },
  { "name": "Pfizer", "country": "USA" },
  { "name": "Novartis", "country": "CH" }
]

URL ophalen

Haal entiteiten op van elk REST API-eindpunt. Het systeem extraheert automatisch arrays uit veelvoorkomende response-wrappers.

Ondersteunde authenticatie:

GeenBearer-tokenAPI-sleutelheaderBasic Auth

Als de API een object retourneert, controleert het systeem sleutels als data, results, items op een ingesloten array.

Entity-selectie en -validatie

Nadat je entiteiten hebt geladen, verschijnen ze in een selecteerbare lijst met validatiestatus. Je kunt kiezen welke entiteiten je in de batch opneemt:

Meervoudige selectieKlik om individuele entiteiten te selecteren. Shift+klik voor bereiken. Ctrl+A om alles te selecteren, Ctrl+D om alles te deselecteren.
Inline bewerkenKlik op zoeksleutelvelden (naam, land, enz.) om ze rechtstreeks in de lijst te bewerken vóór de verrijking.
ValidatieElke entity wordt gevalideerd aan de hand van de search keys van het schema. Ten minste één search key moet zijn ingevuld. Ongeldige entities tonen waarschuwingen, maar kunnen nog steeds worden geselecteerd.
Selectieve verwerkingAlleen geselecteerde entiteiten worden voor verrijking verzonden. Deselecteer entiteiten die je niet wilt verwerken.

Configuratie

De zijbalk weerspiegelt de configuratieopties voor enkelvoudige verrijking:

OptieBeschrijving
SchemaDoelschema dat de structuur van de enrichment-output bepaalt
StrategieEnkele doorloop, expertisedomeinen of multi-expertise (parallelle aanroepen per domein)
ModellenEen of meer AI-modellen om per entiteit uit te voeren. Meerdere modellen maken automatische fusie mogelijk.
TalenTalen voor meertalige veldverrijking (bijv. Engels + Frans)
ClassificatieOptioneel snel model voor verificatie van het entiteitstype vóór verrijking
ArbitrageModel voor LLM-gebaseerde conflictoplossing tijdens fusion. Indien niet ingesteld, wordt een op regels gebaseerde merge gebruikt.

Kostenraming

Voordat je een batch start, toont een bevestigingsvenster een kostenraming en samenvatting. De raming wordt berekend op basis van het aantal eigenschappen, de modelprijzen en het aantal geselecteerde entiteiten en modellen. Er verschijnt een waarschuwing wanneer het totale aantal LLM-aanroepen boven de 100 uitkomt.

Entiteiten
20
Modellen
2
Totaal aanroepen
~40
Gesch. kosten
~$1.50

Parallelle uitvoering

Alle geselecteerde entities worden tegelijkertijd verwerkt. Elke entity doorloopt onafhankelijk de volledige enrichment-pipeline:

Pijplijn per entiteit

  1. Classificatie (optioneel) — Een snel model verifieert het entiteitstype. In batch-modus pauzeren mismatches de taak niet; context wordt doorgegeven.
  2. Multi-modelverrijking — Elk geselecteerd model verrijkt de entiteit parallel, met rate limiting per provider.
  3. Auto-fusion (wanneer 2+ modellen slagen) — Resultaten worden automatisch samengevoegd met conflictdetectie en -oplossing.

Rate limiting

Een globale snelheidsbegrenzer voorkomt dat AI-providers overbelast raken. Alle entiteiten delen dezelfde gelijktijdigheidslimieten per provider (doorgaans 5 gelijktijdige aanroepen per provider). Met 20 entiteiten en 2 modellen draaien er tot 5 aanroepen tegelijk per provider — de rest wacht op beschikbaarheid. Zo is een betrouwbare uitvoering gewaarborgd zonder tegen de API-snelheidslimieten aan te lopen.

Realtime voortgang

Het resultatenpaneel toont live voortgang met Server-Sent Events (SSE). Elke entiteit heeft een inklapbare kaart die in realtime wordt bijgewerkt:

In behandeling

Wachten om te beginnen met verwerken

Wordt uitgevoerd

Wordt momenteel verrijkt, met voortgangsbadges per expertise domain die de voltooiing tonen

Voltooid

Alle modellen succesvol afgerond. Kaart klapt automatisch in.

Gedeeltelijk

Sommige modellen of expertises zijn mislukt. Gedeeltelijke resultaten beschikbaar.

Mislukt

Alle modellen zijn mislukt voor deze entity. Foutdetails worden weergegeven.

Annulering en foutafhandeling

Je kunt een lopende batch op elk moment annuleren. Annuleren is coöperatief — entiteiten die al onderweg zijn, voltooien hun huidige LLM-aanroep, maar er starten geen nieuwe aanroepen. Gedeeltelijke resultaten van voltooide entiteiten blijven behouden.

Foutbestendigheid

Batchverwerking is ontworpen om robuust te zijn. Individuele fouten stoppen de batch niet:

  • Als de classificatie voor een entiteit mislukt, gaat de verrijking door zonder context
  • Als één model faalt, gaan de andere modellen voor die entiteit gewoon door
  • Als alle modellen falen voor een entiteit, wordt deze als mislukt gemarkeerd terwijl de andere doorgaan
  • Modellen die 'niet gevonden'-fouten teruggeven worden automatisch gedeactiveerd

Exportformaten

Na afronding van de batch exporteer je de resultaten in drie formaten. Voor elke entiteit heeft het fusieresultaat de voorkeur indien beschikbaar; anders wordt het beste modelresultaat gebruikt.

JSON-bestand

Download de volledige resultaten als een gestructureerd JSON-bestand met alle entity-gegevens, model-uitvoer en fusion-metadata.

Klembord

Kopieer de JSON-resultaten rechtstreeks naar je klembord om ze in andere tools of scripts te plakken.

Excel

Een werkmap met drie tabbladen: Results (één rij per entiteit met platgeslagen eigenschappen), Summary (batch-metadata, modellen, kosten) en Conflicts (conflictdetails per entiteit met de redenering achter de oplossing).

Limieten

LimietWaarde
Max. entiteiten per batch100
Max. grootte entiteitgegevens50.000 tekens
Max. promptlengte100.000 tekens
Time-out bij URL ophalen30 seconden

Volgende stappen