Elaborazione batch

Arricchisci un numero qualsiasi di entità in parallelo con monitoraggio dell'avanzamento in tempo reale, fusione automatica multi-modello ed esportazione in JSON o Excel — vincolato solo dalla quota di utilizzo del tuo piano, non da una dimensione fissa del batch.

Metodi di input

Le righe entrano dalla barra delle origini sopra la griglia: tre schede, una aperta alla volta. Il caricamento delle righe riduce la barra a una sola riga (“Incolla / CSV · 12 righe caricate”) così la griglia mantiene l'altezza; fare clic su quella riga per caricare un set diverso.

  1. 1Incolla / CSV, File e URL: una sola origine aperta alla volta
  2. 2Il pulsante conta le righe prima di caricarle
  3. 3Numero di colonne e riga di intestazione rilevati
Il delimitatore — virgola, tabulazione o punto e virgola — e la riga di intestazione vengono determinati nel browser durante l'incollaggio, così un'ipotesi errata è visibile prima che venga caricata una sola riga.

Incolla / CSV

Incollare le righe direttamente da Excel, Google Sheets o un'esportazione CSV. Virgola, tabulazione e punto e virgola sono tutti riconosciuti, una cella tra virgolette può contenere il delimitatore e una prima riga di nomi non numerici viene interpretata come intestazione delle colonne.

File

Trascinare un file .csv, .tsv o .json sulla scheda, oppure selezionarne uno dal disco. Un file JSON può contenere un array di oggetti o un singolo oggetto; le colonne sono l'unione delle loro chiavi, quindi anche i record irregolari vengono caricati.

URL

Recupera le entità da qualsiasi endpoint REST. Qualunque risposta viene letta come un elenco di oggetti in formato libero e l'insieme delle colonne è l'unione delle loro chiavi.

Autenticazione supportata:

NessunoBearer TokenHeader della chiave APIAutenticazione di base

Se l'API restituisce un oggetto, il sistema controlla chiavi come data, results, items alla ricerca di un array incorporato.

Selezione e validazione dell'entità

Dopo aver caricato le entità, queste compaiono in un elenco selezionabile con lo stato di validazione. È possibile scegliere quali entità includere nel batch:

Selezione multipla— Selezioni le righe una alla volta, oppure la casella nell'intestazione per selezionarle tutte; Ctrl+A seleziona tutto ciò che mostra il filtro corrente. Facendo clic su una riga si apre il relativo pannello dei risultati invece di modificare la selezione.
Modifica inline— Fare doppio clic su qualsiasi cella di input per correggere un valore sul posto — ogni colonna portata dai dati è modificabile, non solo le chiavi di ricerca dello schema.
Convalida— Non è necessario che le righe utilizzino i nomi dei campi dello schema — i modelli le leggono così come sono. L'unico giudizio espresso dalla griglia riguarda i valori vuoti: una riga priva di qualsiasi valore viene segnalata, resa grigia ed esclusa dall'esecuzione. Selezioni un modello di classificazione per scartare automaticamente le entità di tipo errato.
Elaborazione selettiva— Solo le entità selezionate vengono inviate per l'arricchimento. Deselezionate le entità che non volete elaborare.
Verifica del contratto per ogni riga— Il server verifica ogni riga rispetto al contratto di input dello schema prima di spendere alcunché e segnala tutte le righe non conformi anziché fermarsi alla prima — così l'intero batch si corregge in un solo passaggio.
  1. 1Le caselle di spunta di ogni riga decidono su cosa spende l'esecuzione
  2. 2La riga vuota viene segnalata qui — ed esclusa dall'esecuzione
  3. 312 selezionate — ma solo 11 sono eseguibili
La riga 11 non ha nome, solo un paese e un ticker, e viene arricchita ugualmente: una chiave di ricerca mancante è qualcosa che i modelli possono aggirare, una riga vuota no. Qui input, convalida e stato di esecuzione sono un'unica riga, non tre elenchi separati.

Configurazione

La barra laterale rispecchia le opzioni di configurazione del singolo arricchimento:

OpzioneDescrizione
SchemaSchema di destinazione che definisce la struttura di output dell'enrichment
StrategiaPassaggio singolo, domini di competenza o multi-competenza (chiamate parallele per dominio)
ModelliUno o più modelli AI da eseguire per entità. Più modelli abilitano la fusione automatica.
LingueLingue per l'enrichment multilingue dei campi (es. inglese + francese)
ClassificationModello veloce opzionale per la verifica del tipo di entità prima dell'arricchimento
ArbitraggioModello per la risoluzione dei conflitti basata su LLM durante la fusione. Se non impostato, viene utilizzata l'unione basata su regole.

Stima dei costi

Il costo stimato è indicato nella barra di esecuzione, accanto al pulsante che lo spende. Viene calcolato in base al numero di proprietà dello schema, al prezzo per token dei modelli selezionati e al numero di entità selezionate. Con la selezione automatica del modello, il modello viene scelto solo all'avvio dell'esecuzione: la cifra mostrata è quindi una mediana dei modelli che potrebbero essere scelti. Una finestra di conferma compare quando l'esecuzione comporta un rischio reale — scrive su un database collegato, la stima è elevata oppure alcune righe selezionate verranno ignorate — e non a ogni esecuzione.

  1. 1Due modelli: una chiamata ciascuno, per entità
  2. 2La stima, ricalcolata al variare della selezione
  3. 311 entità, non le 12 caricate — la riga vuota viene scartata
Il pulsante dichiara ciò che sta per eseguire, così il conteggio e il prezzo si leggono insieme. Al di sotto del breakpoint per telefono i selettori confluiscono in “Altre opzioni” e la stima resta accanto al pulsante.

Esecuzione parallela

Tutte le entità selezionate vengono elaborate simultaneamente. Ogni entità attraversa in modo indipendente l'intera pipeline di arricchimento:

Pipeline per entità

  1. Classificazione (opzionale) — Un modello rapido verifica il tipo di entità. In modalità batch, le discordanze non mettono in pausa il processo; il contesto viene comunque trasmesso.
  2. Arricchimento multi-modello — Ogni modello selezionato arricchisce l'entità in parallelo, ciascuno regolato secondo il budget di frequenza della propria chiave.
  3. Fusione automatica (quando 2+ modelli hanno successo) — I risultati vengono uniti automaticamente tramite rilevamento e risoluzione dei conflitti.

Regolazione della frequenza

Tutte le entità condividono il budget di frequenza di ciascuna chiave API e modello — le richieste e i token al minuto che il provider concede a quella chiave, letti dalle sue risposte o appresi da un rifiuto. Con 20 entità e 2 modelli, le chiamate a un modello che consente 15 richieste al minuto vengono distribuite nell'arco del minuto mentre l'altro modello procede al proprio ritmo, così il batch si completa senza errori 429.

Avanzamento in tempo reale

L'avvio di un'esecuzione apre una barra di esecuzione tra la barra degli strumenti e la griglia, alimentata da Server-Sent Events (SSE): una barra di avanzamento per il batch, contatori distinti per completati / falliti / ignorati anziché un unico valore aggregato, il tempo trascorso con una stima di completamento ricavata dalle righe già concluse e la spesa finora rispetto alla stima preliminare. Nulla si apre sopra la griglia: le righe restano al loro posto e ciascuna riporta il proprio stato nella colonna Stato, accanto al Tempo e al Costo impiegati.

Non eseguito

La riga non è ancora stata sottoposta a un'esecuzione — la cella Stato mostra un trattino invece di ripetersi lungo la colonna.

In coda

Ammessa al batch, in attesa di spazio nel budget di frequenza della chiave.

In esecuzione

L'etichetta lascia il posto a una barra inline che conta i passaggi di competenza completati sul totale.

Fatto

Tutti i modelli hanno risposto. Tempo e Costo vengono compilati e le colonne Risultato diventano leggibili.

Non riuscito

Nessun modello ha prodotto un risultato per questa riga. Al termine del batch, la barra propone di riprovare solo le righe non riuscite.

Ignorato

Scartato prima dell'arricchimento — ad esempio per una mancata corrispondenza di classificazione ad alta confidenza — quindi la riga non ha comportato alcun costo.

I chip Completati / Non riusciti / Ignorati della barra degli strumenti filtrano la griglia su quelle righe, mentre il selettore Input / Entrambi / Risultato mostra le stesse righe come dati inviati, dati ricevuti o entrambi affiancati.

Annullamento e gestione degli errori

Puoi annullare un batch in esecuzione in qualsiasi momento. L'annullamento è cooperativo — le entity già in elaborazione completano la chiamata LLM in corso, ma non ne vengono avviate di nuove. I risultati parziali delle entity completate vengono conservati.

Resilienza agli errori

L'elaborazione batch è progettata per essere resiliente. I singoli errori non interrompono il batch:

  • Se la classificazione fallisce per un'entità, l'arricchimento prosegue senza contesto
  • Se un modello fallisce, gli altri modelli per quell'entità proseguono
  • Con due o più modelli, la fusione automatica viene eseguita solo per le entità in cui tutti i modelli hanno avuto esito positivo — un'entità parziale non produce alcun risultato di fusione e nulla arriva al database finché il modello mancante non viene recuperato riprovando le competenze non riuscite
  • Se tutti i modelli falliscono per un'entità, questa viene contrassegnata come non riuscita mentre le altre proseguono
  • I modelli che restituiscono errori “non trovato” vengono disattivati automaticamente

Formati di esportazione

Al completamento del batch, esporta i risultati in tre formati. Per ogni entità, viene preferito il risultato della fusione se disponibile; in caso contrario, viene utilizzato il miglior risultato del modello.

File JSON

Scarica i risultati completi come file JSON strutturato con tutti i dati delle entità, gli output dei modelli e i metadati di fusione.

Appunti

Copia i risultati JSON direttamente negli appunti per incollarli in altri strumenti o script.

Excel

Una cartella di lavoro a tre fogli: Results (una riga per entità con proprietà appiattite), Summary (metadati del batch, modelli, costi) e Conflicts (dettagli dei conflitti per entità con la logica di risoluzione).

Limiti

LimiteValore
Numero massimo di entity per batchNessun limite fisso — vincolato dalla quota di utilizzo del tuo piano
Dimensione massima dei dati dell'entity50.000 caratteri
Lunghezza massima del prompt100.000 caratteri
Timeout recupero URL30 secondi

Passaggi successivi