배치 처리 - Entity Enricher 문서

배치 처리

실시간 진행 상황 추적, 자동 다중 모델 융합, JSON 또는 Excel 내보내기를 통해 최대 100개의 엔터티를 병렬로 보강합니다.

입력 방법

배치 보강은 엔티티 데이터를 제공하는 두 가지 방법을 지원합니다:

JSON 편집기

엔티티의 JSON 배열을 직접 붙여넣거나 입력하세요. 편집기는 구문 강조와 검증 표시를 제공하며, 세션 간에 데이터를 로컬 저장소에 유지합니다.

[
  { "name": "Sanofi", "country": "France" },
  { "name": "Pfizer", "country": "USA" },
  { "name": "Novartis", "country": "CH" }
]

URL 가져오기

모든 REST API 엔드포인트에서 엔터티를 가져옵니다. 시스템은 일반적인 응답 래퍼에서 배열을 자동으로 추출합니다.

지원되는 인증:

없음Bearer 토큰API 키 헤더Basic Auth

API가 객체를 반환하면 시스템은 내장된 배열을 찾기 위해 data, results, items 같은 키를 확인합니다.

엔터티 선택 및 검증

엔터티를 불러오면 검증 상태와 함께 선택 가능한 목록에 표시됩니다. 배치에 포함할 엔터티를 선택할 수 있습니다:

다중 선택클릭하여 개별 엔터티를 선택하세요. 범위 선택은 Shift+클릭. 모두 선택은 Ctrl+A, 모두 선택 해제는 Ctrl+D.
인라인 편집검색 키 필드(이름, 국가 등)를 클릭하면 강화 전에 목록에서 직접 편집할 수 있습니다.
검증각 entity는 schema의 검색 key에 대해 검증됩니다. 최소 하나의 검색 key가 채워져야 합니다. 유효하지 않은 entity는 경고를 표시하지만 여전히 선택할 수 있습니다.
선택적 처리선택한 엔터티만 보강을 위해 전송됩니다. 처리하지 않을 엔터티는 선택을 해제하세요.

구성

사이드바는 단일 보강 구성 옵션을 그대로 반영합니다:

옵션설명
스키마enrichment 출력 구조를 정의하는 대상 schema
전략단일 패스, 전문 영역, 또는 다중 전문성(영역별 병렬 호출)
모델엔터티마다 실행할 하나 이상의 AI 모델. 여러 모델을 사용하면 자동 융합이 가능합니다.
언어다국어 필드 강화를 위한 언어 (예: 영어 + 프랑스어)
분류enrichment 전에 entity 유형을 확인하기 위한 선택적 빠른 model
중재융합 중 LLM 기반 충돌 해결을 위한 모델입니다. 설정하지 않으면 규칙 기반 병합이 사용됩니다.

비용 추정

배치를 시작하기 전에, 확인 대화상자에 비용 추정치와 요약이 표시됩니다. 추정치는 속성 수, 모델 가격, 선택한 엔티티 및 모델 수를 기반으로 계산됩니다. 총 LLM 호출 수가 100을 초과하면 경고가 표시됩니다.

엔터티
20
모델
2
총 호출
~40
예상 비용
~$1.50

병렬 실행

선택한 모든 엔터티가 동시에 처리됩니다. 각 엔터티는 전체 강화 파이프라인을 독립적으로 거칩니다:

엔티티별 파이프라인

  1. 분류 (선택 사항) — 빠른 모델이 엔티티 유형을 확인합니다. 배치 모드에서는 불일치가 있어도 작업이 중단되지 않으며, 컨텍스트가 그대로 전달됩니다.
  2. 다중 모델 보강 — 선택된 각 모델이 제공업체별 속도 제한과 함께 엔터티를 병렬로 보강합니다.
  3. 자동 융합(2개 이상 모델 성공 시) — 충돌 감지 및 해결을 사용해 결과가 자동으로 병합됩니다.

속도 제한

전역 속도 제한기가 AI 제공자에 과부하가 걸리는 것을 방지합니다. 모든 엔터티는 동일한 제공자별 동시성 제한(일반적으로 제공자당 5개의 동시 호출)을 공유합니다. 20개의 엔터티와 2개의 모델이 있으면 제공자당 최대 5개의 호출이 동시에 실행되고 — 나머지는 사용 가능해질 때까지 대기합니다. 이를 통해 API 속도 제한에 걸리지 않고 안정적인 실행이 보장됩니다.

실시간 진행 상황

결과 패널은 Server-Sent Events(SSE)를 사용하여 실시간 진행 상황을 보여줍니다. 각 엔터티에는 실시간으로 업데이트되는 접을 수 있는 카드가 있습니다:

대기 중

처리 시작을 기다리는 중

실행 중

현재 enrichment 진행 중이며, 도메인별 완료 상태를 보여주는 expertise domain 진행 배지가 표시됩니다

완료됨

모든 모델이 성공적으로 완료되었습니다. 카드가 자동으로 접힙니다.

부분

일부 모델 또는 전문 분야가 실패했습니다. 부분 결과를 사용할 수 있습니다.

실패

이 엔터티에 대한 모든 모델이 실패했습니다. 오류 세부 정보가 표시됩니다.

취소 및 오류 처리

실행 중인 배치는 언제든지 취소할 수 있습니다. 취소는 협력적으로 이루어집니다 — 이미 진행 중인 엔티티는 현재 LLM 호출을 완료하지만 새 호출은 시작되지 않습니다. 완료된 엔티티의 부분 결과는 보존됩니다.

오류 복원력

배치 처리는 복원력을 갖도록 설계되었습니다. 개별 실패가 배치를 중단시키지 않습니다:

  • 한 엔티티에 대해 분류가 실패하면 컨텍스트 없이 보강이 진행됩니다
  • 한 모델이 실패해도 해당 엔티티의 다른 모델은 계속 진행됩니다
  • 한 엔티티에 대해 모든 모델이 실패하면 해당 엔티티는 실패로 표시되고 다른 엔티티는 계속 진행됩니다
  • “찾을 수 없음” 오류를 반환하는 모델은 자동으로 비활성화됩니다

내보내기 형식

배치가 완료되면 결과를 세 가지 형식으로 내보냅니다. 각 엔터티에 대해 퓨전 결과가 있으면 우선 사용하고, 없으면 가장 좋은 모델 결과를 사용합니다.

JSON 파일

모든 entity 데이터, model 출력, fusion 메타데이터가 포함된 구조화된 JSON 파일로 전체 결과를 다운로드합니다.

클립보드

JSON 결과를 클립보드에 바로 복사하여 다른 도구나 스크립트에 붙여넣으세요.

Excel

세 개의 시트로 구성된 워크북입니다: Results(엔터티당 한 행, 속성을 평탄화), Summary(배치 메타데이터, 모델, 비용), Conflicts(해결 근거가 포함된 엔터티별 충돌 세부 정보).

제한

제한
배치당 최대 엔터티 수100
최대 엔터티 데이터 크기50,000자
최대 프롬프트 길이100,000자
URL 가져오기 시간 초과30초

다음 단계