다중 모델 퓨전 - Entity Enricher 문서

다중 모델 퓨전

여러 AI 모델에서 동일한 강화를 실행하면 Entity Enricher가 결과를 단일한 고신뢰도 출력으로 융합할 수 있습니다. 융합은 모델 출력 간의 충돌을 감지하고 결정론적 규칙 또는 LLM 기반 중재를 사용하여 이를 해결합니다.

융합 파이프라인

모델 출력
Claude 결과
GPT-4 결과
Gemini 결과
충돌 감지
모든 필드를
모든 모델에서 비교하세요
해석
규칙 기반 병합
또는
LLM 중재
fusion된 결과
단일 출력과
충돌 감사 추적

1단계: 충돌 감지

충돌 감지기는 모든 모델 출력에서 각 필드를 비교합니다. 모든 모델이 일치하는 필드는 변경 없이 통과합니다. 모델이 서로 다른 필드는 해결이 필요한 충돌로 표시됩니다.

필드 유형별 비교 규칙
유형비교 방식합의의 의미
스칼라정규화된 정확 일치(공백 제거, 소문자화, 반올림)정규화 후 모든 값이 동일합니다
다국어언어별 비교각 언어 key를 model 간에 매칭합니다
배열집합 비교 (순서 무관)순서와 관계없이 동일한 항목
객체속성별 재귀모든 중첩 속성이 일치합니다
NullNull은 누락과 같습니다동등하게 취급됨
예시: 모델 2개로 “Sanofi” 강화하기
Claude 출력
revenue: 42.2
gmp_status: true
description: “Sanofi is a global...”
GPT-4 출력
revenue: 44.1
gmp_status: true
description: “Sanofi SA is a...”
결과: gmp_status = agreed | revenue = conflict (42.2 대 44.1) | description = conflict (다른 텍스트)

2단계: 충돌 해결

사이드바에서 중재 모델을 선택했는지 여부에 따라 두 가지 방법 중 하나로 충돌이 해결됩니다.

옵션 A

규칙 기반 병합

각 필드의 데이터 유형에 따라 결정론적 규칙이 적용됩니다. 추가 LLM 호출이 필요 없어 해결이 즉각적이며 무료입니다.

필드 유형규칙근거
문자열다수결, 동점 시 가장 긴 값을 선택합니다일반적으로 세부 정보가 많을수록 좋습니다
숫자중앙값이상치에 강건함
불리언다수결, 동점 시 true 우선보수적 기본값
다국어언어별 다수결 투표각 언어를 독립적으로 처리합니다
배열모든 항목의 합집합모든 정보 유지
객체필드별 재귀중첩 필드에 규칙 적용
Null 대 값null이 아닌 값 우선데이터 누락이 어떤 값보다 낫습니다

동점 처리: 투표가 동점일 경우 더 높은 가격의 모델 값이 우선하며(성능의 대리 지표로서), 그다음으로 모델 이름의 알파벳순으로 결정됩니다.

옵션 B

LLM 중재

사이드바에서 중재 모델을 선택하면 충돌이 지능적 해결을 위해 LLM으로 전송됩니다. 중재자는 엔티티 컨텍스트, 스키마 필드 설명, 그리고 충돌하는 모든 값을 받아 근거 있는 결정을 내립니다.

중재자가 반환하는 값
선택된 값가장 정확하다고 판단하는 값
소스 모델선택된 값이 어떤 모델에서 나왔는지입니다
추론대안 대신 그 값을 선택한 이유
신뢰도결정에 대한 확신 정도(높음, 중간, 낮음)

폴백: 중재 모델이 실패하면(타임아웃, 오류) 시스템이 자동으로 규칙 기반 병합으로 폴백하여 항상 결과를 얻을 수 있습니다.

3단계: 병합된 결과

충돌 해결 후 시스템은 하나의 병합된 결과를 만들어 데이터베이스에 “중재” 레코드로 저장합니다. 병합된 모든 결과에는 감사 추적이 포함되어 각 충돌이 어떻게 해결되었는지 추적할 수 있습니다.

감사 추적 (중재 메타데이터)

모든 병합된 결과에는 융합 과정을 기록하는 메타데이터가 포함됩니다:

“method”: “rule_based” | “llm”
“source_record_ids”: [“uuid-1”, “uuid-2”]
“total_fields”: 23
“agreed_fields”: 18
“conflicted_fields”: 5
“decisions”: [{ path, chosen_value, rule_used, ... }]

UI에서 보이는 것

퓨전이 완료되면 결과 패널의 “병합됨” 탭에 다음이 표시됩니다:

1
요약 헤더
해결 방식(규칙 기반 또는 LLM)과 “18개 일치 / 5개 해결 / 총 23개 필드” 같은 개수를 표시합니다.
2
fusion된 JSON
합의된 값과 해결된 충돌을 하나의 JSON 문서로 결합한 완전한 구조화 출력입니다.
3
충돌 보고서
각 충돌에 대한 펼칠 수 있는 카드로, 필드 경로, 해결 방식 배지(Majority Vote, Median, Union 등), 선택된 값이 강조 표시된 모든 model 값, 그리고 LLM arbitration이 사용된 경우 근거 텍스트를 보여줍니다.

batch 처리 시 자동 fusion

배치 강화에서는 둘 이상의 모델을 선택하면 융합이 자동으로 수행됩니다. "결과 병합"을 수동으로 클릭할 필요가 없습니다. 엔터티에 대한 모든 모델이 완료되는 즉시 융합이 실행되며 병합된 결과가 개별 모델 출력과 함께 표시됩니다.

스트리밍 fusion: 단일 entity 및 batch enrichment 모두에서 fusion 진행 상황이 Server-Sent Events를 통해 스트리밍됩니다. fusion_started, conflicts_detected, fusion_completed 이벤트를 실시간으로 확인할 수 있습니다.

규칙 기반 vs LLM 중재: 각각 언제 사용하는가

규칙 기반 (무료, 즉시)
  • 투표 로직이 잘 작동하는 대부분의 사실/숫자 데이터
  • 비용이 중요한 대용량 또는 batch 처리
  • 예상 충돌이 적은 단순한 스키마
  • 결정론적이고 재현 가능한 결과를 원하는 경우
LLM 중재(추가 비용)
  • 해결을 위해 컨텍스트가 중요한 복잡한 스키마
  • 투표만으로는 부족한 텍스트 데이터(설명, 요약)
  • 근거와 함께 설명 가능한 결정이 필요한 경우
  • 정확도가 추가 비용만큼 가치 있는 고위험 enrichment