Multi-Modell-Fusion – Entity Enricher Dokumentation

Multi-Modell-Fusion

Wenn Sie dasselbe Enrichment über mehrere KI-Modelle hinweg ausführen, kann Entity Enricher die Ergebnisse zu einer einzigen, hochzuverlässigen Ausgabe fusionieren. Die Fusion erkennt Konflikte zwischen den Modellausgaben und löst sie mithilfe deterministischer Regeln oder LLM-gestützter Arbitrierung auf.

Fusion-Pipeline

Modellausgaben
Claude-Ergebnis
GPT-4-Ergebnis
Gemini-Ergebnis
Konflikterkennung
Jedes Feld
über alle Modelle hinweg vergleichen
Auflösung
Regelbasierte Zusammenführung
oder
LLM-Arbitrierung
Zusammengeführtes Ergebnis
Einzelne Ausgabe mit
Konflikt-Prüfprotokoll

Schritt 1: Konflikterkennung

Der Konfliktdetektor vergleicht jedes Feld über alle Modell-Outputs hinweg. Felder, bei denen alle Modelle übereinstimmen, werden unverändert übernommen. Felder, bei denen die Modelle nicht übereinstimmen, werden als Konflikte markiert, die aufgelöst werden müssen.

Vergleichsregeln nach Feldtyp
TypVergleichsartÜbereinstimmung bedeutet
SkalarNormalisierte exakte Übereinstimmung (getrimmt, in Kleinbuchstaben, gerundet)Alle Werte nach der Normalisierung gleich
MehrsprachigDie Primärsprache des Laufs entscheidet; Übersetzungsunterschiede lösen nur eine Zusammenführung pro Sprache ausDerselbe Text in der Primärsprache – Formulierungsvarianten einer Übersetzung sind keine Abweichungen
ArrayMengenvergleich (reihenfolgeunabhängig) auf der Primärsprachenansicht der ElementeDieselben Elemente unabhängig von Reihenfolge oder Übersetzungsformulierung
ObjektPro Eigenschaft, solange die Identitätsfelder belegen, dass beide Modelle dasselbe beschreiben – andernfalls gilt das gesamte Objekt als ein KonfliktAlle verschachtelten Eigenschaften stimmen überein
Null / leerEin Null-, Leerstring- oder Leer-Array-Wert ist eine Enthaltung, keine AussageDer ausgefüllte Wert gewinnt, ohne dass ein Konflikt gezählt wird
Beispiel: Anreicherung von „Sanofi“ mit 2 Modellen
Claude-Ausgabe
revenue: 42.2
gmp_status: true
description: “Sanofi is a global...”
GPT-4-Ausgabe
revenue: 44.1
gmp_status: true
description: “Sanofi SA is a...”
Ergebnis: gmp_status = übereinstimmend | revenue = Konflikt (42.2 vs. 44.1) | description = Konflikt (unterschiedlicher Text)

Schritt 2: Konfliktlösung

Konflikte werden mit einer von zwei Methoden gelöst, je nachdem, ob Sie in der Seitenleiste ein Arbitrierungsmodell ausgewählt haben.

Option A

Regelbasierte Zusammenführung

Deterministische Regeln werden je nach Datentyp des Felds angewendet. Fast immer ist dafür überhaupt kein LLM-Aufruf nötig — die Auflösung erfolgt sofort und kostenlos. Die einzige Ausnahme sind Zahlen, bei denen die Modelle stark voneinander abweichen und die keine Regel redlich entscheiden kann; siehe unten.

FeldtypRegelBegründung
StringMehrheitsentscheid; bei Gleichstand gewinnt der längste WertMehr Details sind in der Regel besser
ZahlDer Modellwert, der dem Median am nächsten liegtRobust gegenüber Ausreißern, niemals ein erfundener Durchschnitt
BooleanMehrheit; bei Gleichstand gewinnt trueKonservative Voreinstellung
MehrsprachigMehrheitsentscheid pro Sprache, Vereinigung der SprachenJede Sprache unabhängig aufgelöst
ArraySchlüsselbewusste Vereinigung: Elemente werden anhand ihrer Schlüsselfelder gruppiert, Schreibvarianten werden zusammengefasst, übereinstimmende Elemente werden feldweise zusammengeführtEine Zeile pro logischer Entität, nichts geht verloren
ObjektFeldweise, wenn die Identität übereinstimmt; andernfalls wird das Objekt eines Modells vollständig übernommenZwei Objekte zu vermischen, die verschiedene Entitäten beschreiben, würde eine dritte erfinden, die kein Modell geliefert hat
Null vs. WertDen ausgefüllten Wert bevorzugenFehlende Daten sind schlimmer als jeder Wert

Stichentscheid: Bei Stimmengleichheit gewinnt der Wert des teureren Modells (als Indikator für die Leistungsfähigkeit), danach entscheidet die alphabetische Reihenfolge der Modellnamen. Wird ein ganzes Objekt atomar übernommen, kommt die Vollständigkeit – die Anzahl der gefüllten Blätter – zwischen beide Kriterien: Wenn nichts beweist, welche Entität die richtige ist, gewinnt zuerst das stärkere Modell, dann die Antwort mit mehr Informationen.

Verschachtelte Objekte werden als Ganzes zusammengeführt, nicht vermischt

Ein verschachteltes Objekt Feld für Feld zusammenzuführen ist nur sicher, solange beide Modelle dasselbe beschreiben. Wenn die Identitätsfelder das nicht belegen — abweichende Schlüssel oder gar keine Schlüssel bei einer echten Abweichung darunter —, wird das Objekt zu einem einzigen Konflikt und die Version eines Modells wird wortwörtlich übernommen. Andernfalls würde die Fusion eine Chimäre zusammensetzen: die Adresse des einen Modells am Unternehmen des anderen. Eine Folge ist beabsichtigt, sollte aber bekannt sein: Der Gewinner wird samt seiner Lücken übernommen, ein Feld, das der Gewinner leer gelassen hat, bleibt also leer — was die Entität an der Zulassungsschranke zur Datenbank aufhalten kann. Der Grund wird in den Validierungswarnungen des Laufs mitgeführt.

Wenn Zahlen zu weit auseinanderliegen, um zusammengeführt zu werden

„Dem Median am nächsten“ ist richtig, wenn Modelle unterschiedlich runden, und falsch, wenn Modelle einander widersprechen – 0 gegenüber 1854 ist kein Rundungsunterschied. Erreicht die relative Streuung der Werte 20 %, wird dieses Feld an einen LLM-Arbiter eskaliert, der automatisch über die übliche Modellauswahl Ihrer Organisation bestimmt wird, und der Aufruf wird wie jeder andere abgerechnet. Solche Felder werden im Fusions-Audit-Trail als automatisch eskaliert markiert, sodass eine Zusammenführung, die Tokens gekostet hat, immer ausweist, welche Felder sie verursacht haben.

Option B

LLM-Arbitrierung

Wenn Sie in der Seitenleiste ein Arbitrierungsmodell auswählen, werden Konflikte zur intelligenten Auflösung an ein LLM gesendet. Der Arbitrator erhält den Entity-Kontext, die Beschreibungen der Schema-Felder und alle widersprüchlichen Werte und trifft dann fundierte Entscheidungen.

Was die Arbitration zurückgibt
Ausgewählter WertDer Wert, den es für am genauesten hält
QuellmodellAus welchem Modell der gewählte Wert stammt
ReasoningWarum dieser Wert gegenüber Alternativen gewählt wurde
KonfidenzWie sicher es sich bei der Entscheidung ist (hoch, mittel, niedrig)

Fallback: Wenn das Arbitrierungsmodell fehlschlägt (Timeout, Fehler), greift das System automatisch auf eine regelbasierte Zusammenführung zurück, sodass Sie immer ein Ergebnis erhalten.

Schritt 3: Das zusammengeführte Ergebnis

Nach der Konfliktlösung erstellt das System ein einzelnes zusammengeführtes Ergebnis und speichert es als „Arbitrierung“-Datensatz in der Datenbank. Jedes zusammengeführte Ergebnis enthält einen Prüfpfad, sodass Sie nachvollziehen können, wie jeder Konflikt gelöst wurde.

Audit-Trail (Arbitrierungs-Metadaten)

Jedes zusammengeführte Ergebnis enthält Metadaten, die den Fusionsprozess dokumentieren:

“method”: “rule_based” | “llm”
“source_record_ids”: [“uuid-1”, “uuid-2”]
“total_fields”: 23
“agreed_fields”: 18
“conflicted_fields”: 5
“decisions”: [{ path, chosen_value, rule_used, ... }]

Derselbe Audit-Trail wird für jeden zusammengeführten Datensatz auf der History-Seite in dessen Übersicht-Registerkarte angezeigt. Ein zusammengeführter Datensatz listet die Modelle auf, die er zusammengeführt hat, anstatt eines eigenen Modells — und wenn die Zusammenführung regelbasiert war, wurde überhaupt kein LLM-Aufruf getätigt, sodass er keinen Prompt, keine Tokens und keine Kosten enthält.

Was Sie in der Benutzeroberfläche sehen

Nach Abschluss der Fusion zeigt der Tab „Zusammengeführt“ im Ergebnispanel:

1
Zusammenfassungs-Header
Zeigt die Auflösungsmethode (regelbasiert oder LLM) sowie eine Zählung wie „18 übereinstimmend / 5 aufgelöst / 23 Felder insgesamt“.
2
Zusammengeführtes JSON
Das vollständige strukturierte Output, das übereinstimmende Werte und aufgelöste Konflikte in einem einzigen JSON-Dokument zusammenführt.
3
Konfliktbericht
Erweiterbare Karten für jeden Konflikt, die Folgendes anzeigen: den Feldpfad, das Badge der Auflösungsmethode (Mehrheitsentscheid, Median, Vereinigung usw.), alle Modellwerte mit hervorgehobenem gewähltem Wert und einen Begründungstext, falls LLM-Arbitrierung verwendet wurde.

Automatische Fusion bei der Batch-Verarbeitung

Bei der Batch-Anreicherung erfolgt die Fusion automatisch, sobald Sie zwei oder mehr Modelle auswählen. Sie müssen nicht manuell auf „Ergebnisse zusammenführen“ klicken — sobald jedes Modell für eine Entität erfolgreich war, läuft die Fusion und das zusammengeführte Ergebnis erscheint neben den einzelnen Modellausgaben. Ein Lauf, bei dem ein Modell fehlgeschlagen ist, wird bewusst nicht fusioniert: Das Zusammenführen des Verbliebenen würde stillschweigend eine unvollständige Antwort als abgestimmtes Ergebnis veröffentlichen. Stellen Sie zuerst das fehlende Modell wieder her — ein erneuter Versuch seiner fehlgeschlagenen Fachgebiete fusioniert den Lauf automatisch, sobald er wieder vollständig ist.

Streaming-Fusion: Sowohl bei der Anreicherung einzelner Entitäten als auch bei der Batch-Anreicherung wird der Fusionsfortschritt über Server-Sent Events gestreamt. Sie sehen die Ereignisse fusion_started, conflicts_detected und fusion_completed in Echtzeit.

Regelbasiert vs. LLM-Arbitrierung: Wann was verwenden

Regelbasiert (sofort, fast immer kostenlos)
  • Überwiegend faktische/numerische Daten, bei denen die Abstimmungslogik gut funktioniert
  • Hohes Volumen oder Batch-Verarbeitung, bei denen die Kosten eine Rolle spielen
  • Einfache Schemas mit wenigen erwarteten Konflikten
  • Wenn Sie deterministische, reproduzierbare Ergebnisse wünschen
LLM-Arbitrierung (Zusatzkosten)
  • Komplexe Schemas, bei denen der Kontext für die Auflösung wichtig ist
  • Textdaten (Beschreibungen, Zusammenfassungen), bei denen Abstimmung nicht ausreicht
  • Wenn Sie erklärbare Entscheidungen mit Begründung benötigen
  • Kritische Anreicherungen, bei denen Genauigkeit die zusätzlichen Kosten wert ist