벤치마크 채점

골드 참조

채점하려면 기준이 될 무언가가 필요합니다. 각 시나리오에는 참조 출력이 담겨 있습니다. 즉, 고정된 하나의 엔터티에 대한 정답입니다. 강력한 모델로 생성하거나(웹 검색 + 신뢰 출처 문서), 검증된 결과를 붙여넣은 뒤 직접 편집하여 만들고 — 신뢰할 수 있게 되면 검증됨으로 표시하세요. 검증된 참조는 시나리오를 벤치마크하는 데 필수이므로, 채점 기준이 항상 존재합니다. 나중에 참조를 편집하거나 시나리오의 채점 구성을 변경하면, 기존 점수는 다시 채점할 때까지 오래됨으로 표시됩니다.

값을 비교하는 방식

핵심 문제: 두 개의 올바른 답이 다르게 표기될 수 있습니다. 배우를 “Robert Downey Jr.” 대신 “R. Downey Jr.”라고 표기하는 모델이 틀린 것은 아닙니다. 그래서 각 필드는 계층적 단계로 비교됩니다 — 가장 저렴하고 확실한 것부터 시작하여 필요할 때만 상위 단계로 올라갑니다:

엄격도 설정은 임베딩 임계값을 제어합니다: 값이 높을수록 다르게 작성된 두 값이 같은 것으로 간주되려면 더 유사해야 합니다. 엄격도, 선택적 판정 모델, 임베딩 모델은 모두 시나리오에 설정되며 — 채점할 때마다 선택하는 것이 아니므로 — 모든 모델이 동일하게 채점되어 점수가 비교 가능한 상태로 유지됩니다.

배열(항목 목록) 채점

목록 — 영화의 출연진, 약물의 부작용 — 은 모델 간 차이가 가장 큰 부분입니다: 작은 모델은 배우 4명을 찾는 반면 강력한 모델은 15명을 찾을 수 있습니다. 순서는 중요하지 않으며, 더 많은 올바른 항목을 찾는 것이 우선되어야 합니다. 따라서 배열은 위치별이 아니라 집합으로 채점됩니다:

• 각 후보 항목은 필드와 동일한 단계 순서로 가장 저렴한 것부터 참조 항목과 매칭됩니다: key 필드로, 그다음 동일한 텍스트로, 그다음 임베딩 유사도로, 마지막으로 — 의역된 나머지에 대해서는 — 남은 항목을 한 번에 정렬하는 단일 LLM 집합 정렬 호출로 매칭됩니다(scenario에 judge가 있는 경우에만 해당).
• 재현율은 포괄성에 보상을 줍니다 — 15개 중 15개를 찾는 것이 15개 중 4개보다 낫습니다.
• 정밀도는 지어낸 항목에 불이익을 줍니다 — 환각으로 추가된 행위자는 점수를 낮춥니다.
• F1은 이 둘을 결합하며, 일치하는 각 쌍은 필드별로 채점되므로 “올바른 행위자, 잘못된 역할”도 여전히 감점 요인이 됩니다.

결과 행을 펼치면 어떤 항목이 일치했는지, 누락되었는지, 잘못 생성되었는지 정확히 확인할 수 있습니다.

점수 읽기

단일 숫자는 너무 많은 것을 감추므로, 모든 결과에는 세부 점수가 함께 제공됩니다:

• 완전성 — 모델이 참조가 채운 것을 채웠나요? (누락된 데이터는 이 점수를 낮춥니다)
• 정확성 — 채운 것 중에서 얼마나 맞았나요?
• 환각 — 참조가 뒷받침하지 않는 내용을 얼마나 지어냈나요?
• 전체 — 식별자(키) 필드에 더 큰 가중치를 부여한 가중 혼합입니다.

확장 가능한 행에는 필드별 세부 내역이 표시됩니다: 후보 대 참조, 사다리의 어느 단계에서 결정되었는지, 그리고 해당되는 경우 유사도가 표시됩니다.

품질은 이야기의 3분의 1에 불과합니다. 벤치마크가 점수 산출 소스로서 모델 선택에 반영되는 경우, 모델의 순위는 품질·속도·비용을 조합해 결정되며 그 비율은 여러분이 정합니다. Settings → Organization → Defaults에서 시나리오 유형별로 설정하며, 각 합계는 100이고 기본값은 균등 분배입니다. 비용에 큰 가중치를 두면 저렴하고 무난한 모델이 뛰어나지만 비싼 모델을 앞지릅니다 — 어떤 워크로드에는 옳은 답이고 다른 워크로드에는 틀린 답이므로, 플랫폼이 대신 결정하지 않습니다.

시나리오가 모델을 두 번 이상 실행하면(반복), 각 실행이 개별적으로 채점되고 행에는 평균 품질과 일관성 범위(실행 중 최저–최고)가 표시됩니다 — 따라서 평균적으로는 정확하지만 들쭉날쭉한 모델을 쉽게 발견할 수 있습니다. 표시되는 출력은 품질 기준 중앙값 실행입니다.

생성 벤치마크 채점

벤치마크는 보강에만 국한되지 않습니다: 시나리오는 샘플 생성(각 모델이 엔터티 유형에 대한 예시 JSON을 만들어냄) 또는 스키마 생성(각 모델이 고정된 샘플을 스키마로 변환)도 테스트할 수 있습니다. 각각 고유한 채점 규칙이 있습니다:

• 샘플 생성은 가공된 인스턴스에 대해 단일한 정답이 없으므로, 품질은 coverness와 루브릭을 50/50으로 혼합하여 평가합니다. Coverness는 샘플에 포함된 고유 속성의 수를 세고(배열 항목 전반에서 반복되는 속성은 한 번만 계산), 그중 주제에 부합한다고 판정된 비율만 남기며(관련 없는 엔터티를 끼워 넣는 등의 패딩은 계산하지 않음), 판정된 정확도로 가중치를 적용한 뒤, 이를 최고 성능 모델의 실행당 평균과 비교합니다 — 제곱근으로 감쇠하여, 단순한 양이나 하나의 지나치게 장황한 이상치가 지배하지 못하도록 합니다. 루브릭은 고정된 판정자가 매기는 명명 및 구조 품질, 값의 현실성(첨부된 소스 문서가 있을 경우 그에 대한 추적 가능성 포함), 그리고 생성된 속성 설계의 결정성 안전성에 대한 점수입니다. Coverness는 시나리오의 다른 결과들을 기준으로 상대 평가되며 — 속도 및 비용 점수도 마찬가지로, 이들은 생성된 속성당 시간과 비용을 비교합니다 — 모델을 추가하거나 다시 실행하면 모든 행의 기준선이 재설정됩니다. 실행에 참조 답안은 필요하지 않습니다.
• 스키마 생성은 수동으로 검증된 골드 레퍼런스 스키마와 비교됩니다: 속성은 먼저 이름으로, 그다음 임베딩 유사도로, 마지막으로 심판 모델로 매칭됩니다. 각 매칭은 타입/형태, 동작 플래그(key, nullable, multilingual, preserve), 그리고 설명 품질을 기준으로 평가됩니다. 누락된 레퍼런스 속성은 커버리지를 떨어뜨리고, 만들어낸 추가 속성은 환각으로 계산되며, 전문 분야 그룹화는 구성원 기준으로 비교됩니다(분야 이름은 중요하지 않습니다).

어느 경우든 익숙한 열들은 그 의미를 유지합니다 — 유형별 정의를 보려면 열 머리글에 마우스를 올리고, 전체 세부 내역을 보려면 행을 펼치세요.

비용 및 실행 내용

채점은 이미 저장된 결과에 대해 별도로 수행되는 과정입니다. 다시 enrichment를 하지 않으므로 테스트 대상 model에 대한 비용도 다시 청구되지 않습니다. 다만 값을 비교하기 위해 텍스트를 임베딩하고(그리고 scenario에 judge가 있다면 이를 실행하는데), 이때 사용량에 따라 credit이 차감됩니다. 이 과정은 매 run마다 자동으로 이루어지며 — 각 model은 해당 run이 끝나는 즉시 채점됩니다 — 다시 채점할 때마다도 마찬가지입니다. organization에 임베딩 model이 구성되어 있지 않고(그리고 scenario에서 재정의하지 않은 경우), 채점은 여전히 실행되지만 정확 일치 방식으로만 대체되며(이 경우 다른 철자는 불일치로 처리됩니다), 그러한 사실을 함께 알려줍니다. 반면 judge가 고장난 경우는 다릅니다. judge 호출이 실패하면 채점은 명시적인 오류와 함께 중단되고, 해당 model에는 부분 점수가 남지 않습니다. 결과는 완전히 채점되거나 전혀 채점되지 않으며, 나중에 다시 채점할 수 있는 상태로 유지됩니다. 판정자를 선택할 때, LLM 판정자는 자신과 같은 모델 계열을 선호할 수 있다는 점에 유의하세요 — 벤치마크하지 않는 제공자의 판정자를 선택하는 것이 좋습니다.

찾을 수 있는 위치

모델 관리 → 벤치마크에서 시나리오 편집기에 참조를 설정하고 확인하세요(그리고 판정 모델, 임베딩 모델, 엄격도를 거기서 선택하세요). 이후부터는 모든 실행이 성공한 결과를 자동으로 채점하며, 정렬 가능한 품질 열이 추가 단계 없이 채워집니다. 참조나 채점 구성을 편집한 후 다시 채점하려면 결과 다시 채점(헤더 버튼 또는 ··· 메뉴)을 사용하세요.