벤치마크 채점

골드 참조

채점하려면 기준이 될 무언가가 필요합니다. 각 시나리오에는 참조 출력이 담겨 있습니다. 즉, 고정된 하나의 엔터티에 대한 정답입니다. 강력한 모델로 생성하거나(웹 검색 + 신뢰 출처 문서), 검증된 결과를 붙여넣은 뒤 직접 편집하여 만들고 — 신뢰할 수 있게 되면 검증됨으로 표시하세요. 검증된 참조는 시나리오를 벤치마크하는 데 필수이므로, 채점 기준이 항상 존재합니다. 나중에 참조를 편집하거나 시나리오의 채점 구성을 변경하면, 기존 점수는 다시 채점할 때까지 오래됨으로 표시됩니다.

레퍼런스는 스스로 갱신되기도 합니다. 검증된 레퍼런스도 결국 직접 손본 초안이며, 벤치마크하는 모델들이 그 검토자 역할을 합니다. 판정자가 후보의 답이 레퍼런스보다 낫다고(또는 레퍼런스가 틀렸다고) 판단한 곳, 시나리오의 샘플이 레퍼런스의 오류를 입증한 곳, 레퍼런스가 비워 둔 값을 모델이 채우고 판정자가 이를 확인한 곳마다 결과에 발견 사항이 기록됩니다. 채점 패스가 끝날 때마다 채점된 모든 모델의 발견 사항이 통합되어 — 먼저 샘플이 입증한 내용, 그다음 가장 많은 모델이 내놓은 답 — 레퍼런스에 기록됩니다. 어떤 패스가 이미 적용한 수정은 더 강력한 근거(샘플, 값이 틀렸다는 판정, 또는 여러 패스에 걸쳐 집계된 더 많은 모델의 동의)에 의해서만 대체되며, 모델 하나의 의견이 더해진다고 해서 대체되지는 않습니다. 따라서 모델을 하나씩 벤치마크해도 레퍼런스가 마지막으로 채점된 모델 쪽으로 치우치지 않습니다. 이러한 자동 수정은 점수를 만료로 표시하지 않으며(직접 저장할 때만 만료됩니다), 무엇을 대체했고 어떤 모델이 제기했는지가 모두 기록됩니다.

변경 내용 추적처럼 검토하세요. 결과 옆에 있는 시나리오의 레퍼런스 보기에는 레퍼런스 자체와 함께 모든 자동 수정이 해당 위치에 강조 표시됩니다. 취소선이 그어진 이전 값, 새 값, 이를 뒷받침하는 모델 수와 그 이유를 볼 수 있습니다. 거부하지 않는 한 모든 변경이 수락됩니다. 거부하면 이전 값이 복원되고 해당 경로는 이후 패스에서 제외됩니다. 속성이나 근거로 필터링하고(모델 1개만 반영된 수정은 살펴볼 가치가 있습니다), 표시된 항목을 선택해 일괄 거부하세요.

값을 비교하는 방식

핵심 문제: 두 개의 올바른 답이 다르게 표기될 수 있습니다. 배우를 “Robert Downey Jr.” 대신 “R. Downey Jr.”라고 표기하는 모델이 틀린 것은 아닙니다. 그래서 각 필드는 계층적 단계로 비교됩니다 — 가장 저렴하고 확실한 것부터 시작하여 필요할 때만 상위 단계로 올라갑니다:

엄격도 설정은 임베딩 임계값을 제어합니다: 값이 높을수록 다르게 작성된 두 값이 같은 것으로 간주되려면 더 유사해야 합니다. 엄격도, 선택적 판정 모델, 임베딩 모델은 모두 시나리오에 설정되며 — 채점할 때마다 선택하는 것이 아니므로 — 모든 모델이 동일하게 채점되어 점수가 비교 가능한 상태로 유지됩니다.

배열(항목 목록) 채점

목록 — 영화의 출연진, 약물의 부작용 — 은 모델 간 차이가 가장 큰 부분입니다: 작은 모델은 배우 4명을 찾는 반면 강력한 모델은 15명을 찾을 수 있습니다. 순서는 중요하지 않으며, 더 많은 올바른 항목을 찾는 것이 우선되어야 합니다. 따라서 배열은 위치별이 아니라 집합으로 채점됩니다:

• 각 후보 항목은 필드와 동일한 단계 순서로 가장 저렴한 것부터 참조 항목과 매칭됩니다: key 필드로, 그다음 동일한 텍스트로, 그다음 임베딩 유사도로, 마지막으로 — 의역된 나머지에 대해서는 — 남은 항목을 한 번에 정렬하는 단일 LLM 집합 정렬 호출로 매칭됩니다(scenario에 judge가 있는 경우에만 해당).
• 재현율은 포괄성에 보상을 줍니다 — 15개 중 15개를 찾는 것이 15개 중 4개보다 낫습니다.
• 정밀도는 지어낸 항목에 불이익을 줍니다 — 환각으로 추가된 배우는 점수를 떨어뜨립니다. 다만 심사 모델이 확인해 준 추가 항목은 지어낸 것이 아니며, 레퍼런스에 누락되어 있던 항목으로 간주되어 양쪽 모두에 반영됩니다.
• F1은 이 둘을 결합하며, 매칭된 각 쌍은 필드별로 채점되므로 “배우는 맞지만 역할이 틀린” 경우도 감점됩니다. 객체 항목은 식별 속성을 기준으로 짝지어지며 — 위치와 무관하게, 예를 들어 “top products” 항목 안의 제품처럼 중첩된 객체에서도 마찬가지입니다 — 항목 안에 중첩된 리스트는 해당 항목의 점수에 포함됩니다. 객체 리스트는 그 항목의 필드만큼 비중을 가집니다. 즉, 리스트에 항목이 몇 개 있든 리스트 항목의 필드 하나는 최상위 필드와 똑같이 계산됩니다.

결과 행을 펼치면 어떤 항목이 일치했는지, 누락되었는지, 잘못 생성되었는지 정확히 확인할 수 있습니다.

점수 읽기

단일 숫자는 너무 많은 것을 감추므로, 모든 결과에는 세부 점수가 함께 제공됩니다:

• 완전성 — 모델이 참조가 채운 것을 채웠나요? (누락된 데이터는 이 점수를 낮춥니다)
• 정확성 — 채운 것 중에서 얼마나 맞았나요?
• 환각 — 참조가 뒷받침하지 않는 내용을 얼마나 지어냈나요?
• Overall — 완전성과 정확성의 조화 평균입니다(식별자 필드는 두 배로 가중되며, 다국어 필드는 시나리오의 첫 번째 언어로만 평가됩니다. 나머지 언어는 사실이 아니라 번역이기 때문입니다). 따라서 거의 아무것도 답하지 못하는 모델은 몇 안 되는 답변이 아무리 정확해도 0에 가까운 점수를 받습니다.

확장 가능한 행에는 필드별 세부 내역이 표시됩니다: 후보 대 참조, 사다리의 어느 단계에서 결정되었는지, 그리고 해당되는 경우 유사도가 표시됩니다.

123

1. 1하나의 점수를 구성하는 네 가지 하위 점수
2. 2어느 단계가 이 필드를 결정했는지
3. 3기준값과 비교한 후보 값

품질은 전체의 3분의 1에 불과합니다. 벤치마크가 점수 소스로서 모델 선택에 반영될 때, 모델의 순위는 품질·속도·비용을 조합해 결정되며 그 비율은 사용자가 정합니다. 설정 → 조직 → 기본값에서 시나리오 유형별로 설정할 수 있으며, 합계는 100이고 기본값은 균등 분할입니다. 비용에 큰 가중치를 주면 저렴하고 무난한 모델이 뛰어나지만 비싼 모델보다 높은 순위를 차지합니다. 이는 어떤 작업에는 정답이고 다른 작업에는 오답이므로, 플랫폼은 이 판단을 대신 내리지 않습니다. 속도와 비용은 해당 시나리오의 다른 결과를 기준으로 로그 스케일에서 해석합니다. 가장 빠르거나 가장 저렴한 모델은 100점, 10배 느리거나 비싼 모델은 0점을 받습니다. 다만 격차가 작은 경우 억지로 전체 범위에 맞춰 늘리지 않으므로, $10과 $12인 두 모델은 100점과 0점이 아니라 100점과 92점이 됩니다.

시나리오가 모델을 두 번 이상 실행하면(반복), 각 실행이 개별적으로 채점되고 행에는 평균 품질과 일관성 범위(실행 중 최저–최고)가 표시됩니다 — 따라서 평균적으로는 정확하지만 들쭉날쭉한 모델을 쉽게 발견할 수 있습니다. 표시되는 출력은 품질 기준 중앙값 실행입니다.

생성 벤치마크 채점

벤치마크는 보강에만 국한되지 않습니다. 시나리오는 샘플 생성(각 모델이 동일한 자유 텍스트 요청에 대해 예시 JSON을 만들어 냄) 또는 스키마 생성(각 모델이 고정된 샘플을 스키마로 변환)도 테스트할 수 있습니다. 각각 고유한 채점 규칙이 있습니다:

• 샘플 생성은 가상의 인스턴스를 다루므로 정답이 하나로 정해져 있지 않습니다. 따라서 품질은 커버니스와 루브릭을 50대 50으로 조합해 산출합니다. 커버니스는 샘플에 포함된 고유 속성의 수를 세고(배열 항목마다 반복되는 속성은 한 번만 계산), 그중 주제에 부합한다고 판정된 비율만 남긴 뒤(관련 없는 엔티티를 끼워 넣는 등의 분량 채우기는 계산에서 제외), 정확성 판정에 따라 가중치를 적용하고, 그 결과를 최고 모델의 실행당 평균과 비교합니다. 제곱근으로 완충하므로 단순한 분량이나 유난히 장황한 이상치 하나가 결과를 좌우할 수 없습니다. 루브릭은 고정된 심사 모델이 생성된 속성 설계의 명명 및 구조 품질, 값의 현실성(첨부 파일이 있는 경우 원본 문서로의 추적 가능성 포함), 결정성 안전성을 채점한 결과입니다. 커버니스는 해당 시나리오의 다른 결과를 기준으로 산출되며, 속도 및 비용 점수도 마찬가지입니다. 이들 점수는 각 실행에서 생성에 쓰인 부분을 샘플 크기 중앙값 기준으로 재조정하므로, 장황한 모델이 풍부함에 대해 이중으로 대가를 치르지도, 고정된 프롬프트 비용을 그 뒤에 감추지도 않습니다. 그래서 모델을 추가하거나 다시 실행하면 모든 행의 기준선이 다시 계산됩니다. 실행에 참조 답안은 필요하지 않습니다.
• 스키마 생성은 시나리오의 입력 샘플을 근거로 삼아, 사람이 직접 검증한 골드 레퍼런스 스키마와 비교됩니다. 속성은 이름, 임베딩 유사도, 그다음 심판 순으로 매칭됩니다. 샘플이 증명하는 것은 심판 없이 결정됩니다. 속성의 타입과 형태, 한 샘플에서 누락된 값(nullable), 현지화된 값(multilingual), 서로 다른 두 샘플 인스턴스를 병합해 버리는 키 집합이 여기에 해당합니다. 그 밖의 모든 것 — 설명, 나머지 속성 불일치, 어떤 키가 객체를 가장 잘 식별하는지, semantic ID가 어떻게 구성되는지 — 은 네 가지 판정을 받습니다. 후보가 틀렸거나, 허용 가능하지만 더 약하거나, 동등하거나, 레퍼런스보다 낫다는 판정입니다. 레퍼런스는 진리가 아니라 사람이 손으로 교정한 초안이기 때문입니다. 속성 외에도 엔티티 영역은 분할 단위로 비교되며(대응 항목 없이 분리된 영역은 후보가 놓친 분할보다 감점이 크고, 보류 중인 통합 제안은 반대편이 병합했다면 병합된 것으로 계산됩니다), 각 객체의 식별 키는 객체별로 채점됩니다. 누락된 레퍼런스 속성은 커버리지를 떨어뜨리고, 임의로 만들어낸 추가 속성은 환각으로 계산되며, 전문 도메인 그룹핑은 구성원 기준으로 비교됩니다(도메인 이름은 상관없습니다). 여기서도 심판은 블라인드로 진행되며(두 설계를 A와 B로, 스키마 내 속성의 위치를 기준으로 평가), 후보가 레퍼런스를 이겼거나 샘플이 레퍼런스의 오류를 증명한 경우에는 이를 바로잡는 편집과 함께 발견 항목이 결과에 기록됩니다. 플래그, 타입, 설명, 닫힌 집합, 키 집합, 샘플에 있었지만 누락된 필드 등이 그 대상입니다. 채점 패스는 이를 여러 모델에 걸쳐 취합해 레퍼런스 스키마에 적용하며, 보강 발견 항목과 마찬가지로 로그에 남고 되돌릴 수 있습니다.

어느 경우든 익숙한 열들은 그 의미를 유지합니다 — 유형별 정의를 보려면 열 머리글에 마우스를 올리고, 전체 세부 내역을 보려면 행을 펼치세요.

비용 및 실행 내용

채점은 이미 저장된 결과에 대한 별도의 패스입니다 — 다시 보강하지 않으므로 테스트 대상 모델에 비용을 다시 지불하지 않습니다. 다만 값을 비교하기 위해 텍스트를 임베딩하고(시나리오에 심판이 있으면 심판도 실행하므로) 이때 사용량에 따라 크레딧이 차감됩니다. 이 과정은 모든 실행 중에 자동으로 수행되며 — 각 모델은 실행이 끝나는 즉시 채점됩니다 — 다시 채점할 때마다 반복됩니다. 조직에 임베딩 모델이 구성되어 있지 않고 시나리오에도 재정의가 없으면, 채점은 계속 실행되지만 정확 일치 비교로만 대체되며(이 경우 다른 표기는 불일치로 계산됩니다) 그 사실을 알려줍니다. 심판 오류는 다릅니다. 심판 호출이 실패하면 채점은 명시적인 오류와 함께 중단되고 해당 모델에는 부분 점수가 남지 않습니다 — 결과는 완전히 채점되거나 전혀 채점되지 않으며, 나중에 다시 채점할 수 있습니다. 심판의 답변은 내용을 기준으로 시나리오별로 캐시됩니다. 다른 모델이 제기한 동일한 질문이든, 반복이든, 패스든 두 번 비용을 지불하지 않으며, 레퍼런스가 스스로 업데이트된 뒤 다시 채점하면 수정된 필드의 질문만 다시 묻습니다. 심사자가 하는 일은 무엇도 숨겨지지 않습니다. 모델에 대한 모든 채점 과정은 History에 채점 레코드를 남기며, 심사 호출마다 프롬프트, 답변, 토큰, 비용이 한 행씩 기록되고 실패한 호출도 포함되며, 캐시가 무료로 답변한 질문 수도 함께 표시됩니다. 또한 결과 테이블에는 각 모델의 심사 비용, 호출 수, 채점 시간이 해당 레코드 링크와 함께 표시됩니다. 판정자를 선택할 때, LLM 판정자는 자신과 같은 모델 계열을 선호할 수 있다는 점에 유의하세요 — 벤치마크하지 않는 제공자의 판정자를 선택하는 것이 좋습니다.

찾을 수 있는 위치

모델 관리 → 벤치마크에서 시나리오 편집기를 통해 레퍼런스를 설정하고 검증하세요(심판 모델, 임베딩 모델, 엄격도도 여기서 선택합니다). 그 이후로는 모든 실행이 성공한 결과를 자동으로 채점합니다 — 정렬 가능한 품질 열이 별도 작업 없이 채워집니다. 레퍼런스나 채점 설정을 수정한 뒤 다시 채점하려면 결과 다시 채점(헤더 버튼 또는 ··· 메뉴)을 사용하세요. 레퍼런스 상태 옆의 레퍼런스 업데이트 배지를 열면 채점 패스가 변경한 내용의 로그가 표시되며, 항목별로 되돌릴 수 있습니다.