LLM 제공자와 모델을 관리하고, 외부 레지스트리에서 모델을 동기화하며, 상태 확인을 실행하고, 독립적인 청구를 위해 조직별 API 키를 구성합니다.
Entity Enricher는 다양한 LLM 제공자를 지원합니다. 각 제공자는 개별 가격, 기능, 구성을 갖춘 여러 모델을 가질 수 있습니다.
많은 팀이 LLM 트래픽을 기업용 AI 게이트웨이, 지역 엔드포인트, 또는 기본 제공되지 않는 공급자를 통해 라우팅합니다 — 예를 들어 엔터프라이즈 LiteLLM 프록시, Cloudflare AI Gateway, 또는 Alibaba DashScope(Qwen 모델용) 등입니다. 이러한 공급자는 사용자 지정 기본 URL을 사용하여 별도의 Standard (OpenAI-compatible) 공급자로 추가합니다.
acme-openai-gw). openai 또는 anthropic 같은 내장 이름은 예약되어 있습니다. https://gateway.example.com/v1. 이 필드는 Entity Enricher에 기본 클라이언트가 없는 모든 공급자에 대해 필수입니다. https:// URL이어야 합니다. 루프백 및 사설 범위(localhost, 10.x, 192.168.x)는 SSRF를 방지하기 위해 거부됩니다 — 자체 호스팅 서버는 인터넷을 통해 접근 가능해야 합니다. 로컬 Ollama의 경우 전용 Ollama 터널을 대신 사용하세요./v1 프로토콜(chat completions, /models)을 지원해야 합니다. {endpoint}/models를 탐색합니다.각 provider에는 key당 최대 동시 호출 수 설정(속도 제한 재정의)이 있습니다. 이는 단일 API key가 병렬로 실행하는 LLM 호출 수를 제한하며 — 해당 key를 사용하는 모든 흐름, 즉 다중 expertise enrichment 팬아웃, classification, arbitration, schema/샘플 생성을 포함합니다.
이는 요금제의 최대 동시 작업 한도와는 별개이며, 이 한도는 전체 조직이 모든 공급자에 걸쳐 동시에 실행하는 보강 작업 수를 제한합니다.
각 model은 자신의 기능을 추적하며, 이는 model 선택기에 아이콘으로 표시됩니다:
| 기능 | 설명 |
|---|---|
| 비전 | 이미지 및 시각적 입력을 처리할 수 있습니다 |
| 도구 호출 | 함수 호출 / 도구 사용 지원 |
| 오디오 입력 | 오디오 입력을 처리할 수 있습니다 |
| PDF 입력 | PDF 문서를 처리할 수 있습니다 |
| 프롬프트 캐싱 | 비용 절감을 위한 프롬프트 캐싱 지원 |
| 추론 | 확장 사고 / 사고 연쇄 기능 |
외부 레지스트리에서 동기화하여 모델 가격을 최신 상태로 유지하세요. 동기화 과정은 새 모델, 가격 변경, 제거된 모델을 자동으로 감지합니다.
기본 가격 정보 소스입니다. 실제 API 모델 이름, 가격, 컨텍스트 길이, 기능이 포함된 GitHub의 LiteLLM 커뮤니티 관리 레지스트리에서 가져옵니다.
약 30개 provider를 지원합니다. 표시 이름, benchmark, 생성 속도는 포함하지 않습니다.
pricepertoken.com에서 제공하는 대체 소스입니다. 표시 이름, 벤치마크(코딩 및 수학 점수), 생성 속도(초당 토큰)를 포함합니다.
약 20개 provider를 지원합니다. LiteLLM보다 풍부한 메타데이터를 제공합니다.
최소 상태 점검 프롬프트를 실행하여 모델에 연결할 수 있는지 사전에 검증합니다. 이를 통해 보강 중 사용자가 오류를 겪기 전에 손상된 모델을 발견할 수 있습니다.
상태 확인은 모든 model, 특정 provider의 model 또는 단일 model에서 실행할 수 있습니다. 결과는 SSE를 통해 실시간으로 스트리밍되며 통과/실패 수를 보여주는 진행률 표시줄이 함께 표시됩니다.
보강 호출이 “model not found” 오류로 실패하면 반복적인 실패를 방지하기 위해 모델이 자동으로 비활성화됩니다. 이는 일반적인 보강 작업 중에 실시간으로 발생합니다.
| 비활성화 사유 | 설정한 사람 | 자동 재활성화됨? |
|---|---|---|
| 모델을 찾을 수 없음 | 보강 오류 또는 상태 점검 | 예 (가격 동기화 또는 검증을 통해) |
| 동기화 제거됨 | 가격 동기화(모델 사라짐) | 예 (모델이 레지스트리에 다시 나타나는 경우) |
| 수동 | UI의 관리자 토글 | 아니요(수동 재활성화만 가능) |
조직은 독립적인 청구 및 사용량 추적을 위해 자체 LLM 제공자 API 키를 구성할 수 있습니다. 시스템은 LRU 선택을 사용하는 2계층 키 확인 방식을 사용합니다:
API Keys 페이지에서 구성되는 조직별 키입니다. 제공자당 여러 키를 LRU 순환과 함께 지원합니다. Fernet으로 암호화됩니다.
관리자가 관리하는 시스템 전역 키입니다. 모든 조직에서 공유됩니다. 또한 LRU 순환 방식으로 제공자당 여러 키를 지원합니다.
각 enrichment은 어떤 key가 사용되었는지 기록하므로 key별 비용을 추적할 수 있습니다. Key는 상태 확인 지원과 사용량 카운터를 포함하며, 영구적 실패(잘못된 key, 결제 필요) 시 자동으로 비활성화됩니다. 속도 제한이 걸린 key는 일시적으로 대기 상태가 되고 pool의 다른 key가 사용됩니다. Key 관리 방법은 API Keys 가이드에서 알아보세요.
전체 프로바이더 및 모델 구성을 백업하거나 다른 인스턴스로 이전하기 위해 JSON으로 내보냅니다. 가져오기는 항상 업서트 방식입니다. 기존 프로바이더와 모델은 이름으로 매칭되어 제자리에서 업데이트되고, 새로운 항목은 추가되며 삭제되는 것은 없습니다.
이 내보내기에는 공급자 설정, 모델 구성, 가격, 기능, 표준 모델 사양이 포함되지만, 별도로 저장되는 API 키는 절대 포함되지 않습니다. 가져오기 후에는 API 키를 별도로 구성하세요. 시스템 관리자는 전체 글로벌 카탈로그를 백업하며, 조직 소유자는 자신의 조직 공급자와 모델만 내보내고 가져옵니다 — 공유 글로벌 카탈로그는 가져오기를 통해 생성하거나 편집할 수 없습니다.