बैच प्रोसेसिंग

बैच प्रोसेसिंग पाइपलाइन

लचीली इनपुट विधियाँ

रीयल-टाइम प्रगति ट्रैकिंग

हर बैच जॉब सर्वर-सेंट इवेंट्स (SSE) के ज़रिए प्रगति इवेंट स्ट्रीम करता है। UI यह दिखाता है:

• - एंटिटी पूर्णता गिनती के साथ कुल बैच प्रगति बार
• - प्रति-entity स्थिति: कतारबद्ध, चल रहा, पूर्ण, विफल
• - प्रत्येक entity के भीतर प्रति-model प्रगति (expertise domain बैज के साथ)
• - कई मॉडलों का उपयोग होने पर फ्यूज़न स्थिति
• - पूरे बैच में लागत का संचय

हर entity परिणाम कार्ड को समेटा जा सकता है, जिसमें रॉ आउटपुट के साथ प्रति-model टैब और fusion सक्षम होने पर एक merged परिणाम टैब दिखता है। विफल entity को पूरा batch दोबारा चलाए बिना अलग-अलग पुनः प्रयास किया जा सकता है।

प्रति-Provider रेट लिमिटिंग

बैच प्रोसेसिंग API रेट लिमिट के भीतर रहने के लिए प्रति प्रोवाइडर समवर्ती सेमाफोर का उपयोग करती है। यदि आप 3 मॉडल्स के साथ 50 एंटिटीज़ को एनरिच कर रहे हैं, तो सिस्टम एक साथ 150 API कॉल्स नहीं करता। इसके बजाय, यह प्रत्येक प्रोवाइडर की कॉन्फ़िगर की गई रेट लिमिट का सम्मान करता है -- उदाहरण के लिए, Anthropic को 5 समवर्ती कॉल्स, OpenAI को 10, और सेल्फ-होस्टेड Ollama इंस्टेंस को 3।

रेट लिमिट्स मॉडल मैनेजमेंट सेटिंग्स में हर प्रोवाइडर के लिए कॉन्फ़िगर की जा सकती हैं। सिस्टम आपकी लिमिट्स के भीतर थ्रूपुट को अधिकतम करता है और साथ ही 429 एरर्स को रोकता है।

एक्सपोर्ट फॉर्मेट

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

रद्द करें और पुनः प्रयास करें

चल रहे बैच जॉब को किसी भी समय रद्द किया जा सकता है। रद्दीकरण सुगम होता है -- चल रहे LLM कॉल पूरे होते हैं (आपको फिर भी उनके परिणाम मिलते हैं), लेकिन कोई नया कॉल शुरू नहीं होता। पहले से पूरे हो चुके एंटिटी अपने परिणाम बनाए रखते हैं।

बैच शुरू करने से पहले, सिस्टम चुने गए मॉडल्स, एंटिटी काउंट, और स्कीमा जटिलता के आधार पर एक लागत अनुमान प्रदान करता है। इससे आप रन के लिए प्रतिबद्ध होने से पहले अपेक्षित लागत को मान्य कर सकते हैं।

संबंधित संसाधन