बैच प्रोसेसिंग

बैच प्रोसेसिंग पाइपलाइन

लचीली इनपुट विधियाँ

रीयल-टाइम प्रगति ट्रैकिंग

हर बैच जॉब सर्वर-सेंट इवेंट्स (SSE) के ज़रिए प्रगति इवेंट स्ट्रीम करता है। UI यह दिखाता है:

• - एंटिटी पूर्णता गिनती के साथ कुल बैच प्रगति बार
• - प्रति-entity स्थिति: कतारबद्ध, चल रहा, पूर्ण, विफल
• - प्रत्येक entity के भीतर प्रति-model प्रगति (expertise domain बैज के साथ)
• - कई मॉडलों का उपयोग होने पर फ्यूज़न स्थिति
• - पूरे बैच में लागत का संचय

हर entity परिणाम कार्ड को समेटा जा सकता है, जिसमें रॉ आउटपुट के साथ प्रति-model टैब और fusion सक्षम होने पर एक merged परिणाम टैब दिखता है। विफल entity को पूरा batch दोबारा चलाए बिना अलग-अलग पुनः प्रयास किया जा सकता है।

प्रति कुंजी रेट पेसिंग

बैच प्रोसेसिंग हर कॉल को उस बजट के भीतर गति-नियंत्रित करती है जो प्रोवाइडर आपकी API कुंजी को देता है, प्रति मॉडल: प्रति मिनट अनुरोध और टोकन जो वह अपने रिस्पॉन्स पर बताता है, या कुछ न बताने पर किसी अस्वीकृति से सीखा गया बजट। अगर आप 3 मॉडल से 50 एंटिटी संवर्धित कर रहे हैं, तो सिस्टम एक साथ 150 API कॉल नहीं करता -- हर मॉडल की कॉल उसके अपने बजट में फ़िट होने के लिए फैला दी जाती हैं, और चालू कॉल की संख्या उसी बजट और देखी गई लेटेंसी से तय होती है।

हर कुंजी जिन नियमों के तहत चलती है वे API Keys पेज से देखे जा सकते हैं, और कोई मालिक चुप प्रोवाइडर के लिए नियम लिख सकता है; जो टारगेट कभी 429 नहीं देते उनके लिए समानांतर कॉल की सख़्त सीमा मॉडल प्रबंधन सेटिंग्स में प्रति प्रोवाइडर सेट की जा सकती है। सिस्टम आपकी सीमाओं के भीतर थ्रूपुट अधिकतम करता है और साथ ही 429 त्रुटियों से बचाता है।

एक्सपोर्ट फॉर्मेट

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

रद्द करें और पुनः प्रयास करें

चल रहे बैच जॉब को किसी भी समय रद्द किया जा सकता है। रद्दीकरण सुगम होता है -- चल रहे LLM कॉल पूरे होते हैं (आपको फिर भी उनके परिणाम मिलते हैं), लेकिन कोई नया कॉल शुरू नहीं होता। पहले से पूरे हो चुके एंटिटी अपने परिणाम बनाए रखते हैं।

बैच शुरू करने से पहले, सिस्टम चुने गए मॉडल्स, एंटिटी काउंट, और स्कीमा जटिलता के आधार पर एक लागत अनुमान प्रदान करता है। इससे आप रन के लिए प्रतिबद्ध होने से पहले अपेक्षित लागत को मान्य कर सकते हैं।

संबंधित संसाधन