LangChain कस्टम LLM API: किसी भी Base URL पर पॉइंट करें
langchain custom llm api का उपयोग करने के लिए आपको एक कस्टम क्लास लिखने की आवश्यकता नहीं है: OpenAI-compatible चैट व्रैपर base URL, एक कुंजी और एक मॉडल नाम स्वीकार करता है। यहाँ सटीक कॉन्फ़िगरेशन, साथ ही streaming, tools, JSON output और लिमिट हैंडलिंग दी गई है।
मुख्य बिंदु
- ChatOpenAI base_url, api_key और model लेता है, इसलिए सबक्लासिंग की आवश्यकता नहीं है।
- model uncensored और base URL https://api.llmapistatus.com/v1 का उपयोग करें।
- Tool calling, streaming और JSON mode सभी एंडपॉइंट के माध्यम से काम करते हैं।
- concurrency लिमिट के अंदर रहने के लिए parallel chains को 8 तक सीमित करें; एम्बेडिंग्स प्रदान नहीं की जाती हैं।

संक्षिप्त उत्तर: अलग बेस URL के साथ ChatOpenAI
LangChain langchain-openai पैकेज के माध्यम से OpenAI-शैली के सर्वर से बात करता है। इसकी ChatOpenAI क्लास आपको यह अनुमति देती है कि अनुरोध कहाँ जाएं, यह वही है जो एक कस्टम एंडपॉइंट को चाहिए। पैकेज को इंस्टॉल करें, फिर तीन मान पास करें: बेस URL https://api.llmapistatus.com/v1, आपकी कुंजी और मॉडल ID uncensored।
इंस्टॉल करें pip install -U langchain-openai langchain-core।
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Reply with the single word: ready").content)
यदि वह एक प्रतिक्रिया प्रिंट करता है, तो वायरिंग सही है। आप API कुंजी पृष्ठ से एक कुंजी प्राप्त करते हैं; ⟱क्विकस्टार्ट⟱ सादे SDK उपयोगकर्ताओं के लिए उसी स्विच को दिखाता है। एंडपॉइंट POST /v1/chat/completions और GET /v1/models प्रदान करता है, और वे दो विधियाँ चैट के लिए OpenAI रैपर को चाहिए।
"कस्टम LLM" शब्द के बारे में एक टिप्पणी। LangChain एक बेस क्लास को सबक्लास करके अपना खुद का चैट मॉडल लिखने का एक तरीका भी दस्तावेज़ में बताता है, जो उन API के लिए समझ में आता है जो OpenAI फॉर्मेट नहीं बोलते हैं। यह एंडपॉइंट उसे बोलता है, इसलिए सबक्लासिंग रखरखाव के लिए केवल कोड जोड़ेगी। इसे तभी चुनें यदि आपको उस व्यवहार की आवश्यकता है जो व्रैपर व्यक्त नहीं कर सकता।
प्रॉम्प्ट और आउटपुट पार्सिंग के साथ चेन बनाना
मॉडल ऑब्जेक्ट के साथ, LangChain में बाकी सब कुछ किसी भी चैट मॉडल की तरह काम करता है। यहाँ एक छोटी चेन एक्सप्रेशन-लैंग्वेज शैली में लिखी गई है: एक प्रॉम्प्ट टेम्पलेट, मॉडल, और एक स्ट्रिंग पार्सर।
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a blunt technical editor. Answer in at most {limit} words."),
("human", "Rewrite this for clarity:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({
"limit": 60,
"text": "The thing that we did was basically to make the cache be invalidated on write.",
}))
इस चेन में कुछ भी यह नहीं जानता या परवाह नहीं करता कि मॉडल एक अलग डोमेन के पीछे है। संगत API का लाभ है: प्रॉम्प्ट, मेमोरी क्लासेस, रिट्रीवर्स और एजेंट्स जो मानक चैट इंटरफ़ेस के लिए लिखे गए हैं, वे काम करते रहते हैं। आपको अपनी ओर से प्रॉम्प्ट की जाँच करनी चाहिए। बिना सामग्री अस्वीकृति के जवाब देने के लिए ट्यून्ड मॉडल निर्देशों का अक्षरशः पालन करता है, इसलिए अस्पष्ट सिस्टम प्रॉम्प्ट अस्पष्ट व्यवहार पैदा करते हैं। भूमिका, फॉर्मेट और लंबाई स्पष्ट रूप से बताएं।
एक सीमा को जानना जरूरी है जब आप एक रिट्रीवल पाइपलाइन डिज़ाइन करते हैं। यह सेवा केवल टेक्स्ट है। कोई एम्बेडिंग नहीं है, इसलिए OpenAIEmbeddings इस बेस URL की ओर इशारा करने पर विफल हो जाएगा। वेक्टर स्टोर के लिए एक लोकल एम्बेडिंग मॉडल या अन्य प्रोवाइडर का उपयोग करें, और केवल जनरेशन के लिए इस एंडपॉइंट का उपयोग करें।
आने वाले टोकन को स्ट्रीम करना
एंडपॉइंट stream: true भेजने पर सर्वर-सेंट इवेंट्स का समर्थन करता है, और LangChain इसे एक इटरेटर में बदल देता है। आप फ्लैग स्वयं सेट नहीं करते; .stream() कॉल करना यह सेट कर देता है।
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
print(chunk.content, end="", flush=True)
print()
एसेंक सर्वर के लिए astream का उपयोग करें। जावास्क्रिप्ट लाइब्रेरी में वही कॉल मौजूद है:
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.LLM_API_KEY,
configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});
const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
process.stdout.write(chunk.content);
}
याद रखें कि एक स्ट्रीम किए गए अनुरोध की कंकरेंसी स्लॉट अंतिम इवेंट आने तक बनी रहती है। यदि एक उपयोगकर्ता ब्राउज़र टैब बंद कर देता है और आपका सर्वर स्ट्रीम पढ़ता रहता है, तो वह स्लॉट लिया हुआ रहता है। क्लाइंट डिस्कनेक्ट होने पर अपस्ट्रीम अनुरोध रद्द करें। उपयोग संख्याएं स्ट्रीम के अंत में आती हैं, जहाँ आप बिलिंग लॉग के लिए अंतिम टोकन गणना पढ़ते हैं।
फ़ंक्शन कॉलिंग और एजेंट्स
टूल कॉलिंग उपलब्ध है: एंडपॉइंट tools और tool_choice स्वीकार करता है, tool_calls को स्ट्रीम करता है, और आपके परिणामों को role: "tool" के साथ संदेशों के रूप में लेता है। LangChain में आप bind_tools के साथ टूल्स जोड़ते हैं और फ्रेमवर्क संदेश बनाता है।
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool
@tool
def get_order_status(order_id: str) -> str:
'Look up the status of an order by its id.'
return f"Order {order_id} shipped yesterday."
llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)
कॉल चलाना और परिणाम लौटना लूप का दूसरा आधा हिस्सा है:
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage
messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)
for call in ai.tool_calls:
result = get_order_status.invoke(call["args"])
messages.append(ToolMessage(content=result, tool_call_id=call["id"]))
print(llm_tools.invoke(messages).content)
ओपन-वेट मॉडल टूल्स चुनने और तर्क भरने में अलग-अलग अच्छे होते हैं। टूल विवरण छोटे और स्पष्ट रखें, प्रति कॉल कम टूल्स का उपयोग करें, और अपने फंक्शन में तर्कों की जाँच करें, उन पर भरोसा न करें। यदि एक एजेंट लूप में फंसता है, तो तापमान कम करें और अपने एजेंट एक्जीक्यूटर में चरणों की अधिकतम संख्या सेट करें।
संरचित और JSON आउटपुट
JSON मोड response_format: {"type": "json_object"} के माध्यम से समर्थित है। LangChain में सबसे आसान तरीका with_structured_output का उपयोग करके JSON-मोड विधि है, जो परिणाम को एक स्कीमा के खिलाफ सत्यापित भी करता है।
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel
class Ticket(BaseModel):
title: str
priority: str
tags: list[str]
structured = llm.with_structured_output(Ticket, method="json_mode")
result = structured.invoke(
"Return JSON with keys title, priority and tags for this report: "
"login page times out on mobile, affects many users."
)
print(result)
JSON मोड यह गारंटी देता है कि आउटपुट एक JSON ऑब्जेक्ट है, यह नहीं कि इसमें आपकी वांछित फ़ील्ड्स हैं। दो आदतें मदद करती हैं। पहला, प्रॉम्प्ट में कुंजियों को नाम दें, जैसा कि ऊपर दिखाया गया है; JSON उत्पन्न करने का निर्देश स्पष्ट होना चाहिए। दूसरा, विफलता पर पुनः पार्स करने वाले एक रीट्राई में कॉल को रैप करें। pydantic जांच गायब फ़ील्ड्स और गलत प्रकारों को पकड़ती है, और त्रुटि संदेश संलग्न करने वाले एक रीट्राई से अक्सर समस्या हल हो जाती है।
आप response_format को मॉडल बनाते समय सीधे भी सेट कर सकते हैं model_kwargs={"response_format": {"type": "json_object"}}, जो JSON पार्सर पर समाप्त होने वाले साधारण चेन्स के लिए सुविधाजनक है।
रेट लिमिट, रीट्राइज़ और समानांतर चेन्स
बैच जॉब और एजेंट एक साथ कई कॉल करते हैं, और यहीं एक कस्टम एंडपॉइंट स्थानीय मॉडल से अलग होता है। एक फुल कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है। एक ट्रायल कुंजी 2 समानांतर और प्रति मिनट 60 की अनुमति देती है। एक सीमा से परे, API HTTP 429 के साथ प्रतिक्रिया देता है और त्रुटि कोड rate_limited या concurrency के साथ; अस्थायी ओवरलोड पर यह 429 के साथ Retry-After: 5 प्रतिक्रिया देता है।
दो LangChain सेटिंग्स इसका अधिकांश हिस्सा संभालती हैं। मॉडल max_retries लेता है, जो बैकऑफ़ के साथ अस्थायी विफलताओं को पुनः प्रयास करता है, और runnables बैच वर्क के लिए अपनी कॉन्फ़िगरेशन में max_concurrency मान स्वीकार करते हैं:
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
max_retries=4,
timeout=120,
)
questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})
एक पूर्ण कुंजी पर कैप को 6 पर सेट करने से दो अन्य अनुरोधों के लिए जगह बचती है, जैसे कि उसी एप्लिकेशन से एक उपयोगकर्ता-सामने वाली कॉल। एक ट्रायल कुंजी पर 1 या 2 का उपयोग करें। कंकरेंसी समस्या के लिए केवल पुनः प्रयास पर निर्भर न रहें: यदि कैप सीमा से ऊपर है, तो पुनः प्रयास केवल उसी टकराव को फिर से बनाते हैं। प्रतिक्रिया हेडर से X-RateLimit-Limit-Requests और X-RateLimit-Limit-Concurrency पढ़ने से आपको पता चलता है कि आपकी कुंजी को क्या अनुमति है।
लंबे इनपुट 100,000-टोकन विंडो तक ठीक हैं, जो प्रॉम्प्ट और पूर्णता के बीच साझा किए जाते हैं, और अनुरोध बॉडी 8 MB तक सीमित है। LangChain टेक्स्ट स्प्लिटर को प्रति चंक कुछ हज़ार टोकन पर सेट करने से आप दोनों से दूर रहते हैं।
कस्टम एंडपॉइंट की समस्या निवारण
कस्टम बेस URL के साथ अधिकांश समस्याएं एक छोटी सूची में आती हैं, और प्रत्येक का एक त्वरित परीक्षण है।
- प्रमाणीकरण त्रुटियाँ। LangChain
OPENAI_API_KEYपर्यावरण चर को भी पढ़ता है। यदि आपapi_keyस्पष्ट रूप से पास करते हैं, तो वह मान प्राथमिकता प्राप्त करता है, लेकिन एक पुराना चर आपके द्वारा कॉन्फ़िगर न किए गए दूसरे मॉडल ऑब्जेक्ट को भ्रमित कर सकता है। कुंजी को हर बार पास करें, और चर कोLLM_API_KEYजैसा कोई अन्य नाम दें। - "नहीं मिला" त्रुटियाँ। बेस URL को
/v1पर समाप्त होना चाहिए। LangChain स्वयं/chat/completionsजोड़ता है, इसलिए बेस URL में इसे जोड़ने से पथ दोगुना हो जाता है। - अज्ञात मॉडल।
GET /v1/modelsके साथ उसी कुंजी का अनुरोध करें और जो ID प्रिंट होती है उसे कॉपी करें। वहuncensoredहोनी चाहिए। - लंबी चेन में चुपचाप फंसना। मॉडल पर
timeoutसेट करें औरX-Request-Idरिस्पॉन्स हेडर को लॉग करें। यदि आप सपोर्ट से संपर्क करते हैं, तो वह ID उन्हें सटीक अनुरोध खोजने में मदद करती है। - आश्चर्यजनक आउटपुट। इसे भेजने से पहले अंतिम प्रॉम्प्ट प्रिंट करें। LangChain में अधिकांश अजीब जवाब किसी टेम्पलेट से आते हैं जिसने किसी वेरिएबल को अप्रत्याशित कुछ से भरा था, न कि मॉडल से।
संदेह की स्थिति में, समान URL के खिलाफ साधारण curl के साथ विफल कॉल को पुनः उत्पन्न करें। यदि curl काम करता है और LangChain नहीं, तो दोष आपकी चेन में है; यदि दोनों विफल होते हैं, तो कुंजी और बैलेंस की जांच करें।
बनाते समय लागत की जांच
चेन टोकन गिनती छिपा देती हैं, इसलिए शुरुआत में मापें। प्रत्येक रिस्पॉन्स में उपयोग शामिल होता है, और रिस्पॉन्स हेडर में X-Balance-USD शामिल होता है। कीमत 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 है, जो प्रीपेड क्रेडिट से बिल की जाती है।
एक व्यावहारिक उदाहरण: एक पुनर्प्राप्ति चेन जो 6,000 टोकन संदर्भ और प्रश्न भेजती है और 400 टोकन प्राप्त करती है, जिसमें इनपुट के लिए 6,000 x $0.15 / 1M = $0.0009 और आउटपुट के लिए 400 x $0.50 / 1M = $0.0002 खर्च होता है, तो प्रति कॉल $0.0011 आते हैं। एक टेस्ट स्वीप में 5,000 ऐसे कॉल चलाने में $5.50 खर्च होंगे। यह जानना उपयोगी है कि आप एक एजेंट लूप को रात भर चलने से पहले इसकी लागत का अनुमान लगा लें।
विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मूल्य निर्धारण पृष्ठ पर $20 से $500 तक टॉप-अप राशियां बोनस के साथ सूचीबद्ध हैं, और नए खाते एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं, जो चीजों को सेट करते समय कुछ सौ छोटे टेस्ट कॉल के लिए पर्याप्त है।
अधिक गाइड
प्रश्न और उत्तर
क्या मुझे LangChain के चैट मॉडल बेस क्लास को सबक्लास करना होगा?
नहीं। एंडपॉइंट OpenAI-संगत है, इसलिए कस्टम base_url, api_key और मॉडल के साथ ChatOpenAI काम करता है। सबक्लासिंग केवल उन API के लिए आवश्यक है जो अलग प्रारूप का उपयोग करते हैं।
क्या मैं इस एंडपॉइंट के साथ OpenAIEmbeddings का उपयोग कर सकता हूं?
नहीं। सेवा केवल पाठ है और इसमें एम्बेडिंग नहीं है। वेक्टर के लिए एक स्थानीय एम्बेडिंग मॉडल या एक अन्य प्रदाता का उपयोग करें, और जनरेशन के लिए इस एंडपॉइंट का उपयोग करें।
मुझे कौन सा मॉडल नाम पास करना है?
मॉडल के रूप में uncensored पास करें। GET /v1/models वही ID लौटाता है।
बैच जॉब में मुझे 429 त्रुटियां क्यों आ रही हैं?
आपने प्रति मिनट अनुरोधों या समानांतर अनुरोधों की सीमा पार कर दी है। पूर्ण कुंजी पर max_concurrency को 8 से नीचे, या ट्रायल कुंजी पर 2 से नीचे रखें, और पुनः प्रयास सक्षम रखें।
क्या LangChain का स्ट्रीमिंग यहाँ काम करता है?
हाँ। stream या astream कॉल करने से सर्वर-सेंट इवेंट्स का उपयोग होता है, और उपयोग स्ट्रीम के अंत में भेजा जाता है।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।