واجهة برمجة تطبيقات LLM مخصصة لـ LangChain: أشر إلى أي عنوان URL أساسي
لا تحتاج إلى كتابة فئة مخصصة لاستخدام واجهة برمجة تطبيقات LLM مخصصة لـ LangChain: يقبل غلاف الدردشة المتوافق مع OpenAI عنوان URL أساسي ومفتاحًا واسم نموذج. إليك التكوين الدقيق، بالإضافة إلى البث المتدفق والأدوات وإخراج JSON ومعالجة الحدود.
نقاط رئيسية
- تأخذ ChatOpenAI base_url وapi_key وmodel، لذا لا حاجة للوراثة.
- استخدم النموذج uncensored والعنوان الأساسي https://api.llmapistatus.com/v1.
- يدعم استدعاء الدوال والبث المتدفق ووضع JSON عبر نقطة النهاية.
- حدّ السلاسل المتوازية عند 8 للبقاء ضمن حدّ التوازي؛ لا تتوفر عمليات التضمين.

الإجابة المختصرة: ChatOpenAI مع عنوان URL أساسي مختلف
تتحدث LangChain مع الخوادم التي تتوافق مع واجهة برمجة تطبيقات OpenAI عبر حزمة langchain-openai. تتيح لك فئة ChatOpenAI تجاوز وجهة الطلبات، وهو بالضبط ما تحتاجه نقطة النهاية المخصصة. قم بتثبيت الحزمة، ثم مرر ثلاث قيم: عنوان URL أساسي https://api.llmapistatus.com/v1، مفتاحك، ومعرف النموذج uncensored.
قم بالتثبيت باستخدام pip install -U langchain-openai langchain-core.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Reply with the single word: ready").content)
إذا طُبعت استجابة، فإن التوصيل صحيح. تحصل على مفتاح من صفحة مفتاح API؛ يعرض البدء السريع نفس التبديل لمستخدمي SDK البسطاء. تخدم نقطة النهاية POST /v1/chat/completions و GET /v1/models، وهاتان الطريقتان هما كل ما يحتاجه غلاف OpenAI للدردشة.
كلمة حول مصطلح "LLM المخصص". توثق LangChain أيضًا طريقة لكتابة نموذج دردشة خاص بك عن طريق وراثة فئة أساسية، وهو ما ينطبق على واجهات برمجة التطبيقات التي لا تتحدث بتنسيق OpenAI. هذه نقطة النهاية تتحدث التنسيق، لذا فإن الوراثة ستضيف فقط كودًا يحتاج إلى الصيانة. اعتمد عليه فقط إذا كنت بحاجة إلى سلوك لا يمكن للغلاف التعبير عنه.
بناء سلسلة مع الموجّهات وتحليل المخرجات
مع وجود كائن النموذج، يعمل كل شيء آخر في LangChain بالطريقة التي يعمل بها مع أي نموذج دردشة. إليك سلسلة صغيرة مكتوبة بأسلوب لغة التعبيرات: قالب موجّه، النموذج، ومحلل نصي.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a blunt technical editor. Answer in at most {limit} words."),
("human", "Rewrite this for clarity:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({
"limit": 60,
"text": "The thing that we did was basically to make the cache be invalidated on write.",
}))
لا شيء في هذه السلسلة يعرف أو يهتم بأن النموذج يقع خلف نطاق مختلف. هذه هي ميزة واجهة برمجة التطبيقات المتوافقة: الموجّهات، وفئات الذاكرة، والمسترجعات، والوكلاء المكتوبة مقابل واجهة الدردشة القياسية تستمر في العمل. ما يجب أن تتحقق منه من جانبك هو الموجّه نفسه. نموذج مُضبط للإجابة دون رفض المحتوى يتبع التعليمات حرفيًا، لذا فإن الموجّهات النظامية الغامضة تنتج سلوكًا غامضًا. حدد الدور، والتنسيق، والطول.
هناك قيد يستحق معرفته قبل تصميم خط استرجاع. هذه الخدمة للنصوص فقط. لا توجد تضمينات (embeddings)، لذا فإن OpenAIEmbeddings الموجهة إلى عنوان URL الأساسي هذا ستفشل. استخدم نموذج تضمين محلي أو مزود آخر للمتجر المتجهي، واستخدم نقطة النهاية هذه للتوليد فقط.
بث الرموز عند وصولها
تدعم نقطة النهاية أحداث الإرسال من الخادم عند إرسال stream: true، وتحول LangChain ذلك إلى مكرر (iterator). لا تضبط العلم بنفسك؛ استدعاء .stream() يقوم بذلك.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
print(chunk.content, end="", flush=True)
print()
للخوادم غير المتزامنة (async) استخدم astream. يوجد نفس الاستدعاء في مكتبة JavaScript:
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.LLM_API_KEY,
configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});
const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
process.stdout.write(chunk.content);
}
تذكر أن الطلب المتدفق يحتفظ بخانة التزامن الخاصة به حتى وصول الحدث الأخير. إذا أغلق المستخدم علامة تبويب المتصفح واستمر خادمك في قراءة التدفق، تظل هذه الخانة مشغولة. ألغِ الطلب الموجّه إلى المصدر (upstream) عندما ينقطع اتصال العميل. تصل أرقام الاستخدام في نهاية التدفق، وهو المكان الذي تقرأ فيه تعدادات الرموز النهائية لسجلات الفواتير.
استدعاء الدوال (Tool calling) والوكلاء (Agents)
استدعاء الأدوات متاح: تقبل نقطة النهاية tools و tool_choice، تبث tool_calls مرة أخرى، وتأخذ نتائجك كرسائل مع role: "tool". في LangChain، ترفق الأدوات باستخدام bind_tools وتترك الإطار يبني الرسائل.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool
@tool
def get_order_status(order_id: str) -> str:
'Look up the status of an order by its id.'
return f"Order {order_id} shipped yesterday."
llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)
تشغيل الاستدعاء وإرجاع النتيجة هي النصف الثاني من الحلقة:
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage
messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)
for call in ai.tool_calls:
result = get_order_status.invoke(call["args"])
messages.append(ToolMessage(content=result, tool_call_id=call["id"]))
print(llm_tools.invoke(messages).content)
تختلف النماذج مفتوحة الأوزان في مدى دقة اختيار الأدوات وملء الحجج. اجعل وصف الأدوات قصيرًا ومحددًا، استخدم عددًا قليلاً من الأدوات لكل استدعاء، وتحقق من صحة الحجج في دالتك بدلاً من الوثوق بها. إذا دار الوكيل في حلقة، خفّض درجة الحرارة وحدد الحد الأقصى لعدد الخطوات في منفذ الوكيل الخاص بك.
مخرجات مُهيكلة وJSON
وضع JSON مدعوم عبر response_format: {"type": "json_object"}. في LangChain، أسهل طريقة هي استخدام with_structured_output مع طريقة وضع JSON، والتي تتحقق أيضاً من صحة المخرجات مقابل مخطط (schema).
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel
class Ticket(BaseModel):
title: str
priority: str
tags: list[str]
structured = llm.with_structured_output(Ticket, method="json_mode")
result = structured.invoke(
"Return JSON with keys title, priority and tags for this report: "
"login page times out on mobile, affects many users."
)
print(result)
وضع JSON يضمن أن المخرجات هي كائن JSON، وليس أنها تحتوي على الحقول التي تريدها. عادةً ما تساعد عادتان. أولاً، سمِّ المفاتيح في الموجّه كما هو موضح أعلاه؛ يجب أن تكون تعليمات إنتاج JSON صريحة. ثانياً، لفّ الطلب في إعادة محاولة تعيد تحليل البيانات عند الفشل. تحقق pydantic يكتشف الحقول المفقودة وأنواع البيانات الخاطئة، وإعادة محاولة واحدة مع إرفاق رسالة الخطأ عادةً ما تحل المشكلة.
يمكنك أيضاً تعيين response_format مباشرةً عند بناء النموذج باستخدام model_kwargs={"response_format": {"type": "json_object"}}، وهو أمر مفيد لسلاسل العمل البسيطة التي تنتهي بمحلل JSON.
حدود المعدل، إعادة المحاولة، والسلاسل المتوازية
تُنفّذ مهام الدفعات والوكلاء العديد من الطلبات في وقت واحد، وهنا تختلف نقطة النهاية المخصصة عن النموذج المحلي. يسمح المفتاح الكامل بـ 8 طلبات متزامنة و300 طلب في الدقيقة. يسمح مفتاح التجربة بـ 2 طلب متزامن و60 طلب في الدقيقة. عند تجاوز الحد، ترد الواجهة البرمجية بـ HTTP 429 ورمز الخطأ rate_limited أو concurrency؛ وفي حالات الحمل الزائد المؤقت، ترد 429 مع Retry-After: 5.
تتعامل إعدادتان من LangChain مع معظم الحالات. يأخذ النموذج max_retries، الذي يعيد المحاولة عند الفشل المؤقت مع تأخير، وتقبل الكائنات القابلة للتشغيل قيمة max_concurrency في تكوينها لأعمال الدفعات:
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
max_retries=4,
timeout=120,
)
questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})
ضبط الحدّ على 6 على المفتاح الكامل يترك مجالاً لطلبين آخرين، مثل استدعاء موجه للمستخدم من نفس التطبيق. على المفتاح التجريبي استخدم 1 أو 2. لا تعتمد على إعادة المحاولة وحدها لحل مشكلة التزامن: إذا كان الحدّ أعلى من الحدّ المسموح، فإن إعادة المحاولة تعيد إنتاج نفس التصادم. قراءة X-RateLimit-Limit-Requests و X-RateLimit-Limit-Concurrency من رؤوس الاستجابة تخبرك بالحدّ المسموح به لمفتاحك.
المدخلات الطويلة مقبولة ضمن نافذة 100,000 رمز، المشتركة بين الموجّه والإكمال، ويتم تقييد جسم الطلب بـ 8 ميجابايت. تحدد مقسّمات النصوص في LangChain حجم الشرائح بآلاف قليلة من الرموز، مما يبقيك بعيداً عن كلا الحدّين.
استكشاف أخطاء نقطة النهاية المخصصة وإصلاحها
تندرج معظم المشكلات المتعلقة بـ URL الأساسي في قائمة قصيرة، ولكل منها اختبار سريع.
- أخطاء المصادقة. تقرأ LangChain أيضاً متغير البيئة
OPENAI_API_KEY. إذا مرّرتapi_keyصراحةً، فإن هذه القيمة تطغى، لكن متغيراً قديماً قد لا يزال يربك كائن نموذج ثانٍ نسيت تكوينه. مرر المفتاح في كل مرة، واعطِ المتغير اسماً آخر مثلLLM_API_KEY. - أخطاء "غير موجود". يجب أن ينتهي URL الأساسي بـ
/v1. تضيف LangChain/chat/completionsتلقائياً، لذا فإن إضافته إلى URL الأساسي ينتج مساراً مكرراً. - نموذج غير معروف. أرسل طلب
GET /v1/modelsبالمفتاح نفسه وانسخ المعرّف الذي يطبعه. يجب أن يكونuncensored. - تعليق صامت في السلاسل الطويلة. اضبط
timeoutعلى النموذج وسجّل رأس الاستجابةX-Request-Id. إذا تواصلت مع الدعم، سيسمح هذا المعرف لهم بإيجاد الطلب المحدد. - مخرجات مفاجئة. اطبع الموجّه النهائي قبل إرساله. تأتي معظم الإجابات الغريبة في LangChain من قالب ملأ متغيراً بشيء غير متوقع، وليس من النموذج نفسه.
عند الشك، أعد إنتاج الطلب الفاشل باستخدام curl عادي ضد نفس URL. إذا نجح curl ولم تنجح LangChain، فإن الخطأ في سلسلتك؛ إذا فشل الاثنان، تحقق من المفتاح والرصيد.
مراقبة التكلفة أثناء البناء
تخفي السلاسل عدد الرموز، لذا قم بالقياس مبكراً. يتضمن كل استجابة استخدام البيانات، وتتضمن رؤوس الاستجابة X-Balance-USD. السعر هو $0.15 لكل مليون رمز مدخل و$0.50 لكل مليون رمز مخرج، ويُحسب من رصيد مسبق الدفع.
مثال عملي: سلسلة استرجاع ترسل 6,000 رمز من السياق والسؤال وتسترد 400 رمز، تكلف 6,000 × $0.15 / 1M = $0.0009 للمدخلات بالإضافة إلى 400 × $0.50 / 1M = $0.0002 للمخرجات، أي ما مجموعه $0.0011 لكل طلب. تشغيل 5,000 من هذه الطلبات في اختبار مكلف $5.50. من المفيد معرفة ذلك قبل ترك حلقة وكيل تعمل طوال الليل.
الطلبات الفاشلة أو المرفوضة لا تُحسب. صفحة التسعير توضح مبالغ الشحن من $20 إلى $500 مع مكافآت، ويمكن للحسابات الجديدة المطالبة برصيد تجريبي مجاني بقيمة $0.50 بنقرة واحدة، وهو كافٍ لبضع مئات من استدعاءات الاختبار الصغيرة أثناء إعداد الأمور.
المزيد من الأدلة
أسئلة وأجوبة
هل يجب أن أقوم بإنشاء فئة فرعية لفئة نموذج الدردشة في LangChain؟
لا. الواجهة متوافقة مع OpenAI، لذا فإن ChatOpenAI مع base_url مخصص وapi_key وmodel يعمل. لا يلزم إنشاء الفئة الفرعية إلا للواجهات التي تستخدم تنسيقاً مختلفاً.
هل يمكنني استخدام OpenAIEmbeddings مع هذه الواجهة؟
لا. الخدمة مخصصة للنصوص فقط ولا تدعم التضمين. استخدم نموذج تضمين محليًا أو مزوّدًا آخر للحصول على المتجهات، واستخدم نقطة النهاية هذه للتوليد.
ما اسم النموذج الذي أمرره؟
مرر uncensored كنموذج. يعيد GET /v1/models نفس المعرّف.
لماذا أحصل على أخطاء 429 في مهمة دفعية؟
تجاوزت حدّ الطلبات في الدقيقة أو الطلبات المتزامنة. خفّض max_concurrency إلى أقل من 8 على مفتاح كامل، أو إلى 2 على مفتاح تجريبي، واحتفظ بإعادة المحاولة مفعّلة.
نعم. استدعاء stream أو astream يستخدم أحداث الإرسال من الخادم (SSE)، ويُرسل الاستخدام في نهاية التدفق.
نعم. استدعاء stream أو astream يستخدم أحداث الإرسال من الخادم (SSE)، ويُرسل الاستخدام في نهاية التدفق.
مفتاحك على بُعد استمارة واحدة
أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.