LangChain Custom LLM API: Chỉ định bất kỳ Base URL nào
Để sử dụng API LLM tùy chỉnh langchain, bạn không cần viết lớp tùy chỉnh: bộ bao trò chuyện tương thích OpenAI chấp nhận URL cơ sở, khóa và tên mô hình. Đây là cấu hình chính xác, bao gồm truyền phát, công cụ, chế độ JSON và xử lý giới hạn.
Điểm chính
- ChatOpenAI nhận base_url, api_key và model, nên không cần kế thừa.
- Sử dụng mô hình uncensored và base URL https://api.llmapistatus.com/v1.
- Tool calling, streaming và JSON mode đều hoạt động qua endpoint.
- Giới hạn chuỗi song song ở mức 8 để không vượt quá giới hạn đồng thời; embeddings không được cung cấp.

Câu trả lời ngắn gọn: ChatOpenAI với base URL khác
LangChain giao tiếp với các máy chủ kiểu OpenAI thông qua gói langchain-openai. Lớp ChatOpenAI cho phép bạn ghi đè nơi yêu cầu được gửi, đây chính xác là những gì một endpoint tùy chỉnh cần. Cài đặt gói, sau đó truyền ba giá trị: base URL https://api.llmapistatus.com/v1, khóa của bạn và model ID uncensored.
Cài đặt với pip install -U langchain-openai langchain-core.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
temperature=0.7,
)
print(llm.invoke("Reply with the single word: ready").content)
Nếu lệnh đó in ra phản hồi, việc kết nối đã đúng. Bạn lấy khóa từ trang khóa API; hướng dẫn nhanh cũng chỉ cách chuyển đổi tương tự cho người dùng SDK thuần túy. Endpoint phục vụ POST /v1/chat/completions và GET /v1/models, và hai phương thức này là đủ cho wrapper chat OpenAI.
Về thuật ngữ "custom LLM". LangChain cũng mô tả cách viết mô hình chat tùy chỉnh bằng cách kế thừa lớp cơ sở, điều này hợp lý cho các API không hỗ trợ định dạng OpenAI. Endpoint này hỗ trợ định dạng đó, nên việc kế thừa chỉ thêm mã cần bảo trì. Chỉ dùng khi bạn cần hành vi mà wrapper không thể biểu diễn.
Xây dựng chain với prompts và output parsing
Khi đã có đối tượng mô hình, mọi thứ khác trong LangChain hoạt động như với bất kỳ mô hình chat nào. Dưới đây là một chain nhỏ viết theo phong cách ngôn ngữ biểu thức: một prompt template, mô hình và một trình phân tích chuỗi.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "You are a blunt technical editor. Answer in at most {limit} words."),
("human", "Rewrite this for clarity:\n\n{text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({
"limit": 60,
"text": "The thing that we did was basically to make the cache be invalidated on write.",
}))
Không có gì trong chain này biết hoặc quan tâm rằng mô hình nằm sau một tên miền khác. Đó là lợi ích của API tương thích: prompts, lớp bộ nhớ, retrievers và agents viết cho giao diện chat tiêu chuẩn vẫn hoạt động. Bạn nên kiểm tra prompt của mình. Một mô hình được tinh chỉnh để trả lời mà không từ chối nội dung sẽ tuân theo hướng dẫn một cách máy móc, nên các system prompt mơ hồ sẽ tạo ra hành vi mơ hồ. Hãy nêu rõ vai trò, định dạng và độ dài.
Một giới hạn đáng biết trước khi bạn thiết kế pipeline retrieval. Dịch vụ này chỉ xử lý văn bản. Không có embeddings, nên OpenAIEmbeddings trỏ vào base URL này sẽ thất bại. Hãy dùng mô hình embedding cục bộ hoặc nhà cung cấp khác cho kho vector, và chỉ dùng endpoint này để sinh văn bản.
Truyền phát token khi chúng đến
Endpoint hỗ trợ server-sent events khi bạn gửi stream: true, và LangChain biến nó thành một iterator. Bạn không cần đặt cờ này; việc gọi .stream() sẽ tự động làm điều đó.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
print(chunk.content, end="", flush=True)
print()
Với máy chủ async, dùng astream. Hàm gọi tương tự cũng có trong thư viện JavaScript:
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.LLM_API_KEY,
configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});
const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
process.stdout.write(chunk.content);
}
Hãy nhớ rằng một yêu cầu streaming giữ slot concurrency của nó cho đến khi sự kiện cuối cùng đến. Nếu người dùng đóng tab trình duyệt và máy chủ của bạn vẫn đang đọc stream, slot đó vẫn bị chiếm. Hãy hủy yêu cầu upstream khi client ngắt kết nối. Số liệu sử dụng xuất hiện ở cuối stream, đây là nơi bạn đọc số token cuối cùng để ghi log tính phí.
Gọi công cụ và agent
Tool calling có sẵn: endpoint chấp nhận tools và tool_choice, trả lại tool_calls qua streaming, và nhận kết quả của bạn dưới dạng messages với role: "tool". Trong LangChain, bạn đính kèm tools bằng bind_tools và để framework tự xây dựng messages.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool
@tool
def get_order_status(order_id: str) -> str:
'Look up the status of an order by its id.'
return f"Order {order_id} shipped yesterday."
llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)
Chạy lệnh gọi và trả về kết quả là nửa còn lại của vòng lặp:
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage
messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)
for call in ai.tool_calls:
result = get_order_status.invoke(call["args"])
messages.append(ToolMessage(content=result, tool_call_id=call["id"]))
print(llm_tools.invoke(messages).content)
Các mô hình open-weight khác nhau về khả năng chọn tools và điền đối số. Hãy giữ mô tả tools ngắn gọn và cụ thể, dùng ít tools mỗi lần gọi, và xác thực đối số trong hàm của bạn thay vì tin tưởng chúng. Nếu agent bị lặp, hãy giảm temperature và đặt số bước tối đa trong agent executor của bạn.
Đầu ra có cấu trúc và JSON
JSON mode được hỗ trợ qua response_format: {"type": "json_object"}. Trong LangChain, cách dễ nhất là dùng with_structured_output với phương thức JSON-mode, cũng xác thực kết quả theo schema.
# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel
class Ticket(BaseModel):
title: str
priority: str
tags: list[str]
structured = llm.with_structured_output(Ticket, method="json_mode")
result = structured.invoke(
"Return JSON with keys title, priority and tags for this report: "
"login page times out on mobile, affects many users."
)
print(result)
JSON mode đảm bảo output là một đối tượng JSON, không đảm bảo nó có các trường bạn muốn. Hai thói quen giúp ích. Thứ nhất, đặt tên các khóa trong prompt, như trên; hướng dẫn tạo JSON phải rõ ràng. Thứ hai, bao bọc lệnh gọi trong một retry để phân tích lại khi thất bại. Kiểm tra pydantic bắt lỗi thiếu trường và sai kiểu, và một lần retry với thông báo lỗi được nối thêm thường sẽ khắc phục được.
Bạn cũng có thể đặt response_format trực tiếp khi xây dựng mô hình với model_kwargs={"response_format": {"type": "json_object"}}, điều này hữu ích cho các chain đơn giản kết thúc bằng trình phân tích JSON.
Giới hạn tốc độ, thử lại và chuỗi song song
Các job batch và agents thực hiện nhiều lệnh gọi cùng lúc, và đây là nơi endpoint tùy chỉnh khác với mô hình cục bộ. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Vượt quá giới hạn, API trả về HTTP 429 và mã lỗi rate_limited hoặc concurrency; khi quá tải tạm thời, nó trả về 429 với Retry-After: 5.
Hai cài đặt LangChain xử lý hầu hết các trường hợp. Mô hình nhận max_retries, sẽ thử lại các lỗi tạm thời với backoff, và runnables chấp nhận giá trị max_concurrency trong cấu hình của chúng cho công việc batch:
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.llmapistatus.com/v1",
api_key=os.environ["LLM_API_KEY"],
max_retries=4,
timeout=120,
)
questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})
Đặt giới hạn ở mức 6 với khóa đầy đủ để lại chỗ cho hai yêu cầu khác, chẳng hạn như một lệnh gọi từ người dùng cùng ứng dụng. Với khóa dùng thử, hãy dùng 1 hoặc 2. Đừng chỉ dựa vào retries cho vấn đề concurrency: nếu giới hạn cao hơn giới hạn cho phép, retries chỉ tạo ra cùng một va chạm. Đọc X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency từ response headers cho biết khóa của bạn được phép gì.
Đầu vào dài ổn định lên đến cửa sổ ngữ cảnh 100,000 token, chia sẻ giữa prompt và completion, và body yêu cầu được giới hạn ở 8 MB. Các trình phân tách văn bản LangChain được đặt ở vài nghìn token mỗi chunk sẽ giữ bạn xa cả hai giới hạn này.
Khắc phục sự cố endpoint tùy chỉnh
Hầu hết các vấn đề với base URL tùy chỉnh nằm trong một danh sách ngắn, và mỗi vấn đề đều có một bài kiểm tra nhanh.
- Lỗi xác thực. LangChain cũng đọc biến môi trường
OPENAI_API_KEY. Nếu bạn truyềnapi_keyrõ ràng, giá trị đó sẽ thắng, nhưng một biến cũ vẫn có thể gây nhầm lẫn cho đối tượng mô hình thứ hai mà bạn quên cấu hình. Hãy truyền khóa mỗi lần, và đặt tên biến khác, chẳng hạnLLM_API_KEY. - Lỗi không tìm thấy. Base URL phải kết thúc bằng
/v1. LangChain tự thêm/chat/completions, nên thêm nó vào base URL sẽ tạo ra đường dẫn bị lặp. - Mô hình không xác định. Hãy gọi
GET /v1/modelsvới cùng khóa và sao chép ID nó in ra. Nó phải làuncensored. - Treo im lặng trong các chain dài. Đặt
timeouttrên mô hình và log response headerX-Request-Id. Nếu bạn liên hệ hỗ trợ, ID đó giúp họ tìm chính xác yêu cầu. - Output bất ngờ. In prompt cuối cùng trước khi nó được gửi. Hầu hết các câu trả lời kỳ lạ trong LangChain đến từ một template điền biến bằng một thứ gì đó không mong đợi, chứ không phải từ mô hình.
Khi nghi ngờ, hãy tái tạo lệnh gọi thất bại với curl thuần túy đối với cùng URL. Nếu curl hoạt động và LangChain không, lỗi nằm ở chain của bạn; nếu cả hai đều thất bại, hãy kiểm tra khóa và số dư.
Kiểm tra chi phí trong quá trình xây dựng
Các chain ẩn số lượng token, nên hãy đo lường sớm. Mỗi response bao gồm usage, và response headers bao gồm X-Balance-USD. Giá là $0.15 cho mỗi 1M input tokens và $0.50 cho mỗi 1M output tokens, được tính phí từ prepaid credit.
Ví dụ minh họa: một retrieval chain gửi 6.000 token ngữ cảnh và câu hỏi và nhận lại 400 token tốn 6.000 x $0.15 / 1M = $0.0009 cho input cộng 400 x $0.50 / 1M = $0.0002 cho output, vậy $0.0011 cho mỗi lệnh gọi. Chạy 5.000 lệnh gọi như vậy trong một đợt kiểm tra tốn $5.50. Điều này hữu ích để biết trước khi bạn để một vòng lặp agent chạy qua đêm.
Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Trang giá cả liệt kê các mức nạp tiền từ $20 đến $500 kèm ưu đãi, và tài khoản mới có thể nhận $0.50 tín dụng dùng thử miễn phí chỉ với một cú nhấp chuột, đủ cho vài trăm lệnh gọi kiểm tra nhỏ trong khi bạn thiết lập hệ thống.
Hướng dẫn khác
Hỏi đáp
Tôi có phải kế thừa lớp cơ sở của mô hình chat trong LangChain không?
Không. Endpoint tương thích với OpenAI, nên ChatOpenAI với base_url tùy chỉnh, api_key và model là đủ. Việc kế thừa chỉ cần thiết cho các API sử dụng định dạng khác.
Tôi có thể dùng OpenAIEmbeddings với endpoint này không?
Không. Dịch vụ chỉ xử lý văn bản và không có chức năng embedding. Hãy dùng mô hình embedding cục bộ hoặc nhà cung cấp khác cho vector, và dùng endpoint này cho việc sinh văn bản.
Tôi phải truyền tên mô hình nào?
Truyền uncensored làm model. GET /v1/models trả về cùng ID đó.
Tại sao tôi nhận lỗi 429 trong một công việc hàng loạt?
Bạn đã vượt quá giới hạn yêu cầu mỗi phút hoặc yêu cầu đồng thời. Hãy giảm max_concurrency xuống dưới 8 đối với khóa đầy đủ, hoặc xuống 2 đối với khóa dùng thử, và giữ tính năng thử lại được bật.
Chức năng truyền phát (streaming) của LangChain có hoạt động ở đây không?
Có. Gọi stream hoặc astream sử dụng sự kiện gửi bởi máy chủ (SSE), và thông tin sử dụng được gửi vào cuối luồng dữ liệu.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.