RU ▾
Получить API-ключ

LangChain Custom LLM API: укажите любой базовый URL

Для использования API LangChain Custom LLM вам не нужно писать пользовательский класс: обёртка чата, совместимая с OpenAI, принимает базовый URL, ключ и имя модели. Вот точная конфигурация, а также настройка потоковой передачи, инструментов, вывода в формате JSON и обработки лимитов.

Обновлено

Ключевые моменты

  • ChatOpenAI принимает base_url, api_key и model, поэтому наследование не требуется.
  • Используйте модель uncensored и базовый URL https://api.llmapistatus.com/v1.
  • Вызов инструментов, потоковая передача и JSON-режим проходят через эндпоинт.
  • Ограничьте параллельные цепочки значением 8, чтобы не превысить лимит параллельных запросов; эмбеддинги не поддерживаются.
Цепочка связанных узлов, подключаемых к удалённому серверу моделей через один эндпоинт

Краткий ответ: ChatOpenAI с другим базовым URL

LangChain общается с серверами в стиле OpenAI через пакет langchain-openai. Его класс ChatOpenAI позволяет переопределить адрес запросов, что и требуется для кастомного эндпоинта. Установите пакет и передайте три значения: базовый URL https://api.llmapistatus.com/v1, ваш ключ и ID модели uncensored.

Установите через pip install -U langchain-openai langchain-core.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Reply with the single word: ready").content)

Если выводится ответ, подключение настроено верно. Ключ вы получаете на странице API-ключ; в быстром старте показан тот же переключатель для пользователей обычного SDK. Эндпоинт обрабатывает POST /v1/chat/completions и GET /v1/models, и этих двух методов достаточно для работы обёртки OpenAI.

Слово о термине «пользовательская LLM». LangChain также описывает способ написания собственной модели чата путём наследования от базового класса, что имеет смысл для API, не использующих формат OpenAI. Этот эндпоинт его поддерживает, поэтому наследование лишь добавит код для поддержки. Обращайтесь к нему, только если вам нужно поведение, которое обёртка не может выразить.

Создание цепочки с промптами и разбором вывода

При наличии объекта модели всё остальное в LangChain работает так же, как и с любой другой моделью чата. Вот небольшая цепочка, написанная в стиле языка выражений: шаблон промпта, модель и парсер строк.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a blunt technical editor. Answer in at most {limit} words."),
    ("human", "Rewrite this for clarity:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({
    "limit": 60,
    "text": "The thing that we did was basically to make the cache be invalidated on write.",
}))

Ничто в этой цепочке не знает и не заботится о том, что модель находится за другим доменом. Это преимущество совместимого API: промпты, классы памяти, ретриверы и агенты, написанные для стандартного интерфейса чата, продолжают работать. Вам следует проверить сам промпт. Модель, настроенная на ответы без отказов по контенту, выполняет инструкции буквально, поэтому неясные системные промпты приводят к неясному поведению. Укажите роль, формат и длину.

Ограничение важно знать до проектирования пайплайна поиска. Сервис работает только с текстом. Эмбеддингов нет, поэтому OpenAIEmbeddings с этим базовым URL завершится ошибкой. Используйте локальную модель эмбеддингов или другого провайдера для векторного хранилища, а этот эндпоинт — только для генерации.

Потоковая передача токенов по мере поступления

Эндпоинт поддерживает серверные события (SSE) при отправке stream: true, а LangChain превращает это в итератор. Сам флаг вы не устанавливаете; это делает вызов .stream().

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
    print(chunk.content, end="", flush=True)
print()

Для асинхронных серверов используйте astream. Тот же вызов есть в библиотеке JavaScript:

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.LLM_API_KEY,
  configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});

const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

Помните, что потоковый запрос удерживает слот параллельных запросов до получения последнего события. Если пользователь закрывает вкладку браузера, а ваш сервер продолжает читать поток, этот слот остаётся занятым. Отменяйте запрос на стороне сервера при отключении клиента. Данные об использовании поступают в конце потока, где вы считываете окончательные подсчёты токенов для журналов биллинга.

Вызов функций и агенты

Доступен вызов функций: эндпоинт принимает tools и tool_choice, возвращает потоком tool_calls и принимает ваши результаты как сообщения с role: "tool". В LangChain инструменты подключаются через bind_tools, а фреймворк формирует сообщения.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool

@tool
def get_order_status(order_id: str) -> str:
    'Look up the status of an order by its id.'
    return f"Order {order_id} shipped yesterday."

llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)

Выполнение вызова и возврат результата — вторая половина цикла:

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = get_order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

Модели с открытыми весами по-разному умеют выбирать инструменты и заполнять аргументы. Держите описания инструментов краткими и конкретными, используйте мало инструментов за один вызов и проверяйте аргументы в своей функции, а не доверяйте им. Если агент зацикливается, снизьте temperature и установите максимальное количество шагов в исполнителе агента.

Структурированный и JSON-вывод

Поддерживается JSON-режим через response_format: {"type": "json_object"}. В LangChain самый простой способ — with_structured_output с методом JSON-режима, который также валидирует результат по схеме.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel

class Ticket(BaseModel):
    title: str
    priority: str
    tags: list[str]

structured = llm.with_structured_output(Ticket, method="json_mode")

result = structured.invoke(
    "Return JSON with keys title, priority and tags for this report: "
    "login page times out on mobile, affects many users."
)
print(result)

JSON-режим гарантирует, что вывод будет объектом JSON, но не то, что в нём есть нужные вам поля. Помогают две привычки. Во-первых, назовите ключи в промпте, как выше; инструкция на вывод JSON должна быть явной. Во-вторых, оберните вызов в повторную попытку, которая переанализирует данные при сбое. Проверка pydantic выявляет отсутствующие поля и неверные типы, и одна повторная попытка с добавленным сообщением об ошибке обычно исправляет ситуацию.

Можно также задать response_format напрямую при создании модели через model_kwargs={"response_format": {"type": "json_object"}}, что удобно для простых цепочек, завершающихся парсером JSON.

Лимиты запросов, повторные попытки и параллельные цепочки

Пакетные задания и агенты делают много вызовов одновременно, и здесь кастомный эндпоинт отличается от локальной модели. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ — 2 параллельных и 60 в минуту. При превышении API возвращает HTTP 429 с кодом ошибки rate_limited или concurrency; при временной перегрузке — 429 с заголовком Retry-After: 5.

Два параметра LangChain решают большую часть задач. Модель принимает max_retries для повторных попыток с экспоненциальной задержкой, а runnable-объекты принимают значение max_concurrency в конфигурации для пакетной работы:

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    max_retries=4,
    timeout=120,
)

questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})

Установка лимита 6 для полного ключа оставляет место для двух других запросов, например, пользовательского вызова из того же приложения. Для пробного ключа используйте 1 или 2. Не полагайтесь только на повторные попытки при проблеме с параллелизмом: если ваш предел выше лимита ключа, повторные попытки лишь создают те же коллизии. Чтение заголовков ответа X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency показывает, что разрешено вашему ключу.

Длинные входные данные обрабатываются нормально до окна в 100 000 токенов, общих для промпта и завершения, а тело запроса ограничено 8 МБ. Сплиттеры текста LangChain, настроенные на несколько тысяч токенов на фрагмент, держат вас далеко от обоих лимитов.

Устранение неполадок пользовательского эндпоинта

Большинство проблем с пользовательским базовым URL попадают в короткий список, и для каждой есть быстрый тест.

  • Ошибки аутентификации. LangChain также читает переменную окружения OPENAI_API_KEY. Если вы явно передаёте api_key, это значение имеет приоритет, но устаревшее значение переменной всё ещё может сбить с толку второй объект модели, который вы забыли настроить. Передавайте ключ каждый раз, а переменной дайте другое имя, например LLM_API_KEY.
  • Ошибки «не найдено». Базовый URL должен заканчиваться на /v1. LangChain сам добавляет /chat/completions, поэтому добавление его к базовому URL удваивает путь.
  • Неизвестная модель. Выполните запрос GET /v1/models с тем же ключом и скопируйте ID, который он выведет. Это должен быть uncensored.
  • Тихие зависания в длинных цепочках. Установите timeout для модели и логируйте заголовок ответа X-Request-Id. При обращении в поддержку этот ID позволит найти точный запрос.
  • Неожиданный вывод. Выводите финальный промпт перед отправкой. Большинство странных ответов в LangChain вызваны шаблоном, который подставил в переменную неожиданное значение, а не самой моделью.

В случае сомнений воспроизведите сбойный вызов с помощью обычного curl к тому же URL. Если curl работает, а LangChain нет, проблема в вашей цепочке; если оба падают, проверьте ключ и баланс.

Контроль стоимости во время разработки

Цепочки скрывают подсчёт токенов, поэтому измеряйте расходы заранее. Каждый ответ содержит данные об использовании, а заголовки ответа включают X-Balance-USD. Цена составляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, списание происходит с предоплаченного баланса.

Пример расчёта: цепочка с извлечением данных, которая отправляет 6 000 токенов контекста и вопроса и получает 400 токенов ответа, стоит 6 000 × $0,15 / 1 млн = $0,0009 за ввод плюс 400 × $0,50 / 1 млн = $0,0002 за вывод, итого $0,0011 за вызов. Запуск 5 000 таких вызовов в тестовом сценарии обойдётся в $5,50. Это полезно знать, прежде чем оставить цикл агента работать на всю ночь.

Неудачные или отклонённые запросы не оплачиваются. На странице цен указаны суммы пополнения от $20 до $500 с бонусами, а новые аккаунты могут одним кликом получить $0,50 пробного баланса, которого хватит на несколько сотен небольших тестовых вызовов, пока вы настраиваете интеграцию.

Вопросы и ответы

Должен ли я наследоваться от базового класса чат-модели LangChain?

Нет. Эндпоинт совместим с OpenAI, поэтому ChatOpenAI с пользовательским base_url, api_key и model работает. Наследование требуется только для API, использующих другой формат.

Могу ли я использовать OpenAIEmbeddings с этим эндпоинтом?

Нет. Сервис работает только с текстом и не поддерживает эмбеддинги. Используйте локальную модель эмбеддингов или другого провайдера для векторов, а этот эндпоинт — для генерации.

Какое имя модели мне передать?

Передайте uncensored как модель. Запрос GET /v1/models возвращает тот же идентификатор.

Почему я получаю ошибки 429 в пакетной задаче?

Вы превысили лимит запросов в минуту или лимит параллельных запросов. Уменьшите max_concurrency до 8 для полного ключа или до 2 для пробного ключа и оставьте включёнными повторные попытки.

Работает ли потоковая передача в LangChain здесь?

Да. Вызов stream или astream использует события, отправляемые сервером (SSE), а информация об использовании отправляется в конце потока.

Ваш ключ — всего в одной форме отсюда

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ