PL ▾
Pobierz klucz API

LangChain Custom LLM API: Podłącz pod dowolny Base URL

Aby użyć langchain custom llm api nie musisz pisać własnej klasy: kompatybilny z OpenAI wrapper czatu akceptuje base URL, klucz i nazwę modelu. Oto dokładna konfiguracja, plus strumieniowanie, narzędzia, wyjście JSON i obsługa limitów.

Zaktualizowano

Kluczowe punkty

  • ChatOpenAI przyjmuje base_url, api_key i model, więc nie jest potrzebne dziedziczenie.
  • Użyj modelu uncensored i base URL https://api.llmapistatus.com/v1.
  • Wywoływanie narzędzi, strumieniowanie i tryb JSON przechodzą przez endpoint.
  • Ogranicz równoległe łańcuchy do 8, aby nie przekroczyć limitu współbieżności; embeddingi nie są oferowane.
Łańcuch połączonych węzłów podłączonych do zdalnego serwera modeli przez pojedynczy endpoint

Krótka odpowiedź: ChatOpenAI z innym base URL

LangChain komunikuje się z serwerami w stylu OpenAI przez pakiet langchain-openai. Jego klasa ChatOpenAI pozwala nadpisać miejsce, gdzie trafiają zapytania, czego dokładnie potrzebuje custom endpoint. Zainstaluj pakiet, a następnie przekaż trzy wartości: base URL https://api.llmapistatus.com/v1, swój klucz i ID modelu uncensored.

Zainstaluj za pomocą pip install -U langchain-openai langchain-core.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Reply with the single word: ready").content)

Jeśli wypisze odpowiedź, połączenie jest poprawne. Pobierasz klucz na stronie klucza API; szybki start pokazuje tę samą zmianę dla użytkowników czystego SDK. Endpoint obsługuje POST /v1/chat/completions i GET /v1/models, a te dwie metody to wszystko, czego wrapper OpenAI potrzebuje do czatu.

Słowo o terminie "custom LLM". LangChain dokumentuje również sposób napisania własnego modelu czatu przez dziedziczenie po klasie bazowej, co ma sens dla API, które nie obsługują formatu OpenAI. Ten endpoint go obsługuje, więc dziedziczenie dodałoby tylko kod do utrzymania. Sięgnij po niego tylko, jeśli potrzebujesz zachowania, którego wrapper nie może wyrazić.

Budowanie łańcucha z promptami i parsowaniem wyjścia

Mając obiekt modelu, wszystko inne w LangChain działa tak samo jak z dowolnym modelem czatu. Oto mały łańcuch napisany w stylu języka wyrażeń: szablon promptu, model i parser ciągu.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a blunt technical editor. Answer in at most {limit} words."),
    ("human", "Rewrite this for clarity:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({
    "limit": 60,
    "text": "The thing that we did was basically to make the cache be invalidated on write.",
}))

Nic w tym łańcuchu nie wie ani nie obchodzi, że model znajduje się za inną domeną. To jest zaleta kompatybilnego API: prompty, klasy pamięci, retrievery i agenci napisani przeciwko standardowemu interfejsowi czatu nadal działają. Co powinieneś sprawdzić po swojej stronie to sam prompt. Model wytrenowany do odpowiadania bez odrzuceń treści traktuje instrukcje dosłownie, więc niejasne prompty systemowe dają niejasne zachowanie. Określ rolę, format i długość.

Jeden limit warto znać przed zaprojektowaniem potoku pobierania. Ta usługa jest tylko tekstowa. Nie ma embeddingów, więc OpenAIEmbeddings wskazane na ten base URL zawiodą. Użyj lokalnego modelu embeddingów lub innego dostawcy dla magazynu wektorowego, a tego endpointu używaj tylko do generowania.

Strumieniowanie tokenów w miarę ich przybywania

Endpoint obsługuje server-sent events, gdy wyślesz stream: true, a LangChain zamienia to w iterator. Nie ustawiasz flagi samodzielnie; robi to wywołanie .stream().

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
    print(chunk.content, end="", flush=True)
print()

Dla serwerów async użyj astream. To samo wywołanie istnieje w bibliotece JavaScript:

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.LLM_API_KEY,
  configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});

const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

Pamiętaj, że strumieniowane żądanie trzyma swój slot współbieżności do momentu przybycia ostatniego zdarzenia. Jeśli użytkownik zamknie kartę przeglądarki, a Twój serwer nadal czyta strumień, ten slot pozostaje zajęty. Anuluj żądanie upstream, gdy klient się rozłączy. Liczby użycia przychodzą na końcu strumienia, gdzie czytasz końcowe liczniki tokenów do dzienników rozliczeniowych.

Wywoływanie funkcji i agenci

Wywoływanie funkcji jest dostępne: endpoint przyjmuje tools i tool_choice, zwraca strumieniowo tool_calls i przyjmuje Twoje wyniki jako wiadomości z role: "tool". W LangChain dołączasz narzędzia za pomocą bind_tools i pozwalasz frameworkowi budować wiadomości.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool

@tool
def get_order_status(order_id: str) -> str:
    'Look up the status of an order by its id.'
    return f"Order {order_id} shipped yesterday."

llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)

Uruchomienie wywołania i zwrócenie wyniku to druga połowa pętli:

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = get_order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

Modele o otwartych wagach różnią się tym, jak dobrze wybierają narzędzia i wypełniają argumenty. Trzymaj opisy narzędzi krótkie i konkretne, używaj małej liczby narzędzi na wywołanie i waliduj argumenty w swojej funkcji zamiast im ufać. Jeśli agent zapętla się, obniż temperaturę i ustaw maksymalną liczbę kroków w executorze agenta.

Ustrukturyzowane wyjście i JSON

Tryb JSON jest obsługiwany przez response_format: {"type": "json_object"}. W LangChain najłatwiejszą drogą jest with_structured_output używając metody trybu JSON, która również waliduje wynik względem schematu.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel

class Ticket(BaseModel):
    title: str
    priority: str
    tags: list[str]

structured = llm.with_structured_output(Ticket, method="json_mode")

result = structured.invoke(
    "Return JSON with keys title, priority and tags for this report: "
    "login page times out on mobile, affects many users."
)
print(result)

Tryb JSON gwarantuje, że wyjście jest obiektem JSON, a nie że ma pola, których chciałeś. Dwa nawyki pomagają. Po pierwsze, nazwij klucze w prompcie, jak wyżej; instrukcja do wyprodukowania JSON powinna być wyraźna. Po drugie, owiń wywołanie w ponowienie, które ponownie parsuje przy niepowodzeniu. Sprawdzenie pydantic łapie brakujące pola i złe typy, a pojedyncze ponowienie z dołączoną wiadomością o błędzie zwykle to naprawia.

Możesz też ustawić response_format bezpośrednio podczas budowania modelu za pomocą model_kwargs={"response_format": {"type": "json_object"}}, co jest przydatne dla prostych łańcuchów kończących się parsowaniem JSON.

Limity zapytań, ponawianie i równoległe łańcuchy

Zadania wsadowe i agenci wykonują wiele wywołań naraz, a to jest miejsce, w którym custom endpoint różni się od modelu lokalnego. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 równoległe i 60 na minutę. Po przekroczeniu limitu API odpowiada HTTP 429 i kodem błędu rate_limited lub concurrency; przy tymczasowym przeciążeniu odpowiada 429 z Retry-After: 5.

Dwa ustawienia LangChain obsługują większość tego. Model przyjmuje max_retries, który ponawia przejściowe awarie z backoff, a runnables akceptują wartość max_concurrency w ich konfiguracji dla pracy wsadowej:

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    max_retries=4,
    timeout=120,
)

questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})

Ustawienie limitu na 6 dla pełnego klucza zostawia miejsce na dwa inne zapytania, takie jak wywołanie widoczne dla użytkownika z tej samej aplikacji. Dla klucza próbnego użyj 1 lub 2. Nie polegaj tylko na ponawianiu w przypadku problemu z współbieżnością: jeśli limit jest powyżej granicy, ponawianie tylko odtwarza tę samą kolizję. Odczyt X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency z nagłówków odpowiedzi mówi Ci, na co pozwala Twój klucz.

Długie wejścia są OK do okna 100 000 tokenów, dzielonego między prompt a completion, a treść żądania jest ograniczone do 8 MB. Splittery tekstu LangChain ustawione na kilka tysięcy tokenów na chunk trzymają Cię daleko od obu.

Rozwiązywanie problemów z custom endpointem

Większość problemów z custom base URL mieści się na krótkiej liście, a każdy ma szybki test.

  • Błędy uwierzytelniania. LangChain czyta też zmienną środowiskową OPENAI_API_KEY. Jeśli przekażesz api_key jawnie, ta wartość wygrywa, ale nieaktualna zmienna może nadal mylić drugi obiekt modelu, którego zapomniałeś skonfigurować. Przekaż klucz za każdym razem i nadaj zmiennej inną nazwę, taką jak LLM_API_KEY.
  • Błędy nie znaleziono. Base URL musi kończyć się na /v1. LangChain dołącza /chat/completions samodzielnie, więc dodanie go do base URL powoduje podwojenie ścieżki.
  • Nieznany model. Zapytaj GET /v1/models tym samym kluczem i skopiuj ID, który wypisuje. Powinien to być uncensored.
  • Ciche zawieszenia w długich łańcuchach. Ustaw timeout na modelu i loguj nagłówek odpowiedzi X-Request-Id. Jeśli skontaktujesz się z supportem, ten ID pozwoli im znaleźć dokładne zapytanie.
  • Zaskakujące wyjście. Wypisz końcowy prompt przed jego wysłaniem. Większość dziwnych odpowiedzi w LangChain pochodzi z szablonu, który wypełnił zmienną czymś nieoczekiwanym, a nie od modelu.

W razie wątpliwości odtwórz nieudane wywołanie za pomocą czystego curl przeciwko temu samemu URL. Jeśli curl działa, a LangChain nie, winny jest Twój łańcuch; jeśli oba zawiodą, sprawdź klucz i saldo.

Sprawdzanie kosztu podczas budowania

Łańcuchy ukrywają liczbę tokenów, więc mierz wcześnie. Każda odpowiedź zawiera usage, a nagłówki odpowiedzi zawierają X-Balance-USD. Cena to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, rozliczane z przedpłaconego salda.

Przykład z życia: łańcuch pobierania danych, który wysyła 6 000 tokenów kontekstu i pytania i otrzymuje 400 tokenów z powrotem, kosztuje 6 000 x $0,15 / 1M = $0,0009 za wejście plus 400 x $0,50 / 1M = $0,0002 za wyjście, czyli $0,0011 za wywołanie. Uruchomienie 5 000 takich wywołań w teście kosztuje $5,50. To przydatna wiedza przed pozostawieniem pętli agenta na całą noc.

Nieudane lub odrzucone żądania nie są rozliczane. Strona cennika wymienia kwoty doładowania od $20 do $500 z bonusami, a nowe konta mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, wystarczająco na kilka setek małych wywołań testowych podczas konfiguracji.

Pytania i odpowiedzi

Czy muszę dziedziczyć po klasie bazowej modelu czatu w LangChain?

Nie. Endpoint jest kompatybilny z OpenAI, więc klasa ChatOpenAI z niestandardowym base_url, kluczem API i modelem działa poprawnie. Dziedziczenie jest potrzebne tylko w przypadku API korzystających z innego formatu.

Czy mogę użyć OpenAIEmbeddings z tym endpointem?

Nie. Usługa obsługuje tylko tekst i nie generuje embeddingów. Użyj lokalnego modelu embeddingów lub innego dostawcy do wektorów, a ten endpoint wykorzystaj do generowania tekstu.

Jakiej nazwy modelu mam użyć?

Przekaż uncensored jako model. GET /v1/models zwraca ten sam identyfikator.

Dlaczego otrzymuję błędy 429 w zadaniu wsadowym?

Przekroczyłeś limit zapytań na minutę lub równoległych zapytań. Zmniejsz max_concurrency poniżej 8 dla pełnego klucza lub 2 dla klucza próbnego i utrzymaj włączone ponawianie.

Czy strumieniowanie w LangChain działa tutaj?

Tak. Wywołanie stream lub astream wykorzystuje zdarzenia wysyłane przez serwer (SSE), a zużycie zasobów jest przekazywane na końcu strumienia.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API