JA ▾
API キーを取得

LangChain カスタム LLM API:任意のベース URL を指定 URL を指定

langchain カスタム llm api を使用するには、カスタムクラスを記述する必要はありません。OpenAI 互換のチャットラッパーはベース URL、キー、モデル名を受け入れます。以下に正確な設定、ストリーミング、ツール、JSON 出力、制限処理を示します。

更新日:

主要ポイント

  • ChatOpenAI は base_url、api_key、model を受け取るため、サブクラス化は不要です。
  • モデル uncensored とベース URL https://api.llmapistatus.com/v1 を使用します。
  • ツール呼び出し、ストリーミング、JSON モードはすべてエンドポイントを通じて処理されます。
  • 同時実行数制限内に収めるため、並列チェーンを 8 に制限します。埋め込みは提供していません。
単一エンドポイントを通じてリモートモデルサーバーに接続する、リンクされたノードのチェーン

短い答え:異なるベース URL を持つ ChatOpenAI

LangChain は langchain-openai パッケージを介して OpenAI 互換サーバーに接続します。その ChatOpenAI クラスはリクエストの送信先を上書きできるため、カスタムエンドポイントにまさに必要な機能を提供します。パッケージをインストールし、ベース URL https://api.llmapistatus.com/v1、キー、モデル ID uncensored の 3 つの値を渡します。

pip install -U langchain-openai langchain-core でインストールします。

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Reply with the single word: ready").content)

応答が出力された場合、接続は正しいです。API キーページからキーを取得してください。クイックスタートでは、プレーン SDK ユーザー向けにも同じ切り替え方法が示されています。エンドポイントは POST /v1/chat/completions と GET /v1/models を提供し、これら 2 つのメソッドだけでチャット用の OpenAI ラッパーがチャットに必要とするのはそれだけです。

「カスタム LLM」という用語について。LangChain では、基本クラスをサブクラス化して独自のチャットモデルを作成する方法も文書化されていますが、これは OpenAI 形式をサポートしない API に適しています。このエンドポイントは OpenAI 形式をサポートしているため、サブクラス化は維持すべきコードを増やすだけです。ラッパーで表現できない動作が必要な場合にのみ使用してください。

プロンプトと出力解析を使用したチェーンの構築

モデルオブジェクトが準備できたら、LangChain の他の機能は任意のチャットモデルと同様に動作します。以下は式言語スタイルで書かれた小さなチェーンです:プロンプトテンプレート、モデル、文字列パーサーが含まれます。

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a blunt technical editor. Answer in at most {limit} words."),
    ("human", "Rewrite this for clarity:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({
    "limit": 60,
    "text": "The thing that we did was basically to make the cache be invalidated on write.",
}))

このチェーンのどこにも、モデルが異なるドメインの背後にあることを認識したり気にしたりする箇所はありません。これが互換性のある API の利点です:標準チャットインターフェース向けに書かれたプロンプト、メモリクラス、リトリーバー、エージェントはそのまま機能し続けます。あなたが確認すべきはプロンプト自体です。コンテンツ拒否なしで回答するように調整されたモデルは指示を文字通りに守るため、あいまいなシステムプロンプトはあいまいな動作を生みます。役割、形式、長さを明確に指定してください。

検索パイプラインを設計する前に知っておくべき制限が 1 つあります。このサービスはテキストのみです。埋め込みがないため、このベース URL を指す OpenAIEmbeddings は失敗します。ベクトルストアにはローカル埋め込みモデルまたは別のプロバイダを使用し、生成にのみこのエンドポイントを使用してください。

到着するトークンのストリーミング

エンドポイントは stream: true を送信するとサーバー送信イベントをサポートし、LangChain はそれをイテレータに変換します。フラグを自分で設定する必要はありません。.stream() を呼び出すだけで自動的に設定されます。

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
    print(chunk.content, end="", flush=True)
print()

非同期サーバーには astream を使用します。JavaScript ライブラリにも同じ呼び出しが存在します。

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.LLM_API_KEY,
  configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});

const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

ストリーミングリクエストは最後のイベントが届くまで同時実行スロットを保持することに注意してください。ユーザーがブラウザタブを閉じてもサーバーがストリームの読み取りを続けている場合、そのスロットは占有されたままになります。クライアントが切断した場合はアップストリームリクエストをキャンセルしてください。使用量はストリームの最後に届くため、課金ログ用の最終トークンカウントはそこで読み取ります。

関数呼び出しとエージェント

ツール呼び出しは利用可能です。エンドポイントは tools と tool_choice を受け入れ、tool_calls をストリーミングで返し、role: "tool" を持つメッセージとして結果を受け取ります。LangChain では bind_tools でツールを結合し、フレームワークにメッセージの構築を任せます。

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool

@tool
def get_order_status(order_id: str) -> str:
    'Look up the status of an order by its id.'
    return f"Order {order_id} shipped yesterday."

llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)

呼び出しの実行と結果の返却はループの 2 番目の部分です。

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = get_order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

オープンウェイトモデルはツール選択や引数の入力の精度が異なります。ツール説明は短く具体的にし、1 回の呼び出しで使用するツールを少なくし、信頼するのではなく関数内で引数を検証してください。エージェントがループする場合は、温度を下げてエージェントエグゼキュータに最大ステップ数を設定してください。

構造化および JSON 出力

JSON モードは response_format: {"type": "json_object"} を通じてサポートされます。LangChain では、JSON モードメソッドを使用して結果をスキーマに対して検証する with_structured_output が最も簡単な方法です。

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel

class Ticket(BaseModel):
    title: str
    priority: str
    tags: list[str]

structured = llm.with_structured_output(Ticket, method="json_mode")

result = structured.invoke(
    "Return JSON with keys title, priority and tags for this report: "
    "login page times out on mobile, affects many users."
)
print(result)

JSON モードは出力が JSON オブジェクトであることを保証しますが、必要なフィールドがあることを保証するものではありません。2 つの習慣が役立ちます。まず、上記のようにプロンプトでキーの名前を指定します。JSON を生成するよう明示的に指示してください。次に、失敗時に再解析するリトライで呼び出しをラップします。pydantic チェックは欠落フィールドや間違った型を検出し、エラーメッセージを追加した単一のリトライで通常は修正できます。

また、model_kwargs={"response_format": {"type": "json_object"}} でモデルを構築する際に response_format を直接設定することもでき、JSON パーサーで終わるプレーンチェーンには便利です。

レート制限、リトライ、並列チェーン

バッチジョブやエージェントは一度に多くの呼び出しを行うため、ここでカスタムエンドポイントはローカルモデルと異なります。フルキーでは同時リクエスト 8 件、1 分あたり 300 リクエストが許可されます。トライアルキーでは同時 2 件、1 分あたり 60 リクエストが許可されます。制限を超えると、API は HTTP 429 とエラーコード rate_limited または concurrency を返します。一時的な過負荷時には Retry-After: 5 を付けて 429 を返します。

LangChain の 2 つの設定で大半の対応が可能です。モデルは max_retries を取り、バックオフ付きで一時的な障害をリトライします。ランナブルはバッチ作業用に設定で max_concurrency 値を受け入れます。

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    max_retries=4,
    timeout=120,
)

questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})

フルキーで上限を 6 に設定すると、同じアプリからのユーザー向け呼び出しなど、他の 2 件のリクエストの余地が生まれます。トライアルキーでは 1 または 2 を使用してください。同時実行の問題に対してリトライだけに依存しないでください。上限が制限を超えている場合、リトライは同じ衝突を再生成するだけです。レスポンスヘッダーから X-RateLimit-Limit-Requests と X-RateLimit-Limit-Concurrency を読むことで、キーが許可される値を確認できます。

長い入力はプロンプトと補完を合わせて 100,000 トークンのウィンドウまで問題ありません。リクエストボディは 8 MB に制限されます。LangChain のテキストスプリッターをチャンクあたり数千トークンに設定すれば、両方の制限から遠ざかれます。

カスタムエンドポイントのトラブルシューティング

カスタムベース URL に関する問題のほとんどは短いリストに分類され、それぞれに簡単なテストがあります。

  • 認証エラー。 LangChain はまた OPENAI_API_KEY 環境変数も読み取ります。api_key を明示的に渡した場合、その値が優先されますが、設定を忘れた第 2 のモデルオブジェクトで古い変数が混乱の原因となる可能性があります。毎回キーを渡し、変数には LLM_API_KEY のような別の名前を付けてください。
  • 見つからないエラー。 ベース URL は /v1 で終わる必要があります。LangChain は /chat/completions を自身で付加するため、ベース URL に追加するとパスが重複します。
  • 不明なモデル。 同じキーで GET /v1/models を問い合わせて、表示された ID をコピーしてください。それは uncensored であるはずです。
  • 長いチェーンでのサイレントハング。 モデルに timeout を設定し、X-Request-Id レスポンスヘッダーをログに記録してください。サポートに連絡する際、その ID で正確なリクエストを特定できます。
  • 予期せぬ出力。 送信前の最終プロンプトを出力してください。LangChain の奇妙な回答のほとんどは、変数に予期しない値が入力されたテンプレートに起因し、モデル自体ではありません。

迷った場合は、同じ URL に対してプレーンな curl で失敗する呼び出しを再現してください。curl が動作して LangChain が動作しない場合はチェーンに問題があり、両方が失敗する場合はキーと残高を確認してください。

構築中のコスト確認

チェーンはトークン数を隠すため、早期に測定してください。各レスポンスには使用量が含まれ、レスポンスヘッダーには X-Balance-USD が含まれます。料金は入力トークン 100 万トークンあたり $0.15、出力トークン 100 万トークンあたり $0.50 で、前払いクレジットから請求されます。

具体的な例:コンテキストと質問として 6,000 トークンを送信し、400 トークンを取得する検索チェーンの場合、入力は 6,000 x $0.15 / 1M = $0.0009、出力は 400 x $0.50 / 1M = $0.0002 で、1 回あたり合計 $0.0011 かかります。テストスイープで 5,000 回実行すると $5.50 かかります。エージェントループを一晩中稼働させる前に知っておくと便利です。

失敗または拒否されたリクエストは課金されません。料金ページには、ボーナス付きの $20 から $500 のチャージ額が記載されており、新規アカウントはワンクリックで $0.50 の試用クレジットを取得でき、セットアップ中に数百回の小さなテスト呼び出しに十分な金額です。

質問と回答

LangChainのチャットモデル基本クラスをサブクラス化する必要がありますか?

いいえ。エンドポイントはOpenAI互換であるため、カスタムbase_url、api_key、modelを指定したChatOpenAIが機能します。サブクラス化が必要なのは、異なる形式を使用するAPIのみです。

このエンドポイントでOpenAIEmbeddingsを使用できますか?

いいえ。このサービスはテキストのみで、埋め込み機能はありません。ベクトルにはローカルの埋め込みモデルまたは別のプロバイダを使用し、生成にはこのエンドポイントを使用してください。

どのモデル名を渡せばよいですか?

モデルとしてuncensoredを渡してください。GET /v1/modelsは同じIDを返します。

バッチジョブで429エラーが発生するのはなぜですか?

1 分あたりのリクエスト数または同時実行数の制限を超えました。完全キーでは max_concurrency を 8 未満に、試用キーでは 2 未満に下げ、リトライを有効にしてください。

LangChainのストリーミングはここで機能しますか?

はい。streamまたはastreamの呼び出しはサーバー送信イベントを使用し、使用量はストリームの終了時に送信されます。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得