ID ▾
Dapatkan kunci API

LangChain Custom LLM API: Arahkan ke Base URL Apa Saja

Untuk menggunakan langchain custom llm api, Anda tidak perlu menulis kelas kustom: wrapper chat yang kompatibel dengan OpenAI menerima base URL, kunci, dan nama model. Berikut konfigurasi pastinya, termasuk streaming, alat, output JSON, dan penanganan batas.

Diperbarui

Poin utama

  • ChatOpenAI menerima base_url, api_key, dan model, sehingga subclassing tidak diperlukan.
  • Gunakan model uncensored dan base URL https://api.llmapistatus.com/v1.
  • Pemanggilan alat, streaming, dan mode JSON semuanya melewati endpoint.
  • Batasi rantai paralel hingga 8 agar tetap di bawah batas konkurensi; embedding tidak tersedia.
Rantai node yang saling terhubung yang terhubung ke server model jarak jauh melalui satu endpoint

Jawaban singkatnya: ChatOpenAI dengan base URL berbeda

LangChain berkomunikasi dengan server bergaya OpenAI melalui paket langchain-openai. Kelas ChatOpenAI memungkinkan Anda mengganti tujuan permintaan, yang persis dibutuhkan endpoint kustom. Instal paketnya, lalu lewatkan tiga nilai: base URL https://api.llmapistatus.com/v1, kunci Anda, dan ID model uncensored.

Instal dengan pip install -U langchain-openai langchain-core.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Reply with the single word: ready").content)

Jika itu mencetak balasan, pengkabelannya benar. Anda mendapatkan kunci dari halaman kunci API; panduan awal menunjukkan sakelar yang sama untuk pengguna SDK biasa. Endpoint melayani POST /v1/chat/completions dan GET /v1/models, dan kedua metode tersebut adalah semua yang dibutuhkan pembungkus OpenAI untuk obrolan.

Sebuah catatan tentang istilah "LLM kustom". LangChain juga mendokumentasikan cara menulis model chat Anda sendiri dengan melakukan subclass pada kelas dasar, yang masuk akal untuk API yang tidak menggunakan format OpenAI. Endpoint ini menggunakan format tersebut, sehingga subclassing hanya akan menambah kode yang harus dipelihara. Gunakan hanya jika Anda memerlukan perilaku yang tidak dapat diekspresikan oleh wrapper.

Membangun rantai dengan prompt dan parsing output

Setelah objek model siap, semua hal lain dalam LangChain berfungsi seperti halnya dengan model chat apa pun. Berikut adalah rantai kecil yang ditulis dengan gaya bahasa ekspresi: template prompt, model, dan parser string.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a blunt technical editor. Answer in at most {limit} words."),
    ("human", "Rewrite this for clarity:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({
    "limit": 60,
    "text": "The thing that we did was basically to make the cache be invalidated on write.",
}))

Tidak ada dalam rantai ini yang tahu atau peduli bahwa model berada di balik domain yang berbeda. Itulah manfaat API yang kompatibel: prompt, kelas memori, retriever, dan agen yang ditulis terhadap antarmuka chat standar tetap berfungsi. Apa yang harus Anda periksa di sisi Anda adalah prompt itu sendiri. Model yang dilatih untuk menjawab tanpa penolakan konten mengikuti instruksi secara harfiah, sehingga prompt sistem yang kabur menghasilkan perilaku yang kabur. Nyatakan peran, format, dan panjangnya.

Satu batas perlu diketahui sebelum Anda merancang pipeline retrieval. Layanan ini hanya untuk teks. Tidak ada embedding, sehingga OpenAIEmbeddings yang mengarah ke base URL ini akan gagal. Gunakan model embedding lokal atau penyedia lain untuk vector store, dan gunakan endpoint ini hanya untuk generasi.

Streaming token saat tiba

Endpoint mendukung peristiwa yang dikirim server saat Anda mengirim stream: true, dan LangChain mengubahnya menjadi iterator. Anda tidak mengatur bendera sendiri; memanggil .stream() melakukannya.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
    print(chunk.content, end="", flush=True)
print()

Untuk server asinkron gunakan astream. Panggilan yang sama ada di pustaka JavaScript:

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.LLM_API_KEY,
  configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});

const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

Ingatlah bahwa permintaan yang di-streaming mempertahankan slot konkurensinya hingga peristiwa terakhir tiba. Jika pengguna menutup tab browser dan server Anda terus membaca stream, slot itu tetap terpakai. Batalkan permintaan hulu saat klien terputus. Angka penggunaan tiba di akhir stream, di situlah Anda membaca jumlah token terakhir untuk log penagihan.

Pemanggilan alat dan agen

Pemanggilan fungsi tersedia: endpoint menerima tools dan tool_choice, melakukan streaming tool_calls kembali, dan menerima hasil Anda sebagai pesan dengan role: "tool". Di LangChain, Anda lampirkan alat dengan bind_tools dan biarkan kerangka kerja membuat pesan.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool

@tool
def get_order_status(order_id: str) -> str:
    'Look up the status of an order by its id.'
    return f"Order {order_id} shipped yesterday."

llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)

Menjalankan panggilan dan mengembalikan hasil adalah setengah kedua dari loop:

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = get_order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

Model bobot terbuka bervariasi dalam seberapa baik mereka memilih alat dan mengisi argumen. Pertahankan deskripsi alat agar singkat dan konkret, gunakan sedikit alat per panggilan, dan validasi argumen dalam fungsi Anda daripada mempercayainya. Jika agen terjebak dalam loop, turunkan suhu dan tetapkan jumlah langkah maksimum dalam executor agen Anda.

Output terstruktur dan JSON

Mode JSON didukung melalui response_format: {"type": "json_object"}. Di LangChain, rute termudah adalah with_structured_output menggunakan metode mode JSON, yang juga memvalidasi hasil terhadap skema.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel

class Ticket(BaseModel):
    title: str
    priority: str
    tags: list[str]

structured = llm.with_structured_output(Ticket, method="json_mode")

result = structured.invoke(
    "Return JSON with keys title, priority and tags for this report: "
    "login page times out on mobile, affects many users."
)
print(result)

Mode JSON menjamin bahwa output adalah objek JSON, bukan bahwa output memiliki bidang yang Anda inginkan. Dua kebiasaan membantu. Pertama, beri nama kunci dalam prompt, seperti di atas; instruksi untuk menghasilkan JSON harus eksplisit. Kedua, bungkus panggilan dalam retry yang melakukan parsing ulang saat gagal. Pemeriksaan pydantic menangkap bidang yang hilang dan tipe yang salah, dan satu retry dengan pesan kesalahan yang ditambahkan biasanya memperbaikinya.

Anda juga dapat mengatur response_format secara langsung saat Anda membangun model dengan model_kwargs={"response_format": {"type": "json_object"}}, yang berguna untuk rantai biasa yang berakhir dengan parser JSON.

Batas laju, retry, dan rantai paralel

Pekerjaan batch dan agen melakukan banyak panggilan sekaligus, dan di sinilah endpoint kustom berbeda dari model lokal. Kunci penuh memungkinkan 8 permintaan bersamaan dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 bersamaan dan 60 per menit. Setelah batas, API membalas dengan HTTP 429 dan kode kesalahan rate_limited atau concurrency; saat kelebihan beban sementara, ia membalas 429 dengan Retry-After: 5.

Dua pengaturan LangChain menangani sebagian besar itu. Model mengambil max_retries, yang mencoba kembali kegagalan sementara dengan backoff, dan runnable menerima nilai max_concurrency dalam konfigurasi mereka untuk pekerjaan batch:

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    max_retries=4,
    timeout=120,
)

questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})

Mengatur batas atas menjadi 6 pada kunci penuh menyisakan ruang untuk dua permintaan lain, seperti panggilan dari sisi pengguna pada aplikasi yang sama. Pada kunci uji coba gunakan 1 atau 2. Jangan mengandalkan retry saja untuk masalah konkurensi: jika batas atas itu melebihi batas kunci, retry hanya akan menciptakan kembali tabrakan yang sama. Membaca X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency dari header respons memberi tahu Anda apa yang diizinkan kunci Anda.

Input panjang tidak masalah hingga jendela 100.000 token, dibagi antara prompt dan completion, dan body permintaan dibatasi hingga 8 MB. Pemecah teks LangChain yang diatur ke beberapa ribu token per bagian akan menjaga Anda jauh dari kedua batas tersebut.

Memecahkan masalah endpoint kustom

Kebanyakan masalah dengan base URL kustom masuk ke dalam daftar pendek, dan masing-masing memiliki tes cepat.

  • Kesalahan autentikasi. LangChain juga membaca variabel lingkungan OPENAI_API_KEY. Jika Anda meneruskan api_key secara eksplisit, nilai itu menang, tetapi variabel usang masih dapat membingungkan objek model kedua yang lupa Anda konfigurasi. Teruskan kunci setiap kali, dan beri variabel nama lain seperti LLM_API_KEY.
  • Kesalahan tidak ditemukan. Base URL harus berakhir dengan /v1. LangChain menambahkan /chat/completions sendiri, sehingga menambahkannya ke base URL menghasilkan jalur ganda.
  • Model tidak dikenal. Minta GET /v1/models dengan kunci yang sama dan salin ID yang dicetaknya. Itu harus menjadi uncensored.
  • Kondisi macet pada rantai panjang. Tetapkan timeout pada model dan log header respons X-Request-Id. Jika Anda menghubungi dukungan, ID tersebut memungkinkan mereka menemukan permintaan yang tepat.
  • Keluaran yang mengejutkan. Cetak prompt akhir sebelum dikirim. Sebagian besar jawaban aneh di LangChain berasal dari template yang mengisi variabel dengan sesuatu yang tidak terduga, bukan dari model.

Jika ragu, reproduksi panggilan yang gagal dengan curl polos terhadap URL yang sama. Jika curl berhasil dan LangChain tidak, kesalahan ada pada rantai Anda; jika keduanya gagal, periksa kunci dan saldo.

Memeriksa biaya saat membangun

Rantai menyembunyikan jumlah token, jadi ukur sejak awal. Setiap respons menyertakan penggunaan, dan header respons menyertakan X-Balance-USD. Harganya adalah $0,15 per 1M token input dan $0,50 per 1M token output, yang dibebankan ke saldo prabayar.

Contoh perhitungan: rantai pengambilan yang mengirimkan 6.000 token konteks dan pertanyaan serta mendapatkan 400 token kembali membutuhkan biaya 6.000 x $0,15 / 1 juta = $0,0009 untuk input ditambah 400 x $0,50 / 1 juta = $0,0002 untuk output, sehingga $0,0011 per panggilan. Menjalankan 5.000 panggilan seperti itu dalam serangkaian pengujian membutuhkan biaya $5,50. Hal ini berguna untuk diketahui sebelum Anda membiarkan loop agen berjalan semalaman.

Permintaan yang gagal atau ditolak tidak dikenakan biaya. Halaman harga mencantumkan jumlah isi saldo mulai dari $20 hingga $500 dengan bonus, dan akun baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik, cukup untuk beberapa ratus panggilan pengujian kecil saat Anda menyiapkan sistem.

Tanya jawab

Apakah saya harus membuat subkelas kelas dasar model obrolan LangChain?

Tidak. Endpoint ini kompatibel dengan OpenAI, sehingga ChatOpenAI dengan base_url kustom, api_key, dan model sudah berfungsi. Subkelas hanya diperlukan untuk API yang menggunakan format berbeda.

Bisakah saya menggunakan OpenAIEmbeddings dengan endpoint ini?

Tidak. Layanan ini hanya untuk teks dan tidak memiliki embedding. Gunakan model embedding lokal atau penyedia lain untuk vektor, dan gunakan endpoint ini untuk generasi teks.

Nama model mana yang harus saya berikan?

Masukkan uncensored sebagai model. GET /v1/models mengembalikan ID yang sama.

Mengapa saya mendapatkan kesalahan 429 dalam pekerjaan batch?

Anda melebihi batas permintaan per menit atau permintaan konkuren. Turunkan max_concurrency di bawah 8 untuk kunci penuh, atau 2 untuk kunci uji coba, dan biarkan retry aktif.

Apakah streaming LangChain berfungsi di sini?

Ya. Memanggil stream atau astream menggunakan server-sent events, dan penggunaan dikirim di akhir stream.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah base URL. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API