TR ▾
API anahtarını al

LangChain Özel LLM API'si: Herhangi bir Base URL'ye Yönlendirin

Bir langchain özel LLM API'si kullanmak için özel bir sınıf yazmanıza gerek yoktur: OpenAI-uyumlu sohbet sarmalayıcısı bir base URL, bir anahtar ve bir model adı kabul eder. İşte tam yapılandırma, ayrıca streaming, araçlar, JSON çıktısı ve limit yönetimi.

güncellendi

Temel noktalar

  • ChatOpenAI base_url, api_key ve model parametrelerini alır, bu nedenle alt sınıflandırma gerekmez.
  • uncensored modelini ve base URL olarak https://api.llmapistatus.com/v1 adresini kullanın.
  • Araç çağırma, streaming ve JSON modu tümü uç nokta üzerinden işlenir.
  • Eşzamanlılık sınırının altında kalmak için eşzamanlı zincirleri 8 ile sınırlayın; gömme (embedding) hizmetleri sunulmamaktadır.
Tek bir uç nokta üzerinden uzaktaki bir model sunucusuna bağlanan birbirine bağlı düğümler zinciri

Kısa cevap: Farklı bir base URL ile ChatOpenAI

LangChain, langchain-openai paketi aracılığıyla OpenAI tarzı sunucularla iletişim kurar. ChatOpenAI sınıfı, isteklerin gideceği yeri geçersiz kılmanıza olanak tanır; bu da özel bir uç nokta için gereken şeydir. Paketi yükleyin, ardından üç değeri geçirin: base URL https://api.llmapistatus.com/v1, anahtarınız ve model ID'si uncensored.

pip install -U langchain-openai langchain-core ile yükleyin.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    temperature=0.7,
)

print(llm.invoke("Reply with the single word: ready").content)

Bir yanıt yazdırıyorsa, bağlantı doğrudur. Anahtarınızı API anahtarı sayfasından alın; hızlı başlangıç, düz SDK kullanıcıları için aynı geçişi gösterir. Uç nokta POST /v1/chat/completions ve GET /v1/models hizmet verir ve bu iki yöntem sohbet için OpenAI sarmalayıcısının ihtiyacı olan tek şeydir.

"Özel LLM" terimi hakkında bir not. LangChain, temel bir sınıfı alt sınıflayarak kendi sohbet modelinizi yazma yolunu da belgeler; bu, OpenAI formatını desteklemeyen API'ler için mantıklıdır. Bu uç nokta bu formatı desteklediğinden, alt sınıflandırma yalnızca bakım gerektiren kod ekler. Sadece sarmalayıcının ifade edemediği bir davranışa ihtiyacınız varsa başvurun.

İstemler ve çıktı ayrıştırma ile bir zincir oluşturma

Model nesnesi yerinde olduğunda, LangChain'deki her şey herhangi bir sohbet modeliyle olduğu gibi çalışır. İşte ifade dili stilinde yazılmış küçük bir zincir: bir istem şablonu, model ve bir dize ayrıştırıcısı.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a blunt technical editor. Answer in at most {limit} words."),
    ("human", "Rewrite this for clarity:\n\n{text}"),
])

chain = prompt | llm | StrOutputParser()

print(chain.invoke({
    "limit": 60,
    "text": "The thing that we did was basically to make the cache be invalidated on write.",
}))

Bu zincirdeki hiçbir şey modelin farklı bir etki alanının arkasında olduğunu bilmez veya umursamaz. Bu uyumlu API'nin faydasıdır: standart sohbet arayüzüne göre yazılmış istemler, hafıza sınıfları, retriever'lar ve ajanlar çalışmaya devam eder. Tarafınızda kontrol etmeniz gereken şey istemin kendisidir. İçerik reddi olmadan yanıt vermeye ayarlanmış bir model talimatları harfiyen takip eder, bu nedenle belirsiz sistem istemleri belirsiz davranışlara yol açar. Rolü, formatı ve uzunluğu belirtin.

Bir geri getirme pipeline'ı tasarlamadan önce bilmeniz gereken bir sınır vardır. Bu hizmet yalnızca metin içindir. Gömme (embedding) olmadığı için, bu Base URL'e işaret eden OpenAIEmbeddings başarısız olacaktır. Vektör deposu için yerel bir gömme modeli veya başka bir sağlayıcı kullanın ve bu uç noktayı yalnızca üretim için kullanın.

Gelen tokenları akış halinde alma

Uç nokta stream: true gönderdiğinizde sunucu tarafından gönderilen olayları (SSE) destekler ve LangChain bunu bir yineleyiciye dönüştürür. Bayrağı kendiniz ayarlamazsınız; .stream() çağırmak bunu yapar.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
for chunk in llm.stream("Write a four-line poem about a failing cron job."):
    print(chunk.content, end="", flush=True)
print()

Asenkron sunucular için astream kullanın. Aynı çağrı JavaScript kütüphanesinde de mevcuttur:

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.LLM_API_KEY,
  configuration: { baseURL: "https://api.llmapistatus.com/v1" },
});

const stream = await llm.stream("Write a four-line poem about a failing cron job.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

Akışlı bir isteğin, son olay gelene kadar eşzamanlılık slotunu koruduğunu unutmayın. Bir kullanıcı tarayıcı sekmesini kapatır ve sunucunuz akışı okumaya devam ederse, bu slot meşgul kalır. İstemci bağlantısı kesildiğinde üst akış (upstream) isteğini iptal edin. Kullanım sayıları akışın sonunda gelir; burada faturalandırma günlükleri için son token sayılarını okursunuz.

Fonksiyon çağırma ve ajanlar

Araç çağırma mevcuttur: uç nokta tools ve tool_choice kabul eder, tool_calls akış olarak geri gönderir ve sonuçlarınızı role: "tool" ile mesajlar olarak alır. LangChain'de araçları bind_tools ile eklersiniz ve çerçeve mesajları oluşturur.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from langchain_core.tools import tool

@tool
def get_order_status(order_id: str) -> str:
    'Look up the status of an order by its id.'
    return f"Order {order_id} shipped yesterday."

llm_tools = llm.bind_tools([get_order_status])
ai = llm_tools.invoke("Where is order A-1042?")
print(ai.tool_calls)

Çağrıyı çalıştırmak ve sonucu döndürmek döngünün ikinci yarısıdır:

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
# llm_tools comes from the previous snippet
from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage("Where is order A-1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = get_order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

Açık ağırlıklı modellerin araçları seçme ve argümanları doldurma konusundaki başarısı değişkenlik gösterir. Araç açıklamalarını kısa ve somut tutun, her çağrıda az sayıda araç kullanın ve argümanlara güvenmek yerine bunları işlevinizde doğrulayın. Bir ajan döngüye girerse, sıcaklığı düşürün ve ajan yürütücünüzde maksimum adım sayısını ayarlayın.

Yapılandırılmış ve JSON çıktısı

JSON modu response_format: {"type": "json_object"} aracılığıyla desteklenir. LangChain'de en kolay yol, sonucu bir şemaya göre de doğrulayan JSON-mod yöntemi kullanan with_structured_output'dir.

# reuses llm from the first example: base_url https://api.llmapistatus.com/v1, model uncensored
from pydantic import BaseModel

class Ticket(BaseModel):
    title: str
    priority: str
    tags: list[str]

structured = llm.with_structured_output(Ticket, method="json_mode")

result = structured.invoke(
    "Return JSON with keys title, priority and tags for this report: "
    "login page times out on mobile, affects many users."
)
print(result)

JSON modu çıktının bir JSON nesnesi olacağını garanti eder, istediğiniz alanlara sahip olacağını değil. İki alışkanlık yardımcı olur. Birincisi, yukarıdaki gibi anahtarları istemde adlandırın; JSON üretme talimatı açık olmalıdır. İkincisi, çağrıyı başarısızlık durumunda yeniden ayrıştıran bir yeniden deneme ile sarın. pydantic kontrolü eksik alanları ve yanlış türleri yakalar ve hata mesajı eklenmiş tek bir yeniden deneme genellikle sorunu çözer.

Modeli model_kwargs={"response_format": {"type": "json_object"}} ile oluştururken response_format değerini doğrudan da ayarlayabilirsiniz; bu, bir JSON ayrıştırıcıda sonlanan düz zincirler için kullanışlıdır.

Hız limitleri, yeniden denemeler ve paralel zincirler

Toplu işler ve ajanlar aynı anda birçok çağrı yapar ve burada özel bir uç nokta yerel bir modelden farklılaşır. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Bir deneme anahtarı 2 eşzamanlı ve dakikada 60 izni verir. Bir limiti aştığınızda API HTTP 429 yanıtı verir ve rate_limited veya concurrency hata kodunu döndürür; geçici aşırı yüklenme durumunda Retry-After: 5 ile 429 yanıtı verir.

LangChain'in iki ayarı çoğunu halleder. Model max_retries değerini alır ve geçici hataları geri çekilme ile yeniden dener; çalıştırılabilirler (runnables) toplu işler için yapılandırmalarında max_concurrency değerini kabul eder:

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.llmapistatus.com/v1",
    api_key=os.environ["LLM_API_KEY"],
    max_retries=4,
    timeout=120,
)

questions = [f"Summarise item {i} in one sentence." for i in range(40)]
answers = llm.batch(questions, config={"max_concurrency": 6})

Eşzamanlılık üst sınırını 6 olarak ayarlamak, tam bir anahtarla aynı uygulamadan gelen iki başka istek için yer bırakır. Deneme anahtarında 1 veya 2 kullanın. Eşzamanlılık sorununu yalnızca yeniden denemelere bırakmayın: üst sınır limitin üzerindeyse, yeniden denemeler aynı çakışmayı yeniden oluşturur. Yanıt başlıklarından X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency değerlerini okumak, anahtarınızın ne kadar izne sahip olduğunu gösterir.

Uzun girdiler, istem ve tamamlama arasında paylaşılan 100.000 token penceresine kadar sorun değildir ve istek gövdesi 8 MB ile sınırlıdır. LangChain metin bölenleri, parça başına birkaç bin token ayarlandığında sizi her iki sınırdan da uzak tutar.

Özel bir uç nokta için sorun giderme

Özel bir base URL ile ilgili sorunların çoğu kısa bir listeye girer ve her birinin hızlı bir testi vardır.

  • Kimlik doğrulama hataları. LangChain ayrıca OPENAI_API_KEY ortam değişkenini okur. api_key değerini açıkça geçerseniz bu değer önceliklidir, ancak yapılandırmayı unuttuğunuz ikinci bir model nesnesi için eski bir değişken karışıklığa yol açabilir. Anahtarınızı her zaman geçin ve değişkene LLM_API_KEY gibi başka bir ad verin.
  • Bulunamadı hataları. Base URL /v1 ile bitmelidir. LangChain /chat/completions'i kendisi ekler, bu nedenle base URL'ye eklemek çift bir yol oluşturur.
  • Bilinmeyen model. GET /v1/models isteğini aynı anahtarla yapın ve yazdığı kimliği kopyalayın. Bu kimlik uncensored olmalıdır.
  • Uzun zincirlerde sessiz takılmalar. Modelde timeout ayarlayın ve X-Request-Id yanıt başlığını günlüğe kaydedin. Destek ile iletişime geçtiğinizde, bu ID onların tam isteği bulmasını sağlar.
  • Sürpriz çıktılar. Gönderilmeden önce son istemi yazdırın. LangChain'deki çoğu tuhaf yanıt, modelden değil, bir değişkeni beklenmedik bir şeyle dolduran bir şablondan kaynaklanır.

Şüphe duyduğunuzda, aynı URL'ye düz curl ile hatayı oluşturan çağrıyı tekrarlayın. Curl çalışır ve LangChain çalışmazsa hata zincirinizdedir; ikisi de başarısız olursa anahtarı ve bakiyeyi kontrol edin.

Geliştirme sırasında maliyeti kontrol etme

Zincirler token sayılarını gizler, bu yüzden erken ölçün. Her yanıt kullanım içerir ve yanıt başlıkları X-Balance-USD içerir. Fiyat 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir ve ön ödemeli krediden faturalandırılır.

Uygulamalı bir örnek: bağlam ve soru olarak 6.000 token gönderip 400 token alan bir getirme zinciri, giriş için 6.000 x $0,15 / 1M = $0,0009 ve çıktı için 400 x $0,50 / 1M = $0,0002 maliyetinde olur, yani çağrı başına $0,0011 eder. Bu tür 5.000 çağrıyı bir test taramasında çalıştırmak $5,50 tutarındadır. Bir ajan döngüsünü gece boyunca çalıştırmadan önce bunu bilmek faydalıdır.

Başarısız veya reddedilen istekler için ücret alınmaz. fiyatlandırma sayfası, bonuslarla birlikte $20 ile $500 arasında bakiye yükleme miktarlarını listeler ve yeni hesaplar tek tıkla $0,50 deneme kredisi talep edebilir; bu, kurulum yaparken birkaç yüz küçük test çağrısı için yeterlidir.

Sorular ve cevaplar

LangChain'ın sohbet modeli temel sınıfını alt sınıflandırmam gerekiyor mu?

Hayır. Uç nokta OpenAI-uyumludur, bu nedenle özel base_url, API anahtarı ve model ile ChatOpenAI çalışır. Alt sınıflandırma yalnızca farklı bir format kullanan API'ler için gereklidir.

Bu uç nokta ile OpenAIEmbeddings kullanabilir miyim?

Hayır. Hizmet yalnızca metin içindir ve gömme (embedding) içermez. Vektörler için yerel bir gömme modeli veya başka bir sağlayıcı kullanın ve bu uç noktayı üretim için kullanın.

Hangi model adını geçirmeliyim?

Model olarak uncensored'ı geçin. GET /v1/models aynı kimliği döndürür.

Toplu işte neden 429 hataları alıyorum?

Dakika başına istek sayısını veya eşzamanlı istekleri aştınız. Tam anahtar üzerinde max_concurrency değerini 8'in altında, deneme anahtarında ise 2'nin altında tutun ve yeniden denemeleri etkin bırakın.

LangChain'ın akış özelliği burada çalışıyor mu?

Evet. stream veya astream çağrısı sunucu tarafından gönderilen olayları (SSE) kullanır ve kullanım bilgisi akışın sonunda gönderilir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al