JavaScript devre dışı bırakılmış. Daha iyi bir deneyim için tarayıcı ayarlarından JavaScript'i etkinleştiriniz.
Son kullanma tarihi geçmiş, bayatlamış bir tarayıcı kullanıyorsanız, Mercedes kullanmak yerine tosbağaya binmek gibi... Web sitelerini düzgün görüntüleyemiyorsanız eh, bi' zahmet tarayıcınızı güncelleyiniz.
Modern Web standartlarını karşılayan bir tarayıcı
alternatifine göz atın .
Güvenlik
LiteLLM Docker imajlarının tümü cosign ile imzalanır. Her sürüm, daha önce tanıtılan aynı imzalama anahtarıyla imzalanır.
Önerilen doğrulama yöntemi, sabitlenmiş commit hash'i kullanmaktır. Commit hash'i kriptografik olarak değiştirilemez olduğundan, özgün imzalama anahtarının kullanıldığını doğrulamanın en güçlü yoludur.
Kolaylık sağlamak için sürüm etiketi üzerinden de doğrulama yapılabilir. Depodaki etiketler korunur ve aynı anahtara yönlendirilir; ancak bu yöntem etiket koruma kurallarına dayanır.
İmza doğrulaması sırasında cosign taleplerinin doğrulandığı ve imzaların belirtilen açık anahtarla eşleştiği kontrol edilir.
Hata Düzeltmeleri
Proxy ile ilgili düzeltmeler, 1.105.x kararlı dalına geri aktarıldı.
Yeni Özellikler
MCP: Araç yüzeyleri arasında uyumluluğa duyarlı sonuç dönüştürme paylaşılır hale getirildi.
Model kataloğuna Rust registry doğrulaması eklendi.
Rust: Upstream response header'ları yerel Messages stream'ine aktarılıyor.
Testkit: Claude Code, Codex ve opencode için agent client'ları eklendi.
MCP: Protokol sürümleri ve capability discovery yapılandırılabilir hale getirildi.
Databricks Zerobus trace logging callback'i eklendi.
xAI için yerel batches ve files desteği eklendi.
Proxy: Takım üyesi bütçesinin yapılandırılan yüzdelerinde e-posta uyarıları gönderiliyor.
Rust: Config, router ve gateway crate'leri eklendi.
Proxy: Redis rate limit sayaçlarına erişilemediğinde istekleri 503 ile reddeden fail_closed_rate_limit_enforcement ayarı eklendi.
Guardrails: Alınan vector store parçaları, isteğin pre-call guardrail'leri ile taranıyor.
Proxy: maximum_daily_tag_spend_retention_period temizleme ayarı eklendi.
Sail, service_tier ayarı tamamlanma süresine eşlenecek şekilde provider olarak eklendi.
Router: Prompt-cache maliyetine göre yönlendirme için opt-in seçeneği eklendi.
OpenTelemetry v2 için SigNoz preset'i eklendi.
CLI: Kaydedilmiş agent kurulumu yeniden kullanılıyor ve yeniden yapılandırma (reconfigure) eklendi.
Rust: openai_like chat config temeli eklendi.
Rust: HTTP host driver eklendi.
Rust: HTTP Responses API desteklendi.
Rust: litellm-db ve litellm-db-testing workspace iskeleti eklendi.
Rust: Python inference binding'leri paylaşılan route'lara bağlandı.
Rust: Yapılandırılmış route yaşam döngüsü tracing'i eklendi.
Rust: Gateway kimlik doğrulama ve yetkilendirme birbirinden ayrıldı.
Rust: Virtual key depolama sözleşmeleri eklendi.
Rust: Gateway UI girişi ve oturumları eklendi.
Rust: MCP gateway eklendi.
Azure için Mistral OCR fiyatlandırması ve maksimum çıktı limitleri eklendi.
claude-sonnet-5-5 model fiyatlandırması eklendi.
Bedrock: xAI grok-4.7 fiyatlandırması eklendi; llama, mistral large 2407 ve minimax m2.5 fiyatları senkronize edildi.
Rust: Cache seçimi açık cache nesneleri üzerinden yapılıyor.
MCP: Upstream araç açıklamaları taranıyor ve sabitleniyor (pin).
Cost map: claude opus 5.5 ve sonnet 5.5 için bedrock_mantle satırları eklendi.
Fireworks AI: auto, auto-instant ve firerouter router'ları yönlendiriliyor ve listeleniyor.
Model leaderboard sayfası eklendi.
Cost map: Baseten DeepSeek-V4.1-Flash-Fast eklendi.
Guardrails: noma_v2 yapılandırılmış bir gateway_name değerini Noma'ya gönderiyor.
Cost map: OpenAI gpt-6.1-sol, Azure ve OpenRouter gpt-6.1-sol satırları eklendi.
Cost map: OpenAI gpt-6-astra ultrafast katman fiyatları eklendi.
Bedrock: openai gpt-6.1-sol global ve base satırları ile us geo cris ve Mantle satırları eklendi.
Agents: Kimlik depolama ve doğrulama sözleşmeleri eklendi.
Agents: Yetkili agent izinleri uygulanıyor.
Agents: Entra kimlikleri ve delegated istekler doğrulanıyor.
Agents: Kimlik kaydı ve dashboard kontrolleri eklendi.
UI: Logs sayfasında x-litellm-call-id arama, tablo ve çekmecede gösteriliyor.
Cost map: Vertex gemini-3.8 flash tts satırları eklendi.
UI: Agent traces sekmesi zaman çizelgesi ve OTel kurulum rehberi ile Logs'a eklendi.
OTel v2: Tenant hedeflerinde datastore span'leri için excluded_services opt-out seçeneği eklendi.
Rust: Traces için depolama temeli eklendi.
Tracing: OTLP ingestion güncel trace temeline taşındı.
Proxy: Gateway harcaması ile birleştirilen PR'ları karşılaştıran yerel ROI hesaplayıcısı eklendi.
UI: Yeni LiteLLM logosu ve monogramı benimsendi.
Tracing: Harcama ClickHouse'da otomatik olarak depolanıyor.
Lens: Agent etkinliği ayrı bir worker ile analiz ediliyor.
Proxy: Spend log'larında isteğin client tarafından iletilen bir Anthropic OAuth token'ı kullanıp kullanmadığı kaydediliyor.
Cortecs, OpenAI uyumlu provider olarak eklendi.
UI: Tag Management sayfasında etiketler ad ve açıklamaya göre filtrelenebiliyor.
Guardrails: Her HTTP guardrail'inde litellm_params.timeout değeri dikkate alınıyor.
Cost map: Fireworks inkling priority fiyatları eklendi.
Lens: Örneklenen trace'ler incelenebiliyor ve batch sonuçları saklanıyor.
Lens: Worker harcaması virtual key'ler üzerinden takip ediliyor.
UI: Agent traces, sohbet tarzı çalışma görünümü ile yan çekmecede açılıyor.
S3 v2: Saatlik S3 klasörleri için s3_partition_granularity seçeneği eklendi.
UI: Model leaderboard'da günlük token toplamları gösteriliyor.
Vertex AI: vertex_ai/xai/grok-4.7 fiyatlandırması eklendi.
UI: Cost Optimization menü öğesinden Beta rozeti kaldırıldı.
Tool policies: Bir aracı keşfeden anahtarın sahibi olan kullanıcı gösteriliyor.
Proxy: Gzip kabul eden client'lar için buffer'lanmış yanıtlar gzip ile sıkıştırılıyor.
Lens: Traces ve kurulum Lens'e taşındı.
UI: Tracing kurulumuna test trace'i, tracing key ve OTel endpoint'leri eklendi.
Proxy: İsteğe bağlı router'ları başlangıçta kaydetmek için LITELLM_DISABLE_LAZY_ROUTES eklendi.
Tüm kullanım varlıkları için sınırlı günlük etkinlik route'ları (aggregated, search, model_top_keys, export, cache_leakage_keys) eklendi.
UI: Kullanım sayfaları tüm anahtarları client tarafında saklamak yerine sınırlı günlük etkinlik route'larını kullanıyor.
Lens: Kurulum ve inceleme iş akışı basitleştirildi.
Rust: Paylaşılan migrate! makrosu ile migration klasörleri gömülüyor.
litellm.agent() eklendi; Claude Code, Codex, opencode ve deep agent'ları AI gateway üzerinden çalıştırıyor.
Tracing: Kapsamlı SQL sorguları ve şemaya duyarlı yardım eklendi.
MCP kataloğuna Microsoft 365 (Graph) sunucusu eklendi.
Decisions: /v1/systemone, OpenAI formatında /v1/decisions ve openai Decisions provider'ı rc/1.105.0'a taşındı.
Guardrails: Decision model guardrail'i rc/1.105.0'a taşındı.
UI: Decision auto-router kurulumu 1.105'e taşındı.
İyileştirmeler
Rust: Framer trait'i tokio-util codec'leri ile değiştirildi.
Rust: Credential inheritance ve SDK limitleri bir driver preflight aşamasına taşındı.
HTTP: Sahipli bir Client verilecek şekilde düzenlendi ve tüm provider'lar pool üzerinden yönlendiriliyor.
Anthropic messages, experimental_pass_through altından çıkarıldı.
Rust: Gateway için çıkarım ve kimlik doğrulama temelleri hazırlandı.
Rust: Gateway ve Anthropic messages genelinde loglama ve test kapsamı genişletildi.
Anthropic: experimental_pass_through, pass_through olarak yeniden adlandırıldı.
MCP: Callers'ı değiştirmeden paylaşılan sunucu çözümleyici eklendi.
CI: Sınırsız SQL IN listeleri için yeni kontrol ve Prisma chunking yardımcısı eklendi.
Rust: Anthropic türleri, istek yardımcıları ve streaming sözleşmeleri crate'ler arasında paylaşılıyor.
Rust: Gateway yapılandırma ayrıştırması genişletildi.
Rust: Çağrı yaşam döngüsü route'a ait çıkarımlar arasında paylaşılıyor.
Rust: Gateway çıkarımında paylaşılan yürütme kullanılıyor.
Rust: Gateway container'ı paketlendi.
Rust: Delivery routing soyutlaması kaldırıldı.
Rust: Paylaşılan llms wire type derive'ları eklendi.
Rust: Messages route yürütmesi orkestre ediliyor.
Rust: Python bridge yürütme sarmalayıcıları merkezileştirildi.
Rust: Host yürütmesi merkezileştirildi ve callback'ler birleştirildi.
MCP: Hub yayın predicate'i birleştirildi.
Proxy: Takım erişim kontrollerinin tamamı TeamAccess.allows ile yanıtlanıyor.
Daily activity repository'si merkezi sınırlı kullanım sorgularıyla yeniden düzenlendi.
Tracing: Agent span'leri Rust'ta normalize ediliyor.
Tracing receiver ve erişim bağlamı enjekte ediliyor.
Tracing: ClickHouse TTL bilgisi yalnızca retention değişikliklerinde yeniden hesaplanıyor.
Router: Cooldown durumu ve kullanım sayaçları tek bir Redis gidiş-dönüşünde alınıyor.
Proxy: Kabul ve çağrı sonrası muhasebe boyunca tek bir spend counter batch'i tutuluyor.
Responses: aresponses, cache'in bir kez okunması için async wrapper üzerinden çalıştırılıyor.
Proxy: Auth, spend, rate limit ve routing okumaları için istek kapsamlı tek bir Redis pipeline kullanılıyor.
Proxy: Çağrı sonrası spend, rate limit, routing ve response-cache yazmaları için backend başına tek bir Redis pipeline kullanılıyor.
Proxy: Auth yönetim nesneleri istek Redis pipeline'ı üzerinden yenileniyor.
Router: Routing prefetch'inde cooldown okuma aralığı dikkate alınıyor.
Router: İstek başına routing okumaları, public method kwargs yerine context variable'lar üzerinden taşınıyor.
UI: Para ve sayı sütunları tablolarda sağa hizalandı.
Proxy: Response-cache SET işlemi, çağrı sonrası batch yerine hemen Redis'e yazılıyor.
Cost map: Çeşitli provider'lar için fiyat, limit, kullanımdan kaldırma (deprecation) ve emeklilik tarihleri resmî kaynaklarla senkronize edildi ve düzeltildi.
UI: Tüm Modeller sekmesi Deployed Models, model filtreleri ise All Proxy Models olarak yeniden adlandırıldı.
UI: Yan çubuk logosu küçültüldü.
Bağımlılıklar: pgbouncer 1.26.0'a yükseltildi.
Güvenlik
SSO: /sso/debug route'ları ENABLE_SSO_DEBUG ayarının arkasına alındı ve varsayılan olarak kapalı.
Sentry: Nesne repr'leri ve iç içe yerel değişkenler içindeki PII ve gizli bilgiler temizleniyor; SENTRY_SEND_DEFAULT_PII opt-in seçeneği eklendi.
Loglama: Proxy yapılandırmasında turn_off_message_logging ayarlandığında raw_request içeriği gizleniyor.
Proxy: Gönderilen gövde 422 doğrulama hatalarının dışında tutuluyor.
Guardrails: Özel kod http_request içinde özel hedeflere erişim engellendi ve guardrail yürütme süresi sınırlandırıldı.
Proxy: Takım callback kimlik bilgileri saklanan istek gövdesinin dışında tutuluyor.
Proxy: Websocket passthrough'dan çağıran kimlik bilgileri çıkarılıyor.
Responses: Üst düzey instructions alanı guardrail'ler tarafından taranıyor ve maskeleniyor.
Proxy: İstek gövdesindeki kimlik bilgileri saklanan spend log isteklerinin dışında tutuluyor.
Auth: UI/CLI oturum token'ları kendi AES-GCM bağlamına ve header-safe biçime kavuştu.
Bağımlılıklar: pyjwt, moment ve brace-expansion osv-scan'i geçecek şekilde yükseltildi.
Bağımlılıklar: gitpython ve tornado yükseltildi.
Bağımlılıklar: pypdf 6.16.2'den 6.19.0'a yükseltildi.
Bağımlılıklar: oauthlib osv-scan'i geçecek şekilde 4.0.0'a yükseltildi.
Proxy: Key/team vector_stores allowlist'i /v1/rag/query üzerinde uygulanıyor.
Guardrails: Azure Prompt Shield ve Azure Text Moderation, Responses API girdisini tarıyor.
Hata Düzeltmeleri
Caching: Auth önbellek geçersizleştirmesi, node düzeyinde bir pub/sub client'ı ile Redis Cluster üzerinden yayılıyor.
Proxy: SpendLogToolIndex temizleme bütçesinden kendi payını alıyor ve çalışma başına özet logluyor.
Anthropic: Responses bridge stream hataları Anthropic hata olayları olarak sunuluyor.
Proxy: Stream edilen /v1/responses container sahipliği, response.completed frame'inden önce kaydediliyor.
Router: Provider bütçesi harcaması tüm API yüzeylerinde sayılıyor.
Responses: Çıktı öncesi stream kopmalarında fallback uygulanıyor, kesilen stream'ler başarısız sayılıyor ve request_timeout dikkate alınıyor.
Bedrock: Hiç olay içermeyen converse-stream 200 yanıtı artık boş bir tur yerine 502 olarak bildiriliyor.
JWT: Token ayrıca bir team claim'i taşıdığında x-litellm-team-id, DB üyelik takımlarını seçebiliyor.
Vertex AI: Credential çözümlemesinde eski bucket_name korunuyor ve GCS_BATCH_BUCKET_NAME ortam değişkeni eklendi.
Proxy: /v1/messages stream'i başarısız olduğunda gerçek bir hata olayı gönderiliyor.
Router: Classifier kararı, çevresindeki metinden ayrıştırılıyor; varsayılan katmana düşülmüyor.
Cost map: fireworks_ai deepseek-v4p1-flash fiyatlandırması düzeltildi.
Router: Responses yaşam döngüsü olayları çıktıya kadar tutuluyor; böylece çıktı öncesi fallback tek bir yanıt duyuruyor.
Callbacks (legacy Python): Tutulan header sözlüğü dolaşılıp serbest bırakılıyor.
OTel: Yanıt sonrası servis span'leri istek aşamasına göre ayrılıyor ve Redis span'leri işleme göre adlandırılıyor.
Responses: Stream guardrail pre-call engeli, türlendirilmiş bir çıktı öğesiyle SSE olarak gönderiliyor.
Streaming: litellm Usage, text-completion usage chunk'larında korunuyor.
Vertex AI: Context caching minimum token doğrulamasında araçlar da dikkate alınıyor.
Anthropic: Yalnızca imzası eksik olanlar değil, boş thinking metni içeren thinking blokları da çıkarılıyor.
Tools: Birleştirilmiş JSON araç çağrısı argümanları kurtarılıyor.
Gemini: seed değeri reddedilmek yerine Gemini API'ye iletiliyor.
Vertex AI: Gemma sahte stream'leri izlenen Responses ile çalışıyor.
Responses: Yalnızca imza içeren thinking için streaming /v1/responses'ta reasoning öğesi gönderiliyor.
Anthropic: per-turn-control beta'sı Azure AI Foundry'ye iletiliyor.
Bedrock: İşlenemeyen görsel hatalarında provider durum kodu korunuyor.
Vertex AI: Partner model completion sırasında vertexai SDK içe aktarılmıyor.
Token sayacı: Gemini function_declarations araçları sayılıyor.
Router: Sabitlenmiş deployment'ın çözemediği şifreli reasoning çıkarılıyor.
Proxy: Süresi dolmuş anahtar kimlik doğrulama hatalarında anahtar sahibi kimliği loglanıyor.
Guardrails: Agent 365 üretim endpoint'ine sabitlendi ve opt-in fail_open durumu error seviyesinde loglanıyor.
Proxy: Saklanan yapılandırmadan kaldırılan logging callback'lerinin kaydı siliniyor.
Provider: unified_access_group oluşturmada 2xx durum kodları kabul ediliyor.
panw_prisma_airs: experimental_use_latest_role_message_only ayarı her istek biçiminde dikkate alınıyor.
Guardrails: Presidio çıktı seçimi ve geri yükleme korunuyor.
Google GenAI: Completion adapter'ında proxy_server_request korunuyor.
OTel: Cache ve reasoning token'ları langfuse usage_details içinde gönderiliyor.
Vertex AI: İleti başına output_config için per-turn-control beta'sı iletiliyor.
Cost map: Nebius DeepSeek-V4.1-Flash için araç çağırma ve reasoning bayrakları eklendi, maksimum çıktı düzeltildi.
Proxy: model_group_alias, sıfır maliyetli bütçe predicate'inde çözümleniyor.
Router: Claude Code arka plan oturumları kendi auto-router'larına bağlanıyor.
Proxy: Kullanım atfı için oturum anahtarı sahipleri günlük harcamadan kurtarılıyor.
MCP: OpenAPI listeleri tam sunucu önekine göre kapsamlanıyor ve sunucu kaydedildiğinde upstream OAuth metadata'sı bırakılıyor.
Bedrock: gpt-6.1-sol maksimum çıktı token'ı 131072 olarak ayarlandı.
Auth: UI/CLI oturum token'ları için header-safe yapı sağlandı.
UI: Anahtar, takım ve MCP sunucusu kayıtlarından sonra MCP izinleri görünür kalıyor.
Params: Dahili parametre doğru şekilde sınıflandırılarak isteğe sızması önlendi.
Bedrock: Mesajdaki output config için beta header'ı eklendi.
Cost calculator: Ultrafast prompt'lar 272k üzerinde ultrafast uzun bağlam oranlarıyla faturalanıyor.
Proxy: Tamamlanan batch maliyet satırları günlük etkinlikte /batches'e atfediliyor.
Cost calculator: optional_params artık response hidden params içine kopyalanmıyor.
UI: Erişim grubu MCP ve agent seçimleri sarmalanan chip'ler olarak gösteriliyor.
Bedrock: Uygun beta header'ları korunuyor.
hosted_vllm: Yeniden oynatılan assistant mesajlarında reasoning_content korunuyor.
Proxy: Büyük takımlar üye başına transaction yayılımı olmadan siliniyor.
Paketleme: Wheel yolları Store Python için Windows MAX_PATH altında tutuluyor.
Router: Servis katmanları, özel fiyatlı deployment'lar için katalog oranlarıyla faturalanıyor.
Anthropic: dangerous-tool-use beta'sı Azure AI Foundry'ye iletiliyor.
Proxy: Azure passthrough gövde model grupları router üzerinden aktarılıyor.
Proxy: OTel v2 altında UI'dan yapılandırılan arize callback'i otel ile birlikte kaydediliyor.
Transkripsiyon: Groq Whisper için base_url takma adı dikkate alınıyor ve api base olarak raporlanıyor.
Wandb: GLM-5.3-Flash için supports_vision true yapıldı.
Grayswan: İstek konuşması ve araç çağrıları post-call monitor'a gönderiliyor.
Azure Storage: Data Lake nesneleri base64 dolgusu veya eğik çizgi olmadan adlandırılıyor.
Guardrails: Bilinmeyen straiker api_version değeri guardrail'i atlamak yerine ayarsız sayılıyor.
Azure Storage: DataLakeServiceClient, TTL süresi dolana kadar canlı tutuluyor.
Proxy: Pass-through endpoint'lerinde config'in önceliği öncesi davranış geri yüklendi.
Streaming: Sunulan service_tier, stream edilen chunk'larda ve spend satırlarında korunuyor.
Router: silent_model, embedding provider isteklerinin dışında tutuluyor.
Proxy-extras: SpendLogs indeksleri migration'larda değil migration job'ında oluşturuluyor.
MCP: Takım tarafından verilen toolset'ler admin olmayan anahtarlar ve dashboard oturumları için çözümleniyor.
Bedrock: Content anahtarı olmayan Converse mesajları kabul ediliyor.
Proxy: SSO görünen adı girişte user_alias olarak saklanıyor.
Proxy-extras: Bölümlenmiş SpendLogs indeks oluşturmanın kilit bekleme süreleri sınırlandı.
Providers: Thinking display güncellemeleri beta olarak tutuluyor.
Bedrock: Konuşma ortasında araç değişiklikleri için beta eklendi.
Daily activity: Varlık kimlikleri hariç tutulurken NULL varlık kimlikleri korunuyor.
Proxy: Kanonik olmayan günlük etkinlik tarihleri reddediliyor.
Proxy: Veritabanı kurulumu başarısız olduğunda açılışta her zaman çıkılıyor.
Guardrails: Straiker v3, sk_agt_ anahtarlarını v3'e yönlendiriyor ve eksik karar durumunda kapalı kalıyor (fail closed).
Azure Storage: Client çağrı kimlikleri tek bir Data Lake dosyasını paylaşmıyor.
Guardrails: Azure guardrail get_user_prompt dispatch'i ve loglamaya izin verme geri yüklendi.
Proxy: Araç yükleri ve logprobs saklanan spend log'larda maskelenmeden tutuluyor.
Proxy-extras: Başka bir peer, adı geçen migration satırını zaten kurtardığında P3009 yeniden deneniyor.
Bedrock: Backport düzeltmeleri rc/1.105.0'a eklendi.
OTel: dict olmayan callback_settings.otel değerleri tolere ediliyor ve çıplak EXCLUDED_SERVICES ortam değişkeni yok sayılıyor.
UI: Ayarlanmamış callback select parametreleri kaydetme yükünün dışında bırakılıyor.
UI: Yan çubuk logosu sayfa başlıklarından daha baskın olmayacak şekilde küçültüldü.
Proxy-extras: Migration sorunları için backport düzeltmeleri rc/1.105.0'a eklendi.
UI: Kayıtlı yapılandırmadan geri alınan Team Usage dışa aktarımı ve Team usage görünümü değişiklikleri geri alındı.
Yeni Özellikler
v1.104.2 sürümü için /v1/systemone, OpenAI biçimindeki /v1/decisions ve OpenAI Decisions sağlayıcısı kararlı 1.104.x dalına geri aktarıldı.
Docker İmajı İmza Doğrulaması
Tüm LiteLLM Docker imajları cosign ile imzalanır.
Her sürüm, aynı imzalama anahtarı kullanılarak imzalanır.
Önerilen yöntem olan sabitlenmiş commit hash'iyle doğrulama, orijinal imzalama anahtarının kullanıldığını en güçlü şekilde doğrulamanızı sağlar.
Sürüm etiketiyle doğrulama da kullanılabilir. Depodaki etiketler korunur ve aynı anahtara karşılık gelir; ancak bu yöntem etiket koruma kurallarına dayanır.
Doğrulama sırasında cosign talepleri doğrulanır ve imzalar belirtilen açık anahtara göre kontrol edilir.
Güvenlik
Tüm LiteLLM Docker imajları cosign ile imzalanıyor.
İmzaların doğrulanması sırasında cosign talepleri doğrulanıyor.
İmzalar belirtilen genel anahtara karşı doğrulanıyor.
Değişiklikler
Kararlı 1.104.x dalındaki bağımlılıklar yenilendi.
pgbouncer 1.26.0 sürümüne yükseltildi.
Docker İmajı İmzasını Doğrulama
Tüm LiteLLM Docker imajları cosign ile imzalanıyor. Her sürüm aynı imzalama anahtarını kullanıyor.
Sabitlenmiş commit hash'i kullanarak doğrulama, commit hash'inin kriptografik olarak değiştirilemez olması nedeniyle orijinal imzalama anahtarının kullanıldığını doğrulamanın en güçlü yöntemidir.
Sürüm etiketi kullanılarak da doğrulama yapılabilir. Etiketler depoda korunur ve aynı anahtara çözümlenir. Bu yöntem daha okunaklıdır ancak etiket koruma kurallarına dayanır.
Doğrulama sırasında cosign claim'leri doğrulanır.
İmzalar belirtilen açık anahtara karşı doğrulanır.
Değişiklikler
osv-scan'de GHSA-h7x2-h6g9-p789 yeniden bastırıldı; MLflow için hâlâ düzeltilmiş bir sürüm bulunmuyor.
Parola politikasına ihlal edilmiş parola algılama özelliği eklendi.
Kullanıcıların kendi parolalarını değiştirebilmesi sağlandı ve düz metin parola sızıntıları giderildi.
İhlal edilmiş veya yönetici tarafından belirlenmiş parolalar için zorunlu parola sıfırlama eklendi.
/model/info listelemesi orjson ile tek seferde serileştirilerek proxy performansı iyileştirildi.
wrapper_async'in senkron başarı işleyicisini iki kez göndermesi engellendi.
Yerel Responses ve Messages maliyet durumları için entegrasyon testleri eklendi.
Redis tamponundaki yeniden gönderilemeyen harcama gruplarının tekrar gönderilmesi engellendi.
Arka plan response maliyeti sorgulamalarındaki 404 yanıtları için cooldown atlanıyor.
Batch alınırken model_group bilgisi eklenerek batch tokenlarının ilişkilendirilebilmesi sağlandı.
MCP'de kapsamlı yürütme ve kimlik bilgisi izolasyonu regresyonları giderildi.
Proxy'nin ayarlanmamış, boş veya herkese açık olarak bilinen bir master key ile başlatılması engellendi.
Dağıtılan yapılandırma ve örneklerde sk-1234 değerinin master key olarak gösterilmesi kaldırıldı.
Autorouter tahmin anahtarları GCS pub/sub harcama günlüğü testlerine eklendi.
404 yeniden denemelerinin retry policy ile sabitlenebilmesi için NotFoundErrorRetries eklendi.
OpenRouter fiyatları iki model için eşitlendi.
Google GenAI generateContent adaptörü üzerinden response schema ve araç parametrelerinin iletilmesi düzeltildi.
MCP OAuth başarılı akış kapsamı geri getirildi.
tools/list sunmamış bir worker üzerinde tools/call çağrısının 404 dönmesi düzeltildi.
OpenRouter fiyatları yedi model için eşitlendi ve altı model kullanımdan kaldırıldı.
Proxy başlangıcında view'lar oluşturulmadan önce spend-log tablosunun beklenmesi sağlandı.
n>1 stream'lerde her choice için tool-call argümanlarının ayrı taranması ve yeniden yazmanın neden reddedildiğinin kaydedilmesi sağlandı.
OpenRouter fiyatları güncellendi.
SDK, proxy CLI ve yapılandırmalardaki kullanılmayan telemetri bayrağı kaldırıldı.
Unit, integration ve E2E test katmanlarının sözleşmesi tanımlandı.
Proxy'de v2 migration başlangıcı koordine edildi ve container recovery davranışı iyileştirildi.
Unit testler CircleCI'a bağlandı.
Unit testlerde harici soketler import sırasında engellendi ve regresyon testi eklendi.
Kullanımdan kaldırılmış test kalite kuralları bütçe denetiminden çıkarıldı.
Eski unit ve LLM sağlayıcı testlerinin çeşitli grupları tests/unit yapısına taşındı.
30 dosyadaki Any türleri doğrulanmış türlerle değiştirildi.
tests/unit altındaki tüm dizinler paket hâline getirilerek pytest collection benzersizliği sağlandı.
Sanal anahtar bütçelerinin JEV test yönlendirmesinde uygulanması sağlandı.
fal.ai için kuyruk API'si üzerinden Seedance 2.5 ve 2.0 video üretimi eklendi.
OpenRouter fiyatları 11 model için eşitlendi.
Devre dışı bırakılmış JWT kullanıcılarının reddedilmesi ve önbelleğe alınmış durumun yenilenmesi sağlandı.
MCP'de eksik public client bağımlılıklarının açıklanması iyileştirildi.
Rust token counter backend'leri ayrıldı.
Rust tarafına typed secret manager'lar ve ortak auth adaptörleri eklendi.
Responses üzerinden safety_identifier değerinin chat completion bridge aracılığıyla iletilmesi düzeltildi.
32 dosyadaki Any türleri doğrulanmış türlerle değiştirildi.
HPA devre dışıyken component tabanlı dağıtımlarda sabit replicaCount oluşturulması düzeltildi.
BudgetExceededError için 429 yerine 422 döndürülmesi sağlandı.
Bedrock AgentCore streaming isteklerinde message/stream gönderimi düzeltildi.
MAI-Image-2.5-Pro fiyatlandırması eklendi; Fireworks ve Together girdileri düzeltildi, doğrulanmış açık registry değişiklikleri alındı, Groq kullanımdan kaldırma bilgileri ve Bedrock bölgesel Qwen3 Next fiyatlandırması eklendi.
Anthropic native /v1/messages üzerinde safeguards ve anthropic-beta değerlerinin değiştirilmeden iletilmesi sağlandı.
Azure ve AWS Bedrock fiyat bilgileri güncellendi.
Proxy varsayılan olarak v2 migration resolver kullanacak şekilde değiştirildi.
Auto-router heuristic v2 başarı eşiği yapılandırılabilir hâle getirildi.
Together AI ve OpenRouter fiyat bilgileri güncellendi.
UI oturumundaki kişisel anahtarların üst sınırı olarak kullanıcının kendi bütçesinin kullanılması sağlandı.
Takım üyelerinin varsayılan takım bütçesini takip edip etmediği gösteriliyor ve bu bütçeye sıfırlama yapılabiliyor.
Kayıtlı olmayan modellerin maliyet haritası bilgilerini sorgulamak için GET /utils/model_info eklendi.
xAI grok-4.7 maliyet haritasına eklendi.
fal.ai için gpt-image-2.5 flare/sunburst, flux/dev ve görsel düzenleme desteği eklendi.
Bedrock'a us.moonshotai.kimi-k3 fiyatlandırması eklendi ve global Kimi K3 girdisi tamamlandı.
Auto-router'a LLM sınıflandırıcısının yanında JEV sınıflandırıcısı eklendi.
Yeniden kuyruğa alınan harcama günlüklarının veritabanı kesintisi sırasında pod yeniden başlasa bile korunması için Redis'te tutulması sağlandı.
Bedrock Claude platform Messages yolunda anthropic-beta header'larının olduğu gibi iletilmesi sağlandı.
Azure AI'da gpt-5.4+ function tool'larının reasoning ile Foundry Responses API'ye aktarılması düzeltildi.
Yapılandırılmış cache_control_injection_points değerlerinin istemci cache_control işaretlerinin yanında uygulanması sağlandı.
Token counter'da yeniden oynatılan redacted_thinking blokları sayılarak prompt caching davranışının korunması sağlandı.
MCP prompt ve resource keşfine sayfalama eklendi.
Prompt caching breakpoint'i taşındığında affinity'nin korunması sağlandı.
UI'da prompt caching istekleri ve net tasarruf gösterilmeye başlandı.
Bedrock Mantle üzerinden Claude modelleri için native Anthropic Messages API ile /v1/messages desteği eklendi.
Policy engine'e varsayılan fallback policy attachment'ları eklendi.
MCP'de bölünmüş UTF-8 routing preview'larının işlenmesi düzeltildi.
Bedrock batch giriş ve çıkış veri yapılandırmalarında s3BucketOwner gönderimi eklendi.
Rust tarafında Python eşdeğerliği için cache altyapısı oluşturuldu.
fal.ai görsellerinin fiyatlandırılması döndürülen boyutlara göre yapılacak şekilde düzeltildi.
fal.ai için MiniMax H3 metinden videoya ve referanstan videoya desteği eklendi.
Çin ana karasındaki marka adı Qianwen AI Platform olarak değiştirildi.
Maliyet altyapısına endpoint, breakdown component, failure, embedding, rerank, completion, moderation, audio, image ve birim bazlı maliyet senaryoları eklendi.
UI'a en son sürüm değişiklik istatistiklerini gösteren yükseltme banner'ı eklendi.
fal.ai video durumunda hataların tamamlandı veya genel 500 olarak gösterilmesi yerine gerçek hataların iletilmesi sağlandı.
Proxy model düzenleyicisinde None seçildiğinde saklanan kimlik bilgisinin bağlantısı kaldırılıyor.
İstek sürerken bütçe rezervasyon sayacının TTL süresi yenileniyor.
Claude Code safeguards ve dangerous-tool-use beta değerlerinin Bedrock Invoke ve Vertex'e iletilmesi sağlandı.
Eden AI sağlayıcısı chat, Responses, Messages, embeddings, audio, images ve video için eklendi.
RedisClusterCache, Rust tarafında yerel Redis topolojisi olarak sunulmaya başlandı.
MCP OAuth scope'larının admin API credential redaction sırasında korunması sağlandı.
OTel v2'de OCR sayfa Markdown çıktısı generation output'a eşlendi.
Yapılandırmada tanımlanan deployment'ların config okuması model_list döndürmediğinde korunması sağlandı.
Rust'a CyberArk Conjur secret manager backend'i eklendi.
Rust native sınırında Python ayar semantiğinin korunması sağlandı.
Tek flush penceresinde kuyruğa alınan her farklı uyarının iletilmesi düzeltildi.
Bedrock batch S3 kimlik bilgilerinin chat isteklerinden ve debug günlüklerinden uzak tutulması sağlandı.
SCIM veya /user/delete bir kullanıcıyı kaldırdığında önbellekteki kullanıcı satırının temizlenmesi sağlandı.
Takım üyeliği sorgusu veritabanı kesintisine uğradığında kimlik doğrulamanın güvenli şekilde başarısız olması sağlandı.
Rust'a Azure Key Vault secret manager backend'i eklendi.
Rust'a native Azure Blob response cache backend'i eklendi.
Backend'deki 169 dosyada 1.173 Any hatası giderildi.
Responses'ta MCP otomatik yürütme turları boyunca tek streaming lifecycle korunuyor.
Agentic follow-up sırasında request parametrelerinin iki kez geçirilmesi engellendi.
Streaming usage içinde sağlayıcının açıkça bildirdiği prompt_tokens=0 veya completion_tokens=0 değerleri korunuyor.
Mid-stream hata sonrasında fallback listesindeki tüm girdilerin denenmesi sağlandı.
MCP işlem bağlamı ve dispatch mekanizması ayrıştırıldı.
Guardrail write-back sırasında custom_tool_call_output yerinde güncelleniyor.
Rust'a native disk cache backend'i eklendi.
İhlal edilmiş parola algılama, self-service parola değiştirme ve zorunlu parola sıfırlama özellikleri eklendi.
Ürün deposundan sunulan hızlı başlangıç Docker Compose dosyası eklendi.
xAI için max_completion_tokens desteklenen parametre olarak kabul ediliyor.
Rust'a native GCS object-store cache backend'i eklendi.
Rust'a HashiCorp Vault secret manager crate'i eklendi.
DB'de saklanan callback redaction ayarlarının logger başlatılmadan önce uygulanması sağlandı.
MCP sunucu listelerinin yenilemeler arasında kararlı kalması sağlandı.
Rust'a native S3 cache backend'i eklendi.
Xiaomi MiMo v2.6 Pro ve v2.6 Flash için maliyet haritası girdileri ve E2E kapsamı eklendi.
Bedrock'a doğrudan moonshotai.kimi-k3 maliyet haritası girdisi eklendi.
Native Valkey semantic cache backend'i eklendi.
Logging worker flush işleminin event loop değişiminden etkilenmemesi sağlandı.
JWT team_allowed_routes yollarının auth=true passthrough izni vermesi sağlandı.
UI'a dahili kullanıcı tasarrufları ve auto-router kullanımı eklendi.
UI'da complexity router gelişmiş ayarlarının geri kalanı kullanıma sunuldu.
Proxy, alerting, UI ve router ayarlarının kaynağını okuma sırasında raporlayabiliyor.
Kapanış sırasında spend-log temizliği iptal edildiğinde aborted sonucu kaydediliyor.
Context-window escalation isteğe bağlı hâle getirildi.
Redis Semantic cache'leri Rust üzerinden native olarak sunuluyor.
CLI kurulumunda daha yeni yüklü durum satırlarının korunması sağlandı.
Agent'lara erişim grupları bağlanabiliyor ve bunlar modeller, MCP sunucuları ve agent çağrılarında uygulanıyor.
Anahtara bağlı guardrail'ların /v1/videos üzerinde çalışması sağlandı.
Azure'da asyncio.CancelledError'ın 500 hatasına dönüştürülmeden iletilmesi sağlandı.
QdrantSemanticCache Rust üzerinden native olarak sunuluyor.
UI'da Capability ve FUSE v2 routing tahminleri gösteriliyor.
Native Redis semantic binding ve Qdrant batch yazımlarının merge sonrasında korunması sağlandı.
Takım kullanım dışa aktarımına kullanıcı bazında döküm eklendi.
JWT key mapping'de düz metin anahtar yerine token_id kullanılabilmesi sağlandı.
Kullanımdan kaldırılmış stealth/union-alpha modeli OpenRouter maliyet haritasından çıkarıldı.
xAI grok-4.20 alias'ları ve görsel token fiyatları eklendi.
MCP SDK 2 yükseltmesinden sonra /v1/mcp/tools üzerinden camelCase tool anahtarlarının döndürülmesi düzeltildi.
Responses stream'lerinin terminal olaylarının iç response üzerinden fiyatlandırılması düzeltildi.
Bedrock Mantle rotasında tüm Mantle beta değerlerinin anthropic-beta header'ında gönderilmesi sağlandı.
Bedrock batch S3 isteklerinin s3_access_key_id ve s3_secret_access_key ile imzalanması sağlandı.
fal.ai için flux-lora-depth görsel düzenleme ve moondream3 chat completion desteği eklendi.
JSON hata gövdelerine isteğe bağlı litellm_call_id eklendi.
fal.ai standart dışı görsel boyutlarının en yakın fiyat satırına göre hesaplanması ve dump seçeneklerinin dikkate alınması sağlandı.
Model kaydında geri döndürülen cost-map metadata'nın proxy tarafından kaldırılması sağlandı.
OpenRouter için typesafe/jev-1.13 fiyatlandırması ve decisions passthrough eklendi.
Ücretlendirilebilir isteklerde 0 dolar maliyet için uyarı ve sayaç eklendi.
İstek sonunda kullanılmayan bütçe rezervasyonlarının serbest bırakılması sağlandı.
fal.ai için yalnızca kuyruk kullanan /fal_ai passthrough rotası ve harcama takibi eklendi.
JWT single-team fallback veya compact editor membership sorgusu veritabanı kesintisine uğradığında kimlik doğrulamanın güvenli şekilde başarısız olması sağlandı.
Agentic loop follow-up kwargs tek yerde oluşturularak executor'ların request parametrelerini tekrarlaması engellendi.
Databricks chat-only modellerinde client_metadata kaldırılıyor ve system mesajları birleştiriliyor.
Cache ve secret migration için Rust bridge altyapısı eklendi.
Kullanıcı okuması sırasında veritabanı kesintisi yaşandığında proxy 503 no_db_connection döndürüyor.
Bedrock Mantle deployment'larının temel model satırından fiyatlandırılması sağlandı.
Anthropic adaptöründe chat completions kullanan hedefler için reasoning_effort değerinin string olarak korunması sağlandı.
TinyFish Agent API passthrough ve adım başına faturalandırma eklendi.
Tokenizer'da Python varsayılanları korunurken isteğe bağlı Rust dispatch desteği eklendi.
Presidio ile streaming /v1/messages çıktısındaki kişisel verilerin maskelenmesi sağlandı.
OTel v2'de completions, images, speech, transcription ve moderation çıktıları Langfuse generation output'a eşlendi.
Tüm sağlayıcılarda chat completions için saniye bazlı özel fiyatlandırmanın dikkate alınması sağlandı.
Eşlenmemiş dahili hatalar için önceden doldurulmuş GitHub issue bağlantısı eklendi.
Bug report bağlantısına stream ve güvenli yapılandırma bayrakları eklendi.
Router'a conversation API'leri genelinde native compact-to-fit eklendi.
Yapılandırmada tanımlanan MCP sunucuları salt okunur hâle getirildi.