Güvenlik​

  • LiteLLM Docker imajlarının tümü cosign ile imzalanır. Her sürüm, daha önce tanıtılan aynı imzalama anahtarıyla imzalanır.
  • Önerilen doğrulama yöntemi, sabitlenmiş commit hash'i kullanmaktır. Commit hash'i kriptografik olarak değiştirilemez olduğundan, özgün imzalama anahtarının kullanıldığını doğrulamanın en güçlü yoludur.
  • Kolaylık sağlamak için sürüm etiketi üzerinden de doğrulama yapılabilir. Depodaki etiketler korunur ve aynı anahtara yönlendirilir; ancak bu yöntem etiket koruma kurallarına dayanır.
  • İmza doğrulaması sırasında cosign taleplerinin doğrulandığı ve imzaların belirtilen açık anahtarla eşleştiği kontrol edilir.

Hata Düzeltmeleri​

  • Proxy ile ilgili düzeltmeler, 1.105.x kararlı dalına geri aktarıldı.

Yeni Özellikler​

  • MCP: Araç yüzeyleri arasında uyumluluğa duyarlı sonuç dönüştürme paylaşılır hale getirildi.
  • Model kataloğuna Rust registry doğrulaması eklendi.
  • Rust: Upstream response header'ları yerel Messages stream'ine aktarılıyor.
  • Testkit: Claude Code, Codex ve opencode için agent client'ları eklendi.
  • MCP: Protokol sürümleri ve capability discovery yapılandırılabilir hale getirildi.
  • Databricks Zerobus trace logging callback'i eklendi.
  • xAI için yerel batches ve files desteği eklendi.
  • Proxy: Takım üyesi bütçesinin yapılandırılan yüzdelerinde e-posta uyarıları gönderiliyor.
  • Rust: Config, router ve gateway crate'leri eklendi.
  • Proxy: Redis rate limit sayaçlarına erişilemediğinde istekleri 503 ile reddeden fail_closed_rate_limit_enforcement ayarı eklendi.
  • Guardrails: Alınan vector store parçaları, isteğin pre-call guardrail'leri ile taranıyor.
  • Proxy: maximum_daily_tag_spend_retention_period temizleme ayarı eklendi.
  • Sail, service_tier ayarı tamamlanma süresine eşlenecek şekilde provider olarak eklendi.
  • Router: Prompt-cache maliyetine göre yönlendirme için opt-in seçeneği eklendi.
  • OpenTelemetry v2 için SigNoz preset'i eklendi.
  • CLI: Kaydedilmiş agent kurulumu yeniden kullanılıyor ve yeniden yapılandırma (reconfigure) eklendi.
  • Rust: openai_like chat config temeli eklendi.
  • Rust: HTTP host driver eklendi.
  • Rust: HTTP Responses API desteklendi.
  • Rust: litellm-db ve litellm-db-testing workspace iskeleti eklendi.
  • Rust: Python inference binding'leri paylaşılan route'lara bağlandı.
  • Rust: Yapılandırılmış route yaşam döngüsü tracing'i eklendi.
  • Rust: Gateway kimlik doğrulama ve yetkilendirme birbirinden ayrıldı.
  • Rust: Virtual key depolama sözleşmeleri eklendi.
  • Rust: Gateway UI girişi ve oturumları eklendi.
  • Rust: MCP gateway eklendi.
  • Azure için Mistral OCR fiyatlandırması ve maksimum çıktı limitleri eklendi.
  • claude-sonnet-5-5 model fiyatlandırması eklendi.
  • Bedrock: xAI grok-4.7 fiyatlandırması eklendi; llama, mistral large 2407 ve minimax m2.5 fiyatları senkronize edildi.
  • Rust: Cache seçimi açık cache nesneleri üzerinden yapılıyor.
  • MCP: Upstream araç açıklamaları taranıyor ve sabitleniyor (pin).
  • Cost map: claude opus 5.5 ve sonnet 5.5 için bedrock_mantle satırları eklendi.
  • Fireworks AI: auto, auto-instant ve firerouter router'ları yönlendiriliyor ve listeleniyor.
  • Model leaderboard sayfası eklendi.
  • Cost map: Baseten DeepSeek-V4.1-Flash-Fast eklendi.
  • Guardrails: noma_v2 yapılandırılmış bir gateway_name değerini Noma'ya gönderiyor.
  • Cost map: OpenAI gpt-6.1-sol, Azure ve OpenRouter gpt-6.1-sol satırları eklendi.
  • Cost map: OpenAI gpt-6-astra ultrafast katman fiyatları eklendi.
  • Bedrock: openai gpt-6.1-sol global ve base satırları ile us geo cris ve Mantle satırları eklendi.
  • Agents: Kimlik depolama ve doğrulama sözleşmeleri eklendi.
  • Agents: Yetkili agent izinleri uygulanıyor.
  • Agents: Entra kimlikleri ve delegated istekler doğrulanıyor.
  • Agents: Kimlik kaydı ve dashboard kontrolleri eklendi.
  • UI: Logs sayfasında x-litellm-call-id arama, tablo ve çekmecede gösteriliyor.
  • Cost map: Vertex gemini-3.8 flash tts satırları eklendi.
  • UI: Agent traces sekmesi zaman çizelgesi ve OTel kurulum rehberi ile Logs'a eklendi.
  • OTel v2: Tenant hedeflerinde datastore span'leri için excluded_services opt-out seçeneği eklendi.
  • Rust: Traces için depolama temeli eklendi.
  • Tracing: OTLP ingestion güncel trace temeline taşındı.
  • Proxy: Gateway harcaması ile birleştirilen PR'ları karşılaştıran yerel ROI hesaplayıcısı eklendi.
  • UI: Yeni LiteLLM logosu ve monogramı benimsendi.
  • Tracing: Harcama ClickHouse'da otomatik olarak depolanıyor.
  • Lens: Agent etkinliği ayrı bir worker ile analiz ediliyor.
  • Proxy: Spend log'larında isteğin client tarafından iletilen bir Anthropic OAuth token'ı kullanıp kullanmadığı kaydediliyor.
  • Cortecs, OpenAI uyumlu provider olarak eklendi.
  • UI: Tag Management sayfasında etiketler ad ve açıklamaya göre filtrelenebiliyor.
  • Guardrails: Her HTTP guardrail'inde litellm_params.timeout değeri dikkate alınıyor.
  • Cost map: Fireworks inkling priority fiyatları eklendi.
  • Lens: Örneklenen trace'ler incelenebiliyor ve batch sonuçları saklanıyor.
  • Lens: Worker harcaması virtual key'ler üzerinden takip ediliyor.
  • UI: Agent traces, sohbet tarzı çalışma görünümü ile yan çekmecede açılıyor.
  • S3 v2: Saatlik S3 klasörleri için s3_partition_granularity seçeneği eklendi.
  • UI: Model leaderboard'da günlük token toplamları gösteriliyor.
  • Vertex AI: vertex_ai/xai/grok-4.7 fiyatlandırması eklendi.
  • UI: Cost Optimization menü öğesinden Beta rozeti kaldırıldı.
  • Tool policies: Bir aracı keşfeden anahtarın sahibi olan kullanıcı gösteriliyor.
  • Proxy: Gzip kabul eden client'lar için buffer'lanmış yanıtlar gzip ile sıkıştırılıyor.
  • Lens: Traces ve kurulum Lens'e taşındı.
  • UI: Tracing kurulumuna test trace'i, tracing key ve OTel endpoint'leri eklendi.
  • Proxy: İsteğe bağlı router'ları başlangıçta kaydetmek için LITELLM_DISABLE_LAZY_ROUTES eklendi.
  • Tüm kullanım varlıkları için sınırlı günlük etkinlik route'ları (aggregated, search, model_top_keys, export, cache_leakage_keys) eklendi.
  • UI: Kullanım sayfaları tüm anahtarları client tarafında saklamak yerine sınırlı günlük etkinlik route'larını kullanıyor.
  • Lens: Kurulum ve inceleme iş akışı basitleştirildi.
  • Rust: Paylaşılan migrate! makrosu ile migration klasörleri gömülüyor.
  • litellm.agent() eklendi; Claude Code, Codex, opencode ve deep agent'ları AI gateway üzerinden çalıştırıyor.
  • Tracing: Kapsamlı SQL sorguları ve şemaya duyarlı yardım eklendi.
  • MCP kataloğuna Microsoft 365 (Graph) sunucusu eklendi.
  • Decisions: /v1/systemone, OpenAI formatında /v1/decisions ve openai Decisions provider'ı rc/1.105.0'a taşındı.
  • Guardrails: Decision model guardrail'i rc/1.105.0'a taşındı.
  • UI: Decision auto-router kurulumu 1.105'e taşındı.

İyileştirmeler​

  • Rust: Framer trait'i tokio-util codec'leri ile değiştirildi.
  • Rust: Credential inheritance ve SDK limitleri bir driver preflight aşamasına taşındı.
  • HTTP: Sahipli bir Client verilecek şekilde düzenlendi ve tüm provider'lar pool üzerinden yönlendiriliyor.
  • Anthropic messages, experimental_pass_through altından çıkarıldı.
  • Rust: Gateway için çıkarım ve kimlik doğrulama temelleri hazırlandı.
  • Rust: Gateway ve Anthropic messages genelinde loglama ve test kapsamı genişletildi.
  • Anthropic: experimental_pass_through, pass_through olarak yeniden adlandırıldı.
  • MCP: Callers'ı değiştirmeden paylaşılan sunucu çözümleyici eklendi.
  • CI: Sınırsız SQL IN listeleri için yeni kontrol ve Prisma chunking yardımcısı eklendi.
  • Rust: Anthropic türleri, istek yardımcıları ve streaming sözleşmeleri crate'ler arasında paylaşılıyor.
  • Rust: Gateway yapılandırma ayrıştırması genişletildi.
  • Rust: Çağrı yaşam döngüsü route'a ait çıkarımlar arasında paylaşılıyor.
  • Rust: Gateway çıkarımında paylaşılan yürütme kullanılıyor.
  • Rust: Gateway container'ı paketlendi.
  • Rust: Delivery routing soyutlaması kaldırıldı.
  • Rust: Paylaşılan llms wire type derive'ları eklendi.
  • Rust: Messages route yürütmesi orkestre ediliyor.
  • Rust: Python bridge yürütme sarmalayıcıları merkezileştirildi.
  • Rust: Host yürütmesi merkezileştirildi ve callback'ler birleştirildi.
  • MCP: Hub yayın predicate'i birleştirildi.
  • Proxy: Takım erişim kontrollerinin tamamı TeamAccess.allows ile yanıtlanıyor.
  • Daily activity repository'si merkezi sınırlı kullanım sorgularıyla yeniden düzenlendi.
  • Tracing: Agent span'leri Rust'ta normalize ediliyor.
  • Tracing receiver ve erişim bağlamı enjekte ediliyor.
  • Tracing: ClickHouse TTL bilgisi yalnızca retention değişikliklerinde yeniden hesaplanıyor.
  • Router: Cooldown durumu ve kullanım sayaçları tek bir Redis gidiş-dönüşünde alınıyor.
  • Proxy: Kabul ve çağrı sonrası muhasebe boyunca tek bir spend counter batch'i tutuluyor.
  • Responses: aresponses, cache'in bir kez okunması için async wrapper üzerinden çalıştırılıyor.
  • Proxy: Auth, spend, rate limit ve routing okumaları için istek kapsamlı tek bir Redis pipeline kullanılıyor.
  • Proxy: Çağrı sonrası spend, rate limit, routing ve response-cache yazmaları için backend başına tek bir Redis pipeline kullanılıyor.
  • Proxy: Auth yönetim nesneleri istek Redis pipeline'ı üzerinden yenileniyor.
  • Router: Routing prefetch'inde cooldown okuma aralığı dikkate alınıyor.
  • Router: İstek başına routing okumaları, public method kwargs yerine context variable'lar üzerinden taşınıyor.
  • UI: Para ve sayı sütunları tablolarda sağa hizalandı.
  • Proxy: Response-cache SET işlemi, çağrı sonrası batch yerine hemen Redis'e yazılıyor.
  • Cost map: Çeşitli provider'lar için fiyat, limit, kullanımdan kaldırma (deprecation) ve emeklilik tarihleri resmî kaynaklarla senkronize edildi ve düzeltildi.
  • UI: Tüm Modeller sekmesi Deployed Models, model filtreleri ise All Proxy Models olarak yeniden adlandırıldı.
  • UI: Yan çubuk logosu küçültüldü.
  • Bağımlılıklar: pgbouncer 1.26.0'a yükseltildi.

Güvenlik​

  • SSO: /sso/debug route'ları ENABLE_SSO_DEBUG ayarının arkasına alındı ve varsayılan olarak kapalı.
  • Sentry: Nesne repr'leri ve iç içe yerel değişkenler içindeki PII ve gizli bilgiler temizleniyor; SENTRY_SEND_DEFAULT_PII opt-in seçeneği eklendi.
  • Loglama: Proxy yapılandırmasında turn_off_message_logging ayarlandığında raw_request içeriği gizleniyor.
  • Proxy: Gönderilen gövde 422 doğrulama hatalarının dışında tutuluyor.
  • Guardrails: Özel kod http_request içinde özel hedeflere erişim engellendi ve guardrail yürütme süresi sınırlandırıldı.
  • Proxy: Takım callback kimlik bilgileri saklanan istek gövdesinin dışında tutuluyor.
  • Proxy: Websocket passthrough'dan çağıran kimlik bilgileri çıkarılıyor.
  • Responses: Üst düzey instructions alanı guardrail'ler tarafından taranıyor ve maskeleniyor.
  • Proxy: İstek gövdesindeki kimlik bilgileri saklanan spend log isteklerinin dışında tutuluyor.
  • Auth: UI/CLI oturum token'ları kendi AES-GCM bağlamına ve header-safe biçime kavuştu.
  • Bağımlılıklar: pyjwt, moment ve brace-expansion osv-scan'i geçecek şekilde yükseltildi.
  • Bağımlılıklar: gitpython ve tornado yükseltildi.
  • Bağımlılıklar: pypdf 6.16.2'den 6.19.0'a yükseltildi.
  • Bağımlılıklar: oauthlib osv-scan'i geçecek şekilde 4.0.0'a yükseltildi.
  • Proxy: Key/team vector_stores allowlist'i /v1/rag/query üzerinde uygulanıyor.
  • Guardrails: Azure Prompt Shield ve Azure Text Moderation, Responses API girdisini tarıyor.

Hata Düzeltmeleri​

  • Caching: Auth önbellek geçersizleştirmesi, node düzeyinde bir pub/sub client'ı ile Redis Cluster üzerinden yayılıyor.
  • Proxy: SpendLogToolIndex temizleme bütçesinden kendi payını alıyor ve çalışma başına özet logluyor.
  • Anthropic: Responses bridge stream hataları Anthropic hata olayları olarak sunuluyor.
  • Proxy: Stream edilen /v1/responses container sahipliği, response.completed frame'inden önce kaydediliyor.
  • Router: Provider bütçesi harcaması tüm API yüzeylerinde sayılıyor.
  • Responses: Çıktı öncesi stream kopmalarında fallback uygulanıyor, kesilen stream'ler başarısız sayılıyor ve request_timeout dikkate alınıyor.
  • Bedrock: Hiç olay içermeyen converse-stream 200 yanıtı artık boş bir tur yerine 502 olarak bildiriliyor.
  • JWT: Token ayrıca bir team claim'i taşıdığında x-litellm-team-id, DB üyelik takımlarını seçebiliyor.
  • Vertex AI: Credential çözümlemesinde eski bucket_name korunuyor ve GCS_BATCH_BUCKET_NAME ortam değişkeni eklendi.
  • Proxy: /v1/messages stream'i başarısız olduğunda gerçek bir hata olayı gönderiliyor.
  • Router: Classifier kararı, çevresindeki metinden ayrıştırılıyor; varsayılan katmana düşülmüyor.
  • Cost map: fireworks_ai deepseek-v4p1-flash fiyatlandırması düzeltildi.
  • Router: Responses yaşam döngüsü olayları çıktıya kadar tutuluyor; böylece çıktı öncesi fallback tek bir yanıt duyuruyor.
  • Callbacks (legacy Python): Tutulan header sözlüğü dolaşılıp serbest bırakılıyor.
  • OTel: Yanıt sonrası servis span'leri istek aşamasına göre ayrılıyor ve Redis span'leri işleme göre adlandırılıyor.
  • Responses: Stream guardrail pre-call engeli, türlendirilmiş bir çıktı öğesiyle SSE olarak gönderiliyor.
  • Streaming: litellm Usage, text-completion usage chunk'larında korunuyor.
  • Vertex AI: Context caching minimum token doğrulamasında araçlar da dikkate alınıyor.
  • Anthropic: Yalnızca imzası eksik olanlar değil, boş thinking metni içeren thinking blokları da çıkarılıyor.
  • Tools: Birleştirilmiş JSON araç çağrısı argümanları kurtarılıyor.
  • Gemini: seed değeri reddedilmek yerine Gemini API'ye iletiliyor.
  • Vertex AI: Gemma sahte stream'leri izlenen Responses ile çalışıyor.
  • Responses: Yalnızca imza içeren thinking için streaming /v1/responses'ta reasoning öğesi gönderiliyor.
  • Anthropic: per-turn-control beta'sı Azure AI Foundry'ye iletiliyor.
  • Bedrock: İşlenemeyen görsel hatalarında provider durum kodu korunuyor.
  • Vertex AI: Partner model completion sırasında vertexai SDK içe aktarılmıyor.
  • Token sayacı: Gemini function_declarations araçları sayılıyor.
  • Router: Sabitlenmiş deployment'ın çözemediği şifreli reasoning çıkarılıyor.
  • Proxy: Süresi dolmuş anahtar kimlik doğrulama hatalarında anahtar sahibi kimliği loglanıyor.
  • Guardrails: Agent 365 üretim endpoint'ine sabitlendi ve opt-in fail_open durumu error seviyesinde loglanıyor.
  • Proxy: Saklanan yapılandırmadan kaldırılan logging callback'lerinin kaydı siliniyor.
  • Provider: unified_access_group oluşturmada 2xx durum kodları kabul ediliyor.
  • panw_prisma_airs: experimental_use_latest_role_message_only ayarı her istek biçiminde dikkate alınıyor.
  • Guardrails: Presidio çıktı seçimi ve geri yükleme korunuyor.
  • Google GenAI: Completion adapter'ında proxy_server_request korunuyor.
  • OTel: Cache ve reasoning token'ları langfuse usage_details içinde gönderiliyor.
  • Vertex AI: İleti başına output_config için per-turn-control beta'sı iletiliyor.
  • Cost map: Nebius DeepSeek-V4.1-Flash için araç çağırma ve reasoning bayrakları eklendi, maksimum çıktı düzeltildi.
  • Proxy: model_group_alias, sıfır maliyetli bütçe predicate'inde çözümleniyor.
  • Router: Claude Code arka plan oturumları kendi auto-router'larına bağlanıyor.
  • Proxy: Kullanım atfı için oturum anahtarı sahipleri günlük harcamadan kurtarılıyor.
  • MCP: OpenAPI listeleri tam sunucu önekine göre kapsamlanıyor ve sunucu kaydedildiğinde upstream OAuth metadata'sı bırakılıyor.
  • Bedrock: gpt-6.1-sol maksimum çıktı token'ı 131072 olarak ayarlandı.
  • Auth: UI/CLI oturum token'ları için header-safe yapı sağlandı.
  • UI: Anahtar, takım ve MCP sunucusu kayıtlarından sonra MCP izinleri görünür kalıyor.
  • Params: Dahili parametre doğru şekilde sınıflandırılarak isteğe sızması önlendi.
  • Bedrock: Mesajdaki output config için beta header'ı eklendi.
  • Cost calculator: Ultrafast prompt'lar 272k üzerinde ultrafast uzun bağlam oranlarıyla faturalanıyor.
  • Proxy: Tamamlanan batch maliyet satırları günlük etkinlikte /batches'e atfediliyor.
  • Cost calculator: optional_params artık response hidden params içine kopyalanmıyor.
  • UI: Erişim grubu MCP ve agent seçimleri sarmalanan chip'ler olarak gösteriliyor.
  • Bedrock: Uygun beta header'ları korunuyor.
  • hosted_vllm: Yeniden oynatılan assistant mesajlarında reasoning_content korunuyor.
  • Proxy: Büyük takımlar üye başına transaction yayılımı olmadan siliniyor.
  • Paketleme: Wheel yolları Store Python için Windows MAX_PATH altında tutuluyor.
  • Router: Servis katmanları, özel fiyatlı deployment'lar için katalog oranlarıyla faturalanıyor.
  • Anthropic: dangerous-tool-use beta'sı Azure AI Foundry'ye iletiliyor.
  • Proxy: Azure passthrough gövde model grupları router üzerinden aktarılıyor.
  • Proxy: OTel v2 altında UI'dan yapılandırılan arize callback'i otel ile birlikte kaydediliyor.
  • Transkripsiyon: Groq Whisper için base_url takma adı dikkate alınıyor ve api base olarak raporlanıyor.
  • Wandb: GLM-5.3-Flash için supports_vision true yapıldı.
  • Grayswan: İstek konuşması ve araç çağrıları post-call monitor'a gönderiliyor.
  • Azure Storage: Data Lake nesneleri base64 dolgusu veya eğik çizgi olmadan adlandırılıyor.
  • Guardrails: Bilinmeyen straiker api_version değeri guardrail'i atlamak yerine ayarsız sayılıyor.
  • Azure Storage: DataLakeServiceClient, TTL süresi dolana kadar canlı tutuluyor.
  • Proxy: Pass-through endpoint'lerinde config'in önceliği öncesi davranış geri yüklendi.
  • Streaming: Sunulan service_tier, stream edilen chunk'larda ve spend satırlarında korunuyor.
  • Router: silent_model, embedding provider isteklerinin dışında tutuluyor.
  • Proxy-extras: SpendLogs indeksleri migration'larda değil migration job'ında oluşturuluyor.
  • MCP: Takım tarafından verilen toolset'ler admin olmayan anahtarlar ve dashboard oturumları için çözümleniyor.
  • Bedrock: Content anahtarı olmayan Converse mesajları kabul ediliyor.
  • Proxy: SSO görünen adı girişte user_alias olarak saklanıyor.
  • Proxy-extras: Bölümlenmiş SpendLogs indeks oluşturmanın kilit bekleme süreleri sınırlandı.
  • Providers: Thinking display güncellemeleri beta olarak tutuluyor.
  • Bedrock: Konuşma ortasında araç değişiklikleri için beta eklendi.
  • Daily activity: Varlık kimlikleri hariç tutulurken NULL varlık kimlikleri korunuyor.
  • Proxy: Kanonik olmayan günlük etkinlik tarihleri reddediliyor.
  • Proxy: Veritabanı kurulumu başarısız olduğunda açılışta her zaman çıkılıyor.
  • Guardrails: Straiker v3, sk_agt_ anahtarlarını v3'e yönlendiriyor ve eksik karar durumunda kapalı kalıyor (fail closed).
  • Azure Storage: Client çağrı kimlikleri tek bir Data Lake dosyasını paylaşmıyor.
  • Guardrails: Azure guardrail get_user_prompt dispatch'i ve loglamaya izin verme geri yüklendi.
  • Proxy: Araç yükleri ve logprobs saklanan spend log'larda maskelenmeden tutuluyor.
  • Proxy-extras: Başka bir peer, adı geçen migration satırını zaten kurtardığında P3009 yeniden deneniyor.
  • Bedrock: Backport düzeltmeleri rc/1.105.0'a eklendi.
  • OTel: dict olmayan callback_settings.otel değerleri tolere ediliyor ve çıplak EXCLUDED_SERVICES ortam değişkeni yok sayılıyor.
  • UI: Ayarlanmamış callback select parametreleri kaydetme yükünün dışında bırakılıyor.
  • UI: Yan çubuk logosu sayfa başlıklarından daha baskın olmayacak şekilde küçültüldü.
  • Proxy-extras: Migration sorunları için backport düzeltmeleri rc/1.105.0'a eklendi.
  • UI: Kayıtlı yapılandırmadan geri alınan Team Usage dışa aktarımı ve Team usage görünümü değişiklikleri geri alındı.

Yeni Özellikler​

  • v1.104.2 sürümü için /v1/systemone, OpenAI biçimindeki /v1/decisions ve OpenAI Decisions sağlayıcısı kararlı 1.104.x dalına geri aktarıldı.

Docker İmajı İmza Doğrulaması​

  • Tüm LiteLLM Docker imajları cosign ile imzalanır.
  • Her sürüm, aynı imzalama anahtarı kullanılarak imzalanır.
  • Önerilen yöntem olan sabitlenmiş commit hash'iyle doğrulama, orijinal imzalama anahtarının kullanıldığını en güçlü şekilde doğrulamanızı sağlar.
  • Sürüm etiketiyle doğrulama da kullanılabilir. Depodaki etiketler korunur ve aynı anahtara karşılık gelir; ancak bu yöntem etiket koruma kurallarına dayanır.
  • Doğrulama sırasında cosign talepleri doğrulanır ve imzalar belirtilen açık anahtara göre kontrol edilir.

Güvenlik​

  • Tüm LiteLLM Docker imajları cosign ile imzalanıyor.
  • İmzaların doğrulanması sırasında cosign talepleri doğrulanıyor.
  • İmzalar belirtilen genel anahtara karşı doğrulanıyor.

Değişiklikler​

  • Kararlı 1.104.x dalındaki bağımlılıklar yenilendi.
  • pgbouncer 1.26.0 sürümüne yükseltildi.

Docker İmajı İmzasını Doğrulama​

  • Tüm LiteLLM Docker imajları cosign ile imzalanıyor. Her sürüm aynı imzalama anahtarını kullanıyor.
  • Sabitlenmiş commit hash'i kullanarak doğrulama, commit hash'inin kriptografik olarak değiştirilemez olması nedeniyle orijinal imzalama anahtarının kullanıldığını doğrulamanın en güçlü yöntemidir.
  • Sürüm etiketi kullanılarak da doğrulama yapılabilir. Etiketler depoda korunur ve aynı anahtara çözümlenir. Bu yöntem daha okunaklıdır ancak etiket koruma kurallarına dayanır.
  • Doğrulama sırasında cosign claim'leri doğrulanır.
  • İmzalar belirtilen açık anahtara karşı doğrulanır.

Değişiklikler​

  • osv-scan'de GHSA-h7x2-h6g9-p789 yeniden bastırıldı; MLflow için hâlâ düzeltilmiş bir sürüm bulunmuyor.
  • Parola politikasına ihlal edilmiş parola algılama özelliği eklendi.
  • Kullanıcıların kendi parolalarını değiştirebilmesi sağlandı ve düz metin parola sızıntıları giderildi.
  • İhlal edilmiş veya yönetici tarafından belirlenmiş parolalar için zorunlu parola sıfırlama eklendi.
  • /model/info listelemesi orjson ile tek seferde serileştirilerek proxy performansı iyileştirildi.
  • wrapper_async'in senkron başarı işleyicisini iki kez göndermesi engellendi.
  • Yerel Responses ve Messages maliyet durumları için entegrasyon testleri eklendi.
  • Redis tamponundaki yeniden gönderilemeyen harcama gruplarının tekrar gönderilmesi engellendi.
  • Arka plan response maliyeti sorgulamalarındaki 404 yanıtları için cooldown atlanıyor.
  • Batch alınırken model_group bilgisi eklenerek batch tokenlarının ilişkilendirilebilmesi sağlandı.
  • MCP'de kapsamlı yürütme ve kimlik bilgisi izolasyonu regresyonları giderildi.
  • Proxy'nin ayarlanmamış, boş veya herkese açık olarak bilinen bir master key ile başlatılması engellendi.
  • Dağıtılan yapılandırma ve örneklerde sk-1234 değerinin master key olarak gösterilmesi kaldırıldı.
  • Autorouter tahmin anahtarları GCS pub/sub harcama günlüğü testlerine eklendi.
  • 404 yeniden denemelerinin retry policy ile sabitlenebilmesi için NotFoundErrorRetries eklendi.
  • OpenRouter fiyatları iki model için eşitlendi.
  • Google GenAI generateContent adaptörü üzerinden response schema ve araç parametrelerinin iletilmesi düzeltildi.
  • MCP OAuth başarılı akış kapsamı geri getirildi.
  • tools/list sunmamış bir worker üzerinde tools/call çağrısının 404 dönmesi düzeltildi.
  • OpenRouter fiyatları yedi model için eşitlendi ve altı model kullanımdan kaldırıldı.
  • Proxy başlangıcında view'lar oluşturulmadan önce spend-log tablosunun beklenmesi sağlandı.
  • n>1 stream'lerde her choice için tool-call argümanlarının ayrı taranması ve yeniden yazmanın neden reddedildiğinin kaydedilmesi sağlandı.
  • OpenRouter fiyatları güncellendi.
  • SDK, proxy CLI ve yapılandırmalardaki kullanılmayan telemetri bayrağı kaldırıldı.
  • Unit, integration ve E2E test katmanlarının sözleşmesi tanımlandı.
  • Proxy'de v2 migration başlangıcı koordine edildi ve container recovery davranışı iyileştirildi.
  • Unit testler CircleCI'a bağlandı.
  • Unit testlerde harici soketler import sırasında engellendi ve regresyon testi eklendi.
  • Kullanımdan kaldırılmış test kalite kuralları bütçe denetiminden çıkarıldı.
  • Eski unit ve LLM sağlayıcı testlerinin çeşitli grupları tests/unit yapısına taşındı.
  • 30 dosyadaki Any türleri doğrulanmış türlerle değiştirildi.
  • tests/unit altındaki tüm dizinler paket hâline getirilerek pytest collection benzersizliği sağlandı.
  • Sanal anahtar bütçelerinin JEV test yönlendirmesinde uygulanması sağlandı.
  • fal.ai için kuyruk API'si üzerinden Seedance 2.5 ve 2.0 video üretimi eklendi.
  • OpenRouter fiyatları 11 model için eşitlendi.
  • Devre dışı bırakılmış JWT kullanıcılarının reddedilmesi ve önbelleğe alınmış durumun yenilenmesi sağlandı.
  • MCP'de eksik public client bağımlılıklarının açıklanması iyileştirildi.
  • Rust token counter backend'leri ayrıldı.
  • Rust tarafına typed secret manager'lar ve ortak auth adaptörleri eklendi.
  • Responses üzerinden safety_identifier değerinin chat completion bridge aracılığıyla iletilmesi düzeltildi.
  • 32 dosyadaki Any türleri doğrulanmış türlerle değiştirildi.
  • HPA devre dışıyken component tabanlı dağıtımlarda sabit replicaCount oluşturulması düzeltildi.
  • BudgetExceededError için 429 yerine 422 döndürülmesi sağlandı.
  • Bedrock AgentCore streaming isteklerinde message/stream gönderimi düzeltildi.
  • MAI-Image-2.5-Pro fiyatlandırması eklendi; Fireworks ve Together girdileri düzeltildi, doğrulanmış açık registry değişiklikleri alındı, Groq kullanımdan kaldırma bilgileri ve Bedrock bölgesel Qwen3 Next fiyatlandırması eklendi.
  • Anthropic native /v1/messages üzerinde safeguards ve anthropic-beta değerlerinin değiştirilmeden iletilmesi sağlandı.
  • Azure ve AWS Bedrock fiyat bilgileri güncellendi.
  • Proxy varsayılan olarak v2 migration resolver kullanacak şekilde değiştirildi.
  • Auto-router heuristic v2 başarı eşiği yapılandırılabilir hâle getirildi.
  • Together AI ve OpenRouter fiyat bilgileri güncellendi.
  • UI oturumundaki kişisel anahtarların üst sınırı olarak kullanıcının kendi bütçesinin kullanılması sağlandı.
  • Takım üyelerinin varsayılan takım bütçesini takip edip etmediği gösteriliyor ve bu bütçeye sıfırlama yapılabiliyor.
  • Kayıtlı olmayan modellerin maliyet haritası bilgilerini sorgulamak için GET /utils/model_info eklendi.
  • xAI grok-4.7 maliyet haritasına eklendi.
  • fal.ai için gpt-image-2.5 flare/sunburst, flux/dev ve görsel düzenleme desteği eklendi.
  • Bedrock'a us.moonshotai.kimi-k3 fiyatlandırması eklendi ve global Kimi K3 girdisi tamamlandı.
  • Auto-router'a LLM sınıflandırıcısının yanında JEV sınıflandırıcısı eklendi.
  • Yeniden kuyruğa alınan harcama günlüklarının veritabanı kesintisi sırasında pod yeniden başlasa bile korunması için Redis'te tutulması sağlandı.
  • Bedrock Claude platform Messages yolunda anthropic-beta header'larının olduğu gibi iletilmesi sağlandı.
  • Azure AI'da gpt-5.4+ function tool'larının reasoning ile Foundry Responses API'ye aktarılması düzeltildi.
  • Yapılandırılmış cache_control_injection_points değerlerinin istemci cache_control işaretlerinin yanında uygulanması sağlandı.
  • Token counter'da yeniden oynatılan redacted_thinking blokları sayılarak prompt caching davranışının korunması sağlandı.
  • MCP prompt ve resource keşfine sayfalama eklendi.
  • Prompt caching breakpoint'i taşındığında affinity'nin korunması sağlandı.
  • UI'da prompt caching istekleri ve net tasarruf gösterilmeye başlandı.
  • Bedrock Mantle üzerinden Claude modelleri için native Anthropic Messages API ile /v1/messages desteği eklendi.
  • Policy engine'e varsayılan fallback policy attachment'ları eklendi.
  • MCP'de bölünmüş UTF-8 routing preview'larının işlenmesi düzeltildi.
  • Bedrock batch giriş ve çıkış veri yapılandırmalarında s3BucketOwner gönderimi eklendi.
  • Rust tarafında Python eşdeğerliği için cache altyapısı oluşturuldu.
  • fal.ai görsellerinin fiyatlandırılması döndürülen boyutlara göre yapılacak şekilde düzeltildi.
  • fal.ai için MiniMax H3 metinden videoya ve referanstan videoya desteği eklendi.
  • Çin ana karasındaki marka adı Qianwen AI Platform olarak değiştirildi.
  • Maliyet altyapısına endpoint, breakdown component, failure, embedding, rerank, completion, moderation, audio, image ve birim bazlı maliyet senaryoları eklendi.
  • UI'a en son sürüm değişiklik istatistiklerini gösteren yükseltme banner'ı eklendi.
  • fal.ai video durumunda hataların tamamlandı veya genel 500 olarak gösterilmesi yerine gerçek hataların iletilmesi sağlandı.
  • Proxy model düzenleyicisinde None seçildiğinde saklanan kimlik bilgisinin bağlantısı kaldırılıyor.
  • İstek sürerken bütçe rezervasyon sayacının TTL süresi yenileniyor.
  • Claude Code safeguards ve dangerous-tool-use beta değerlerinin Bedrock Invoke ve Vertex'e iletilmesi sağlandı.
  • Eden AI sağlayıcısı chat, Responses, Messages, embeddings, audio, images ve video için eklendi.
  • RedisClusterCache, Rust tarafında yerel Redis topolojisi olarak sunulmaya başlandı.
  • MCP OAuth scope'larının admin API credential redaction sırasında korunması sağlandı.
  • OTel v2'de OCR sayfa Markdown çıktısı generation output'a eşlendi.
  • Yapılandırmada tanımlanan deployment'ların config okuması model_list döndürmediğinde korunması sağlandı.
  • Rust'a CyberArk Conjur secret manager backend'i eklendi.
  • Rust native sınırında Python ayar semantiğinin korunması sağlandı.
  • Tek flush penceresinde kuyruğa alınan her farklı uyarının iletilmesi düzeltildi.
  • Bedrock batch S3 kimlik bilgilerinin chat isteklerinden ve debug günlüklerinden uzak tutulması sağlandı.
  • SCIM veya /user/delete bir kullanıcıyı kaldırdığında önbellekteki kullanıcı satırının temizlenmesi sağlandı.
  • Takım üyeliği sorgusu veritabanı kesintisine uğradığında kimlik doğrulamanın güvenli şekilde başarısız olması sağlandı.
  • Rust'a Azure Key Vault secret manager backend'i eklendi.
  • Rust'a native Azure Blob response cache backend'i eklendi.
  • Backend'deki 169 dosyada 1.173 Any hatası giderildi.
  • Responses'ta MCP otomatik yürütme turları boyunca tek streaming lifecycle korunuyor.
  • Agentic follow-up sırasında request parametrelerinin iki kez geçirilmesi engellendi.
  • Streaming usage içinde sağlayıcının açıkça bildirdiği prompt_tokens=0 veya completion_tokens=0 değerleri korunuyor.
  • Mid-stream hata sonrasında fallback listesindeki tüm girdilerin denenmesi sağlandı.
  • MCP işlem bağlamı ve dispatch mekanizması ayrıştırıldı.
  • Guardrail write-back sırasında custom_tool_call_output yerinde güncelleniyor.
  • Rust'a native disk cache backend'i eklendi.
  • İhlal edilmiş parola algılama, self-service parola değiştirme ve zorunlu parola sıfırlama özellikleri eklendi.
  • Ürün deposundan sunulan hızlı başlangıç Docker Compose dosyası eklendi.
  • xAI için max_completion_tokens desteklenen parametre olarak kabul ediliyor.
  • Rust'a native GCS object-store cache backend'i eklendi.
  • Rust'a HashiCorp Vault secret manager crate'i eklendi.
  • DB'de saklanan callback redaction ayarlarının logger başlatılmadan önce uygulanması sağlandı.
  • MCP sunucu listelerinin yenilemeler arasında kararlı kalması sağlandı.
  • Rust'a native S3 cache backend'i eklendi.
  • Xiaomi MiMo v2.6 Pro ve v2.6 Flash için maliyet haritası girdileri ve E2E kapsamı eklendi.
  • Bedrock'a doğrudan moonshotai.kimi-k3 maliyet haritası girdisi eklendi.
  • Native Valkey semantic cache backend'i eklendi.
  • Logging worker flush işleminin event loop değişiminden etkilenmemesi sağlandı.
  • JWT team_allowed_routes yollarının auth=true passthrough izni vermesi sağlandı.
  • UI'a dahili kullanıcı tasarrufları ve auto-router kullanımı eklendi.
  • UI'da complexity router gelişmiş ayarlarının geri kalanı kullanıma sunuldu.
  • Proxy, alerting, UI ve router ayarlarının kaynağını okuma sırasında raporlayabiliyor.
  • Kapanış sırasında spend-log temizliği iptal edildiğinde aborted sonucu kaydediliyor.
  • Context-window escalation isteğe bağlı hâle getirildi.
  • Redis Semantic cache'leri Rust üzerinden native olarak sunuluyor.
  • CLI kurulumunda daha yeni yüklü durum satırlarının korunması sağlandı.
  • Agent'lara erişim grupları bağlanabiliyor ve bunlar modeller, MCP sunucuları ve agent çağrılarında uygulanıyor.
  • Anahtara bağlı guardrail'ların /v1/videos üzerinde çalışması sağlandı.
  • Azure'da asyncio.CancelledError'ın 500 hatasına dönüştürülmeden iletilmesi sağlandı.
  • QdrantSemanticCache Rust üzerinden native olarak sunuluyor.
  • UI'da Capability ve FUSE v2 routing tahminleri gösteriliyor.
  • Native Redis semantic binding ve Qdrant batch yazımlarının merge sonrasında korunması sağlandı.
  • Takım kullanım dışa aktarımına kullanıcı bazında döküm eklendi.
  • JWT key mapping'de düz metin anahtar yerine token_id kullanılabilmesi sağlandı.
  • Kullanımdan kaldırılmış stealth/union-alpha modeli OpenRouter maliyet haritasından çıkarıldı.
  • xAI grok-4.20 alias'ları ve görsel token fiyatları eklendi.
  • MCP SDK 2 yükseltmesinden sonra /v1/mcp/tools üzerinden camelCase tool anahtarlarının döndürülmesi düzeltildi.
  • Responses stream'lerinin terminal olaylarının iç response üzerinden fiyatlandırılması düzeltildi.
  • Bedrock Mantle rotasında tüm Mantle beta değerlerinin anthropic-beta header'ında gönderilmesi sağlandı.
  • Bedrock batch S3 isteklerinin s3_access_key_id ve s3_secret_access_key ile imzalanması sağlandı.
  • fal.ai için flux-lora-depth görsel düzenleme ve moondream3 chat completion desteği eklendi.
  • JSON hata gövdelerine isteğe bağlı litellm_call_id eklendi.
  • fal.ai standart dışı görsel boyutlarının en yakın fiyat satırına göre hesaplanması ve dump seçeneklerinin dikkate alınması sağlandı.
  • Model kaydında geri döndürülen cost-map metadata'nın proxy tarafından kaldırılması sağlandı.
  • OpenRouter için typesafe/jev-1.13 fiyatlandırması ve decisions passthrough eklendi.
  • Ücretlendirilebilir isteklerde 0 dolar maliyet için uyarı ve sayaç eklendi.
  • İstek sonunda kullanılmayan bütçe rezervasyonlarının serbest bırakılması sağlandı.
  • fal.ai için yalnızca kuyruk kullanan /fal_ai passthrough rotası ve harcama takibi eklendi.
  • JWT single-team fallback veya compact editor membership sorgusu veritabanı kesintisine uğradığında kimlik doğrulamanın güvenli şekilde başarısız olması sağlandı.
  • Agentic loop follow-up kwargs tek yerde oluşturularak executor'ların request parametrelerini tekrarlaması engellendi.
  • Databricks chat-only modellerinde client_metadata kaldırılıyor ve system mesajları birleştiriliyor.
  • Cache ve secret migration için Rust bridge altyapısı eklendi.
  • Kullanıcı okuması sırasında veritabanı kesintisi yaşandığında proxy 503 no_db_connection döndürüyor.
  • Bedrock Mantle deployment'larının temel model satırından fiyatlandırılması sağlandı.
  • Anthropic adaptöründe chat completions kullanan hedefler için reasoning_effort değerinin string olarak korunması sağlandı.
  • TinyFish Agent API passthrough ve adım başına faturalandırma eklendi.
  • Tokenizer'da Python varsayılanları korunurken isteğe bağlı Rust dispatch desteği eklendi.
  • Presidio ile streaming /v1/messages çıktısındaki kişisel verilerin maskelenmesi sağlandı.
  • OTel v2'de completions, images, speech, transcription ve moderation çıktıları Langfuse generation output'a eşlendi.
  • Tüm sağlayıcılarda chat completions için saniye bazlı özel fiyatlandırmanın dikkate alınması sağlandı.
  • Eşlenmemiş dahili hatalar için önceden doldurulmuş GitHub issue bağlantısı eklendi.
  • Bug report bağlantısına stream ve güvenli yapılandırma bayrakları eklendi.
  • Router'a conversation API'leri genelinde native compact-to-fit eklendi.
  • Yapılandırmada tanımlanan MCP sunucuları salt okunur hâle getirildi.