- Desteklenen İS
- Windows, macOS, Linux
LiteLLM, farklı yapay zekâ modeli sağlayıcılarını tek bir ortak API üzerinden kullanmaya yönelik açık kaynaklı AI Gateway ve Python SDK'dır.
OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, Vertex AI ve çok sayıda farklı LLM sağlayıcısını OpenAI uyumlu bir arayüz üzerinden kullanmayı sağlar.
LiteLLM Proxy kullanıldığında sanal API anahtarları, kullanıcı ve ekip bazlı harcama takibi, bütçe sınırları, guardrail kuralları, yük dengeleme, fallback, loglama ve merkezi model yönetimi gibi özellikler kullanılabilir.
Python SDK olarak doğrudan uygulamalara entegre edilebilir veya ekipler için merkezi bir AI Gateway sunucusu olarak çalıştırılabilir. Böylece uygulama kodunu büyük ölçüde değiştirmeden farklı model sağlayıcıları arasında geçiş yapılabilir.
OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, Vertex AI ve çok sayıda farklı LLM sağlayıcısını OpenAI uyumlu bir arayüz üzerinden kullanmayı sağlar.
LiteLLM Proxy kullanıldığında sanal API anahtarları, kullanıcı ve ekip bazlı harcama takibi, bütçe sınırları, guardrail kuralları, yük dengeleme, fallback, loglama ve merkezi model yönetimi gibi özellikler kullanılabilir.
Python SDK olarak doğrudan uygulamalara entegre edilebilir veya ekipler için merkezi bir AI Gateway sunucusu olarak çalıştırılabilir. Böylece uygulama kodunu büyük ölçüde değiştirmeden farklı model sağlayıcıları arasında geçiş yapılabilir.