NVIDIA, yerel ağdaki birden fazla bilgisayarı tek bir yapay zeka altyapısı gibi kullanmayı hedefleyen yeni yazılımını duyurdu. Personal AI Router ya da kısa adıyla PAIR, açık kaynak kodlu bir araç olarak farklı sistemleri aynı ağ üzerinde bir araya getiriyor ve yapay zeka çıkarım isteklerini uygun cihaza yönlendiriyor.
Şirketin paylaştığı bilgilere göre PAIR, aynı ağdaki uyumlu bilgisayarları keşfediyor, bu cihazlardaki çıkarım motorlarını yönetiyor ve uygulamalar için Ollama uyumlu ya da OpenAI uyumlu uç noktalar sunuyor. Böylece sohbet botları, AI agent’lar ve benzer büyük dil modeli uygulamaları, her isteği tek bir bilgisayara yüklemek yerine ağdaki uygun sisteme dağıtabiliyor.
Buradaki önemli nokta şu: PAIR, birden fazla GPU’yu tek ve daha büyük bir ekran kartı gibi birleştirmiyor. Yani GPU belleğini ortak havuzda toplamıyor, tek bir modeli parçalara ayırıp farklı makinelerde çalıştırmıyor ve tek bir aktif isteği birden fazla cihaza bölmüyor. Bunun yerine bağımsız istekleri, o anda boşta olan ya da uygun modele sahip düğümlere yönlendiriyor.
Bu yapı özellikle aynı anda birden fazla agent çalıştırılan yerel AI kurulumlarında işe yarayabilir. NVIDIA, sistemin çoklu agent iş yüklerinde oluşan darboğazı azaltmayı amaçladığını söylüyor. Evde ya da küçük ofiste bulunan boşta duran GPU kaynaklarının değerlendirilmesi de PAIR’ın öne çıkan kullanım senaryoları arasında yer alıyor.
PAIR’ın bir diğer dikkat çekici yanı ise platform desteği. NVIDIA’nın dokümantasyonuna göre yazılım, yerel ağ üzerindeki uyumlu sistemler arasında çalışıyor ve uygulamalara tek bir yerel erişim noktası sağlıyor. TechSpot’un kısa özetinde de vurgulandığı gibi amaç, farklı işletim sistemlerine sahip cihazları aynı çatı altında buluşturmak. Bu da Windows tabanlı RTX sistemleriyle birlikte farklı cihazların ortak bir yerel AI ağına dahil edilmesinin önünü açıyor.
Gizlilik tarafında da önemli bir avantaj var. NVIDIA, tüm istemci, model kaynağı, çıkarım motoru ve düğümler yerel olduğunda istemlerin ve yanıtların yerel ağ içinde kalmasının hedeflendiğini belirtiyor. Kısacası PAIR, bulut yerine evdeki ya da ofisteki donanımı kullanarak yerel AI iş yüklerini daha verimli dağıtmayı hedefliyor.
Yazılım açık kaynak olarak GitHub üzerinden yayımlandı. NVIDIA, PAIR’ı özellikle yerel çıkarım kullanan geliştiriciler ve birden fazla makinedeki kaynakları daha düzenli kullanmak isteyen kullanıcılar için konumlandırıyor.
Kaynak: www.techspot.com