Chatbot’lar, NVIDIA GPU tabanlı bulut sunucuları tarafından desteklenen, her gün dünya çapında milyonlarca insan tarafından kullanılıyor. Artık bu çığır açan araçlar, yerel, hızlı, özel üretken yapay zeka için NVIDIA RTX destekli Windows PC’lere geliyor.
İndirmesi artık ücretsiz olan Chat with RTX, kullanıcıların bir chatbot’u kendi içerikleriyle kişiselleştirmelerine olanak tanıyan, en az 8 GB VRAM’e sahip yerleşik bir NVIDIA GeForce RTX 30 Serisi GPU ve üzeri ile kullanılabilen bir teknoloji demosu.
Chat With RTX’e İstediğinizi Sorun
Chat with RTX, üretken yapay zeka yeteneklerini GeForce destekli Windows bilgisayarlara getirmek için retrieval-augmented generation (RAG), NVIDIA TensorRT-LLM yazılımı ve NVIDIA RTX hızlandırmayı kullanıyor. Kullanıcılar PC’deki yerel dosyaları bir veri kümesi olarak Mistral veya Llama 2 gibi açık kaynaklı büyük bir dil modeline hızlı ve kolay bir şekilde bağlayarak sorguların hızlı, bağlamsal olarak alakalı yanıtlar almasını sağlayabiliyor ve notlarda veya kayıtlı içerikte arama yapmak yerine sorgu yazabiliyor. Örneğin şu soru sorulabilir: “Partnerimin Las Vegas’ta önerdiği restoran hangisiydi?” Chat with RTX, kullanıcının işaret ettiği yerel dosyaları tarıyor ve yanıtı bağlamla birlikte sunuyor.
Araç, .txt, .pdf, .doc/.docx ve .xml dahil olmak üzere çeşitli dosya formatlarını destekliyor. Uygulamayı bu dosyaları içeren klasöre yönlendirdiğinizde araç bunları birkaç saniye içinde kitaplığına yükleyecektir.
Kullanıcılar ayrıca YouTube videolarından ve oynatma listelerinden de bilgi ekleyebilir. Chat with RTX‘e bir video URL’si eklemek, kullanıcıların bu bilgiyi bağlamsal sorgular için sohbet robotlarına entegre etmelerine olanak tanıyor. Örneğin, en sevdiğiniz etkileyici videoların içeriğine dayalı seyahat önerileri isteyip en iyi eğitim kaynaklarına dayalı hızlı eğitimler alabilirsiniz.
Chat with RTX, Windows RTX bilgisayarlarda ve iş istasyonlarında yerel olarak çalıştığından, sağlanan sonuçlar hızlı ve kullanıcının verileri cihazda kalıyor. Chat with RTX, bulut tabanlı LLM hizmetlerine güvenmek yerine, kullanıcıların hassas verileri üçüncü bir tarafla paylaşmaya veya internet bağlantısına gerek duymadan yerel bir bilgisayarda işlemesine olanak tanıyor.
Minimum 8 GB VRAM’e sahip GeForce RTX 30 Serisi GPU veya üzerinin yanı sıra Chat with RTX için Windows 10 veya 11 ve en yeni NVIDIA GPU sürücüleri gerekiyor.
RTX ile LLM Tabanlı Uygulamalar Geliştirin
RTX ile sohbet, LLM’leri RTX GPU’larla hızlandırmanın potansiyelini gösteriyor. Uygulama, GitHub’da bulunan TensorRT-LLM RAG geliştirici referans projesinden oluşturulmuş. Geliştiriciler, RTX için TensorRT-LLM tarafından hızlandırılan kendi RAG tabanlı uygulamalarını geliştirmek ve dağıtmak için referans projeyi kullanabilirler.
