Learnof
Üstün
- Katılım
- 2 Ocak 2024
- Mesajlar
- 2.470
- Makaleler
- 2
- Çözümler
- 41
- Beğeniler
- 1.958
- Katılım
- 22 Aralık 2023
- Mesajlar
- 1.143
- Makaleler
- 2
- Çözümler
- 6
- Beğeniler
- 1.102
LM Studio - Discover, download, and run local LLMs
Run Llama, Mistral, Phi-3 locally on your computer.
lmstudio.ai
Sağlam sistem gerektirir ama RTX 5090'da bile saniyede 50'ye yakın token üretiyor, RTX 4070 Super ile denedim işkenceden farkı yok çok yavaş çalışıyor.
- Katılım
- 22 Aralık 2023
- Mesajlar
- 1.143
- Makaleler
- 2
- Çözümler
- 6
- Beğeniler
- 1.102
Sağlam bir sistem gerektirmiyor, düşük model cihazlara da indirilebiliyor.
RTX 3060 ya da 4060, hatta 4070 ile lokalde "DeepSeek R1-Distill-Qwen-32B" çalıştırmayı bir dene bakalım, o zaman ne demek istediğimi anlayacaksın. Üstüne üstlük, bellek problemi var: 8 GB hatta 16 GB RAM'e sahip bir ekran kartı ile çalıştığında bağlam hafızası kısıtlı oluyor, böylece bir süre sonra yapay zeka modeli geçmişi hatırlamıyor, bağlamdan kopuyor bu ekran kartının hafızası ve yapay zekanın desteklediği maksimum token ile alakalı bir durum ancak şuanda lokal'de çok kısıtlı. Bu işi daha da işkence haline getiriyor. (Bu hafıza yitirme olayını güvenlik kameralarındaki döngüsel kayıt gibi düşünebilirsin.)
RTX 5090'ın yoksa ya da AI kit denilen, sadece NPU'dan ibaret sistemler yoksa bu lokalde AI çalıştırma işi tamamen fantaziden ibaret. Düşük sistemlerle saniyede 3-5 token'dan başka bir şey alamazsın ne yazık ki
Demek istediğimi anlatan güzel bir video;
- Katılım
- 22 Aralık 2023
- Mesajlar
- 1.143
- Makaleler
- 2
- Çözümler
- 6
- Beğeniler
- 1.102
Gerçek tam modeli denemeni söylemiyorum, zira onu kimse çalıştıramaz. Demek istediğim, daha düşük boyutlu modelleri indirip deneyebilirsiniz.
Elbette bu mumkün ama bu da çok kısıtlı kalıyor kodlama konusunda ben çok kullanıyorum ve yeterli olmuyor. İlerde bir projem var DeepSeek'in API'si ile bir şeyler yapmayı planlıyorum. NVIDIA Jetson Orin'i yurtdışından getirtebilirsem eğer lokalde Ai çalıştırmak o zaman çok keyifli olabilir.
PoseidonWhisper
Uzman
- Katılım
- 10 Ocak 2025
- Mesajlar
- 321
- Beğeniler
- 92
Lokal olarak bazı denemeler yaptım ve bu konuda @barcaxsto arkadaşımıza katılıyorum: Sistemler yerelde gerçekten de beklenen verimlilikte çalışmıyor. Ortalama veya üzeri bir donanımla bir RAG sistemi kursak dahi, web tabanlı platformların sunduğu performansı yakalamak pek mümkün olmuyor. Grok, NotebookLM, Gemini, Deepseek gibi online araçlar benim her türlü işimi fazlasıyla görüyor. Bazen kendime, "Galiba fazla fantazi arıyorsun!" diyorum.
Benzer konular
- Makale
Yeni konular
-
-
-
Yatak odası ve salon için uygun fiyatlı 12.000 ve 18.000 BTU klima önerisi- Altuğ Karatekin
- Mesaj: 0
-
Amazon üzerindeki RTX 5080 satıcısı güvenilir midir?
- slakdvsvroowvwc18347
- Mesaj: 4
-
