Dolu dolu derken local llm gibi veya buna benzer RAM, işlemci ve GPU'yu aynı anda zorlayacak iş yüklerinden bahsediyorum.

Anladım hocam. Belki de o şekilde kullanmadığım için ben öyle sorunlarla karşılaşmamışımdır. Ama haklısınız ekran kartını ve işlemciyi aynı anda zorlarken Explorer falan kasıyor. Sadece bir kere RVC GUI yapmayı denemiştim.
 
3090 kartla local llm çalıştırılmaz çalıştırılsa da muhtemelen en düşük paremetreli yz lar çalıştırılır onlar da pek işe yaramaz.
Bu bilgi nereden geliyor :D. Minimax M2.7 bile çalıştırıyorum, 4 bit 6 tok/s alıyorum. Neden bilmediğiniz konularda yorum yapıyorsunuz, anlamıyorum.

Mistral Medium 3.5'i ve 6 bit'te bile denedim, 0.7 t/s alıyorum ki çok büyük dev modeldir. Ağır çalışsa bile işlem yapabiliyor.

1784112483328.webp
 
Son düzenleme:
Bu bilgi nereden geliyor :D. Minimax M2.7 bile çalıştırıyorum, 4 bit 6 tok/s alıyorum. Neden bilmediğiniz konularda yorum yapıyorsunuz, anlamıyorum.

Mistral Medium 3.5'i ve 6 bit'te bile denedim, 0.7 t/s alıyorum ki çok büyük dev modeldir. Ağır çalışsa bile işlem yapabiliyor.

Eki Görüntüle 265767
0.7 t/s hızla bir modeli 'çalıştırıyorum' demek biraz iyimserlik olmuş. Bu hızda bir modelle etkileşime girmek pratik değil, adeta bir slayt gösterisi izlemek gibi. Benim 'çalıştırılamaz'dan kastım da tam olarak bu; bir modelin sadece belleğe yüklenmesi değil, gerçek zamanlı veya en azından makul bir sürede cevap verebilmesi gerekir. Bu hızda işlem yapmak, verimlilik açısından pek mümkün değil.
 
0.7 t/s hızla bir modeli 'çalıştırıyorum' demek biraz iyimserlik olmuş. Bu hızda bir modelle etkileşime girmek pratik değil, adeta bir slayt gösterisi izlemek gibi. Benim 'çalıştırılamaz'dan kastım da tam olarak bu; bir modelin sadece belleğe yüklenmesi değil, gerçek zamanlı veya en azından makul bir sürede cevap verebilmesi gerekir. Bu hızda işlem yapmak, verimlilik açısından pek mümkün değil.
Komik bir yorum olmuş. Qwen 3.6 35B ve Gemma 4 31B'yi çok rahat çalıştırıyor. Fazla fazla token alıyorum; kaldı ki 27B 26B parametreli modelleri de çalıştırıyorum. Size göre küçük demek ki bu modeller. :D

En düşük parametreli modeller 0.6B civarı oluyor. Verdiğiniz bilgi yanlış ve hala üsteliyorsunuz.
 
Son düzenleme: