Windows kullanımı hakkında ne düşünüyorsunuz?

TRSancakTR dedi:

Dolu dolu kullanmadığınızdan dolayı olabilir derken? Onu anlamadım. Her gün PC'deyim, oyun oynuyorum, projeleri araştırıyorum.

Genişletmek için tıkla...

Utku92 dedi:

Dolu dolu derken local llm gibi veya buna benzer RAM, işlemci ve GPU'yu aynı anda zorlayacak iş yüklerinden bahsediyorum.

Genişletmek için tıkla...

Utku92 dedi:

Dolu dolu derken local LLM gibi veya buna benzer RAM, işlemci ve GPU'yu aynı anda zorlayacak iş yüklerinden bahsediyorum.

Genişletmek için tıkla...

Yafees dedi:

RTX 3090 kartla lokal LLM çalıştırılmaz; çalıştırılsa da muhtemelen en düşük parametreli YZ'ler çalıştırılır, onlar da pek işe yaramaz.

Genişletmek için tıkla...

Utku92 dedi:

Bu bilgi nereden geliyor . Minimax M2.7 bile çalıştırıyorum, 4 bit 6 tok/s alıyorum. Neden bilmediğiniz konularda yorum yapıyorsunuz, anlamıyorum.

Mistral Medium 3.5'i ve 6 bit'te bile denedim, 0.7 t/s alıyorum ki çok büyük dev modeldir. Ağır çalışsa bile işlem yapabiliyor.

Eki Görüntüle 265767

Genişletmek için tıkla...

Yafees dedi:

0.7 t/s hızla bir modeli 'çalıştırıyorum' demek biraz iyimserlik olmuş. Bu hızda bir modelle etkileşime girmek pratik değil, adeta bir slayt gösterisi izlemek gibi. Benim 'çalıştırılamaz'dan kastım da tam olarak bu; bir modelin sadece belleğe yüklenmesi değil, gerçek zamanlı veya en azından makul bir sürede cevap verebilmesi gerekir. Bu hızda işlem yapmak, verimlilik açısından pek mümkün değil.

Genişletmek için tıkla...