- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.329
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.990
Qwen 3.8 27B local LLM modeli yayınlandı. Yerelde çalışabilen bu model oldukça iddialı işler yapabiliyor. Tek RTX 3090 kartım olduğu için 8 bit versiyonunu deneyimleyemedim. Olmadaki 4 bit modeli de açıkçası denemek istemedim. Hugging Face'deki Unsloth'un kendine özel sıkıştırmalı UD olan versiyonundaki 5 bit modeli indirip denedim. Tam context VRAM'e sığmadı, biraz düşürdüm. Modelin kendine özgü think moduna özel ayarlamalarını parametre olarak olmada ayarladım.
Bendeki model: Qwen 3.8-27B-GGUF:UD-Q5_K_XL. 1 tane uzay oyunu yaptırdım, yaklaşık 6 prompt'ta istediğim seviyeye çekebildim. Önceki modellerde bu kadar hassas ayarlama, daha iyi modelleme yapısı görmemiştim. Ancak model çok yavaş ve hantal çalışıyor; başarılı olduğu kadar eksi yönü de bu. Yaklaşık 6-14 t/s alabildim. Oyunu buraya ekleyeceğim. E tuşu silah değiştirme (W) alınca silah level alıyor. P tuşu ve ESC tuşu oyunu durduruyor. Hareket etme WASD tuşları, ışın silahında space basmak gerekiyor.
Bendeki model: Qwen 3.8-27B-GGUF:UD-Q5_K_XL. 1 tane uzay oyunu yaptırdım, yaklaşık 6 prompt'ta istediğim seviyeye çekebildim. Önceki modellerde bu kadar hassas ayarlama, daha iyi modelleme yapısı görmemiştim. Ancak model çok yavaş ve hantal çalışıyor; başarılı olduğu kadar eksi yönü de bu. Yaklaşık 6-14 t/s alabildim. Oyunu buraya ekleyeceğim. E tuşu silah değiştirme (W) alınca silah level alıyor. P tuşu ve ESC tuşu oyunu durduruyor. Hareket etme WASD tuşları, ışın silahında space basmak gerekiyor.
