- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.333
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.994
Qwen 3.8 27B local LLM modeli yayınlandı. Yerelde çalışabilen bu model oldukça iddialı işler yapabiliyor. Tek RTX 3090 kartım olduğu için 8 bit versiyonunu deneyimleyemedim. Ollamadaki 4 bit modeli de açıkçası denemek istemedim. Hugging Face'deki Unsloth'un kendine özel sıkıştırmalı UD olan versiyonundaki 5 bit modeli indirip denedim. Tam context VRAM'e sığmadı, biraz düşürdüm. Modelin kendine özgü think moduna özel ayarlamalarını parametre olarak olmada ayarladım.
Bendeki model: Qwen 3.8-27B-GGUF:UD-Q5_K_XL. 1 tane uzay oyunu yaptırdım, yaklaşık 6 prompt'ta istediğim seviyeye çekebildim. Önceki modellerde bu kadar hassas ayarlama, daha iyi modelleme yapısı görmemiştim. Ancak model çok yavaş ve hantal çalışıyor; başarılı olduğu kadar eksi yönü de bu. Yaklaşık 6-14 t/s alabildim. Oyunu buraya ekleyeceğim. E tuşu silah değiştirme (W) alınca silah level alıyor. P tuşu ve ESC tuşu oyunu durduruyor. Hareket etme WASD tuşları, ışın silahında space basmak gerekiyor.
Ne kodu yazabildim ne de dosyayı paylaşabildim. Kod satırı olarak eklemek isteyince hata veriyor. Linke ekledim.
transfer.it
Bendeki model: Qwen 3.8-27B-GGUF:UD-Q5_K_XL. 1 tane uzay oyunu yaptırdım, yaklaşık 6 prompt'ta istediğim seviyeye çekebildim. Önceki modellerde bu kadar hassas ayarlama, daha iyi modelleme yapısı görmemiştim. Ancak model çok yavaş ve hantal çalışıyor; başarılı olduğu kadar eksi yönü de bu. Yaklaşık 6-14 t/s alabildim. Oyunu buraya ekleyeceğim. E tuşu silah değiştirme (W) alınca silah level alıyor. P tuşu ve ESC tuşu oyunu durduruyor. Hareket etme WASD tuşları, ışın silahında space basmak gerekiyor.
Ne kodu yazabildim ne de dosyayı paylaşabildim. Kod satırı olarak eklemek isteyince hata veriyor. Linke ekledim.
Transfer.it
Son düzenleme:
