Efe İlhan Yüce 4
Yetkin
Qwen Coder Next değil de Qwen 3.5:35B ya da Gemma 4:31B kullanılırsa bir sıkıntı olmaz.Qwen Coder Next. Ama çok fazla kaynak yemekle beraber çok saçmalıyor. Kendisini bir şekilde geliştirmeye çalışacağım.
Kuantizasyonlu modeller ancak çalışabiliyor son kullanıcı kartlarında ve FP16'ya nazaran kalite daha düşük. Flash / Sage attention gibi dikkat mekanizmaları da kullanılabilir VRAM açısından. VRAM mi yetmiyor sizde? KV Cache'i de kuantize edebilirsiniz. Bazıları TurboQuant agresif, ama fazla kalite kaybetmeyen tasarruf odaklı kuantizasyon teknikleri de var.
Eğer çok ucuz olan tek PCI-e X16 slotlu anakartlar yerine orta hâlli ama iyi PCI-e topolojisine sahip normal ATX veya daha büyük anakartları seçerseniz ekran kartı derdiniz kalmaz, fakat NVLink (eski adıyla SLI) yerine doğrudan PCI-e hatlarını kullanır. Bu da benim anakartımın PCI-e topoloji haritası, mükemmel değil ama iş görecek düzeyde.
Bir de uçuk ama güzel bir bilgi de vereyim. Eğer DRAM'li ve PCI-e 5.0 hızında NVMe sürücünüz varsa işiniz kolay. Gerçek anlamda hem de. Biraz yavaş çalışacaktır ama düşük VRAM için bir ganimet değerinde.
GitHub - lyogavin/airllm: AirLLM 70B inference with single 4GB GPU
AirLLM 70B inference with single 4GB GPU. Contribute to lyogavin/airllm development by creating an account on GitHub.
github.com
