Local LLM olarak hangi modeli kullanıyorsunuz?

Hasan Merkit dedi:

Qwen Coder Next. Ama çok fazla kaynak yemekle beraber çok saçmalıyor. Kendisini bir şekilde geliştirmeye çalışacağım.

Genişletmek için tıkla...

Qwen Coder Next değil de Qwen 3.5:35B ya da Gemma 4:31B kullanılırsa bir sıkıntı olmaz.

Utku92 dedi:

Ben de 4 bit var ama çok iyi değil, VRAM sığıyor. Ancak web araması kısmında iyi çalışmıyor.

Genişletmek için tıkla...

madelyn dedi:

Yerel modeller ile hiç MCP, agent tarzı işlere giremedim. 4060 yetmiyor nedense, ya da optimizasyonlarını bilmiyorum.

Genişletmek için tıkla...

Kuantizasyonlu modeller ancak çalışabiliyor son kullanıcı kartlarında ve FP16'ya nazaran kalite daha düşük. Flash / Sage attention gibi dikkat mekanizmaları da kullanılabilir VRAM açısından. VRAM mi yetmiyor sizde? KV Cache'i de kuantize edebilirsiniz. Bazıları TurboQuant agresif, ama fazla kalite kaybetmeyen tasarruf odaklı kuantizasyon teknikleri de var.

Utku92 dedi:

LM Studio'da yapması kolay ama performanslı değil. Ollama'da da model file dosyası var, oradan parametre ayarları yapılıyor. Dosya çekilip ayar girip tekrar modele atılıyor.

Ollama, yeni güncellemeler ile llama.cpp'ye tam geçiş yaptığı için performans arttı; ancak tensor gibi bölümlü modelleri henüz yüklemiyor. Ancak vision dosyasını kabul ediyor. RTX 4060 gibi kartlarla zor, küçük modeller olur ancak. Ben de RTX 3090 var, yetmediği oluyor.

Genişletmek için tıkla...

Eğer çok ucuz olan tek PCI-e X16 slotlu anakartlar yerine orta hâlli ama iyi PCI-e topolojisine sahip normal ATX veya daha büyük anakartları seçerseniz ekran kartı derdiniz kalmaz, fakat NVLink (eski adıyla SLI) yerine doğrudan PCI-e hatlarını kullanır. Bu da benim anakartımın PCI-e topoloji haritası, mükemmel değil ama iş görecek düzeyde.





Bir de uçuk ama güzel bir bilgi de vereyim. Eğer DRAM'li ve PCI-e 5.0 hızında NVMe sürücünüz varsa işiniz kolay. Gerçek anlamda hem de. Biraz yavaş çalışacaktır ama düşük VRAM için bir ganimet değerinde.

@Efe İlhan Yüce, çıkarım aşamasında GGUF modeller çalışıyor tabii ama uzun cevaplar vermesini isteyince aniden yarıda kesiyor (hikaye anlat dediğimde hikaye aniden kesiliyor mesajla birlikte). Context Length değerinden dolayı olabilir.

Diğer optimizasyonlara hiç girmedim, özellikle KV Cache vb. Ek olarak model fine tuning etmek istediğim zamanlar da oldu ama Q4-Q5 hali 7~ GB olan modellerin safetensors halleri 8 GB VRAM'e sığmıyor.

Epeydir uzağım bu işlere, yeni şeyler çıktıysa bilmiyorum.

Kesinlikle, bağlam penceresi uzunluğu da etkiler. Zaten bugün birkaç rehber yayınlarım boşta olduğumda.