Local LLM olarak hangi modeli kullanıyorsunuz?

Hasan Merkit dedi:

Qwen Coder Next. Ama çok fazla kaynak yemekle beraber çok saçmalıyor. Kendisini bir şekilde geliştirmeye çalışacağım.

Genişletmek için tıkla...

Qwen Coder Next değil de Qwen 3.5:35B ya da Gemma 4:31B kullanılırsa bir sıkıntı olmaz.

Utku92 dedi:

Ben de 4 bit var ama çok iyi değil, VRAM sığıyor. Ancak web araması kısmında iyi çalışmıyor.

Genişletmek için tıkla...

madelyn dedi:

Yerel modeller ile hiç MCP, agent tarzı işlere giremedim. 4060 yetmiyor nedense, ya da optimizasyonlarını bilmiyorum.

Genişletmek için tıkla...

Kuantizasyonlu modeller ancak çalışabiliyor son kullanıcı kartlarında ve FP16'ya nazaran kalite daha düşük. Flash / Sage attention gibi dikkat mekanizmaları da kullanılabilir VRAM açısından. VRAM mi yetmiyor sizde? KV Cache'i de kuantize edebilirsiniz. Bazıları TurboQuant agresif, ama fazla kalite kaybetmeyen tasarruf odaklı kuantizasyon teknikleri de var.

Utku92 dedi:

LM Studio'da yapması kolay ama performanslı değil. Ollama'da da model file dosyası var, oradan parametre ayarları yapılıyor. Dosya çekilip ayar girip tekrar modele atılıyor.

Ollama, yeni güncellemeler ile llama.cpp'ye tam geçiş yaptığı için performans arttı; ancak tensor gibi bölümlü modelleri henüz yüklemiyor. Ancak vision dosyasını kabul ediyor. RTX 4060 gibi kartlarla zor, küçük modeller olur ancak. Ben de RTX 3090 var, yetmediği oluyor.

Genişletmek için tıkla...

Eğer çok ucuz olan tek PCI-e X16 slotlu anakartlar yerine orta hâlli ama iyi PCI-e topolojisine sahip normal ATX veya daha büyük anakartları seçerseniz ekran kartı derdiniz kalmaz, fakat NVLink (eski adıyla SLI) yerine doğrudan PCI-e hatlarını kullanır. Bu da benim anakartımın PCI-e topoloji haritası, mükemmel değil ama iş görecek düzeyde.





Bir de uçuk ama güzel bir bilgi de vereyim. Eğer DRAM'li ve PCI-e 5.0 hızında NVMe sürücünüz varsa işiniz kolay. Gerçek anlamda hem de. Biraz yavaş çalışacaktır ama düşük VRAM için bir ganimet değerinde.

@TÜRK GAMBİTİ, çıkarım aşamasında GGUF modeller çalışıyor tabii ama uzun cevaplar vermesini isteyince aniden yarıda kesiyor (hikaye anlat dediğimde hikaye aniden kesiliyor mesajla birlikte). Context Length değerinden dolayı olabilir.

Diğer optimizasyonlara hiç girmedim, özellikle KV Cache vb. Ek olarak model fine tuning etmek istediğim zamanlar da oldu ama Q4-Q5 hali 7~ GB olan modellerin safetensors halleri 8 GB VRAM'e sığmıyor.

Epeydir uzağım bu işlere, yeni şeyler çıktıysa bilmiyorum.

Kesinlikle, bağlam penceresi uzunluğu da etkiler. Zaten bugün birkaç rehber yayınlarım boşta olduğumda.

@Utku92, pek verimli olmuyor 8 GB ile, elde olsa Q4'e düşmem de işte...

24 GB VRAM ile ne yapılıyor da yetmiyor öyle.

Utku92 dedi:

Qwen 3.6 35B veya Gemma 4 31B'yi tam anlamda kullanmak istiyorum ancak VRAM'e sığmıyor, o yüzden 4 bit olarak yüklü şekilde kullanıyorum. Bundan da memnun değilim. 2. kartı alırsam 8 bit olarak kullanabilir olacağım. Ek olarak 4 bit Minimax M2.7 de var mesela, yaklaşık 5-7 token/s veriyor; tabii VRAM'den taşıp RAM'e gidiyor. Onu en azından 5 bite alıp kaliteyi daha da artırabilirim. Token olarak ne olur bilemem tabii.

Genişletmek için tıkla...

Bir de AirLLM GitHub projesine şans verebilirsiniz, tabii NVMe diskiniz de iyi olmalı.