Kodlama için en iyi local AI hangisidir?

Tuhoiisa · Dün 23:15

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Kod:

./llama-server \
  -m "Hermes3.6-35B-A3B-Uncensored-Genesis-Final-APEX.gguf" \
  --fit off \
  --n-gpu-layers 999 \
  --n-cpu-moe 17 \
  --ctx-size 32768 \
  --flash-attn on \
  --jinja \
  --host 127.0.0.1 \
  --port 8080 \
  --load-mode dio \
  --cont-batching \
  --cache-prompt \
  --metrics \
  --webui \
  --warmup \
  -b 4096 \
  -ub 512

--n-cpu-moe 17 benim için sweet spot. Deneyip en fazla TPS vereni bulmanız gerek.

Utku92 · Dün 23:39

Kodlamada Qwen 3.8 27B, Xhigh'da en iyisi 16 GB ve üstü VRAM için. Dil çevirisinde Qwen 3.6 35B güzel; eğer fazla gelirse Gemma 4 26B iyidir. Az token veriyorsa Qwen 3.8 Medium'a düşürülebilir reasoning modu. Llama CPP WebUI'nda model ayarı yapmadan arayüzden seçilebiliyor düşünme modları.

Bu arada 3 GB'da model context vision payı bırakmanız iyi olur; model VRAM'den taşarsa düşük token verir.

Eğer model PC'mde çalıştırır mı, sığar mı? Hiç bilmiyorsanız, Hugging Face üye olun, profil kısmında ayarlar var, donanım bilginizi girin. İstediğiniz modele bakarsanız, renk olarak görünür. Kırmızıysa, hiç sığmaz; sarı sığar ama ucu ucuna; yeşil sıkıntısız tam sığıyor anlamı taşıyor. Tabii ben kırmızı da olsa çalıştırdığım modeller oldu çünkü çok alıştığım için hangi model nedir, değildir anlıyorum.

Kodlama için en iyi local AI hangisidir?

Detaylar

Tuhoiisa

Üstün

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-GGUF · Hugging Face

Utku92

Bilgin

Benzer konular

Kodlama için en iyi local AI hangisidir?

Tuhoiisa

Üstün

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-GGUF · Hugging Face

Utku92

Bilgin

Benzer konular

Privacy & Transparency

Privacy & Transparency