Local LLM Dil Çevirisi Benchmark'ı

CRT_User · Bugün 19:41

Yakuza dedi:
RAM'e taştırıp da adam gibi çalıştırmanın bir yolu yok mu? 64 GB RAM çöpe gitti gibime geliyor vallahi.

Sana 2 tane 3090 lazım.

Yakuza · Bugün 19:43

CRT_User dedi:
Sana 2 tane 3090 lazım.

Ben 2. 5080'i almayı planlıyordum güyya Kara Cuma'da falan ama bu fiyatlarla suya düştü.

Utku92 · Bugün 19:43

Yakuza dedi:
RAM'e taştırıp da adam gibi çalıştırmanın bir yolu yok mu? 64 GB RAM çöpe gitti gibime geliyor vallahi.

cache-type-k = q4_0
cache-type-v = q4_0 bu yöntem kullanılabilir, ön bellekten kısılır, 4 bite indirgenir. mmproj vision CPU'ya devredilebilir. no-mmproj-offload

oğuz sasi · Bugün 19:45

Utku92 dedi:
Aynı modeli öneririm. Ancak ROCm aktif etmeniz lazım, yoksa düşük token verir. Isla sıkıştırması 3 bit olsa dahi 4 bite yakınsar, başarıdadır; bu yüzden daha iyi performans gösterir. Model + context + mtp + mmproj ile birlikte rahat sığar.
cache-type-k = q4_0
cache-type-v = q4_0 önbelleği yaparsanız daha iyi sonuç alırsınız ve model daha rahat sığar.

Teşekkür ederim hocam.

Peki hangisini indirmemi önerirsiniz? XXS olan mı yoksa S olan mı?

Utku92 · Bugün 19:46

Hangi yerel LLM çalıştırıcıları kullanıyorsunuz?

oğuz sasi · Bugün 19:46

Utku92 dedi:
Hangi yerel LLM çalıştırıcıları kullanıyorsunuz?

Ollama.

Utku92 · Bugün 19:46

oğuz sasi dedi:
Teşekkür ederim hocam.

Eki Görüntüle 284085

Peki hangisini indirmemi önerirsiniz? XXS olan mı yoksa S olan mı?

IQ3_S

CRT_User · Bugün 19:49

Yakuza dedi:
Ben 2. 5080'i almayı planlıyordum güyya Kara Cuma'da falan ama bu fiyatlarla suya düştü.

Ben de ikinci bir kart almayı düşünüyorum. 3090 kadar fazla VRAM olmaz ama 32 GB VRAM ile de yapılır bence bir şeyler. Ayrıca ikinci kartla DLSS 5 bile FPS kaybı olmadan çalıştırılabilir bence.

Edri · Bugün 19:51

İngilizce'den Türkçe'ye nasıl peki?

Utku92 · Bugün 19:51

oğuz sasi dedi:
Ollama.

Şu işlemi yapın:

cache-type-k / cache-type-v llama.cpp bayrakları. Ollama'da karşılığı ortam değişkeni. Ollama K ve V'yi ayrı ayrı açmıyor, tek bir OLLAMA_KV_CACHE_TYPE değişkeni ikisini birden belirliyor, yani istediğin q4_0 + q4_0 tam olarak bu. Flash attention da aynı anda OLLAMA_FLASH_ATTENTION=1 ile açılıyor.

Windows'ta kalıcı yapmak için CMD veya PowerShell'de:

setx OLLAMA_FLASH_ATTENTION 1
setx OLLAMA_KV_CACHE_TYPE q4_0
GUI'den istersen "Sistem ortam değişkenlerini düzenle" → Ortam Değişkenleri → Yeni yolunu da kullanabilirsin. Sonra Ollama'yı tepsi (tray) simgesinden kapatıp yeniden başlat. setx yalnızca yeni açılan süreçlere uygulanır, o yüzden açık kalan Ollama eski değeri kullanır. Ollama'yı terminalden ollama serve ile çalıştırıyorsan terminali de yeniden aç. Doğrulamak için %LOCALAPPDATA%\Ollama\server.log başındaki config satırında OLLAMA_KV_CACHE_TYPE:q4_0 görünmeli.

Edri dedi:
İngilizce'den Türkçe'ye nasıl peki?

Ben kurs videoları için kullanıyorum bayağı başarılı.

Local LLM Dil Çevirisi Benchmark'ı

Detaylar

CRT_User

Bilgin

Yakuza

Üstün

Utku92

Bilgin

oğuz sasi

Bilgin

Utku92

Bilgin

oğuz sasi

Bilgin

Utku92

Bilgin

CRT_User

Bilgin

Edri

Becerikli

Utku92

Bilgin

Benzer konular

Local LLM Dil Çevirisi Benchmark'ı

Bilgin

Üstün

Bilgin

Bilgin

Bilgin

Bilgin

Bilgin

Bilgin

Becerikli

Bilgin

Benzer konular

Privacy & Transparency

Privacy & Transparency