Local LLM Dil Çevirisi Benchmark'ı

CRT_User · Bugün 22:42

Ben de bu modeli denedim, LMStudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba

Utku92 · 39 dakika önce

CRT_User dedi:
Ben de bu modeli denedim, lmstudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba.

Eki Görüntüle 284116

Eki Görüntüle 284117

GPU modeli nedir? Ayarlar doğru gibi.

CRT_User · 37 dakika önce

Utku92 dedi:
GPU modeli nedir? Ayarlar doğru gibi.

Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi?

Utku92 · 32 dakika önce

CRT_User dedi:
Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi?

Eki Görüntüle 284118

GPU offload fullediniz mi?

Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye.

CRT_User · 29 dakika önce

Utku92 dedi:
GPU offload fullediniz mi?

Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye.

Evet, GPU Offload 64 katman Full MAX olarak seçili, modelin tamamı VRAM'de

Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem Shared GPU Memory yok 0,2 GB

Utku92 · 6 dakika önce

CRT_User dedi:
Evet, GPU offload 64 katman Full Max olarak seçili, modelin tamamı VRAM'de.

Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem shared GPU Memory yok 0,2 GB.

Eki Görüntüle 284122

CPU da fulleyin. Ollamada daha iyi çalışır aslında.

Modelfiledaki değerleri aynısını girin bulabildiğinizi.

Local LLM Dil Çevirisi Benchmark'ı

Detaylar

CRT_User

Bilgin

Utku92

Bilgin

CRT_User

Bilgin

Utku92

Bilgin

CRT_User

Bilgin

Utku92

Bilgin

Benzer konular

Yeni konular

Yeni mesajlar