CRT_User Bilgin Katılım 25 Mart 2024 Mesajlar 1.618 Çözümler 9 Beğeniler 1.520 Dün 22:42 #51 Ben de bu modeli denedim, LMStudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba
Ben de bu modeli denedim, LMStudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba
KS KS Utku92 Bilgin Katılım 8 Şubat 2024 Mesajlar 3.961 Makaleler 1 Çözümler 8 Beğeniler 2.301 Dün 23:03 #52 CRT_User dedi: Ben de bu modeli denedim, lmstudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba. Eki Görüntüle 284116 Eki Görüntüle 284117 Genişletmek için tıkla... GPU modeli nedir? Ayarlar doğru gibi.
CRT_User dedi: Ben de bu modeli denedim, lmstudio ile ayarlar doğru mu, hız falan olması gerektiği gibi mi? @Utku92 45.85 tok/sec galiba. Eki Görüntüle 284116 Eki Görüntüle 284117 Genişletmek için tıkla... GPU modeli nedir? Ayarlar doğru gibi.
CRT_User Bilgin Katılım 25 Mart 2024 Mesajlar 1.618 Çözümler 9 Beğeniler 1.520 Dün 23:05 #53 Utku92 dedi: GPU modeli nedir? Ayarlar doğru gibi. Genişletmek için tıkla... Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi?
Utku92 dedi: GPU modeli nedir? Ayarlar doğru gibi. Genişletmek için tıkla... Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi?
KS KS Utku92 Bilgin Katılım 8 Şubat 2024 Mesajlar 3.961 Makaleler 1 Çözümler 8 Beğeniler 2.301 Dün 23:10 #54 CRT_User dedi: Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi? Eki Görüntüle 284118 Genişletmek için tıkla... GPU offload fullediniz mi? Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye.
CRT_User dedi: Kart 5070 Ti VRAM yettiği halde RAM yükselmesi de normal mi? Eki Görüntüle 284118 Genişletmek için tıkla... GPU offload fullediniz mi? Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye.
CRT_User Bilgin Katılım 25 Mart 2024 Mesajlar 1.618 Çözümler 9 Beğeniler 1.520 Dün 23:13 #55 Utku92 dedi: GPU offload fullediniz mi? Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye. Genişletmek için tıkla... Evet, GPU Offload 64 katman Full MAX olarak seçili, modelin tamamı VRAM'de Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem Shared GPU Memory yok 0,2 GB
Utku92 dedi: GPU offload fullediniz mi? Lm Studio'yu ben sadece huggingface de model aramak için kullanıyorum. Pratik diye. Genişletmek için tıkla... Evet, GPU Offload 64 katman Full MAX olarak seçili, modelin tamamı VRAM'de Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem Shared GPU Memory yok 0,2 GB
KS KS Utku92 Bilgin Katılım 8 Şubat 2024 Mesajlar 3.961 Makaleler 1 Çözümler 8 Beğeniler 2.301 Dün 23:36 #56 CRT_User dedi: Evet, GPU offload 64 katman Full Max olarak seçili, modelin tamamı VRAM'de. Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem shared GPU Memory yok 0,2 GB. Eki Görüntüle 284122 Genişletmek için tıkla... CPU da fulleyin. Ollamada daha iyi çalışır aslında. Modelfiledaki değerleri aynısını girin bulabildiğinizi.
CRT_User dedi: Evet, GPU offload 64 katman Full Max olarak seçili, modelin tamamı VRAM'de. Görev Yöneticisi'nde kartın 16 GB belleğinin 13,5 GB'ı dolu ve sistem shared GPU Memory yok 0,2 GB. Eki Görüntüle 284122 Genişletmek için tıkla... CPU da fulleyin. Ollamada daha iyi çalışır aslında. Modelfiledaki değerleri aynısını girin bulabildiğinizi.