Koneko Toujou

Koneko Toujou

Üstün
Katılım
16 Ocak 2024
Mesajlar
4.932
Çözümler
35
Beğeniler
6.296
Yer
Cehennemin dibi
ChatGPT genel konularda, Claude ise kod yazmada bayağı işimi gördü. Bunlar masaüstüme bir programmış ve sadece benim sistemimle, benim kaynaklarımla çalışabilecek şekilde kurmamın bir yolu var mı?
 
Son düzenleyen: Moderatör:
Claude, ChatGPT gibilerinin performanslarını birebir almak zor iş. Yüksek VRAM'li RTX kartlar ile küçük parametreli modeller çalıştırılabilir Qwen 3.5 9B gibi.

1777800141033.webp
Mesela bu mobil 4060 üzerinde çalıştırıldı, Q5 kuantizasyonu ile yaklaşık olarak 6-7 GB VRAM'e yüklenip kullanılıyor.
1777800284780.webp
 
madelyn dedi:
Claude, ChatGPT gibilerinin performanslarını birebir almak zor iş. Yüksek VRAM'li RTX kartlar ile küçük parametreli modeller çalıştırılabilir Qwen 3.5 9B gibi.

Eki Görüntüle 245769
Mesela bu mobil 4060 üzerinde çalıştırıldı, Q5 kuantizasyonu ile yaklaşık olarak 6-7 GB VRAM'e yüklenip kullanılıyor.
Eki Görüntüle 245770
Genişletmek için tıkla...
Küçültmek için tıkla...

Elimde RX 580 8 GB, R5 5600 ve 40 GB RAM var. Bana yeterli olacak hızda işlem yapanileceğimi düşünüyorum
 
@Koneko Toujou, CUDA desteği ve Tensor çekirdekleri gerekiyor. VRAM sadece modelin yüklenebilmesi için gereken bir yer, çalıştırma kısmında RX 580 aşırı aşırı uğraştırır herhalde.

Ek olarak Nvidia kartlar dışında bir kartta LLM çalıştırıldığını görmedim, güncel AMD kartlar bile bu iş için uygun değildir diye düşünüyorum. Eski mimarili bir kartta imkansız herhalde.
 
madelyn dedi:
@Koneko Toujou, CUDA desteği ve Tensor çekirdekleri gerekiyor. VRAM sadece modelin yüklenebilmesi için gereken bir yer, çalıştırma kısmında RX 580 aşırı aşırı uğraştırır herhalde.

Ek olarak NVIDIA kartlar dışında bir kartta LLM çalıştırıldığını görmedim, güncel AMD kartlar bile bu iş için uygun değildir diye düşünüyorum. Eski mimarili bir kartta imkansız herhalde.
Genişletmek için tıkla...
Küçültmek için tıkla...

Tamam bunu sistemin yapar yapamaz kısmından daha çok nasıl yapılır sorusu olarak düşünelim. Çalışmazsa komple uçururum zaten
 
lmstudio.ai

Download LM Studio - Mac, Linux, Windows

Discover, download, and run local LLMs
lmstudio.ai lmstudio.ai

Local modelleri çalıştırmak ve onlarla konuşmak için güzel araç, açık kaynak modelleri de HuggingFace üzerinden veya direkt LM Studio üzerinden indirebilirsin. ChatGPT ile falan konışarak ve deneyerek öğrenmek en iyisi.
1777824843592.webp
 
Son düzenleme:

Benzer konular

Baby Driver
Hangi yapay zekâ aracını önerirsiniz?
2
Mesaj
11
Görüntüleme
258
Baby Driver
Baby Driver
SunseTTime
ChatGPT alternatifi yapay zekâ uygulamaları nelerdir?
2
Mesaj
14
Görüntüleme
356
Ravelluck
Ravelluck
6
Yerel ortamda kullanılabilecek yapay zekâ önerisi
Mesaj
2
Görüntüleme
45
65W
6
emre259
Yapay zekâ oyunlar için hile hazırlayabiliyor
Mesaj
7
Görüntüleme
254
Sensei
Sensei

Yeni konular

Yeni mesajlar