Yapay zekâ araçları masaüstüne nasıl eklenir?

Koneko Toujou

Üstün
Katılım
16 Ocak 2024
Mesajlar
4.930
Çözümler
35
Beğeniler
6.296
Yer
Cehennemin dibi
ChatGPT genel konularda, Claude ise kod yazmada bayağı işimi gördü. Bunlar masaüstüme bir programmış ve sadece benim sistemimle, benim kaynaklarımla çalışabilecek şekilde kurmamın bir yolu var mı?
 
Son düzenleyen: Moderatör:
@Koneko Toujou, tam olarak ne istiyorsun? Var olan uygulamaların programlarını kurmak mı yoksa yerelde çalışacak bir model sistemi kurmak mı?
 
Claude, ChatGPT gibilerinin performanslarını birebir almak zor iş. Yüksek VRAM'li RTX kartlar ile küçük parametreli modeller çalıştırılabilir Qwen 3.5 9B gibi.

Mesela bu mobil 4060 üzerinde çalıştırıldı, Q5 kuantizasyonu ile yaklaşık olarak 6-7 GB VRAM'e yüklenip kullanılıyor.
 

Elimde RX 580 8 GB, R5 5600 ve 40 GB RAM var. Bana yeterli olacak hızda işlem yapanileceğimi düşünüyorum
 
@Koneko Toujou, CUDA desteği ve Tensor çekirdekleri gerekiyor. VRAM sadece modelin yüklenebilmesi için gereken bir yer, çalıştırma kısmında RX 580 aşırı aşırı uğraştırır herhalde.

Ek olarak Nvidia kartlar dışında bir kartta LLM çalıştırıldığını görmedim, güncel AMD kartlar bile bu iş için uygun değildir diye düşünüyorum. Eski mimarili bir kartta imkansız herhalde.
 

Tamam bunu sistemin yapar yapamaz kısmından daha çok nasıl yapılır sorusu olarak düşünelim. Çalışmazsa komple uçururum zaten
 

Download LM Studio - Mac, Linux, Windows

Discover, download, and run local LLMs
lmstudio.ai

Local modelleri çalıştırmak ve onlarla konuşmak için güzel araç, açık kaynak modelleri de HuggingFace üzerinden veya direkt LM Studio üzerinden indirebilirsin. ChatGPT ile falan konışarak ve deneyerek öğrenmek en iyisi.
 
AutoGPT kullanabilirsin. Yalnız OpenAI API ile birlikte çalışıyor ve o da ücretli.
 
Mesaj yazmak için giriş yapmalı ya da kaydolmalısınız.

Benzer konular

Hangi yapay zekâ aracını önerirsiniz?
2
Mesaj
11
Görüntüleme
258
Baby Driver
ChatGPT alternatifi yapay zekâ uygulamaları nelerdir?
2
Mesaj
14
Görüntüleme
356
Ravelluck
6
Yerel ortamda kullanılabilecek yapay zekâ önerisi
Mesaj
2
Görüntüleme
45
65W
6
Yapay zekâ oyunlar için hile hazırlayabiliyor
Mesaj
7
Görüntüleme
254
Sensei
Menü
Giriş yap
Kaydol
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…