Bir tanıdığıma aldık, performans çok iyi değil, belki güncelleme ile düzelir. Qwen Next Coder kurdum, tam istediğim token hızını alamadım. RAM ile VRAM paylaşımlı, 128 GB'ın hepsini kullanamıyorsunuz. 96 GB maksimum VRAM ayırıyor, kalan RAM'e gidiyor.
 
Bence Nvidia veya Mac cihaz alınmalı. AMD de tam olmamış gibi gözüküyor.

Hatta ek bilgi ilave edeyim. Yapay zeka LLM dil modelleri için kullanılacaksa bu tarz cihazlar bence çok erken. Nvidia DGX Spark bile RAM boyutu olarak çok az, ben 128 GB RAM'i bile yeterli görmüyorum. Piyasaya çıkacak cihazlar minimum 512 GB VRAM'li olmalı. Tabii bu benim görüşüm. ChatGPT, Claude gibi büyük LLM'ler için yerelde yakın performans almak imkansız gibi. Yaklaşık olarak 2 TB VRAM olması gerekiyor sağlam sonuç verebilmesi için. O cihaza Kimi, DeepSeek, MiniMax, GLM gibi büyük modeller kurulabilir ancak şimdilik 128 GB boyutlu cihazlara para verilmez bence.
 
Son düzenleme: