RTX 3060 ya da 4060, hatta 4070 ile lokalde DeepSeek R1 çalıştırmayı bir dene bakalım, o zaman ne demek istediğimi anlayacaksın. Üstüne üstlük, bellek problemi var: 8 GB hatta 16 GB RAM'e sahip bir ekran kartı ile çalıştığında bağlam hafızası kısıtlı oluyor, böylece bir süre sonra yapay zeka modeli geçmişi hatırlamıyor, bağlamdan kopuyor. Bu işi daha da işkence haline getiriyor. (Bu hafıza yitirme olayını güvenlik kameralarındaki döngüsel kayıt gibi düşünebilirsin.)
RTX 5090'ın yoksa ya da AI kit denilen, sadece NPU'dan ibaret sistemler yoksa bu lokalde AI çalıştırma işi tamamen fantaziden ibaret. Düşük sistemlerle saniyede 3-5 token'dan başka bir şey alamazsın ne yazık ki
Demek istediğimi anlatan güzel bir video;