Bu kısım enerji sarfiyatı sebebiyle mi yoksa içeride başka faktörler mi var?
Ben ekran kartı ve ram kısmına zaten yatırım yapmak isterim ve kıyısından kurtarsın diye de içine sürekli birbirine bağlayıp kompleks bir hale de getirmek istemiyorum. Düşünme (thinking) ve Context sınırı ve Token yakımı konusunda avantajlı olmalıdır.
Ben o ekran kartını oraya yazdım ama o bile yetmez. Claude Seviyesi (405B Modeller) için bile 900+ GB VRAM (ya da sistem belleği) istiyor. O zaman düşününce de "En az 10 adet RTX 6000 Ada (48 GB)" gerekecektir. Tek başına çalışmaları önemli olmuyor benim açımdan.
Amaç agent ve coding faaliyetleridir.
İçerik olarak belki bizlerle Youtube aracılığıyla paylaşmak isterseniz de ilham da almak iyi olurdu.
Sizler neler için kullanıyorsunuz?
