Tam hızda çalışması için sanırım 4 TB ve üzeridir.Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
Ben de 24 GB VRAM var. Minimax M2.7'yi 4 bit'te çalıştırabiliyorum, tabii RAM'e taşıyor. 7 token alıyorum, fena değil.
Ev için var, o da karaborsaya düştü. Mac Studio cihazları 512 GB VRAM olanlar. 4 tane olsa 2 TB ediyor demek, 8 tane olursa ancak.Hocam 4TB VRAM'i olan babayiğit var mıdır yerelde çalıştırsın?
Ben de 24 GB VRAM var. Minimax M2.7'yi 4 Bit'te çalıştırabiliyorum, tabii RAM'e taşıyor. 7 token alıyorum, fena değil.
Ev için var, o da karaborsaya düştü. Mac Studio cihazları 512 GB VRAM olanlar. 4 tane olsa 2 TB ediyor demek, 8 tane olursa ancak.
Aynen öyle, ancak bence herkeste olmalı. Yerel LLM için sistem sağlam olmalı. Çok küçük modelleri değil de en az 24 GB sığabilir sistem yapmalı herkes; çünkü abonelikli sistemler anormal fiyatlara çıkabilir veya kapanabilir riskten dolayı. Kimi modeli için imkansız, ancak 35B, 70B parametreli modelleri herkes kullanabilmeli.Vallahi hocam 4 tane ondan alabilen varsa, ki satıştan kaldırıldı krizden dolayı. Helali hoşu olsun kullansın hatta AI yeri o parayı bana versin ben onun işlerini yaparım
Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
BF16 değil de 8 bit yeter de artar; o da yaklaşık 4 TB VRAM ister. Önerdiği sistemde bile RAM'e taşıyor; o sistemle bile verimli çalışmaz. Modelin tam olarak VRAM'e sığması lazım, context uzunluğu ile birlikte.
