Kimi K3 Huggingface'e Geldi

Utku92 17

Üstün
Katılım
8 Şubat 2024
Mesajlar
3.046
Makaleler
1
Çözümler
8
Beğeniler
1.796
Kimi K3 local LLM modeli indirilebilir olarak eklenmiş. Ve devasa büyük normal kullanıcı için yerelde çalıştırması çok zor olacak. 2 bit hali 1 TB yer kaplıyor. Kısacası haber vermek istedim.
 
Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
 
3 TB HDD var, bana işlemez. Ama VRAM sorun olabilir çünkü 6 GB.
 
Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
Tam hızda çalışması için sanırım 4 TB ve üzeridir.

Bu durum da gösteriyor ki gitgide RAM ihtiyacı artıyor. Artık RAM çipleri yok satacağından dolayı devasa artışlar görebiliriz. Bence şu anki kriz yanında sıfır kalacak. Belki de bilgisayar almak lüks olacak.
 
Son düzenleme:

Hocam 4TB VRAM'i olan babayiğit var mıdır yerelde çalıştırsın?
 
Son düzenleyen: Moderatör:
3 TB HDD var, bana işlemez. Ama VRAM sorun olabilir çünkü 6 GB.
Ben de 24 GB VRAM var. Minimax M2.7'yi 4 bit'te çalıştırabiliyorum, tabii RAM'e taşıyor. 7 token alıyorum, fena değil.

Hocam 4TB VRAM'i olan babayiğit var mıdır yerelde çalıştırsın?
Ev için var, o da karaborsaya düştü. Mac Studio cihazları 512 GB VRAM olanlar. 4 tane olsa 2 TB ediyor demek, 8 tane olursa ancak.
 

Vallahi hocam 4 tane ondan alabilen varsa, ki satıştan kaldırıldı krizden dolayı. Helali hoşu olsun kullansın hatta AI yeri o parayı bana versin ben onun işlerini yaparım
 
Son düzenleyen: Moderatör:
Vallahi hocam 4 tane ondan alabilen varsa, ki satıştan kaldırıldı krizden dolayı. Helali hoşu olsun kullansın hatta AI yeri o parayı bana versin ben onun işlerini yaparım
Aynen öyle, ancak bence herkeste olmalı. Yerel LLM için sistem sağlam olmalı. Çok küçük modelleri değil de en az 24 GB sığabilir sistem yapmalı herkes; çünkü abonelikli sistemler anormal fiyatlara çıkabilir veya kapanabilir riskten dolayı. Kimi modeli için imkansız, ancak 35B, 70B parametreli modelleri herkes kullanabilmeli.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…