Miscatwatt
Başarılı
- Katılım
- 13 Ocak 2024
- Mesajlar
- 51
- Beğeniler
- 32
Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur 
KS
KS
Utku92 18
Üstün
- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.056
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.798
Tam hızda çalışması için sanırım 4 TB ve üzeridir.Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
Bu durum da gösteriyor ki gitgide RAM ihtiyacı artıyor. Artık RAM çipleri yok satacağından dolayı devasa artışlar görebiliriz. Bence şu anki kriz yanında sıfır kalacak. Belki de bilgisayar almak lüks olacak.
Son düzenleme:
Son düzenleyen: Moderatör:
KS
KS
Utku92 18
Üstün
- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.056
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.798
Ben de 24 GB VRAM var. Minimax M2.7'yi 4 bit'te çalıştırabiliyorum, tabii RAM'e taşıyor. 7 token alıyorum, fena değil.
Ev için var, o da karaborsaya düştü. Mac Studio cihazları 512 GB VRAM olanlar. 4 tane olsa 2 TB ediyor demek, 8 tane olursa ancak.Hocam 4TB VRAM'i olan babayiğit var mıdır yerelde çalıştırsın?
Ben de 24 GB VRAM var. Minimax M2.7'yi 4 Bit'te çalıştırabiliyorum, tabii RAM'e taşıyor. 7 token alıyorum, fena değil.
Ev için var, o da karaborsaya düştü. Mac Studio cihazları 512 GB VRAM olanlar. 4 tane olsa 2 TB ediyor demek, 8 tane olursa ancak.
Vallahi hocam 4 tane ondan alabilen varsa, ki satıştan kaldırıldı krizden dolayı. Helali hoşu olsun kullansın hatta AI yeri o parayı bana versin ben onun işlerini yaparım
Son düzenleyen: Moderatör:
KS
KS
Utku92 18
Üstün
- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.056
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.798
Aynen öyle, ancak bence herkeste olmalı. Yerel LLM için sistem sağlam olmalı. Çok küçük modelleri değil de en az 24 GB sığabilir sistem yapmalı herkes; çünkü abonelikli sistemler anormal fiyatlara çıkabilir veya kapanabilir riskten dolayı. Kimi modeli için imkansız, ancak 35B, 70B parametreli modelleri herkes kullanabilmeli.Vallahi hocam 4 tane ondan alabilen varsa, ki satıştan kaldırıldı krizden dolayı. Helali hoşu olsun kullansın hatta AI yeri o parayı bana versin ben onun işlerini yaparım
Bir çılgınlık yapıp yerelde çalıştırmak istesek tahmini ne kadar VRAM gerekiyordur
Geçen gün bunu merak edip Gemini'a sormuştum. İddiası şudur:
KS
KS
Utku92 18
Üstün
- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.056
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 1.798
BF16 değil de 8 bit yeter de artar; o da yaklaşık 4 TB VRAM ister. Önerdiği sistemde bile RAM'e taşıyor; o sistemle bile verimli çalışmaz. Modelin tam olarak VRAM'e sığması lazım, context uzunluğu ile birlikte.
Benzer konular
Yeni konular
-
-
10.000 TL bütçeye 80-100L Trecking sırt çantası önerisi- PoseidonWhisper
- Mesaj: 0
-
-
-
-
-
-
