Konu Başlıkları Gizle

  1. 1 1. Adım: Gerekli Bağımlılıkları Yükleyin
  2. 2 2. Adım: Homebrew Kurulumu
  3. 3 3. Adım: PATH Ayarlarını Yapılandırın
  4. 4 4. Adım: llmfit Kurulumu
  5. 5 5. Adım: Test ve Kullanım
Fedora üzerinde donanımınızın (VRAM/RAM) hangi LLM modeline "fit" olacağını hızlıca kontrol etmek için Homebrew ve llmfit kurulumunu bu rehberle saniyeler içinde yapabilirsiniz.

1. Adım: Gerekli Bağımlılıkları Yükleyin​

Homebrew'un Fedora üzerinde sorunsuz çalışması için temel geliştirici araçlarını kuruyoruz:
Bash: 
sudo dnf install procps-ng curl file git

2. Adım: Homebrew Kurulumu​

Aşağıdaki komutla resmi kurulum betiğini çalıştırın:
Bash: 
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

3. Adım: PATH Ayarlarını Yapılandırın​

Brew komutunun terminalde tanınması için kalıcı ayarları ekliyoruz. Bu bloğu tek seferde kopyalayıp çalıştırabilirsiniz:
Bash: 
eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"
echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> ~/.bashrc
Not: Zsh kullanıyorsanız ~/.bashrc yerine ~/.zshrc yazın.

4. Adım: llmfit Kurulumu​

Aracı artık tek komutla yükleyebilirsiniz:

Bash: 
brew install llmfit

5. Adım: Test ve Kullanım​

Kurulumun başarılı olduğunu doğrulamak için:
Bash: 
llmfit --version

Aracı çalıştırmak için:

Bash: 
llmfit

1776673132520.webp
 
Genişletmek için tıkla...
Biraz gereksiz olmuş bence. VRAM'ınızın tamamı ve RAM'ınızın yarısı kadar bir boyutu kendinize ayırın. Sizin durumunuzda 16 GB + 24 GB'dan 40 GB oluyor. LLM modelinin boyutu, 40 GB'dan 10-20% az olana kadar olan modelleri seçebilirsiniz.

Biraz daha zorlarım derseniz RAM'da sisteme yetecek kadar mesela 8 GB RAM bırakabilirsiniz. Ancak bağlam penceresi ve Local AI'yı toollarla kullanacağınızı var sayarsak 8 GB yerine VRAM + RAM'ın yarısı olarak ayarlamak daha efektif olacaktır.
 
Cruslan dedi:
Biraz gereksiz olmuş bence. VRAM'ınızın tamamı ve RAM'ınızın yarısı kadar bir boyutu kendinize ayırın. Sizin durumunuzda 16 GB + 24 GB'dan 40 GB oluyor. Llm modelinin boyutu, 40 GB'dan 10-20% az olana kadar olan modelleri seçebilirsiniz.

Biraz daha zorlarım derseniz RAM'da sisteme yetecek kadar mesela 8 GB RAM bırakabilirsiniz. Ancak bağlam penceresi ve local AI'yı toollarla kullanacağınızı var sayarsak 8 GB yerine VRAM + RAM'ın yarısı olarak ayarlamak daha efektif olacaktır.
Genişletmek için tıkla...
Küçültmek için tıkla...

Token ne oluyor peki hocam? Bende 128 GB RAM var. Ama RTX 3090'ın 24 GB RAM'ini kullanıyorum. VRAM'e sığmayan modeller aşırı yavaş çalışıyor ve token düşüyor. Veri yolu hızı düşük çünkü. Yoksa dev modeller de atardım. Ollama kullanıyorum model ayarlarını da yapıyorum context ayarlarken bile bütün ayarlar toplamdaki VRAM'i aşmaması gerekiyor.
 
Utku92 dedi:
Token ne oluyor peki hocam? Bende 128 GB RAM var. Ama RTX 3090'ın 24 GB RAM'ini kullanıyorum. VRAM'e sığmayan modeller aşırı yavaş çalışıyor ve token düşüyor. Veri yolu hızı düşük çünkü. Yoksa dev modeller de atardım. Ollama kullanıyorum model ayarlarını da yapıyorum context ayarlarken bile bütün ayarlar toplamdaki VRAM'i aşmaması gerekiyor.
Genişletmek için tıkla...
Küçültmek için tıkla...
MoE modelleri kullanın bir de GPU Layers'i maksimuma çekin, çok faydasını görürsünüz. GPU Layers'i maksimuma çekince GPU + CPU yerine GPU + RAM Swap olarak kullanır. GPU layers'i maksimuma çekerseniz zaten transparan olarak RAM'ınızı kullanacaktır.
 
Cruslan dedi:
Moe modelleri kullanın bir de GPU Layers'i maksimuma çekin, çok faydasını görürsünüz. GPU Layers'i maksimuma çekince GPU + CPU yerine GPU + RAM swap olarak kullanır. GPU Layers'i maksimuma çekerseniz zaten transparan olarak RAM'ınızı kullanacaktır.
Genişletmek için tıkla...
Küçültmek için tıkla...

Ben RAM'e sarktırmadan ayarları yapıyorum. Context de sığacak şekilde çünkü daha hızlı oluyor. Ollama kullanıyorum. Şimdi rehber hazırlıyorum uzunca.
 
Utku92 dedi:
Ben RAM'e sarktırmadan ayarları yapıyorum. Context de sığacak şekilde çünkü daha hızlı oluyor. Ollama kullanıyorum. Şimdi rehber hazırlıyorum uzunca.
Genişletmek için tıkla...
Küçültmek için tıkla...
CPU'nun işlemesiyle GPU'nun RAM'a swap yapması ayrı bir durum. RAM'a swap yapınca hız o kadar düşmüyor. GPU Layer'i maksimuma almayı deneyin.
 

Benzer konular

Vrother9
Fedora doğru girilen şifreyi kabul etmiyor
2
Mesaj
12
Görüntüleme
276
minimize
minimize
sirius
Çözüm Fedora kurulumunda kurulum medyası kontrol edilirken %4.8'de hata veriyor
Mesaj
1
Görüntüleme
66
EFI Shell
EFI Shell
Milas
  • Çözüldü
Çözüldü Fedora'da kurulum sihirbazı donuyor
Mesaj
4
Görüntüleme
194
Milas
Milas
T
Fedora 44 Flathub Spotify çalışmıyor
Mesaj
7
Görüntüleme
117
Techeren
T

Yeni konular

Yeni mesajlar