Yerel donanımda Gemma 3 Denemesi

  • Konuyu başlatan Konuyu başlatan THE KEROXEA
  • Başlangıç Tarihi Başlangıç Tarihi
  • Mesaj Mesaj 7
  • Görüntüleme Görüntüleme 127
  • Etiketler Etiketler
    sonucu
Katılım
23 Eylül 2024
Mesajlar
2.010
Makaleler
17
Çözümler
19
Beğeniler
2.153
Yer
Rockport City
DENEME 1
Burada, yerel donanım ile çalıştırılan AI modellerinin parametre testlerini yapmaktayız. Sonuçları burada paylaşacağım ve en iyi nasıl çalıştığını zaman içinde görmüş olacağız.

Tüm yazışmalar Redmi Note 12 4G'nin CPU'su tarafından internetsiz bir şekilde elde edilmiştir. Yani konuşan dil modeli Redmi Note 12 4G'nin donanımı üzerinden konuşmaktadır.

GPU yanıt veremediğinden dolayı CPU kullanıldı.

Kullanılan Gemma 3, 1 milyar parametrelik modeldir.

İlk sohbette Temperature değeri 2.00, ikincisinde ise 0.1 olarak ayarlanmıştır.

Model, Google AI Edge Gallery üzerinden indirilmiştir.

Snapdragon 685, (Adreno 610)


Konuşma Denemesi 1​

CONFIGS 1
Accelerator: CPU
Temperature: 2.00
TopP: 0.95
TopK: 64 + 100
Max Tokens: 1024

Konuşma sonlandırıldı.



Konuşma Denemesi 2​

CONFIGS 2
Accelerator: CPU
Temperature 0.01
TopP: 0.95
TopK: 64 + 100
Max Tokens: 1024
User: Bana kendini tanıt.

Model on CPU: Ben, Google tarafından geliştirilen Gemma dil modeliyim.

User: Vay beee, galiba başardık.

Model on CPU: Senim adımı, tehdit?

User: Saçmalama

Model on CPU: Bu çok anlamsız.

Konuşma sonlandırıldı.




SONUÇ​

  • Temperature değeri ne kaday yükselirse yaratıcılık, espri, kafadan kelime üretme kapasitesi artıyor. Güçsüz çiplerde ise halisünasyonlara sebep olmakta.
  • Gemma 3 modeli, Adreno'nun 610 modelini görmemekte.
  • Token arttırılırsa cevap süresi artacak, ancak mantıksallık da artacak. Sonraki testlerde göreceğiz.
 
Son düzenleme:
Google AI Edge Gallery üzerinden mi indirilip kullanıldı?
Evet, farklı parametreleri deneyerek Sd 685 CPU için en dengeli ayarı bulmaya çalışıyorum bulana kadar testleri atayım dedim.

Temperature için en sağlıklı değer 0.6-0.9 arası gibi duruyor. arttırınca sapıtıyor halisünasyon görüyor düşürünce de kafası duruyor.

Konuda eklememişim, dil modelini Google AI Edge üzerinden indirdiğimi de ekledim.
 
GPT-20B, thinking modunu açınca çok fena saçmalamaya başlıyor. Mümkün mertebe thinking modunu kapalı kullanın.
 
Hocam şu cevaba bakın vallahi üzülüyorum şuna çok zorluyorum galiba

Eki Görüntüle 248250

Eğlence malzemesi çıkar ancak, GPU'lar bile yeterli değil ancak soru sor-cevap al niteliğinde iş yapıyor lokal Llm'ler.

Hep söyledim, bu iş şu anda şirketlerde tecrübesiz eleman eğitmek için soru sor-cevap al olarak kullanılabilir. İşi bilen müdürlere günlük yazdırır gibi yazdıracaklar 2-3X fazla maaş verecekler mirasını Yz'ye bıraktıracaklar. Her koltuğa oturan nesil de o mirası/bilgi kütüphanesini büyütecek.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…