Katılım
23 Eylül 2024
Mesajlar
2.010
Makaleler
17
Çözümler
19
Beğeniler
2.153
Yer
Rockport City
DENEME 1
Burada, yerel donanım ile çalıştırılan AI modellerinin parametre testlerini yapmaktayız. Sonuçları burada paylaşacağım ve en iyi nasıl çalıştığını zaman içinde görmüş olacağız.

Tüm yazışmalar Redmi Note 12 4G'nin CPU'su tarafından internetsiz bir şekilde elde edilmiştir. Yani konuşan dil modeli Redmi Note 12 4G'nin donanımı üzerinden konuşmaktadır.

GPU yanıt veremediğinden dolayı CPU kullanıldı.

Kullanılan Gemma 3, 1 milyar parametrelik modeldir.

İlk sohbette Temperature değeri 2.00, ikincisinde ise 0.1 olarak ayarlanmıştır.

Model, Google AI Edge Gallery üzerinden indirilmiştir.

Snapdragon 685, (Adreno 610)


Konuşma Denemesi 1​

CONFIGS 1
Accelerator: CPU
Temperature: 2.00
TopP: 0.95
TopK: 64 + 100
Max Tokens: 1024
User: Nasılsın Kanka?

Model on CPU: Merhaba, umarım mutlu bir yaklaşım aşayasın. Bundan için sağlığı. Nusta Olduğun... İyi olduğunu inanıyorum!

User: Aga ne diyorsun anlamıyorum?

Model on CPU: Hayfin, umarım güzelsin canburum! Heralde ztn be. Cnsan da yoldan gecin hep yanına sklaın! (Hakasinda bencil ciken ayri birak) Yer yaşınına göre seni okumayı isteledim! Çok dank.

Konuşma sonlandırıldı.



Konuşma Denemesi 2​

CONFIGS 2
Accelerator: CPU
Temperature 0.01
TopP: 0.95
TopK: 64 + 100
Max Tokens: 1024
User: Bana kendini tanıt.

Model on CPU: Ben, Google tarafından geliştirilen Gemma dil modeliyim.

User: Vay beee, galiba başardık.

Model on CPU: Senim adımı, tehdit?

User: Saçmalama

Model on CPU: Bu çok anlamsız.

Konuşma sonlandırıldı.




SONUÇ​

  • Temperature değeri ne kaday yükselirse yaratıcılık, espri, kafadan kelime üretme kapasitesi artıyor. Güçsüz çiplerde ise halisünasyonlara sebep olmakta.
  • Gemma 3 modeli, Adreno'nun 610 modelini görmemekte.
  • Token arttırılırsa cevap süresi artacak, ancak mantıksallık da artacak. Sonraki testlerde göreceğiz.
 
Son düzenleme:
Google AI Edge Gallery üzerinden mi indirilip kullanıldı?
Evet, farklı parametreleri deneyerek Sd 685 CPU için en dengeli ayarı bulmaya çalışıyorum bulana kadar testleri atayım dedim.

Temperature için en sağlıklı değer 0.6-0.9 arası gibi duruyor. arttırınca sapıtıyor halisünasyon görüyor düşürünce de kafası duruyor.

Konuda eklememişim, dil modelini Google AI Edge üzerinden indirdiğimi de ekledim.
 
Bilgisayarda da açmayın çok deli tanıdım ama bunun kadar kafası pırıl pırıl ilk defa görüyorum.
Hocam şu cevaba bakın valla üzülüyorum şuna çok zorluyorum galiba :D

1778495749427.webp
 
Hocam şu cevaba bakın vallahi üzülüyorum şuna çok zorluyorum galiba :D

Eki Görüntüle 248250

Eğlence malzemesi çıkar ancak, GPU'lar bile yeterli değil ancak soru sor-cevap al niteliğinde iş yapıyor lokal Llm'ler.

Hep söyledim, bu iş şu anda şirketlerde tecrübesiz eleman eğitmek için soru sor-cevap al olarak kullanılabilir. İşi bilen müdürlere günlük yazdırır gibi yazdıracaklar 2-3X fazla maaş verecekler mirasını Yz'ye bıraktıracaklar. Her koltuğa oturan nesil de o mirası/bilgi kütüphanesini büyütecek.