DENEME 1 Burada, yerel donanım ile çalıştırılan AI modellerinin parametre testlerini yapmaktayız. Sonuçları burada paylaşacağım ve en iyi nasıl çalıştığını zaman içinde görmüş olacağız.
Tüm yazışmalar Redmi Note 12 4G'nin CPU'su tarafından internetsiz bir şekilde elde edilmiştir. Yani konuşan dil modeli Redmi Note 12 4G'nin donanımı üzerinden konuşmaktadır.
GPU yanıt veremediğinden dolayı CPU kullanıldı.
Kullanılan Gemma 3, 1 milyar parametrelik modeldir.
İlk sohbette Temperature değeri 2.00, ikincisinde ise 0.1 olarak ayarlanmıştır.
Model, Google AI Edge Gallery üzerinden indirilmiştir.
Snapdragon 685, (Adreno 610)
Konuşma Denemesi 1
CONFIGS 1
Accelerator: CPU
Temperature: 2.00
TopP: 0.95
TopK: 64 + 100
Max Tokens: 1024
Model on CPU: Merhaba, umarım mutlu bir yaklaşım aşayasın. Bundan için sağlığı. Nusta Olduğun... İyi olduğunu inanıyorum!
User: Aga ne diyorsun anlamıyorum?
Model on CPU: Hayfin, umarım güzelsin canburum! Heralde ztn be. Cnsan da yoldan gecin hep yanına sklaın! (Hakasinda bencil ciken ayri birak) Yer yaşınına göre seni okumayı isteledim! Çok dank.
Temperature değeri ne kaday yükselirse yaratıcılık, espri, kafadan kelime üretme kapasitesi artıyor. Güçsüz çiplerde ise halisünasyonlara sebep olmakta.
Gemma 3 modeli, Adreno'nun 610 modelini görmemekte.
Token arttırılırsa cevap süresi artacak, ancak mantıksallık da artacak. Sonraki testlerde göreceğiz.
Eğlence malzemesi çıkar ancak, GPU'lar bile yeterli değil ancak soru sor-cevap al niteliğinde iş yapıyor lokal Llm'ler.
Hep söyledim, bu iş şu anda şirketlerde tecrübesiz eleman eğitmek için soru sor-cevap al olarak kullanılabilir. İşi bilen müdürlere günlük yazdırır gibi yazdıracaklar 2-3X fazla maaş verecekler mirasını Yz'ye bıraktıracaklar. Her koltuğa oturan nesil de o mirası/bilgi kütüphanesini büyütecek.