Konuya iki taraftan bakmak lazım. Local AI'ın gelecek olduğunu söyleyen, herkesin bir gün AI sahibi olacağı, bu donanımları çalıştıracağını ve AI'ın şirketlerin kontrolünden çıkıp kişilere ineceğini söyleyen bir güruh var. Sanırsam "yalan söylüyor" dedikleriniz bunlar. Ve evet bunlar yalan söylüyorlar. Çok yakın bir süreçte işinizi halledecek AI'ler elbette elde edersiniz lokalde ama SOTA yani en iyinin en iyisi modelleri lokalde çalıştırmanız için daha çoook uzun yıllar geçmesi gerekecek.
Şu anda zaten hani 512 GB'lık Mac almaya çalışırsanız 20 bin dolar gibi bir para ödemeniz gerekecek, 2 tane alsanız 2 araba parası edecek bir AI erişilebilir mi olacak sizce? Hani her ne kadar 400-500 GB/s veri hızı olsa da DDR bellek olduğu için token üretme hızı yaklaşık 5-10 civarlarında kalıyor. Aylık 20 dolara aldığınız Claude'de saniyede 100 token üreten Sonnet 5.5 var mesela. Hani mesela en pahalı modelden bakalım, Claude Fable 5.2; 8 dolar input, 40 dolar output ücreti var 1 milyon token başına. 40 bin dolara yaklaşık 3 milyar token üretebiliyorsunuz. Günde 1 milyon token harcasanız 10 sene boyunca bu modeli kullanabilirsiniz. Cihazın sadece kendi parasını elektrik hariç amorti etmesi için 9.5 yıl aralıksız token üretmesi gerekir, günde 8 saat aralıksız çalışsa 30 sene olacak demek.
Hani bir de kullandığınız donanım sabit, Antrophic API'den çekerken hem yeni GPU'lar alacak hem yeni modeller çıkaracak. Siz de elinizde 40 bin dolarlık hurda yığınınızla 2. senenizde hem model olarak hem hız olarak geride kalacaksınız.
Hani mesela
@Utku92'nun da bulunduğu gibi durumlarda bu ucuzluk pek tercih edilebilir bir durum değil. Bu kişiler yapay zekayı kullanırken hassas verilerle çalışıyorlar ve bu kişilerin API providerler ile çalışma lüksü yok. O verinin o bilgisayardan o kurumdan çıkmaması şart. Bu durumda kurunca o 40 bin dolar anlamsız bir hobi harcaması değil, para kazanmayı sağlayan önemli bir yatırım halini alıyor. Bu kişiler hobiden değil, gizlilik sebebiyle işlerinin aksamaması için yaptıkları bir harcama oluyor. Bu kişiler ve kurumlar için local AI bir hayal veya ütopya değil, harcanması gereken bir para.
Tabii burada bahsettiğim konu SOTA yani en iyi modeller kabiliyetindeki modelleri tüketici donanımlarında erişilebilir fiyatlarla çalıştırmak. Bu olmayacak, en azından çok kısa süre içerisinde olmayacak. Ama "işe yarayan" yapay zekalar ve tüketici GPU'larında çalışanları yavaş yavaş geliyorlar. Qwen 3.6, Qwen 3.8, Gemma 4 bunlar mesela SOTA performansı beklemediğiniz zamanda sizin birçok işinizi halledebiliyor, bu modeller iyileşecek ve gelişecekler. Basit işlerinizi bu modellere yaptırabileceksiniz. Hatta Qwen 3.8 27B, şu anda birçok işinizi emanet edebileceğiniz kadar iyi bir model, 2-3 bit quantlarda bile feci işler ortaya koyuyor(kapladığı alan ve istediği donanıma kıyasla).
Ama 4 tane Mac'ı üstüste dizip Claude'm oldu diyenler kesinlikle yalan söylüyor, hayal satıyor. İşi için kullanacak olanlar yüksek yatırımlarla da olsa mantıklı bir yatırım haline geliyor. Tüketici donanımında çalışan modeller bir Claude olamasalar da yüzüne bakılmayacak modeller kesinlikle değiller.
Tam olarak gereksimlerinizi ve kullandığınız ara çözümleri bana yazabilir misiniz? Term olarak da en azından amaçlarını da öğrenmiş olurum. Bu durumda iyi bir araştırma da yapabilirim.
