Intel Core Ultra 5 245KF, RTX 5060 Ti 16 GB ve 96 GB RAM’den oluşan ASUS Agent Computer sisteminde yerel yapay zekâ modellerini deniyoruz. Ollama, OpenCode ve Visual Studio Code üzerinden kurulum adımlarına bakıyor; kod analizi, düzenleme ve dosya sınıflandırma senaryolarındaki performansı ölçüyoruz.
Agent Computer Nedir?
Agent Computer, yerelde yapay zeka modelleri çalıştırmaya yeterli olan bilgisayarlar diyebiliriz. Yani bunun için özel bir donanım şartı yok. Ama burada şöyle bir fark var. ChatGPT, Gemini, Claude gibi web üzerinden kullanılabilen yapay zekaların yapabildiği işlevler sınırlı. Hatta muhtemelen çoğu kişi sadece soru sorup onun cevabını almak için kullanıyor.
Ancak Agent Computer konseptinde, yerelde çalıştırdığınız yapay zekaya kendi işlerinizi yaptırabiliyorsunuz. Tabi ki bunları buluttaki modelleri kullanarak yapmak da mümkün. Google’ın Antigravity, Claude’un kendi Claude Code aracı ve ChatGPT’nin Codex gibi araçları mevcut. Bu araçlarla birlikte isterseniz kendi bilgisayarınızda da işlem yaptırabiliyorsunuz. Ancak ücretsiz planı kullanacak olursanız sık sık limitlere takıldığınızı göreceksiniz. Abonelik maliyeti, seçtiğiniz sağlayıcıya ve plana göre değişiyor.
Bununla birlikte her model, her kullanım alanı için uygun olmuyor. Diyelim metin yazdırma konusunda Gemini veya Grok kullanacaksınız ama bir yandan da Claude’a kod yazdırıp proje yapmaya çalışıyorsunuz. Birden fazla sağlayıcıdan abonelik aldığınızda toplam aylık maliyet de artıyor. Ama yerelde kendi modelinizi kullanabildiğiniz zaman, almanız gereken bir abonelik veya takılmanız gereken bir limit olmuyor. Donanımınızın izin verdiği yere kadar çok rahat bir şekilde gidebiliyorsunuz.
Yapay Zeka Çalıştırmak İçin Sistem Gereksinimleri Neler?
Peki yapay zeka modellerini bilgisayarımızda nasıl çalıştırabiliriz? Sistem gereksinimleri neler?
Şunu belirtmekte fayda var: Google’ın Gemini Flash’ı veya Argon’u ya da Claude’un Haiku, Sonnet veya Opus gibi büyük dil modellerini kendi makinenizde çalıştırmayı beklemeyin. Çünkü bu modeller devasa büyüklükte ve bütün her şeye hitap etmesi için hazırlanmış modeller. Bu yüzden önce kendi amacımıza uygun olan modeli bulmamız gerekiyor.
İşlerinizi yerel olarak otomasyona bağlayacak güçte bir yapay zeka modeli çalıştırmak istiyorsanız; ekran kartınızın güçlü ve mümkün olduğunca yüksek VRAM kapasitesine sahip olması, sistem RAM’inizin yeterli boyutta bulunması ve işlemcinizin de darboğaz yaratmayacak seviyede olması gerekiyor. Peki neden ekran kartı bu kadar kritik?
Bunun için yapay zekanın arka planda nasıl çalıştığına bakmak gerekiyor. Derin öğrenme ve büyük dil modelleri, geleneksel yazılımlar gibi karmaşık mantıksal sorgulardan ziyade trilyonlarca matris çarpımı ve toplama işlemi üzerinden çıktı üretiyor. Modele bir girdi verildiğinde hesaplanan olasılık dağılımlarına göre sonraki kelimeler ardışık olarak belirleniyor.
Klasik bir işlemcide karmaşık kontrol adımlarını yöneten ve sıralı görevleri yüksek saat hızlarıyla çözen az sayıda güçlü çekirdek bulunuyor. Ancak yapay zekada ihtiyaç duyulan şey karmaşık dallanma mantıklarından ziyade aynı anda binlerce matematiksel işlemi yürütebilen paralel hesaplama gücü. Ekran kartlarında grafik işleme kökeninden gelen binlerce bağımsız çekirdek ve matris matematiğine özel Tensor çekirdekleri yer alıyor. Bu sayede trilyonlarca çarpma işlemi saniyeler içinde tamamlanıyor.
Modelin çalışabilmesi için tüm parametrelerinin ve işlem verilerinin belleğe yüklenmesi önemli. Neden doğrudan sistem RAM’i yerine ekran kartı belleği derseniz, temel sebep bant genişliği. Çift kanal bir DDR5 sistem belleği 128-bit veri yolunda ortalama 60–100 GB/s hız sunarken modern ekran kartları 256-bit / 384-bit geniş veri yolları ve GDDR6/GDDR6X bellekleriyle 500 GB/s ila 1 TB/s arasında devasa bir veri akışı sağlıyor. Bu sayede veri hesaplama birimlerinin veri bekleme süresi ortadan kalkıyor ve token üretim hızı artıyor.
Ekran kartı belleği yetersiz kaldığında modelin bir kısmı sistem RAM’ine aktarılabilir. Ancak bu durumda veri, PCIe hattının ve görece yavaş kalan sistem RAM’inin darboğazına takılıyor. Tamamen VRAM içinde saniyede 40–50 token üreten bir model, ağırlıklarının bir kısmı bile RAM’e taştığında 3–8 token/s seviyelerine kadar gerileyebiliyor.
llmfit ile model seçimi
Donanım bu yüzden önemli. Ancak hangi modeli çalıştırabileceğinizi tahmin etmeye gerek yok. llmfit isimli araç, sizin donanımınızı tarıyor ve çalıştırılmaya en müsait modelleri bulmanıza yardımcı oluyor.
GitHub adresine gidip llmfit-vX.Y.Z-x86_64-pc-windows-msvc.zip dosyasını indirip klasöre çıkarıyoruz ve çift tıklayıp çalıştırıyoruz.
Uygulama donanım taramasını bitirdikten sonra modelleri listeliyor. Sizde modeller görünmezse sağ üstten “Available” filtresini “Installed” değil “All” yapın. Modellerin gelmiş olması gerekiyor. Şimdi burada bakacağımız iki önemli unsur var: “Use Case” yani kullanım amacı ve “Fit” yani bu model makinemize uyar mı buna bakmak. “Use Cases” kısmında General, Coding, Reasoning, Chat, Multimodal ve Embedding var. İstediğiniz kullanım alanına göre bu filtreyi ayarlayabilirsiniz. Hemen sağda ise “Caps” filtresi var. Modellerin neler yapabildiğini gösteren filtre bu. “Tool Use” seçeneği özellikle kodlama kısmında lazım olan bir yetenek. “Voice” ile ses analizi yaptırabilirken “text-to-speech” ise yazıdan ses üretebilen bir model olduğunu gösteriyor. “Vision” ise görsel analizi yapabiliyor.
Ardından karşımıza gelen modellerin “Fit” durumuna bakacağız. “Perfect” yazanlar bu model makinenizde sorunsuz ve performans kaybı olmadan çalışır demek. “Good” dediği yine sorunsuz çalıştırabilirsiniz ama “Perfect”in neredeyse yarı tok/s hızında çalışması gibi düşünebilirsiniz. Mesela “Perfect” ile 50 tok/s alabiliyorsanız “Good” ile 25-27 tok/s civarı alırsınız. Tabi bu donanımdan donanıma değişen bir durum. Eğer “Marginal” yazıyorsa çok sınıra yakın bir şekilde modeli çalıştırabilir. Ama bu durum sistem kaynaklarını çok fazla tüketmesine yol açar. “Too Tight” ise muhtemelen VRAM’iniz veya RAM’iniz bu modeli açmaya yetmeyecektir.
Peki model seçerken neye göre seçmeliyiz? Donanım yettiği kadarıyla yüksek parametre sayısına sahip modeller daha iyi olacaktır. Parametre ne kadar büyükse modelin sahip olduğu bilgi haznesi de o kadar fazla oluyor.
Quantizasyon ve model dosya formatları
Bunun yanında bir de modellerin Quantizasyon yöntemine de bakmak gerekiyor. Quantizasyonu şu şekilde açıklayabiliriz. Yapay zeka modelleri özünde birer matris hesabı yapmaktan ibaret. Siz bir girdi verdiğinizde yapay zeka buradan kelime tahmin için arkada matris hesabı yapıyor. Modeller ilk eğitildiğinde FP16 formatında eğitiliyor. Her bir veri parametresi başında 2 bayt bellek alanı gerekiyor. 8B parametreli ve FP16 quantizasyonuna sahip bir model GPU’nuzda ~16 GB VRAM kullanacak.
Açık ağırlıklı modeller yayınlandıktan sonra insanlar bu modelleri alıp bellek ihtiyacını küçültmek için modelleri kırpıyorlar. Q8, Q5-6, Q4, Q1-3 gibi quantizasyon seviyeleri çıkıyor ortaya. Bu sayede daha düşük bellek ve VRAM’e sahip makinelerde bu modeller çalıştırılabiliyor. Mesela FP16 için parametre başına 2 bayt demiştik. Q8 için ~1.06 bayt gibi bir karşılığı var. Bu şekilde modellerin bellekte kapladığı alan düşürülebiliyor. Ancak dediğimiz gibi, bu işlem sonrasında model kırpıldığı için bilgi kaybı yaşanıyor. O yüzden nasıl Quantize edildiği çok önemli.
Quantize edilen bu modeller farklı dosya formatlarıyla karşımıza çıkıyor. GGUF (GPT-Generated Unified Format) formatı işlemci ile ekran kartı belleğini ortak kullanabildiği için ev kullanıcılarının en çok tercih ettiği seçenek oluyor genelde. Modelin tamamını güçlü bir ekran kartına sığdırabilen kullanıcılar için EXL2 formatı çok daha yüksek kelime üretim hızları sunuyor. AWQ ve GPTQ formatları da ekran kartı odaklı çalışıyor ve özellikle düşük bit seviyelerinde modelin akıl yürütme becerisini korumada başarılı. Safetensors formatı ise modellerin orijinal ve sıkıştırılmamış hâlini güvenli bir şekilde saklamak için kullanılıyor. Tercih edeceğiniz formatı belirlerken modeli sadece ekran kartında mı yoksa sistem belleğiyle ortak mı çalıştıracağınıza bakmanız gerekiyor.
Ardından kullanacağınız platform kalıyor. Biz bu incelemede Ollama platformunu kullanacağız. llama.cpp gibi başka platformlar da var. Eğer model formatını seçtiyseniz platformu da ona göre seçmeniz gerekli. Ollama platformunda mesela AWQ modellerini çalıştıramıyorsunuz. Kullanmak istediğiniz modelin GGUF hâlini bulmanız gerekiyor ya da o formata uygun platformu kullanmanız gerekiyor.
Ollama Kurulumu
irm https://ollama.com/install.ps1 | iex
Ollama’yı kurmak için Ollama’nın sitesinde yer alan komutu alıyoruz ve bir PowerShell penceresi açıp komutu yapıştırdıktan sonra çalıştırıyoruz. Kurulum biraz uzun sürebilir.
Kurulum bittikten sonra ollama –version komutuyla kurulumun başarılı olup olmadığını görebilirsiniz.
Başlat menüsünden Ollama uygulamasını açıyoruz ve açıldıktan sonra sağ üstteki çarpıdan kapatmanız yeterli. Bu, arka planda Ollama servisinin çalışmasını sağlayacak.
Ardından bir terminal açıyoruz ve önce model indirmemiz gerekiyor.
ollama pull model-name
Komutuyla modelleri indirebilirsiniz. llmfit uygulamasında eğer aradığınız model kullandığınız platforma uygunsa, doğrudan llmfit açık ve model seçiliyken “d” tuşuna bastığınızda otomatik olarak çekiyor. Eğer yoksa aradığınız modeli HuggingFace platformundan arayıp platformunuza uygun olarak yeniden düzenlenmiş modeli indirmeniz ve gerekli ayarlamaları yapmanız gerekiyor.
OpenCode Kurulumu
Eğer terminalden Claude Code gibi bir arayüzle yapay zekanızı kullanmak isterseniz OpenCode güzel bir alternatif. Doğrudan Claude Code üzerinden de kullanabilirsiniz ancak biz 12B Gemma 4 modelini denediğimizde bile basit bir soru için 2 dakika düşünüyordu.
Ayrıca terminalden kullanılabildiği gibi OpenCode’un masaüstü uygulaması da mevcut. Doğrudan masaüstü uygulama kullanmak isteyenler kullanabilir. Model ayarlamasını manuel yapılandırmanız gerekebilir, baştan söylemiş olalım.
OpenCode’u terminalde kullanmak için öncelikle NodeJS indirmeniz gerekiyor. NodeJS 22 LTS sürümünü kurabilirsiniz. Ardından bir terminal açıp şu komutla kurulumu gerçekleştiriyoruz:
npm install -g @opencode/cli
Kurulum tamamlandıktan sonra terminali kapatıp tekrar açıyoruz ve opencode komutunu girdiğimiz zaman OpenCode çalışıyor. Ama bu hâliyle yereldeki modele doğrudan erişemiyoruz. OpenCode’u özel bir şekilde açmamız gerekiyor.
OLLAMA_CONTEXT_LENGTH="32768" ollama launch opencode --model model-name
Windows PowerShell için:
$env:OLLAMA_CONTEXT_LENGTH="32768"; ollama launch opencode --model model-name
Doğrudan Ollama’nın kendisi OpenCode’u çalıştırabiliyor. Bu şekilde kullanabilirsiniz. OLLAMA_CONTEXT_LENGTH çevre değişkeni de modelin bağlam penceresini biraz daha geniş yapmasını sağlıyor. Gemma 4 12B modeli için bağlam pencere genişliği varsayılanda 4096 olarak geliyor ve en basit işlemde bile kolayca dolabilecek bir limit. Bu sayede bağlamı artırıyoruz. Ancak bu durum donanım yeterliliğinize ve modelin ne kadar bağlama hakim olabildiğiyle alakalı. Siz 1 milyon bağlam penceresi de sağlasanız model bu bağlamı hatırlayamadığı sürece hiçbir işe yaramaz, aksine halüsinasyon görmeye başlar. Modelinize uygun bağlam penceresini araştırmanız gerekiyor. Modelin GGUF dosyası elinizde varsa, bağlam penceresini görmek için şu siteyi kullanabilirsiniz.
GGUF model bilgilerini görüntüleme aracı
Visual Studio Code İle Kullanmak
OpenCode Desktop yerine doğrudan kendi editörünüz üzerinde kullanmak isterseniz bu da mümkün. Bu sayede kod değişikliklerini daha rahat görebilir ve buna göre aksiyon alabilirsiniz.
Visual Studio Code’u kurduktan sonra eklenti mağazasına gelip “Continue” yazıyoruz ve “Continue – open-source AI code agent” eklentisini kuruyoruz. Daha sonra sağdaki menüye “Continue” eklentisinin ikonu geliyor. Tıklıyoruz ve açılan menüden sağ üstteki ayarlar simgesine basıyoruz. Soldan “Configs” seçeneğine tıklıyoruz ve “Main Config”in sağındaki çark simgesine tıklıyoruz.
Burada “models:” satırından sonra artık modellerinizi tanımlamaya başlayabiliyorsunuz. Şema şu şekilde:
- name: Model İsmi
provider: Platform
model: model-name
roles:
- chat
- edit
- apply
Örnek olarak Qwen3.5 OmniCoder modeli için şöyle bir ayarlama yaptık:
- name: Qwen3.5 OmniCoder
provider: ollama
model: qwen-omnicoder:latest
roles:
- chat
- edit
- apply
qwen-omnicoder:latest bizim HuggingFace üzerinden istediğimiz modelin GGUF dosyasını indirerek oluşturduğumuz manuel model adı. Sizdeki model adı ne ise onu girmeniz gerekiyor. Modellerin isimlerine bakmak için terminalde ollama list komutunu çalıştırabilirsiniz. Kurulum adımları bu şekildeydi.
Benchmarklar ve Kullanım Senaryoları
Gelelim elimizdeki sistemi test etmeye. Bunun için özel bir benchmark uygulamayacağız. Doğrudan kullanım senaryosunda nasıl bir performans gösterdiğini görebileceksiniz. Önce sistemimizi bir tanıyalım:
- ASUS PRIME B860M-K anakart
- Intel Core Ultra 5 245KF
- G.Skill Trident Z5 Neo RGB F5-6000J2836F48G 2×48 GB DDR5-6000 RAM
- ASUS DUAL GeForce RTX 5060 Ti GAMING OC 16 GB
- Lexar NQ790 PCIe Express 4.0 1 TB SSD
- ASUS A21 Plus Case
Ayrıca kasanın içi öndeki 3 fanla birlikte soğutuluyor.
Yapay zeka olarak Qwen3.5 9B OmniCoder Claude Polaris GGUF modelini kullandık. Bağlam penceresi 262.144 olsa da biz 65536 olarak girdik ve o şekilde test ettik.
mradermacher/Qwen3.5-9B-OmniCoder-Claude-Polaris-GGUF · Hugging Face
Önce OpenCode ile projemizi açtık ve projenin belli bir altyapısını incelemesini istedik. Analiz işlemi 42 saniye sürdü ve ortalama 35.7 tok/s değeri elde ettik.
Ardından bu altyapı üzerinde yapılmasını istediğimiz değişikliği belirttik ve kodu düzenlemeye başladı. Düzenleme yapılacak dosya 1200+ satırlık bir JavaScript dosyası. Dosya satır sayısı uzun olsa da genel olarak içerisindeki yapı düzenli olduğundan aradığını kolay bir şekilde buldu. Toplam 3 dakika 17 saniye içerisinde de ilk düzenleme işlemini tamamladı. Burada da ortalama 44.2 tok/s değeri elde ettik.
Yapılan değişikliklerden sonra hata olduğunu görünce hatayı kopyalayıp olduğu gibi yapay zekaya attık ve düzeltmesini bekledik. Syntax hatası olduğu için 10 saniyede hataları düzeltti ve çalıştığını doğruladı. Ortalama 43.7 tok/s değeri elde ettik.
Yazılan kodun kalitesi de genel olarak kod tabanına benzerdi. İyi olduğunu söyleyebiliriz yani.
Ayrıca bu modelin 9B parametreli Q6 quantize hâlini kullandığımızı belirtelim.
Kod yazıldıktan sonra kodun kendisi kontrol etmek için bu sefer Visual Studio Code üzerinden yerel git deposunun gösterdiği değişikliklere baktık ve aynı modelle farklı bir sohbet açtık. Bu sefer de yapılan değişikliklerin ne kadar doğru olduğunu doğrulamasını istedik.
OpenCode’un aksine burada model herhangi bir şekilde “Düşünme” aşamasına girmedi. Doğrudan cevap vermeye başladı. Bu da tabi ki çıktı kalitesini ciddi şekilde etkiliyor. Olması gerekenden daha uzun bir yanıt veriyor ve bütün yanıtı okuyup ne kadar doğru çıktı verdiğinden emin olmanız gerekiyor.
Eklentinin GitHub sayfasına baktığımızda ayar dosyasına eklememiz gereken bir alan daha var:
requestOptions:
extraBodyProperties:
think: true
Bu ayarları aktif etmek istediğiniz modelin ayarına ekliyorsunuz ve “Düşünme” aşaması etkinleşiyor. Model buna göre cevap veriyor. Bu ayarı ekledikten sonra kod tabanında belli bir altyapının nasıl çalıştığını açıklamasını istediğimizde, cevap yarıda kesildi. Özel ayarlama gerekebilir bu eklentiyi kullanırken.
Daha genel kullanıma örnek olması açısından bir dizindeki 14 video dosyalarını, bu incelemenin yazısına göre kategorilendirmesini istedik.
Toplam 1 dakika 27 saniye sürdü ve 45.6 tok/s değeri elde ettik. Bu işlemi, kodlama için kullandığımız Qwen3.5 modeli ile gerçekleştirdik. Model doğrudan görüntüleri analiz edemediğinden, dosyaların isimlendirilmesine bakarak inceleme yazısının ilerleyişine göre alt klasörler hâlinde organize edebildi. Daha genel, görüntü işleyebilen yapay zeka modelleri doğrudan görüntü içeriğini analiz ederek bu kategorilendirme işlerini yapabilir. Seçeceğiniz model çok önemli.
| İşlem | Süre | Ortalama üretim hızı |
|---|---|---|
| Kod altyapısını analiz etme | 42 saniye | 35,7 token/s |
| Kod düzenleme | 3 dakika 17 saniye | 44,2 token/s |
| Sözdizimi hatasını düzeltme | 10 saniye | 43,7 token/s |
| 14 video dosyasını adlarına göre sınıflandırma | 1 dakika 27 saniye | 45,6 token/s |
Sonuç
Gelelim sonuç kısmına. ASUS’un bu yapay zeka sistemi günlük işlerinizi halledebileceğiniz modelleri çalıştırmada oldukça başarılı diyebiliriz. Biz Qwen3.5 9B parametreli modeli hızlı bir şekilde çalıştırabildik ve düşük bir modele göre oldukça akıllı. Araç kullanım becerisi günlük işler için yeterli.
Yüksek bellek kapasitesi artı olarak eklenebilir. Her ne kadar modelin tamamını ekran kartında çalıştırabiliyor olmak en iyisi olsa da fazladan bellek sayesinde yedek bellek alanı elde etmiş oluyoruz. 1 TB depolama alanı ise bu tarz küçük modelleri depolayabilmek için yeterli düzeyde.
