Ollama ile GPT Offline AI kullananlar konusu

Ollama ile offline AI kullananlar buradan devam etsin. Her türlü hata veya çözümleri yazalım. Ben GPT'nin en üst sürümünü indirdim kullanıyorum. Öncelikle GPT-oss: 120b indirdim biraz kullandım. Ancak yasal kısıtlamalar bazı kısıtlandırmalar vardı. Sonuçta cihazın içinde bana özel AI her şeyi ile çalışması lazımdı. Sonradan da halka açık olan GPT-oss-abliterated: 120b olan sınırsız sürümü bulup indirdim. Ama sanki diğeri gibi güçlü çalışmadı. Ollamada da menüler çıkmadı derin düşünme seçeneği. Durumlar bu şekilde. Sizde nasıl veya deneyimleriniz nedir? Donanım da çok yiyor bu arada 75 GB RAM gördüğü oldu işlemci de yüzde 50 gibi ekran kartı genel olarak yüzde 30 kullanıyor.


Kullanan yok mu?

Abliterated ile bugün deneme yaptım. C sharp da hesap makinesi kodu yazdırdım. Çalıştı hata vermedi Visual Studio da. Ancak çok basit arayüz rakamlara bastım tamamen işlevsizdi. Yani offline olarak kullanmak isteyenler için bayağı hayal kırıklığı yaşattı. ChatGPT 2 gibiydi az çok. Belki daha fazla deneme yapmak gerekiyor.

Güncelleme: Ollamada beklenen performansı alamadım. Lm Studio'ya geçtim harika çok daha gelişmiş ve her model rahatça bulunuyor arama kısmından. Hem de indiriliyor. Bakalım bekleneni alabilecek miyim?

Yeni not: Sistemde her parçayı undervolt yaptığımdan sınıra dayansa dahi ısınmıyor bu da bozulma yanma riskini ortadan kaldırıyor. Bundan dolayı sistemi daha da zorlayarak qwen3-VL-235B-A22b-ınstruct-abliterated-gguf olanı kurdum. 4.53 tok/sec alıyorum. Taşma donma yok. Bazı ayarlar da yaptım. Meğerse önceden GPU kapalıymış CUDA12 seçerek açtım.

Kullandığım model GPT 4o ve Turbo'dan daha iyi olduğu belirtilmiş tablosu da var. Sansürsüz kısıtlamasız olması da muhteşem bir şey.

Gemini'den özel model ayarları da yaptım. 3090, 5950X, 128 GB RAM. RAM'in yüzde 85 civarı doluyor, ekran kartı 55 civarı ve yukarı, işlemci de 60 gibi geziyor. Modeli kurmak isteyenler için örnek olsun.

Görsel