Maddi yönden bakmazsak oda büyüklüğünde cihazlara gerek yok; 2 tane Mac Studio M5 Max ile 1 TB'lık VRAM elde ediliyor. Hem kaç katı az güç çekiyor hem de yer kaplamıyor. Ben Strata ile server'ı edip modeli OpenCode'a bağladım. Tabii OpenCode'da REA araçları ve birçok MCP sistemim var; yani yapamayacağı şey yok. Esas olay Ista Lab gibi bir kurumun özel sıkıştırma olayı. Normalde çalışmayacak modeli parçalara bölüyorlar; 5-6 parçaya ayrılıyor, ona göre de Strata bölümlendiriyor. Parçaların kimini VRAM'e atıyor, kimini RAM'e veya CPU'ya kullanıyor. Bundan dolayı hem iyi sıkıştırma hem de dağıtım ile inanılmaz şekilde kullanılabiliyor. Ben program crackleme ve C++ oyun yapımı için kullanıyorum daha çok. Llama CPP'den bile iyi, baya şaşırdım; 1M context'te gram token düşmedi.
Tam olarak gereksimlerinizi ve kullandığınız ara çözümleri bana yazabilir misiniz? Term olarak da en azından amaçlarını da öğrenmiş olurum. Bu durumda iyi bir araştırma da yapabilirim.
