John Carmack, 6 Şubat 2026’da X’te paylaştığı bir “zihin egzersizi” ile yapay zekâ hızlandırıcılarını beslemek için uzun bir fiber optik hattın döngü şeklinde “yüksek hızlı ara bellek” gibi kullanılabileceğini önerdi. Carmack, tek mod fiberde 200 km mesafede 256 Tb/sn’lik aktarımın laboratuvarlarda gösterildiğine dikkat çekiyor; bu hız ve gecikme birlikte düşünüldüğünde kablonun içinde aynı anda “uçuş hâlinde” yaklaşık 32 GB veri tutulabiliyor. Yani veri sürekli akarken, bant genişliği 32 TB/sn ölçeğine çıkabiliyor.
Bu yaklaşım, bilgisayar tarihindeki “delay-line memory” fikrinin çağdaş bir yorumu. Rastgele erişimli değil; veri zamanla adresleniyor ve sırayla geliyor. Carmack, özellikle ağırlık erişim düzeni öngörülebilir olan sinir ağlarında (özellikle çıkarım tarafında) bunun işe yarayabileceğini, çok daha büyük modeller için ise birden fazla döngünün ardışık işlenmesi gerektiğini söylüyor.
Fiber “önbellek”in artıları ve eksileri
- Artıları: Işığı taşımak, DRAM’i sürekli canlı tutmaktan daha az güç gerektirebilir. Fiber tarafında kapasite ve bant genişliği artışı da yıllardır güçlü bir ivmeye sahip.
- Eksileri: Gerçek dünyada 200 km’lik fiberi sarmak/işletmek maliyetli. Zayıflamayı telafi eden optik yükselteçler ve sonlandırıcı DSP zinciri güç avantajını törpüleyebilir. Ayrıca rastgele erişim olmadığından, iş yükünün sıralı akışa uyum sağlaması şart.
Carmack, kısa vadede daha uygulanabilir bir seçeneğe de işaret ediyor: Ucuz flash bellek modüllerini ortak, yüksek hızlı bir arayüzle doğrudan hızlandırıcılara bağlayıp, sayfa bazlı ve iyi boruhatlandırılmış okuma ile çok yüksek toplam okuma bant genişliği elde etmek. Bu, bugün üretim ortamındaki çıkarım servislerine daha yakın duran bir mühendislik yolu.
Yakın vadede gerçekçi örnekler
- Flash’ı hızlandırıcılara “yaklaştırma” fikirleri hızlanıyor. Kioxia’nın 5 TB kapasiteli ve modül başına 64 GB/sn sunan High Bandwidth Flash prototipi, PCIe 6.0’ın üzerine kurulan ve dizisel erişimde verimli çalışan bir yaklaşım sergiliyor.
- Akademide de DRAM’i aşan model boyutlarını flash üzerinden akışla çözmeye bakan çalışmalar var: “LLM in a Flash” modeli parametreleri flash’ta tutup büyük bloklar hâlinde okuyarak verimi artırmayı gösteriyor.
- Depolama tarafında KV önbelleğini kalıcı flash’a kaydırıp GPU’lara mikro-saniye ölçeğinde geri sunmayı hedefleyen “Augmented Memory Grid” gibi ürünleşen yaklaşımlar da ortaya çıktı.
- GNN eğitimini doğrudan SSD içinde hızlandıran FlashGNN gibi “in-SSD” tasarımlar, veri hareketini minimize ederek PCIe darboğazını aşmayı deniyor.
Büyük resimde, optik iletim tarafındaki rekorlar da yukarı yönlü: Örneğin araştırma laboratuvarları, standart uyumlu fiberlerde yüzlerce Tb/sn toplam kapasiteyi gösterdi. Bu ivme, Carmack’in “ışığın ölçeklenmesi bugün DRAM’den daha umut verici olabilir” gözlemini destekler nitelikte. Ancak fiber döngüyü gerçek bir “önbelleğe” dönüştürmek için, mimarilerin sıralı akışa uyarlanması ve tüm sistemin çok hassas zamanlanması gerekecek. Yani fikir ilham verici ve tartışmaya değer; pratikte ise yakın vadede flash tabanlı, yüksek bant genişlikli akış çözümlerinin öne çıkması daha olası.
Kaynak: www.techspot.com