Bu incelememizde yapay zeka sistemlerinin donanım altyapılarını irdeleyeceğiz.
CPU (merkezi İşlem Birimi) vazgeçilmez bir komponent olmakla birlikte yoğun işlem gücü gerektiren uygulamalarda yetersiz kalır, bu sebeple daha hızlı matematiksel işlem yapabilen birimlere ihtiyaç duyulur. Daha önceki incelemelerimizde oyun bilgisayarlarının grafik işlemcilerinin (örn: GeForce) hızlı işlem yapabildiklerini belirmiştik. GPU aynı anda çok sayıda matematiksel işlemi yapmak üzere tasarlanmıştır, özellikle derin öğrenme işlemlerinde milyonlarca matris işlemini çok kısa sürede tamamlayabilir. NVIDIA, AMD (Radeon) gibi ürünler bu amaçla tasarlanmış ve üretilmişlerdir. Derin öğrenme modelleri, ağırlıklar ve veri girişleri üzerinde milyonlarca matris çarpımı ve vektör işlemi yapar. Örneğin bir katmandaki nöronlar, giriş verisiyle ağırlık matrisini çarparak çıktı üretir. Bir GPU’da binlerce paralel işlemci (örn: CUDA core) binlerce işlemi paralel yapabilir. GPU’lar için özel olarak geliştirilen yazılım platformları sayesinde, AI kütüphaneleri GPU’larla doğrudan entegre çalışır, bu da hız demektir. CUDA (NVIDIA) ya da ROCm (AMD) sayesinde GPU hafızaları çekirdekler ile maksimum hızda çalışırlar. GPU’lar yapay zeka dışında otonom araçlar, yüz tanıma sistemleri, GPT gibi büyük dil modellerinde kullanılmaktadır.
TPU (Tensor Processing Unit) ise bu köşede ilk defa bahsediyoruz, özelikle frameworkler için tasarlanmış derin öğrenme işlemlerini hızlandırmak için optimize edilmiş bir Google ürünüdür. Yüksek performans göstermesine rağmen enerji talebi düşüktür. Son olarak FPGA ve ASIC çipsetler her derde deva ürünler olarak donanım özelleştirme, gerçek zamanlı uygulamalar için optimize edilmiş hızlı ve düşük enerji tüketen ürünlerdir. TPU’lar özelleştirilmiş ASIC uygulamalardır.
Çevre ürünlerine bakacak olursak RAM, SSD/NVme gibi hızlı yazma ve okuma performansı gösteren hafıza çipleri, çok sayıda işlemcinin bağlandığı yüksek hızlı ağ altyapılar (NVKink, InfiniBand gibi) kullanılır. Sistemin önemli bir başka parçası da soğutma sistemleridir ki bu sistemlerde ayrıca enerji tüketicileridir.
