Yapay Zeka için Bellek Planlaması: Parametre, VRAM ve Birleşik Bellek
HP AI WorkstationYerel yapay zeka için iş istasyonu seçerken en belirleyici ölçüt bellektir: bir model, grafik işlem biriminin erişebildiği belleğe sığıyorsa çalışır, sığmıyorsa çalışmaz. İşlemci hızı ve ekran kartının işlem gücü modelin ne kadar hızlı yanıt vereceğini etkiler; modelin çalışıp çalışmayacağını ise bellek belirler. Bu yazı, bir modelin bellek ihtiyacının nasıl kabaca hesaplanacağını ve ayrık ekran kartı belleği ile birleşik bellek arasındaki farkı açıklar. Verilen hesaplar yaklaşık değerlerdir; kesin ihtiyaç kullanılan yazılıma göre değişir.
Ürün sayfası: HP AI Workstation ailesi — modeller ve teklif.
Parametre sayısı neyi ifade eder?
Bir yapay zeka modelinin büyüklüğü parametre sayısıyla ifade edilir. Parametreler, modelin eğitim sırasında öğrendiği sayısal değerlerdir; model çalışırken bunların tamamı bellekte tutulur. Yedi milyar parametreli bir model ile yetmiş milyar parametreli bir model arasındaki fark, yalnızca yetenek farkı değil, doğrudan on katlık bir bellek farkıdır.
Sayısal hassasiyet ve niceleme
Her parametrenin bellekte kapladığı yer, saklandığı sayısal hassasiyete bağlıdır. 16 bit hassasiyette bir parametre 2 bayt yer kaplar. Niceleme (quantization) adı verilen yöntemle parametreler daha düşük hassasiyette saklanabilir: 8 bitte 1 bayt, 4 bitte yaklaşık yarım bayt. Niceleme model kalitesinde sınırlı bir kayba karşılık bellek ihtiyacını önemli ölçüde düşürür; yerel kullanımda yaygın olarak tercih edilir.
Kaba hesap nasıl yapılır?
Yaklaşık bellek ihtiyacı, parametre sayısı ile parametre başına bayt değerinin çarpımıdır. Yetmiş milyar parametreli bir model 16 bit hassasiyette yaklaşık 140 GB, 8 bitte yaklaşık 70 GB, 4 bitte yaklaşık 35 GB bellek gerektirir. Yedi milyar parametreli bir model için aynı değerler yaklaşık 14 GB, 7 GB ve 3,5 GB'dir.
Bu değerler yalnızca modelin ağırlıklarını kapsar. Çalışma sırasında bağlam için ek bellek gerekir: modele verilen metin uzadıkça ve aynı anda işlenen istek sayısı arttıkça ihtiyaç büyür. Uygulamada hesaplanan değerin üzerine bir pay bırakmak gerekir; kapasiteyi sınırda seçmek, uzun dokümanlarla çalışırken sorun çıkarır.
Yetmiş milyar parametreli model için yaklaşık bellek
Yalnızca model ağırlıkları için yaklaşık değerler; bağlam için ek bellek gerekir.
Ayrık ekran kartı belleği ve birleşik bellek
Ayrık ekran kartlı sistemlerde model, kartın kendi belleğine (VRAM) yüklenir. Sistemde ne kadar bellek olursa olsun sınır kartın belleğidir; daha büyük model için daha yüksek bellekli kart veya birden fazla kart gerekir. Dört ekran kartına kadar genişleyen HP Z8 G5 Fury bu yaklaşımın masaüstü örneğidir.
Birleşik bellek mimarisinde tek bir bellek havuzu işlemci ile grafik işlem birimi arasında paylaşılır. HP'nin teknik belgelerine göre HP Z2 Mini G1a'da 128 GB'a kadar belleğin 96 GB'a kadar bölümü ekran kartına ayrılabilir. HP ZGX Nano G1n AI Station ise 128 GB birleşik bellekle gelir; HP'nin verilerine göre tek cihazda 200 milyar parametreye kadar modellerle çalışılabilir. Bu tür üretici değerleri belirli hassasiyet ve test koşullarına dayanır; kendi iş yükünüz için yukarıdaki kaba hesabı ayrıca yapmak yerinde olur.
Bellek mimarisine göre HP modelleri
| Model | Mimari | Bellek |
|---|---|---|
| Z8 G5 Fury | Ayrık ekran kartı | Dört karta kadar |
| Z2 Mini G1a | Birleşik bellek | 96 GB'a kadar ekran kartına |
| ZGX Nano G1n | Birleşik bellek | 128 GB |
Eğitim, ince ayar ve çıkarım farkı
Yukarıdaki hesap, hazır bir modeli çalıştırmak (çıkarım) içindir. Bir modeli kendi verinizle uyarlamak (ince ayar) aynı modeli çalıştırmaktan daha fazla bellek ister; sıfırdan eğitim ise çok daha büyük kaynak gerektirir. Planlama yaparken hangi işin yapılacağını netleştirmek, yalnızca model büyüklüğüne bakmaktan daha doğru sonuç verir.
Planlama adımları
Bu adımların sonunda ortaya çıkan ihtiyaç, HP AI Workstation ailesindeki modellerle eşleştirilir. Cadbim, ilettiğiniz model ve uygulama listesine göre uygun kapasiteyi teklif aşamasında birlikte planlar.
Sık Sorulan Sorular
VRAM ile sistem belleği aynı şey midir?
Niceleme model kalitesini düşürür mü?
Yetmiş milyar parametreli bir model için ne kadar bellek gerekir?
Bellek yetmezse ne olur?
Yapay zeka iş yükünüze uygun HP modelini birlikte belirleyelim
Çalıştıracağınız modelleri ve uygulamaları iletin; doğru model ve konfigürasyon için teklif hazırlayalım.
Teklif İste Modelleri İncele
