Anthropic, Claude ile AMD GPU'da girdi işlemeyi yaklaşık 3 günde hayata geçirdi

Anthropic, Claude Mythos Preview'ı kullanarak bir Claude modelinin girdi işleme özelliğini AMD(AMD) MI355X GPU üzerinde yaklaşık 3 günde kullanılabilir performansa getirdiğini açıkladı. Duyurulan deneyin kapsamı modelin tamamı değil, yalnızca girdi işleme aşaması.

BlockBeats'in aktardığına göre Anthropic bu deneyi halka arz (IPO) roadshow'unda paylaştı. Gerekli GPU çekirdeklerinin neredeyse tamamını Claude'un taşıdığı ya da sıfırdan yazdığı, insan müdahalesinin ise az kaldığı belirtildi.

Girdi işleme, kullanıcının gönderdiği içeriği modelin okuyup hesaplamaya başladığı adım. Bu aşamanın AMD çipinde çalışması, yanıt üretimini de içeren tüm çıkarım sürecinin ya da büyük ölçekli hizmet performansının nasıl olacağı konusunda tek başına bir sonuç vermiyor.

Anthropic, geçmişte yeni bir çip platformunu devreye alırken onlarca mühendisin 6 ila 12 ay çalıştığını anlattı. Bu rakam platform geçişi deneyimini anlatıyor. Yaklaşık 3 günlük süre ise tek bir modelin girdi işleme özelliği için geçerli olduğundan, iki işin kapsamı aynı değil.

GPU çekirdeği, GPU üzerinde belirli bir hesaplamayı yürüten düşük seviyeli koddur. Mevcut çipe göre yazılmış bir çekirdeği başka bir GPU'da çalıştırmak için önce kod uyumluluğu kontrol edilir, ardından kod çipin mimarisine göre ayarlanır ve hesaplama sonuçlarıyla çalışma hızı test edilir.

Nvidia(NVDA) tarafından 2006'da kullanıma sunulan CUDA, GPU için program yazma ve çalıştırma platformu. BlockBeats, 2018 civarından itibaren PyTorch ve TensorFlow gibi başlıca derin öğrenme çerçevelerinin CUDA ve ilgili hesaplama kütüphanelerini yaygın biçimde kullandığını aktardı. Nvidia'nın CUDA dokümanı da platformun işlevlerini anlatıyor.

Nvidia ayrıca birden fazla GPU arasında iletişim, hata ayıklama ve performans optimizasyonu araçlarını da geliştirdi. Bu ortamda birikmiş kod ve araçlar nedeniyle başka bir çipe geçerken yalnızca kodu değiştirmek yetmiyor; uyumluluk ve performansı da dengelemek gerekiyor.

BlockBeats'e göre AMD MI355X 288 GB yüksek bant genişlikli bellek taşıyor. Ancak Nvidia GPU'ları için yazılmış çekirdekler AMD çipinde olduğu gibi çalışmayabilir, çalışsa bile performans beklentinin altında kalabilir. AMD mimarisine göre ayar yapmak ve tekrar tekrar test etmek bu yüzden gerekiyor.

AMD, CUDA programlarının taşınmasına yardımcı olan ROCm ve HIPIFY araçlarını sunuyor. Triton gibi platformlar arası araçlar da geçiş yükünü azaltıyor, ancak karmaşık düşük seviyeli hesaplama kodlarında ek optimizasyon gerekebiliyor. AMD'nin HIPIFY dokümanında ilgili araçlar tanıtılıyor.

TokenPost, daha önce MI355X'in ilk değerlendirmesinde bir mühendisin çalışmaya başlamasının ardından ana modelin performans grafiğinin hafta sonu boyunca yükseldiğini haberleştirmişti. Bu kez tek bir modelin girdi işleme aşaması ve yaklaşık 3 günlük çalışma süresi ortaya kondu.

Anthropic, halka arz başvurusunda Nvidia GPU'larını, AMD GPU'larını, Google(GOOGL) TPU'larını ve Amazon(AMZN) Trainium'unu kapsayan çoklu çip hesaplama tahsis sistemini yıllar içinde kurduğunu belirtti. Sistem, fiyat ve performansa göre hangi işin hangi çipte çalışacağını seçiyor.

Anthropic ile AMD, temmuzdaki ortak duyuruda Anthropic'in MI355X'i zaten kullandığını, Claude ile AMD GPU işlerini optimize edip ROCm geliştirmesini hızlandıracaklarını açıkladı. ROCm, AMD GPU'larda hesaplama programlarını çalıştıran yazılım ortamı. İki şirketin ortak duyurusunda iş birliği planı da yer alıyor.

Anthropic'in ortak kurucusu ve baş bilgi işlem sorumlusu Tom Brown(Tom Brown), o duyuruda “Farklı donanımlarda çalışınca her işe uygun donanımı atayabiliyoruz” dedi. Bu söz, Anthropic'in tek bir çipe bağımlı kalmayan bir işletim modelini hedeflediğini gösteriyor.

Yatırımcı Marcelo P. Lima(Marcelo P. Lima), CUDA'nın giriş engelinin ortadan kalktığını savundu. Analist Ben Pouladian(Ben Pouladian) ise bazı hesaplamaları AMD'de çalıştırmakla tüm sistemi büyük ölçekte istikrarlı ve maliyet açısından verimli işletmenin farklı şeyler olduğuna dikkat çekti.

AMD, Anthropic'e 50 milyar dolara (yaklaşık 6,71 trilyon won) kadar yatırım yapacak. İki şirket MI450 serisi GPU'lardan 2 gigawatt'a kadar kapasite kurmayı planlıyor. İlk 1 gigawatt'lık kurulumun 2027'nin ilk yarısında başlaması öngörülüyor.