Amazon, Trainium2 ve Trainium3 testleri için TorchNeuron’ı beta olarak açtı

Amazon($AMZN), mevcut PyTorch kodlarını kendi yapay zekâ çipleri Trainium2 ve Trainium3 üzerinde çalıştırmaya yardımcı olan TorchNeuron aracının açık beta sürümünü kullanıma sundu. Geliştiriciler, kodda cihaz ayarını değiştirerek Trainium’ı deneyebiliyor.

AWS, açık beta sürümünü 20’sinde duyurdu. PyTorch ise TorchNeuron’ın nasıl çalıştığını bir gün önce tanıttı. Araç, Apache 2.0 lisanslı açık kaynak olarak sunuluyor.

PyTorch, yapay zekâ modelleri oluşturmak ve eğitmek için kullanılan açık kaynaklı bir çerçeve. İş yüklerini farklı bir çipe taşırken kodu donanıma göre uyarlamak ve sonuçları doğrulamak gerekebiliyor. TorchNeuron, bu süreçteki yükü azaltmayı amaçlıyor.

Mevcut kodda modelin çalışacağı cihazı .to('neuron') olarak belirtmek Trainium’ı kullanmaya başlamak için yeterli. Araç; araştırma ve hata ayıklamada kullanılan eager çalıştırmayı, performans optimizasyonu için torch.compile özelliğini ve dağıtık eğitim API’lerini de destekliyor. PyTorch, bu özelliklerin mevcut geliştirme akışında kullanılabilecek şekilde tasarlandığını belirtti.

‘Tek satır değişikliği’, cihaz geçişini başlatmanın bir yolunu ifade ediyor. Bu, tüm modellerin ve kütüphanelerin ek ayar gerektirmeden çalışacağı anlamına gelmiyor. Kod geçişinin kolaylaşması da tek başına Trainium’ın mevcut GPU’lardan daha düşük maliyetli veya daha yüksek performanslı olduğunu göstermiyor.

Ses yapay zekâsı şirketi Deepgram, PyTorch’un tanıtım yazısında kendi kıyaslama sonuçlarını paylaştı. Şirket, Trainium’da dolar başına işlenen giriş sesinin süresinin kullandığı GPU karşılaştırma ölçütüne kıyasla yaklaşık yüzde 60 daha fazla olduğunu açıkladı. Bu sonuç, Deepgram’ın değerlendirdiği görev ve karşılaştırma ölçütüyle sınırlı.