1 milyon tokenlık dizilerde ek eğitim: Lila Sciences ve Anyscale 64 B200 GPU kullandı

Lila Sciences ve Anyscale, NVIDIA (NVDA) B200 GPU’larından 64’ünü kullanarak GLM-5.3-Flash modelini dizi başına 1 milyon tokene kadar ek eğitimden geçirdi. Genom kaybındaki %4,8’lik iyileşme ise 1 milyon tokenlık değil, 512.000 tokenlık dizilerle yapılan ayrı bir testte ölçüldü.

İki şirketin araştırma ekibi, 5’inde yayımladıkları ortak yazıda çalışmanın ayrıntılarını paylaştı. Modelin ek eğitiminde SkyRL kullanıldı; Anyscale’in Ray sistemi çalışanları koordine etti, platform ise görevleri yönetti.

Araştırmacılar, çalışmaya başladıklarında eğitim altyapılarının işleyebildiği uzunluğun 64 katı olan dizileri desteklediklerini belirtti. GLM-5.3-Flash’in yapılandırma dosyasında azami konum sayısı zaten 1.048.576 olarak belirtilmişti. Bu nedenle duyuru, 1 milyon tokenlık bağlamı destekleyen yeni bir modelin piyasaya sürüldüğü anlamına gelmiyor.

Rastgele tokenlar ve rastgele başlangıç ağırlıklarıyla yapılan testte, 64 B200 GPU ile 1 milyon tokenlık dizilerde saniyede 13.700 token işlendi. 256.000 tokenlık dizilerde ise hız saniyede 24.900 tokene ulaştı.

Aynı rastgele veri testinde, 1 milyon tokenlık çalışmada GPU başına en yüksek bellek kullanımı 144,5 GiB oldu. Araştırma ekibinin B200 için belirttiği 178 GiB bellek kapasitesinin altında kaldı.

Gerçek genom testinde, insan referans genomu hg38’in 1. ve 2. kromozomları eğitim verisi, eğitime dahil edilmeyen 22. kromozom ise değerlendirme verisi olarak kullanıldı. Diziler 512.000 token uzunluğundaydı ve ek eğitim 80 adım sürdü.

Bu testte değerlendirme verisindeki kayıp %4,8 azaldı. Araştırmacılar, iyileşmenin önceki bağlamın daha fazla biriktiği dizilerin sonlarına doğru daha belirgin olduğunu aktardı.

SkyRL, 22 Ekim’de yayımladığı teknik yazıda ProLong-512K kitap verisiyle yapılan ayrı bir testi de paylaştı. GPU başına bellek kullanımı 512.000 tokenlık dizilerde 122 GiB, 1 milyon tokenlık dizilerde 109 GiB olarak ölçüldü.

Kitap verisiyle yapılan 1 milyon tokenlık testte dizileri birden fazla GPU’ya bölmek için CP=4 bağlam paralelliği uygulandı. Girdi verileri ve çalıştırma koşulları farklı olduğu için bu bellek değerleri, rastgele veri testindeki 144,5 GiB ile doğrudan karşılaştırılamaz.

Araştırma ekibi, uzun dizilerde bellek kullanımını azaltmak için seyrek dikkat çekirdeğinin gerçekten çalışmasını sağlayacak değişiklikler yaptı. Token seçimi için gereken hesaplamalar bölünerek birden fazla GPU’ya dağıtıldı.

Eğitim sırasında ara değerler gerektiğinde yeniden hesaplandı veya CPU’ya taşındı; gereksiz hassasiyet artırımları da kaldırıldı. Ekip, bazı değişiklikleri Megatron-LM’e uyarlamak için çalışmaların sürdüğünü belirtti.

Araştırma ekibine göre genom, protein ve RNA dizileri ile günlere yayılan deney kayıtlarını kısa parçalara bölmek, veriler arasındaki yapıyı kaybettirebilir. Uzun dizilerle ek eğitim, bu tür bilimsel verilerin işlenmesine yönelik teknik bir deneme olarak sunuldu.

Açıklanan genom değerlendirmesi, uzun bağlamla yapılan eğitimde kayıp değerindeki değişimi ölçtü. Gerçek bilimsel problemlerin çözümünü veya otonom laboratuvarların performansını değerlendiren bir test değildi.

TokenPost daha önce Coinbase’in (COIN) kendi dolandırıcılık tespit modelini eğitirken SkyRL ve Anyscale ortamından yararlanmasını haberleştirmişti. Bu, genom eğitimi çalışmasından ayrı bir projeydi. Araştırma ekibi, bu çalışmada yaptığı kod değişikliklerini SkyRL’nin herkese açık deposuna yükledi.