Günde 3 milyon sandbox: DeepSeek DSec altyapısını tanıttı

DeepSeek, yapay zekâ ajanlarının büyük ölçekli eğitimi ve değerlendirilmesinde kullandığı DSec sandbox altyapısını tanıttı. Bir üretim birimi yaklaşık 160 düğümden oluşuyor ve günde yaklaşık 3 milyon sandbox çalıştırabiliyor.

DeepSeek, ayın 19'unda arXiv'de 'DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale' başlıklı makalesini yayımladı. Kurucu Liang Wenfeng'in de aralarında bulunduğu 130'dan fazla araştırmacı makalenin yazarları arasında yer aldı. Bu bilgiler makale ve konuya ilişkin haberlerden derlendi.

Sandbox, yapay zekâ modelinin kod depolarını incelemesi, araç çağırması veya komut çalıştırması sırasında kullandığı izole çalışma ortamıdır. Yapay zekâ ajanları yalnızca yanıt üretmekle kalmayıp sonuçları kontrol ederek görevleri tekrarladığı için durumu koruyabilen ortamlara ihtiyaç duyuyor.

Makale, büyük ölçekli ajan eğitimi ve değerlendirmesi sırasında kısa sürede çok sayıda sandbox oluşturulduğunu, ayrıca görevlere göre işlevlerin ve izolasyon seviyelerinin değiştiğini açıkladı. Uzun süreli etkileşimlerde durumu korurken büyük ölçekli görüntü depolarındaki verileri yüklemek de bir başka zorluk olarak gösterildi.

DSec, tek bir SDK üzerinden fonksiyon çağrısı, konteyner, mikroVM ve tam sanal makine olmak üzere dört farklı çalıştırma yöntemi sunuyor. Sistem, görevin işlevine ve güvenlik gereksinimine göre çalışma ortamı seçilebilecek şekilde tasarlandı.

Her sandbox'ın dağıtımı ve yaşam döngüsü küme düzeyinde yönetiliyor. Ortamlar birden fazla sürüm yönetimi katmanına ayrılarak birleştiriliyor; bellek paylaşımı ve geri kazanımıyla CPU zamanlaması birlikte uygulanıyor.

Sandbox görüntü verileri, DeepSeek'in kümeler için kullandığı dağıtık dosya sistemi 3FS üzerinden ihtiyaç duyulduğunda yükleniyor. Bu yapı, farklı çalışma ortamlarını işletirken görüntü verilerini tekrar tekrar depolama ve yönetme yükünü azaltmayı hedefliyor.

DSec, pekiştirmeli öğrenme çerçevesiyle birlikte tasarlandı. Durumun korunmasını gerektiren ajan çalıştırma süreçleriyle durdurulabilen GPU eğitimini birbirinden ayıran sistem, eğitim sırasında boşta kalan kaynakları geri kazanırken çalışma durumunu koruyacak şekilde yapılandırıldı.

Makale, ajanların hedeflenenden farklı bir yöntemle ödül elde etmesi olarak tanımlanan reward hacking sorununu da ele aldı. Ajanların çalışma ortamı ile eğitim kaynaklarını birlikte tasarlayan yaklaşım, eğitim sırasında ortaya çıkabilecek davranış sorunlarına yanıt vermeyi amaçlıyor.

İşletim ölçeğine ilişkin veriler de paylaşıldı. DSec'in bir üretim birimi yaklaşık 160 düğümden oluşuyor ve günde yaklaşık 3 milyon sandbox destekliyor.

Aynı anda çalıştırılabilen sandbox sayısı 380 bini aşıyor. Sandbox oluşturma hızı ise saniyede 5 binin üzerinde. Günlük işlem kapasitesi, eş zamanlı çalışma ölçeği ve oluşturma hızı farklı göstergeler olduğu için bu veriler doğrudan toplanamaz veya aynı performans ölçütü olarak karşılaştırılamaz.

Makale, yalnızca tek bir sandbox çalıştırıcısının büyük ölçekli ajan eğitimi ve değerlendirmesinin farklı ihtiyaçlarını karşılamasının zor olduğunu belirtti. Bunun nedeni, fonksiyon çağrısı gibi hafif işlemlerle işletim sistemi düzeyinde işlevler ve yüksek izolasyon gerektiren görevlerin çalışma koşullarının birbirinden farklı olması.

DeepSeek daha önce geliştirici araçlarını ve ajan çalışma ortamlarını genişletmişti. Şirketin harness geliştirdiğine ilişkin gelişmeler de TokenPost tarafından aktarılmıştı. DSec'in tanıtılması, DeepSeek'in yalnızca yapay zekâ modelleri değil, ajanların görev yürüttüğü çalışma ortamları için de ayrı bir altyapı kurduğunu gösteriyor.

Ancak makalede kripto varlıklar veya blockchain hizmetleriyle doğrudan bağlantıya ilişkin bir içerik yer almadı. Açıklanan temel konu, yapay zekâ ajanlarının eğitimi için çalışma ortamlarının çeşitlendirilmesi ve küme işletim yapısı oldu.