DeepSeek, Lighthouse’ta 31 hedeften 21’ini tamamladı; GPT-6 Sol 27’ye ulaştı

DeepSeek V4.1 Flash 1017, Lighthouse sanal kurumsal ağ sızma testinde 31 hedeften 21’ini tamamladı.

Vals AI, 23 Ekim’de güncellediği CyberOffense değerlendirmesinde kurumsal ağları taklit eden Nova ve Lighthouse adlı iki test ortamının sonuçlarını açıkladı. Değerlendirme, yapay zekâ ajanlarının insan müdahalesi olmadan çok aşamalı sızma görevlerini ne ölçüde yerine getirebildiğini ölçtü.

DeepSeek, ağırlıkları indirilip çalıştırılabilen açık ağırlıklı bir model. OpenAI’ın GPT-6 Sol puanı ise OpenAI’ın siber güvenlik erişim programı Daybreak’in ayarlarıyla ölçüldü. Daybreak üzerinden modele erişim sınırlı.

Lighthouse’ta GPT-6 Sol, 31 hedeften 27’sini tamamlayarak DeepSeek’i geride bıraktı. Bu nedenle tek bir test ağındaki sonuçla iki modelin genel sıralamasını belirlemek zor.

Vals AI, her test ağında tamamlanan hedeflerin oranını hesapladı ve iki ağa eşit ağırlık vererek toplam puanı oluşturdu. Model başına kümülatif 500 milyon token sınırı içinde tamamlanan hedefler hesaba katıldı. İki test ağındaki oranların birleştirildiği genel değerlendirmede GPT-6 Sol öne geçti.

Nova’da DeepSeek, 21 hedeften ortalama 16,3’ünü; GPT-6 Sol ise ortalama 15,7’sini tamamladı. Her iki değer de modellerin üçer çalıştırmasının ortalaması.

Vals AI’ın açıkladığı karşılaştırmaya göre Nova’da tek çalıştırmanın maliyeti DeepSeek için 3 doların altında (4.077 wonun altında), GPT-6 Sol için yaklaşık 22 dolar (yaklaşık 30.000 won) oldu.

Lighthouse’ta GPT-6 Sol, 100 milyon token kullanmadan 31 hedeften 25’ine ulaştı. DeepSeek benzer aşamaya gelmek için 2 ila 4 kat daha fazla token kullandı ve ilerlemesinin büyük bölümünü 100 milyon token sonrasında kaydetti. Vals AI, DeepSeek’in Lighthouse çalıştırma maliyetinin de 3 doların altında (4.077 wonun altında) olduğunu açıkladı.

Lighthouse görevleri, herkese açık bir web uygulamasından başlayıp ilk kurumsal ağda yönetici yetkisi elde etmeyi, parolayı bulmayı ve ikinci kurumsal ağa geçmeyi içeriyordu. Sonraki aşamalarda çalışanı saldırı dosyasını açmaya yönelten simüle edilmiş oltalama, alanlar arası geçiş ve veri çıkarma da yer aldı.

İki test ağı da gerçek sistemlerden ayrılmış sanal ortamlardı. Vals AI, ajanların hedef noktaya ulaşıp ulaşmadığını gizli işaretlerle kontrol etti; bir hedefi yalnızca ajan işareti gerçekten okuduğunda tamamlanmış saydı.

Lighthouse’taki son hedefi değerlendirilen modellerden hiçbiri tamamlayamadı. Vals AI, iki ağ boyunca 이어지는 침입의 마지막 단계가 여전히 어렵다고 밝혔다.

Anthropic은 2026년 4월 Claude Mythos Preview를 일반에 공개하지 않고 약 40개 파트너에게 제한적으로 제공했다. 모델의 취약점 탐지·악용 능력이 제한 공개의 이유로 제시됐다.

Vals AI 연구원 Nikil Ravi는 공개 모델이 연구기관의 신뢰 접근 프로그램에서만 이용할 수 있던 최상위 모델과 맞먹기 시작했다고 말했다. Vals AI CEO Rayan Krishnan은 성능 격차가 좁혀지면서 접근 통제가 설계 목적을 달성하는지 의문이 제기된다고 봤다.

본지는 앞서 중국의 공개 가중치 AI 모델이 개발 평가에서 미국의 폐쇄형 모델과 비슷한 점수를 내고 작업당 비용은 낮았던 사례를 보도했다. 당시 비교는 개발 작업 평가였으며, 이번 평가는 여러 단계의 가상 침입 과제를 다룬다.

영국 AI 보안 연구소(AI Security Institute)는 공식 평가에서 GPT-6 Astra의 모의 공급망 공격 완료율을 측정했다. 해당 평가와 이번 CyberOffense는 평가 주체와 과제가 다르다. 이번 결과는 두 가상 기업망에서 모델별 목표 달성도를 비교했다는 점에서 구별된다.

Vals AI는 같은 모델 역량을 방어팀이 취약점 점검과 보완에 활용할 수 있다고 설명했다. 이번 결과는 분리된 가상 네트워크 두 곳에서 정해진 조건으로 측정한 목표 달성 수치다.