Geçici sıralamada Alma %72,7 ile Claude Code'u geçti; görev başına maliyet 0,80 dolar

Bağımsız geliştirici Yetone'un geliştirdiği yapay zekâ ajanı Alma, devam eden karşılaştırmalı değerlendirmeye ait sıralama tablosunun anlık görüntüsünde %72,7 görev başarı oranına ulaştı. Bu oran, Claude Code'un %70,0'lık sonucunu geride bıraktı.

Rakamlar, Marsbit'in 11'inde aktardığı FrontierHarness v1.1 sıralama tablosuna dayanıyor. Aynı tabloda Codex CLI %77,9, Pi ise %72,8 başarı oranı kaydetti.

Başarılı görev başına ortalama maliyet Alma için 0,80 dolar (yaklaşık 1.074 won), Claude Code için 0,94 dolar (yaklaşık 1.261 won) olarak verildi. Aradaki fark 0,14 dolar. Maliyet karşılaştırmasında ajanların görevleri yürütürken kullandığı token miktarı esas alındı.

Değerlendirmeyi yapay zekâ ajan altyapısı şirketi Runta yürütüyor. v1.1 sürümünde 21 ajan çalıştırma yapılandırması ve beş yapay zekâ modeli yer alıyor.

Aynı 62 görev her kombinasyona veriliyor ve her görev dört kez çalıştırılıyor. Planlanan toplam çalıştırma sayısı 26.040; bu, önceki sürümün 72 katı.

Tüm araçlar aynı bulut ortamında çalıştırıldı. Değerlendirme görev başarı oranını, token maliyetini ve çalışma hızını karşılaştırıyor.

Bu yöntem, aynı model ve görevleri farklı ajan çalıştırma yapılandırmalarında deniyor. Bu nedenle Claude Code'un %70,0'lık sonucu, Claude modelinin tek başına performansı olarak yorumlanamaz. Puan, değerlendirmede kullanılan model ile ajan çalıştırma yapılandırmasının birlikte uygulanmasından elde ediliyor.

Marsbit'in haberinde, değerlendirmeye GLM, DeepSeek, Kimi ve Muse gibi kamuya açık modellerin katıldığı; GPT ve Claude serilerinin kapalı modellerinin ise kapsam dışında tutulduğu belirtildi.

Değerlendirme henüz tamamlanmadı. Yeni çalıştırma sonuçları eklendikçe sıralama tablosu değişebilir; mevcut rakamlar değerlendirme kapsamındaki geçici toplamı yansıtıyor.

Alma, bilgisayarda çalışan bir yapay zekâ ajanı. Uzun süreli belleğe sahip olan araç kod okuyup düzenleyebiliyor, terminal komutları çalıştırabiliyor ve web'de arama yapabiliyor.

Kullanıcılar temel modeli değiştirebiliyor, Skills ve MCP bağlantıları kurabiliyor. Yerel çalıştırma ve araç bağlantıları Alma'nın ürün özellikleri; bunlar değerlendirmedeki başarı oranından ayrı.

Alma yakın zamanda Herdr entegrasyonunu da ekledi. Kullanıcılar, Herdr'de çalışan Claude Code, Codex ve Pi gibi ajanların işlerini Alma'nın sohbet ekranından görebiliyor; ajanların sorularını yanıtlayıp görevleri onaylayabiliyor.

Ayrıca iPhone üzerinden bilgisayarda çalışan birden fazla ajanı uzaktan yönetme olanağı sunuyor. Herdr entegrasyonu, birden çok ajanı tek ekranda yönetmeye yönelik bir ürün özelliği ve değerlendirme puanından bağımsız.