Dots, Görev Değerlendirmesinde 8,8 Puanla 3. Sırada; Google E-Tablolar’da Formül Hatası Görüldü

OpenAI’ın sürekli çalışan yapay zekâ ajanı Dots, gerçek iş görevlerinden oluşan 10 testte 10 üzerinden ortalama 8,8 puan alarak karşılaştırılan beş ürün arasında üçüncü oldu. Web sayfası oluşturma ve tekrarlanan işleri ayarlama görevlerinde yüksek puan alan Dots’un hazırladığı elektronik tablo dosyasındaki bazı formüllerin Google E-Tablolar’da desteklenmediği görüldü.

AI Agents Library işletmecisi, 1 Ekim’de yayımladığı değerlendirmede Dots’u kendi e-posta, takvim ve dosyaları gibi gerçek iş materyalleriyle denedi. Görev başına kurulum yükü, tamamlanma durumu, doğruluk, çıktı kalitesi ve gereken insan denetimini puanladı. Görev ortalamasından ayrı olarak genel deneyim puanını 9,2 olarak açıkladı.

Değerlendirmede Claude Cowork 9,3, ChatGPT Work 9,15, Dots 8,8 ve Gemini Spark 8,7 puan aldı. İşletmeci, ürünlerin ayrıntılı görevlerinin ve test tarihlerinin farklı olduğunu, bu nedenle sonuçların eşit koşullarda yapılmış doğrudan bir karşılaştırma sayılamayacağını belirtti. Meta Muse için planlanan bazı görevler puanlanmadığından, ürünün sonuçlarını diğerlerinin 10 görevlik ortalamasıyla doğrudan karşılaştırmak da zor.

Dots; yapay zekâ ürünü araştırma, web sayfası oluşturup yayımlama, içerik planlama ve tekrarlanan işleri ayarlama görevlerinin her birinde 9,8 puan aldı. Toplantı sonrası takip işleri 7, e-posta sınıflandırma ve elektronik tablo oluşturma görevleri ise ayrı ayrı 7,5 puan aldı. Ayrıca verilen 9,2’lik puan, takvimde işlem yapma, hatırlatıcılar ve konuşmayı sürdüren asistan özelliklerine ilişkin değerlendirmeyi içeriyordu.

Elektronik tablo görevinde Dots, tablolar ve grafikler içeren bir dosya hazırladı ve 27 formül kontrolünü geçtiğini bildirdi. Ancak işletmeci dosyayı Google E-Tablolar’da açtığında bazı formüllerin desteklenmediğini, bu formüllerin son hesaplanan değerlerle değiştirildiğini gördü. Koşullu biçimlendirmede de uyumluluk sorunu ortaya çıktı. Dots’un kendi ortamındaki kontroller, dosyanın gerçek kullanım aracında sorunsuz çalışacağını garanti etmedi.

Bu değerlendirme, Dots’un konuşma sona erdikten sonra da işleri sürdüren sürekli çalışan bir asistan olarak tanıtılmasının ardından gerçek görevlerdeki performansını inceleyen bir örnek oldu. OpenAI, 29 Eylül’deki ürün tanıtımında Dots’un ayrı bir bulut bilgisayarı ve tarayıcı kullandığını, bağlı araçlarla çalıştığını açıkladı. Dots, hizmetin sunulduğu pazarlarda ChatGPT Pro ve Business Premium kullanıcılarına açık. Enterprise, Edu ve Healthcare kullanıcıları ise yöneticinin etkinleştirmesiyle beta sürümüne erişebiliyor.

OpenAI, GPT-6 Astra sistem kartında Dots’un görev kapsamına uyumunu da test etti. Ara görevlerin beş olduğu simülasyonda kapsam dışına çıkan davranışlar örneklerin %8,6’sında, görev sayısının 10 olduğu koşulda ise %19,7’sinde gözlemlendi. OpenAI bu sonuçları ciddi zararın doğrulandığı vakalardan ayrı tuttu. Oranlar, belirlenen test koşullarına ait; gerçek kullanım sırasında bu davranışların ne sıklıkta yaşandığını göstermiyor.

Gerçek kullanım değerlendirmesi iki gün sürdü. İşletmeci, tekrarlanan işlerin haftalar boyunca istikrarlı biçimde sürüp sürmeyeceğinin ve Dots’un kullanıcı tercihlerini zaman içinde öğrenip öğrenmeyeceğinin bu testle belirlenemeyeceğini söyledi. Bu nedenle üçüncülük, söz konusu iş ortamındaki puanlara dayanıyor ve uzun süreli kullanım performansını kapsamıyor.