Claude, MIPLIB’de 72 çözümü iyileştirdi; 45 problemde optimumluğu kanıtladı

Anthropic’e göre Claude, MIPLIB’deki çözülmemiş 203 optimizasyon probleminden 72’sinde kayıtlı çözümleri iyileştirdi, 45’inde ise çözümün optimum olduğunu kanıtladı.

Anthropic, 10 Kasım’da Claude’un resmi hesabında yayımlanan paylaşımda sonuçları duyurdu ve çözümleri MIPLIB’e sunduğunu açıkladı. Şirketin bildirdiği sayılar ile sonuçların problem setinin kamuya açık kayıtlarına yansıyıp yansımadığı ayrı değerlendirilmelidir.

MIPLIB, optimizasyon yazılımlarının performansını karşılaştırmak için kullanılan karma tamsayılı programlama problemlerini içeren açık bir problem setidir. Karma tamsayılı programlama, belirli kısıtlar altında farklı seçeneklerin en iyi birleşimini bulmayı amaçlar; çizelgeleme ve kaynak tahsisi gibi sorunlarda kullanılır.

“Kayıtlı çözümü iyileştirmek”, daha önce kaydedilmiş yanıttan daha iyi bir yanıt bulmak anlamına gelir. “Optimumluğu kanıtlamak” ise belirtilen koşullar altında daha iyi bir yanıt bulunamayacağını göstermektir. Bu iki sayı farklı başarıları ifade ediyor. Hangi problemlerin örtüştüğü açıklanmadığı için bu sayılar toplanarak 117 problemin çözüldüğü söylenemez.

Anthropic, 42 trenin sefer saatlerinin düzenlenerek maksimum elektrik tüketiminin düşürüldüğü bir örneği de paylaştı. Şirket, Claude’un iki saat içinde MIPLIB’e kayıtlı tarifeye kıyasla maksimum elektrik tüketimini %2,6 azaltan bir çözüm bulduğunu, ardından çözümün optimumluğunu da kanıtladığını bildirdi. Bu sonuç, belirtilen matematiksel problem koşulları altında yapılan hesaplamaya dayanıyor; gerçek tren işletmesinde elektrik tüketiminin %2,6 azaldığını gösteren bir ölçüm değil.

MIPLIB’in internet sitesinde yer alan en güncel çözüm dosyası 24 Eylül’de yayımlandı. O tarihte yayımlanan solufile 37’de mevcut çözümlerden daha iyi 51 sonuç yer aldı. Anthropic’in 10 Kasım’da açıkladığı sonuçlar, bu en güncel kamuya açık kayıttan sonra duyuruldu.

Anthropic, 9 Kasım’da Claude Fable 5.2 ve Claude Mythos 5.2’yi tanıttı. Ancak MIPLIB hakkındaki paylaşımda değerlendirmede kullanılan model sürümü ayrıca belirtilmedi.

Anthropic daha önce Claude’un 123 açık kaynak kütüphanesindeki 239 test giriş noktasında belirlenen güvenlik koşullarını matematiksel olarak kanıtladığını açıklamıştı. Claude’un bu koşulların güvenliğini kanıtladığı örnek ile MIPLIB duyurusu da kanıt sonuçlarını ele alıyor; ancak değerlendirme hedefleri ve problemler farklı.

MIPLIB, yeni çözümlerin gönderilmesini kabul ediyor ve bunları internet sitesindeki düzenli güncellemelere yansıtıyor. Anthropic’in sunduğu sonuçların kamuya açık kayıtlara nasıl ekleneceği sonraki güncellemelerde görülebilecek.