Oran %0'dan %100'e çıktı: kırmızı kalp Claude Opus 4.7 ve GPT-5.4'ün çözüm tercihini değiştirdi

Kontrollü bir deneyde kırmızı kalp görseli, Claude Opus 4.7 ve GPT-5.4'ün ikili ağaç problemini özyinelemeyle çözme oranını %0'dan %100'e yükseltti. Görsel olmadan iki model de özyinelemeyi seçmedi.

Google DeepMind ve Stanford Üniversitesi (Stanford University) araştırmacıları, 27 Ekim'de arXiv'de yayımladıkları “A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs” başlıklı makalede görsel dil modellerinin görsel ipuçlarını nasıl işlediğini ve görsellerle nasıl iletişim kurduğunu inceledi. Araştırmacılar sonuçları ön çalışma olarak tanımladı.

Görsel dil modeli (VLM), görselleri ve metinleri birlikte işleyen bir yapay zeka modelidir. Araştırmada, modellerin görsel içeriği doğru anlayıp anlamadığından çok, problemle doğrudan ilgisi olmayan görsellerin çözüm yöntemini veya başka yanıtları etkileyip etkilemediği ele alındı.

Kodlama deneyinde modellerden ikili ağacın orta sıralı dolaşımı için kod yazmaları istendi. Özyineleme, bir fonksiyonun kendisini yeniden çağırması; yineleme ise döngüler kullanmasıdır. Araştırmacılar, her koşulda alınan 20 yanıtın kaçında özyinelemeli yöntemin seçildiğini karşılaştırdı.

Görsel olmadığında Claude Opus 4.7 ve GPT-5.4'ün özyinelemeli çözüm oranı %0'dı. Kırmızı kalp gösterildiğinde iki model de 20 yanıtın tamamında özyinelemeli yöntemi kullandı. Gemini 3.1 Pro'da oran görselsiz koşulda %40, sarı onay işareti gösterildiğinde %90 oldu.

Bu oran, modellerin özyineleme ile yineleme arasında hangi yöntemi seçtiğini gösteriyor. Doğru yanıt oranını veya kod kalitesini ölçmüyor.

Araştırmacılar ayrıca 24 şekil ile 12 rengi birleştirerek oluşturulan 288 görsel sembolü denedi. En güçlü tepkiyi oluşturan semboller modellere göre değişti; tüm modelleri aynı şekilde etkileyen tek bir sembol bulunmadı.

Araştırmacılar, görselleri metinle açıklama, rastgele gürültü içeren görseller ve sıradan fotoğraflar sunma koşullarını da karşılaştırdı. Bu koşullarda, basit şekil görsellerinde görülen değişimle aynı örüntü ortaya çıkmadı.

Deneyler yalnızca kodlamayla sınırlı değildi. Araştırmacılar, renk ve şekillerin yazı üslubunu ve basit tercih sorularına verilen yanıtları değiştirip değiştirmediğini de inceledi. Kalp ve pembe şekiller, üç modelin de profesyonel üslup yerine şiirsel üslubu seçmesini teşvik etti. Mavi üçgeni gören Gemini 3.1 Pro ve GPT-5.4 ise yaz yerine kışı tercih etme eğilimi gösterdi.

Modellerin akıl yürütme kayıtları ile seçimleri karşılaştırıldığında da farklılıklar görüldü. Gemini 3.1 Pro, görselin çözüm seçimini etkilediği şeklinde sınıflandırılan 1.524 kaydın %71,5'inde görseli ilgisiz bir unsur olarak değerlendirdi. GPT-5.4 ise görselin seçimi değiştirmediği şeklinde sınıflandırılan 2.826 kaydın %74,7'sinde, görselin seçimi etkilemiş gibi kayda geçti.

Bu kayıtlar, araştırmacıların belirlediği ölçütlere göre sınıflandırıldı. Araştırmacılar, kayıtların modelin içinde görselin nasıl etkili olduğunu doğrudan göstermediğini vurguladı.

Görsele bakma talimatı verilmeden görselin bağlama eklendiği ayrı bir deneyde de görsel ipuçlarının davranışı etkilediği örnekler görüldü. Bu deneyde GPT-5.4'ün kayıtlarında, etki görülen durumlarda bile görselden söz edilmedi. Gemini 3.1 Pro'da ise bu tür kayıtların %52,3'ünde görselden bahsedilmedi.

Araştırmacılar, bir modelin diğerini belirli bir çözüm yöntemine yönlendirmesi için sembol veya çizim oluşturduğu deneyler de yaptı. Özyinelemeyi teşvik etmede etkili olan kalp ve üçgen yerine Claude Opus 4.7 çoğunlukla spiral, sonsuzluk işareti ve ok gibi insanlar için de özyinelemeyi çağrıştıran şekilleri seçti. Bu örnek, modellerin görsel üretirken kurduğu çağrışımlarla görselleri alırken verdikleri tepkilerin farklı olabileceğini gösteriyor.

Abstrakt kavramları ve kısa hikâyeleri görsellerle aktarma görevlerinde serbest çizimler ile belirli şekil sembolleri karşılaştırıldı. Serbest çizimler, ilk denemede %91,2; birkaç tur ayarlamanın ardından %97,8 oranında hedeflenen yanıtı aktardı. Yalnızca belirli semboller kullanıldığında ilk denemedeki başarı oranı %47,8 oldu. Bu yöntemde yanıtların %30,7'sinde, en fazla beş ayarlama turuna rağmen amaçlanan anlam aktarılamadı.

İnsanlarla modellerin yorumları arasındaki farkı inceleyen deneye 7 kişi katıldı. Keşif amaçlı bu deneyde, insanların yargılarının model davranışını yönlendiren sembolle örtüşme oranı yaklaşık %36 oldu. Bu oran, iki seçenekten birini rastgele seçmenin karşılığı olan %50'nin altındaydı.

Semboller üzerinde birkaç tur karşılıklı ayarlama yapıldığında modeller arası iletişim gelişti, ancak insanların sembolleri okuması zorlaştı. Özyineleme ile yinelemeyi ayırt eden sembollerin insanlar tarafından doğru yorumlanma oranı ilk görselde %66,7 iken son görselde %44,4'e düştü. Kavram aktarma görevinde oran %56,7'den %40,0'a, hikâye aktarma görevinde ise %77,8'den %55,6'ya geriledi.

Araştırmacılar, sonuçların ekran görüntüleri veya grafik kullanıcı arayüzleriyle çalışan yapay zeka ajanlarının denetlenmesi açısından da önem taşıyabileceğini belirtti. Akıl yürütme kayıtlarını tek başına incelemek, görsel girdilerin davranış üzerindeki etkisini gözden kaçırabilir.

Bununla birlikte görevler, model davranışını incelemek için tasarlanmış kontrollü deneylerden oluşuyor; insanlarla yapılan deney de küçük ölçekli ve keşif amaçlı. Araştırmacılar, aynı olgunun gerçek iş ortamlarında nasıl ortaya çıktığını anlamak için ek çalışmalara ihtiyaç olduğunu söyledi.