LLM deneyim farkı daha dik bir huni gibi genişliyor

Çoğu kişi büyük dil modellerini (LLM) neredeyse hiç kullanmadı. Buna karşılık, en gelişmiş modelleri profesyonelce kullanan bazı kişiler, ajanların haftalar ya da aylar sürebilecek karmaşık işleri üstlendiğini görüyor. Andrej Karpathy, kullanıcıların bu deneyim farkının giderek daha dik bir huni gibi açıldığını söyledi.

Karpathy, 11’inde X’te yayımladığı paylaşımda nisan ayındaki gönderisine yeniden değinerek kullanıcıları dört aşamaya ayırdı. ChainCatcher, paylaşımına dayanarak Karpathy’nin açıklamalarını aktardı. Karpathy, verdiği sayıların bir araştırma sonucu değil, kabaca tahminler olduğunu belirtti.

Karpathy’nin tahminine göre yaklaşık 6 milyar kişi LLM’lerle neredeyse hiç karşılaşmadı. Bu sayı dünya nüfusunun yaklaşık yüzde 75’ine karşılık geliyor. Ücretsiz ChatGPT’yi veya benzer ürünleri ara sıra kullananların sayısı ise yaklaşık 1 ila 2 milyar. Karpathy, bu kişilerin LLM’leri çoğunlukla arama ya da yazma yardımcısı olarak gördüğünü söyledi.

Bir sonraki aşamada, matematik ve kod alanlarında en gelişmiş modelleri profesyonelce kullanan yaklaşık 20 milyon kişi bulunuyor. Karpathy’ye göre bu kullanıcılar, istem vererek geçmişte haftalar ya da aylar alabilecek karmaşık projeleri ajanlara yaptırabiliyor. Uygulama geliştirme, uygulamaları kopyalama veya çevirme ve ikili dosyalardan uygulamaları tersine mühendislikle inceleme, verdiği örnekler arasında yer aldı.

Karpathy, bir yıldan kısa süre öncesine kadar kodu satır satır kendisinin yazdığını da ekledi. En gelişmiş modelleri profesyonelce kullananlar için ajanların gerçek işleri üstlenmesi, gündelik kullanımdan ayrışan bir deneyim sunuyor.

En dar aşamada, en gelişmiş sistemlere kurum içinden erişebilen yaklaşık 5.000 kişi var. Karpathy, kamuya açık ön izlemelerde binlerce ajanın haftalar boyunca büyük yazılım projeleri üzerinde çalıştığının, bilimsel keşiflere ve matematik araştırmalarına katkı sağladığının görülebildiğini söyledi.

Karpathy, insanların inceleme ve anlama kapasitesinin geride kalmaya başladığına da dikkat çekti. OpenAI ve Hugging Face ile bağlantılı olaylara ilişkin değerlendirmelerin aylar sonra da sürdüğünü, matematikçilerin en gelişmiş matematik makalelerinden 722’sini incelemesinin uzun zaman alabileceğini belirtti.

Karpathy, deneyim farkını büyüten etkenler arasında sorunların ölçeğini ve tamamlanma süresini, alanlara göre değişen yetenekleri ve modellere erişim düzeylerini saydı. Kısa yanıt isteyen sorular sistemlerin kapasitesini yeterince sınamazken, büyük ve uzun süreli işler ajanların kullanım alanlarını ortaya çıkarıyor.

Karpathy’ye göre modeller, sonuçların dijital ortamda doğrulanmasının kolay ve ekonomik değerinin yüksek olduğu alanlarda öne çıkıyor. Ücretsiz ve ücretli ürünlere erişim ile kurum içi erişim arasındaki fark da kullanıcı deneyimini belirleyen etkenlerden biri.

Karpathy’nin verdiği sayı ve oranlar kendi tahminlerinden ibaret. Bu sınıflandırma, aynı LLM’leri kullanan kişilerin deneyiminin kullanım sıklığına, erişim yetkisine ve modellere verilen işlerin niteliğine göre değişebildiğini gösteriyor.