Anthropic, Claude görev izleme özelliğini açık beta sürümünde kullanıma sundu

Anthropic, Claude platformunda model çağrılarını ve araç kullanımını kaydeden OpenTelemetry izleme özelliğini açık beta sürümünde kullanıma sundu. Geliştiriciler mevcut gözlemlenebilirlik araçlarında istek gecikmesini ve token kullanımını görebilecek, ajan görevlerinin hangi aşamada yavaşladığını veya başarısız olduğunu inceleyebilecek.

Anthropic, 14 Ekim’de Claude Managed Agents, Messages API ve Claude SDK istekleri ile oturumları için izleme özelliğini duyurdu. OpenTelemetry, uygulamalardaki istek akışlarını kaydetmeye yönelik açık bir standart. İzleme verileri mevcut gözlemlenebilirlik platformlarına gönderilebiliyor.

İzleme verileri, bir isteğin sistem boyunca izlediği yolu gösteren ‘trace’lerden ve bu akıştaki tek tek aşamaları kaydeden ‘span’lerden oluşuyor. Claude span’leri, üretken yapay zekâ için geliştirilen anlamsal kurallara uyuyor. Bu kurallar model istekleri ve araç kullanımı gibi bilgileri standart alanlarda ifade ederek, uyumlu platformlarda birlikte incelenmelerini sağlıyor.

İzleme kapsamı model çağrılarıyla sınırlı değil. Messages API istekleri, araç kullanımı ve Managed Agents oturumları da kaydedilebiliyor. Geliştiriciler Claude Console’da gözlemlenebilirlik aracının veri alıcısını tanımlayabiliyor veya SDK’da bir izleme sağlayıcısı ayarlayabiliyor. SDK üzerinden izleme, uygulamanın span’leri dışa aktarmasıyla; API üzerinden izleme ise alıcının Console’da belirlenmesiyle çalışıyor.

Birden fazla aşamadan geçen yapay zekâ ajanları, modele istek gönderiyor ve görevlerini sürdürmek için harici araçlardan veya hizmetlerden yanıt alıyor. Bu aşamaların kayıtlarını tek bir akışta görmek, gecikme veya hata noktalarını bulmaya yardımcı oluyor. Geliştiriciler verileri mevcut günlük ve ölçümlerle karşılaştırabiliyor ya da gerçek kullanım kayıtlarını değerlendirme çalışmalarında kullanabiliyor.

Anthropic, Foxglove’un kurucu ortağı ve CTO’su Roman Shtylman’ın kullanım örneğini de paylaştı. Shtylman, şirketin ajan etkileşimlerini ürün kullanım verileriyle birlikte analiz ederek performansı değerlendirebildiğini ve iyileştirme alanlarını belirleyebildiğini söyledi. Bu, Foxglove’un deneyimi; aynı sonuçların her ortamda elde edileceği anlamına gelmiyor.

Özellik, Claude platformundaki araçlara Anthropic’in yapay zekâ ajanlarının görev aşamalarını ve hatalarını incelemeye yönelik gözlemlenebilirlik imkânını ekliyor. Açık beta süresince SDK ayarları ve span veri yapısı geriye dönük uyumluluğu bozacak şekilde değişebilir; bu nedenle sürümlerin ve panoların takip edilmesi gerekiyor.

Veri toplama kapsamı da gözden geçirilmeli. İsteğe bağlı ‘tüm içerik’ modu etkinleştirildiğinde istemler, yanıtlar ve araç girdileri ile çıktıları izleme verilerine dahil edilebiliyor. Üretken yapay zekâya yönelik anlamsal kurallar, hassas bilgiler içerebilecek veya büyük veri hacmi oluşturabilecek model yönergeleri, kullanıcı mesajları ve çıktılarının varsayılan olarak kaydedilmemesini, bu seçimin kullanıcıya bırakılmasını öneriyor. Üretim ortamlarında içerik toplama ayarları ve verilere erişim yetkileri kontrol edilmeli.