Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Tencent(0700.HK) WorkBuddy, ekranı okuyup tıklama ve veri girişi işlevini beta olarak açtı

Ekrandaki düğmeye tıklayan bilgisayar kontrolü sahnesi / TokenPost.ai

Tencent(0700.HK), iş amaçlı yapay zeka ajanı WorkBuddy'nin ekranı tanıyıp tıklama, metin girme ve kaydırma yapabilen bilgisayar kontrol işlevini 20'sinde beta olarak kullanıma açtı. Hedef yazılım ayrı bir API sunmasa da WorkBuddy ekranı okuyarak doğrudan işlem yapıyor.

20'sinde yayımlanan MarsBit haberinde WorkBuddy'nin macOS ve Windows'u desteklediği bildirildi. İşlevi kullanmak için masaüstü istemcisinin 5.11.0 veya üzeri sürüme güncellenmesi, özelliğin etkinleştirilmesi ve ilgili izinlerin onaylanması gerekiyor. Ekran tanıma sonuçları yazılıma göre değişebiliyor.

İşlev, mevcut ekranı analiz edip hedef pencerenin konumunu belirliyor; ardından fare tıklaması, metin girişi ve kaydırma işlemlerini sürdürüyor. Ayrı bir bağlantı kurulumu gerektirmeden farklı uygulamalar arasında geçiş yaparak ekran üzerinden görevleri yerine getirebiliyor.

10'unda IT时代网, beta ekranını tanıtırken WorkBuddy'yi ekran görüntüleriyle ekranı anlayan ve insanın ‘görme’ ile ‘basma’ davranışlarını taklit eden bir GUI ajanı olarak açıkladı. Kullanım sırasında ekranın görüntüsünü alabileceği veya pencere içeriğini okuyabileceği belirtilirken, kullanıcıya işlevi istediği anda durdurma seçeneği de gösterildi.

WorkBuddy'nin resmi ürün kılavuzu, hizmeti doğal dil komutlarıyla dosyaları işleyen, belge, tablo ve sunum oluşturan ve veri analiz eden bir masaüstü yapay zeka çalışma alanı olarak tanımlıyor. Kullanıcı her adımı tek tek tarif etmese de sistem birden fazla görevi planlayıp yürütüyor.

Yeni bilgisayar kontrol işlevi, mevcut uygulamalardaki düğme ve giriş alanlarını doğrudan kullanma yeteneği ekliyor. Kullanıcı belirli bir programın API'sini ayrıca bağlamadan arayüzleri farklı olan belge, mesajlaşma ve iş uygulamalarını aynı iş akışında yönetebiliyor.

Bu özellik, telefondan bilgisayar ekranını görerek verilen uzaktan kontrolden farklı çalışıyor. Uzaktan kontrolde kullanıcı telefonu üzerinden ekranı kontrol edip işlem yaparken, bilgisayar kontrolünde WorkBuddy kullanıcının talimatıyla bilgisayar ekranında görevleri yürütüyor. IT之家, 28 Ekim'de WorkBuddy'nin uzaktan kontrol özelliğinin telefondan bilgisayar ekranını görüntüleme ve kontrol etme imkanı sunduğunu bildirdi.

Tencent daha önce görsel anlama ve bilgisayar kontrol işlevlerini büyük dil modeli Hy4'ün resmi sürümüne de uygulamıştı.

Bilgisayar kontrolünü kullanmak için ekran yakalama ve erişilebilirlik izinleri gibi işletim sistemi izinlerinin onaylanması gerekiyor. İzinler verilmezse ekran okunamıyor, fare ve klavye girdileri kullanıcı adına gerçekleştirilemiyor.

Tencent Cloud'un kurumsal dokümanında yöneticilerin bilgisayar kontrol işlevine tüm üyeler için izin verebildiği, belirli üyeler veya departmanlarla sınırlayabildiği ya da özelliği tamamen engelleyebildiği belirtiliyor. Varsayılan politika tüm üyeler için engelleme olarak ayarlanmış.

WorkBuddy'nin resmi sürüm kayıtlarında 15 Kasım itibarıyla macOS ve Windows için 5.11.3 sürümüne kadar kurulum dosyaları yer alıyor. Gerçek görev kapsamı desteklenen işletim sistemine, verilen izinlere ve kullanılan yazılımın ekran tanıma düzeyine göre değişiyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1