NVIDIA, 30 Eylül 2026’da yayımladığı teknik yazıda NeMo Relay’i bir ajanın yalnızca sonucuna değil, o sonuca giderken attığı adımlara bakmak için anlatıyor. Yazıyı William Markito Oliveira, Maryam Najafian, Moon Chung ve Teknium imzalamış. Çıkış noktası basit: bir ajan görevi bitirmiş olabilir ve yine de pahalı bir yol tutmuş olabilir. Başarısız bir arama yenisini tetikler, kesik bir dosya okuması aynı içeriği başka bir komutla yeniden çeker. Doğru son cevap bu fazlalığı gizler. Gecikme ve jeton ise artar.
Relay neyi kaydediyor
NeMo Relay, ajan koşuları için ortak bir gözlemlenebilirlik katmanı olarak tarif ediliyor. Sıralı yaşam döngüsü olaylarını ve yapılandırılmış yörüngeleri tutuyor. Popüler ajan koşumu Hermes Agent, Relay’i yerleşik taşıyor. Oturum, tur, model çağrısı ve araç çağrısı Relay’in kapsam hiyerarşisinde duruyor. İş başlarken ve biterken olay yazılıyor, zaman ve ebeveyn-çocuk ilişkisi korunuyor.
Aynı koşunun üç görünümü var. ATOF, kapsamın açılışını, kapanışını ve anlık işaretleri kimlik ve zaman damgasıyla tutan bir JSONL günlüğü. Tek bir olayı, zamanı ve bağı denetlemek için. ATIF, aynı olaylardan derlenen adım adım bir JSON. Aracın ne istediğini ve gözlemi okumak için. Üçüncüsü, OpenInference etiketli OpenTelemetry izleri. Ajan, model ve araç çağrıları ebeveyn-çocuk açıklıklar olarak Arize Phoenix gibi bir araçta süre, jeton ve hata ile incelenebiliyor. ATIF bir aracın istendiğini gösterir, sonucunu kanıtlamaz. Sonuç için ATOF’taki eşleşen başlangıç ve bitişe, paylaşılan kimliğe ve varsa hataya bakmak gerekiyor.
Yazı, izlerin paylaşımdan önce gözden geçirilmesini de söylüyor. Yapılandırmaya göre içlerinde istem, model yanıtı, araç argümanı, dosya yolu ve uygulama verisi durabiliyor. Güvenlik tarafında Relay’in rolü kanıt katmanı: kurumların, değerlendiricilerin ve güvenlik sistemlerinin ajan davranışını incelemek için kullanabileceği izler.
İki örnek koşu neyi doğruluyor
İlk örnek bilerek küçük. Hermes, yalıtılmış bir Docker kabında bir Python betiği çalıştırıyor. Betiğin bastığı sabit çıktı VALUE=42. Koşucu, terminalin başarısını, ATOF’ta tamamlanmış model etkinliğini, jeton kullanımını, araç hatasının sıfır olmasını ve boş olmayan bir ATIF yörüngesini kontrol ediyor. Yazı, doğrulanmış bir koşunun özetini de veriyor: 74 olay, tamamlanmış iki model kapsamı, 7239 istem jetonu, 96 tamamlama jetonu, toplam 7335 jeton, bir araç çağrısı ve sıfır araç hatası. ATIF tarafında ajan Hermes, model nvidia/nemotron-3.5-lightning-30b-a3b, üç adım, iki model çağrısı ve bir araç isteği. Jeton sayıları ve dosya yolları koşudan koşuya değişebilir. Bu tablo bir kıyas değil, kurulumun çalıştığının tek bir kanıtı.
Kurulumun kendisi de yazılı. macOS veya Linux, Git, curl, çalışan Docker ve NVIDIA Nemotron 3.5 Lightning için bir NVIDIA Build API anahtarı isteniyor. Örnek depo, kendi dizininde Python 3.11 ile Hermes 0.21.1 ve NeMo Relay 0.8.3 içeren ayrı bir ortam kuruyor. Makinedeki mevcut Python veya Hermes kurulumu değiştirilmiyor. Kabın ağa, depo kopyasına ve API anahtarına erişimi yok. Hermes’in terminali ana makinede yedek olarak çalıştırması da kapalı.
İkinci örnek aynı ortamda daha geniş bir iş. Hermes’e, adı verilmeyen bir makine öğrenmesi konferansına dair ipuçları taşıyan bir seyahat kaydı veriliyor. Kaydı okuması, konuya, tarihe ve yere uyan konferansı bulması, resmi sitede doğrulaması, rapora yazması ve konferansın adını döndürmesi gerekiyor. Beklenen ad COLT 2026. Koşucu, dosya okuma, web arama, sayfa çıkarma ve dosya yazmanın tamamlandığını, ATIF’in boş olmadığını ve model ile araç açıklıklarının pozitif jeton kullanımıyla Phoenix’e gittiğini kontrol ediyor. Aynı OpenTelemetry izi, uç nokta ve kimlik değişince LangSmith gibi başka bir OTLP alıcısına da gidebiliyor. Canlı web araması olduğu için yazı, bu koşuları model sıralamak için değil davranış görmek için kullanılmasını söylüyor. Kontrollü kıyas, sabit arama yanıtı ve tekrar ister.
108 koşuluk Hermes karşılaştırması
Tek bir başarılı koşu, koşumdaki bir değişikliğin işe yaradığını göstermez. Yazı, Nous Research’ün üretim oturumlarından çıkardığı Hermes ToolPerf ölçütünü anlatıyor. Dokuz başarısızlık örüntüsü deterministik vakalara çevrilmiş, NeMo Relay ATOF izleri tur sayısında zemin gerçeği olarak kullanılmış. 6 Ağustos 2026’daki yeniden koşu, sabitlenmiş taban ile düzeltilmiş sürümü dokuz görevde karşılaştırmış. Her görev, her model, her kol için üç kez çalışmış. Toplam 108 koşu. İstem, araç, süre sınırı ve başarı kontrolü aynı tutulmuş.
Claude Sonnet 4.5 tabanda 27 koşunun 24’ünü, yani yüzde 89’unu bitirmiş. Ortalama 2,9 model çağrısı, 2,2 araç çağrısı, 17 KB araç sonucu, 16 saniye. Düzeltmeler kolunda 27’nin 23’ü, yüzde 85. Model çağrısı 2,8, araç 2,1, veri yine 17 KB, süre 22 saniye. Yazı bunu gerçek bir değişim saymıyor. Bir koşuluk fark.
Qwen3 Coder 30B’de tablo iki yana kesiyor. Taban 27’nin 19’u, yüzde 70. Ortalama 3,8 model çağrısı, 2,8 araç, 16 KB, 27 saniye. Düzeltmeler 27’nin 22’si, yüzde 81. Model çağrısı 4,9’a, araç 3,9’a, veri 33 KB’a, süre 42 saniyeye çıkmış. Daha fazla görev bitmiş, bedeli daha konuşkan ve daha yavaş bir ajan olmuş. Engellenen komut görevinde taban Qwen ayrıştırıcıda takılıp yüzde 33’te kalırken, toparlanma tarifleri düzeltmeler kolunu yüzde 100’e çıkarmış. Büyük-küçük harf duyarsız aramada ise sıfır sonuçlu yoklama, üç tekrarın ikisinde ekstra aramaya itmiş, tur 3,3’ten 9,3’e çıkmış. Gizli dosya araması her iki kolda ve her iki modelde yüzde 0 ile 33 arasında kalmış. Yazı, bu ayrımın yalnızca başarı oranından çıkmayacağını, 108 koşunun model çağrısı, hata, yeniden deneme ve süresinin izlerde durduğunu söylüyor.
Haberin asıl cümlesi
30 Eylül yazısı yeni bir sohbet modeli duyurmuyor. Bir ajanın doğru cevap vermesinin, o ajanın iyi çalıştığını kanıtlamadığını ve bunun ölçülebileceğini gösteriyor. NeMo Relay’in tuttuğu sıralı olay ile okunabilir yörünge, bir koşum değişikliğini “daha az çağrı daha iyidir” kolaycılığından ayırıyor. Qwen örneğinde daha çok çağrı, vazgeçilen görevlerin toparlanmasıydı. Aynı iz, başka bir görevde gerçek bir gerilemeyi de gösterdi. Ajan ürünü seçen biri için soru, demoda dönen son cümle değil. Aynı işi tekrar ettiğinizde sürenin, hatanın ve jetonun ne yaptığı.
Kaynak: NVIDIA Teknik Blog
