Web sitesi sahipleri için önemli bir kolaylık yolda. OpenAI, Google, Microsoft ve Anthropic, sitelerin içeriklerinin yapay zekâ modellerini eğitmek için kullanılıp kullanılamayacağını tek bir ortak işaretle belirtmesini sağlayan yeni bir robots.txt sinyalini destekleyeceklerini açıkladı. Böylece site sahipleri, her yapay zekâ şirketinin tarayıcısı için ayrı ayrı kural yazmak zorunda kalmayacak.
Bugüne kadar nasıl işliyordu?
robots.txt, sitelerin kök dizininde bulunan ve hangi otomatik tarayıcıların sitenin hangi bölümlerine erişebileceğini belirten küçük bir metin dosyası. Arama motorları, arşiv servisleri ve yapay zekâ şirketlerinin tarayıcıları bu dosyayı okuyor.
Sorun şu: Bir site sahibi içeriğinin yapay zekâ eğitiminde kullanılmasını istemiyorsa, şimdiye kadar her şirketin tarayıcısını tek tek tanımlayıp her biri için ayrı kural yazmak zorundaydı. Yeni tarayıcılar ortaya çıktıkça bu liste de sürekli güncellenmek zorundaydı. Küçük siteler ve bireysel yayıncılar için bu, takip edilmesi zor bir yüktü.
Yeni ortak sinyal nasıl çalışıyor?
Yeni yaklaşım, İnternet Mühendisliği Görev Gücü (IETF) bünyesindeki Yapay Zekâ Tercihleri (AI Preferences) çalışma grubunun çalışmalarına dayanıyor. Öneriyi, Anthropic’te standartlardan sorumlu teknik lider Kevin Kelley hazırladı. Taslağa göre robots.txt dosyasına “usage_ai-training” adlı ortak bir tanımlayıcı ekleniyor. Bu tanımlayıcının altına yazılan “Disallow: /” satırı, sitenin hiçbir bölümünün yapay zekâ eğitiminde kullanılmasını istemediği anlamına geliyor. Belirli klasörler için ise izin verilebiliyor; örneğin yalnızca basın kiti bölümünün eğitimde kullanılmasına onay verilebiliyor.
Sinyali destekleyen şirketler, bu işareti gördüklerinde yapay zekâ eğitimi amaçlı tarayıcılarının o içeriğe erişimini kısıtlayacak.
Kim ne zaman uygulayacak?
- Anthropic sinyali şimdiden uyguluyor.
- OpenAI, sinyali “önümüzdeki aylarda” hayata geçirmeyi hedeflediğini ve uygulama ayrıntılarını daha sonra paylaşacağını açıkladı. Şirket, mevcut tarayıcı kontrollerinin geçerli olmaya devam edeceğini belirtiyor.
- Google ve Microsoft ise sinyali gelecek yıl desteklemeyi planlıyor.
- Meta girişime destek verdiğini söylese de sinyale uyup uymayacağını netleştirmedi.
Microsoft ayrıca yayıncılara, yapay zekâ eğitiminin yanı sıra yapay zekânın yanıt üretirken bir kaynağa dayanması anlamına gelen “grounding” kullanımını da ayrı ayrı reddetme imkânı sunacağını açıkladı. Şirket, bu tercihlerin sitelerin Bing arama sonuçlarındaki görünürlüğünü etkilemeyeceğini vurguluyor. Google da benzer şekilde, yapay zekâ eğitimine ilişkin tercihlerin aramadaki görünürlüğü etkilemediği kontroller sunuyor.
Henüz resmî bir standart değil
Önemli bir ayrıntı: Bu sinyal şu an IETF’de bireysel bir taslak olarak duruyor, kabul edilmiş bir internet standardı değil. Çalışma grubunun ayrı bir taslağında farklı bir yöntem de tartışılıyor. Ayrıca sinyal tamamen gönüllülük esasına dayanıyor; destek vermeyen şirketlerin ya da kurallara uymayan tarayıcıların bu işarete uyma zorunluluğu yok.
Site sahipleri için ne anlama geliyor?
Yayıncılar ve içerik üreticileri uzun süredir yapay zekâ tarayıcılarının içeriklerini izinsiz kullanmasından şikâyet ediyor. Bu tartışmada şimdiye kadar farklı yollar denendi: Bazı altyapı şirketleri yapay zekâ tarayıcılarını varsayılan olarak engellemeye başladı, bazı girişimler ise yayıncıların tarayıcılardan ücret almasını sağlayan lisans standartları geliştirdi.
Ortak sinyal, bu alanda büyük şirketlerin ilk kez aynı dili konuşmayı kabul etmesi açısından önemli bir adım. Site sahipleri, sinyal yaygınlaştığında robots.txt dosyalarına tek bir blok ekleyerek tercihlerini birden fazla şirkete aynı anda iletebilecek. Ancak o zamana kadar mevcut, şirket bazlı kuralların da korunması gerekiyor.
Kaynak: OpenAI, The Verge, IETF
