Yapay zeka hizmetlerinin web sitenizin içeriğine nasıl eriştiğini izleyin ve kontrol edin. Yapay zeka şirketleri, modellerini eğitmek ve yapay zeka uygulamalarını güçlendirmek için web içeriğini giderek daha fazla kullanıyor. AI Audit, hangi yapay zeka hizmetlerinin içeriğinize eriştiğini görmenizi sağlar ve erişimi tercihlerinize göre yönetmeniz için araçlar sunar.
Cloudflare kullanıyorsanız bunları yönetmek kolay hale geliyor.
Standart bir robots.txt dosyası bu şekilde görünür:
User-agent: *
Sitemap: https://ahmetcadirci.com/sitemap.xml
Engellemek istediğiniz yapay zeka botlarını ya da farklı türdeki botları engellemek için aşağıdaki gibi bir yöntem belirleyebilirsiniz. Ancak bu biraz kafa karıştırıcı olabilir.
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
- Cloudflare dashboard ↗ adresine giriş yapın ve hesabınızı ile alan adınızı seçin.
- AI Audit bölümüne gidin.
- Crawlers sekmesi altından botların listelendiğini göreceksiniz. Action kısmını kullanarak istediğiniz botları engelleyebilirsiniz.
- Allow işaretli olanlar taramaya izin verilenler, Block şeklinde seçili olanlar ise engellenenlerdir.
