Google robots.txt kurallarını anlattı: Yapay zeka tarayıcıları, emojiler ve uluslararası URL'ler
Orijinal başlık: Google On robots.txt Rules For AI Crawlers, Emojis, International URLs & More
Kısaca
Gary Illyes ve Chery Prommawin, Non-Canonical Cabinet serisinin ikinci videosunda robots.txt dosyalarına nelerin yazılabileceğini ve Google'ın hangi direktifleri desteklediğini ele aldı.
Ne oldu?
- "What can you actually put in a robots.txt?" adlı videoda emojiler, uluslararası URL'ler ve yapay zeka tarayıcıları dahil robots.txt kuralları masaya yatırıldı.
- Google bazı özellikleri desteklese de diğer arama motorlarının ve yapay zeka tarayıcılarının aynı direktifleri desteklemeyebileceği belirtildi.
Neden önemli?
SEO ekipleri, yapay zeka tarayıcılarının sitelerini taramasını kontrol etmek istiyorsa robots.txt direktiflerinin hangi tarayıcılarda geçerli olduğunu doğrulamalı.