Amazon, Meta'nın Muse ajanını engelledi; robots.txt'nin söyleyecek bir şeyi yoktu

Kısaca

Amazon'un Meta'nın Muse tarayıcı ajanını engellemesi, robots.txt'nin bu tür ajanları düzenlemedeki yetersizliğini gündeme taşıdı. Her web sitesi Amazon'un engelleme cümlesini kendi kullanım koşullarına yazabiliyor; asıl zorluk, alışverişçiye benzeyen ajanı tespit etmek.

Ne oldu?

• Amazon, Meta'nın Muse tarayıcı ajanının erişimini engelledi; robots.txt standardı bu senaryoyu kapsamıyor.
• Her site Amazon'un engelleme cümlesini kendi kullanım koşullarına ekleyebilir; ancak alışverişçi gibi davranan ajanları ayırt etmek teknik olarak zor.