بلاک کردن ربات های Ahref و Screaming Frog از طریق فایل robots.txt در هاست
جمعه, ۱۵ مهر ۱۴۰۱، ۰۹:۰۵ ق.ظ
سلام و عرض ادب و احترام
از طریق فایل robots توی هاست میشه، دسترسی ربات های مختلف به سایت رو مسدود کرد، برای مثال میتونید ربات moz رو ببندید تا این ابزار نتونه سایت شما رو آنالیز کنه و...
User-agent: Screaming Frog SEO Spider Disallow: / User-agent: AhrefsBot Disallow: /
۰۱/۰۷/۱۵