通过添加到robots.txt
以下行来关闭索引中的几个 URL
Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/
但尖叫青蛙和 Yandex 网站管理员仍然声称这些页面丢失了description
。请告诉我,哪里出了问题。
通过添加到robots.txt
以下行来关闭索引中的几个 URL
Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/
但尖叫青蛙和 Yandex 网站管理员仍然声称这些页面丢失了description
。请告诉我,哪里出了问题。
来自谷歌文档:
来自Yandex文档:
基于此,robots.txt只是建议,并不是直接禁止bots
另外 - 第三方分析/站点诊断服务可以通过延迟/缓存等方式对其进行检查。澄清这些要点的最简单方法是在特定服务的支持下。