协议简介
Robots协议也称为爬虫协议、爬虫规则、机器人协议等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。
协议规则
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login* Disallow: /?s=* sitemap: https://域名/wp-sitemap-posts-post-1.xml
Robots协议也称为爬虫协议、爬虫规则、机器人协议等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login* Disallow: /?s=* sitemap: https://域名/wp-sitemap-posts-post-1.xml
标签:
暂无标签免责声明:
本站提供的资源,都来自网络,版权争议与本站无关,所有内容及软件的文章仅限用于学习和研究目的。不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,我们不保证内容的长久可用性,通过使用本站内容随之而来的风险与本站无关,您必须在下载后的24个小时之内,从您的电脑/手机中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。侵删请致信E-mail: 571533527@qq.com