CMC国际注册咨询师电商张学宁导师发表时间：2021-10-21 10:04:58
有些网站内容中包含一些站长不想让蜘蛛抓取的url或文件，也可以直接屏蔽。对于屏蔽蜘蛛，用到的一般都 比较少。 robots文件的写法 这一点应该是比较重要的了。如果写错了想屏蔽的没成功，想被抓取的
却写进去自己不能及时发现可就亏大了。首先我们要知道两个标签，Allow和Disallow，一个是允许，一个是 不允许，它的作用相比大家也都能理解。 User-agent: Disallow: 或者 User-agent:
Allow: 这两段内容表示的都是允许抓取所有，实际上屏蔽url和文件用到的是Disallow标签，除非你的网 站只有几条想要被抓取采用Allow标签。这个User-agent：后面跟的就是蜘蛛名称，大家对主流的搜索引擎蜘
蛛名称应该比较熟悉。
|
