什么是robots.txt文件 　　我们从这个文件名来看，它是.txt后缀名的，大家也应该知道这是一个文本文件，

也就是记事本。robots，懂点英语的人应该都人士，是机器人的意思，对我们而言这个机器人代表的就是搜索

引擎机器人，从名字上就可以猜到这个文件是我们专门写给蜘蛛看的。它的作用就是告诉蜘蛛，那些栏目或

者是那些页面不需要抓取，当然也可以直接屏蔽掉某个蜘蛛的访问。注意，这个文件是放在网站根目录下的，

这样才能保证蜘蛛可以在时间读取文件内容。robots文件的作用 其实robots文件最常被我们用到的就是屏蔽

网站内的死链接。大家应该知道一个网站死链接多了会影响网站的权重。但是网站死链接清理虽然说不上是麻

烦，还是需要花上不少时间的，特别是如果站内死链接较多的情况下，清理起来很费劲，这时候robots文件的

用处就体现出来了，我们可以直接将这些死链接按照格式写入文件中阻止蜘蛛抓取，想清理的或以后在慢慢清理。