还有就是在user-agent：后边不屑固定蜘蛛名称跟的如果是“”表示是针对所有蜘蛛的。禁止某个目录被搜索引

擎蜘蛛抓取，设置代码如下：User-agent:Disallow: 目录注意，这里如果是阻止抓取某目录的话目录名字一定

要注意“”，不带“”表示的是阻止访问这个目录页面和目录下的页面，而带上“”则表示进阻止目录下的内容页面，

这两点要分清楚。如果是想屏蔽多个目录就需要采用User-agent:Disallow: 目录Disallow: 目录这样的形式，

不能采用 目录目录 这样的形式。如果是阻止蜘蛛访问某一类型的文件，例如阻止抓取.jpg格式的图片可以设

置成：User-agent:Disallow: .jpg以上是针对整个网站的robots文件的写法，只是讲的robots写法的类型和注

意事项，像针对性屏蔽蜘蛛或者是其他的具体写法描述的少了点，但是知道allow和disallow的含义进行思考

可以衍生出不少其他的写法含义。还有针对具体网页的robots meta网页标签写法，一般情况下用的不是很多。