拒绝蜘蛛协议就是用在网站根目录下的robots.txt文件中的内容标示出本站哪些内容和目录不能被搜索引擎收录。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的 robots.txt 文件使用两条规则：

· User-Agent: 适用下列规则的漫游器

· Disallow: 要拦截的网页

使用事例：

User-agent: *

Disallow: /admin/ 后台管理文件

Disallow: /require/ 程序文件

Disallow: /attachment/ 附件

Disallow: /images/ 图片

Disallow: /data/ 数据库文件

Disallow: /template/ 模板文件

Disallow: /css/ 样式表文件

Disallow: /lang/ 编码文件

Disallow: /script/ 脚本文件