机器人向导用来告诉搜索spider哪些页面需要索引，哪些页面不需要索引。Content的参数有all、none、index、noindex、follow、nofollow, 默认是all。

用法：

<meta name="robots" content="all|none|index|noindex|follow|nofollow">

注意：许多搜索引擎都通过放出 robot/spider 搜索来登录网站，这些 robot/spider 就要用到Meta元素的一些特性来决定怎样登陆。

all:文件将被检索，且页面上的链接可以被查询。

none:文件将不被查询，且页面上的链接不可以被查询（和noindex、nofollow起相同作用）。

index:文件将被检索（让robot/spider 登录）。

follow:页面上的链接可以被查询。

noindex:文件将不被检索，但页面上的链接可以被查询（不让robot/spider 登录）。

nofollow:文件将不被检索，页面上的链接可以被查询（不让robot/spider 顺着此页的链接往下探找）。