词条 | Googlebot |
释义 | Googlebot 是Google 的web 抓取漫游器。它从web上收集文档,为Google搜索引擎建立可搜索的索引。 是google的机器人的意思,俗称google爬虫。 我们听到最普遍的要求是把Googlebot的IP地址列表公布给大家。这个做法的问题是,如果当我们的抓取工具的IP地址范围改变时,并非每个人都知 道去检查。事实上,爬行组几年前搬迁过Googlebot的IP地址,他们遇到的一个真正的麻烦是提醒一些把Googlebot的IP范围写在他们的程序 里的网管们。所以爬行组的成员们提供了另一种方法来验证Googlebot。这里是爬行组成员们提供的一个答案(经他们同意在此引述) : google的“蜘蛛”程序为“Googlebot”,属于非常活跃的网站扫描工具。google一般每隔28天派出“蜘蛛”程序检索现有网站一定ip地址范围的新网站。登陆google的周期一般为3个星期(从提交网站到被检索)。 |
随便看 |
百科全书收录4421916条中文百科知识,基本涵盖了大多数领域的百科知识,是一部内容开放、自由的电子版百科全书。