词条 | twiceler |
释义 | 说明twiceler是一个爬虫程序,据说是美国斯坦福大学研究搜索引擎的一个学生项目。 爬虫信息爬虫名称:Twiceler HTTP User Agent: Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html") </pre> 抓取强度:高 推广效果:未知 来访IP:38.99.13.122 64.1.215.164 (均为美国IP) 禁止twiceler访问twiceler是一个中低强度的爬虫,遵循robots.txt爬行标准。如果你觉得它占用了服务器资源,可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt,包含以下内容: User-agent: twiceler Disallow: / </pre> 上面在全站之内禁止twiceler爬行。或者禁止爬行某个目录: User-agent: twiceler Disallow: /somedir/ </pre> |
随便看 |
百科全书收录4421916条中文百科知识,基本涵盖了大多数领域的百科知识,是一部内容开放、自由的电子版百科全书。