互联网上的蜘蛛

指自动抓取网页内容的机器人Robots，是搜索引擎用来访问Internet上网页的自动程序。spiders根据html的语法和格式，对读取的页面进行代码过滤，收入相关的文字内容。目前搜索引擎无法象人那样去读相应的图片、Flash、影片里面的内容。图片中的文字对Spider来说毫无意义。对于javascript里面的内容，现在已经有部分网站开始收录。

这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:

google蜘蛛： googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

altavista蜘蛛：scooter

lycos蜘蛛： lycos_spider_(t-rex)

alltheweb蜘蛛： fast-webcrawler/

inktomi蜘蛛： slurp