基本概念

如何避免：

基本概念

'''蜘蛛陷阱'''是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘蛛陷阱。

如何避免：

1：采用session id的页面，有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户，访问站点的时候每个用户访问都会增加一次session id而加入到URL中，同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id，这样就会产生了同一个页面但URL不同的情况，这种的一来会产生复制内容页面，造成了高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩，而进行弹窗会话等，比如说您好来自XXX地的朋友等。

2：常识性的蜘蛛陷阱，采用强制注册或登录才能访问的页面，这种的对于蜘蛛来说就相当为难了，因为蜘蛛无法提交注册，更无法输入用户名和密码登录查看内容，对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

3：喜欢采用flash的站点，之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说，因为flash本身可以做很多种效果，尤其是放在导航上视觉效果强，所以不少企业站喜欢弄个flash来展示自己公司的实力，文化，产品等，甚至一些企业站点的网站首页就是一个flash，要么是在多长时间后通过flash跳转到另外一个页面，要么就是通过flash上的链接让用户自己点击后进入一个新的页面，但是对于蜘蛛来说一来是很难读取flash中的内容，所以蜘蛛也很难点击flash上的链接。

4：动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。

5：框架，在早期框架到处被泛滥使用，而现在框架网页很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对也越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性了，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

6：JS，虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的，但是我们最好不要寄望于搜索引擎自己克服困难，虽然说通过js可以做一些效果不错的导航，但是css同样可以做到；为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行，就尽量不要采用js，当然在seo中，js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱，即使用<noscript>标签。<noscript>标签是为不支持JavaScript 的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript, 因此他们通过处理<noscript>代码来代替。

7：深层次的网页，有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛爬行到，当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录，首先要需要基本的权重，首页的权重一般是最高的，然后首页的权重是可以传递到内页的，当内部页面的权重上升到可以被收录的门槛，页面就会被收录，按照这种理论，页面之间的权重传递是会递减的，因此，内页和首页的点击距离越近，越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

8：强制使用cookies，对于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了实现某些功能会采取强制cookies，比如说跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户在访问这类站点时没有启用cookies，所显示的页面就会不正常，所以对于蜘蛛来讲同样的网页无法正常访问。

9：各种形式的跳转，对于301重定向相信很多seo童鞋已经非常熟悉了，但是对于其他302，或者meta refresh，javascript，flash等跳转，蜘蛛是很反感的，而且301也是不到万不得已的时候采用，任何跳转都会在一定程度上给蜘蛛的爬行带来障碍，所以你你懂得。

10：robots.txt书写错误和各种各样的作弊手法，比如说隐藏文字，隐藏链接等，采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页，使用默认错误的404页面等，同样会给蜘蛛带来爬行障碍。