Heritrix是一个爬虫框架，可加如入一些可互换的组件。

简介

部件(主要部件 其余部件)

关键特性

简介

它的执行是递归进行的，主要有以下几步：

1。在预定的URI中选择一个。

2。获取URI

3。分析，归档结果

4。选择已经发现的感兴趣的URI。加入预定队列。

5。标记已经处理过的URI

它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程

Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，对网上的

资源进行归档，建立网络数字图书馆，在过去的6年里，IA已经建立了400TB的数据。

最新版本:heritrix-3.1.0

IA期望他们的crawler包含以下几种：

宽带爬虫：能够以更高的带宽去站点爬。

主题爬虫：集中于被选择的问题。

持续爬虫：不仅仅爬更当前的网页还负责爬日后更新的网页。

实验爬虫：对爬虫技术进行实验，以决定该爬什么，以及对不同协议的爬虫 爬行结果进行分析的。

部件

主要部件

Heritrix主要有三大部件：范围部件，边界部件，处理器链

范围部件：主要按照规则决定将哪个URI入队。

边界部件：跟踪哪个预定的URI将被收集，和已经被收集的URI，选择下一个 URI，剔除已经处理过的URI。

处理器链：包含若干处理器获取URI，分析结果，将它们传回给边界部件

其余部件

WEB管理控制台：大多数都是单机的WEB应用，内嵌JAVA HTTP 服务器。

操作者可以通过选择Crawler命令来操作控制台。

Crawler命令处理部件：包含足够的信息创建要爬的URI。

Servercache（处理器缓存）：存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。

处理器链：

预取链：主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。

提取链：主要是获得资源，进行DNS转换，填写请求和响应表单

抽取链：当提取完成时，抽取感兴趣的HTML，JavaScript，通常那里有新的也适合的URI，此时URI仅仅被发现，不会被评估

写链：存储爬行结果，返回内容和抽取特性，过滤完存储。

提交链：做最后的维护，例如，测试那些不在范围内的，提交给边界部件

关键特性

Heritrix 1.0.0包含以下关键特性：

1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。

2。从一个提供的种子进行爬，收集站点内的精确URI，和精确主机。

3。主要是用广度优先算法进行处理。

4。主要部件都是高效的可扩展的

5。良好的配置，包括：

a。可设置输出日志，归档文件和临时文件的位置

b。可设置下载的最大字节，最大数量的下载文档，和最大的下载时间。

c。可设置工作线程数量。

d。可设置所利用的带宽的上界。

e。可在设置之后一定时间重新选择。

f。包含一些可设置的过滤机制，表达方式，URI路径深度选择等等。

Heritrix的局限：

1。单实例的爬虫，之间不能进行合作。

2。在有限的机器资源的情况下，却要复杂的操作。

3。只有官方支持，仅仅在Linux上进行了测试。

4。每个爬虫是单独进行工作的，没有对更新进行修订。

5。在硬件和系统失败时，恢复能力很差。