词条 | Percolator |
释义 | Google在新一代内容索引系统中放弃了MapReduce,替代者是尚不为人知的分布式数据处理系统Percolator。 The Register报道,Percolator是一种增量处理平台,它能持续更新索引系统,无需从头重新处理一遍整个系统。Google的工程师计划在下个月举行的年度USENIX Symposium 会议上公布Percolator相关论文。为了提高效率,MapReduce和其它批量处理系统创造了大数据批量,因此无法处理单个小规模的数据更新。Percolator系统便是为了解决这一问题,它能对一个大数据集增量处理更新。用Percolator替代MapReduce,每天处理相同数量的文档,能在搜索结果中将文档平均年龄(average age)减少50%。 |
随便看 |
|
百科全书收录4421916条中文百科知识,基本涵盖了大多数领域的百科知识,是一部内容开放、自由的电子版百科全书。