什么是数据挖掘？

高维数据挖掘的特点

什么是数据挖掘？

数据挖掘指的是从大量的数据中提取隐含的、事先未知的、并且潜在有用的知识的技术。数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。它是计算机技术研究中的一个很有应用价值的新领域，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术，目前已成为国际上数据库和信息决策领域中最前沿的研究方向之一，引起了学术界和工业界的广泛关注。

高维数据挖掘的特点

高维数据挖掘是基于高维度的一种数据挖掘，它和传统的数据挖掘最主要的区别在于它的高维度。目前高维数据挖掘已成为数据挖掘的重点和难点。随着技术的进步使得数据收集变得越来越容易，导致数据库规模越来越大、复杂性越来越高，如各种类型的贸易交易数据、Web 文档、基因表达数据、文档词频数据、用户评分数据、WEB使用数据及多媒体数据等，它们的维度（属性）通常可以达到成百上千维，甚至更高。

由于高维数据存在的普遍性，使得对高维数据挖掘的研究有着非常重要的意义。但由于“维灾”的影响，也使得高维数据挖掘变得异常地困难，必须采用一些特殊的手段进行处理。 随着数据维数的升高，高维索引结构的性能迅速下降，在低维空间中，我们经常采用欧式距离作为数据之间的相似性度量，但在高维空间中很多情况下这种相似性的概念不复存在，这就给高维数据挖掘带来了很严峻的考验，一方面引起基于索引结构的数据挖掘算法的性能下降，另一方面很多基于全空间距离函数的挖掘方法也会失效。解决的方法可以有以下几种：可以通过降维将数据从高维降到低维，然后用低维数据的处理办法进行处理；对算法效率下降问题可以通过设计更为有效的索引结构、采用增量算法及并行算法等来提高算法的性能；对失效的问题通过重新定义使其获得新生。