颜色聚合向量是直方图改进算法中一个较为复杂的方法，它将直方图中每一个颜色簇划分成聚合的和非聚合的两部分。在图像相似性比较过程中，分别比较它们的相似性，然后综合权衡后得到一个相似值，从而得出结果。彩色图像经过量化后，就可以通过计算连通域将图像中的像素分为聚合和非聚合两类。一个连通区域C 是由一些像素组成的集合，这些像素之间符合一个规则：即区域C 中所有像素都具有同类量化值，且任意两个像素p 和p’∈C，那么在p 和p’之间将有一个通路。根据连通区域的尺寸大小将像素划分成聚合和非聚合两类，其方法是：如果一个连通区域超出了阈值τ，则认为该区域的像素是聚合的，否则将被判为非聚合的。

在基于颜色聚合向量的检索方法中，判断某一连通区域是否为聚合时，阈值一般被设为某一固定值，大于等于这一固定值，则判为聚合，否则非聚合。颜色经过量化聚合后，设 j c 为第j 类颜色中心值，αj 为第j 个聚类的聚合数目，βj 为第j 个聚类的非聚合数目，对于每一个聚类计算聚合向量对<αj ,βj>，这样一幅图像的特征由

（< 1→c,α1,β1>,< 2→c,α2,β2>,< 3→c,α3,β3>,…,< n c→ ,αn ,βn>）来给出，就得到了图像的特征即颜色聚合向量。