为了克服基于简单视觉特征的图像检索方法的不足，人们提出了基于语义的图像检索方法，与基于低层物理特征查询不同“语义特征查询是基于文字的查询”包含了自然语言处理和传统图像检索技术。

这种检索方法的目标是最大限度地减小图像简单视觉特征与丰富的语义之间的语义鸿沟，缩小语义鸿沟的办法有(种)由高层语义导出低层特征和由低层特征向高层语义的转换图像语义具有模糊性、复杂性、抽象性，一般包括3个语义层次：特征语义、目标和空间关系语义、高层语义。特征语义就是图像的颜色、形状、纹理等低级视觉特征，与视觉感知直接相连；目标语义和空间关系语义需要识别和提取图像中的目标类别、目标之间的空间位置等关系，涉及到模式识别和逻辑推理的相关技术；高层语义主要涉及图像的场景语义（如海滨、街道、室内等）、行为语义（如表演、超越、进攻等）和情感语义（如平静、和谐、振奋等）。一般而言，高层的图像语义往往建立在较低层次的语义获得的基础上，并且层次越高，语义越复杂，涉及的领域知识越多。

基于语义的图像检索一般指的是基于目标和高级语义的图像检索方法。在原有检索系统中加入高级语义到低层特征的转化，可以在不改变现有的图像特征库和匹配方式的情况下，实现基于语义的图像检索。