CN106910180B - 一种图像质量评估方法及装置 - Google Patents

Abstract

本发明公开了一种图像质量评估方法和装置，通过采集图像特征点集，为特征点集构建Delaunay三角形网络，并根据Delaunay三角形网络的唯一性，计算Delaunay三角形网络的相关数据，来评价图像质量，整个评价过程简单高效，且站在计算机视觉角度进行，适用于自动图像识别及增强现实技术领域。

Description

一种图像质量评估方法及装置

技术领域

本发明涉及图像处理计算领域，尤其涉及一种图像质量评估方法及装置。

背景技术

在基于内容的图像识别领域，通常以特征点集的方式来表征一个图像，在图像识别时，根据特征点对之间的匹配关系来确定图像的检索结果，在极端情况下，检索结果与目标图像之间只有少量的匹配特征点对，此时，由于特征描述算法的局限性，如果在建立检索数据库时，图像质量较差(比如满足条件的特征点很少，或分布不均)，将很难在极端条件下检索出正确的结果，会干扰图像识别***的正常工作，影响图像识别效果，进而影响用户体验。

现有的图像质量评价方法主要分为：参考图像质量评价和无参考图像质量评价。参考图像质量评价方法由于需要参考图，应用时灵活性差，不适合图像识别领域。而现有的无参考图质量评价方法主要有人为评价方法和根据人眼的主观视觉***建立数学模型，并通过具体的公式计算图像的质量，这两者方式都参考人眼主观视觉，而自动图像识别属于计算机视觉领域，这些图像质量评价方法都不能到达满意效果。

发明内容

本发明的目的是提供一种图像质量评估方法及装置，对图像质量进行评估，解决在建立图像检索数据库时，因缺少图像质量评估***，放入过多质量较差图像而造成的图像识别效果差的问题，能从源头上提高图像识别***的识别准确率，提升用户体验。

为了实现上述发明目的，本发明提供了一种图像质量评估方法，包括：

对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息；

对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络；

计算所述Delaunay三角网络中每个三角形的面积area[i]，i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量；

根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例，并根据该占用面积比例对待评估图像进行质量评估。

优选的，所述方法还包括：计算area[i]的分布平滑度；根据所述计算出的Delaunay三角网络在待评估图像中的占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估。

其中，计算area[i]的分布平滑度具体为：计算area[i]的均值mean和方差variance；计算(area[i]-mean)²中的最大值maxSub；area[i]的分布平滑度＝1-sqrt(variance/maxSub)。

优选的，所述对所述待评估图像的特征点集进行Delaunay三角剖分，具体为：对待评估图像的特征点集中各特征点进行空间排序，根据排序结果构建Delaunay三角形网络。

优选的，所述空间排序指根据特征点的位置信息对特征点集中的特征点进行中值排序，具体为：A:将特征点集中特征点在x轴和y轴上直径最大/最小轴作为排序轴；B:计算构成该直径的两个特征点的中值，改变原特征点集使空间上位于中值左侧的特征点在数据集合中位于中值点左侧，右侧点位于中值点右侧；C:然后对左侧点构成的点集和右侧点构成的点集进行上述A和B步骤递归处理，直到中值一侧特征点数量小于2。

相应的，本发明还提出一种图像质量评估装置，包括：

特征提取模块，用于对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息；

三角剖分模块，用于对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络；

计算模块，用于计算所述Delaunay三角网络中每个三角形的面积area[i]，并根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例，其中i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量；

评估模块，根据计算模块计算出的所述占用面积比例对待评估图像进行质量评估。

优选的，所述计算模块还用于计算area[i]的分布平滑度；所述评估模块根据计算模块计算出的所述占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估。

优选的，所述三角形剖分模块对所述待评估图像的特征点集进行Delaunay三角剖分，具体为：对待评估图像的特征点集中各特征点进行空间排序，根据排序结果构建Delaunay三角形网络。

与现有技术相比，本发明具有如下有益效果：

本发明图像质量评估方法和装置，是为自动图像识别领域进行设计的，通过采集图像特征点集，为特征点集构建Delaunay三角形网络，根据Delaunay三角形网络的唯一性，计算Delaunay三角形网络的相关数据，来评价图像质量，整个评价过程简单高效，并站在计算机视觉角度进行，更适用于自动图像识别领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为本发明实施例图像质量评估方法流程示意图；

图2为本发明一个实施例中一个特征点集示意图；

图3为本发明实施例图像质量评估装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

计算机视觉与人眼视觉有着天然差别，有些人眼可以很容易识别的图像在计算机眼里很难识别，例如特征点极少但非常清晰的图像。在图像识别领域，以及用到图像识别的增强现实技术领域，图像入库是图像识别的前提，然而由于大部分用户不清楚计算机视觉是如何识别图像的，随便放置一些入库图像，当入库图像质量较差时(比如满足条件的特征点很少，或分布不均)，检索很容易失败。因此在图像入库的时候，需要一个图像质量评估方法，告知用户该图是否容易被计算机识别，使检索结果符合用户的预期目标。

本发明利用Delaunay三角网络的唯一性，为每一个入库图像的特征点集构建一个Delaunay三角网络，根据Delaunay三角网络的相关数据，评估入库图像质量。

因本发明有用到Delaunay三角形剖分，因此在介绍具体实施例之前，先介绍一下Delaunay三角形网络。

Delaunay三角形网络是对点集进行Delaunay三角剖分而形成的网络，要满足Delaunay三角剖分的定义，必须符合两个重要的准则：

1)空圆特性：Delaunay三角网是唯一的(任意四点不能共圆)，在Delaunay三角形网中任一三角形的外接圆范围内不会有其它点存在；

2)最大化最小角特性：在散点集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。从这个意义上讲，Delaunay三角网是“最接近于规则化的“的三角网。具体的说是指在两个相邻的三角形构成凸四边形的对角线，在相互交换后，六个内角的最小角不再增大。

Delaunay三角网络具备如下优异特性：

1)最接近：以最近的三点形成三角形，且各线段(三角形的边)皆不相交；

2)唯一性：不论从区域何处开始构建，最终都将得到一致的结果；

3)最优性：任意两个相邻三角形形成的凸四边形的对角线如果可以互换的话，那么两个三角形六个内角中最小的角度不会变大；

4)最规则：如果将三角网中的每个三角形的最小角进行升序排列，则Delaunay三角网的排列得到的数值最大；

5)区域性：新增、删除、移动某一个顶点时只会影响临近的三角形；

6)具有凸多边形的外壳：三角网最外层的边界形成一个凸多边形的外壳。

下面，结合附图介绍本发明具体实施例。

参见图1，为本发明实施例一种图像质量评估方法流程示意图，包括如下步骤：

S101：对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息，本步骤特征提取方法，可以采用基于尺度不变的特征提取方法，如ORB，SIFT，SURF等，提取出来的特征点数据除了位置信息外，还可以包括尺度、方向、特征描述信息等，只是本发明图像质量评估仅用到位置信息即可。

S102：对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络(该三角形网络具有唯一性,即对同一个点集进行构建,无论从哪个点开始都将得到一致的结果，同时对点集中的同一个子集进行删除操作,得到的三角网也是一致的)，本步骤Delaunay三角剖分具体方式，在后面进行描述。

S103：计算所述Delaunay三角网络中每个三角形的面积area[i]，i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量，在计算每个三角形的面积area[i]时，可采用像素单位进行计算；

S104：根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例。将Delaunay三角网络中所有三角形的面积相加，得到Delaunay三角网络面积；根据待评估图像宽高，计算待评估图像面积；Delaunay三角网络面积与待评估图像面积之比，得到Delaunay三角网络在待评估图像中的占用面积比例，该比例在0.0～1.0之间，这个比例越高，表示待评估图像特征点分布越广，特征点分布越广，对遮挡适应性越高(在图像检索时，在遮挡的情况下完成检索成功率越高),因此我们可以理解为图像质量越好。

S105:计算area[i]的分布平滑度，具体计算方式包括如下ABC三步:

A:计算area[i]的均值mean和方差variance：

mean＝sum(area[i])/n；

variance＝sum(area[i]*area[i])/n-mean*mean；

B:计算(area[i]-mean)²中的最大值maxSub:

C:计算：area[i]的分布平滑度，平滑度记为smoothVal：

smoothVal＝1-sqrt(variance/maxSub)，平滑度越大，表示特征点分布越均匀，对遮挡适应性越高，在本发明中理解为图像质量越好。

上述计算公式中，sum表示求和，Sqrt表示开平方根。

S106：根据所述计算出的Delaunay三角网络在待评估图像中的占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估，评估时，根据实际需求自由定义二者权重，例如二者权重可以为各占0.5，也可以为0.3、0.7，甚至0.0、1。即在本发明具体实施时，可以根据所述计算出的Delaunay三角网络在待评估图像中的占用面积比例和area[i]的分布平滑度中的任一个参数对待评估图像进行质量评估，当然优选二者结合来进行图像质量评估。

步骤S102中，对所述待评估图像的特征点集进行Delaunay三角剖分，具体为：

对待评估图像的特征点集中各特征点进行空间排序，根据排序结果构建Delaunay三角形网络，所述空间排序可以为中值排序，所述中值排序指根据特征点的位置信息对特征点集中的特征点进行中值排序，具体为：A:将特征点集中特征点在x轴和y轴上直径最大/最小轴作为排序轴；B:计算构成该直径的两个特征点的中值，改变原特征点集使空间上位于中值左侧的特征点在数据集合中位于中值点左侧，右侧点位于中值点右侧；然后对左侧点构成的点集和右侧点构成的点集进行上述A和B步骤的递归处理，直到中值一侧特征点数量小于2。其中x轴直径指特征点集中，各特征点的x坐标，最大值与最小值之差的绝对值；y轴直径指特征点集中，各特征点的y坐标，最大值与最小值之差的绝对值，参见图2，为一个点集，包括如下7个点：[(-2,2)(2.5，-5)(2,1)(-4，-1.5)(-7.5,2.5)(7,2)(1，-2.5)]，这7个点组成的点集的x轴直径为14，y轴直径为7.5，假设中值排序时以xy轴周直径中较大者为排序轴，则第一次排序时，以x轴作为排序轴，中值为0，将(-7.5,2.5)、(-2,2)、(-4，-1.5)三个点排在中值点左侧，其他四个点放在中值点右侧。然后对左侧点集和右侧点集进行递归处理，即对左右侧点集重新寻找xy轴中直径较大轴，计算构成该直径的两个特征点的中值，改变原特征点集使空间上位于中值左侧的特征点在数据集合中位于中值点左侧，右侧点位于中值点右侧。

参见图3，为本发明实施例一种图像质量评估装置，包括：

特征提取模块1，用于对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息，特征提取方法，可以采用基于尺度不变的特征提取方法，如ORB，SIFT，SURF等。

三角剖分模块2，用于对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络，Delaunay三角剖分方法详见图像质量评估方法实施例中对S102部分的详细叙述，本处不做赘述。

计算模块3，用于计算所述Delaunay三角网络中每个三角形的面积area[i]，并根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例，其中i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量；计算模块中各参数计算方式参考前述实施例步骤S103、S104部分。

评估模块4，根据计算模块计算3出的所述占用面积比例对待评估图像进行质量评估，该比例在0.0～1.0之间，这个比例越高，表示待评估图像特征点分布越广，特征点分布越广，对遮挡适应性越高，图像质量越好。

在另一种实施方式中，所述计算模块3还用于计算area[i]的分布平滑度，平滑度越大，表示特征点分布越均匀，对遮挡适应性越高，在本发明中理解为图像质量越好。所述评估模块4根据计算模块3计算出的所述占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估，评估时，根据实际需求自由定义二者权重，例如二者权重可以为各占0.5，也可以为0.3、0.7，甚至0.0、1。即在本发明具体实施时，可以根据所述计算出的Delaunay三角网络在待评估图像中的占用面积比例和area[i]的分布平滑度中的任一个参数对待评估图像进行质量评估，当然优选二者结合来进行图像质量评估。

本发明图像质量评估方法和装置，适用于图像识别领域，以及用到图像识别的增强现实技术领域，在图像入库时，采用本发明方法对入库图像进行评估，以某种方式可以给出一个评估结果提示，市用户知晓某图像质量是否适合用于做为图像检索的入库图像，使检索结果符合用户的预期目标。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种图像质量评估方法，其特征在于，包括：

对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息；

对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络；

计算所述Delaunay三角网络中每个三角形的面积area[i]，i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量；

根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例，并根据该占用面积比例对待评估图像进行质量评估。

2.如权利要求1所述的图像质量评估方法，其特征在于，所述方法还包括：计算area[i]的分布平滑度；

根据所述计算出的Delaunay三角网络在待评估图像中的占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估。

3.如权利要求2所述的图像质量评估方法，其特征在于，计算area[i]的分布平滑度具体为：

计算area[i]的均值mean和方差variance；

计算(area[i]-mean)²中的最大值maxSub；

area[i]的分布平滑度＝1-sqrt(variance/maxSub)。

4.如权利要求1至3中任一项所述的图像质量评估方法，其特征在于，所述对所述待评估图像的特征点集进行Delaunay三角剖分，具体为：

对待评估图像的特征点集中各特征点进行空间排序，根据排序结果构建Delaunay三角形网络。

5.如权利要求4所述的图像质量评估方法，其特征在于，所述空间排序指根据特征点的位置信息对特征点集中的特征点进行中值排序，具体为：

A:将特征点集中的特征点在x轴和y轴上直径最大/最小轴作为排序轴；

B:计算构成该直径的两个特征点的中值，改变原特征点集使空间上位于中值左侧的特征点在数据集合中位于中值点左侧，右侧点位于中值点右侧；

C:然后对左侧点构成的点集和右侧点构成的点集进行上述A和B步骤递归处理，直到中值一侧特征点数量小于2。

6.一种图像质量评估装置，其特征在于，包括：

特征提取模块，用于对待评估图像进行特征提取，得到待评估图像的特征点集数据，特征点集数据中包括每个特征点在图像区域内的位置信息；

三角剖分模块，用于对所述待评估图像的特征点集进行Delaunay三角剖分，得到待评估图像对应的Delaunay三角网络；

计算模块，用于计算所述Delaunay三角网络中每个三角形的面积area[i]，并根据area[i]计算所述Delaunay三角网络在待评估图像中的占用面积比例，其中i为大于等于1小于等于n的整数，n为Delaunay三角网络中三角形数量；

评估模块，根据计算模块计算出的所述占用面积比例对待评估图像进行质量评估。

7.如权利要求6所述的图像质量评估装置，其特征在于，所述计算模块还用于计算area[i]的分布平滑度；所述评估模块根据计算模块计算出的所述占用面积比例和area[i]的分布平滑度对待评估图像进行质量评估。

8.如权利要求6或7所述的图像质量评估装置，其特征在于，所述三角剖分模块对所述待评估图像的特征点集进行Delaunay三角剖分，具体为：

对待评估图像的特征点集中各特征点进行空间排序，根据排序结果构建Delaunay三角形网络。