CN1361501A - 基于线段的图像匹配方法 - Google Patents

Abstract

一种线段图像匹配方法,以该方法从由线段形状描述符所索引的图像数据库中检索由与查询图像相似的形状描述符所索引的模型图像。所说的方法包括:收集查询图像和模型图像的线段信息;定义该查询图像的各线段和该模型图像的各线段之间的二进制关系;基于该二进制关系估量该查询和模型图像的各对节点－标号的相容系数;以及使用该相容系数以连续张弛标号为基础、估量该查询和模型图像之间的相似性。

Description

基于线段的图像匹配方法

本发明涉及图像匹配方法，更具体地说，涉及线段图像匹配方法，用于从由线段形状描写符索引的图像数据库中检索由与查询图像相似的形状描写符索引的模型图像。

作为基本的图像模式识别描写符的形状描述符是基于可自动抽取的低抽象层描述的。最近有很多方法是针对用于描述图像的具体对象的形状，以及基于该形状描述符估量匹配精度或相似性的程度的算法。这些算法足以描述具体对象的的形状，但不能识别任意对象的形状。由MPEG-7所建议的形状描述符用通过给定对象的各种修改所发现的特征点来获得。存在各种各样的形状描述符。MPEG-7的实验模型1(XM)建议了两种类型的形状描述符：Zernike矩(moment)形状描述符和曲率尺度空间形状描述符。对于Zernike矩形状描述符，定义关于各种对象的形状的Zernike基函数以便在图像中探查这些形状的分布。然后，在所有基函数之上投影预定大小的图像，并结果值作为形状描写符。对于曲率标尺空间形状描述符，抽取模型图像的轮廓，并且将沿该轮廓图像曲率点的变化表达成被标度的空间上的峰值。然后，这些峰值的位置表达成2维向量。前一种形状描述符的抽取仅仅能够在图像的每种形状和基本函数具有相似标尺的时候应用。此外，限制了输入图像的大小。另一方面，后一种形状描述符的抽取的缺点是形状仅仅从单一对象中抽取。

根据常规的基于形状描述符的图像匹配方法，从查询图像中精确抽取对象需要事先从数据库中检索由与查询图像相似的形状描写符索引的模型图像。换句话说，如果不能精确地抽取对象，就不可能用常规图像匹配检索模型图像。

因此，存在这样的需要：即一种简单图像匹配方法能够从由线段形状描述符所索引的图像数据库中检索由与查询图像相似的形状描写符索引的模型图像，而不需要精确的对象抽取。

本发明的目的是提供一种线段图像匹配方法，该方法能够从由线段形状描写符索引的模型图像数据库中检索由与查询图像相似的形状描述符所索引的模型图像，而不需要精确的对象抽取。

本发明的目的由线段图像匹配方法实现，该方法包括：收集查询图像和模型图像的线段信息；定义该查询图像的各线段和该模型图像的各线段之间的二进制关系；基于该二进制关系估量该查询和模型图像的各对节点-标号的相容系数；以及使用该相容系数以连续张驰标号为基础、估量该查询和模型图像之间的相似性。

最好每个查询和模型图像的线段信息由形状描述符表达。

最好该模型图像从由形状描述符所索引的数据库中检索，其中的形状描述符按下列方法确定：抽取模型图像的轮廓；稀疏该轮廓；基于抽取的轮廓连接相应的像素以获得一线段集；以及正则化该线段集以将所正则化的线段集确定为形状描述符。

最好二进制关系对旋转、标尺变化和平移不变。这种情况下，该二进制关系可以包括两条线段之间的角差、长度比、相对位置和相对距离中的至少一个。

最好基于该二进制关系估量各对节点-标号的相容系数的步骤包括：估量二进制关系，对查询图像的线段集内的两个节点i和j该二进制关系表示为ξ_ij；估量二进制关系，对每个模型图像的线段集内的两个标号λ和λ′该二进制关系表示为ξ_λλ′；以及估量相容系数，对于查询的和每个模型图像的多对节点-标号，该相容系数表示成r_ij(λ，λ′)。作为多对节点-标号之间的相容性的强度的量度的相容性系数r_ij(λ，λ′)可以具有对应于相容性的高值和对应于不相容性的低值。如果查询图像的一对节点(i，j)的二进制关系与一对标号(λ，λ′)的二进制关系一致，则可以将r_ij(λ，λ′)确定为1。相容性系数r_ij(λ，λ′)可以表达成： $r_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})=\frac{1}{1+\left|\right|\mathrm{\ρ}(i,j,\mathrm{\λ},{\mathrm{\λ}}^{\′})\left|\right|}$ 这里

，“K”表示定义二进制关系的特征向量的元素个数；“ρ”表示多对节点-标号之间的相容性的差的量度。

最好线段图像匹配方法在以连续张驰标号为基础估量相似性之前，还包括指定一个统一的初始概率给预定数量的上部节点-标号的步骤，在这些上部节点-标号中，由节点的每个相邻标号支撑的最高程度的总和落入上层的范围之内，该初始概率接近最终概率。在指定一个统一的初始概率给上部的多对节点-标号之后，线段图像匹配方法还包括为连续张驰标号定义概率更新元素如下： $q_i^{\left(k\right)}\left(\mathrm{\λ}\right)=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right)$

其中p_j ^(k)(λ′)表示节点-标号的对应概率，k表示所需的迭代次数。在定义了概率更新元素之后，线段图像匹配方法还可以包括以Zucker理论为基础、使用以下等式更新概率的步骤： $p_i^{(k+1)}\left(\mathrm{\λ}\right)=p_i^{\left(k\right)}\left(\mathrm{\λ}\right)+p_i^{\left(k\right)}\left(\mathrm{\λ}\right)\frac{q_i^{\left(k\right)}\left(\mathrm{\λ}\right)-\stackrel{\‾}{q_i^{\left(k\right)}}}{q_i^{\left(k\right)}},$ 其中 $q_i^{\left(k\right)}=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right),\stackrel{\‾}{q_i^{\left(k\right)}}=\underset{\mathrm{\λ}}{\mathrm{\Σ}}{p}_i^{\left(k\right)}\left(\mathrm{\λ}\right)q_j^{\left(k\right)}\left(\mathrm{\λ}\right).$

最好估量查询和模型图像之间的相似性的步骤包括：针对查询和每个模型图像计算线段集的相应节点-标号对之间的距离的总和；以及将该距离的总和的倒数确定为相应的两个图像之间的相似性。该距离可以使用Euclidean距离或Housdorff距离进行估量。

通过借助附图详细描述本发明的优选实施例，本发明的上述目的和优点将会更容易明白，其中：

图1是说明根据本发明的优选实施例的线段图像匹配方法的主要步骤的流程图；

图2A作为两线段之间的二进制关系的实例、说明了两线段的斜率方面的差异；

图2B作为两线段之间的二进制关系的另一实例、说明了连接两线的中点的线段和这两条线段之一之间的角度；

图3A显示查询图像的一个实例；

图3B说明在进行上述线段近似之后图3A的查询图像；

图3C说明由用户从图3B的查询图像中选择的一些线段；

图4A说明对应于在仿真实验中检索的查询图像的模型图像的实例；

图4B说明在进行线段近似之后图4A的模型图像

图5A说明模型图像的另一实例；以及

图5B说明在进行线段近似之后图5A的模型图像。

图1说明了根据本发明的线段图像匹配方法的优选实施例。参考图1，收集关于查询图像和模型图像的线段信息(步骤102)。这里，假定该模型图像存储在数据库中，并且按线段形状描述符进行索引。这些线段形状描述符可以由形状描述符抽取方法进行抽取，该形状描述符抽取方法由本申请人于2000年10月21日提交，并分配韩国专利申请号00-62163，该申请通过参考引用在这里。形状描写符可以从查询图像通过形状描述符抽取方法进行抽取。由形状描述符抽取方法所抽取的形状描述符包括一组线段。关于查询图像和模型图像的线段信息可以从该组线段中收集。

定义查询图像和模型图像的线段之间的二进制关系(步骤104)。单一线段的诸如斜率、长度或中点位置之类的本质属性，以及诸如两线段之间的角度差、长度比、相对位置或相对距离之类的两线段之间的二进制关系，可以用作线段的特征。在本实施例中，这些对于旋转、标尺变化和平移不变的二进制关系用作线段特征。图2A作为两线段之间的二进制关系的实例、说明了两线段之间的斜率方面的差异。如图2A所示，两条线段的相对位置可以表达成两条线段的斜率的差(θ)。图2B作为两线段之间的二进制关系的另一实例、说明了连接两线中点的线段和这两条线段之一之间的角度。如图2B所示，两条线段的相对位置可以表达成角度(φ)。虽然在附图中没有解释，但两线段之间的长度的比(r)可以用作两线段之间的二进制关系。

在根据本发明的线段图像匹配方法中，查询图像的一组线段与模型图像的一组线段之间的对应关系基于连续张驰标号进行确定。对于连续张驰标号，初始概率以相容性系数以及更近的标号状态为基础进行更新。一旦设定了初始概率，那么该概率依赖该相容性系数进行更新。该相容性系数用于模仿可能的匹配条件以达到满意的标号。精确标号接近于真实查询图像这一点很重要。

接着在步骤106中，基于步骤104中所定义的二进制关系、确定查询和模型图像的多对节点-标号之间的相容性系数。步骤106的程序如下。首先，基于查询图像的线段的二进制关系计算查询图像的线段集之内的两个节点v_i和v_j之间的二进制关系ξ_ij。这里i和j表示查询图像的节点的识别符，并且互异。基于每个模型图像的线段的二进制关系计算每个模型图像的线段集内的两个标号λ和λ′之间的二进制关系ξ_λλ′。这里λ和λ′表示模型图像的标号的识别符。查询图像的节点对与多对模型图像的标号对之间的相容性强度可以表示成相容性系数r_ij(λ，λ′)。基于查询图像和模型图像的二进制关系、在0和1之间确定该相容性系数r_ij(λ，λ′)。该相容性系数r_ij(λ，λ′)估量各节点-标号对之间的相容性强度：高值对应于相容而低值对应于不相容。例如，在考虑节点-标号对(v_i，λ)的相容性时，如果节点v_i与标号λ₁相容性比与标号λ₂的相容性高，则定义相容性系数满足下列关系：

              r_ij(λ₁，λ′)＞r_ij(λ₂，λ′)。    (1)

当查询图像的节点对(i，j)的二进制关系与标号对(λ，λ′)的二进制关系一致时，将系数r_ij(λ，λ′)确定为1。在本实施例中，相容性系数r_ij(λ，λ′)表达为： $r_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})=\frac{1}{1+\left|\right|\mathrm{\ρ}(i,j,\mathrm{\λ},{\mathrm{\λ}}^{\′})\left|\right|,}---\left(2\right)$ 这里

，“K”表示定义二进制关系的特征向量的元素个数。在公式(2)中，“ρ”表示关于多对节点-标号对之间的相容性的差的量度。

接下来，用相容性系数、基于连续张驰标号确定相似性(步骤108)。如前面所述，在连续张驰标号过程中，初始概率以相容性系数以及更近的标号状态为基础进行更新。一旦假定了初始概率，那么该概率依赖于相容性系数进行更新。该相容性系数用于模仿可能的匹配条件以达到满意的标号。精确标号接近于真实查询图像这一点很重要。使用相容性系数、基于连续张驰标号执行的步骤108牵涉到概率更新步骤、正则化步骤和相似性确定步骤。首先，给预定数量的上部节点-标号对指定统一的初始概率，在这些上部节点-标号对中，节点的每个相邻标号的支撑的最大程度的总和落入上层的范围之内，其中该初始概率必须接近最终概率。

用于连续张驰标号的概率更新元素定义为： $q_i^{\left(k\right)}\left(\mathrm{\λ}\right)=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right)$ 其中p_j ^(k)(λ′)表示相应节点-标号的概率，k表示所需的迭代次数。以保证有效的收敛结果的Zucker理论为基础按下列方式更新概率： $p_i^{(k+1)}\left(\mathrm{\λ}\right)=p_i^{\left(k\right)}\left(\mathrm{\λ}\right)+p_i^{\left(k\right)}\left(\mathrm{\λ}\right)\frac{q_i^{\left(k\right)}\left(\mathrm{\λ}\right)-\stackrel{\‾}{q_i^{\left(k\right)}}}{q_i^{\left(k\right)}},---\left(3\right)$ 其中 $q_i^{\left(k\right)}=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right),\stackrel{\‾}{q_i^{\left(k\right)}}=\underset{\mathrm{\λ}}{\mathrm{\Σ}}{p}_i^{\left(k\right)}\left(\mathrm{\λ}\right)q_j^{\left(k\right)}\left(\mathrm{\λ}\right).$

特征向量的每个元素的范围与其它的元素不相同，因此需要正则化。要与查询图像进行匹配的线段的信息明显地可以基于张驰标号、由节点-标号对应关系获得。从查询图像集中选择线段之一，剩余的线段对应于所选的线段、在尺寸和位置方面进行正则化。具体地说，从查询图像的线段集中选择任意线段。指定所选线段的长度为1，定义空间变换函数使得所选线段在正交坐标系的X轴上对齐。然后，将查询图像的所有线段用该空间变换函数进行变换。对所有对应于所选线段的模型图像的线段实施这个空间变换。

然后，确定查询图像和模型图像之间的相似性。在本实施例中，通过计算查询图像和每个模型图像的节点-标号距离的总和确定相似性。可以使用各种各样的技术来确定该相似性。例如，如果查询图像和模型图像之间的节点-标号对应关系明显，并且如果对相应的线段进行对应于旋转和标尺变化的正则化，则可以使用Euclidian距离直接估量节点和标号之间的距离。另外，可以使用Housdorff距离估量该距离，并且能够保证更精确的相似性结果。在本实施例中，查询图像和模型图像之间的相似性按如下方式估量。使用Euclidian距离，针对查询图像和每个模型图像的两个线段集估量对应的节点和标号之间的距离。然后，计算所有距离的总和，并以此和的倒数确定两个图像之间的相似性。检索具有高相似性的模型图像(步骤110)。

基于上述线段图像匹配方法进行仿真实验。抽取查询图像的边界，并且所抽取的边界近似于线段以便用这些线段表达查询图像。然后，用户选择一些查询图像的线段，并使用所选的线段上的信息和模型图像进行匹配。图3A显示了查询图像的一个实例。图3B说明了在进行上述线段近似之后图3A的查询图像。图3C说明了由用户从图3B的查询图像中选择的一些线段。

图4A说明了对应于在仿真实验中检索的查询图像的模型图像的实例。图4B说明了在进行线段近似之后图4A的模型图像。如图4B所示，参考号402所指示的、用线段近似过的检索的模型图像包括相似于如图3C所示的用线段近似的查询图像的线段。

图5A说明了模型图像的另一实例。图5B说明了在进行线段近似之后图5A的模型图像。如图5B所示，参考号502所指示的、用线段近似过的检索模型图像包括相似于如图3C所示的用线段近似的查询图像的线段。

如上所述，在根据本发明的线段图像匹配方法中，含有针对查询图像相似的形状描述符的模型图像可以从由基于线段的形状描述符索引的图像数据库中检索，而不需要从查询图像中抽取对象。

根据本发明的线段图像匹配方法可以作为可在个人计算机或服务器上执行的程序实施。用于实现本发明的函数程序、代码和代码段可以由普通计算机程序员从包含在这里的本发明的描述中得到。该程序可以存储在计算机可用介质中，包括但不限于诸如磁存储介质、光可读介质和载波之类的存储介质。

Claims (14)

1.一种线段图像匹配方法，该方法包括：

收集查询图像和模型图像的线段信息；

定义该查询图像的各线段和该模型图像的各线段之间的二进制关系；

基于该二进制关系估量该查询和模型图像的各对节点-标号的相容系数；以及

使用该相容系数以连续张驰标号为基础、估量该查询和模型图像之间的相似性。

2.如权利要求1的线段图像匹配方法，其中每个查询和模型图像的线段信息由形状描述符表达。

3.如权利要求1的线段图像匹配方法，其中该模型图像从由形状描述符所索引的数据库中检索，该形状描述符按下列方式确定：抽取模型图像的轮廓；稀疏该轮廓；基于抽取的轮廓连接相应的像素以获得一线段集；以及正则化该线段集以将所正则化的线段集确定为形状描述符。

4.如权利要求1的线段图像匹配方法，其中二进制关系对旋转、标尺变化和平移不变。

5.如权利要求4的线段图像匹配方法，其中该二进制关系包括两条线段之间的角差、长度比、相对位置和相对距离中的至少一个。

6.如权利要求1的线段图像匹配方法，其中基于该二进制关系估量各对节点-标号的相容系数的步骤包括：

估量二进制关系，对查询图像的线段集内的两个节点i和j该二进制关系表示为ξ_ij；

估量二进制关系，对每个模型图像的线段集内的两个标号λ和λ′该二进制关系表示为ξ_λλ′；以及

估量相容系数，对于查询的和每个模型图像的多对节点-标号该相容系数表示成r_ij(λ，λ′)。

7.如权利要求6的线段图像匹配方法，其中作为多对节点-标号之间的相容性的强度的量度的相容性系数r_ij(λ，λ′)具有对应于相容性的高值和对应于不相容性的低值。

8.如权利要求6的线段图像匹配方法，其中如果查询图像的一对节点(i，j)的二进制关系与一对标号(λ，λ′)的二进制关系一致，则将r_ij(λ，λ′)确定为1。

9.如权利要求6的线段图像匹配方法，其中相容性系数r_ij(λ，λ′)表达成： $r_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})=\frac{1}{1+\left|\right|\mathrm{\ρ}(i,j,\mathrm{\λ},{\mathrm{\λ}}^{\′})\left|\right|}$ 这里

，“K”表示定义二进制关系的特征向量的元素个数；“ρ”表示关于多对节点-标号之间的相容性的差的量度。

10.如权利要求1的线段图像匹配方法，其中线段图像匹配方法在以连续张驰标号为基础估量相似性之前，还包括指定一个统一的初始概率给预定数量的上部节点-标号的步骤，在这些上部节点-标号中，由节点的每个相邻标号支撑的最高程度的总和落入上层的范围之内，该初始概率接近最终概率。

11.如权利要求10的线段图像匹配方法，其中在指定一个统一的初始概率给上部的多对节点-标号之后，线段图像匹配方法还包括为连续张驰标号定义概率更新元素如下： $q_i^{\left(k\right)}\left(\mathrm{\λ}\right)=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right)$

其中p_j ^(k)(λ′)表示节点-标号的对应概率，k表示所需的迭代次数。

12.如权利要求11的线段图像匹配方法，其中在定义了概率更新元素之后，线段图像匹配方法还包括以Zucker理论为基础、使用以下等式更新概率的步骤： $p_i^{(k+1)}\left(\mathrm{\λ}\right)=p_i^{\left(k\right)}\left(\mathrm{\λ}\right)+p_i^{\left(k\right)}\left(\mathrm{\λ}\right)\frac{q_i^{\left(k\right)}\left(\mathrm{\λ}\right)-\stackrel{\‾}{q_i^{\left(k\right)}}}{q_i^{\left(k\right)}},$ 其中 $q_i^{\left(k\right)}=\mathrm{\Σ}{\mathrm{\α}}_i\left(\underset{\mathrm{\λ}}{\mathrm{\Σ}}{r}_{\mathrm{ij}}(\mathrm{\λ},{\mathrm{\λ}}^{\′})p_j^{\left(k\right)}\left({\mathrm{\λ}}^{\′}\right)\right),\stackrel{\‾}{q_i^{\left(k\right)}}=\underset{\mathrm{\λ}}{\mathrm{\Σ}}{p}_i^{\left(k\right)}\left(\mathrm{\λ}\right)q_j^{\left(k\right)}\left(\mathrm{\λ}\right).$

13.如权利要求1的线段图像匹配方法，其中估量查询和模型图像之间的相似性的步骤包括：

计算查询和每个模型图像的线段集的相应节点-标号对之间的距离的总和；以及

将该距离的总和的倒数确定为相应的两个图像的之间的相似性。

14.如权利要求13的线段图像匹配方法，其中该距离使用Euclidean距离或Housdorff距离进行估量。

Images