CN104021228B - 一种融合对象语义的商标图像匹配方法 - Google Patents

Abstract

一种融合对象语义的商标图像匹配方法，涉及图像搜索。提供融合了对象的语义匹配，使得对象匹配过程是在语义相似的对象间进行匹配，并且匹配结果体现了语义相似度，可在保证准确率的同时可以较大程度上缩短图像检索时间，提高匹配性能的一种融合对象语义的商标图像匹配方法。步骤一：关键词组语义的匹配；步骤二：高语义相关对象的提取；步骤三：融合语义与对象底层特征的综合匹配。将两幅商标图像的相似度看作是它们语义相似度最高的若干对象在底层空间上的相似度乘以语义偏差值，对于其中任意一组相似对象而言，对象的语义偏差越大，对对象底层特征相似度的影响就越大。

Description

一种融合对象语义的商标图像匹配方法

技术领域

本发明涉及图像搜索，尤其是涉及一种融合对象语义的商标图像匹配方法。

背景技术

商标注册前的查询，可以大大减少商标注册的风险，提高商标注册的成功率。商标查询，是指在商标注册前，通过商标局的官方网站，或者向商标局下属的通达服务中心提交查询申请，查询本次所申请的商标与原先已申请或已注册的商标有无相同或近似的情况。

商标之间相似程度主要以人眼的视觉判断为基准，但数据库内注册商标的数量十分庞大，判别工作若全部由人工完成，不仅复杂而且效率低下。因此，建立商标图像的自动检索***就变得极为必要。先由计算机检索出与待注册商标相似的图像，再人工决定是否予以注册，可以大幅度提高商标管理工作的效率。鉴于上述原因，对商标图像匹配检索的研究具有重要的科学和实用价值。

在基于内容的图像检索中，图像特征索引技术主要研究的是图像的视觉和形象特征，包括颜色及其分布关系、纹理、对象形状以及它们之间的空间关系等方面。以图像的底层视觉为索引对图像进行检索具有计算简单、性能稳定的特点，但目前这些特征都有一定的局限性。

语义分析是图像理解中高层认知的难点和重点。“语义鸿沟”的存在是目前基于内容图像检索***还难以被普通用户所接收的根本原因。为了实现更为贴近用户理解能力的自然而简洁的查询方式，并提高图像检索的精度，在基于内容的图像检索技术领域进行包含语义的检索方法的研究是十分必要的。因此，近几年的研究逐渐转向基于区域和目标对象的高层图像语义描述特征的提取，尝试由图像的底层次特征推知高层次语义，从而使用高层语义特征计算图像相似程度。如何从图像的底层特征中自动提取语义特征，成为基于内容的图像检索领域的难题。

基于形状匹配的商标图像检索主要思想是通过图像分割技术提取出商标图像中的感兴趣目标，然后对目标进行形状描述，最后使用与形状描述方法相适应的相似性度量标准进行商标图像的检索。

然而，当商标图像分割结果包含多个目标对象时，传统的方式是将多个目标对象逐一与另一商标图像的对象进行比较，最后加权求和。但是，图像中多个目标对象间的完全匹配方式比较耗时，并且包含了多个无意义匹配，因为在匹配过程中，多个不相关的对象也进行了匹配操作。

发明内容

本发明的目的在于针对现有商标图像匹配的不足，提供融合了对象的语义匹配，使得对象匹配过程是在语义相似的对象间进行匹配，并且匹配结果体现了语义相似度，可在保证准确率的同时可以较大程度上缩短图像检索时间，提高匹配性能的一种融合对象语义的商标图像匹配方法。

本发明包括以下步骤：

步骤一：关键词组语义的匹配；

步骤二：高语义相关对象的提取；

步骤三：融合语义与对象底层特征的综合匹配。

在步骤一中，所述关键词组语义匹配，具体步骤如下：

(a)对输入的两个关键词组进行匹配，对关键词组的匹配是基于关键词的匹配，具体方法如下：

利用知网(HowNet)提供的计算方式，得到两个关键词语义的相似度，计算方式如下所示：

similarity(key₁，key₂)＝max_{i＝1...n，j＝1...m}similarity(S_1i，S_2j) (1)

其中key₁和key₂为两个关键词，key₁由概念集合{S₁₁，S₁₂，...，S_1m}组成，key₂由概念集合{S₂₁，S₂₂，...，S_2n}组成；

(b)把两个关键词之间的相似度问题归结为两个概念之间的相似度问题，两个概念语义表达式的整体相似度由下式获得：

其中，β_i是可调节的参数，表示以下4个特征：第一基本义原描述、其它基本义原描述、关系义原描述、关系符号描述，其满足：β₁≥β₂≥β₃≥β₄；

(c)把两个关键词之间的相似度问题最终归结为义原之间的相似度问题，根据义原之间的路径距离来计算两者的相似度，两个关键词组的匹配度由下式获得：

其中，函数f定义如下：

σ为阈值，σ∈[0，1]，N为关键词匹配相似度值大于σ的个数。

在步骤二中，所述高语义相关对象的提取的具体步骤如下：

首先，对于两幅商标图像的分割对象对应的关键词组，利用步骤一关键词组语义匹配方法计算对象之间语义的相似度，可以得到如下的相似度矩阵：

其中，该矩阵为对称矩阵，M(w_1i，w_2j)为利用上述关键词组语义匹配方法计算所得值，M(w_1i，w_2j)∈[0，1]，并且当i＝j时，有M(w_1i，w_2j)＝1，即矩阵对角线上的值为1；

然后，基于得到的相似度矩阵，获取高语义相关对象，其具体步骤如下：

1)对相似度值M(w₁₁，w₂₂)，M(w₁₂，w₂₂)，…，M(w_1m，w_2n)序列从大到小排序，并记录值对应于矩阵的位置；

2)设定一个阈值α，α∈[0.5，1]，对于相似度排序序列的每个值，若大于α，则取出对应的矩阵位置i和j，从分割商标图像向量T₁，T₂取得相应对象，记录相应语义相似度值；同时划掉第i行和第j列；

最后，得到k对最高语义相似对象组合构成的对象向量T′₁，T′₂，及其对应的语义相似度向量V′₁₂，即：

T′₁＝{t′₁₁，t′₁₂，...，t′_1k}

T′₂＝{t′₂₁，t′₂₂，...，t′_2k}

V′₁₂＝{M′₁₁，M′₂₂，...，w′_kk}

其中M′_ii代表两幅商标各自第i个对象的语义相似度匹配值。

在步骤三中，所述融合语义与对象特征的综合匹配，即对高语义相关对象进行底层特征的匹配，其具体步骤如下：

令已有两个目标对象t₁，t₂，已有的对象底层特征匹配方法定义为F(t₁，t₂)，结合步骤一、二得到的结果，得到两幅商标图像相似度为：

其中，F(t′_1i，t′_2i)为对象的底层特征相似度函数，F的取值范围为[0，1]。

本发明所述匹配方法的应用是基于对原有商标图像库进行了较好的图像分割并进行人工标注。其中，所述商标图像分割是指把图像分割成若干区域子集，区域子集不相交并且区域内部连通。所述人工标注过程是指对分割后的对象进行标注，以人工的方式对对象区域进行关键字描述。

本发明将两幅商标图像的相似度看作是它们语义相似度最高的若干对象在底层空间上的相似度乘以语义偏差值，对于其中任意一组相似对象而言，对象的语义偏差越大，对对象底层特征相似度的影响就越大。如果这些相似对象组在语义上是完全相同的，那么在底层空间中就是可替换的。

附图说明

图1为本发明提供的融合对象语义与对象特征的匹配流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明实施例包括以下步骤：

步骤一：关键词组语义的匹配；

步骤二：高语义相关对象的提取；

步骤三：融合语义与对象底层特征的综合匹配。

在步骤一中，所述关键词组语义匹配，具体步骤如下：

假设现有两幅已经完成分割的商标图像T₁，T₂，分别为：

T₁＝{t₁₁，t₁₂，...，t_1m}

T₂＝{t₂₁，t₂₂，...，t_2n}

对应于每个分割区域有相应的关键字组进行描述，分别为：

W₁＝{w₁₁，w₁₂，...，w_1m}

W₂＝{w₂₁，w₂₂，...，w_2n}

w_ij代表第i幅商标图像的第j个区域对应的关键词组，

w_ij＝{key_ij1，key_ij2，...，key_ijk}

则关键词组语义匹配的具体过程中，首先对输入的两个关键词组进行匹配：

假设两个关键词组分别为：

keys₁＝{key₁₁，key₁₂，...，key_1k}

keys₂＝{key₂₁，key₂₂，...，key_2l}

对关键词组的匹配是基于关键词的匹配，关键词语义相似度通过以下公式计算得到：

similarity(key₁，key₂)＝max_{i＝1...n，j＝1...m}similarity(S_1i，S_2j)

这样，就把两个关键词之间的相似度问题归结为两个概念之间的相似度问题。由于对实词的描述表示为一个特征结构，该特征结构含有以下四个特征：第一基本义原描述、其它基本义原描述、关系义原描述、关系符号描述。于是，两个概念语义表达式的整体相似度记为上述四个特征的部分相似度的加权和，即

其中，β_i是可调节的参数，满足：β₁≥β₂≥β₃≥β₄。而所有的概念又都是由义原来描述的，所以该问题最终归结为义原之间的相似度问题。由于所有的义原根据上下位关系构成了一个树状层次体系，对于树型结构，任何两个结点之间有且只有一条路径，因此可以根据义原之间的路径距离来计算两者的相似度，即两个关键词组的匹配度定义为：

其中，函数f定义如下：

σ为阈值，σ∈[0，1]。N为关键词匹配相似度值大于σ的个数。也就是说，关键词组的匹配值定义为两两关键词相似度大于σ的值的平均值。

在步骤二中，所述高语义相关对象提取过程，具体步骤如下：

对于两幅商标图像的分割对象对应的关键词组，利用上述关键词组语义匹配方法计算对象之间语义的相似度，可以得到如下的相似度矩阵：

该矩阵为对称矩阵，M(w_1i，w_2j)为利用上述关键词组语义匹配方法计算所得值，M(w_1i，w_2j)∈[0，1]，并且当i＝j时，有M(w_1i，w_2j)＝1，即矩阵对角线上的值为1。

基于得到的相似度矩阵，获取高语义相关对象。基本思想是：遍历矩阵，取出相似度最大的值对应的对象组合，然后将其所属行和列从矩阵中删除，依次取余下矩阵中相似度最大的组合，直到矩阵为空，最后得到由k对相似对最高的对象组合构成的向量。具体步骤如下：

1)由于矩阵的对称性，对矩阵左下部分的相似度值进行排序，即对相似度值M(w₁₁，w₂₂)，M(w₁₂，w₂₂)，…，M(w_1m，w_2n)序列从大到小排序，并记录值对应于矩阵的位置；

2)设定一个阈值α，α∈[0.5，1]，对于相似度排序序列的每个值，如果大于α，则执行如下操作：取出对应的矩阵位置i和j，从分割商标图像向量T₁，T₂取得相应对象，记录相应语义相似度值；同时划掉第i行和第j列。

最后得到k对最高语义相似对象组合构成的对象向量T′₁，T′₂，及其对应的语义相似度向量V′₁₂，即：

T′₁＝{t′₁₁，t′₁₂，...，t′_1k}

T′₂＝{t′₂₁，t′₂₂，...，t′_2k}

V′₁₂＝{M′₁₁，M′₂₂，...，w′_kk}

M′_ii代表两幅商标各自第i个对象的语义相似度匹配值。

在步骤三中，所述融合语义与对象特征的综合匹配过程，具体步骤如下：

根据步骤二，获得了商标分割对象的高语义相似对象集合、对象间的一一对应关系以及相应的语义相似度值。接下来可对高语义相关对象进行底层特征的匹配。对象的底层特征匹配可以从颜色、纹理、形状等方面进行描述。作为一个通用框架，这边可以采用已有的一些对象特征描述方法，假设已有两个目标对象t₁，t₂，已有的对象底层特征匹配方法定义为F(t₁，t₂)，结合上一步骤得到的结果，最终的两幅商标图像相似度定义为：

其中，F(t′_1i，t′_2i)为对象的底层特征相似度函数，F的取值范围为[0，1]。

该步骤将两幅商标图像的相似度看作是它们语义相似度最高的若干对象在底层空间上的相似度乘以语义偏差值，对于其中任意一组相似对象而言，对象的语义偏差越大，对对象底层特征相似度的影响就越大。如果这些相似对象组在语义上是完全相同的，那么在底层空间中就是可替换的。

本发明融合了对象的语义匹配，使得对象匹配过程是在语义相似的对象间进行匹配，并且匹配结果体现了语义相似度。这种方法在保证准确率的同时可以较大程度上缩短图像检索时间，提高匹配性能。

Claims (1)

1.一种融合对象语义的商标图像匹配方法，其特征在于包括以下步骤：

步骤一：关键词组语义的匹配；

所述关键词组语义匹配，具体步骤如下：

(a)对输入的两个关键词组进行匹配，对关键词组的匹配是基于关键词的匹配，具体方法如下：

利用知网提供的计算方式，得到两个关键词语义的相似度，计算方式如下所示:

similarity(key₁，key₂)＝max_{i＝1...n，j＝1...m}similarity(S_1i，S_2j) (1)

其中key₁和key₂为两个关键词，key₁由概念集合{S₁₁,S₁₂,…,S_1m}组成，key₂由概念集合{S₂₁,S₂₂,…,S_2n}组成；

(b)把两个关键词之间的相似度问题归结为两个概念之间的相似度问题，两个概念语义表达式的整体相似度由下式获得：

$similarity(S_1,S_2)=\underset{i=1}{\overset{4}{\Σ}}({\mathrm{\β}}_i\×{\mathrm{similarity}}_i(S_1,S_2\left)\right)---\left(2\right)$

其中，β_i是可调节的参数，表示以下4个特征：第一基本义原描述、其它基本义原描述、关系义原描述、关系符号描述，其满足：β₁≥β₂≥β₃≥β₄；

(c)把两个关键词之间的相似度问题最终归结为义原之间的相似度问题，根据义原之间的路径距离来计算两者的相似度，两个关键词组的匹配度由下式获得：

$M({\mathrm{keys}}_1,{\mathrm{keys}}_2)=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^k{\mathrm{\Σ}}_{j=1}^{l}f\left(similarity\right({\mathrm{key}}_{1i},{\mathrm{key}}_{2j}\left)\right)---\left(3\right)$

其中，函数f定义如下：

$f\left(x\right)=\left\{\begin{array}{cc}x& x\&GreaterEqual;\mathrm{\&sigma;}\\ 0& x<\mathrm{\&sigma;}\end{array}\right.---\left(4\right)$

σ为阈值，σ∈[0，1]，N为关键词匹配相似度值大于σ的个数；

步骤二：高语义相关对象的提取；所述高语义相关对象的提取的具体步骤如下：

首先，对于两幅商标图像的分割对象对应的关键词组，利用步骤一关键词组语义匹配方法计算对象之间语义的相似度，得到如下的相似度矩阵：

其中，该矩阵为对称矩阵，M(w_1i，w_2j)为利用上述关键词组语义匹配方法计算所得值，M(w_1i，w_2j)∈[0，1]，并且当i＝j时，有M(w_1i，w_2j)＝1，即矩阵对角线上的值为1；

然后，基于得到的相似度矩阵，获取高语义相关对象，其具体步骤如下：

1)对相似度值M(w₁₁，w₂₂)，M(w₁₂，w₂₂)，…，M(w_1m，w_2n)序列从大到小排序，并记录值对应于矩阵的位置；

2)设定一个阈值α，α∈[0.5，1]，对于相似度排序序列的每个值，若大于α，则取出对应的矩阵位置i和j，从分割商标图像向量T₁，T₂取得相应对象，记录相应语义相似度值；同时划掉第i行和第j列；

最后，得到k对最高语义相似对象组合构成的对象向量T′₁，T′₂，及其对应的语义相似度向量V′₁₂，即：

T′₁＝{t′₁₁，t′₁₂，...，t′_1k}

T′₂＝{t′₂₁，t′₂₂，...，t′_2k}

V′₁₂＝{M′₁₁，M′₂₂，...，w′_kk}

其中M′_ii代表两幅商标各自第i个对象的语义相似度匹配值；

步骤三：融合语义与对象底层特征的综合匹配；

所述融合语义与对象特征的综合匹配，即对高语义相关对象进行底层特征的匹配，其具体步骤如下：

令已有两个目标对象t₁，t₂，已有的对象底层特征匹配方法定义为F(t₁，t₂)，结合步骤一、二得到的结果，得到两幅商标图像相似度为：

$\begin{array}{c}similarity\left(T_1,T_2\right)=similarity\left(T_1^{\&prime;},T_2^{\&prime;}\right)\\ =\frac{{\mathrm{\&Sigma;}}_{i=1}^k\left(M_{ii}^{\&prime;}\&times;F\left(t_{1i}^{\&prime;},t_{2i}^{\&prime;}\right)\right)}{{\mathrm{\&Sigma;}}_{i=1}^k{M}_{ii}^{\&prime;}}\end{array}---\left(5\right)$

其中，F(t′_1i，t′_2i)为对象的底层特征相似度函数，F的取值范围为[0，1]。