CN104965928A - 一种基于形状匹配的汉字图像检索方法 - Google Patents

Abstract

本发明公开了一种基于形状匹配的汉字图像检索方法。该方法在形状上下文算法的基础上构造了形状特征描述函数，在对汉字图像进行描述中进引入了Hu不变矩算法使得汉字图像特征描述函数有更高鲁棒性。本发明是针对碑贴中的古代书法家遗留下来的书法作品经过数字化提取得到的图像进行检索，以便用户欣赏和比较不同时期不同书法家的作品风格。通过提出的形状描述函数进行相似性度量在训练集中快速准确地检索到匹配的图像，同时可以查看匹配到的汉字图像在原碑文中的位置。本发明所提出的针对碑文中提取出的汉字的形状描述函数具有准确性高，效率高，鲁棒性好等优点。

Description

一种基于形状匹配的汉字图像检索方法

技术领域

本发明属于计算机视觉与计算机图形学领域，具体地说是结合不变矩和形状上下文算法的以二维形状轮廓信息为特征的汉字图像检索的方法，该方法可用于碑文字帖中的书法字检索，相似字查找等方面。

背景技术

书法作品和碑文是汉字的相对完整和艺术的表现形式，在当今社会，多媒体技术不断发展，同时互联网已经基本实现全面普及，图像信息已然成为了一种十分重要的信息资源被人们广泛使用，大量的汉字作品信息也以图像的方式进行存储。伴随着越来越多的汉字作品不断被发现，汉字的分类、作者的确认等工作变得非常复杂和繁琐，因此研究者需要对汉字图像信息资源实现管理和检索工作显得越来越困难。在早期的图像检索中，研究者们一般使用文本描述的方式来进行检索，并将其称为基于文本的检索技术(TBIR)。基于文本的图像检索沿用了传统文本检索技术，回避对图像可视化元素的分析，而是从图像名称、图像尺寸、压缩类型、作者、年代等方面标引图像，一般以关键词形式的提问查询图像，或者是根据等级目录的形式浏览查找特定类目下的图像。这种检索方式立足于文本，对图像进行检索。将传统的文本检索技术移植于对多媒体信息的检索上，因为基于文本的检索技术发展已经成熟。如Page-Rank方法、概率方法、位置方法、摘要方法、分类或聚类方法、词性标注法等，不仅技术发展较为成熟，同时分析和实现的难度略小。但是因为受控词汇本身的局限，易歧义，更新慢，所以不太容易应对网络上日新月异的各类图像，而且效率较为低下，通用性不好，因而往往不能满足人们的需要。

发明内容

汉字图像检索的两个主要关键在于高效性和准确性，为满足这个要求，同时克服上述方法的缺点，本发明在提供一种两层的层次化的检索框架，在第一层中使用形状的几何特征即汉字图像的边缘信息来建立索引。而Hu不变矩特征描述在引二层中用以对第一层中的检索结果进行二次检索，进行第二次过滤，实现检索的准确性。

为了达到上述目的，本发明提出了一种基于形状匹配的汉字图像检索方法。首先提出了一个基于形状上下文和Hu不就业矩两种分层特征描述方式，然后使用这两种方式分层次进行近似匹配。检索的过程都采用某种相似性度对图像库中图像进行匹配获得查询结果，但本发明与常规数据库检索的匹配方法不同。在对汉字图像进行特征提取和建立索引的过程是最复杂的，在这过程中，本发明使用了离线的方式由计算机自动对各汉字图像进行汉字图像特征提取，汉字图像分类。避免了人工描述的不客观，也减少了用户的工作量，一定程度上提高了效率。

附图说明

图1示出本发明基于形状匹配的汉字图像检索方法的主要流程图；

图2示出本发明构建图像集中的部分归一化处理后的图像；

图3示出本发明部分检索结果。

具体实施方式

如图1所示，本发明的基于形状匹配的汉字图像检索方法采用如下步骤：

(1)对数据库中的所有汉字图像进行预处理。由于本发明主要针对的是古代书法家遗留下来的碑文字贴的书法字进行检索，所以在经过首先要对获取到的书法字进行分割等处理。首先对获得的碑贴整体图像进行单字分割，考虑到古代书法的书写习惯为从上至下书写的，所以先对获取的书法图像纵向投影，即将碑文上所有汉字的像素点投影到横轴上，根据投影到横轴上的坐标把整个碑文划分为若干列，由于上述的书写特点每一列的汉字基本对齐，不存在错误分割现象对于分割成不同列的图像，在横向同样进行投影，根据各个汉字的像素点投影到纵轴上的坐标，将已经划分为列的汉字再划分成不同的单个汉字。但是由于碑文中汉字横向大多不对齐，因此直接分割会导致一个问题：对于写的比较分散的上下结构单字，可能会将其判定并分割为两个单字，产生错误的结果。解决上述问题的方法是在进行横向分割时，设定一个合适的阈值，上下两部分距离处于这个阈值内时，则认为上下两个部分为同一个汉字图像。对提取的单字汉字图像进行归一化，归一化之后的图像其特征易于提取且匹配准确度要更高。

(2)使用改进的Hu不变矩对汉字图像建立索引。经过上述处理的单字图像组成检索数据库，对检索数据库中的图像进行边缘检测及轮廓提取、形状特征提取并转化为向量表示，特征提取采用改进的Hu不变矩和改进的形状上下文描述算法。具体实现如下：

假定描述一幅数字图像的函数f(x，y)，当在连续情况下时，我们可以对该图像定义一个几何矩，该几何矩一般也被称为标准矩，其阶数为(u+v)：

(u+v)阶中心距的定义如下：

其中和分别代表图像重心的横坐标和纵坐标，定义如下：

其中，m_uv表示(u+v)阶中心矩，u，v为上式中的m的下标。

此外，定义归一化的中心距为：

其中ρ＝(u+v)/2+1   (14)

根据以上定义，我们构造出七个不变矩I₁～I₇，这七个不变矩的构造都使用二阶和三阶的归一化中心距来实现。

I₁＝η₂₀+η₀₂   (15)

I₃＝(η₃₀+3η)²+(3η₂₁-η₀₃)²   (17)

I₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²   (18)

I₅＝(η₃₀-η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η⁰ ₃)²)]+(3η₂₁-η₀₃)(η₂₁+η₃₀)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]   (19)

I₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)   (20)

I₇＝(3η₂₁+η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(η₃₀-3η₁₂)(η₂₁+η₃₀)[3(η₃₀+η₁₂)²-η₂₁+η₀₃)²]   (21)

式中η_uv表示(u+v)阶归一化中心矩。u，v为上述各式中的η的下标u，v＝0,1,2,3。

这七个不变矩构成一组特征向量，用以描述形状特征。在提取出相应的形状特征并以向量方式进行表达后，就可以进行相似度检测，以下是衡量相似度D的三种方法：

其中，和由式(25)求得。

分别表示形状A，B第r个不变矩函数值式。

得出的相似度D均大于等于零且小于1，D的值越接近零，则表示两个形状越相似。

(3)基于形状上下文建立索引。对数据库的图像集在建立基于不变矩的索引后，为了使用形状上下文进行二次检索，还需要对汉字图像建立基于形状上下文的索引。形状上下文描述子是一个r*α维的向量，其中r表示在极坐标空间中径向对空间划分的区域数，α表示在极坐标空间中角度方向对空间划分的区域数。

对于两个形状I和P，计算它们之间每个轮廓采样点(如g，h)之间的差别，即形状上下文描述子的差别。

其中，K为极坐标空间划分的区域数，g，h为进行相似度比较的两个采样点，C_s为两个点的距离。

在得到每个点之间的差别，就可以形成一个代价矩阵M_cost，然后通过最优匹配算法找到一个最优匹配结果，使整个代价最小，基于这个最优形状代价作为两个形状之间的相似度衡量标准，代价越小，两个形状就越相似，在匹配过程中使用了正规化TPS(Thin Plate Spline)转换模型。

匹配代价经过变换后，可以得到如下表示：

其中，D_sc(A，B)为形状点集A，B的匹配代价，s，t为分别为点集A，B的点数。p，q分别是形状采样点集A，B上的点，T()表示估计的TPS形状转换。

(4)汉字图像检索。以待检索汉字图像或者人工绘制出汉字作为输入，分别经过上述两种形状描述与匹配方法进行两次检索。本发明核心思想是通过对图像的形状特征参数化表示之后进行相似度检测达到匹配的目的。从查准率97％和查全率76％都可以看出本发明检索结果的有效性和稳定性。

Claims (3)

1.一种基于形状匹配的汉字图像检索方法，其特征在于包括以下步骤：

（1）对数据库中的所有汉字图像进行预处理，包括去噪，轮廓平滑，灰度化，单字分割，归一化；

（2）使用改进的Hu不变矩对汉字图像建立索引,在使用Hu不变矩对汉字图像进行表示中，加入边界矩描述子,同时获取汉字图像的区域、边界信息以提高汉字图像检索的精度；

（3）基于形状上下文对汉字图像建立索引，在使用形状上下文描述子对汉字图像描述时，只取汉字图像的骨架点和轮廓的角点进行采样；

（4）汉字图像检索,在使用上述方法对数据库中的汉字图像建立索引后，对输入的待查找图像进行同样的表示，分别通过两种索引方式在汉字图像数据库检索,先使用基于改进的Hu不变矩索引进行第一次检索，在结果集中再使用基于形状上下文索引进行二次检索。

2.如权利要求1所述的基于形状匹配的汉字图像检索方法，其特征在于：所述步骤（2）采用改进的不变矩对汉字图像建立索引的步骤如下：

（1）对具有二维几何形状平移不变性、旋转不变性以及尺度不变性的Hu不变矩的引入并加以改进，Hu利用二阶和三阶中心矩构造了七个不变矩I₁，I₂，...，I₇，在连续图像条件下可保持平移、绽放和旋转不变；

I₁＝η₂₀+η₀₂  (1)

$I_2={({\mathrm{\η}}_{20}+{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2---\left(2\right)$

I₃＝(η₃₀+3η)²+(3η₂₁-η₀₃)²  (3)

I₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²  (4)

I₅＝(η₃₀-η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²)]+(3η₂₁-η₀₃)(η₂₁+η₃₀)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]  (5)

I₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)  (6)

I₇＝(3η₂₁+η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(η₃₀-3η₁₂)(η₂₁+η₃₀)[3(η₃₀+η₁₂)²-η₂₁+η₀₃)2]  (7)

式中η_uv表示(u+v)阶归一化中心矩；u，v为上述各式中的η的下标u，v=0,1,2,3；

Hu不变矩具有旋转不变性，所以通过不同矩之间的比值R_i来去除公式中的比例因了y带来的影响，这样能够消除二维形状在缩放时带来的影响，使得形状描述只和形状信息相关，而没有冗余信息的干扰；

$R_i=\frac{\sqrt{I_{i+1}}}{I_i},i=1,2,\mathrm{...},6---\left(8\right)$

其中，I_i表示i阶不变矩函数值式。

3.如权利要求1所述的基于形状匹配的汉字图像检索方法，其特征在于：所述步骤（3）采用形状上下文对汉字图像建立索引的步骤如下：

在对汉字图像轮廓表示中引入具有高鲁棒性的改进形状上下文算法，通过该算法对形状的轮廓采样点进行分区域描述；反应了二维形状轮廓点样之间的相对关系；

$h_i^k=\{q\≠p_i:(q-p_i)\∈bin\left(k\right)\}---\left(9\right)$

其中，表示当前轮廓点为中心时第k个区域的轮廓点数；#操作表示q为落入第k个区域中的不同于p_i点的轮廓上的其余点的数量，k表示在极坐标系下对二维平面空间进行划分的区域编号，p_i为待描述的轮廓点，q表示不同于p_i的轮廓点，bin(k)表示极坐标系中被划分的第k个区域；

公式（10）给出两个轮廓点集间各个采样点的相似度计算函数；

$d(p_m,q_n)=\frac{1}{2}\underset{k=1}{\overset{N}{\Σ}}\frac{{\[h_k\left(p_m\right)-h_k\left(q_n\right)\]}^2}{h_k\left(p_m\right)-h_k\left(q_n\right)}---\left(10\right)$

其中，p_m是二维形状采样点集A上的点，q_n是形状采样点集B上的点，A和B为两个待比较的轮廓采样点集。