CN101817001A - 一种信封图像的查询方法 - Google Patents

Abstract

本发明公开了一种信封图像的查询方法，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₁组不同的特征组合，分别记为

，利用每一个特征组合对信封图像库中的所有图像进行一次查询，从而得到k₁组查询结果，分别记为

，将

作为最终查询结果返回。本发明实现了以信函图像为检索依据在信函分拣***的图像库中查询信函信息。

Description

一种信封图像的查询方法

技术领域

本发明属于邮政技术领域，尤其涉及一种对于信函的信封图像的查询方法。

背景技术

在邮件分拣***中，一封信件可能通过多个分拣机，并且可能多次通过同一个分拣机。而当信件通过分拣机时，信封的图像可被采集下来与其相关处理信息共同存于数据库中。从而一个应用就由此产生，即，当信件第一次通过第一个分拣机时，其信封图像及相关处理信息就被存入数据库中，而该数据库可以被整个分拣***共享，当信件再次通过任意一个分拣机时，***可以从数据库中获取其相关信息。由于信件信息是与信封图像一同存放的，通过查询信封图像可以获取数据库中的处理信息。

上述应用中的关键技术在于信封图像的查询。依靠图像自身特征获取信封图像的想法。因此信封图像的特征提取和图像间的特征匹配也相当重要。

在许多文献中，不少学者提出了各自的方法来实现基于内容的图像检索，大多数都与图像的空间关系、颜色、纹理或形状有关^[1，2，3]。在最初的信封图像查询***中，只使用一些低层次的物理属性来表征图像，例如图像的灰度直方图、图像熵投影等等，但它们在一定程度上对图像的分辨率、噪声、倾斜程度及光亮变化敏感，而这些变化在信封图像采集过程中时有发生。为了增加***的鲁棒性，可以尝试使用多种不同类型的特征对信封图像进行表征，并提供多种查询方案以确保***的准确性。

发明内容

本发明的目的是提供一种信函图像的查询方法，实现准确地以信函图像为检索依据在信函分拣***的图像库中查询信函信息的目的。

本发明的技术方案是，一种信封图像的查询方法，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₁组不同的特征组合，分别记为C₁，C₂，...

，利用每一个特征组合对信封图像库中的所有图像进行一次查询，从而得到k₁组查询结果，分别记为R₁，R₂，...，

，将

作为最终查询结果返回。

又一种信封图像的查询方法，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₂组不同的特征组合，按照先后顺序记为C₁′，C₂′，...

，利用第一个特征C₁′对库中的所有图像进行一次查询，得到其查询结果记为R₁′，然后利用第二个特征C₂′对前一次查询结果R₁′中的所有图像进行查询，进而得到第二次查询结果记为R₂′，依次查询，第i个特征C_i′的查询对象是第(i-1)次的查询结果R_i-1′，其查询结果记为R_i′，第k₂次查询结果

就作为最终查询结果返回。

又一种信封图像的查询方法，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₁组不同的特征组合，分别记为C₁，C₂，...

，利用每一个特征组合对信封图像库中的所有图像进行一次查询，从而得到k₁组查询结果，分别记为R₁，R₂，...，

，将

作为中间查询结果返回，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₂组不同的特征组合，按照先后顺序记为C₁′，C₂′，...

，利用第一个特征C₁′对库中的所有图像进行一次查询，得到其查询结果记为R₁′，然后利用第二个特征C₂′对前一次查询结果R₁′中的所有图像进行查询，进而得到第二次查询结果记为R₂′，依次查询，第i个特征C_i′的查询对象是第(i-1)次的查询结果R_i-1′，其查询结果记为R_i′，第k₂次查询结果就作为最终查询结果返回。

本发明综合运用多个信函图像特征，准确高效地实现了基于信函图像的信函分拣中的信函信息查询。

附图说明

图1是本发明涉及的邮件分拣***中信封图像查询的操作流程图

图2是本发明中涉及的信封图像预处理流程图

图3是本发明中涉及的信封图像建库流程图

图4是本发明中信封图像查询流程图

图5是本发明中涉及的信封图像信息密集分布区域示例

图6是本发明中涉及的信封图像分块示例

图7是信封图像SIFT特征生成流程图

图8基于字符串识别结果的信封图像查询流程图

图9本发明信封图像查询方法中的并行查询方案流程图

图10本发明信封图像查询方法中的串行查询方案流程图

图11本发明信封图像查询方法中先并行后串行的查询方案流程图

具体实施方式

以下结合附图对本发明的具体实施作进一步说明。本发明涉及的参考文献如下。

[1]B.M.Mehtre，M.S.Kankanhalli，and W.F.Lee，“Shape measures forcontent based image retrieval：a comparison，”Information ProcessingManagement，vol.33，no.3，pp.319-337，1997.

[2]H.Samet and A.Soffer，“Marco：Map retrieval by content，”IEEETransactions on Pattern Analysis and Machine Intelligence，vol.18，no.8，pp.783-798，1996.

[3]A.Mojsilovic，J.Kovacevic，R.J.Hu，and S.K.Ganapathy，“Matchingand retrieval based on the vocabulary and grammer of color patterns，”IEEE Transactions on Image Processing，vol.9，no.1，pp.38-54，2000.

[4]David G.Lowe，“Distinctive image feature from scaleinvariantkeypoints，”International Journal of Computer Vision，vol.60，no.2，pp.91-110，January 2004.

[5]Heng Ynag and Qing Wang，“A novel local feature descriptor for imagematching，”Proceedings of the 2008 IEEE International  Conference onMultimedia and Expo，pp.1405-1408，2008.

[6]K.Mikolajczyk and C.Schmid，“A performance evaluation of localdescriptors，”IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.27，no.10，pp.1615-1630，2005.

[7]Y.Ke and R.Sukthankar，“Pca-sift：A more distinctiverepresentation for local image descriptors，”CVPR 2004.Proceedings ofthe 2004 IEEE Computer Society Conference on，vol.2，pp.506-513，2004.

[8]Yan Zhang，Zhou Zhaoxing，and Xiao Han，“Category specific siftdescriptor and its combination with color information for content-basedimage retrieval，”Proceedings of the 2nd International Conference onInteraction Sciences：Information Technology，Culture and Human，pp.685-690，2009.

如图1所示，本发明的信封图像查询***对每一幅信封图像的操作流程，其中涉及到两大部分操作：一是当信件第一次通过邮件分拣***时，***会对其信封图像进行特征描述后将特征连同图像一同存入图像库中，即建库操作；二是当信件再次通过邮件分拣***时，***在对其信封图像进行特征描述后，利用提取的特征与图像库中的各个图像进行特征匹配，从而返回符合匹配条件的一幅或多幅图像，即查询操作。

如图2所示，本发明涉及的信封图像采集中的图像预处理。在信封图像采集的过程中，信封连同传输时的黑皮带都会被摄像器材拍摄下来，并且可能会出现倾斜或噪声较大的情况，因此为了方便后续的图像特征描述，***会对输入图像进行预处理，使得特征描述操作的对象是水平放置、去除皮带且平滑后的信封图像。具体的预处理操作包括去除皮带、倾斜度检测、倾斜度校正及平滑滤波。

为了使查询***能够返回正确的图像，***必须使用区分度高的特征对图像进行描述。而图像特征可分为简单低层次的物理属性，例如灰度直方图、纹理、形状信息等；复杂高层次的特征，如SIFT特征^[4]、GDOH(Gradient Distanceand Orientation Histogram)算子^[5]等；也可以分为全局属性，如全图像的长、宽、平均灰度值等；局部属性，如局部分区图像的最大最小灰度值及亮度的标准偏差值、熵等等。为了快速而准确的完成查询工作，本文选用多种不同类型的特征，包括图像物理特征、灰度级分布特征、信息分布特征、二值化后的图像分块特征、不变性特征、字符串识别结果。

如图3，信封图像库构建过程中，当信件第一次通过分拣机时，***会对预处理后的信封图像分别进行多种不同类型的特征提取，并将获得的特征连同对应图像存入库中。当信件再次通过任意一个分拣机，***需要从库中查询对应于同一个信件的信封图像时，保存在库中的图像特征可以直接被使用，通过与信封查询图像间进行特征匹配的方式检索相应图像。

如图4所示，当信件再次通过分拣机，***需要从库中查询其对应的信封图像时，***将信封查询图像的各类特征按照一定的查询方案，与库中各幅图像的对应特征进行匹配，常用的匹配方法涉及欧氏距离、城市距离、棋盘距离等等，本文主要使用的是欧氏距离，通过阈值的不同设定，不仅可以影响查询返回的结果，而且可以对***的性能进行调整，查询至库尾后，将满足匹配条件的图像作为最终查询结果返回给用户。

本发明基于信封图像特征的查询技术方案，涉及到特征在下文中详细叙述。

1)物理特征

本发明中使用的图像物理特征包括信封的高、宽以及宽高比。假设图像的分辨率为ρ(DPI)，信封图像的高和宽分别为H_ρ(像素)和W_ρ(像素)，则信封的实际高、宽和宽高比可计算得到：

信封高H_o＝H_ρ/ρ        (1)

信封宽W_o＝W_ρ/ρ        (2)

宽高比R_o＝W_o/H_o＝W_ρ/H_ρ(3)

如此，对每一幅信封图像就形成了一个三维特征(H_o，W_o，R_o)。它充分描述了信封图像的形状信息，当信封查询图像与库中的信封图像之间存在较大的形状差异时，如其中一幅图像中的信封偏长方形，另一幅图像中的信封偏正方形，通过这个三维特征可以快速排除库中不匹配的信封图像。

2)灰度级分布特征

设信封图像采集时，图像的总灰度级为M，即每个像素点的取值范围是0到M，统计整幅图像中每个灰度级的像素点数，记为his(i)，0≤i≤M。所谓灰度级分布特征，就是将M个灰度级分成若干段(比如N段。每段k个灰度级，记为n_i(1)，...，n_i(k)，1≤i≤N)，统计每段中的像素点数在整幅图像总像素点数的比例：

$g\left(i\right)=\frac{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{his}\left(n_i\left(j\right)\right)}{H_{\mathrm{\ρ}}\×W_{\mathrm{\ρ}}},1\≤i\≤N---\left(4\right)$

从而形成了N维特征(g(1)，g(2)，...，g(N))。通过对信封查询图像与库中信封图像的灰度级分布特征进行Δg距离计算：

Δg＝|g(1)-g′(1)|+|g(2)-g′(2)|+...+|g(N)-g′(N)|    (5)

再设置一定的阈值ε判定，将差别较大即Δg≥ε的图像认为是不匹配图像。

3)信息分布特征

通过使用连通元等手段，可以获取信封图像中信息分布密集的若干个连通区域，如图5中的I、II、III、IV、V区域。通过比较信封查询图像与库中信封图像之间的连同区域个数、每个区域的面积及其在图像中的相对位置等，可以一定程度上判断两幅图像是否匹配，尤其在排除不匹配图像方面，经常可以起到加速作用。例如若信封查询图像在左下角有一些类似LOGO的图案或标识，如图5中的IV，那么对于库中左下角空白的信封图像就可以立即将其排除。

4)二值化图像的分块特征

该特征要求先对信封图像进行二值化处理，再将图像分别按水平和垂直方向分成D_M段和D_N段，共得到D_M×D_N个分块，如图6所示。

分块完毕后，对每个分块统计其内部黑色像素点的数量N(i，j)，0≤i≤D_M，0≤j≤D_N，以及它在整幅图像的黑色像素点总数N_sum中占的比例d(i，j)：

$d(i,j)=\frac{N(i,j)}{N_{\mathrm{sum}}},0\≤i\≤D_M,0\≤j\≤D_N---\left(6\right)$

因此，对每一幅图像形成一个D_M×D_N维特征(d(1，1)，d(1，2)，...，d(D_M，D_N))，对于信封查询图像和库中的任一幅信封图像，计算两者在该特征上的距离差Δd：Δd＝|d(1，1)-d′(1，1)|+|d(1，2)-d′(1，2)|+...+|d(D_M，D_N)-d′(D_M，D_N)|    (7)再设置一定的阈值γ判定，将差别较小即Δd＜γ的图像认为是查询图像的相似图像，反之将差别较大即Δd≥γ的图像认为是不匹配图像。

5)不变性特征

由于信封图像在采集的过程中，时常出现分辨率、倾斜角度、噪声、亮度等方面的不同，尽管经过一系列的预处理之后，图像之间在这些方面的的差异会有所缓解，但是仍有一些干扰未被消除，进而影响图像匹配，导致***返回的结果不令人满意。因此，***考虑添加一些对上述情况具有一定抵抗能力的特征，本发明采用SIFT特征或图像的不变矩作为不变性特征进行图像查询。

SIFT特征匹配算法^[4]是David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转、噪声、光照变化甚至一定程度的仿射变换保持不变性的特征匹配算法，且已被证明是目前最好的图像特征算子之一^[6]。SIFT特征匹配算法分两个阶段来实现：第一阶段是SIFT特征的生成，主要包含尺度空间极值检测、关键点准确定位、关键点方向分配及SIFT特征向量生成，如图7所示；第二阶段是SIFT特征向量的匹配，主要采用优先k-d树进行优先搜索来查找每个特征点的2近似最近邻特征点。在这两个特征点中，如果最近的距离除以次近距离少于比例阈值，则接受这一对匹配点。通过降低比例阈值，虽会减少SIFT匹配点数目，但更加稳定。

但由于传统的SIFT特征是一个128维的特征，而一幅图中通常能生成近千个SIFT特征，可想而知，使用全图的SIFT特征进行图像查询需要大量的时间消耗。尽管有其它的SIFT改进特征^[7，8]已经被提出，但针对与本发明中的实际应用，本发明使用分区图像的SIFT特征，其中图5所示的I、II、III、IV、V区域就是匹配SIFT特征点集中分布的五大区域，且通过实验证明，对于印刷体地址信封图像而言，使用右上角邮票区即区域II的SIFT特征就足以正确提取其在数据库中的对应图像；而对手写体地址信封图像而言，使用中间收件人地址区即区域III的SIFT特征更合适。

关于不变矩特征，图像的灰度值可以被看做是一个二维的密度分布函数，那么矩方法就可以用于对图像进行分析并提取图像特征。本发明使用的是Hu不变矩，7个Hu不变矩定义为：

φ₁＝η₂₀+η₀₂

${\mathrm{\φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+{4\mathrm{\η}}_{11}^2$

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²       (8)

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-3η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₁₂-η₃₀)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

其中，η_ij表示图像的第(i+j)阶几何矩。将这7个不变矩组成一个7维的特征向量(φ₁，φ₂，φ₃，φ₄，φ₅，φ₆，φ₇)，通过比较该特征进行匹配判定。

6)字符串识别结果

现在的分拣技术已经可以对信封图像进行字符串识别，得到包括邮编、收信人地址串等信息，因此，在进行图像查询的时候，***可以考虑使用字符串的识别结果进行两幅图像的匹配判定。又因为邮编的识别效果更优于收信人地址串的识别效果，故本发明使用邮编的识别结果辅助查询，具体如图8所示，利用识别结果的匹配可以快速排除邮编不相同的信封图像，而对于邮编结果匹配成功的一幅或多幅图像，***可以采取进一步处理例如使用前面描述的一种或多种特征进行精确匹配从而得到准确率更高的查询返回，也可以就此返回图像作为查询结果。

基于以上6种图像特征后，本发明给出三种查询方案，包括分别使用不同特征并行查询、使用多种特征串行查询以及先并行后串行的查询方式。

一、并行查询方案

对上述的六种不同类型的特征使用组合，假设***采用k组不同的特征组合，分别记为C₁，C₂，...C_k，利用每一个特征组合对库中的所有图像进行一次查询，从而得到k组查询结果，分别记为R₁，R₂，...，R_k，最后将R＝R₁∩R₂∩...∩R_k作为最终查询结果返回给用户，具体如图9所示。

二、串行查询方案

串行查询方案可以对前面介绍的六种不同类型的特征加以选择并进行排序，不仅可以规定使用的特征类型，而且可以规定特征使用的顺序。假设***采用k₂组不同的特征组合，按照先后顺序记为C₁′，C₂′，...

，利用第一个特征C₁′对库中的所有图像进行一次查询，得到其查询结果记为R₁′，然后利用第二个特征C₂′对前一次查询结果R₁′中的所有图像进行查询，进而得到第二次查询结果记为R₂′，依次查询，第i个特征C_i′的查询对象是第(i-1)次的查询结果R_i-1′，其查询结果记为R_i′，第k₂次查询结果

就作为最终查询结果返回。如图10所示。

三、先并行后串行查询方案

第三种查询方案是前两种方案的综合，采用k₁个特征C₁，C₂，...

进行并行查询，并对k₁个查询结果取交集得到串行查询的对象，再利用k₂个特征C₁′，C₂′，...

依次进行查询，将最后一个特征得到的结果作为最终查询结果返回给用户，如图11所示。

Claims (3)

1.一种信封图像的查询方法，其特征在于，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₁组不同的特征组合，分别记为

利用每一个特征组合对信封图像库中的所有图像进行一次查询，从而得到k₁组查询结果，分别记为

将

作为最终查询结果返回。

2.一种信封图像的查询方法，其特征在于，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₂组不同的特征组合，按照先后顺序记为

利用第一个特征C₁′对库中的所有图像进行一次查询，得到其查询结果记为R₁′，然后利用第二个特征C₂′对前一次查询结果R₁′中的所有图像进行查询，进而得到第二次查询结果记为R₂′，依次查询，第i个特征C_i′的查询对象是第(i-1)次的查询结果R_i-1′，其查询结果记为R_i′，第k₂次查询结果

就作为最终查询结果返回。

3.一种信封图像的查询方法，其特征在于，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₁组不同的特征组合，分别记为

利用每一个特征组合对信封图像库中的所有图像进行一次查询，从而得到k₁组查询结果，分别记为

将

作为中间查询结果返回，对所述信封图像中的物理特征、灰度级分布特征、信息分布特征、二值化图像分块特征、不变性特征和字符串识别结果进行组合，采用k₂组不同的特征组合，按照先后顺序记为

利用第一个特征C₁′对库中的所有图像进行一次查询，得到其查询结果记为R₁′，然后利用第二个特征C₂′对前一次查询结果R₁′中的所有图像进行查询，进而得到第二次查询结果记为R₂′，依次查询，第i个特征C_i′的查询对象是第(i-1)次的查询结果R_i-1′，其查询结果记为R_i′，第k₂次查询结果

就作为最终查询结果返回。

Images