CN1139039C - 图象中图形的提取和识别以及异常判定的方法和装置 - Google Patents

Abstract

一种在诸如图象中出现噪声或阴影或目标图形被部分遮盖等不利条件下也能由程序控制计算机从图象提取预定图形以识别和提取图形的方法，步骤为：存储参考的基准图形；存储输入图象；将筛选处理用于基准图形和输入图象；积分基准图形和输入图象筛选结果以产生积分结果；按积分结果提取一基准图形并规定其在输入图象中位置。用该基本方法也能进行图象异常检测，甚至在不利条件下能确定正常景物并检测与景物常态的不一致性。

Description

图象中图形的提取和识别以及 异常判定的方法和装置

本发明一般涉及用于提取和识别图象中的图形的方法，尤其涉及用于通过图象提取特定的图形，并同时识别图形及其当前位置，由此能够在例如牌照上进行字符的自动识别的方法，此外还涉及用于判定图象中异常的方法。

本申请基于在日本提交的专利申请No.平9-212104和平10-71094，其内容并入本文作为参考。

例如，在信息处理协会的学报，CV研讨会(参考文献A)上发表的“从阴影图象中提取字母”中报告了使用信息处理装置从图象视图(下文简称为图象)提取诸如由字符构成的特定图形之类的图象的确定特征的方法。

此外，由图象的预先二进制转换处理，以及随后的图形匹配已经实现了常规的图形识别方法，特别是牌照的识别。如果图象是清楚的并且具有足够的分辨率，该方法会成功，这样字符就能够被独立地二进制化以便能分析该结果。然而，当图象不具有足够的分辨率或者目标不清楚或者图象被部分触摸，遮盖或沾污时，识别有时是困难的或不可能的。

未使用二进制的图形匹配的其他方法基于相关系数。该方法能够处理部分图象触摸和遮盖的问题，但是它不能处理由照亮引起的识别问题。

关于安全检测技术，监控摄象机常常基于从上述的图形提取和识别技术得到的图象异常检测，因此，图象中的任何变化都能构成异常的判断标准。图象包含变化的判定一般通过计算当前图象和通常由摄象机观察到的基准图象之间的差异来实现。

然而，如参考文献A所指出的，尽管不受阴影不利影响的方法众所周知，但是现存的方法存在一个共同的问题，即，在很多情况下不能完成准确的图形提取，包括图象中存在噪声和阴影时或者提取的图形被局部遮盖时或者目标不是一个字符时的情况。

对于当前可行的图象异常检测技术，当在图象上存在阻碍因素，例如，一个建筑物的阴影时，这些方法将该阴影识别为图象异常，由此产生过度错误警告。

此外，异常的程度是指示安全的一个重要的判断标准。然而，如果存在真正的图象异常，但是它受建筑物阴影和其他的伪效果影响，图象的表面异常区域和实际异常区域不匹配，不能产生准确的实际图象异常区，这样该处理不能得出正确的结论。

本发明的一个目的是提供一种即使在输入图象中存在噪声或阴影时或者图象中的目标图形被部分遮盖时也能可靠地提取目标图形的方法。基于本方法的图象识别技术能够减少对诸如亮度要求之类的图象记录条件的限制，以及减少部分遮盖图象所带来的障碍效应。

另一个目的是提供一种存储与信息处理装置一起使用的图形提取程序的记录介质。

再一个目的是提供一种能够从图象中的真正变化区分由诸如建筑物的阴影之类的干扰效应引起的图象中的伪变化的异常检测方法。

按照计算装置中的程序从图象提取预选图形的本方法包括步骤：存储用于提取的基准图形；存储输入图象；将筛选方法用于基准图形和输入图象；积分基准图形的筛选结果和输入图形的筛选结果以产生积分结果；和根据积分结果提取基准图形并在输入图象中确定基准图形的位置。

筛选方法为对图象进行初步处理并使用卷积或第一微分处理中的任何一种的步骤。

积分步骤包括基准图形的筛选输出和输入图象的筛选输出的内积分或外积分或差分的卷积。

筛选方法也包括加权每个坐标点的步骤。

更确切地说，本方法选择适当的预选数学筛选器来识别目标图形和基准图形的局部特征并以宏观方式对筛选结果积分，该处理与投票过程相似。

局部特征是使用基准图形的给定局部区域内的微观数据计算的图象特征。

宏观特征是使用基准图形的全部定义区域内的局部特征计算的图象特征。

用于在存储的输入图象内识别与多个预存储的基准图形类似的目标图形及其相关的图形位置的本方法包括步骤：截取目标区域用于确定中间目标区域；在初始处理中计算目标图形和基准图形之间的局部相似性以获得中间数据；通过比较目标图形和基准图形的定向微分数据计算相似度；根据相似度的结果提取局部图形以便能够选择类似的基准图形；通过由基准图形位置确认提取图形位置恢复提取区域以便与原始输入图象匹配；决定每个提取区域的匹配基准图形；和根据比较结果输出识别结果和相关的基准图形位置。

存储的输入图象内的目标图形包括牌照上的数字，以及在日语情况下，基准图形为包括数字，点，汉字，片假名和字母的字符。

本发明包括用于执行识别存储的输入图象内的目标图形的程序的计算机可读记录介质，执行过程包括步骤：截取目标区域用于确定中间目标区域；在初始处理中计算目标图形和基准图形之间的局部相似性以获得中间数据；通过比较目标图形和基准图形的定向微分数据计算相似度；根据相似度的结果提取局部图形以便能够选择类似的基准图形；通过由基准图形位置确认提取图形位置恢复提取区域以便与原始输入图象匹配；决定每个提取区域的匹配基准图形；和根据比较结果输出识别结果和相关的基准图形位置。

因此，提取和确定输入图象内的一图形的本方法首先基于执行局部计算处理以获得中间数据；使用中间数据的方向导数计算相似度，和通过考虑加权处理数据将提取图形与基准图形叠加。因此，甚至当输入图象局部改变亮度，或者部分遮盖，或被沾污时，本方法能够高效和可靠地确定与基准图形类似的目标图形。因为该方法不依靠二进制图象，而是以多值灰度图象为基础，因此，可获得更加准确的数据，甚至当图象分辨率较低时，也能够准确识别目标图形。尤其是，当目标物在室外时，与常规的图象识别技术相比，可获得相当高的识别程度。

本发明还包括通过将比较图象与基准图象进行比较来检测图象异常从而检测一变化的方法，包括步骤：存储为比较图象参照的多个基准图象；存储与多个基准图象进行比较的多个比较图象；规定用于检测异常的比较图象和基准图象内的扫描区；将筛选方法用于基准图象和比较图象以获得中间数据，包括进行局部计算的步骤和使用从由卷积和第一微分处理组成的组合中选择至少一种处理步骤的步骤；和使用从由内积分，外积分，和相关性组成的组中选择的相似性确定装置计算比较图象筛选结果和基准图象筛选结果的相似度；以及当相似度不大于一规定值时识别为异常，并发出异常报警作为识别处理的结果。

由记录介质和计算机完成的异常检测方法执行步骤：存储为比较图象参照的多个基准图象；存储与多个基准图象进行比较的多个比较图象；确定用于检测异常的比较图象和基准图象内的扫描区；将筛选方法用于基准图象和比较图象以获得中间数据，包括进行局部计算的步骤和使用从由卷积和第一微分处理组成的组中选择至少一种处理步骤的步骤；和使用从由内积分，外积分，和相关性组成的组合中选择的相似性确定装置计算比较图象筛选结果和基准图象筛选结果的相似度；以及当相似度不大于一规定值时识别为异常，并发出异常报警作为识别处理的结果。

本发明的特征总结如下：

(1)甚至当噪声和阴影出现在图象上或当诸如字符之类的目标图形被部分隐藏时，本方法也能够可靠地提取一目标图形。

(2)本方法可以有效地处理诸如亮度的局部变化，噪声，污迹，遮盖或触摸物之类的阻碍因素。该方法尤其适用于室外图象。

(3)本方法可以在较低的分辨率下使用，由此增加了识别的适用范围。

(4)异常检测的方法对诸如亮度变化和阴影之类的阻碍因素不敏感，仅当变化由图象中的真正的变化，而不是如陈述之类的伪变化引起时，根据计算低相似性的的方法能够准确地判定图象中的异常区域。

图1是从图象进行图形提取的信息处理装置的一实施例的示意方框图。

图2是图形提取方法的处理步骤的流程图。

图3是说明基于图形提取方法的筛选处理的图形。

图4是说明基于图形提取方法的筛选处理的图形。

图5是表示牌照上的字符的图。

图6是[9]的基准图形的图。

图7是[5]的基准图形的图。

图8是根据图形提取方法的积分结果的峰值点的图形。

图9是根据图形提取方法的积分结果的峰值点的另一个图形。

图10是[5]的基准图形的图。

图11是目标图形[5]的上半部分上的阴影的示意图。

图12是基准图形和目标图象的像素值的相关性曲线图。

图13是基准图形像素值的对数变换和目标图象的相关性曲线图。

图14是基准图形像素值的微分处理和目标图象的相关性曲线图。

图15是基准图形对数变换的像素值的微分处理和目标图象的相关性曲线图。

图16是牌照的前视图。

图17是被遮盖了上半部分的牌照的前视图。

图18是图形识别处理的流程图。

图19是图18内的输出处理部分510的示意图。

图20是图18内的输出处理部分510的另一个示意图。

图21是图18内的输出处理部分510的另一个示意图。

图22是图18内的输出处理部分510的另一个示意图。

图23是在图象异常检测方法的实施例中使用的基准图象A1。

图24是在图象异常检测方法的实施例中使用的比较图象B1。

下面，将参考附图介绍用于从图象提取图形的方法的一实施例。在描述中，对于所有实施例中的共同部分将给出相同的标记数字，并且不重复对它们的解释。

图1是执行本发明的图形提取方法的一实施例的信息处理装置的方框图。

图1所示的信息处理装置(计算机)包括：经总线线路16连接到主存储器11的中央处理单元(CPU)10，显示装置12，诸如键盘之类的输入装置13，图象输入装置14和存储器装置15。图象输入装置14是可以为电荷耦合器件(CCD)摄象机的图象记录装置。基准图形存储部分24和输入图象部分25设置在存储器装置15内。

CPU 10根据主存储器11内存储的提取程序执行图形提取方法，图1示出筛选部分21，积分部分22，提取/定位部分23。筛选部分21，积分部分22和提取/定位部分23是CPU 10的功能部分，用于执行存储在主存储器11中的图象处理程序的步骤的。

图2是图形提取处理步骤的流程图，下面将描述处理的细节。

首先，使用图象输入装置14将基准图形在存储器装置15内的基准图形存储部分24进行累加(步骤101)。基准图形存储部分24存储将其与从图象提取的图形(下文称为目标图形)进行比较的基准图形。

类似地，使用图象输入装置14将从图象记录装置输入的图象在存储器装置15内的输入图象存储部分25进行累加(步骤102)。

下面，使用筛选部分21，将预先确定的筛选处理用于存储在基准图形存储部分24的图形和存储在输入图象存储部分25的图象(步骤103)。

下面，在积分部分22积分来自步骤103的基准图形和输入图象的筛选结果(步骤104)。

接着，提取/定位部分23根据步骤104产生的积分结果执行实际的提取图形步骤，在基准图象内规定其位置之后，输出图形数据(步骤105)。

根据某些预先选择的处理执行筛选部分21内的筛选处理。可以设想这样的筛选处理可包括像第一导数，第二导数或其它的多种图象筛选处理。此外，筛选处理不限于单一的处理，允许组合几种筛选处理。

在这种情况下，下面将解释基于第一导数的筛选处理的实例。第一，导数处理数学表示为梯度函数。

＝(/x，/y)             (1)

将等式(1)表示为可使用二维高斯函数的梯度(第一微分)作为一个筛选器的卷积。结果为矢量，因此，有可能将其作为两种筛选处理。

二维高斯函数的定义为：

G(x，y)＝cexp(-(x²+y²)/(2σ_x ²σ_y ²))     (2)

这里c＝(2π)^-1σ_xσ_y，以及σ_x，σ_y分别为X和Y方向的标准偏差。

当将图象看作是二维平面上的函数时，导数为平面上的矢量，每个矢量的方向指示像素值增加最快的方向并且矢量的幅度指示该函数变化的大小。

因此，如果图象为字符[9]或[5]，第一微分处理产生图3和4所示的矢量区(箭头)，这里箭头指向矢量方向，箭头的大小表示矢量的幅度(未示出长度“0”)。

例如，在图3所示的字符[9]和图4所示的字符[5]，第一导数矢量在下半部分非常相似，但它们在上半部分不同。因此，当[9]的矢量图形与[5]的基准图形相比时，它们有某些相似但该值不如与[9]的基准图形相比情况下的高。这里应该注意到相似图形产生一高值，因此，两个完全不同的字符产生一低值。

对于全部的基准图形Q_j(j＝1，2，3...n，这里n是基准图形的总数，j涉及一个基准图形)，积分部分22内的积分处理将输入图象f的筛选结果与基准图形Q_j的筛选结果进行比较并积分这两个筛选结果。筛选结果进行比较并积分这两个筛选结果。

这样的积分方法可以用等式(3)表示：

F_j(x，y)＝∫∫M_j(u，v)H{Q_j，f}(x，y，u，v)dudy    (3)这里F_j(x，y)表示每个基准图形Q_j的积分结果；(x，y)表示输入图象f的坐标；以及(u，v)表示每个基准图形的坐标；M_j为表示由相关的基准图形Q_j的点(u，v)产生的作用程度的函数。

一般使用最简单形式的作用程度M_j(u，v)≡1就已足够。然而当必须使用与输入图形进行比较的几个基准图形，并强调在输入图形和与其外形相似的基准图形之间的任何差异时，作用程度M_j变得非常有效。例如，表示[9]和[5]的图形比较相似，但是图形在右上部分完全不同。

为区别[9]和[5]，通过采用一个在右上半区强调作用程度M_j以使提取结果的精确度得到提高的筛选方法能够更加清楚地指出该差异。

作为该函数的一个例子，可以考虑下面的表达式(4)。

H{Q_j，f}(x，y，u，v)＝C{Q_j(u，v)·f(x+y，u+v)}    (4)

在此，·代表矢量的内积分，(＝(/x，/y))表示分解筛选器，C是非线性并严格单调递增和非减小(包括单调递增)的奇函数，并且不能假定一个大于预先确定值的值。

C也可以是一个恒等函数。

当函数M_j(u，v)采取一恒定值，C不采取大于给定值的值时，等式(3)与使用内积的卷积类似，如等式(4)所示，使用非线性函数C抑制了极大值的产生。

这里，函数C可以表示为等式(5)或如等式(6)所示的带有常数C₁，C₂的高斯函数的积分。

$C\left(x\right)=C_1\underset{-\∞}{\overset{C_{2}x}{\∫}}G\left(y\right)\mathrm{dy}...........\left(6\right)$

函数M_j(u，v)用于删除对于图形提取处理不必要的那些部分。具有该函数M_j(u，v)的较大值的点(u，v)对积分结果F_j(x，y)产生较大影响，而较小值将具有较小影响，例如，在极端情况下，零对积分结果F_j(x，y)无影响。当函数M_j(u，v)为常数时，全部的点对积分结果F_j(x，y))作用相同。实际上，谨慎地选择函数M_J(u，v)的值来匹配图象的种类。

进一步，当考虑图象变换时，积分结果F_J(x，y)可以由等式(7)来表示。

F_J(x，y)＝∫∫M_j(u，v)H{Q_joA，f}(x，y，u，v)dudy                  (7)

这里A是进行诸如放大，缩小或旋转之类的二维操作的变换函数，o是使得Q_joA(u，v)＝Q_j(A(u，v))的复合函数。

因此，等式(4)表示的函数H可由等式(8)表示。

H{Q_joA，f}(x，y，u，v)＝C{Q_j(A(u，v))A(u，v)·f(x+y，u+v)}    (8)

这里，因为A是从二维数据到二维数据的函数，A(u，v)成为2×2矩阵。例如，如果A(u，v)是线性函数，那么A(u，v)＝A(当线性变换表示为矩阵时，导数本身与矩阵在所有点匹配)。

下面，由A_i(u，v)表示提到的变换，这里i是变换图形的一个下标(i＝1，2...m)。因此，它表示积分结果组F_ij(x，y)基于变换函数A_i和积分图形Q_j。

因此，对于每个输入图象f，可获得由F_ij(x，y)(i＝1，2...m，j＝1，2...n)组成的一个积分结果组。

在由提取/定位部分23执行的提取和定位处理中，从积分结果组F_ij(x，y)提取实际的图形，计算并输出其位置。

如上所述，对于每个输入图象f产生由F_ij(x，y)表示的积分结果组。在输入图象f内提取的目标图形与基准图形类似的这些位置，这些积分结果局部表示为高值。

当倒转图形时，因为该实施例使用内积，它表示一个局部的较高的负向峰值。因此，通过将上面解释中的读出“局部高值”的那些相位替换为“局部低值”，有可能提取倒转的图形。

通过判定全部积分结果中的哪一个基准图形最可能相配，能决定每个点的图形，由此能够确定目标图形和其位置。

参考附图5～9通过从输入图象提取一图形的实际情况(图象处理实例)说明这种技术。在这部分也将解释目标图形的决定方法。

图8和图9表示使用等式(8)所示的函数H计算作为牌照上的字符的筛选处理的第一导数，以及计算积分结果F的结果。

如果变换该结果，输出数据的数目将等于要求的每个基准图形变量的数目，但该实施例所示的结果还未进行变换。因此，对于每个输入图象，积分结果的输出数据的数目等于基准图形的数目。

例如，在下面的实例，当选择基准图形[9]时，积分结果将被称为“筛选器[9]的积分结果”

图5表示原始图象201。图6表示[9]的基准图形202和图7表示[5]的基准图形203。图8是筛选[9]原始图象201的情况下的积分结果204，图9是筛选[5]原始图象201的情况下的积分结果205。

[9]和[5]的基准图形202和203分别是从另一个输入图象而不是原始图象201切下的图形。此外，在不同的灰度级下表示分别由图8和图9所示的在筛选[9]的情况下的积分结果204和在筛选[5]的情况下的积分结果205以强调峰值。

图8表示筛选[9]的积分结果204在与原始图象201内的[9]的位置对应的P1处具有峰值，图9表示筛选器[5]的积分结果205在与原始图象201内的[5]的位置对应的P2处具有峰值。这些点P1～P6表示将筛选处理用于图5所示的牌照NP之后的各个基准图形的坐标点。

在筛选器[9]的积分结果204的情况下，点P3和P4也表示相对较高的值，但这是由图形[9]，[5]和[0]为互相类似的图形的事实引起的。应该指出，按照这种技术，峰值越大，点的尺寸越大。

因此，可以看出积分结果的峰值在与[9]对应的点P1较高。类似地，就图9所示的筛选[5]的积分结果205而言，因为[9]，[5]和[0]是互相类似的图形，使得表示[9]和[0]的点P5和P6也相对较高，但积分结果的峰值在与[5]对应的P2处较高。

因此，通过比较峰值，有可能决定哪一个筛选器最好地对应于输入图象及其相关位置，从而进行由该筛选器表示的基准图形的提取。

在与图象[9]，[5]和[0]对应的用于叠加各个基准图形的正确坐标点显示积分结果204和205内的峰值的位置。在积分结果204，图象[9]的峰值较图象[5]和[0]的其它峰值大，在积分结果205，图象[5]的峰值较图象[9]和[0]的其它峰值大。

在图8和9，通过基准图形[9]和[5]说明积分结果，但实际上，存储用于提取的全部图形。例如，对于日本牌照，从[0]到[9]的数字图形和符号图形[·]，产生总共十一个图形，这些图形足以识别任何牌照上的数字。

下面数学地表示积分结果，依据

M_j(u，v)≡1

C(x)＝x最终，坐标x，y处图形j的积分结果F_j为

F_J(x，y)＝∫∫Q_j(u，v)·f(x+y，y+v)dudy

＝∫∫{(/x)Q_j(u，v)(/x)f(x+u，y+v)+(/y)Q_j(u，v)(/y)f(x+u，y+v)}dudy    (9)

应该指出在该实施例允许使用除所提到之外的筛选处理和积分方法。

例如，第一导数可以用作筛选处理，积分可以基于外积分。在这种情况下，函数H{Q_j，f}表示为等式(10)。

H{Q_j，f}(x，y，u，v)＝Q_j(u，v)×f(x+u，y+v)       (10)

矢量的外积表示由矢量构成的平行四边形的面积，因此，外积越小，两个矢量匹配得越好。因此，提取的目标点是外积分较小的地方。

另一个方法是考虑采用等式(9)获得的筛选结果的差值，依据：

H{Q_j，f}(x，y，u，v)＝|Q_j(u，v)-f(x+u，y+v)|      (11)

H{Q_j，f}|(x，y，u，v)＝|Q_j(u，v)-f(x+u，y+v)|²   (11′)这里||表示矢量的长度。等式(11)表示误差及等式(11′)表示平方误差。对于误差和平方误差的情况，目标提取点是输出为接近零的小数值区。

此外，对于第一微分处理，可以采用Sobel微分处理作为预先选择的筛选处理。Sobel微分处理结果不是如上所述的二维矢量，而是表示每个区域内的图象倾斜量大小的一维标度值。

因此，通过逐渐移动检查点，并使用非线性函数C来抑制极大值的产生(截取处理)或者如果函数C为恒等函数，就直接积分(在这种情况下，结果为标量而不是矢量)，对输入图象和基准图形上进行Sobel处理。上面提到的图形提取方法被认为是使用筛选和积分处理的双重处理技术。

这样，该方法提供用于以积分筛选的图象数据为基础的图形提取技术的积分结果。根据该方法，具有积分结果的高(或低)值的点指示要提取的目标图形。

在上面提到的实例，f和Q_j可以进行对数变换(f→logf)的初始处理。

因为(logf)＝f/f，图象的亮度对其影响不大，这是从图象提取图形的有效处理选项。

该图形提取的方法是一种将初始处理并入筛选处理。

依据该图形提取方法，

    H{Q_joA_j，f}(x，y，u，v)＝|Q_j(A_i(u，v))A_i(u，v)-f(x+u，y+v)|例如，成为

                            ＝| Q_j(A_i(u，v))A_i(u，v)/Q_j(A_j(u，v))-f(x+u，y+v)/f(x+y，u+v)|

作为初始处理的对数变换具有纠正图象的模拟摄像数据转换到数字数据(即，A/D转换)中的任何冲突的作用。总之，图象的像素值与表面反射(R)和光强(I)的乘积成比例，进行对数变换以便将表面反射效应和光强效应分开：

也就是，由下式给出图象的像素值

g＝KIR                                          (13)这里K是一个常数。

等式(13)的对数表示为

logg＝logK+logI+logR                            (14)和

logg＝logI+logR                           (15)

因此，当感兴趣的目标处于阴影时，像素值的对数变换对于减小像素值上的阴影问题具有显著作用。

这是因为微分过程是一种类型的差值计算，因此，对数变换具有使两点上的像素值的差值与亮度成比例的作用。

在上面的解释中，使g与IR(换句话说，由像素看到的视域内一点的视在亮度)成比例，但在其它情况下，与摄象机的光学设计和排列及A/D转换有关，g可以是IR到γ(一个常数)的幂函数或增加一个偏移。在这种情况下，可以数学表示上述关系以便能够进行数据表转换，由此，两点之间的像素值的差值与视在亮度成比例。下面的讨论直接适用于这种处理。

参考图10～17将解释对数变换的作用。图10表示基准图形的图象，图11表示其上半部分处于阴影的目标图形。如图17所示当图16所示的牌照被建筑物遮盖时可发生这种情况。图12～15是将计算处理用于图10和11所示图象的相应坐标位置的像素值所获得的相关系数的曲线图。在图12，x轴表示图10的基准图形的像素值，y轴表示目标图形的像素值。

例如，如果图10的坐标点的像素值为150，对应于图10中该坐标点的图11中的坐标点的像素值为50，则在图12中的这点具有坐标(150，50)。结果是图12表示出两组图象的数据。

换句话说，在图12，散布在由x＝y给出的直线周围的这些点对应于图11中的未处于阴影的下半部分的那些点，该相关系数为0.99。另一方面，散布在由y＝0.4x给出的直线周围的这些点对应于图11中的处于阴影的上半部分的那些点，该相关系数为0.8。因此，总体相关系数为0.62。

将图10，11所示的图象进行对数变换，将转换数据描绘在图13中相应的坐标点。x轴上的数据表示基准图形像素的转换数据，y轴上的数据表示目标图形像素的转换数据。与图12所示的结果类似，可以观察到两组像素数据，但每组的斜率近似相同。

图14表示描绘在相应坐标点上的，图10和11所示数据的微分处理结果的曲线图。实际的导数值为二维，将图10，11的x轴数据和y轴数据叠加在图14的曲线图的相应轴。在图14，x轴表示基准图形像素的导数，y轴表示目标图形像素的导数。与图12所示结果类似，在图14观察到两组像素数据(相关系数0.99，和0.76)，总体相关系数为0.84。

图15表示图10和11所示数据对数变换的微分处理结果的曲线图，将结果描绘在相应坐标点。x轴表示基准图象像素的对数变换数据的导数，y轴表示目标图形像素的对数变换数据的导数。

如图15所示，结果限于一个组，总体相关系数为0.91。该结果表明与使用未进行对数变换的图象像素的导数相比，使用对数变换的图象像素的导数可获得较好的相关性，与随后进行的任何积分处理无关。

另外，在这种情况下采用的初始处理方法是对数变换和表变换，然而，其它的初始处理方法也是可行的，例如，中值筛选，使用高斯函数的卷积平均化，局部傅立叶变换，成分波变换，轮廓增强处理以及包括初始处理的第一导数或上述方法的任意组合的其它初始处理图形。

进一步，通过真重使用作用程度的加权函数M_j，本图形提取方法能够提取一种类别的几个字符。下面将描述该方法。

首先，检查每个数字[0]，[2]，[3]，[5]，[6]，[8]和[9]的形状。这些数字可以大致分为垂直拉长的形状。例如，基准图形Q_j指定为[0]，选择函数M_j的值使得轮廓线上为高值，而在轮廓线内为低值。

按照该方法，不仅对于[0]而且对于具有扁长轮廓的其它数字，这种类型将输出高值。例如，可以回想起图8所示筛选9的积分结果204对于[0]和[5]表现出相对较高的值，尽管它们对[9]未进行筛选。这种观察表明通过使用M_j函数强调边界特性，可获得期望的结果。

按照本图形提取方法，有可能消除常常由阴影造成的，亮度的不一致的不利影响，这是因为将筛选过程(微分处理)不但应用于基准图形而且应用于输入图象。

可以看出，尽管筛选过程加重了输入图象的局部噪声，因为噪声一般限于局部点，筛选基准图形和输入图象的总体积分过程能够确定输入图象内的任何基准图形的显著特性特征，由此减小局部噪声的不利影响。此外，甚至当目标图形被局部遮盖或涂抹时，如果未受影响的区域足够大，象局部噪声的情况一样，基准图形的确定最终是可能的。

参考图18，将解释本方法的图形识别的一个实施例。图18是用于识别一个目标图形的***程序的方框图。整个程序包括：输入图象存储部分501；基准图形存储部分502；目标截取部分503；相似性计算部分504；局部图形提取部分505；图形提取部分506；区域恢复部分507；比较部分508；结果/定位数据输出部分509；识别结果输出部分510。记录在计算机可读存储介质上的应用程序描述了在这些部分上完成的步骤，这些步骤由包括CPU和存储器装置的计算机***执行。

输入图象存储部分501描述了存储由诸如摄象机之类的装置记录的图象并包含要进行识别处理的图象数据。该数据可以是任何类型的二进制图象，多值灰度图象和彩色图象。

类似地，基准图形存储部分502存储能够进行图象内的目标图形提取和识别的基准图形。图象类型与输入图象类型相同，存储多个基准图形。提取图形和基准图形一一对应，该结果被确定的结果直接限制着。

目标截取部分503执行从存储在输入图象存储部分501的输入图象截取目标区域。尽管取决于相似性计算部分504使用的方法，必须切出目标区域以便与基准图形比较。例如，当使用相关系数判定相似度时，基准图形和目标区域必须具有相同的尺寸和形状。尽管该截取方法基于方向微分法，与其它方法一样，该方法仍然必须将目标图象的尺寸和形状与基准图形的匹配。

最简单的截取方法是尽一切可能切下与基准图形一一匹配的全部图象区域。如果能够由某些初始处理限定要比较的区域，就没必要切下全部的区域。此外，如果一系列的处理包括基准图形的尺寸和形状变换，就必须切下目标物以匹配形状变换。

相似性计算部分504是将在目标截取部分503产生的截取区域与基准图形进行比较的程序。后面将解释计算相似度的方法。然而，进行该处理的条件是根据将基准图形和目标图形进行比较所获得的相似度的结果，决定哪一个基准图形与随后的局部图形提取部分505进行的步骤中的目标图形最匹配。

在决定目标图形之后，局部图形提取部分505比较目标图形和在相似性计算部分504决定的每个基准图形之间的相似性，并选择一个与目标图形最相似的基准图形。

图形提取部分506包括步骤503～505。如果从一个目标图象已经选择了目标图形，识别结果是与该目标图象匹配的基准图形。然而，在一个输入图象一般存在很多目标图形，因此，实际上必须确定目标图形的位置，在包括步骤507～509的识别结果输出部分510进行该过程。

区域恢复部分507匹配输入图象内的目标图形的提取结果，换句话说，匹配由图形提取部分506在这些输入图象所获得的提取图形的位置和形状数据。

比较部分508根据每个目标图形的区域比较返回图形的区域和相似度。

结果/定位数据输出部分509显示由识别处理产生的基准图形及其位置数据。

下面将解释在区域恢复部分507，比较部分508，结果/定位数据输出部分509和结果/定位数据输出部分509执行的步骤的实例。

识别结果输出部分510根据用于最初要求目标的图形提取结果的限制条件输出识别结果。

将详细解释在相似性计算部分504执行的计算相似度的方法。有几种方法可用于执行相似度计算。

例如，如果输入图象为二进制图象，规范并叠加两种图形(尺寸匹配)，并计数不匹配的比特数目。在这种情况下，不匹配的比特越少，图象越相似。

对于未进行二进制转换的图象，也就是，对于直接处理的多值灰度图象，可以使用相关系数。在这种情况下，将简单解释方向一阶微分的方法。下面的解释基于在上述所用的图形提取方法中所述的图形提取和积分方法。

下面的等式解释包含表示一个基准图形的Q_j，和表示目标识别区域的f的该方法。这些是定义两维空间(x，y)的函数，并且因为它们表示目标识别物和基准图形，由这些函数定义的区域本质上必须是相同的区域。梯度(方向微分)与为＝(/x，/y)的等式(1)相同。

也就是，f(x，y)＝(f/x，f/y)(x，y)     (16)该等式由通常的数学表达式，梯度f，两维空间的第一导数，和偏微分/x，/y组成。

使用这些等式解释计算相似性的方法。基本方法是比较Q_j和f。存在很多可以采用的比较方法。在上述的图形提取方法，内积形成一个基区，诸如计算Q_j和f之间的差值的总和或它们的相关系数，或者Q_j/Q_j和f/f之间的差值的总和或它们的相关系数的其它方法除外。此外，在上述实施例，考虑基准图形变换和加权每个基准图形的区域，这里也可以进行同样的考虑。

当按照前一个实施例表示的方法计算相关系数时，对于每个基准图形数字化地确定每个目标图形中的一个相似度。显然满足相似性计算部分504的条件。

为计算相关系数，因为数据处于二维空间，相关系数的积(标量积)通常使用内积。数学表示为：

F_j(x，y)＝∫∫Q_j(u，v)·f(x+u，y+v)dudy/〔‖Q_j‖²‖f(x+·，y+·)‖²〕  (17)

然而，在等式(15)中，

‖Q_j‖²＝∫∫Q_j(u，v)·Q_j(u，v)dudy                                        (18)和

‖f(x+·，y+·)‖²＝∫∫f(x+u，y+v)·f(x+u，y+v)dudy                           (19)

显然可以使用对数变换结果取代Q_j和f。在这种情况下，全部的Q_j可由logQ_j代替，全部的f可由logf代替。将变换和作用程度可以同样增加到分析中。

下面，将详细解释由区域恢复部分507，比较部分508和结果/定位数据输出部分509组成的识别结果输出部分510的执行方法。

当在提取(识别)的输入图象仅存在一种要图形时，例如定义字符的位置和尺寸的光学字符阅读器(OCR)，识别结果将是从全部基准图形选择的，与输入图象最相象的一种基准图形。然而，当在输入图象中存在很多目标图形时，必须考虑到某些目标图形在输入图象内重复。

有鉴于此，区域恢复部分507处理目标图形提取结果，以便将输入图象的提取图形区域与相同尺寸的基准图形比较。比较的图形数据将包括选择的基准图形的位置信息和形状信息。

将解释执行方法的一个实例。下文，高相似性意味着基准图形与提取结果相似。首先，准备与输入图象相同尺寸的区域，以便区域内的每点对应于输入图象内的每点。识别结果粘贴在该区内的各个点以指示比较处理正在进行。

只要粘贴数据的内容包括识别结果及其位置就已足够。粘贴点是与输入图象内的提取图形区域相同的区域。以相似度的次序保留用于粘贴由局部图形提取部分505产生的数据的粘贴区的方式，由根据相似度决定粘贴顺序的比较部分508执行该粘贴。

比较部分508忽略被叠加在高相似性的粘贴区域的那些低相似性识别图形。

图19～22补充对识别结果输出部分510执行过程的解释。

在图19，输入图象301为牌照。可以看出大约与牌照上的数字相同线宽的半圆形躁声出现在数字[9]上。

在图20，模型302是使用数字的基准图形所获得的识别结果的实例。在该图，可以看出[1][2][6][9]的模型和为每个基准图形保留的区域的范围互相叠加。区间304表示数字[9]的保留区域。

在图21，模型303是将[9]判断为[6]的结果，这是由于躁声存在于[9]的保留区域的上面。因此，保留区域305与不正确的识别结果[6]有关。

在图22，识别结果306与图象的状态有关，根据相似性基于[9]和[6]的第四个字母的选择将是[9]，在这种情况下，保留区域304和305将重叠，因为保留区域304具有高相似性，将忽略包含在保留区域305的模型。

这样就恢复了对应于基准图形的这些区域，并能够进行判断而不矛盾。

最终，检查识别结果[1]，[2]，[6]，[9]的一致性并输出最终形式的识别结果。

可以考虑另一种反向粘贴的操作的执行方法，以便首先粘贴具有低相似度的图形，同时允许重写。该方法将产生与比较部分508相同的结果。

通过以高相似度的次序在识别基准图形区域周围构造非侵害区域也能获得相同的结果。

结果/定位数据输出部分509重新集合从上述步骤获得的剩余识别结果。不允许认为包含高相似度字符的那些区域接受其它结果，这样总是单独分开最终结果并且不重叠。

当将输入图形和基准图形的位置数据进行联系时，与字母的情况一样，处理步骤包括这样的位置信息。例如，在日本，牌照上的字母和数字限定为预定的汉字，片假名，字母和数字，并且严格规定它们的位置和排列。有鉴于此，仅当基准图形的位置数据和输入目标图形的排列完全一致时才输出最终结果。

现在将参考图23和24解释异常检测方法。在计算机可读存储介质上记录的应用程序描述要完成的步骤，这些步骤由包括CPU和存储装置的计算机***执行。图23表示基准图象A1，图24表示比较图象B1。图23内的区域A2是基准图象A1的扫描区，图24内的区域B2是比较图象B1的扫描区。这些基准和比较图象是使用TV摄象机之类的通常可行的方法输入的图象。

比较图象B1的扫描区B2和基准图象A1的扫描区A2具有相同的绝对坐标点，及相同的尺寸和形状。如果基准图象A1和比较图象B1是由位于相同地点的相同TV摄象机以同样的放大倍数取得的图象，那么扫描区将被完全认为是两个图象内相同的区域。尽管在说明中扫描区A2，B2是局部区，也可以将它们扩大以包括图象A1，B1的整个区。

相似性计算包括扫描区A2，B2之间的相似度的计算。很多计算方法是可行的，但在所述实施的图形提取方法将使用筛选处理和积分处理。例如，在这种情况下，作为筛选和积分处理的一个实例，将使用对数变换数据的第一导数。将使用由第一导数的内积分计算的相关系数所得到的内插结果以判定异常。

此外，异常检测程序也可以基于相应的公式。

在下面的计算步骤，目的是定位包含与预定图形Q_j类似的图形的区域。

  F_j(x，y)＝∫∫logQ_j(u，v)·logf(x+u，y+v)dudy/〔‖logQ_j‖²‖logf(x+·，y+·)‖²〕    (20)

等式(20)所示可变的‖logQ_j‖²和‖logf(x+·，y+·)‖²是分别由下面的等式(21)和(22)定义的函数。

   ‖logQ_j‖²＝∫∫logQ_j(u，v)·logQ_j(u，v)dudy                  (21)

 ‖logf(x+·，y+·)‖²＝∫∫logf(x+u，y+v)·logf(x+u，y+v)dudy       (22)

在这种情况下，如下完成相似度的计算。 $F(x,y)={\∫\∫}_{\mathrm{\Ω}}\▿\log f(x+u,y+v)\·\▿\log g(x+u,y+v)\mathrm{dudy}/\left(\right||\▿\log f|{|}_{\mathrm{\Ω}}^2\left|\right|\▿\log g\left|{|}_{\mathrm{\Ω}}^2\right)........\left(23\right)$

可变的‖f‖_Ω ²和‖g‖_Ω ²为分别由下面的等式(21)和(22)定义的函数。 $\left|\right|\▿\log f|{|}_{\mathrm{\Ω}}^2={\∫\∫}_{\mathrm{\Ω}}\▿\log f(x+u,y+v)\·\▿\log f(x+u,y+v)\mathrm{dudy}.........\left(24\right)$ $\left|\right|\▿\log g|{|}_{\mathrm{\Ω}}^2={\∫\∫}_{\mathrm{\Ω}}\▿\log g(x+u,y+v)\·\▿\log g(x+u,y+v)\mathrm{dudy}......\left(25\right)$

在等式(23)～(25)，g和f分别表示基准图象A1和比较图象B1。此外，类似地，logg和logf分别表示基准图象A1和比较图象B1的对数变换。进一步，Ω表示扫描区A2和扫描区B2，并由｛(x+u，y+v)/(u，v)∈Ω}给出，F(x，y)表示由{(x+u，y+v)/(u，v)∈Ω}表示的目标物的扫描区A2，B2之间的相似度。

当基准图象A1和比较图象B1类似时，使用这些等式，F(x，y)假定为接近1的值。另一方面，如果它们互不相似，F(x，y)假定为或者0或者负值。在这种情况下，如果该值接近-1，就表示提取倒转的图象。然而，就异常检测而言，应该得出图象不相象。在实际的异常监测中，存在两种情况，一种是异常包含整个图象，另一种是异常仅包含一部分图象。

如上所述，本方法能够根据扫描区A2和扫描区B2的相似度准确检测异常，而不受亮度变化和阴影的影响，因此当由图象中的伪变化(例如建筑物的阴影)引起表面变化时，相似度将比较高，而当变化是真实的，例如由外来物干涉引起的时，相似度将比较低。因此，本方法能够较准确地检测图象中的真正变化。

尽管使用特定的实施例描述了本发明，实例仅是说明性的，并不具有限定性。在不脱离本发明论述的基本方法的前提下，很多其它的变化都是可能的，这是显而易见的，通过检查原始图象的微分数值使得图象数据识别更加可靠。

Claims (23)

1、一种从程序控制计算机记录的图象提取预先选择的图形的方法，包括步骤：

存储用于提取的基准图形；

存储输入图象；

将筛选方法用于基准图形和输入图象；

积分所述基准图形的筛选结果和所述输入图象的筛选结果以产生积分结果；和

根据所述积分结果提取一基准图形并规定所述基准图形在所述输入图象中的位置。

2、根据权利要求1所述方法，其中所述筛选方法包括将局部计算用于所述输入图象获得中间数据的初始处理步骤，和使用从卷积和第一微分处理组成的组选择的至少一种处理步骤的步骤。

3、根据权利要求2所述方法，其中所述初始处理步骤是像素值的对数变换。

4、根据权利要求2所述方法，其中所述初始处理步骤是根据摄象机的输入***特性的像素值的表变换。

5、根据权利要求1到4之一所述方法，其中所述积分步骤包括基准图形筛选输出和输入图象筛选输出的内积的卷积。

6、根据权利要求1到4之一所述方法，其中所述积分步骤包括基准图形筛选输出和输入图象筛选输出的外积的卷积。

7、根据权利要求1到4之一所述方法，其中所述积分步骤包括由基准图形的卷积获得的筛选结果和由输入图象的卷积获得的筛选结果之间的差值。

8、根据权利要求1到7之一所述方法，其中所述积分步骤包括根据基准图形内的坐标点的作用程度加权的步骤。

9、根据权利要求8所述方法，其中所述加权步骤涉及提取表示为多个基准图形共有的图形形状的数字技术，并根据所述积分步骤的积分结果提取多种基准图形，其中每个基准图形都包括所述图形形状，而不是根据所述积分步骤的积分结果只提取一种基准图形。

10、一种从记录图象中提取预先选择的图形的装置，包括：

基准图形存储装置，用于存储供提取的基准图形；

输入图象存储装置，用于存储输入图象；

筛选装置，用于对所述基准图形和所述输入图象进行筛选；

积分装置，用于对所述基准图形的筛选结果和所述输入图象的筛选结果进行积分，以产生积分结果；以及，

定位装置，根据所述积分结果提取一基准图形，并规定所述基准图形在所述输入图象中的位置。

11、根据权利要求10所述的装置，其中所述筛选装置包括初始处理装置，将局部计算用于所述输入图象以获得中间数据；以及处理装置，用于进行从卷积和第一微分处理组成的组中选择的至少一种处理。

12、根据权利要求11所述的装置，其中所述初始处理装置用于执行像素值的对数变换。

13、根据权利要求11所述的装置，其中所述初始处理装置用了执行根据摄象机的输入***特性的像素值的表变换。

14、根据权利要求10到13之一所述的装置，其中所述积分装置用于计算基准图形筛选输出和输入图象筛选输出的内积的卷积，从而积分所述基准图形筛选输出和所述图象筛选输出。

15、根据权利要求10到13之一所述的装置，其中所述积分装置用于计算基准图形筛选输出和输入图象筛选输出的外积的卷积，从而积分所述基准图形筛选输出和所述图象筛选输出。

16、根据权利要求10到13之一所述的装置，其中所述积分装置用于计算由基准图形的卷积获得的筛选结果和由输入图象的卷积获得的筛选结果之间的差值，从而积分所述基准图形的筛选结果和所述输入图象的筛选结果。

17、根据权利要求10到16之一所述的装置，其中所述积分装置包括加权装置，用于根据基准图形内的坐标点的作用程度进行加权。

18、根据权利要求17所述的装置，其中所述加权装置使用表示多个基准图形共有的图形形状的数字技术，并根据所述积分结果提取多种基准图形，其中每个基准图形都包括所述图形形状，而不是根据所述积分结果提取一种基准图形。

19、一种在存储的输入图象内识别与多个预先存储的基准图形及其相关的图形位置相似的目标图形的方法，包括步骤：

截取用于确定中间目标区域的目标区域；

在初始处理中计算所述目标图形和所述基准图形之间的局部相似性以获得中间数据；

通过比较所述目标图形和所述基准图形的方向微分数据计算相似度；

根据所述相似度结果提取局部图形以便能够选择相似的基准图形；

通过由基准图形位置确定提取图形位置恢复提取区域以便匹配原始输入图象；

对于每个提取区域决定匹配基准图形；以及

根据所决定的匹配基准图形输出识别结果和相关的基准图形位置。

20、根据权利要求19所述方法，其中存储输入图象内的目标图形包括牌照上的数字；所述基准图形为包括数字，点，汉字，片假名和字母的字符。

21、一种识别存储的输入图象内的目标图形的装置，包括：

截取装置，截取用于确定中间目标区域的目标区域；

初始处理装置，用于计算所述目标图形和基准图形之间的局部相似性，以获得中间数据；

相似性计算装置，通过比较所述目标图形和所述基准图形的定向微分数据计算相似度；

提取装置，根据所述相似度结果提取局部图形，以选择相似的基准图形；

恢复装置，通过由基准图形位置确定提取图形位置从而恢复提取区域以便匹配原始输入图象；

决定装置，对于每个提取区域决定匹配基准图形；以及

输出装置，根据由决定装置决定的匹配基准图形输出识别结果和相关的基准图形位置。

22、一种通过将比较图象和基准图象进行比较以检测变化的检测图象异常的方法，包括步骤：

存储为所述比较图象参照的多个基准图象；

存储与所述多个基准图象比较的多个比较图象；

规定所述比较图象和所述基准图象内的扫描区用于异常检测；

将筛选方法施加到所述基准图象和所述比较图象以获得中间数据，包括使用局部计算的步骤和使用从卷积和第一位微分处理组成的组合选择的至少一种处理步骤的步骤；

使用从内积、外积和相关性组成的组中选择的相似性确定装置来计算比较图象筛选结果和基准图象筛选结果的相似度；以及

当所述相似度不大于一规定值时确定异常，并发出异常报警作为识别处理结果。

23、一种确定图象中异常的装置，包括：

基准图象存储装置，用于存储为所述比较图象参照的多个基准图象；

比较图象存储装置，用于存储与所述多个基准图象比较的多个比较图象；

规定装置，用于规定所述比较图象和所述基准图象内的扫描区用于异常检测；

筛选装置，用于对所述基准图象和所述比较图象进行筛选以获得中间数据，包括使用局部计算的装置以及使用从卷积和第一位微分处理组成的组中选择的至少一种处理的装置；

计算装置，使用从内积、外积和相关性组成的组中选择的相似性确定装置来计算比较图象筛选结果和基准图象筛选结果的相似度；以及

异常识别装置，当所述相似度不大于一规定值时确定异常，并发出异常报警作为识别处理结果。

Images