CN105009170A - 物体识别设备、方法和存储介质 - Google Patents

Abstract

本发明所公开的是一种用于减少参照图像中的识别误差的物体识别设备等，所述参照图像呈现与输入图像中所呈现的物体只有略微不同的物体。所述物体识别设备包括局部特征量匹配单元，用于计算用以从参照图像中的坐标到输入图像中的相应对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；输入图像差异区域确定单元，用于基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；输入图像差异区域特征量提取单元，用于修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及特征量匹配单元，用于将由输入图像差异区域特征量提取单元所提取的特征量与从参照图像的差异区域中提取的特征量进行匹配，并且输出匹配结果。

Description

物体识别设备、方法和存储介质

技术领域

本发明涉及用于准确地识别图像中的物体的设备、方法和存储介质。

背景技术

已经提出了一种方法以通过检测图像中的很多不同的点(特征点)来提取每个特征点周围的局部区域中的特征量(局部特征量)，以按照一种对抗图像捕获的尺寸和角度的改变以及阻塞的鲁棒的方式来识别图像中的主体。利用SIFT(尺度不变特征变换)特征量的局部特征量提取设备作为典型的方法在PTL1和NPL1中被公开。

首先，局部特征量提取设备从图像的每个像素中提取关于亮度的信息，并根据所提取的亮度信息检测很多独特的点(特征点)。然后，局部特征量提取设备输出作为关于每个被检测到的特征点的信息的特征点信息。在该情况中，例如特征点信息指示所检测到的局部特征点的坐标位置和尺度、特征点的定向等。然后，局部特征量提取设备根据特征点信息(即每个被检测到的特征点的坐标值、尺度、定向等)获得其中特征量提取被执行的局部区域，并且生成(描述)局部特征量。

然后，包括与被捕获图像中的主体相同的主体的图像通过对从被捕获图像(即输入图像)中提取的局部特征量1与从参照图像生成的局部特征量2进行比较而被识别，如NPL 1中所述。更具体来说，首先，描述关于构成局部特征量1的每个特征点的信息的特征量和构成局部特征量2的特征量的所有组合的距离在特征空间中被计算。然后，所计算的距离最接近的局部特征量1和局部特征量2的组合被确定为对应特征量。此外，作为用于生成这些对应特征量的源的特征点的组合也被确定为对应的。之后，做出关于被确定为对应的特征点的组合是否根据特定几何变换信息从输入图像中的特征点的坐标位置移动到参照图像中的特征点的坐标位置的确定。对应特征点是正确还是错误的基于这个移动的确定而被确定。在该情况中，当被确定为正确对应的特征点的数目等于或大于预设值时，确定相同的主体被显示。

文献引用列表

专利文献

[PTL 1]美国专利号6711293的说明书

[PTL 2]日本专利申请公开号2010-79545

[PTL 3]WO2012/108088

[PTL 4]日本专利申请公开号2010-266964

[PTL 5]日本专利申请公开号2010-128925

[PTL 6]日本专利申请公开号2010-115109

非专利文献

[NPL 1]David G.Lowe,“Distinctive image features fromscale-invariant keypoints”,(United States),International Journal ofComputer Vision,60(2),November,2004,p91-110

发明内容

技术问题

在利用相关局部特征量的物体识别方法中，基于从输入图像的亮度信息提取的局部特征量与从参照图像的亮度信息提取的局部特征量的对应关系来识别物体。结果，在其中显示与输入图像中所显示的物体只有略微差别的物体的图像被采用作参照图像的情况下，在输入图像与参照图像之间存在很多对应特征点，并且因此存在的问题，在于两个图像都被错误地识别为显示相同物体的图像。

本发明的主要目的在于提供用于抑制呈现与输入图像中所呈现的物体只有略微不同的物体的参照图像中的识别误差并且更准确地识别显示相同物体的参照图像的设备、方法和存储介质。

问题解决方案

根据本发明的物体识别设备包括：局部特征量匹配单元，该局部特征量匹配单元计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；输入图像差异区域确定单元，该输入图像差异区域确定单元基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；输入图像差异区域特征量提取单元，该输入图像差异区域特征量提取单元修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及特征量匹配单元，该特征量匹配单元将由输入图像差异区域特征量提取单元提取的特征量与从参照图像的差异区域中提取的特征量进行匹配，并且输出匹配结果。

一种根据本发明的物体识别方法包括：计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；并且将从输入图像的差异区域中提取的特征量与从参照图像的差异区域中提取的特征量进行匹配，并且输出匹配结果。

根据本发明的程序使得计算机执行：局部特征量匹配处理，该局部特征量匹配处理计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；输入图像差异区域确定处理，该输入图像差异区域确定处理基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息对参照图像中的差异区域进行变换，并且确定与参照图像中的经变换的差异区域相对应的输入图像中的差异区域；输入图像差异区域特征量提取处理，该输入图像差异区域特征量提取处理修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及特征量匹配处理，该特征量匹配处理将输入图像差异区域特征量提取处理而提取的特征量与从参照图像的差异区域中提取的特征量进行匹配，并且输出匹配结果。

采用上述配置，以使得输入图像差异区域确定单元通过基于局部特征量匹配单元所计算的几何变换信息对参照图像中的差异区域进行变换来确定输入图像中的差异区域，并且输入图像差异区域特征量提取单元从输入图像的差异区域提取特征量，并且特征量匹配单元对从输入图像中的差异区域提取的特征量与从参照图像中的差异区域提取的特征量进行匹配，并且因此，能够辨认通过仅仅执行基于传统局部特征量的匹配而不能被识别的小差别，并且能够被识别仅显示相同物体的图像，因此实现本发明的目的。

此外，本发明还能够利用存储程序的计算机可读非易失性存储介质来实现。

本发明的有益效果

根据本发明，提供了一种能够减少参照图像中的识别误差的技术，该参照图像呈现与输入图像中所呈现的物体只有略微不同的物体。

附图说明

[图1]图1是示出了根据第一示例性实施例的物体识别设备的配置的示例的框图。

[图2]图2是示出了输入图像差异区域确定单元13的操作的示例的流程图。

[图3]图3是示出了局部特征量提取单元11的配置的示例的框图。

[图4]图4是示出了局部特征量提取单元12的配置的示例的框图。

[图5]图5是示出了输入图像差异区域特征量提取单元14的配置的示例的框图。

[图6]图6是示出了输入图像差异区域特征量提取单元14的配置的示例的框图。

[图7]图7是示出了差异区域特征量计算单元403的配置的示例的框图。

[图8]图8是示出了差异区域特征量计算单元403的配置的示例的框图。

[图9]图9是示出了差异区域特征量计算单元403的配置的示例的框图。

[图10]图10是示出了差异区域特征量计算单元403的配置的示例的框图。

[图11]图11是示出了差异区域特征量计算单元403的配置的示例的框图。

[图12]图12是示出了当字符特征量分别从参照图像的差异区域和输入图像的差异区域中被提取时的提取目标区域的示例的概念图。

[图13]图13是示出了当字符特征量分别从参照图像的差异区域和输入图像的差异区域中被提取时的提取目标区域的示例的概念图。

[图14]图14是示出了特征量匹配单元15的配置的示例的框图。

[图15]图15是示出了根据第一示例性实施例的物体识别设备的配置的示例的框图。

[图16]图16是示出了参照图像中的差异区域与输入图像中的输入图像差异区域的关系的概念图。

[图17]图17是示出了参照图像中的差异区域与输入图像中的输入图像差异区域的关系的概念图。

[图18]图18是示出了参照图像中的差异区域与输入图像中的输入图像差异区域的关系的概念图。

[图19]图19是示出了参照图像中的差异区域与输入图像中的输入图像差异区域的关系的概念图。

[图20]图20是示出了根据第二示例性实施例的物体识别设备的配置的示例的框图。

[图21]图21是示出了局部特征量匹配单元16的配置的示例的框图。

[图22]图22是示出了差异区域估计单元17的配置的示例的框图。

[图23]图23是示出了差异区域特征量提取单元18的配置的示例的框图。

[图24]图24是示出了根据第三示例性实施例的物体识别设备的配置的示例的框图。

[图25]图25是示出了差异区域估计单元19的配置的示例的框图。

[图26]图26是示出了根据第四示例性实施例的物体识别设备的配置的示例的框图。

[图27]图27是示出了差异区域估计单元20的配置的示例的框图。

[图28]图28是示出了根据第五示例性实施例的物体识别设备的配置的示例的框图。

[图29]图29是示出了差异区域估计单元21的配置的示例的框图。

[图30]图30是示出了差异区域估计单元21的配置的示例的框图。

[图31]图31是示出了差异区域估计单元21的配置的示例的框图。

[图32]图32是示出了差异区域估计单元21的配置的示例的框图。

[图33]图33是示出了根据第六示例性实施例的物体识别设备的配置的示例的框图。

[图34]图34是示出了差异区域估计单元22的配置的示例的框图。

[图35]图35是示出了差异区域估计单元22的配置的示例的框图。

[图36]图36是示出了根据第七示例性实施例的物体识别设备的配置的示例的框图。

[图37]图37是示出了差异区域估计单元23的配置的示例的框图。

[图38]图38是示出了差异区域估计单元23的配置的示例的框图。

[图39]图39是示出了差异区域估计单元23的配置的示例的框图。

[图40]图40是示出了根据第八示例性实施例的物体识别设备的配置的示例的框图。

[图41]图41是示出了差异区域估计单元24的配置的示例的框图。

[图42]图42是示出了差异区域估计单元24的配置的示例的框图。

[图43]图43是示出了差异区域估计单元24的配置的示例的框图。

[图44]图44是示出了根据第九示例性实施例的物体识别设备的配置的示例的框图。

[图45]图45是示出了差异区域估计单元25的配置的示例的框图。

[图46]图46是示出了差异区域估计单元25的配置的示例的框图。

[图47]图47是示出了根据第十示例性实施例的物体识别设备的配置的示例的框图。

[图48]图48是示出了输入图像差异区域特征量提取单元26的配置的示例的框图。

[图49]图49是示出了输入图像差异区域特征量提取单元26的配置的示例的框图。

[图50]图50是示出了特征量匹配单元27的配置的示例的框图。

[图51]图51是示出了根据第十一示例性实施例的物体识别设备的配置的示例的框图。

[图52]图52是示出了输入图像差异区域特征量提取单元28的配置的示例的框图。

[图53]图53是示出了特征量匹配单元29的配置的示例的框图。

[图54]图54是示出了特征量匹配单元29的配置的示例的框图。

[图55]图55是示出了根据第十二示例性实施例的物体识别设备的配置的示例的框图。

[图56]图56是示出了局部特征量匹配单元30的配置的示例的框图。

[图57]图57是示出了特征量匹配单元31的配置的示例的框图。

[图58]图58是示出了识别分数综合确定单元32的配置的示例的框图。

[图59]图59是示出了构成计算机的元件的示例的方框配置图。

[图60]图60是示出了差异区域特征量计算单元403的配置的示例的框图。

[图61]图61是示出了根据第十三示例性实施例的物体识别设备的配置的示例的框图。

[图62]图62是示出了根据第十四示例性实施例的物体识别设备的配置的示例的框图。

具体实施方式

(第一示例性实施例)

根据本发明的第一示例性实施例将参考附图被描述。

图1是示出了根据本发明的第一示例性实施例的物体识别设备的配置的示例的框图。物体识别设备Z1包括局部特征量提取单元11、局部特征量匹配单元12、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14以及特征量匹配单元15。物体识别设备Z1能够通过使用诸如个人计算机和移动信息终端之类的信息处理设备来制成。构成物体识别设备Z1的每个单元的功能能够通过例如使用诸如存储器之类的存储区域并使得处理器提取并执行存储区域中所存储的程序来实现。应当注意后面所描述的其它示例性实施例中的组成元件能够按相同的方式被实现。

数据库在附图和下面的说明中可以被缩写为“DB”。

局部特征量提取单元11从输入图像中提取局部特征量。局部特征量提取单元11所执行的处理的细节将在后面被描述。

局部特征量匹配单元12对局部特征量1和局部特征量2进行匹配，并且输出用于修正输入图像与参照图像之间的几何偏差的几何变换信息，所述局部特征量1是局部特征量提取单元11从输入图像中提取的局部特征量，所述局部特征量2是从参照图像中提取的局部特征量。这个几何变换信息被计算以确定在局部特征量1与局部特征量2匹配时的局部特征点的对应关系的正确/错误。此外，局部特征量匹配单元12输出被确定为正在显示相同物体(并且更具体来说，作为匹配的结果，局部特征量被确定为相同的)的参照图像的图像ID(标识)作为局部特征识别图像ID。如图1中所示，局部特征量2可以提前从多个参照图像中被提取并且可以被存储到数据库中，或者可以由局部特征量提取单元11从参照图像中动态地提取。当被存储到数据库时，从呈现类似物体的参照图像提取的局部特征量可以被关联和注册。局部特征量匹配单元12所执行的处理的细节将在后面被描述。

输入图像差异区域确定单元13利用从局部特征量匹配单元12接收到的几何变换信息在与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像上或者在与局部特征识别图像ID相关的参照图像组的差异区域上执行几何变换，并输出输入图像差异区域信息。

在该情况中，差异区域是在输入图像中所呈现的物体与参照图像中所呈现的物体之间存在略微差别的区域。在图像中存在多个差异区域。例如，在其中差异区域为矩形形状的情况下，参照图像(参照图像组)的差异区域信息可以是关于参照图像中的差异区域的四个角的坐标值信息。备选地，差异区域信息可以是表示构成参照图像中的差异区域的像素组的坐标值的信息。在其中输入图像中所呈现的物体与参照图像中所呈现的物体之间的差别是物体中的字符串区域的情况下，差异区域信息可以是关于外接(circumscribe)整个字符串的矩形的参照图像的四个角的坐标值信息，或者可以是关于外接构成字符串的每个字符的矩形的参照图像的四个角的坐标值信息组，或者可以是关于它们两者的信息。

输入图像差异区域信息是通过对参照图像中的差异区域的四个角的坐标值中的每个坐标值应用几何变换信息来获得的。输入图像差异区域信息例如由输入图像中的差异区域的四个角的坐标值来指示。备选地，在其中参照图像中的差异区域信息是关于构成参照图像中的差异区域的像素组的坐标值信息的情况下，几何变换信息可以被应用于每个像素组，并且关于构成输入图像中的差异区域的像素组的坐标值信息可以被用作输入图像差异区域信息。在其中输入图像中所呈现的物体与参照图像中所呈现的物体之间的差别是物体中的字符串区域的情况下，输入图像差异区域信息可以是关于通过以下方式获得的输入图像的区域的四个角的坐标值信息，所述方式即对关于外接整个字符串的矩形中的参照图像的四个角的每个坐标值应用几何变换信息。备选地，输入图像差异区域信息可以是关于通过以下方式获得的输入图像的区域的四个角的坐标值信息组，所述方式即对关于外接构成字符串的每个字符的矩形中的参照图像的四个角的每个坐标值应用几何变换信息。又备选地，输入图像差异区域信息可以是关于它们两者的信息。参照图像的差异区域信息被提前注册到数据库中。用于实现这一点的方法可以是使得在其中局部特征量2被存储为数据库的情况下，参照图像的差异区域信息可以一起被存储在如图1中所示的局部特征量DB中。输入图像差异区域确定单元13所执行的处理的细节将在后面被描述。

输入图像差异区域特征量提取单元14基于输入图像差异区域确定单元13所确定的输入图像差异区域信息修正输入图像中的差异区域，并从经修正的差异区域中提取特征量。输入图像差异区域特征量提取单元14所执行的处理的细节将在后面被描述。

特征量匹配单元15对特征量1和特征量2进行匹配，并且确定输入图像与参照图像是否呈现相同的物体，所述特征量1是输入图像差异区域特征量提取单元14从输入图像中的差异区域提取的特征量，所述特征量2是从参照图像中的差异区域提取的特征量。特征量匹配单元15输出与被确定为正在呈现相同物体的图像相对应的图像ID作为差异区域识别图像ID。如图1中所示，特征量2可以提前从多个参照图像中被提取并且可以被存储到数据库中，或者可以从参照图像中动态地提取。当被存储到数据库时，类似的物体可以被关联和注册。从输入图像的差异区域提取的特征量1与从参照图像的差异区域提取的特征量2是通过相同处理提取的特征量或者相同类型的特征量。特征量匹配单元15的细节将在后面被描述。

图2是用于描述图1中所示的输入图像差异区域确定单元13的操作的示例的流程图。如图2中所示，输入图像差异区域确定单元13在S131中对用于控制处理的变量i进行初始化。在S132中，输入图像差异区域确定单元13获得几何变换信息。在S133中，输入图像差异区域确定单元13获得参照图像的差异区域信息。在其中差异区域为矩形的情况下，这里所获得的差异区域信息可以是关于在四个角处的参照图像的坐标值信息，或者可以是关于构成参照图像中的差异区域的像素组的坐标值的信息。在S134中，输入图像差异区域确定单元13将S132中所获得的几何变换信息应用到S133中所获得的差异区域信息上。在该情况中，在其中差异区域信息是关于指示差异区域的四个角的坐标值信息的情况下，输入图像差异区域确定单元13将几何变换信息应用到四个坐标值中的一个坐标值上。在其中差异区域信息是关于构成参照图像中的差异区域的像素组的坐标值信息的情况下，输入图像差异区域确定单元13将几何变换信息应用到像素组的像素中的一个像素上。此时，当变量i小于预定数目N时，输入图像差异区域确定单元13在S135中更新变量i的值，并且继续进行S133和S134中的处理直到变量i的值变为等于或大于N为止。应当注意S135中的“i++”表示i的值被加1。在其中S133中所获得的差异区域信息是关于参照图像中的区域中的一个区域的信息并且是关于该区域的四个角的坐标值信息的情况下，则输入图像差异区域确定单元13将N设为4。在其中差异区域信息是关于构成参照图像中的差异区域的像素组的坐标值信息的情况下，输入图像差异区域确定单元13将N的值设为构成参照图像中的差异区域的像素组中的像素的数目。在其中S133中所获得的差异区域信息是关于存在于图像中的多个区域(例如外接构成作为物体中的一部分的字符串的每个字符的矩形)的四个角的坐标值信息组的情况下，输入图像差异区域确定单元13将N设为4×n，其中区域的数目被表示为n。最后，在S136中，输入图像差异区域确定单元13输出S134中计算出的输入图像差异区域信息并中止处理。

随后，局部特征量提取单元11所执行的处理将参考图3被详细描述。图3是示出了局部特征量提取单元11的配置的示例的框图。如图3中所示，局部特征量提取单元11能够通过使用亮度信息提取单元101、局部特征点检测单元102和局部特征量生成单元103来构成。

亮度信息提取单元101接收输入图像，并且从输入图像的每个像素中提取并输出仅仅关于亮度的信息。这里所接收的输入图像是由诸如数字相机、数字摄像机或移动电话之类的图像捕获设备所捕获的图像，或者利用扫描仪等捕获的图像。图像可以是诸如JPEG(联合图像专家组)之类的压缩图像或者可以是诸如TIFF(标签图像文件格式)之类的非压缩图像。局部特征点检测单元102从图像中检测很多独特的点(特征点)，并输出作为关于每个特征点的信息的特征点信息。在该情况中，例如，特征点信息指示被检测到的局部特征点的坐标位置和尺度、特征点的定向、作为被分配给特征点的唯一ID的“特征点编号”等等。应当注意局部特征点检测单元102可以输出特征点信息作为针对每个特征点的定向的每个方向的单独的特征点信息。例如，局部特征点检测单元102可以输出仅仅在每个特征点的最主要定向的方向上的特征点信息，或者也可以输出在第二和后续主要定向的方向上的特征点信息。

当局部特征点检测单元102输出在第二和后续主要定向的方向上的特征点信息时，局部特征点检测单元102能够提供针对每个特征点的定向的方向而异的特征点编号。当局部特征点检测单元102通过检测图像中的特征点来提取特征点信息时，例如，局部特征点检测单元102可以利用DoG(高斯差分)处理。更具体而言，局部特征点检测单元102能够通过利用DoG处理在尺度空间进行极值搜索来确定特征点的位置和尺度。此外，局部特征点检测单元102能够通过利用所确定的特征点的位置和尺度以及***区域的梯度信息来计算每个特征点的定向。当局部特征点检测单元102通过检测图像中的特征点来提取特征点信息时，局部特征点检测单元102可以利用代替DoG的诸如Fast-Hessian检测器之类的其它方法等。局部特征点检测单元102可以从在其内部所检测到的特征点中只选择重要的特征点，并且可以只输出关于这些特征点的信息作为特征点信息。

局部特征量生成单元103接收从局部特征点检测单元102输出的特征点信息，并生成(描述)作为针对每个特征点的局部区域的特征量的局部特征量。应当注意局部特征量生成单元103可以按利用诸如ZIP和LZH之类的无损失压缩被压缩的格式输出局部特征量。在其中局部特征点检测单元102所检测到的特征点的重要程度被确定的情况下，局部特征量生成单元103可以按照特征点的重要程度的顺序生成并输出局部特征量。局部特征量生成单元103可以按照特征点的坐标位置的顺序生成并输出局部特征量。首先，局部特征量生成单元103获得局部区域，在该局部区域中，特征量提取基于特征点信息根据每个被检测到的特征点的坐标值、尺度和定向被执行。在其中针对单个特征点存在不同定向上的多条特征点信息的情况下，局部特征量生成单元103能够获得针对每条特征点信息的局部区域。随后，局部特征量生成单元103根据特征点的定向方向对局部区域进行旋转和归一化，并且之后将局部区域分成子区域。例如，局部区域能够被分成16块(4×4块)。然后，局部特征量生成单元103生成针对局部区域的每个子区域的特征向量。例如，梯度方向直方图能够被用作子区域的特征向量。更具体而言，局部特征量生成单元103计算针对每个子区域中的每个像素的梯度方向，并且将梯度方向量化到8个方向上，并且计算针对每个子区域被量化的8个方向的频率，从而生成梯度方向直方图。此时，局部特征量生成单元103输出由针对每个特征点而生成的16块×8个方向的梯度方向直方图构成的特征向量。局部特征量生成单元103产生输出以使得关于特征点的坐标位置信息被包括在输出局部特征量中。

随后，局部特征量提取单元12所执行的处理将参考图4被详细描述。图4是示出了局部特征量提取单元12的配置的示例的框图。如图4中所示，局部特征量提取单元12能够通过使用对应特征点确定单元201、错误对应点去除单元202、识别分数计算单元203和阈值确定单元204来构成。

对应特征点确定单元201收集由局部特征量提取单元11从输入图像中提取的局部特征量1和从参照图像中被提取的局部特征量2，并输出对应特征点信息。例如，在其中局部特征量1和局部特征量2分别是描述局部特征点周围的梯度直方图的一组特征量的情况下，对应特征点确定单元201针对特征量的所有组合执行特征量空间的距离计算。在该情况中，只有在其中最小距离值远小于第二最小距离值的情况下，对应特征点确定单元201确定就距离值为最小的特征量的组合而言，用作特征量描述的基础的特征量和局部特征点是相对应的。然后，对应特征点确定单元201输出关于与关于局部特征点的位置信息相对应的局部特征点的位置信息作为对应特征点信息。

错误对应点去除单元202接收来自对应特征点确定单元201的对应特征点信息，并且从这些对应特征点之中确定正确对应的特征点和错误对应的特征点。然后，错误对应点去除单元202分别输出所确定的特征点信息，并且还输出被用于所述确定的几何变换信息。例如，错误对应点去除单元202对从对应特征点确定单元201接收的对应特征点信息应用诸如RANSAC(随机抽样同一性算法)之类的方案，并且估计用于将参照图像中的坐标变换为输入图像中的坐标的几何变换信息。错误对应点去除单元202分别将这里所估计的几何变换信息应用到参照图像中与对应特征点相关联的特征点上，并且当参照图像中的特征点被确定为与输入图像中的特征点基本匹配时，错误对应点去除单元202确定该特征点是正确对应特征点。相反，当参照图像中的特征点被确定为与输入图像中的特征点不匹配时，错误对应点去除单元202确定该特征点是错误对应特征点。

识别分数计算单元203接收来自错误对应点去除单元202的对应特征点信息，并输出识别分数。识别分数指(局部)特征量的相似度。输出的识别分数可以按如下方式被得出。例如，识别分数计算单元203对来自从错误对应点去除单元202接收的对应特征点信息的正确对应特征点的组合数目进行计数。然后，识别分数计算单元203可以通过参考用于将正确对应特征点的组合的数目与0到1之间的分数进行映射的表格来输出识别分数，所述表格被预先准备好。在其中正确对应特征点的组合的数目为c的情况下，识别分数计算单元203可以计算m/(c+m)作为识别分数，其中被预先限定的特征点的最小对应数目被表示为m。

阈值确定单元204对从识别分数计算单元203输出的识别分数应用阈值处理。在其中识别分数等于或大于阈值的情况下，阈值确定单元204确定图像是呈现相同物体的图像，并且输出参照图像的ID作为局部特征识别图像ID。阈值确定单元204所使用的阈值可以是被预先确定并保存在内部的值，或者可以是从外部给定的值。

随后，输入图像差异区域特征量提取单元14将被详细描述。图5和图6是示出了输入图像差异区域特征量提取单元14的配置的示例的框图。每个框图都将在下文中被描述。

如图5中所示，输入图像差异区域特征量提取单元14能够由差异区域信息修正单元401、经修正的差异区域图像生成单元402和差异区域特征量计算单元403构成。

差异区域信息修正单元401从输入图像差异区域确定单元13接收输入图像差异区域信息，并且修正输入图像差异区域信息以改变输入图像差异区域的范围。例如，差异区域信息修正单元401可以采用基于输入图像的差异区域中的任意给定点而被放大了预设比率的区域作为经修正的差异区域。备选地，差异区域信息修正单元401可以采用基于输入图像的差异区域中的任意给定点而被加宽了预设数目的像素的区域作为经修正的差异区域。在该情况中，被用作参照的点可以是差异区域的重心点。在其中输入图像的差异区域是通过对参照图像中的差异区域的四个角的坐标值分别应用几何变换信息所得到的输入图像中的差异区域的四个角的坐标值的情况下，被用作参照的点可以是四个角所限定的矩形的对角线的交叉点。例如，在其中例如边缘集中在从输入图像差异区域确定单元13接收的输入图像差异区域的端部的情况下，能够预测相同类型的信息被包括在输入图像差异区域以外。在该情况中，在输入图像差异区域信息的修正中，差异区域信息修正单元401可以沿被预测为包括相同类型的信息的方向偏移输入图像差异区域，或者可以放大输入图像差异区域。

经修正的差异区域图像生成单元402从差异区域信息修正单元401接收输入图像和经修正的差异区域信息。在其中经修正的差异区域信息是关于输入图像中的经修正的差异区域的四个角的坐标值信息的情况下，例如，经修正的差异区域图像生成单元402依次读取连接四个角中的两个相邻角的直线上的像素，从而确定从输入图像中读取值的像素和读取的顺序。因此，经修正的差异区域图像生成单元402生成和输出差异区域图像。在其中从差异区域信息修正单元401接收到的经修正的差异区域信息是指示构成输入图像中的经修正的差异区域的像素组的坐标值的信息的情况下，经修正的差异区域图像生成单元402按照所述顺序读取输入图像并且输出该图像作为差异区域图像。

差异区域特征量计算单元403从经修正的差异区域图像生成单元402所生成的差异区域图像中提取特征量，并输出特征量。差异区域特征量计算单元403的细节将在后面被描述。当输入图像中所示的物体弯曲时，由输入图像差异区域确定单元13计算的输入图像的差异区域可能包括错误差异。即使在这种情况下，输入图像差异区域特征量提取单元14包括图5的配置，使得输入图像差异区域特征量提取单元14可以提取正确的特征量，因为输入图像差异区域特征量提取单元14在修正差异区域信息之后执行对特征量的提取处理。

如图6中所示，输入图像差异区域特征量提取单元14能够由差异区域图像生成单元404和差异区域特征量计算单元403构成。图6的差异区域图像生成单元404基本上与作为如图5中所示的输入图像差异区域特征量提取单元14的组成元件的经修正的差异区域图像生成单元402相同，但是区别在于图6的差异区域图像生成单元404接收输入图像差异区域信息而不是经修正的差异区域信息。图6的差异区域特征量计算单元403与如图5中所示的差异区域特征量计算单元403相同，并且详细的说明被省略。

图7、图8、图9、图10、图11和图60是示出了差异区域特征量计算单元403的配置的示例的框图。下文中，每个图都将被描述。

如图7中所示，差异区域特征量计算单元403能够由颜色配置比率特征量计算单元40301构成。颜色配置比率特征量计算单元40301输出由经修正的差异区域图像生成单元402生成的差异区域图像的颜色直方图作为特征量。例如，这里所生成的特征量可以是RGB(红、绿和蓝)空间中的直方图、HSV(色调、饱和度、值)空间中的直方图或者其它颜色空间中的直方图。当在输入图像中所图示的物体和参照图像中所图示的物体的颜色中存在明显差别时，差异区域特征量计算单元403的图7的配置特别有效。

如图8中所示，差异区域特征量计算单元403能够由颜色布置特征量计算单元40302构成。颜色布置特征量计算单元40302输出关于经修正的差异区域图像生成单元402所生成的差异区域图像的颜色布局的信息作为特征量。这里所生成的特征量可以通过将差异区域图像分成8×8个分段，对每个分段中的像素值的平均值应用二维DCT(离散余弦变换)并从低频组分中提取预设数目的变换系数而被得到。备选地，这里所生成的特征量可以通过将差异区域图像分成子区块而被得到，并且特征量可以是指示针对每个子区块所计算的平均颜色的值(RGB值等)。与图7的配置一样，当在输入图像中所示的物体和参照图像中所示的物体的颜色中存在明显差别时，差异区域特征量计算单元403的图8的配置特别有效。

如图9中所示，差异区域特征量计算单元403能够由字符匹配特征量计算单元40303构成。在输入图像中所示的物体与参照图像中所示的物体之间的差别被假设为物体中的字符串区域的情况下，这个配置在输入图像的差异区域是通过以下方式获得的输入图像中的区域的四个角的坐标值信息组的情况下是可能的，所述方式即对外接构成字符串的每个字符的矩形中的参照图像中的四个角的坐标值分别应用几何变换信息。更具体而言，在这个配置中，通过对外接作为参照图像中的差异区域的每个字符的矩形中的四个角的坐标值进行几何变换而获得的输入图像中的区域被输入到字符匹配特征量计算单元40303中作为差异区域图像。然后，字符匹配特征量计算单元40303执行从差异区域图像的特征量提取。例如，字符匹配特征量计算单元40303可以将来自经修正的差异区域图像生成单元402所生成的差异区域图像的外接每个字符的矩形分成4×4，并且提取针对每个被划分的区域被结构化的8个方向上的梯度直方图作为特征量。在输入图像中所示的物体与参照图像中所示的物体之间只有一些字符存在差别的情况下，差异区域特征量计算单元403的图9的配置特别有效。

如图10中所示，差异区域特征量计算单元403能够由二值化处理单元40304、字符区域检测单元40305和字符匹配特征量计算单元40306构成。

在输入图像中所示的物体与参照图像中所示的物体之间的差别被假设为物体中的字符串区域的情况下，这个配置在输入图像的差异区域是关于通过以下方式获得的输入图像中的区域的四个角的坐标值信息的情况下是可能的，所述方式即对外接整个字符串的矩形中的参照图像中的四个角的每个坐标值分别应用几何变换信息。此外，可能存在通过以下方式获得的输入图像中的区域的四个角的坐标值信息组，所述方式即对外接构成字符串的每个字符的矩形中的参照图像中的四个角的坐标值分别应用几何变换信息。

二值化处理单元40304基于预先确定的阈值或者基于按自适应方式计算的阈值在经修正的差异区域图像生成单元402所生成的差异区域图像上执行二值化处理，并且输出二值化处理的结果作为二值化图像。用于按自适应方式计算阈值的方法的示例被考虑为包括确定二值化，用于自动计算P为阈值，其中针对差异区域图像的像素值的分布被任意给定点P划分的两个类别的最小类别内离差(dispersion)变为最小值且类别间离差为最大值。在其中在经修正的差异区域图像生成单元402所生成的差异区域图像中存在字符的情况下，字符通常用黑色或白色写成以使得与背景部分的对比增强，并且当这一点被考虑时，从二值化处理单元40304输出的二值化图像输出其中字符部分为黑色且背景部分为白色的图像或者其中字符部分为白色且背景部分为黑色的图像。在该情况中，在输入图像中所示的物体被弯曲的情况下，输入图像差异区域确定单元13计算出的输入图像的差异区域可能包括错误差别。在这样的情况下，当确定二值化直接在通过对外接整个字符串的矩形中的参照图像中的四个角的每个坐标值分别应用几何变换信息所获得的输入图像中的区域上被直接执行时，二值化的阈值没有被正确设置，并且字符区域可能未被检测到。但是，在图10的配置中，当输入图像的差异区域不仅包括通过对外接整个字符串的矩形中的参照图像中的四个角的每个坐标值分别应用几何变换信息所获得的输入图像的区域的四个角的坐标值信息还包括下面所描述的信息时，二值化处理单元40304可以输出更准确的二值化图像。这个信息是通过对外接构成字符串的每个字符的矩形中的参照图像中的四个角的坐标值分别应用几何变换信息所获得的输入图像的区域的四个角的坐标值信息组。更具体来说，首先，二值化处理单元40304只对通过对外接构成作为差别的字符串的每个字符的矩形中的参照图像中的四个角的坐标值分别应用几何变换信息所获得的输入图像中的区域执行确定二值化。随后，二值化处理单元40304使用那里计算出的阈值在通过对外接整个字符串的矩形中的参照图像中的四个角的坐标值应用几何变换信息所获得的输入图像中的区域上执行二值化。在这样的二值化处理被执行的情况下，被用来首先确定阈值的区域变为可能只包括字符的区域。鉴于这个原因，与其中确定二值化直接在通过对外接整个字符串的矩形中的参照图像中的四个角的每个坐标值分别应用几何变换信息所获得的输入图像中的区域上被直接执行的情况相比，减少输入图像的差异区域中的错误差别的影响的二值化可以被实现。此外，在其中想要选择性地只利用被用于确定阈值的区域中可能包括字符的区域的情况下，只有区域中的像素值的离差较高的区域可以被使用。

字符区域检测单元40305接收二值化处理单元40304所生成的二值化图像，并且输出字符区域信息，该字符区域信息是关于图像中存在字符的区域的信息。为了检测其中存在字符的区域，例如，字符区域检测单元40305利用其中二值化图像中黑色像素相连的部分作为区块，并且输出在外接每个连接部分的矩形中的四个角的坐标值信息组(即关于构成每个连接部分的像素组的坐标值信息)作为字符区域信息。当连接部分被检测到并且在二值化处理单元40304所生成的二值化图像中有很多黑色像素时，白色字符可以被写在黑暗背景上，并且因此，白色像素和黑色像素在二值化图像中被颠倒，并且因此，以上的处理可以被执行。在这里被输出的字符区域信息中，单个连接部分被认为是基本上对应于单个字符，并且因此，字符区域信息代表关于外接存在于差异区域图像中的每个字符的矩形中的四个角的信息。

字符匹配特征量计算单元40306与作为如图9中所示的差异区域特征量计算单元403的组成元件的字符匹配特征量计算单元40303基本相同，但不同在于字符匹配特征量计算单元40306不仅接收差异区域图像还接收字符区域信息。更具体来说，在该配置中，字符匹配特征量计算单元40306不执行从通过对外接构成作为差别的字符串的每个字符的矩形中的参照图像中的四个角的坐标值应用几何变换所获得的输入图像中的区域中的特征量提取。作为代替，字符匹配特征量计算单元40306从通过对外接作为差别的整个字符串的矩形中的参照图像中的四个角的坐标值应用几何变换所获得的输入图像中的区域中再次检测字符区域，并根据所检测到的字符区域计算特征量。与图9的配置一样，差异区域特征量计算单元403的图10的配置在其中输入图像中所示的物体与参照图像中所示的物体之间只有一些字符的差别的情况下特别有效。

如图11中所示，差异区域特征量计算单元403由图像值提取单元40307构成。图像值提取单元40307可以输出由经修正的差异区域图像生成单元402生成的差异区域图像的亮度值本身作为特征量。备选地，在由经修正的差异区域图像生成单元402生成的差异区域图像的所有亮度值的平均值被表示为a、标准偏差被表示为s并且差异区域图像的亮度值被表示为p的情况下，被修正为(p-a)/s的亮度值可以被输出作为特征量。如图11中所示，当差异区域特征量计算单元403由图像值提取单元40307构成时，关于在横向和纵向上的差异区域的像素数目的信息可以与特征量一起被输出。

如图60中所示，差异区域特征量计算单元403能够由形状特征量计算单元40308构成。形状特征量计算单元40308输出关于经修正的差异区域图像生成单元402所生成的差异区域图像的形状的信息作为特征量。形状特征量计算单元40308可以通过执行以下处理来生成特征量。例如，特征量可以通过以下步骤被生成，所述步骤即将经修正的差异区域图像生成单元402所生成的差异区域图像分成多个子区块(例如4×4个子区块)，针对每个被划分的区域结构化在多个方向上的梯度直方图，并且提取直方图作为特征量。备选地，特征量可以通过以下步骤被生成，所述步骤即从经修正的差异区域图像生成单元402所生成的差异区域图像中提取边缘，生成其中每个像素的值指示边缘强度的边缘图像，并且提取边缘图像作为特征量。又备选地，特征量可以通过以下步骤被生成，所述步骤即利用基于针对边缘强度的预设阈值的处理在边缘图像上执行二值化处理，并且提取二值图像作为特征量。

当在输入图像中所示的物体与参照图像中所示的物体之间存在形状上的明显差别时，差异区域特征量计算单元403的图60的配置特别有效。

应当注意差异区域特征量计算单元403可以不仅具有图7、图8、图9、图10、图11和图60中所示的配置，还可以具有通过组合图7、图8、图9、图10、图11和图60中所示的配置而得到的配置，并且能够生成并输出将这些配置中的每个配置计算出的特征量组合成单个特征量的特征量。

图12和图13是示出了在差异区域特征量计算单元403分别具有图9和图10的配置的情况下特征量从中被提取的区域的示例的概念图。如图12中所示，在输入图像的差异区域是通过对外接构成字符串的每个字符的矩形中的参照图像中的四个角的坐标值分别应用几何变换信息获得的区域的情况下，并且当输入图像中所示的物体被弯曲时，通过应用几何变换信息所获得的区域可能包括错误差别。此时，特征量从中被提取的区域偏离实际字符部分。另一方面，如图13中所示，当字符区域从输入图像中的区域中被再次检测到并且特征量从被检测到的字符区域中被提取时，更准确的特征量因为几何变换而能够在不受错误差别的影响的情况下被提取。此外，即使字符从尚未被修正的输入图像的差异区域中伸出来，特征量也能够通过利用差异区域信息修正单元401执行修正而被准确地提取。

随后，特征量匹配单元15将被详细描述。图14是示出了特征量匹配单元15的配置的示例的框图。这个图将在下文中被描述。如图14中所示，特征量匹配单元15能够由差异区域识别分数计算单元501和阈值确定单元502构成。

差异区域识别分数计算单元501分别接收从输入图像的差异区域提取的特征量作为特征量1，和从参照图像的差异区域提取的特征量作为特征量2。然后，差异区域识别分数计算单元501输出根据这两个特征量确定的识别分数作为差异区域识别分数。差异区域识别分数是这样的一种度量，使得特征量1与特征量2越相似，差异区域识别分数的值越高。例如，差异区域识别分数计算单元501可以计算在特征量空间上特征量1与特征量2之间的距离，并且可以输出该距离的倒数作为差异区域识别分数。备选地，在特征量1与从多个参照图像组中的每个参照图像组中提取的特征量2匹配的情况下，差异区域识别分数计算单元501可以按以下方式输出差异区域识别分数。首先，差异区域识别分数计算单元501从所有特征量的组合中找到特征量空间上的距离的最小值。随后，差异区域识别分数计算单元501可以通过将所有特征量的组合的特征量空间上的距离除以该最小值所得到的值的倒数作为差异区域识别分数。备选地，差异区域识别分数计算单元501可以通过参考预先准备好的用于将特征量1与特征量2之间的特征量空间上的距离值映射到0到1之间的分数的表格来输出差异区域识别分数。又备选地，在其中从输入图像的差异区域中被提取的特征量是如图11中所示的亮度值或者利用平均标准偏差修正的亮度值的情况下，差异区域识别分数计算单元501可以按如下方式输出差异区域识别分数。差异区域识别分数计算单元501可以将差异区域识别分数输出为这样的分数，来自参照图像的差异区域中的对应亮度值的差别的总和、对应亮度值的差别的平方的总和或者对应亮度值的差别的绝对值的总和越小，所述分数越大。差异区域识别分数计算单元501可以将差异区域识别分数输出为这样的分数，对应亮度值的归一化互相关值越接近1，所述分数越大。在其中从输入图像的差异区域中提取的特征量是利用如图11中所示的亮度值或者平均标准偏差修正后的亮度值的情况下，差异区域识别分数计算单元501可以按如下方式输出差异区域识别分数。首先，在对应像素的亮度值按上述方式被比较之前，差异区域识别分数计算单元501利用Lucas-Kanade方法等对特征量1进行变换以使得特征量2从中被提取的参照图像的差异区域的位置最接近地匹配特征量从中被提取的输入图像的差异区域的位置。然后，差异区域识别分数计算单元501可以将差异区域识别分数输出为这样的分数，来自特征量1和特征量2的对应像素的亮度值的差别的总和、亮度值的差别的平方的总和或者亮度值的差别的绝对值的总和越小，所述分数越大。备选地，在其中从输入图像的差异区域中被提取的特征量是如图60中所示的形状特征量(即其中每个像素的值指示边缘强度的边缘图像或者通过在对边缘强度的阈值处理过程中将边缘图像变为二值图像所获得的图像)的情况下，差异区域识别分数计算单元501可以按如下方式输出差异区域识别分数。首先，差异区域识别分数计算单元501利用特征量2作为模板，该模板是从参照图像的差异区域中提取的特征量，并且在改变其尺度、方向和位置的同时在特征量1中搜索其中图像图案最相似的区域。然后，差异区域识别分数计算单元501可以输出具有匹配图案的像素数目相对于此时模板的像素数目的比率作为差异区域识别分数。此时，对应像素的边缘强度的差别的绝对值的总和、对应像素的边缘强度的差别的平方的总和等可以被用作用于测量图案的匹配度的尺度，或者其它尺度也可以被使用。在其中从输入图像的差异区域中被提取的特征量是如图60中所示的形状特征量(即其中每个像素的值指示边缘强度的边缘图像或者通过在对边缘强度的阈值处理过程中将边缘图像变为二值图像所获得的图像)的情况下，以下处理可以被执行。更具体而言，差异区域识别分数计算单元501可以不使用作为从参照图像的差异区域中被提取的特征量的全部特征量2。相反，差异区域识别分数计算单元501可以使用特征量2中的一些。例如，差异区域识别分数计算单元501可以通过例如考虑边缘的连续性来只使用与轮廓相对应的边缘。更具体而言，差异区域识别分数计算单元501可以从与特征量2中的轮廓相对应的边缘中根据诸如广义霍夫变换(GeneralizedHough Transform)之类的方法来搜索最适合特征量1的位置。备选地，差异区域识别分数计算单元501可以在改变与轮廓相对应的边缘的尺度、方向和位置的同时搜索最精确地覆盖特征量1的位置，或者可以根据另一方法进行搜索。此时，例如，差异区域识别分数计算单元501可以输出表决数目的最大值相对于表决的总数的比率作为差异区域识别分数。备选地，在其中从输入图像的差异区域中提取的特征量是图9或图10的情况下，差异区域识别分数计算单元501可以针对每个对应矩形形状计算相似度，并且可以输出计算出的相似度作为差异区域识别分数。在其中从输入图像的差异区域中提取的特征量是图9或图10的情况下，对应矩形形状的示例分别通过图12和图13中的虚线箭头被示出。在图9的情况中，参照图像中的每个字符的区域和通过对每个字符的坐标位置应用几何变换所获得的输入图像中的区域是对应矩形形状。在图10的情况中，参照图像中的每个字符的坐标位置与输入图像中的每个字符的坐标位置被比较，并且坐标位置接近的字符是对应矩形形状。

阈值确定单元502对从差异区域识别分数计算单元501输出的差异区域识别分数执行阈值处理。在其中差异区域识别分数等于或大于阈值的情况下，阈值确定单元502确定图像是显示相同物体的图像，并且输出参照图像的ID作为差异区域识别图像ID。阈值确定单元502所使用的阈值可以是被预先确定并保存在内部的值，或者可以是从外部给定的值。备选地，在其中从差异区域识别分数计算单元501输出的差异区域识别分数是从参照图像中的多个矩形区域中的每个矩形区域中提取的特征量与从输入图像中与每个矩形区域相对应的每个区域中提取的特征量的相似度的情况下，阈值确定单元502可以按如下方式执行处理。更具体而言，阈值确定单元502可以计算其中相似度等于或大于阈值的对应区域的数目相对于对应区域的数目的比率，并且可以输出比率等于或大于阈值的参照图像的ID作为差异区域识别图像ID。备选地，在其中从差异区域识别分数计算单元501输出的最高差异区域识别分数与第二高差异区域识别分数的差别等于或大于阈值的情况下，阈值确定单元502可以输出具有最高差异区域识别分数的参照图像的ID作为差异区域识别图像ID。备选地，在其中第二最高差异区域识别分数相对于从差异区域识别分数计算单元501输出的最高差异区域识别分数的比率等于或小于阈值的情况下，阈值确定单元502可以输出具有最高差异区域识别分数的参照图像的ID作为差异区域识别图像ID。备选地，首先，阈值确定单元502对从差异区域识别分数计算单元501输出的差异区域识别分数执行阈值处理，并且将差异区域识别分数缩小至那些等于或大于阈值的识别分数。随后，在其中最高差异区域识别分数与第二最高差异区域识别分数有足够大的差别的情况下，阈值确定单元502可以输出具有最高差异区域识别分数的参照图像的ID作为差异区域识别图像ID。备选地，在其中从输入图像差异区域特征量提取单元14接收到的特征量是通过组合多个特征量所得到的特征量的情况下，阈值确定单元502可以按如下方式执行处理。更具体而言，首先，阈值确定单元502对任意给定特征量执行差异区域识别分数计算和阈值确定。阈值确定单元502可以按步进方式执行匹配，例如，差异区域识别分数计算和阈值确定针对与作为结果被输出的ID相对应的参照图像中的另一特征量被执行。

图15是根据本发明的第一示例性实施例的物体识别设备的实现方式的示例中的一个。图15的物体识别设备Z1’基本与图1相同，并且区别在于物体设备设备Z1’被提供有差异区域信息DB，该数据库是只存储差异区域信息的数据库。在其中局部特征量2没有作为数据库被存储而是动态地从参照图像中被提取的情况下，根据本发明的第一示例性实施例的物体设备设备能够利用图15的配置来实现。

图16、图17、图18和图19是分别图示了被考虑为参照图像中的差异区域与输入图像中的输入图像差异区域的关系的图案的概念图。

图16示出了其中物体被显示在整个参照图像上并且差异区域是整个参照图像的情况。这对应于其中例如物体中所镌刻的字符、图案等基本相同但物体的颜色不同的情况，这种情况在例如相同品牌但不同口味的零食的包装上经常看到。

图17示出了其中物体被显示在整个参照图像上并且差异区域是参照图像的一部分的情况。这对应于其中物体基本相同只是在物体的一部分中颜色、字符和图案不同，这种情况在例如相同系列但不同卷册的书脊等上经常看到。

图18和图19与图16和图17基本相同，区别只是参照图像没有被显示在整个图像上而是在图像的一部分上。在这些图案中的任意图案中，根据本发明的第一示例性实施例的物体识别设备Z1’具有关于预先被注册在数据库中的差异区域的信息。作为参照图像中的被注册差异区域、通过利用几何变换信息和差异区域信息确定的输入图像中的差异区域以及通过修正输入图像中的差异区域所获得的区域中的每一个区域，只有包括差别的最小必要区域能够从参照图像和输入图像中被提取。鉴于这个原因，不仅是在其中差异区域是整个物体的情况下，而且在其中差异区域只是物体的一部分的情况下，图像中所示的物体都能够被准确地标识。因此，作为与其中只有局部特征量被使用的传统情况相关联的问题的识别误差能够被减小。

如上所述，根据本发明的第一示例性实施例的物体识别设备Z1和Z1’能够减小显示与输入图像中所示的物体只有略微差别的物体的参照图像的识别误差。针对这个效果的原因如下。输入图像中的差异区域通过基于在局部特征量被计算时所计算的输入图像与参照图像之间的几何变换信息对参照图像中的差异区域进行变换而被确定。然后，从输入图像的差异区域中提取的特征量与从参照图像的差异区域中提取的特征量被匹配，以使得通过仅仅执行基于传统局部特征量的匹配不能被识别的小差别能够被辨认，并且只有显示相同物体的图像能够被识别。

(第二示例性实施例)

根据本发明的第二示例性实施例将参考附图被描述。

图20是示出了根据本发明的第二示例性实施例的物体识别设备的配置的框图。如图20中所示，根据第二示例性实施例的物体识别设备Z2包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、差异区域估计单元17、差异区域特征量提取单元18以及特征量匹配单元15。如上所述，根据第二示例性实施例的物体识别设备Z2的不同之处在于根据第一示例性实施例的物体识别设备的局部特征量匹配单元12被局部特征量匹配单元16替换，并且作为存储差异区域信息的数据库的差异区域信息DB被差异区域估计单元17和差异区域特征量提取单元18替换。局部特征量匹配单元16、差异区域估计单元17和差异区域特征量提取单元18将在后面被描述。其它组成元件与第一示例性实施例中的那些组成元件相同。这些组成元件用相同的标号表示，并且关于它们的详细说明被省略。

图21是示出了局部特征量提取单元16的配置的示例的框图。这个图将在下文中被描述。如图21中所示，局部特征量提取单元16能够由对应特征点确定单元201、错误对应点去除单元202、识别分数计算单元203和阈值确定单元204构成。那些组成元件与如图4中所示的局部特征量匹配单元12的组成元件相同，但是不同之处在于除了从错误对应点去除单元202输出的几何变换信息以及从阈值确定单元204输出的局部特征识别图像ID以外，从错误对应点去除单元202输出的对应特征点信息也从局部特征量匹配单元16处被输出。如上所述，对应特征点信息是包括指示特征点在参照图像和输入图像之间是正确对应还是错误对应的信息的信息。

图22是示出了差异区域估计单元17的配置的框图。这个图将在下文中被描述。如图22中所示，差异区域估计单元17能够只由错误对应特征点集中度搜索单元701构成。

错误对应特征点集中度搜索单元701接收来自局部特征量匹配单元16的对应特征点信息，并输出作为关于参照图像中的差异区域的信息的差异区域信息。在从局部特征量匹配单元16接收到的对应特征点信息中，正确对应的特征点和错误对应的特征点被确定。鉴于这个原因，参照图像中的差异区域能够通过从图像中搜索错误对应特征点集中的区域而被估计。对错误对应点集中的区域的搜索可以根据例如以下方法被实现，或者可以是其它方法。在该方法中，具有预设尺寸的矩形窗口被设置，并且该矩形窗口在差分图像中被移动，并且当错误对应特征点的数目等于或大于矩形窗口内的预设数目时，矩形窗口的区域被作为差异区域。

图23是示出了差异区域特征量提取单元18的配置的示例的框图。这个图将在下文中被描述。如图23中所示，差异区域特征量提取单元18能够由差异区域图像生成单元801和差异区域特征量计算单元403构成。

差异区域图像生成单元801与作为图6中所示的输入图像差异区域特征量提取单元14的组成元件的差异区域图像生成单元404基本相同，只是在以下特征方面是不同的。差异区域图像生成单元801的不同在于差异区域图像生成单元801接收参照图像而不是输入图像并且接收差异区域信息而不是输入图像差异区域信息，并且差异区域图像生成单元801输出基于差异区域信息由参照图像生成的差异区域图像而不是基于输入图像差异区域信息由输入图像生成的差异区域图像。差异区域特征量计算单元403与作为如图5和图6中所示的输入图像差异区域特征量提取单元14的组成元件的差异区域特征量计算单元403相同，并且关于该单元的详细描述被省略。图5、图6和图23中的差异区域特征量计算单元403计算出的特征量是在相同处理中计算出的特征量。

即使参照图像中的差异区域未被预先注册到数据库中，根据本发明的第二示例性实施例的物体识别设备Z2也能够估计参照图像中的差异区域。因此，当关于差异区域的信息不能被预先注册时，例如当只有在某个地方有划痕的产品通过利用物体识别的检查***而从很多产品中被辨认出来时，物体识别设备Z2特别有效。即使差异区域为整个物体或者差异区域是物体的一部分，根据本发明的第二示例性实施例的物体识别设备Z2所执行的对参照图像中的差异区域的估计也是可能的。因此，根据本发明的第二示例性实施例的物体识别设备Z2对于图16、图17、图18和图19的情况中的任一情况而言都是有效的。

(第三示例性实施例)

本发明的第三示例性实施例将参考附图被描述。

图24是示出了根据本发明的第三示例性实施例的物体识别设备的配置的框图。如图24中所示，根据第三示例性实施例的物体识别设备Z3包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元19和差异区域特征量提取单元18。如上所述，根据第三示例性实施例的物体识别设备Z3的不同之处在于根据第二示例性实施例的物体识别设备Z2的差异区域估计单元17被差异区域估计单元19代替。差异区域估计单元19的细节将在后面被描述。其它组成元件与第二示例性实施例中的那些组成元件相同。这些组成元件用相同的标号表示，并且关于它们的详细说明被省略。

图25是示出了差异区域估计单元19的配置的示例的框图。这个图将在下文中被描述。如图25中所示，差异区域估计单元19能够由物体区域估计单元901和错误对应特征点集中度搜索单元902构成。

物体区域估计单元901接收与从局部特征量匹配单元16输出的局部特征识别图像ID相对应的参照图像或者与局部特征识别图像ID相关的参照图像组，并且输出物体区域信息，该信息是表示参照图像中物体所存在的区域的信息。这里所接收到的参照图像可以如图24中所示被预先存储到数据库中，或者可以不被存储。物体区域估计单元901所执行的处理可以基于例如通过分析参照图像中的边缘强度来粗略估计物体区域的方法或者预先了解背景区域的图像模式并且粗略估计物体区域为背景以外的区域的方法。错误对应特征点集中度搜索单元902与作为图22中所示的差异区域估计单元17的组成元件的错误对应特征点集中度搜索单元701相类似，但不同在于错误对应特征点集中度搜索单元902不仅接收从局部特征量匹配单元16接收到的对应特征点信息，还接收从物体区域估计单元901输出的物体区域信息。错误对应特征点集中度搜索单元902只专注于对应特征点中存在于物体区域内部的点，并且搜索其中错误对应特征点集中的区域，以使得错误对应特征点集中度搜索单元902能够不受从物体以外的区域出现的错误对应特征点的影响地估计参照图像中的差异区域。

因为错误对应特征点集中度搜索单元902搜索参照图像中错误对应特征点集中的区域的范围，错误对应特征点集中度搜索单元902与搜索范围为整个参照图像的错误对应特征点集中度搜索单元701相比能够执行更高速的处理。

与第二示例性实施例一样，即使参照图像中的差异区域未被预先注册到数据库中，根据本发明的第三示例性实施例的物体识别设备Z3也能够估计参照图像中的差异区域。因此，当关于差异区域的信息不能被预先注册时，例如当只有在某个地方有划痕的产品通过利用物体识别的检查***而从很多产品中被辨认出来时，物体识别设备Z3特别有效。即使差异区域为整个物体或者差异区域是物体的一部分，根据本发明的第三示例性实施例的物体识别设备Z3所执行的对参照图像中的差异区域的估计也是可能的，并且差异区域能够不受从物体以外的区域出现的错误对应特征点影响地高准确度地被估计，并且因此，根据本发明的第三示例性实施例的物体识别设备Z3所执行的对参照图像中的差异区域的估计在图18和图19的情况中特别有效。

(第四示例性实施例)

本发明的第四示例性实施例将参考附图被描述。

图26是示出了根据本发明的第四示例性实施例的物体识别设备的配置的框图。如图26中所示，根据第四示例性实施例的物体识别设备Z4包括局部特征量提取单元11、局部特征量匹配单元12、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元20和差异区域特征量提取单元18。

如上所述，根据第四示例性实施例的物体识别设备Z4的不同之处在于根据第三示例性实施例的物体识别设备Z3的局部特征量匹配单元16和差异区域估计单元19被局部特征量匹配单元12和差异区域估计单元20替换。局部特征量匹配单元12与根据第一示例性实施例的物体识别设备Z1和Z1’的局部特征量匹配单元12相同，并且关于该单元的详细描述被省略。其它组成元件与第三示例性实施例中的那些组成元件相同。这些组成元件用相同的标号表示，并且关于它们的详细说明被省略。

图27是示出了差异区域估计单元20的配置的示例的框图。整个图将在下文中被描述。如图27中所示，差异区域估计单元20能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003和大差异区域检测单元2004构成。

变换图像生成单元2001接收输入图像和从局部特征量匹配单元12输出的几何变换信息，并且输出变换图像。例如，变换图像生成单元2001对输入图像的每个像素应用几何变换信息，并且将输入图像的每个像素投影到与参照图像具有相同尺寸的图像上，从而生成变换图像。此时，在像素被投影到其上的图像中，输入图像中的像素未被投影到其上的像素的像素值被变换图像生成单元2001填充0或类似字符，以使得变换图像被生成。在其中从局部特征量匹配单元12输出的几何变换信息是从参照图像中的坐标到输入图像中的坐标的变换的信息的情况下，这个变换图像生成单元2001所应用的几何变换信息需要是对其执行反向变换的信息。更具体而言，在其中从局部特征量匹配单元12输出的几何变换信息是从参照图像中的坐标到输入图像中的坐标的变换的3×3矩阵的情况下，其逆矩阵被用作变换图像生成单元2001所应用的几何变换信息。

差分图像生成单元2002接收与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像或者与局部特征识别图像ID相关的参照图像组，以及从变换图像生成单元2001输出的变换图像，并且输出通过计算参照图像与变换图像之间的差别而得到的图像作为差分图像。当差分图像生成单元2002计算参照图像与变换图像之间的差别时，例如差分图像生成单元2002可以在修正图像中的一个的亮度以使得两个图像的亮度的平均值相同之后计算差别。这里所接收的参照图像可以如图26中所示地被预先存储到数据库中，或者可以不被存储。

物体区域估计单元2003从差分图像生成单元2002接收差分图像，并且估计并输出物体区域信息。这里被输出的物体区域信息能够通过例如从图像中搜索差分图像中差别值很小的区域而被估计。这是因为差分图像中差别值很小的区域被认为是其中参照图像和变换图像两者中的相同物体可能被显示的区域。在关于物体区域的估计中，具有预设尺寸的矩形窗口被设置，并且该矩形窗口在差分图像中被移动，并且当像素值很小的像素的数目等于或大于矩形窗口内的预设数目时，矩形窗口的区域被作为物体区域。备选地，关于物体区域的估计可以根据其它方法被实现。

大差异区域检测单元2004接收从差分图像生成单元2002输出的差分图像和从物体区域估计单元2003输出的物体区域信息，并且输出差异区域信息。大差异区域检测单元2004确定差分图像中的物体区域中的差别值很大的部分可能是在参照图像和变换图像中所示的物体中存在差别的部分，并且从图像中搜索差别值很大的部分，并且输出该区域信息作为差异区域信息。在对差别值很大的部分的搜索(即对差异区域的搜索)过程中，例如，具有预设尺寸的矩形窗口被设置，并且该矩形窗口在差分图像中的物体区域中被移动，并且当像素值很大的像素的数目等于或大于矩形窗口内的预设数目时，矩形窗口的区域被作为差异区域。备选地，对差别值很大的部分的搜索(即对差异区域的搜索)可以根据其它方法来完成。

如上所述，在本发明的第四示例性实施例中，差异区域估计单元20利用输入图像、参照图像和几何变换信息来估计参照图像中的差异区域。与第二或第三示例性实施例一样，即使参照图像中的差异区域未被预先注册到数据库中，根据本发明的第四示例性实施例的物体识别设备Z4也能够估计参照图像中的差异区域。因此，当关于差异区域的信息不能被预先注册时，例如当只有在某个地方有划痕的产品通过利用物体识别的检查***而从很多产品中被辨认出来时，物体识别设备Z4特别有效。即使差异区域为整个物体或者差异区域是物体的一部分，根据本发明的第四示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第三示例性实施例一样，在物体区域首先被估计以使得背景的影响被消除之后，差异区域再次被估计，并且这使得能够高准确度地估计差异区域，并且因此，根据本发明的第四示例性实施例所执行的对参照图像中的差异区域的估计在图18和图19的情况中特别有效。

(第五示例性实施例)

本发明的第五示例性实施例将参考附图被描述。

图28是示出了根据本发明的第五示例性实施例的物体识别设备的配置的框图。如图28中所示，根据第五示例性实施例的物体识别设备Z5包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元21和差异区域特征量提取单元18。

如上所述，根据第五示例性实施例的物体识别设备Z5具有根据第三示例性实施例的物体识别设备Z3和根据第四示例性实施例的物体识别设备Z4混合的配置。当物体识别设备Z5与根据第三示例性实施例的物体识别设备Z3比较时，物体识别设备Z5的不同在于差异区域估计单元19被差异区域估计单元21替换。差异区域估计单元21的细节将在后面被描述。其它组成元件与第三示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图29、图30、图31和图32是示出了差异区域估计单元21的配置示例的框图。每个图都将在下文中被描述。

如图29中所示，差异区域估计单元21能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003和错误对应特征点集中度搜索单元902构成。图29的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图29的错误对应特征点集中度搜索单元902与作为图25中所示的差异区域估计单元19的错误对应特征点集中度搜索单元902相同，并且关于该单元的详细说明被省略。更具体来说，差异区域估计单元21通过从利用参照图像和变换后的输入图像之间的差别估计的物体区域中搜索错误对应特征点集中的区域来估计差异区域，而不是像差异区域估计单元19那样通过从只利用参照图像估计的物体区域中搜索错误对应特征点集中的区域来估计差异区域。

如图30中所示，差异区域估计单元21能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101和错误对应特征点集中度搜索单元2102构成。

图30的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图30的大差异区域检测单元2101与作为图27中所示的差异区域估计单元20的组成元件的大差异区域检测单元2004相同，但图30的大差异区域检测单元2101的不同在于图30的大差异区域检测单元2101输出差异候选区域信息而不是差异区域信息。

从大差异区域检测单元2101输出的差异候选区域信息可以与从大差异区域检测单元2004输出的差异区域信息相同，或者可以是被理解为稍大于差异区域信息的区域的区域信息。图30的错误对应特征点集中度搜索单元2102与作为图25中所示的差异区域估计单元19的组成元件的错误对应特征点集中度搜索单元902相类似，但不同在于图30的错误对应特征点集中度搜索单元2102接收差异候选区域信息而不是物体区域信息。

从错误对应特征点集中度搜索单元2102输出的差异区域信息通过由错误对应特征点集中度搜索单元2102从差异候选区域中进一步缩窄差异区域而获得，所述差异候选区域由包括变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003和大差异区域检测单元2101的四个单元组合估计得到。因此，高可靠性的差异区域信息被输出。

如图31中所示，差异区域估计单元21能够由变换图像生成单元2001、错误对应特征点集中度搜索单元2103、差分图像生成单元2104和大差异区域检测单元2105构成。

图31的变换图像生成单元2001与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001相同，并且关于该单元的详细描述被省略。图31的错误对应特征点集中度搜索单元2103与作为图22中所示的差异区域估计单元17的组成元件的错误对应特征点集中度搜索单元701基本相同，但图31的错误对应特征点集中度搜索单元2103的不同在于图31的错误对应特征点集中度搜索单元2103输出差异候选区域信息而不是差异区域信息。从错误对应特征点集中度搜索单元2103输出的差异候选区域信息可以与从错误对应特征点集中度搜索单元701输出的差异区域信息相同，或者可以是被理解为稍大于差异区域信息的区域的区域信息。图31的差分图像生成单元2104与作为图27中所示的差异区域估计单元20的组成元件的差分图像生成单元2002相似，但图31的差分图像生成单元2104的不同在于图31的差分图像生成单元2104不仅接收参照图像和变换图像还接收差异候选区域信息。差分图像生成单元2104根据通过计算参照图像与变换图像之间的差别所生成的差分图像来输出差异候选区域信息所指示的区域的图像作为差分图像。图31的大差异区域检测单元2105与作为图27中所示的差异区域估计单元20的组成元件的大差异区域检测单元2004相类似，但图31的大差异区域检测单元2105的不同在于图31的大差异区域检测单元2105只接收差分图像。被输入到大差异区域检测单元2105中的差分图像是由错误对应特征点集中度搜索单元2103只针对已被估计为差异候选区域的区域而输出的差分图像，并且因此，在这个阶段，该差分图像已经是整个物体区域或者指示物体区域的一部分的区域的图像。从大差异区域检测单元2105输出的差异区域信息通过由大差异区域检测单元2402从错误对应特征点集中度搜索单元2103所估计的差异候选区域中缩窄差异区域而被获得。因此，高可靠性的差异区域信息被输出。

如图32中所示，差异区域估计单元21能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101、错误对应特征点集中度搜索单元2103和差异候选区域重叠检测单元2106构成。图32的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003与图27中所示的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图32的大差异区域检测单元2101与图30的大差异区域检测单元2101相同，并且关于该单元的详细说明被省略。图32的错误对应特征点集中度搜索单元2103与图31的错误对应特征点集中度搜索单元2103相同，并且关于该单元的详细说明被省略。图32的差异候选区域重叠检测单元2106接收从大差异区域检测单元2101输出的差异候选区域信息和从错误对应特征点集中度搜索单元2103输出的差异候选区域信息，并且确定其中两个差异候选区域彼此重叠的区域是差异区域，并且输出差异区域信息。差异候选区域重叠检测单元2106输出关于被大差异区域检测单元2101和错误对应特征点集中度搜索单元2103两者确定为差异候选区域的区域的信息，以使得差异候选区域重叠检测单元2106输出高可靠性的差异区域信息。

如上所述，在本发明的第五示例性实施例中，差异区域估计单元21利用输入图像、参照图像、几何变换信息和对应特征点信息来估计参照图像中的差异区域。与第二、第三和第四示例性实施例一样，即使参照图像中的差异区域未被预先注册到数据库中，根据本发明的第五示例性实施例的物体识别设备Z5也能够估计参照图像中的差异区域。因此，当关于差异区域的信息不能被预先注册时，例如当只有在某个地方有划痕的产品通过利用物体识别的检查***而从很多产品中被辨认出来时，物体识别设备Z5是有效的。此外，在本发明的第五示例性实施例中，即使差异区域为整个物体和差异区域是物体的一部分，根据本发明的第五示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第二示例性实施例等相比，更高可靠性的差异区域能够被获得，并且因此，高准确度的识别能够被实现。在本发明的第五示例性实施例中，当差异区域估计单元21具有图31或图32中所示的配置时，物体区域估计单元可以在错误对应特征点集中度搜索单元2103之前被添加。在该情况中，差异候选区域通过执行所估计的物体区域中的错误对应特征点集中度搜索而被估计。此时，与第三和第四示例性实施例一样，差异区域能够在消除背景的影响之后再次被估计，并且因此，根据第五示例性实施例的物体识别设备Z5在图18和图19的情况中特别有效。

(第六示例性实施例)

本发明的第六示例性实施例将参考附图被描述。

图33是示出了根据本发明的第六示例性实施例的物体识别设备的配置的框图。如图33中所示，根据第六示例性实施例的物体识别设备Z6包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元22和差异区域特征量提取单元18。如上所述，根据第六示例性实施例的物体识别设备的不同在于根据第四示例性实施例的物体识别设备Z4的差异区域估计单元20被差异区域估计单元22替换。差异区域估计单元22的细节将在后面被描述。其它组成元件与第四示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图34和图35是示出了差异区域估计单元22的配置的示例的框图。每个图都将在下文中被描述。

如图34中所示，差异区域估计单元22能够由模板匹配单元2201构成。模板匹配单元2201接收与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像，或者与局部特征识别图像ID相关的参照图像组。此外，模板匹配单元2201还接收与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像的差异区域的模板图像，或者与局部特征识别图像ID相关的模板图像组，并且输出差异区域信息。这个模板图像是在差异区域周围通常可以看到的图像图案。参照图像中的差异区域能够通过在移动参照图像中的模板图像的同时执行搜索与模板图像最相似的区域的模板匹配处理而被估计。模板图像可以如图33中所示地被预先存储到数据库中，或者可以不被存储。

如图35中所示，差异区域估计单元22能够还由物体区域估计单元901和模板匹配单元2202构成。图35的物体区域估计单元901与作为图25中所示的差异区域估计单元19的组成元件的物体区域估计单元901相同，并且关于该单元的详细说明被省略。模板匹配单元2202与作为图34中所示的差异区域估计单元22的组成元件的模板匹配单元2201相类似，但模板匹配单元2202的不同在于模板匹配单元2202不仅接收与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像和与从局部特征量匹配单元12输出的局部特征识别图像ID相对应的参照图像的模板图像，还接收从物体区域估计单元901输出的物体区域信息。模板匹配单元2202能够通过利用只在参照图像中的物体区域中的模板图像执行模板匹配来估计参照图像中的差异区域。由于模板匹配单元2202移动参照图像中的模板图像的范围受限制，所以模板匹配单元2202与其中模板图像被移动的范围是整个参照图像的模板匹配单元2201相比能够执行高速的处理。

如上所述，在本发明的第六示例性实施例中，差异区域估计单元22通过利用参照图像和指示在差异区域周围被看到的图像图案的模板图像来估计参照图像中的差异区域。与第二至第五示例性实施例一样，根据本发明的第六示例性实施例的物体识别设备Z6不要求参照图像中的差异区域被预先注册到数据库中。当差异区域中常见的图像图案被预先给定时，物体识别设备Z6能够通过利用该图像图案作为模板图像来估计差异区域。例如，当只有特定邮件要从信封相同而只有收件人名字不同的多个邮件图像中被识别出来时，收件人名字被描述的区域能够被限定为其中诸如邮编、地址和收件人名字之类的字符串的布局被稍微固定的图像图案。鉴于这个原因，物体识别设备Z6在这样的情况下是有效的。即使差异区域为整个物体和差异区域为物体的一部分，根据本发明的第六示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第三至第五示例性实施例一样，在物体区域被首先估计以使得背景的影响被消除之后，在其中差异区域估计单元22的配置为图35的情况下，差异区域能够被再次估计。因此，物体识别设备Z6能够高准确度地估计差异区域，并且因此，物体识别设备Z6在图18和图19的情况中特别有效。

(第七示例性实施例)

本发明的第七示例性实施例将参考附图被描述。

图36是示出了根据本发明的第七示例性实施例的物体识别设备的配置的框图。如图36中所示，根据第七示例性实施例的物体识别设备Z7包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元23和差异区域特征量提取单元18。如上所述，根据第七示例性实施例的物体识别设备Z7具有根据第二示例性实施例的物体识别设备Z2和根据第六示例性实施例的物体识别设备Z6混合的配置。当物体识别设备Z7与根据第二示例性实施例的物体识别设备Z2比较时，物体识别设备Z7的不同在于差异区域估计单元17被差异区域估计单元23替换。差异区域估计单元23的细节将在后面被描述。其它组成元件与第二示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图37、图38和图39是示出了差异区域估计单元23的配置示例的框图。每个图都将在下文中被描述。

如图37中所示，差异区域估计单元23能够由错误对应特征点集中度搜索单元2103和模板匹配单元2301构成。图37的错误对应特征点集中度搜索单元2103与作为图31中所示的差异区域估计单元21的组成元件的错误对应特征点集中度搜索单元2103相同，并且关于该单元的详细说明被省略。图37的模板匹配单元2301与作为图35中所示的差异区域估计单元22的组合成元件的模板匹配单元2202类似，但图37的模板匹配单元2301的不同在于图37的模板匹配单元2301接收差异候选区域信息而不是物体区域信息。更具体来说，图37的模板匹配单元2301通过在参照图像中只针对错误对应特征点集中度搜索单元2103所估计的差异候选区域利用模板图像执行模板匹配来估计参照图像中的差异区域。模板匹配单元2301还通过利用模板匹配来从错误对应特征点集中度搜索单元2103所估计的差异候选区域中缩窄差异区域，以使得模板匹配单元2301输出高可靠性的差异区域信息。

如图38中所示，差异区域估计单元23能够还由模板匹配单元2302和错误对应特征点集中度搜索单元2102构成。图38的模板匹配单元2302与作为图34中所示的差异区域估计单元22的组成元件的模板匹配单元2201基本相同，但图38的模板匹配单元2302的不同在于图38的模板匹配单元2302输出差异候选区域信息而不是差异区域信息。从模板匹配单元2302输出的差异候选区域信息可以与从模板匹配单元2201输出的差异区域信息相同，或者可以是被理解为稍大于差异区域信息的区域的区域信息。图38的错误对应特征点集中度搜索单元2102与作为图30中所示的差异区域估计单元21的组成元件的错误对应特征点集中度搜索单元2102相同，并且关于该单元的详细说明被省略。更具体而言，图38的错误对应特征点集中度搜索单元2102只专注于对应特征点中在参照图像中由模板匹配单元2302所估计的差异候选区域内部的点，并搜索其中错误对应特征点集中的区域，估计差异区域。错误对应特征点集中度搜索单元2102从模板匹配单元2302所估计的差异候选区域中进一步缩窄差异区域，以使得错误对应特征点集中度搜索单元2102输出高可靠性的差异区域信息。

如图39中所示，差异区域估计单元23能够还由错误对应特征点集中度搜索单元2103、模板匹配单元2302和差异候选区域重叠检测单元2106构成。图39的错误对应特征点集中度搜索单元2103与作为图31中所示的差异区域估计单元21的组成元件的错误对应特征点集中度搜索单元2103相同，并且关于该单元的详细说明被省略。图39的模板匹配单元2302与作为图38中所示的差异区域估计单元23的组成元件的模板匹配单元2302相同，并且关于该单元的详细说明被省略。差异候选区域重叠检测单元2106与作为图32中所示的差异区域估计单元21的组成元件的差异候选区域重叠检测单元2106相同，并且关于该单元的详细说明被省略。在图39的配置中，差异候选区域重叠检测单元2106输出关于被错误对应特征点集中度搜索单元2103和模板匹配单元2302两者确定为差异候选区域的区域的信息，以使得差异候选区域重叠检测单元2106输出高可靠性的差异区域信息。

如上所述，在本发明的第七示例性实施例中，差异区域估计单元23利用参照图像、模板图像和对应特征点信息来估计参照图像中的差异区域。与第二至第六示例性实施例一样，根据本发明的第七示例性实施例的物体识别设备Z7不要求参照图像中的差异区域被预先注册到数据库中。与第六示例性实施例一样，当差异区域中常见的图像图案被预先给定时，物体识别设备Z7能够通过利用该图像图案作为模板图像来估计差异区域。例如，当只有特定邮件要从信封相同而只有收件人名字不同的多个邮件图像中被识别出来时，收件人名字被描述的区域能够被限定为其中诸如邮编、地址和收件人名字之类的字符串的布局被稍微固定的图像图案。鉴于这个原因，物体识别设备Z7在这样的情况下是有效的。即使差异区域为整个物体和差异区域为物体的一部分，根据本发明的第六示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第五示例性实施例一样，与第二示例性实施例等相比，更高可靠性的差异区域能够被获得，并且因此，高准确性的识别可以被实现。应当注意上文中所描述的本发明的第七示例性实施例是其中根据第二示例性实施例的物体识别设备Z2与根据第六示例性实施例的物体识别设备Z6被混合的配置的情况。在该情况中，图36的配置也可以被理解为其中根据第三示例性实施例的物体识别设备Z3与根据第六示例性实施例的物体识别设备Z6被混合的配置。更具体来说，当差异区域估计单元23具有图37、图38或图39中所示的配置时，物体区域估计单元可以被添加在错误对应特征点集中度搜索单元2103和模板匹配单元2302之前。在该配置中，差异区域在消除背景的影响之后根据物体区域被估计，并且因此，这个配置在图18和图19的情况中特别有效。

(第八示例性实施例)

本发明的第八示例性实施例将参考附图被描述。

图40是示出了根据本发明的第八示例性实施例的物体识别设备的配置的框图。如图40中所示，根据第八示例性实施例的物体识别设备Z8包括局部特征量提取单元11、局部特征量匹配单元12、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元24和差异区域特征量提取单元18。如上所述，根据第八示例性实施例的物体识别设备Z8具有根据第四示例性实施例的物体识别设备和根据第六示例性实施例的物体识别设备混合的配置。当物体识别设备Z8与根据第四示例性实施例的物体识别设备Z4比较时，物体识别设备Z8的不同在于差异区域估计单元20被差异区域估计单元24替换。差异区域估计单元24的细节将在后面被描述。其它组成元件与第二示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图41、图42和图43是示出了差异区域估计单元24的配置示例的框图。每个图都将在下文中被描述。

如图41中所示，差异区域估计单元24能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101和模板匹配单元2301构成。图41的变换图像生成单元2001、差分图像生成单元差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图41的大差异区域检测单元2101与作为图30中所示的差异区域估计单元21的组成元件的大差异区域检测单元2101相同，并且关于该单元的详细说明被省略。图41的模板匹配单元2301与作为图37中所示的差异区域估计单元23的组成元件的模板匹配单元2301相同，并且关于该单元的详细说明被省略。更具体来说，图41的模板匹配单元2301通过在参照图像中只针对大差异区域检测单元2101所估计的差异候选区域利用模板图像执行模板匹配来估计参照图像中的差异区域。模板匹配单元2301还从大差异区域检测单元2101所估计的差异候选区域中缩窄差异区域，以使得模板匹配单元2301输出高可靠性的差异区域信息。

如图42中所示，差异区域估计单元24能够还由变换图像生成单元2001、模板匹配单元2302、差分图像生成单元2104和大差异区域检测单元2105构成。图42的变换图像生成单元2001与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001相同，并且关于该单元的详细说明被省略。图42的模板匹配单元2302与作为图38中所示的差异区域估计单元23的组成元件的模板匹配单元2302相同，并且关于该单元的详细说明被省略。图42的差分图像生成单元2104和大差异区域检测单元2105分别与作为图31中所示的差异区域估计单元21的组成元件的差分图像生成单元2104和大差异区域检测单元2105相同，并且关于它们的详细说明被省略。大差异区域检测单元2105还从模板匹配单元2302所估计的差异候选区域中进一步缩窄差异区域，以使得大差异区域检测单元2105输出高可靠性的差异区域信息。

如图43中所示，差异区域估计单元24能够还由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101、模板匹配单元2302和差异候选区域重叠检测单元2106构成。图43的变换图像生成单元2001、差分图像生成单元差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图43的大差异区域检测单元2101与作为图30中所示的差异区域估计单元21的组成元件的大差异区域检测单元2101相同，并且关于该单元的详细说明被省略。图43的模板匹配单元2302与作为图38中所示的差异区域估计单元23的组成元件的模板匹配单元2302相同，并且关于该单元的详细说明被省略。图43的差异候选区域重叠检测单元2106与作为图32中所示的差异区域估计单元21的组成元件的差异候选区域重叠检测单元2106相同，并且关于该单元的详细说明被省略。在图43的配置中，差异候选区域重叠检测单元2106输出关于被大差异区域检测单元2101和模板匹配单元2302两者确定为差异候选区域的区域的信息，以使得差异候选区域重叠检测单元2106输出高可靠性差异区域信息。

如上所述，在本发明的第八示例性实施例中，物体识别设备Z8利用输入图像、参照图像、几何变换信息和模板图像来估计关于参照图像中的差异区域的信息。与第二至第七示例性实施例一样，根据本发明的第八示例性实施例的物体识别设备Z8不要求参照图像中的差异区域被预先注册到数据库中。与第六和第七示例性实施例一样，当差异区域中常见的图像图案被预先给定时，物体识别设备Z8能够通过利用该图像图案作为模板图像来估计差异区域。例如，当只有特定邮件要从信封相同而只有收件人名字不同的多个邮件图像中被识别出来时，收件人名字被描述的区域能够被限定为其中诸如邮编、地址和收件人名字之类的字符串的布局被稍微固定的图像图案。鉴于这个原因，物体识别设备Z8在这样的情况下是有效的。即使差异区域为整个物体和差异区域为物体的一部分，根据本发明的第八示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第五和第七示例性实施例一样，与第二示例性实施例等相比，更高可靠性的差异区域能够被获得，并且因此，高准确性的识别能够被实现。在本发明的第八示例性实施例中，当差异区域估计单元24具有图42或图43中所示的配置时，物体区域估计单元可以被添加在模板匹配单元2302之前。在该配置中，差异区域在消除背景的影响之后根据物体区域被估计，并且因此，这个配置在图18和图19的情况中特别有效。

(第九示例性实施例)

本发明的第九示例性实施例将参考附图被描述。

图44是示出了根据本发明的第九示例性实施例的物体识别设备的配置的框图。如图44中所示，根据第九示例性实施例的物体识别设备Z9包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域估计单元25和差异区域特征量提取单元18。如上所述，根据第九示例性实施例的物体识别设备Z9具有根据第五示例性实施例的物体识别设备Z5和根据第六示例性实施例的物体识别设备Z6混合的配置。当物体识别设备Z9与根据第五示例性实施例的物体识别设备Z5比较时，物体识别设备Z9的不同在于差异区域估计单元21被差异区域估计单元25替换。差异区域估计单元25的细节将在后面被描述。其它组成元件与第五示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

差异区域估计单元25能够被配置为其中差异区域只由如图22中所示的错误对应特征点集中度搜索单元701估计的配置、其中差异区域由如图27中所示的变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003和大差异区域检测单元2004估计的配置以及其中差异区域只由如图34中所示的模板匹配单元2201估计的配置的组合。就其中差异区域被估计的这三个配置而言，在任意给定配置首先被用于估计差异候选区域并且之后另一配置被用于进一步缩窄差异候选区域的情况下，差异区域在其中分别被估计的这三个配置可以按任意给定顺序来配置。就差异区域在其中分别被估计的这三个配置而言，每个配置可以被用于估计差异候选区域，并且这些配置所估计的差异候选区域的重叠区域可以被输出作为最终的差异区域。就差异区域在其中分别被估计的这三个配置而言，任意给定配置首先被用于估计差异候选区域，并且之后余下的两个配置被用于从差异候选区域缩窄差异候选区域，并且这两个配置所估计的差异候选区域的重叠区域可以被输出作为最终的差异区域。就差异区域在其中分别被估计的这三个配置而言，两个配置可以首先被用于估计差异候选区域，并且余下的一个配置被用于从所述两个配置所估计的差异候选区域的重叠区域缩窄差异候选区域，并且缩窄后的区域可以被输出作为最终的差异区域。

图45和图46是示出了差异区域估计单元25的配置示例的框图。每个图都将在下文中被描述。

如图45中所示，差异区域估计单元25能够由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101、模板匹配单元2501和错误对应特征点集中度搜索单元2102构成。图45的变换图像生成单元2001、差分图像生成单元差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图45的大差异区域检测单元2101与图30的大差异区域检测单元2101相同，并且关于该单元的详细说明被省略。图45的模板匹配单元2501与作为图37中所示的差异区域估计单元23的组成元件的模板匹配单元2301基本相同，但图45的模板匹配单元2501的不同在于图45的模板匹配单元2501输出差异候选区域信息而不是差异区域信息。图45的错误对应特征点集中度搜索单元2102与作为图30中所示的差异区域估计单元21的组成元件的错误对应特征点集中度搜索单元2102相同，并且关于该单元的详细说明被省略。更具体来说，图45的错误对应特征点集中度搜索单元2102只专注于对应特征点中在参照图像中由模板匹配单元2501所估计的差异候选区域内部的点，并搜索其中错误对应特征点集中的区域，从而估计差异区域。然后，模板匹配单元2501还通过只针对参照图像中由大差异区域检测单元2101估计的差异候选区域利用模板图像执行模板匹配来估计参照图像中的差异区域候选者。差异区域被错误对应特征点集中度搜索单元2102从错误对应特征点集中度搜索单元2102、大差异区域检测单元2101和模板匹配单元2501所估计的差异候选区域中进一步缩窄，以使得高可靠性的差异区域信息被输出。

如图46中所示，差异区域估计单元25能够还由变换图像生成单元2001、差分图像生成单元2002、物体区域估计单元2003、大差异区域检测单元2101、模板匹配单元2302、错误对应特征点集中度搜索单元2103和差异候选区域重叠检测单元2502构成。

图46的变换图像生成单元2001、差分图像生成单元差分图像生成单元2002和物体区域估计单元2003与作为图27中所示的差异区域估计单元20的组成元件的变换图像生成单元2001、差分图像生成单元2002和物体区域估计单元2003相同，并且关于它们的详细说明被省略。图46的大差异区域检测单元2101与作为图30中所示的差异区域估计单元21的组成元件的大差异区域检测单元2101相同，并且关于该单元的详细说明被省略。图46的模板匹配单元2302与作为图38中所示的差异区域估计单元23的组成元件的模板匹配单元2302相同，并且关于该单元的详细说明被省略。图46的错误对应特征点集中度搜索单元2103与作为图31中所示的差异区域估计单元21的组成元件的错误对应特征点集中度搜索单元2103相同，并且关于该单元的详细说明被省略。图46的差异候选区域重叠检测单元2502与作为图32中所示的差异区域估计单元21的组成元件的差异候选区域重叠检测单元2106相似。然而，差异候选区域重叠检测单元2502的不同在于差异候选区域重叠检测单元2502接收从大差异区域检测单元2101、模板匹配单元2302和错误对应特征点集中度搜索单元2103输出的三条差异候选区域信息，并确定三个差异候选区域之间重叠的区域为差异区域，并输出差异区域信息。差异候选区域重叠检测单元2502输出关于被大差异区域检测单元2101、模板匹配单元2302和错误对应特征点集中度搜索单元2103都确定为差异候选区域的区域的信息，并输出高可靠性的差异区域信息。

应当注意差异区域估计单元25可以按不同于图45和图46的方式被配置。例如，针对首先被错误对应特征点集中度搜索单元2103估计的差异候选区域，模板匹配单元2501可以随后进一步缩窄差异候选区域，并且最后，变换图像生成单元2001、差分图像生成单元2104和大差异区域检测单元2105的组合可以最终估计差异区域信息。利用错误对应特征点集中度搜索对差异候选区域的估计、利用模板匹配对差异候选区域的估计以及利用大差异区域检测对差异候选区域的估计的处理顺序可以按不同于上述配置的示例的顺序。

如上所述，在本发明的第九示例性实施例中，差异区域估计单元25利用输入图像、参照图像、几何变换信息、对应特征点信息和模板图像来估计关于参照图像中的差异区域的信息。与第二至第八示例性实施例一样，根据本发明的第九示例性实施例的物体识别设备Z9不要求参照图像中的差异区域被预先注册到数据库中。与第六至第八示例性实施例一样，当差异区域中常见的图像图案被预先给定时，物体识别设备Z9能够通过利用该图像图案作为模板图像来估计差异区域。例如，当只有特定邮件要从信封相同而只有收件人名字不同的多个邮件图像中被识别出来时，收件人名字被描述的区域能够被限定为其中诸如邮编、地址和收件人名字之类的字符串的布局被稍微固定的图像图案。鉴于这个原因，物体识别设备Z9在这样的情况下是有效的。即使差异区域为整个物体和差异区域为物体的一部分，根据本发明的第九示例性实施例所执行的对参照图像中的差异区域的估计也是可能的，并且与第五、第七和第八示例性实施例一样，与第二示例性实施例等相比，更高可靠性的差异区域能够被获得，并且因此，高准确性的识别能够被实现。在本发明的第九示例性实施例中，例如，当差异区域估计单元25具有图46中所示的配置时，物体区域估计单元可以被添加在模板匹配单元2302和错误对应特征点集中度搜索单元2103之前。在该配置中，差异区域在消除背景的影响之后根据物体区域被估计，并且因此，这个配置在图18和图19的情况中特别有效。

(第十示例性实施例)

本发明的第十示例性实施例将参考附图被描述。

图47是示出了根据本发明的第十示例性实施例的物体识别设备的配置的框图。如图47中所示，根据第九示例性实施例的物体识别设备Z10能够由局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元26和特征量匹配单元27构成。如上所述，根据第十示例性实施例的物体识别设备Z10的不同在于根据第一示例性实施例的输入图像差异区域特征量提取单元14和特征量匹配单元15被输入图像差异区域特征量提取单元26和特征量匹配单元27替换。输入图像差异区域特征量提取单元26和特征量匹配单元27的细节将在后面被描述。其它组成元件与第一示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图48和图49是示出了输入图像差异区域特征量提取单元26的配置示例的框图。每个图都将在下文中被描述。

如图48中所示，输入图像差异区域特征量提取单元26能够由差异区域信息修正单元401和差异区域局部特征量提取单元2602构成。图48的差异区域信息修正单元401与作为图5中所示的输入图像差异区域特征量提取单元14的组成元件的差异区域信息修正单元401相同，并且关于该单元的详细说明被省略。差异区域局部特征量提取单元2602接收从差异区域信息修正单元401输出的经修正的差异区域信息和局部特征量1，并提取特征量1，所述局部特征量1是局部特征量提取单元11从输出图像提取的局部特征量。差异区域局部特征量提取单元2602基于作为描述局部特征量1的基础的特征点的坐标信息搜索存在于输入图像的经修正的差异区域内部的特征点，并且将描述作为局部特征量的特征点周围的信息的特征量输出作为特征量1。更具体来说，这里所输出的特征量1是通过剪除局部特征量1的一部分而生成的特征量。在本发明的第十示例性实施例中，与特征量1一样，通过特征量匹配单元27与特征量1匹配的特征量2是通过剪除作为从参照图像提取的局部特征量的局部特征量2的一部分而生成的特征量。

如图49中所示，输入图像差异区域特征量提取单元26能够还由差异区域局部特征量提取单元2601构成。图49的差异区域局部特征量提取单元2601与作为图48中所示的输入图像差异区域特征量提取单元26的组成元件的差异区域局部特征量提取单元2602基本相同，但图49的差异区域局部特征量提取单元2601的不同在于图49的差异区域局部特征量提取单元2601接收输入图像差异区域信息而不是接收经修正的差异区域信息，所述输入图像差异区域信息是关于修正前的输入图像的差异区域的信息。

图50是示出了特征量匹配单元27的配置的示例的框图。这个图将在下文中被描述。如图50中所示，特征量匹配单元27能够由对应特征点确定单元201、错误对应点去除单元2701、识别分数计算单元203和阈值确定单元2702构成。图50的对应特征点确定单元201和识别分数计算单元203与作为图4中所示的局部特征量匹配单元12的组成元件的对应特征点确定单元201和识别分数计算单元203相同，并且关于它们的详细说明被省略。图50的错误对应点去除单元2701与作为图4中所示的局部特征量匹配单元12的组成元件的错误对应点去除单元202基本相同，但图50的错误对应点去除单元2701的不同在于图50的错误对应点去除单元2701不输出几何变换信息，而只输出对应特征点信息。图50的阈值确定单元2702与作为图4中所示的局部特征量匹配单元12的组成元件的阈值确定单元204基本相同，但图50的阈值确定单元2702的不同在于图50的阈值确定单元2702输出差异区域识别图像ID而不输出局部特征识别图像ID。

与第一至第九示例性实施例不同，本发明的第十示例性实施例利用通过剪除局部特征量的一部分而生成的特征量来识别差异区域。鉴于这个原因，在第十示例性实施例中，当特征量被输入图像差异区域特征量提取单元生成时，输入图像差异区域特征量提取单元可以接收从输入图像提取的局部特征量，并且不需要输入图像本身。因此，在物体识别设备Z10被配置为其中只有对局部特征量的提取由客户端侧执行而其它处理由服务器侧执行的服务器客户端***的情况下，只有比输入图像浅的局部特征量可以被传送到服务器侧。因此，物体识别设备Z10能够减少到识别结果被获得的处理时间。根据本发明的第十示例性实施例的特征量匹配单元执行与局部特征量匹配单元基本相同的处理，但能够执行仅仅与差异区域的匹配以排除从差异区域以外的区域检测到的特征点的对应关系的影响。与利用从整个图像提取的所有局部特征量的传统方法相比，根据本发明的第十示例性实施例的特征量匹配单元能够辨认物体中的差别，并且因此能够实现高准确度的识别。上文中按顺序被描述为本发明的第十示例性实施例的配置的示例的图47是基于第一示例性实施例的配置。同样，图47可以基于第二至第九示例性实施例以及下面所描述的第十三和第十四示例性实施例中的每个示例性实施例而被配置。更具体来说，物体识别设备Z10可以按这样的方式被配置以使得代替输入图像，局部特征量1可以被输入到第二至第九、第十三和第十四示例性实施例的配置示例中的每个配置示例中的输入图像差异区域特征量提取单元14中。

(第十一示例性实施例)

本发明的第十一示例性实施例将参考附图被描述。图51是示出了根据本发明的第十一示例性实施例的物体识别设备的配置的框图。如图51中所示，根据第十一示例性实施例的物体识别设备Z11包括局部特征量提取单元11、局部特征量匹配单元12、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元28和特征量匹配单元29。如上所述，根据第十一示例性实施例的物体识别设备Z11的不同在于根据第一示例性实施例的物体识别设备Z1的输入图像差异区域特征量提取单元14和特征量匹配单元15被输入图像差异区域特征量提取单元28和特征量匹配单元29替换。输入图像差异区域特征量提取单元28和特征量匹配单元29的细节将在后面被描述。其它组成元件与第一示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图52是示出了输入图像差异区域特征量提取单元28的配置的示例的框图。该图将在下文中被描述。如图52中所示，输入图像差异区域特征量提取单元28能够由差异区域信息修正单元401、经修正的差异区域图像生成单元402、差异区域特征量计算单元403和差异区域图像生成单元404构成。图52的差异区域信息修正单元401、经修正的差异区域图像生成单元402和差异区域特征量计算单元403与作为图5中所示的输入图像差异区域特征量提取单元14的组成元件的差异区域信息修正单元401、经修正的差异区域图像生成单元402、差异区域特征量计算单元403相同，并且关于它们的详细说明被省略。图52的差异区域图像生成单元404与作为图6中所示的输入图像差异区域特征量提取单元14的组成元件的差异区域图像生成单元404相同，并且关于该单元的详细说明被省略。更具体来说，输入图像差异区域特征量提取单元28具有图5和图6的配置的组合，并且从被修正的输入图像的差异区域中提取特征量1a，并且从未被修正的输入图像的差异区域中提取特征量1b。

图53和图54是示出了特征量匹配单元29的示例的框图。每个图将在下文中被描述。

如图53中所示，特征量匹配单元29能够由差异区域标识分数识别分数识别分数计算单元2901、阈值确定单元2902、差异区域标识分数识别分数识别分数计算单元2903和阈值确定单元502构成。图53的差异区域标识分数识别分数识别分数计算单元2901与作为图14中所示的特征量匹配单元15的组成元件的差异区域标识分数识别分数识别分数计算单元501相同，并且关于该单元的详细说明被省略。图53的阈值确定单元2902与作为图14中所示的特征量匹配单元15的组成元件的阈值确定单元502基本相同，但图53的阈值确定单元2902的不同在于在其中图像被确定为与阈值确定的结果不相同的情况下，图53的阈值确定单元2902输出针对这些图像的重新确定命令。图53的差异区域标识分数识别分数识别分数计算单元2903与作为图14中所示的特征量匹配单元15的组成元件的差异区域标识分数识别分数识别分数计算单元501基本相同，但图53的差异区域标识分数识别分数识别分数计算单元2903的不同在于图53的差异区域标识分数识别分数识别分数计算单元2903不仅接收两个特征量还接收来自阈值确定单元2902的重新确定命令。差异区域标识分数识别分数识别分数计算单元2903针对重新确定命令被给予的图像再次计算差异区域标识分数识别分数。图53的阈值确定单元502与作为图14中所示的特征量匹配单元15的组成元件的阈值确定单元502相同，并且关于该单元的详细说明被省略。更具体来说，在特征量匹配单元29在图53的配置中的情况下，以下处理被执行。首先，差异区域标识分数识别分数计算单元2901利用从未被修正的输入图像的差异区域提取的特征量1b和从参照图像的差异区域提取的特征量来计算标识分数识别分数。然后，阈值确定单元2902确定同一性。对于在该阶段被确定为相同的参照图像，阈值确定单元2902输出参照图像的ID作为差异区域识别图像ID。另一方面，对于在该阶段被确定为不同的参照图像，差异区域标识分数识别分数计算单元2903利用从被修正的输入图像的差异区域提取的特征量1a和从参照图像的差异区域提取的特征量再次计算标识分数识别分数。然后，阈值确定单元502确定同一性。当图像被确定为相同时，阈值确定单元502输出参照图像的ID作为差异区域识别图像ID。图53的阈值确定单元2902和阈值确定单元502可以利用相同阈值来执行确定，或者用于阈值确定单元2902的阈值可以没有阈值确定单元502的阈值严格。

如图54中所示，特征量匹配单元29能够还由差异区域识别分数识别分数计算单元2901、差异区域识别分数识别分数计算单元2904和阈值确定单元2905构成。图54的差异区域识别分数识别分数计算单元2901和差异区域识别分数识别分数计算单元2904与作为图14中所示的特征量匹配单元15的组成元件的差异区域识别分数识别分数计算单元501相同，并且关于该单元的详细说明被省略。图54的阈值确定单元2905与作为图14中所示的特征量匹配单元15的组成元件的阈值确定单元502相似，但图54的阈值确定单元2905的不同在于图54的阈值确定单元2905接收两个差异区域识别分数识别分数。阈值确定单元2905将从差异区域识别分数识别分数计算单元2901和差异区域识别分数识别分数计算单元2904输出的差异区域识别分数识别分数组合，并对组合后的差异区域标识分数识别分数执行与阈值确定单元502的处理相同的处理。用于组合差异区域标识分数识别分数的方法可以是例如计算从差异区域标识分数识别分数计算单元2901和差异区域标识分数识别分数计算单元2904输出的差异区域标识分数识别分数的乘积，或者可以是计算这些分数的总和，或者可以选择这两个差异区域标识分数识别分数中较大的一个。更具体来说，特征量匹配单元29并行地执行特征量1a(第一特征量)与从参照图像的差异区域提取的特征量(第三特征量)的匹配以及特征量1b(第二特征量)与第三特征量的匹配，并且输出通过综合这两次匹配结果而得到的结果。

与第一示例性实施例一样，本发明的第十一示例性实施例具有关于被预先注册到数据库的差异区域的信息。作为参照图像中的被注册差异区域、输入图像中利用几何变换信息和差异区域信息确定的差异区域以及通过进一步修正输入图像中的差异区域而得到的区域，其中存在差别的最低限度的必要区域能够从参照图像和输入图像中被提取。因此，即使差异区域为整个物体以及差异区域仅仅是物体的一部分，根据本发明的第十一示例性实施例的物体识别设备Z11能够准确地识别图像中所示的物体，并且能够减少作为仅仅传统局部特征量被使用时出现的问题的识别误差。此外，与其中识别仅仅利用从输入图像的未被修正的差异区域和输入图像的被修正的差异区域中的任意一个区域提取的特征量被实现的第一示例性实施例相比，根据本发明的第十一示例性实施例的物体识别设备Z11利用从输入图像的未被修正的差异区域提取的特征量和输入图像的被修正的差异区域提取的特征量一起执行识别，使得物体识别设备Z11能够以更准确的方式执行识别。应当注意上文中按顺序被描述为本发明的第十一示例性实施例的配置的示例的图51是基于第一示例性实施例的配置。同样，图51可以基于第二至第十示例性实施例以及下面所描述的第十三和第十四示例性实施例中的每个示例性实施例而被配置。

(第十二示例性实施例)

本发明的第十二示例性实施例将参考附图被描述。

图55是示出了根据本发明的第十二示例性实施例的物体识别设备的配置的框图。如图55中所示，根据第十二示例性实施例的物体识别设备Z12能够由局部特征量提取单元11、局部特征量匹配单元30、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元31和识别分数综合确定单元32。如上所述，根据第十二示例性实施例的物体识别设备Z12的不同在于根据第一示例性实施例的物体识别设备Z1的局部特征量匹配单元12和特征量匹配单元15被局部特征量匹配单元30和特征量匹配单元31替换，并且识别分数综合确定单元32作为新的组成元件而被添加。局部特征量匹配单元30、特征量匹配单元31和32的细节将在后面被描述。其它组成元件与第一示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

图56是示出了局部特征量匹配单元30的配置的示例的框图。这个图将在下文中被描述。如图56中所示，局部特征量匹配单元30能够由对应特征点确定单元201、错误对应点去除单元202、识别分数计算单元203和阈值确定单元3001构成。图56的对应特征点确定单元201、错误对应点去除单元202和识别分数计算单元203与作为图4中所示的局部特征量匹配单元12的组成元件的对应特征点确定单元201、错误对应点去除单元202和识别分数计算单元203相同，并且关于它们的详细说明被省略。图56的阈值确定单元3001与作为图4中所示的局部特征量匹配单元12的组成元件的阈值确定单元204基本相同，但图56的阈值确定单元3001的不同在于图56的阈值确定单元3001不仅输出局部特征识别图像ID还输出针对从与局部特征识别图像ID相对应的参照图像或者与之相关的参照图像组中提取的局部特征的识别分数。阈值确定单元3001所设置的阈值被设置得没有阈值确定单元204所设置的阈值严格，使得很多局部特征识别图像ID和很多识别分数被输出。

图57是示出了特征量匹配单元31的配置的示例的框图。这个图将在下文中被描述。如图57中所示，特征量匹配单元31能够由差异区域识别分数计算单元501和阈值确定单元3101构成。图57的差异区域识别分数计算单元501与作为图14中所示的特征量匹配单元15的组成元件的差异区域识别分数计算单元501相同，并且关于该单元的详细说明被省略。图57的阈值确定单元3101与作为图14中所示的特征量匹配单元15的组成元件的阈值确定单元502基本相同，但图57的阈值确定单元3101的不同在于图57的阈值确定单元3101不仅输出差异区域识别图像ID还输出针对从与局部特征识别图像ID相对应的参照图像或者与之相关的参照图像组中提取的局部特征的识别分数。阈值确定单元3101所设置的阈值被设置得没有阈值确定单元502所设置的阈值严格，使得很多局部特征识别图像ID和很多识别分数被输出。

图58是示出了识别分数综合确定单元32的配置的示例的框图。这个图将在下文中被描述。如图58中所示，识别分数综合确定单元32能够由识别分数综合单元3201和阈值确定单元3202构成。识别分数综合单元3201接收从局部特征量匹配单元30输出的识别分数以及从特征量匹配单元31输出的差异区域识别分数，并且输出综合分数。此时，识别分数综合确定单元32可以例如得出与相同的图像ID相对应的识别分数和差异区域识别分数的乘积，并且可以输出该乘积的值作为综合分数。图58的阈值确定单元3202与作为图4中所示的局部特征量匹配单元12的组成元件的阈值确定单元204以及作为图14中所示的特征量匹配单元15的组成元件的阈值确定单元502基本相同，但图58的阈值确定单元3202的不同在于图58的阈值确定单元3202接收从识别分数综合单元3201输出的综合分数，并且输出其综合分数的值等于或大于阈值的图像的图像ID作为识别图像ID。

与第一至第十一示例性实施例不同，根据本发明的第十二示例性实施例的物体识别设备Z12不是只利用差异区域识别分数确定最终的识别结果，而是根据通过将它们与基于局部特征量的识别分数综合而得到的分数来确定最终的识别结果。例如，在显示相同物体的图像在恶劣环境(例如黑暗环境)中被捕获并且另一类似物体在理想环境中被捕获的情况下，以及在类似物体不仅在纹理方面而且在色调方面都类似的情况下，不可能只利用从差异区域提取的特征量来执行正确的识别。然而，当与基于局部特征量的识别结果组合时，针对相同物体的识别结果能够相对被增强。应当注意在上文中按顺序被描述为本发明的第十二示例性实施例的配置的示例的图55是基于第一示例性实施例的配置。同样，图55可以基于第二至第十一示例性实施例以及下面所描述的第十三和第十四示例性实施例中的每个示例性实施例而被配置。更具体而言，物体识别设备Z12能够被配置以使得局部特征量匹配单元输出识别分数并且特征量匹配单元输出差异区域识别分数，并且识别分数和差异区域识别分数被输入到在第二至第十一示例性实施例以及第十三和第十四示例性实施例的配置示例中的每个配置示例中。

(第十三示例性实施例)

本发明的第十三示例性实施例将参考附图被描述。

图61是示出了根据本发明的第十三示例性实施例的物体识别设备的配置的示例的框图。如图61中所示，根据第十三示例性实施例的物体识别设备Z13包括局部特征量提取单元11、局部特征量匹配单元12、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域特征量提取单元18和差异区域估计单元33。参照图像DB是能够存储多个参照图像的数据库。

如上所述，根据第十三示例性实施例的物体识别设备Z13的不同在于根据第四示例性实施例的物体识别设备Z4的差异区域估计单元20被差异区域估计单元33替换。其它组成元件与第四示例性实施例的那些元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

差异区域估计单元33每次比较两个参照图像，以使得差异区域估计单元33估计参照图像中的差异区域。更具体来说，差异区域估计单元33执行以下处理。首先，差异区域估计单元33分别从两个参照图像中提取局部特征量。随后，差异区域估计单元33利用通过匹配这些局部特征量计算出的几何变换信息来调节两个参照图像的位置。随后，差异区域估计单元33得到位置被调节的两个参照图像的差别。然后，差异区域估计单元33基于该差别估计差异区域，以使得差异区域估计单元33输出与两个参照图像相对应的差异区域信息。差异区域估计单元33可以针对从被存储在参照图像DB中的参照图像中选出的两个参照图像的每个组合来输出差异区域信息。例如，在其中参照图像DB存储五个参照图像(即参照图像A、B、C、D和E)的情况下，差异区域估计单元33可以输出十类差异区域信息，与从五个参照图像中选出两个参照图像的组合的数目一样多。

在估计差异区域的处理中，差异区域估计单元33可以分别从两个参照图像中提取局部特征量，并匹配局部特征量，以使得差异区域估计单元33计算对应特征点。由于计算出的对应特征点指示其中两个参照图像为一致(相同区域)的区域，所以差异区域估计单元33可以估计排除外接对应特征点的区域的区域，以使得该区域被确定为每个参照图像中的差异区域，并且可以输出该区域作为差异区域信息。

与根据图输入图像差异区域特征量提取单元14的第一示例性实施例的特征量匹配单元15一样，根据第十三示例性实施例的特征量匹配单元15能够由差异区域识别分数计算单元501和阈值确定单元502构成。随后，根据第十三示例性实施例的特征量匹配单元15所执行的处理将被描述。特征量匹配单元15可以对差异区域估计单元33所输出的差异区域信息执行根据下面的竞赛(tournament)方法的处理。首先，在与任意两个参照图像相对应的差异区域信息中，特征量匹配单元15对从输入图像的差异区域提取的特征量和从两个参照图像的差异区域中的每个差异区域提取的特征量进行匹配，并计算差异区域识别分数。然后，特征量匹配单元15选择具有较高差异区域识别分数的参照图像，并对与被选择的参照图像和未被处理的另一参照图像相对应的差异区域信息重复相同的处理。这个处理被执行，直到所有参照图像被处理完为止。然后，特征量匹配单元15确定最终被选择的参照图像为与输入图像显示相同物体的图像，并且输出参照图像的ID作为差异区域识别图像ID。

根据以上的竞赛方法的特定处理的示例将被描述。参照图像DB被假设为存储五个参照图像，即参照图像A、B、C、D和E。首先，在与参照图像A和参照图像B相对应的差异区域中，特征量匹配单元15根据输入图像的特征量以及参照图像A和参照图像B中的每个参照图像的特征量计算差异区域识别分数。在该情况中，在其中参照图像A具有高于参照图像B的差异区域识别分数的差异区域识别分数的情况下，特征量匹配单元15在与参照图像A和作为后继参照图像的参照图像C相对应的差异区域中根据参照图像A和参照图像C的特征量计算输入图像的特征量和差异区域识别分数。在其中参照图像C具有高于参照图像A的差异区域识别分数的差异区域识别分数的情况下，特征量匹配单元15在与参照图像C和作为后继参照图像的参照图像D相对应的差异区域中执行相同的处理。其中参照图像D具有高于参照图像C的差异区域识别分数的差异区域识别分数的情况下，特征量匹配单元15在与参照图像D和作为后继参照图像的参照图像E相对应的差异区域中执行相同的处理。其中参照图像D具有高于参照图像E的差异区域识别分数的差异区域识别分数的情况下，所有参照图像都被处理，并且因此，特征量匹配单元15确定参照图像D是与输入图像显示相同物体的图像。然后，特征量匹配单元15输出参照图像D的ID作为差异区域识别图像ID。

备选地，特征量匹配单元15可以不必输出在竞赛方法的处理过程中被最终选择的参照图像。例如，特征量匹配单元15可以确定最终所选择的参照图像的利用最终所选择的参照图像和另一参照图像的组合计算出的差异区域识别分数的平均值或最小值是否等于或大于阈值，以使得特征量匹配单元15可以最终确定是否输出。

备选地，与上述竞赛方法的处理不同的处理可以被执行。例如，在参照图像的所有组合中，特征量匹配单元15对从输入图像的差异区域提取的特征量和从两个参照图像的差异区域中的每个差异区域提取的特征量进行匹配，并计算每个参照图像的差异区域识别分数。然后，代替按替代方式选择参照图像中的一个，特征量匹配单元15选择其差异区域识别分数等于或大于预设阈值的所有参照图像。备选地，特征量匹配单元15可以选择其差异区域识别分数等于或大于预设阈值并且其差异区域识别分数与其它参照图像的差异区域识别分数的差别等于或大于预设值的所有参照图像。然后，特征量匹配单元15可以确定这样被选择的参照图像是与输入图像显示相同物体的图像，并且可以输出参照图像的ID作为差异区域识别图像ID。

备选地，以下处理可以被执行。特征量匹配单元15保存在参照图像的每个组合中计算出的差异区域识别分数。在差异区域识别分数针对参照图像的所有组合被计算的时刻，特征量匹配单元15计算针对每个参照图像的差异区域识别分数的平均值，并且采用计算出的值作为每个参照图像的最终差异区域识别分数。特征量匹配单元15可以基于最终差异区域识别分数输出差异区域识别图像ID。

在估计差异区域的处理中，差异区域估计单元33可以估计其中两个参照图像中颜色不相似的区域以使得该区域被确定为差异区域。例如，这个处理按如下方式被执行。首先，差异区域估计单元33改变两个参照图像的尺寸以使两个参照图像的尺寸相同。随后，差异区域估计单元33计算与两个参照图像相对应的像素的颜色的相似度。随后，差异区域估计单元33估计其中颜色不相似的区域以使得该区域被确定为差异区域，并且输出该区域为差异区域信息。在比较参照图像时被检测为其中颜色不相似的区域的区域中，特征量匹配单元15执行参照图像与尺寸被改变为与参照图像相同图像尺寸的输入图像之间的匹配处理。在该方法被使用的情况下，当参照图像或者参照图像和输入图像的颜色的相似度被计算时，不仅对应像素中的而且周围像素中的相似颜色可以被搜索。作为计算颜色相似度的方法，例如，一种计算要被比较的像素的R(红色)、G(绿色)和B(蓝色)中的每个颜色的亮度值的差别的平方和的方法可以被使用。备选地，可以利用如下方法：在利用R、G和B的亮度值的总和对R、G和B的亮度值中的每个亮度值进行归一化之后计算要被比较的像素中的归一化值的差别的平方和。

在估计差异区域的处理中，差异区域估计单元33可以估计其中在两个参照图像中不是颜色而是边缘组分不相似的区域以使得该区域被确定为差异区域。更具体来说，在尺寸已被改变为相同图像尺寸的两个参照图像中，差异区域估计单元33从参照图像中提取边缘组分，并计算所提取的边缘组分的相似度。随后，差异区域估计单元33估计其中边缘组分不相似的区域以使得该区域被确定为差异区域，并且输出该区域为差异区域信息。在参照图像之间比较时被检测为其中边缘组分不相似的区域的区域中，特征量匹配单元15执行输入图像与参照图像之间的匹配处理。

类似的处理可以通过利用颜色和边缘之外的特征量而被执行。

如上所述，根据本发明的第十三示例性实施例的物体标识设备Z13不像第二至第十二示例性实施例中做的那样通过动态比较输入图像和参照图像来估计差异区域，相反，根据本发明的第十三示例性实施例的物体识别设备Z13通过预先比较参照图像来估计差异区域。利用预先估计的差异区域，根据本发明的第十三示例性实施例的物体识别设备Z13与第二至第十二示例性实施例相比能够在更短的时间内获得识别结果。

(第十四示例性实施例)

本发明的第十四示例性实施例将参考附图被描述。

图62是示出了根据本发明的第十四示例性实施例的物体识别设备的配置的示例的框图。如图62中所示，根据第十四示例性实施例的物体识别设备Z14包括局部特征量提取单元11、局部特征量匹配单元16、输入图像差异区域确定单元13、输入图像差异区域特征量提取单元14、特征量匹配单元15、差异区域特征量提取单元18和差异区域估计单元34。

如上所述，根据第十四示例性实施例的物体识别设备Z14的不同在于根据第十三示例性实施例的物体识别识别Z13的局部特征量匹配单元12和差异区域估计单元33被局部特征量匹配单元16和差异区域估计单元34替换。其它组成元件与第十三示例性实施例的那些组成元件相同。这些组成元件用相同的标号来表示，并且关于它们的详细说明被省略。

与根据第十三示例性实施例的差异区域估计单元33一样，差异区域估计单元34每次比较两个参照图像，以使得差异区域估计单元34估计参照图像中的差异区域。差异区域估计单元34与第十三示例性实施例的不同在于在估计差异区域的处理中，差异区域估计单元34利用从局部特征量匹配单元16输出的对应特征点信息和两个参照图像的对应特征点信息(下文中被称为“参照图像对应特征点信息”)。

更具体来说，差异区域估计单元34执行以下处理。首先，差异区域估计单元34分别从两个参照图像中提取局部特征量。随后，差异区域估计单元34匹配两个参照图像的局部特征量，从而计算参照图像对应特征点信息。随后，差异区域估计单元34从局部特征量匹配单元16所输出的对应特征点信息中排除与计算出的参照图像对应特征点信息匹配的对应特征点信息。随后，差异区域估计单元34在两个参照图像中选出具有更多余下未被排除的对应特征点信息的参照图像，并且在所选择的参照图像中，差异区域估计单元34输出外接余下的对应特征点的区域作为与两个参照图像相对应的差异区域信息。

备选地，代替关于外接对应特征点的区域的信息，差异区域估计单元34可以输出通过从对应特征点信息中排除与参照图像对应特征点信息匹配的对应特征点信息所获得的对应特征点信息本身作为差异区域信息。在该情况中，输入图像差异区域特征量提取单元14所使用的特征量为局部特征量。

在匹配处理中，与第十三示例性实施例一样，每次比较两个图像。

与根据第十三示例性实施例的差异区域估计单元33一样，差异区域估计单元34所使用的通过每次比较两个参照图像来估计参照图像中的差异区域的方法可以是采用其中颜色和边缘组分不相似的区域作为差异区域的方法。在该方法中，差异区域估计单元34可以另外利用输入图像和参照图像的对应特征点信息来执行处理。例如，差异区域估计单元34可以在其中附近存在对应特征点的区域中设置计算出的颜色和边缘的相似度的高可靠度，并且可以在其中附近没有对应特征点的区域中设置计算出的颜色和边缘的相似度的低可靠度。应当注意“高可靠度”指计算出的相似度被估计为较高(例如较大的系数被相乘)，并且“低可靠度”指计算出的相似度被估计为较低(例如较小的系数被相乘)。

如上所述，在预先对差异区域的估计处理中，根据本发明的第十四示例性实施例的物体识别设备Z14不仅执行参照图像之间的比较处理，还执行基于输入图像和参照图像的对应特征点信息的处理。因此，物体识别设备Z14与第十三示例性实施例相比还能执行更高准确度的识别。

图59是示出了构成计算机的元件的示例的配置框图。图59的计算机9000包括CPU(中央处理单元)9010、RAM(随机访问存储器)9020、ROM(只读存储器)9030、硬盘驱动器9040和通信接口9050。可拆除存储介质9060被可拆除地附接到计算机9000。可拆除存储介质9060可以是可拆除的磁盘介质、光盘介质、存储卡等。

上述物体识别设备Z1、Z1’、Z2至Z14可以通过使计算机9000的CPU 9010执行程序而被实现。更具体来说，这些组成元件可以例如通过以下方式被实现，所述方式为使CPU 9010从ROM 9030、硬盘驱动9040或可拆除存储介质9060读取程序，并且使CPU 9010执行根据如图2中所示的流程图的过程执行所读出的程序。在这样的情况中，利用以上的示例性实施例作为示例描述的本发明可以被理解为通过表述这样的计算机程序的代码或者存储表达计算机程序的代码的计算机可读存储介质(例如，硬盘驱动9040、可拆除存储介质9060等)被配置。

备选地，这些组成元件可以利用专用硬件来实现。物体识别设备Z1、Z1’、Z2至Z14可以是具有其组成元件的专用硬件。

本申请的发明在上文中参考示例性实施例被描述，但是本申请的发明不局限于上面的示例性实施例。本申请的发明的结构和细节可以在本申请的发明的范围内按本领域技术人员可以理解的各种方式被改变。

本申请要求基于2012年12月28日递交的日本专利申请No.2012-288397的优先权，并且该日本专利申请的公开通过引用被合并于此。

上面的示例性实施例的一部分或全部可以按以下的补充说明被描述，但是应当理解本发明不局限于下面所描述的。

(补充说明1)一种物体识别设备的特征在于包括：

局部特征量匹配单元，该局部特征量匹配单元计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；

输入图像差异区域确定单元，该输入图像差异区域确定单元基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；

输入图像差异区域特征量提取单元，该输入图像差异区域特征量提取单元修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及

特征量匹配单元，该特征量匹配单元将由输入图像差异区域特征量提取单元提取的特征量与从参照图像中的差异区域中提取的特征量进行匹配，并且输出匹配结果。

(补充说明2)根据补充说明1的物体识别设备，其中输入图像差异区域特征量提取单元将输入图像的差异区域修正为被放大了预设像素的区域，并且从输入图像的经修正的差异区域中提取特征量。

(补充说明3)根据补充说明1的物体识别设备，其中输入图像差异区域特征量提取单元将输入图像的差异区域修正为通过基于差异区域中的参照点而被放大了预设比率的区域，并且从输入图像的经修正的差异区域中提取特征量。

(补充说明4)根据补充说明1的物体识别设备，其中在存在其中边缘集中在输入图像的差异区域中的端部处的区域的情况下，输入图像差异区域特征量提取单元将输入图像的差异区域修正为在边缘集中的方向上被放大的区域，并且从输入图像的经修正的差异区域中提取特征量。

(补充说明5)根据补充说明1的物体识别设备，还包括：差异区域估计单元，该差异区域估计单元每次比较两个参照图像，并且将其中被比较的参照图像之间存在差别的区域计算为参照图像中的差异区域。

(补充说明6)根据补充说明5的物体识别设备，其中

局部特征量匹配单元输出几何变换信息和对应特征点信息，该对应特征点信息包括指示正确对应的特征点和错误对应的特征点的信息，并且

差异区域估计单元基于从局部特征量匹配单元输出的对应特征点信息来计算参照图像中的差异区域。

(补充说明7)根据补充说明1至6中的任一个补充说明的物体识别设备，其中

输入图像差异区域特征量提取单元输出第一特征量和第二特征量，所述第一特征量是从由输入图像差异区域确定单元所确定的输入图像中的差异区域中提取的特征量，所述第二特征量是由输入图像差异区域特征量提取单元提取的特征量，并且

特征量匹配单元将第一特征量与从参照图像中的差异区域中提取的特征量进行匹配，并且在确定不存在同一性的情况下，特征量匹配单元将第二特征量与从参照图像中的差异区域中提取的特征量进行匹配，并且输出匹配的结果。

(补充说明8)根据补充说明7的物体识别设备，其中特征量匹配单元并行地执行对第一特征量和从参照图像中的差异区域中提取的特征量的匹配、以及对第二特征量和从参照图像中的差异区域中提取的特征量的匹配，并且将通过综合所述两个匹配的结果而获得的结果输出作为匹配结果。

(补充说明9)一种物体识别方法，包括：

局部特征量匹配步骤，该步骤计算用于从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；

输入图像差异区域确定步骤，该步骤基于关于通过匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；

输入图像差异区域特征量提取步骤，该步骤修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及

特征量匹配步骤，该步骤将从输入图像的差异区域中提取的特征量与从参照图像的差异区域中提取的特征量进行匹配，并且输出匹配结果。

(补充说明10)一种程序，用于使得计算机用作：

局部特征量匹配单元，该单元计算用于从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从参照图像中提取的局部特征量与从输入图像中提取的局部特征量进行匹配；

输入图像差异区域确定单元，该输入图像差异区域确定单元基于关于通过所述匹配而被确定为一致的输入图像的几何变换信息来对参照图像中的差异区域进行变换，并且确定与参照图像中的差异区域相对应的输入图像中的差异区域；

输入图像差异区域特征量提取单元，该输入图像差异区域特征量提取单元修正输入图像中的差异区域，并且从输入图像的经修正的差异区域中提取特征量；以及

特征量匹配单元，该特征量匹配单元将输入图像差异区域特征量提取单元而提取的特征量与从参照图像中的差异区域中提取的特征量进行匹配，并且输出匹配结果。

工业适用性

通过只利用局部特征量的传统物体识别，难以执行对相同品牌而仅仅在包装的颜色或一些字符方面不同的产品的准确识别，并且难以执行对信封相同而仅仅收件人名字不同的邮件的准确识别。根据本发明，通过仅仅执行基于传统局部特征量的匹配不能被识别的小差别能够被识别，并且只有显示相同物体的图像能够被识别。本发明能够被应用于无条码POS(销售点)***、检查***、邮件自动分类***等。

标号列表

Z1、Z1’、Z2、Z3、Z4、Z5、Z6、Z7、Z8、Z9、Z10、Z11、Z12、Z13、Z14 物体识别设备

11 局部特征量提取单元

12 局部特征量匹配单元

13 输入图像差异区域确定单元

14 输入图像差异区域特征量提取单元

15 特征量匹配单元

16 局部特征量匹配单元

17 差异区域估计单元

18 差异区域特征量提取单元

19 差异区域估计单元

20 差异区域估计单元

21 差异区域估计单元

22 差异区域估计单元

23 差异区域估计单元

24 差异区域估计单元

25 差异区域估计单元

26 输入图像差异区域特征量提取单元

27 特征量匹配单元

28 输入图像差异区域特征量提取单元

29 特征量匹配单元

30 局部特征量匹配单元

31 特征量匹配单元

32 识别分数综合确定单元

33 差异区域估计单元

34 差异区域估计单元

10 亮度信息提取单元

102 局部特征点检测单元

103 局部特征量生成单元

201 对应特征点确定单元

202 错误对应点去除单元

203 识别分数计算单元

204 阈值确定单元

401 差异区域信息修正单元

402 经修正的差异区域图像生成单元

403 差异区域特征量计算单元

404 差异区域图像生成单元

501 差异区域识别分数计算单元

502 阈值确定单元

701 错误对应特征点集中度搜索单元

801 差异区域图像生成单元

901 物体区域估计单元

902 错误对应特征点集中度搜索单元

2001 变换图像生成单元

2002 差分图像生成单元

2003 物体区域估计单元

2004 大差异区域检测单元

2101 大差异区域检测单元

2102 错误对应特征点集中度搜索单元

2103 错误对应特征点集中度搜索单元

2104 差分图像生成单元

2105 大差异区域检测单元

2106 差异候选区域重叠检测单元

2201 模板匹配单元

2202 模板匹配单元

2301 模板匹配单元

2302 模板匹配单元

2501 模板匹配单元

2502 差异候选区域重叠检测单元

2601 差异区域局部特征量提取单元

2602 差异区域局部特征量提取单元

2701 错误对应点去除单元

2702 阈值确定单元

2901 差异区域识别分数计算单元

2902 阈值确定单元

2903 差异区域识别分数计算单元

2904 差异区域识别分数计算单元

2905 阈值确定单元

3001 阈值确定单元

3101 阈值确定单元

3201 识别分数综合单元

3202 阈值确定单元

9000 计算机

9010 CPU

9020 RAM

9030 ROM

9040 硬盘驱动器

9050 通信接口

9060 可拆除存储介质

40301 颜色配置比率特征量计算单元

40302 颜色布置特征量计算单元

40303 字符匹配特征量计算单元

40304 二值化处理单元

40305 字符区域检测单元

40306 字符匹配特征量计算单元

40307 图像值提取单元

40308 形状特征量计算单元

Claims (10)

1.一种物体识别设备，包括：

局部特征量匹配装置，所述局部特征量匹配装置用于计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从所述参照图像中提取的局部特征量与从所述输入图像中提取的局部特征量进行匹配；

输入图像差异区域确定装置，所述输入图像差异区域确定装置用于基于关于通过所述匹配而被确定为一致的所述输入图像的所述几何变换信息来对所述参照图像中的所述差异区域进行变换，并且确定与所述参照图像中的所述差异区域相对应的所述输入图像中的差异区域；

输入图像差异区域特征量提取装置，所述输入图像差异区域特征量提取装置用于修正所述输入图像中的差异区域，并且从所述输入图像的经修正的所述差异区域中提取特征量；以及

特征量匹配装置，所述特征量匹配装置用于将由所述输入图像差异区域特征量提取单元提取的特征量与从所述参照图像的所述差异区域中提取的特征量进行匹配，并且输出匹配结果。

2.根据权利要求1所述的物体识别设备，其中

所述输入图像差异区域特征量提取装置将所述输入图像的所述差异区域修正为被放大了预设像素的区域，并且从所述输入图像的经修正的所述差异区域中提取特征量。

3.根据权利要求1所述的物体识别设备，其中

所述输入图像差异区域特征量提取装置将所述输入图像的所述差异区域修正为基于所述差异区域中的参照点而被放大了预设比率的区域，并且从所述输入图像的经修正的所述差异区域中提取特征量。

4.根据权利要求1所述的物体识别设备，其中

在存在其中边缘集中在所述输入图像的所述差异区域中的端部处的区域的情况下，所述输入图像差异区域特征量提取装置将所述输入图像的所述差异区域修正为在所述边缘集中的方向上被放大的区域，并且从所述输入图像的经修正的所述差异区域中提取特征量。

5.根据权利要求1所述的物体识别设备，还包括：

差异区域估计装置，所述差异区域估计装置用于每次比较两个参照图像，并且将其中被比较的参照图像之间存在差异的区域计算为所述参照图像中的所述差异区域。

6.根据权利要求5所述的物体识别设备，其中

所述局部特征量匹配装置输出几何变换信息和对应特征点信息，所述对应特征点信息包括指示正确对应的特征点和错误对应的特征点的信息，并且

所述差异区域估计装置基于从所述局部特征量匹配装置输出的对应特征点信息来计算所述参照图像中的所述差异区域。

7.根据权利要求1至6中任一项所述的物体识别设备，其中

所述输入图像差异区域特征量提取装置输出第一特征量和第二特征量，所述第一特征量是从由所述输入图像差异区域确定装置确定的所述输入图像中的差异区域中提取的特征量，所述第二特征量是由所述输入图像差异区域特征量提取装置提取的特征量，并且

所述特征量匹配装置将所述第一特征量与从所述参照图像中的所述差异区域中提取的特征量进行匹配，并且在确定不存在同一性的情况下，所述特征量匹配装置将所述第二特征量与从所述参照图像中的所述差异区域中提取的所述特征量进行匹配，并且输出所述匹配的结果。

8.根据权利要求7所述的物体识别设备，其中

所述特征量匹配装置并行地执行对所述第一特征量和从所述参照图像中的所述差异区域中提取的所述特征量的匹配、以及对所述第二特征量和从所述参照图像中的所述差异区域中提取的所述特征量的匹配，并且将通过综合两个所述匹配的结果而获得的结果输出作为匹配结果。

9.一种物体识别方法，包括：

计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从所述参照图像中提取的局部特征量与从所述输入图像中提取的局部特征量进行匹配；

基于关于通过所述匹配而被确定为一致的所述输入图像的所述几何变换信息来对所述参照图像中的所述差异区域进行变换，并且确定与所述参照图像中的所述差异区域相对应的所述输入图像中的差异区域；

修正所述输入图像中的差异区域，并且从所述输入图像的经修正的所述差异区域中提取特征量；并且

将从所述输入图像的所述差异区域中提取的特征量与从所述参照图像的所述差异区域中提取的特征量进行匹配，并且输出匹配结果。

10.一种存储计算机程序的计算机可读存储介质，所述计算机程序使得计算机执行：

局部特征量匹配处理，所述局部特征量匹配处理计算用以从参照图像中的坐标到输入图像中的对应坐标的变换的几何变换信息，并且将从所述参照图像中提取的局部特征量与从所述输入图像中提取的局部特征量进行匹配；

输入图像差异区域确定处理，所述输入图像差异区域确定处理基于关于通过所述匹配而被确定为一致的所述输入图像的所述几何变换信息来对所述参照图像中的所述差异区域进行变换，并且确定与所述参照图像中的经变换的所述差异区域相对应的所述输入图像中的差异区域；

输入图像差异区域特征量提取处理，所述输入图像差异区域特征量提取处理修正所述输入图像中的差异区域，并且从所述输入图像的经修正的所述差异区域中提取特征量；以及

特征量匹配处理，所述特征量匹配处理将通过所述输入图像差异区域特征量提取处理而提取的特征量与从所述参照图像的所述差异区域中提取的特征量进行匹配，并且输出匹配结果。