CN1871622A - 图像比较***和图像比较方法 - Google Patents

图像比较***和图像比较方法 Download PDF

Info

Publication number
CN1871622A
CN1871622A CNA2004800308445A CN200480030844A CN1871622A CN 1871622 A CN1871622 A CN 1871622A CN A2004800308445 A CNA2004800308445 A CN A2004800308445A CN 200480030844 A CN200480030844 A CN 200480030844A CN 1871622 A CN1871622 A CN 1871622A
Authority
CN
China
Prior art keywords
image
benchmark image
dimensional
dimensional data
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800308445A
Other languages
English (en)
Other versions
CN1871622B (zh
Inventor
滨中雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1871622A publication Critical patent/CN1871622A/zh
Application granted granted Critical
Publication of CN1871622B publication Critical patent/CN1871622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

提供了：三维数据输入装置(10)，用于输入对象的三维数据；基准图像存储装置(30)，用于存储至少一个对象的基准图像；姿态候选决定装置(20)，用于产生作为对象姿态的候选的姿态候选；比较图像产生装置(40)，用于根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像；以及图像比较装置(55)，用于根据基准图像和比较图像之间的距离值或相似度来执行比较。这使得即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，即使在不能够预先获得对象的三维对象模型时，或者即使在仅存在一个或很少几个基准图像时，也能够以较高精度执行比较和搜索。

Description

图像比较***和图像比较方法
技术领域
本发明涉及一种图像比较***、图像比较方法和图像比较程序，更具体地，涉及一种图像比较***、图像比较方法和图像比较程序，即使在不能够预先寄存对象的三维模型，在***的数据库中或者在网络上仅存在每个对象的一个或很少几个基准图像，并且这些基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也能够进行高精度的比较和搜索。
背景技术
图25是示出了传统的图像比较***的方框图。该传统的图像比较***包括图像输入装置115、图像转换装置117、图像比较装置157、基准图像存储单元130以及标准三维对象模型存储单元135。
通过感知对象的图像而获得的基准图像被预先存储在基准图像存储单元130中。标准三维对象模型被预先存储在标准三维对象模型存储单元135中。图像转换装置117通过使用从标准三维对象模型存储单元135获得的三维对象模型，转换来自图像输入装置115的输入图像和从基准图像存储单元130获得的每一个基准图像中的一个或两者，以产生局部图像，使得相对于输入图像和基准图像的共同的局部图像，姿态条件相同。
局部区域是诸如眼、鼻或口之类的特征部分。可以通过预先在图像和三维对象模型中指定特征点，使局部区域彼此相关联。图像比较装置157将输入图像的局部图像与图像转换装置117所转换的每一个基准图像相比较，计算平均相似度，并且针对每一个对象选择具有最大相似度的基准图像(例如，日本专利公开No.2000-322577(专利参考1))。
图26是示出了另一个传统的图像比较***的方框图。该传统图像比较***包括图像输入装置115、照明变化校正装置122、图像转换装置118、图像比较装置158、基准图像存储单元130以及标准三维对象模型存储单元135。
通过感知对象的图像而获得的基准图像被预先存储在基准图像存储单元130中。标准三维对象模型被预先存储在标准三维对象模型存储单元135中。照明变化校正装置122通过使用从标准三维对象模型存储单元135获得的三维对象模型，估计来自图像输入装置115的输入图像的照明条件(表面反射率)。图像转换装置118通过使用三维对象模型，转换输入图像，产生图像，以便满足基准图像的照明条件。图像比较装置158将图像转换装置118所转换的输入图像与各个基准图像相比较，计算相似度，并且针对每一个对象选择具有最大相似度的基准图像(日本专利公开No.2002-024830(专利参考2))。
图27是示出了另一个传统的图像比较***的方框图。该传统的图像比较***包括图像输入装置115、基准三维对象模型存储单元137以及姿态估计/比较装置150。姿态估计/比较装置150包括姿态候选决定装置120、比较图像产生装置140以及图像比较装置155。
通过测量对象而产生的基准三维对象模型被预先存储在基准三维对象模型存储单元137中。姿态估计比较装置150计算从图像输入装置115获得的输入图像和从基准三维对象模型存储单元137获得的每一个基准三维对象模型之间的最短距离值(或者最高相似度)，并且选择具有最小的最短距离值的模型。
更具体地，姿态候选决定装置120产生至少一个姿态候选。然后，比较图像产生装置140根据姿态候选，在将基准三维对象模型投影到二维图像上时，产生接近于输入图像的比较图像。图像比较装置155计算比较图像和输入图像之间的距离值，并且针对每一个模型选择具有最小距离值的比较图像，从而估计出最佳姿态并且获得输入图像和基准三维对象模型之间的最短距离值。此外，图像比较装置155选择具有最小的最短距离值的模型(例如，日本专利公开No.2003-058896(专利参考3))。
发明内容
本发明要解决的问题
如果输入图像和基准图像的姿态或照明条件不同，专利参考1和2的图像比较***不能够以足够高的精度执行比较。
原因如下。在专利参考1中，通过估计每一个图像的姿态来匹配姿态条件，从而执行图像转换。然而，难以精确地估计图像的姿态，因此不能够正确地匹配图像。此外，使用与要观察的对象的三维形状不同的标准三维对象模型来执行图像转换。因此，如果形状复杂或者姿态条件有很大不同，图像转换的失真将增加。
在专利参考2中，通过使用与要观察的对象的三维形状不同的标准三维对象模型，估计照明条件，来执行图像转换。因此，尽管校正大致精确，有时在精细部分会出现校正误差。
此外，如果没有预先寄存每一个对象的三维对象模型或者基准图像的数目较少，专利参考3的***不能够执行比较。
原因如下。在专利参考3的技术中，预先寄存三维对象模型并且与输入图像相比较。此外，为了预先寄存三维对象模型，必须在比较之前由三维形状测量设备测量每一个对象。然而，在多种情况下难以执行该测量。还可以从多个图像中产生三维对象模型，然而如果基准图像的数目较少，难以产生三维对象模型。
解决问题的手段
考虑到以上情况，做出本发明，并且本发明的目的是即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以进行高精度的比较和搜索。
本发明的另一个目的是即使在不能够预先获得每一个对象的三维对象模型时，也可以进行高精度的比较和搜索。
本发明的另一个目的是即使在每一个对象仅具有一个或几个基准图像时，也可以进行高精度的比较和搜索。
为了实现以上目的，根据本发明的图像比较***的特征在于包括：输入装置，用于输入对象的三维数据；基准图像存储装置，用于存储至少一个对象的基准图像；姿态候选产生装置，用于产生姿态候选作为对象姿态的候选；比较图像产生装置，用于根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及图像比较装置，用于根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
根据本发明的图像比较方法的特征在于包括步骤：输入对象的三维数据；产生姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
根据本发明的图像比较程序的特征在于使计算机执行以下过程：输入对象的三维数据；产生姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一，来执行比较。
本发明的效果
本发明的第一效果在于，即使在每一个对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也能够以高精度执行比较和搜索。这是因为测量了对象的三维数据，产生与感知诸如每一个基准图像的姿态和照明之类的条件的图像相匹配的比较图像，并且通过将比较图像与基准图像相比较，执行比较。
第二效果在于，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或几个基准图像时，也能够以高精度执行比较和搜索。这是因为由于测量了对象的三维数据，产生与现有基准图像相匹配的比较图像，并且通过将比较图像与基准图像相比较来执行比较。
附图说明
图1是示出了根据本发明的图像比较***的第一实施例的设置的方框图；
图2是示出了第一实施例的图像比较装置的设置的方框图；
图3是示出了第一实施例中的1∶1比较的操作的流程图；
图4是示出了第一实施例中的1∶N比较的操作的流程图；
图5是示出了第一实施例中的基准图像的实际示例的视图；
图6是示出了第一实施例中的三维数据的实际示例的视图；
图7是示出了第一实施例中的比较图像的实际示例的视图；
图8是示出了本发明第二实施例的设置的方框图；
图9是示出了第二实施例中的1∶N操作的流程图；
图10是示出了本发明第三实施例的设置的方框图；
图11是示出了第三实施例的图像比较装置的设置的方框图；
图12是示出了第三实施例中的1∶N比较的操作的流程图；
图13是示出了第三实施例中的标准三维基准点的实际示例的视图；
图14是示出了第三实施例中的标准三维加权系数的实际示例的视图；
图15是示出了第三实施例中的基准加权系数的实际示例的视图；
图16是示出了第三实施例中的输入三维基准点的实际示例的视图；
图17是示出了第三实施例中的二维加权系数的实际示例的视图；
图18是示出了本发明第四实施例的设置的方框图；
图19是示出了第四实施例的操作的流程图；
图20是示出了第四实施例的操作的流程图；
图21是示出了第四实施例中的代表性三维对象模型的实际示例的视图；
图22是示出了本发明第五实施例的设置的方框图；
图23是示出了第五实施例的操作的流程图；
图24是示出了第五实施例中的代表性图像的实际示例的视图；
图25是示出了传统的图像比较***的方框图；
图26是示出了另一个传统的图像比较***的方框图；以及
图27是示出了另一个传统的图像比较***的方框图。
具体实施方式
下面将参考附图来详细描述本发明的实施例。
(第一实施例)
图1是示出了根据本发明的图像比较***的第一实施例的设置的方框图。在图1中，参考数字10表示用于输入三维数据的三维数据输入装置；30表示基准图像存储单元；以及50表示姿态估计/比较装置。姿态估计/比较装置50包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些装置的操作的概述如下。首先，通过感知至少一个对象的图像而获得的基准图像被预先存储在基准图像存储单元30中。并不局限于诸如基准图像的姿态和照明之类的图像感知条件。此外，可以将基准图像存储单元30并入***或者通过网络与***相连。
三维数据输入装置10输入要比较的对象(或者要搜索的对象)的三维数据。可以通过使用例如在日本专利公开No.2001-12925中描述的三维形状测量设备，或者在日本专利公开No.9-91436中描述的从由大量摄像机捕获的多个图像中恢复三维形状的设备，来产生三维数据。
姿态估计/比较装置50计算由三维数据输入装置10输入的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)。更具体地，姿态候选决定装置20产生姿态候选，作为至少一个对象的姿态的候选(由对象的位置和方向表示对象的姿态)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。
图像比较装置55包括图2所示的计算器55a、选择器55b以及比较器55c。图像比较装置55在计算器55a中计算比较图像和基准图像之间的距离值，并且在选择器55b中选择相对于基准图像具有最小距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，比较器55c将最短距离值与阈值相比较，以确定两个对象是否相同。即，如果最短距离值等于或小于阈值，比较器55c确定两个对象相同；否则，比较器55c确定两个对象是不同的。此外，在从多个对象中搜索最接近于输入三维数据的一个对象(基准图像)的处理(1∶N比较)中，比较器55c选择具有最小的最短距离值的基准图像。注意，当要通过使用比较图像和基准图像之间的相似度来执行确定时，如果相似度等于或大于阈值，则确定两个对象相同，否则，确定两个对象不同。
下面参考图1以及图3所示的流程图，详细解释本实施例的1∶1比较的整体操作。在该解释中，将描述输入三维数据与基准图像Rk的比较。
参考图3，三维数据输入装置10输入三维数据(步骤100)。然后，姿态候选决定装置20决定姿态候选组{ej}(步骤110)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像(步骤120)。图像比较装置55计算比较图像和基准图像之间的距离值(步骤130)。此外，图像比较装置55选择具有最小距离值的比较图像，从而估计出最佳姿态并且获得三维值和基准图像Rk之间的最短距离值(步骤140)。
尽管在以上描述中从预定姿态候选组中选出了具有最小距离值的姿态候选，还可以回到姿态候选决定装置20，在顺序改变姿态候选时搜索具有最小距离值的候选姿态。然后，姿态估计/比较装置50将最短距离值与阈值相比较，以确定两个对象是否相同(步骤155)。
下面参考图1以及图4所示的流程图，详细解释本实施例的1∶N比较的整体操作。参考图4，三维数据输入装置10输入三维数据(步骤100)。然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。其后，在步骤110至140中，执行与图3所示的步骤110至140相同的处理。
随后，姿态估计/比较装置50将图像号k增加1(步骤151)，并且将图像号k与图像数M(基准图像的数目)相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110以执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例来更详细地解释本实施例的操作。尽管通过采用人脸作为比较对象示例来进行解释，本发明当然还适用于其他对象的比较。首先，如图5所示，将对象k的基准图像Rk(r)(r是象素或特征的索引)存储在基准图像存储单元30中。注意，这些图像的姿态条件不一定相同(未示出照明条件之间的不同)。还要注意，在该示例中针对每一个对象存储了一个基准图像，并且还可以针对每一个对象存储多个基准图像。
下面描述1∶N比较的操作。首先，假定从三维数据输入装置10输入图6所示的三维数据(图4中的步骤100)。如图6所示，该三维数据将对象表面上的三维空间(x，y，z)中的形状PQ(x，y，z)以及纹理TQ(R，G，B)作为信息。Q表示对象表面上的点的索引，并且例如与点Q(s，t)的坐标相对应，点Q(s，t)是通过将对象表面上的点从对象质心投影到具有以对象质心为中心的球体上而获得的。为了增加比较的效率，预先由计算机图形在各种照明条件下根据三维数据产生用于学习的CG图像，并且通过分析这些用于学习的CG图像的主分量来获得基本图像组。
然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。尽管可以与基准图像无关地预先设置姿态候选组，还可以手动地或自动地从基准图像和三维数据中提取诸如眼、鼻和口之类的基准点，并且通过使用在日本专利公开No.2001-283229中描述的一种用于计算对象的位置和方向的方法，来估计出大致姿态，从而产生与估计姿态相似的姿态候选组。还可以通过将预先准备的代表性三维数据(模型)与基准图像相比较，预先估计并存储大致姿态，不需要使用任何的输入三维数据。
然后，比较图像产生装置40根据姿态候选ej，在将三维数据投影到二维图像上时，产生与基准图像Rk的照明条件相接近的比较图像Gkj(r)(步骤120)。可以根据每一个姿态候选，通过转换之前获得的基本图像的坐标，并且按照最小平方法计算具有转换坐标的基本图像的线性和的系数，以使线性和接近于输入图像，来产生与基准图像的照明条件相接近的这些比较图像。图7示出了针对基准图像R1而产生的比较图像的示例(未示出灰度级信息)。
随后，图像比较装置55计算比较图像和基准图像之间的距离值(步骤130)。例如，当使用欧几里德距离时，可以按照下式计算距离值：
Dkj＝∑r{Rk(r)-Gkj(r)}2
例如，当使用相似度Skj时，可以按照下式计算相似度Skj：
Skj＝exp(-Dkj)
在这种情况下，姿态估计/比较装置50通过选择具有最小距离值的比较图像，估计出最佳姿态，并且还按照下式计算三维数据和基准图像Rk之间的最短距离值Dk：
最短距离值Dk＝minjDkj
(步骤140)。例如，在图7所示的情况下，选择G11。
然后，使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，以执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。在图6所示的三维数据的情况下，例如，如果基准图像Rk的最短距离值被计算为{20，50，25}，选择图5所示的基准图像R1作为具有最小的最短距离值的基准图像。
注意，在该实施例中计算了比较图像和基准图像之间的距离值，然而还可以使用相似度来代替距离值。作为示例，可以按照上述方法计算相似度。当使用相似度时，输出具有最大的最高相似度的基准图像作为比较结果。
这适用于以下所述的所有实施例。
在本实施例中，测量对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将该三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。
(第二实施例)
图8是示出了本发明第二实施例的方框图。在图8中，与图1所示相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置51以及基准校正系数存储单元65。姿态估计/比较装置51包括姿态候选决定装置20、比较图像产生装置40、图像比较装置55以及分数校正装置60。与图1所示的不同之处在于添加了分数校正装置60和基准校正系数存储单元65。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
将用于校正与基准图像相关的比较分数(距离值或相似度)的系数预先存储在基准校正系数存储单元65中。姿态估计/比较装置51计算从三维数据输入装置10输入的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)，并且还通过使用从基准校正系数存储单元65获得的校正系数，来校正该最短距离值。
更具体地，姿态候选决定装置20产生至少一个姿态候选。比较图像产生装置40根据候选姿态，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。图像比较装置55计算比较图像和基准图像之间的距离值，并且针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值。
分数校正装置60通过使用与基准图像相对应的校正系数，校正最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，分数校正装置60将校正的最短距离值与阈值相比较，以确定两个对象是否相同。此外，在从多个对象中搜索接近于输入三维数据的对象(基准图像)的处理(1∶N比较)中，分数校正装置60选择具有最小的校正最短距离值的基准图像。
下面参考图8以及图9所示的流程图，详细解释本实施例的1∶N比较的整体操作。
参考图9，三维数据输入装置10输入三维数据(步骤100)。然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。此外，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳的姿态并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。
随后，分数校正装置60通过使用与基准图像Rk相对应的校正系数，校正最短距离值(步骤160)。姿态估计/比较装置51使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值，并且通过使用与基准图像相对应的校正系数，校正最短距离值。如果在步骤152中图像号k等于或大于图像数M，输出具有最小的校正最短距离值的基准图像Rk作为比较结果(步骤153)。
在1∶1比较中，按照与第一实施例相同的方式执行步骤100、110、120、130、140和160中的处理，并在其后执行图3所示的步骤155中的处理。在图3所示的步骤155中，如以下所述，通过将距离值与阈值相比较，确定两个对象是否相同。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例中的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将如表1所示的校正系数存储在基准校正系数存储单元65中。例如，通过由第一实施例的图像比较***计算预先准备的每一个代表性三维数据(代表性三维对象模型)Ch(h＝1，...，H)和基准图像Rk之间的最短距离值Dk h，并且计算最短距离值的平均值Ek＝∑hDk h/H(或者具有较小的最短距离值的高阶候选的平均值)，从Ak＝A/Ek(A是预设常数)中得到校正系数Ak。例如，如果A＝20并且各个基准图像的最短距离值的平均值Ek是{50，40，20}，校正系数Ak如表1所示。例如，表1表示基准图像R1是在较差的条件下捕获的并且具有较大的平均距离值。
[表1]
  图像号   校正系数
  1   0.4
  2   0.5
  3   1.0
假定从三维数据输入装置10输入如图6所示的三维数据(图9中的步骤100)。姿态估计/比较装置50最初将基准图像的图像号设置为k＝1(步骤150)。然后，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳姿态并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。
随后，分数校正装置60通过使用与基准图像Rk相对应的校正系数，校正最短距离值(步骤160)。例如，通过使用校正系数Ak，可以按照Dk’＝AkDk来校正最短距离值Dk。姿态估计/比较装置51使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110以执行相同的处理，从而计算出下一个基准图像的最短距离值，并且通过使用与基准图像相对应的校正系数，校正最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的校正最短距离值的基准图像Rk作为比较结果(步骤153)。例如，如果基准图像Rk的最短距离值被计算为{40，60，25}，通过使用表1所示的校正系数而校正的最短距离值是{16，30，25}，因此选择基准图像R1作为具有最小的最短距离值的基准图像。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过校正由基准图像的图像感知条件引起的比较分数波动来执行比较，即使在基准图像的图像感知条件不同时或者存在具有较差图像质量的基准图像时，也可以以高精度执行比较和搜索。
注意，在第二实施例中，存储校正系数Ak，当与校正系数Ak相乘时校正距离值。然而，本发明并不局限于该实施例。例如，还可以存储代表性三维模型Ch和基准图像Rk之间的所有最短距离值Dk h，或者存储假定的分布函数的函数参数。例如，当假定正态分布时，可以存储平均值Ek和标准方差σk，并且按照Dk′＝(Dk-Ek)/σk来执行校正，从而将分布归一化为标准正态分布。
(第三实施例)
图10是示出了本发明第三实施例的方框图。在图10中，与图1相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置52、三维基准点提取装置12、标准三维基准点存储单元72、标准三维加权系数存储单元75以及基准加权系数存储单元77。姿态估计/比较装置52包括姿态候选决定装置20、比较图像产生装置40、图像比较装置56以及输入加权系数转换装置70。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20以及比较图像产生装置40执行与图1所示的第一实施例相同的处理。
与标准对象模型相对应的标准三维基准点被存储在标准三维基准点存储单元72中。标准三维加权系数被存储在标准三维加权系数存储单元75中。与基准图像相对应的加权系数被存储在基准加权系数存储单元77中。
三维基准点提取单元12从自三维数据输入装置10获得的三维数据中手动地或自动地提取三维基准点。
姿态估计/比较装置52通过使用与从输入加权系数转换装置70获得的输入数据相对应的加权系数，或者与从基准加权系数存储单元77获得的基准图像相对应的加权系数，计算从三维数据输入装置10获得的三维数据和从基准图像存储单元获得的基准图像之间的最短距离值(或者最高相似度)。
更具体地，姿态候选决定装置20产生至少一个姿态候选。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。输入加权系数转换装置70通过使用从标准三维基准点存储单元72获得的标准三维基准点和从三维基准点提取装置12获得的三维数据，获得从标准三维加权系数存储单元75获得的标准三维加权系数到从三维数据输入装置10获得的三维数据的坐标对应，并且根据从姿态候选决定装置20获得的姿态候选，将标准三维加权系数转换为二维加权系数。
图像比较装置56包括图11所示的计算器56a、选择器56b以及比较器56c。图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入的三维数据相对应的加权系数，或从基准加权系数存储单元77获得的、与基准图像相对应的加权系数，在计算器56a计算比较图像和基准图像之间的距离值，并且在选择器56b中针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳的姿态并且获得三维数据和基准图像之间的最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，比较器56c将最短距离值与阈值相比较，以确定两个对象是否相同。此外，在从多个对象中搜索最接近于输入三维数据的对象(基准图像)的处理(1∶N比较)中，比较器56c选择具有最小的最短距离值的基准图像。
下面参考图10以及图12所示的流程图，详细解释本实施例的1∶N比较的整体操作。
参考图12，三维数据输入装置10输入三维数据(步骤100)。然后，三维基准点提取装置12手动地或自动地从三维数据中提取三维基准点(步骤170)。姿态估计/比较装置52首先将参考图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。
随后，比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像(步骤120)。输入加权系数转换装置70通过使用标准三维基准点和三维数据的三维基准点，获得标准三维加权系数到三维数据的坐标对应，并且根据姿态候选，将标准三维加权系数转换为二维加权系数(步骤180)。
然后，图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入三维数据相对应的加权系数，或者从基准加权系数存储单元77获得的、并与基准图像相对应的加权系数，计算比较图像和基准图像之间的距离值(步骤131)，并且针对每一个基准图像选择具有最小距离值的比较图像。从而估计出最佳的姿态并且获得三维数据和基准图像之间的最短距离值(步骤140)。此外，姿态估计/比较装置52使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在1∶1比较中，按照与第一实施例相同的方式执行步骤100、170、110、120、180、131以及140中的处理，并在其后执行图3所示步骤155中的处理。在图3的步骤155中，如以下所述，通过将距离值与阈值相比较，确定两个对象是否相同。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将与图13所述的标准三维对象模型相对应的标准三维基准点Ni 0(i是基准点的索引)存储在标准三维基准点存储单元72中。三维基准点是用于调整的点。图13所示的示例表示了五个点，即左眼的中点、右眼的中点、鼻尖、嘴的左角以及嘴的右角。
尽管可以预先手动地设置三维基准点，还可以通过使用例如在Marugame等的“Extraction of Feature Portions from FacialThree-Dimensional Data Using Shape Information and ColorInformation”，2002年九月，FIT(Forum of Information Science&Technology)，2002，I-100，199和200页中描述的面部特征提取方法，自动地设置三维基准点。可以按照预先准备的、用于学***均坐标，或者按照从通过平均用于学习的三维对象模型而形成的标准三维对象模型中获得的三维基准点，计算标准三维基准点。
此外，将图14所示的标准三维加权系数VQ 0存储在标准三维加权系数存储单元75中。在图14所示的示例中，黑色区域具有数值VQ 0＝1，白色区域具有数值VQ 0＝0而阴影区域具有数值0＜VQ 0＜1。可以通过使用预先准备的用于学***均，来计算标准三维加权系数。
可以通过内插法或外推法来确定基准点的对应，可以校准除了基准点之外的点，从而设置三维加权系数的坐标值{s，t}以及标准三维加权系数的坐标值{s0，t0}的变换公式s0＝Hs(s，t)以及t0＝Ht(s，t)。可以通过使用通过在各种条件下感知用于学习的三维对象模型的对象的图像而形成的、用于学习的图像，预先学习用于学习的三维对象模型的三维加权系数。更具体地，通过将用于学习的三维对象模型用作输入三维数据并且将用于学习的图像用作基准图像，第一实施例的图像比较***被用于获得最佳姿态，并且在获得最佳姿态时，计算基准图像与从三维数据中产生的比较图像的象素之间的误差。
加权系数是在比较中表示象素的重要性的量。例如，可以针对具有较小平均误差的象素来增加权重。可以根据比较图像与三维对象模型的对应，通过对三维对象模型上比较图像和基准图像的象素进行平均，计算平均误差，来设置三维加权系数。
此外，将图15所示的与基准图像相对应的加权系数Uk(r)存储在基准加权系数存储单元77中。在图15所示的示例中，黑色区域具有数值Uk(r)＝1，白色区域具有数值Uk(r)＝0，并且阴影区域具有数值0＜Uk(r)＜1。例如通过将除面部区域之外的区域的权重设置为0，或者降低亮度值较大或较小的区域的权重，可以手动地或自动地预先设置与基准图像相对应的加权系数。
假定从三维数据输入装置10输入图6所示的三维数据(图12中步骤100)。三维基准点提取装置12手动地或自动地从三维数据中提取三维基准点(步骤170)。图16示出了从图6所示的三维数据中提取的三维基准点的示例。
然后，姿态估计/比较装置52首先将基准图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像Gkj(r)(步骤120)。图7示出了针对基准图像R1而产生的比较图像的示例。
随后，输入加权系数转换装置70通过使用标准三维基准点和三维数据的三维基准点，获得标准三维加权系数到三维数据的坐标对应，并且根据姿态候选，将标准三维加权系数VQ 0转换为二维加权系数Wkj(r)(步骤180)。图17示出了针对图7所示的比较图像而产生的二维加权系数的示例。
然后，图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入数据相对应的加权系数Wkj(r)，或者从基准加权系数存储单元77获得的、并与基准图像相对应的加权系数Uk(r)，计算比较图像和基准图像之间的距离值Dkj’(步骤131)，并且针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值(步骤140)。
例如，当使用加权的欧几里德距离时，按照下式计算距离值Dkj’
Dkj′＝∑rWkj(r)Uk(r){Rk(r)-Gkj(r)}2
还可以仅使用加权系数Wkj(r)和Uk(r)之一。然后，姿态估计/比较装置52使图像号k增加1(步骤151)，并且将图像号k与图像数M(基准图像的数目)相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在本实施例中，测量对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量了对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。因为通过使用与每一个部分相对应的加权系数来加权比较而执行图像比较，可以进一步增加比较和搜索的精确度。
注意，尽管第三实施例使用一个标准三维加权系数(以及一个标准三维基准点)，还可以使用多个加权系数。在这种情况下，预先存储指示标准三维加权系数与基准图像的对应的信息。此外，通过用于学***均，计算标准三维加权系数。然而，本发明并不局限于该实施例。此外，在姿态估计中，通过使用加权系数来计算加权距离。然而，还可以在姿态估计中不使用任意加权系数地计算距离，并且在获得最佳姿态之后计算加权的距离。
(第四实施例)
图18是示出了本发明第四实施例的方框图。在图18中，与图1相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置53、代表性三维对象模型存储单元36、三维比较装置80、组存储单元85以及基准图像选择单元82。姿态估计/比较装置53包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些状态的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
此外，预先准备的代表性三维对象模型被存储在代表性三维对象模型存储单元36中。代表性三维对象模型和基准图像的相关信息(表示代表性三维对象模型与基准图像的对应的信息)被预先存储在组存储单元85中。
三维比较装置80将从三维数据输入装置10获得的三维数据与从代表性三维对象模型存储单元36获得的每一个代表性三维对象模型相比较，并且选择最相似的代表性三维对象模型。基准图像选择装置82根据从组存储单元85获得的相关信息，选择与三维比较装置80所选择的代表性三维对象模型相对应的基准图像组。
姿态估计/比较装置53计算从三维数据输入装置10获得的三维数据和从基准图像存储单元30获得的每一个基准图像之间的最短距离值(或者最高相似度)，并且选择具有最小的最短距离值的基准图像。此处使用的基准图像是从基准图像选择装置83获得的基准图像组。
下面参考图8以及图19和20中所述的流程图，详细地解释本实施例的整体操作。首先，三维数据输入装置10输入三维数据(图19中步骤100)。然后，三维比较装置80首先将代表性三维对象模型的模型号设置为h＝1(步骤210)。三维比较装置80计算三维数据和每一个代表性三维对象模型Ch之间的相似度Sh(步骤220)。随后，三维比较装置80使模型号h增加1(步骤211)，并且将模型号h与模型数H相比较(步骤212)。如果模型号h等于或小于模型数H，流程返回到步骤210以执行相同的处理，从而计算出下一个代表性三维对象模型的相似度。
如果在步骤212中完成了与所有的代表性三维对象模型的比较，选择具有最大相似度的模型Ch(步骤221)。然后，基准图像选择装置82根据从组存储单元85获得的相关信息，选择与选定的代表性三维对象模型Ch相对应的基准图像组(步骤230)。注意，在图19的步骤230之后继续图20的步骤150。
随后，姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。姿态估计/比较装置53确定在选定的基准图像组L中是否包含基准图像Rk(步骤240)。如果在基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳姿态，并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。然后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理。最后，如果图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将图21所示的代表性三维对象模型Ch存储在代表性三维对象模型存储单元36中。如表2所示，将通过使基准图像与代表性三维对象模型相比较而获得的较好(upper)候选(基准图像)的图像号与这些三维对象模型相关联地存储在组存储单元85中。即，例如，如果当将代表性三维对象模型Ch输入第一实施例的图像比较***时，比较结果如表3所述，通过抛弃具有距离值40或更少的基准图像候选，获得如表2所示的列表。
[表2]
  模型号   基准图像号
  1   2
  2   1，3
[表3]
  模型号   基准图像号:距离值
  1   2:20 1:50 3:60
  2   1:25 3:30 2:70
假定从三维数据输入装置10输入图6所示的三维数据(图19中的步骤100)。三维比较装置80首先将代表性三维对象模型的模型号设置为h＝1(步骤210)。然后，三维比较装置80计算三维数据和每一个代表性三维对象模型Ch之间的相似度Sh(步骤220)。作为用于比较这些三维书面的手段，可以使用诸如在日本专利公开No.4-119475中描述的三维形状识别设备之类的现有技术。
随后，模型号h增加1(步骤211)，并且将模型号h与模型数H相比较(步骤212)。如果模型号h等于或小于模型数H，流程返回到步骤210以执行相同的处理，从而计算出下一个代表性三维对象模型的相似度。如果在步骤212中完成了与所有代表性三维对象模型的比较，选择具有最大的相似度的模型Ch(步骤221)。
例如，如果模型Ch的相似度是{0.7，0.9}，选择模型C2。然后，基准图像选择装置82从自组存储单元85获得的表2所示的列表中，选择与选定的三维对象模型C2相对应的基准图像组{R1，R2}(步骤230)。其后，流程前进到图20所示的处理。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。姿态估计/比较装置53确定在选定的基准图像组L中是否包含基准图像Rk(步骤240)。如果在选定的基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
在该示例中，如果基准图像是R1或R3，流程前进到步骤110，如果基准图像是R2，则前进到步骤151。如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳的姿态，并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。然后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240以执行相同的处理。在该示例中，如果基准图像是R1或R3，则计算最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索，。此外，因为测量了对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过与代表性三维对象模型相比较而选择基准图像，可以执行高速搜索。
注意，尽管在第四实施例中选择了一个代表性三维对象模型，也可以选择多个代表性三维对象模型。在这种情况下，与各个代表性三维对象模型相对应的基准图像组的结合(union)是基准图像组。
(第五实施例)
图22是示出了本发明第五实施例的方框图。在图22中，与图1和18相同的参考数字表示相同的部件。本实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置53、代表性存储单元31、第二姿态估计/比较装置(代表性图像选择装置)54、组存储单元86以及基准图像选择装置82。姿态估计/比较装置53包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
此外，预先准备的代表性图像被存储在代表性图像存储单元31中。代表性图像可以是基准图像存储单元31中的基准图像的一部分，或者是例如通过基准图像的平均而产生的新图像。当代表性图像是基准图像存储单元30中的基准图像的一部分时，还可以仅存储图像号并且表示基准图像存储单元30中的基准图像。
将代表性图像和基准图像的相关信息(表示代表性图像与基准图像的对应的信息)预先存储在组存储单元86中。第二姿态估计/比较装置54将从三维数据输入装置10获得的三维数据与从代表性图像存储单元31获得的每一个代表性图像相比较，并选择最相似的代表性图像。基准图像选择装置82根据从组存储单元86获得的相关信息，选择与第二姿态估计/比较装置54所选择的代表性图像相对应的基准图像组。
姿态估计/比较装置53计算从三维数据输入装置10获得的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)，并选择具有最小的最短距离值的基准图像。此处使用的基准图像是从基准图像选择装置82获得的基准图像组。
下面参考图22以及图23和20所示的流程图，详细解释本实施例的整体操作。首先，如图23所示，三维数据输入装置10输入三维数据(图23中步骤100)。然后，第二姿态估计/比较装置54首先将代表性图像的图像号设置为h＝1(步骤215)。第二姿态估计/比较装置54计算三维数据和每一个代表性图像R’h之间的相似度(步骤225)。
随后，图像号h增加1(步骤211)，并且将图像号h与图像数H相比较(步骤217)。如果图像号h等于或小于图像数H，流程返回到步骤225，执行相同的处理，从而计算出下一个代表性图像的相似度。如果在步骤217中完成了与所有代表性图像的比较，选择具有最大相似度的代表性图像R’h(步骤226)。然后，基准图像选择装置82根据从组存储单元86获得的相关信息，选择与选定的代表性图像相对应的基准图像组(步骤235)。注意，在图23中的步骤235之后继续图20中的步骤150。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。然后，姿态估计/比较装置53确定在选定的基准图像组中是否包含基准图像Rk(步骤240)。如果在基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。其后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将图24所示的代表性图像R’h存储在代表性图像存储单元36中。如表4所示，将通过使基准图像与代表性图像相比较而获得的较好候选(基准图像)的图像号与这些代表性图像相关联地存储在组存储单元86中。在该比较中，可以使用例如在之前所述的专利参考1或2中描述的现有图像比较***。
[表4]
  图像号   基准图像号
  1   2
  2   1，3
假定从三维数据输入装置10输入图6所示的三维数据(图23中步骤100)。第二姿态估计/比较装置54首先将代表性图像的图像号设置为h＝1(步骤215)。然后，第二姿态估计/比较装置54计算三维数据和每一个代表性图像R’h之间的相似度(步骤225)。其后，第二姿态估计/比较装置54使图像号h增加1(步骤211)，并且将图像号h与图像数H相比较(步骤217)。如果图像号h等于或小于图像数H，流程返回到步骤215，执行相同的处理，从而计算出下一个代表性图像的相似度。
如果在步骤217中完成了与所有代表性图像的比较，选择具有最大相似度的代表性图像R’h(步骤226)。例如，如果代表性图像R’h的相似度为{0.7，0.9}，选择代表性图像R’2。然后，基准图像选择装置82从自组存储单元86获得的表4所示的列表中，选择与选定的代表性图像R’2相对应的基准图像组{R1，R3}(步骤235)。之后，执行图20所示的处理。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中的步骤150)。然后，姿态估计/比较装置53确定在选定的基准图像组中是否包含基准图像Rk(步骤240)。如果在选定的基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
在该示例中，如果基准图像是R1或R3，则流程前进到步骤110，如果基准图像是R2，则前进到步骤151。如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理(步骤110至140)，估计出最佳姿态，并且计算出三维数据和基准图像Rk之间的最短距离值。其后，姿态估计/比较装置53使图像号k增加1(步骤151)，并将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理。在该示例中，如果基准图像是R1或R3，则计算最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
注意，尽管在第五实施例中选择了一个代表性图像，也可以选择多个代表性图像。在这种情况下，与各个代表性图像相对应的基准图像组的结合是基准图像组。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过与代表性图像相比较而选择基准图像，可以执行高速搜索。
注意，在第一至第五实施例的每一个中，三维数据(模型)将对象表面上的三维空间(x，y，z)中的形状和纹理作为信息。然而，本发明并不局限于这些实施例，只要获得等效的信息。例如，还可以将表示沿特定方向到对象表面的距离的距离图像以及沿相同方向捕获的纹理图像用作图像。
当然，可以由硬件实现作为本发明图像比较***的组成单元的各个装置的功能，并且还可以通过将执行第一至第五实施例的装置的功能的图像比较程序(应用程序)加载到计算机处理器的存储器中，从而控制计算机处理器，来实现上述功能。该图像比较程序被存储在诸如磁盘或半导体存储器之类的记录介质中，并且在从记录介质加载到计算机处理器时，通过控制计算机处理器的操作，实现上述功能。
工业实用性
本发明适用于诸如从数据库搜索诸如人脸之类的对象图像的图像比较***之类的应用，并适用于在计算机上实现图像比较***的程序。
本发明还适用于例如诸如在网络或在因特网上存在的人脸之类的对象图像的搜索的应用。此外，本发明可以适当地应用于例如确定诸如识别照片之类的图像和持有它的人是否相同的应用。

Claims (27)

1.一种图像比较***，其特征在于包括：
三维数据输入装置，用于输入对象的三维数据；
基准图像存储装置，用于存储至少一个对象的基准图像；
姿态候选决定装置，用于产生至少一个姿态候选作为对象姿态的候选；
比较图像产生装置，用于根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及
图像比较装置，用于根据基准图像和比较图像之间的距离值和相似度之一，来执行比较。
2.根据权利要求1所述的图像比较***，其特征在于所述图像比较装置包括：
计算装置，用于计算基准图像和比较图像之间的距离值和相似度之一；
选择装置，用于选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
比较装置，用于根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
3.根据权利要求1所述的图像比较***，其特征在于
所述比较图像产生装置产生接近于每一个基准图像的比较图像，以及
所述图像比较装置包括：
计算装置，用于计算每一个基准图像和比较图像之间的距离值和相似度之一；
选择装置，用于针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
比较装置，用于输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
4.根据权利要求1所述的图像比较***，其特征在于还包括：
基准校正系数存储装置，用于存储与基准图像相对应的校正系数；以及
校正装置，用于通过使用校正系数，校正最短距离值和最高相似度之一。
5.根据权利要求1所述的图像比较***，其特征在于还包括基准加权系数存储装置，用于存储与基准图像相对应的加权系数，
所述图像比较装置包括计算装置，用于通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
6.根据权利要求1所述的图像比较***，其特征在于还包括：
标准三维基准点存储装置，用于存储与标准三维对象模型相对应的标准三维基准点；
标准三维加权系数存储装置，用于存储标准三维加权系数；
三维基准点提取装置，用于从输入的三维数据中提取三维基准点；以及
输入加权系数转换装置，通过使用标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，
所述图像比较装置包括计算装置，用于通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
7.根据权利要求1所述的图像比较***，其特征在于还包括：
代表性三维对象模型存储装置，用于存储一些代表性的三维对象模型，作为代表性三维对象模型；
组存储装置，用于存储代表性三维对象模型和基准图像的相关信息；
三维比较装置，用于将输入三维数据与代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及
基准图像选择装置，用于通过参考相关信息，选择与选定的代表性三维对象模型相对应的基准图像，
其中，所述比较装置将选定的基准图像与输入的三维数据相比较。
8.根据权利要求1所述的图像比较***，其特征在于还包括：
代表性图像存储装置，用于一些代表性的存储图像作为代表性图像；
组存储装置，用于存储代表性图像和基准图像的相关信息；
代表性图像选择装置，用于将输入的三维数据与代表性图像相比较，并选择与三维数据相似的代表性图像；以及
基准图像选择装置，用于通过参考相关信息，选择与选定的代表性图像相对应的基准图像，
其中，所述图像比较装置将选定的基准图像与输入的三维数据相比较。
9.根据权利要求4所述的图像比较***，其特征在于，根据代表性三维对象模型和基准图像之间的距离值和相似度中的至少一个，来确定校正系数。
10.一种图像比较方法，其特征在于包括步骤：
输入对象的三维数据；
产生至少一个姿态候选作为对象姿态的候选；
根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及
根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
11.根据权利要求10所述的图像比较方法，其特征在于执行比较的步骤包括步骤：
计算基准图像和比较图像之间的距离值和相似度之一；
选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
12.根据权利要求10所述的图像比较方法，其特征在于
产生比较图像的步骤包括产生接近于每一个基准图像的比较图像的步骤，以及
执行比较的步骤包括步骤：
计算每一个基准图像和比较图像之间的距离值和相似度之一；
针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
13.根据权利要求10所述的图像比较方法，其特征在于还包括步骤：通过使用与基准图像相对应的校正系数，校正最短距离值和最高相似度之一。
14.根据权利要求10所述的图像比较方法，其特征在于执行比较的步骤还包括步骤：通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
15.根据权利要求10所述的图像比较方法，其特征在于还包括步骤：
从输入的三维数据中提取三维基准点；以及
通过使用与标准三维对象模型相对应的标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，
执行比较的步骤包括步骤：通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
16.根据权利要求10所述的图像比较方法，其特征在于还包括步骤：
将输入三维数据与作为一些代表性三维对象模型的代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及
通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性三维对象模型相对应的基准图像，
执行比较的步骤包括步骤：将选定的基准图像与输入三维数据相比较。
17.根据权利要求10所述的图像比较方法，其特征在于还包括步骤：
将输入三维数据与作为一些代表性图像的代表性图像相比较，并选择与三维数据相似的代表性图像；以及
通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性图像相对应的基准图像，
执行比较的步骤包括步骤：将选定的基准图像与输入三维数据相比较。
18.根据权利要求13所述的图像比较方法，其特征在于还包括步骤：根据代表性三维对象模型和基准图像之间的距离值和相似度中至少一个，确定校正系数。
19.一种程序，使计算机执行以下过程：
输入对象的三维数据；
产生至少一个姿态候选作为对象姿态的候选；
根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及
根据基准图像和比较图像之间的距离值和相似度之一来执行比较。
20.根据权利要求19所述的程序，其中，在执行比较的过程中，程序使计算机执行以下过程：
计算基准图像和比较图像之间的距离值和相似度之一；
选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
21.根据权利要求19所述的程序，其中
在产生比较图像的过程中，程序使计算机执行产生接近于每一个基准图像的比较图像的过程，以及
在执行比较的过程中，程序使计算机执行以下过程：
计算每一个基准图像和比较图像之间的距离值和相似度之一；
针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及
输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
22.根据权利要求19所述的程序，还使计算机执行以下过程：通过使用与基准图像相对应的校正系数，校正最短距离值和最高相似度之一。
23.根据权利要求19所述的程序，程序使计算机执行以下过程：通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
24.根据权利要求19所述的程序，还使计算机执行以下过程：
从输入的三维数据中提取三维基准点；以及
通过使用与标准三维对象模型相对应的标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，
其中，在执行比较的过程中，程序使计算机执行以下过程：通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
25.根据权利要求19所述的程序，还使计算机执行以下过程：
将输入的三维数据与作为一些代表性三维对象模型的代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及
通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性三维对象模型相对应的基准图像，
其中，在执行比较的过程中，程序使计算机执行将选定的基准图像与输入三维数据相比较的过程。
26.根据权利要求19所述的程序，还使计算机执行以下过程：
将输入的三维数据与作为一些代表性图像的代表性图像相比较，并选择与三维数据相似的代表性图像；以及
通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性图像相对应的基准图像，
其中，在执行比较的过程中，程序使计算机执行将选定的基准图像与输入三维数据相比较的过程。
27.根据权利要求22所述的程序，还使计算机执行以下过程：根据代表性三维对象模型和基准图像之间的距离值和相似度中的至少一个来确定校正系数。
CN2004800308445A 2003-10-21 2004-10-21 图像比较***和图像比较方法 Active CN1871622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP360713/2003 2003-10-21
JP2003360713 2003-10-21
PCT/JP2004/015612 WO2005038716A1 (ja) 2003-10-21 2004-10-21 画像照合システム及び画像照合方法

Publications (2)

Publication Number Publication Date
CN1871622A true CN1871622A (zh) 2006-11-29
CN1871622B CN1871622B (zh) 2010-07-14

Family

ID=34463419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800308445A Active CN1871622B (zh) 2003-10-21 2004-10-21 图像比较***和图像比较方法

Country Status (7)

Country Link
US (1) US7715619B2 (zh)
EP (2) EP2479726B9 (zh)
JP (1) JP4556873B2 (zh)
KR (1) KR100816607B1 (zh)
CN (1) CN1871622B (zh)
AU (1) AU2004282790A1 (zh)
WO (1) WO2005038716A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
CN101504719B (zh) * 2008-02-05 2011-12-14 索尼株式会社 图像处理装置和方法
CN102365645A (zh) * 2009-01-05 2012-02-29 苹果公司 通过关联面部来组织数字图像
CN101377787B (zh) * 2007-08-28 2012-05-30 株式会社理光 图像搜索装置和图像搜索方法
CN101785025B (zh) * 2007-07-12 2013-10-30 汤姆森特许公司 用于从二维图像进行三维对象重构的***和方法
CN103562957A (zh) * 2011-05-31 2014-02-05 乐天株式会社 信息提供装置、信息提供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供***
CN103886757A (zh) * 2012-12-21 2014-06-25 业纳遥控设备有限公司 用于自动分类运动中的车辆的方法
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
CN106017420A (zh) * 2016-05-24 2016-10-12 武汉轻工大学 焊接衬垫片的姿态识别方法及识别装置
CN108062390A (zh) * 2017-12-15 2018-05-22 广州酷狗计算机科技有限公司 推荐用户的方法、装置和可读存储介质
CN109414234A (zh) * 2016-06-30 2019-03-01 母治平 用于从先前生成的3d数据集生成2d投影的***和方法
CN109708649A (zh) * 2018-12-07 2019-05-03 中国空间技术研究院 一种遥感卫星的姿态确定方法及***
CN110785753A (zh) * 2019-09-27 2020-02-11 京东方科技集团股份有限公司 用于搜索图像的方法、装置及存储介质
CN112135121A (zh) * 2020-09-17 2020-12-25 中国信息通信研究院 智能视频监控识别性能评价***及方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669052B (zh) * 2002-07-10 2010-05-26 日本电气株式会社 使用三维物体模型的图像匹配***以及图像匹配方法
KR100831187B1 (ko) * 2003-08-29 2008-05-21 닛본 덴끼 가부시끼가이샤 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템
AU2004212605A1 (en) * 2003-09-26 2005-04-14 Nec Australia Pty Ltd Computation of soft bits for a turbo decoder in a communication receiver
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
JP3899523B2 (ja) * 2004-03-03 2007-03-28 日本電気株式会社 画像類似度算出システムおよび画像検索システム
JP4216824B2 (ja) * 2005-03-07 2009-01-28 株式会社東芝 ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
JP4545641B2 (ja) * 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP4840018B2 (ja) * 2006-08-07 2011-12-21 富士通株式会社 形状データ検索プロブラム及び方法
US7720316B2 (en) * 2006-09-05 2010-05-18 Microsoft Corporation Constraint-based correction of handwriting recognition errors
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
US8401276B1 (en) 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
US20100118037A1 (en) * 2008-09-08 2010-05-13 Apple Inc. Object-aware transitions
US7721209B2 (en) * 2008-09-08 2010-05-18 Apple Inc. Object-aware transitions
JP4963306B2 (ja) 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
US8958609B2 (en) 2009-04-22 2015-02-17 Nec Corporation Method and device for computing degree of similarly between data sets
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
KR101068465B1 (ko) * 2009-11-09 2011-09-28 한국과학기술원 삼차원 물체 인식 시스템 및 방법
JP5560722B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、および画像処理方法
JP5434708B2 (ja) * 2010-03-15 2014-03-05 オムロン株式会社 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
JP5045827B2 (ja) * 2011-02-01 2012-10-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及び、プログラム
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
WO2012147027A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Face location detection
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
US9644942B2 (en) * 2012-11-29 2017-05-09 Mitsubishi Hitachi Power Systems, Ltd. Method and apparatus for laser projection, and machining method
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) * 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
GB2536493B (en) * 2015-03-20 2020-11-18 Toshiba Europe Ltd Object pose recognition
JP6906303B2 (ja) * 2015-12-30 2021-07-21 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 密度ベースのグラフィカルマッピング
WO2017149755A1 (ja) * 2016-03-04 2017-09-08 楽天株式会社 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN107305556A (zh) * 2016-04-20 2017-10-31 索尼公司 用于3d打印的装置及方法
US11443233B2 (en) * 2017-02-21 2022-09-13 Nec Corporation Classification apparatus, classification method, and program
CN109298778B (zh) * 2017-07-24 2021-02-23 宏达国际电子股份有限公司 追踪***及其方法
US11681303B2 (en) * 2018-07-06 2023-06-20 Verity Ag Methods and systems for estimating the orientation of an object
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119475A (ja) 1990-09-10 1992-04-20 Nippon Telegr & Teleph Corp <Ntt> 三次元形状識別装置
US5555316A (en) * 1992-06-30 1996-09-10 Matsushita Electric Industrial Co., Ltd. Inspecting apparatus of mounting state of component or printing state of cream solder in mounting line of electronic component
EP0747870B1 (en) * 1995-05-18 2002-11-27 Omron Corporation An object observing method and device with two or more cameras
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
JP3469031B2 (ja) * 1997-02-18 2003-11-25 株式会社東芝 顔画像登録装置及びその方法
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
JPH11238135A (ja) 1998-02-23 1999-08-31 Sony Corp イメージ認識方法およびイメージ認識装置
JP3276949B2 (ja) 1999-02-15 2002-04-22 株式会社メディックエンジニアリング ３次元有向体の定位方法及び画像処理装置
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP3926059B2 (ja) 1999-05-12 2007-06-06 日本電気株式会社 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP2001134765A (ja) 1999-11-09 2001-05-18 Canon Inc 画像検索方法及び装置
JP2001222716A (ja) 2000-02-08 2001-08-17 Minolta Co Ltd 人物認証方法および同装置
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2002024830A (ja) 2000-07-05 2002-01-25 Nec Corp 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP3880818B2 (ja) 2001-08-30 2007-02-14 シャープ株式会社 メモリ膜、メモリ素子、半導体記憶装置、半導体集積回路および携帯電子機器
WO2004081855A1 (en) * 2003-03-06 2004-09-23 Animetrics, Inc. Generation of image databases for multifeatured objects

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101785025B (zh) * 2007-07-12 2013-10-30 汤姆森特许公司 用于从二维图像进行三维对象重构的***和方法
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
CN101377787B (zh) * 2007-08-28 2012-05-30 株式会社理光 图像搜索装置和图像搜索方法
CN101504719B (zh) * 2008-02-05 2011-12-14 索尼株式会社 图像处理装置和方法
CN102365645B (zh) * 2009-01-05 2014-08-20 苹果公司 通过关联面部来组织数字图像
CN102365645A (zh) * 2009-01-05 2012-02-29 苹果公司 通过关联面部来组织数字图像
US9495583B2 (en) 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
CN103562957A (zh) * 2011-05-31 2014-02-05 乐天株式会社 信息提供装置、信息提供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供***
CN103562957B (zh) * 2011-05-31 2016-12-14 乐天株式会社 信息提供装置、信息提供方法以及信息提供***
CN103886757A (zh) * 2012-12-21 2014-06-25 业纳遥控设备有限公司 用于自动分类运动中的车辆的方法
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
CN106017420A (zh) * 2016-05-24 2016-10-12 武汉轻工大学 焊接衬垫片的姿态识别方法及识别装置
CN109414234A (zh) * 2016-06-30 2019-03-01 母治平 用于从先前生成的3d数据集生成2d投影的***和方法
CN109414234B (zh) * 2016-06-30 2023-08-18 母治平 用于从先前生成的3d数据集生成2d投影的***和方法
CN108062390A (zh) * 2017-12-15 2018-05-22 广州酷狗计算机科技有限公司 推荐用户的方法、装置和可读存储介质
CN109708649A (zh) * 2018-12-07 2019-05-03 中国空间技术研究院 一种遥感卫星的姿态确定方法及***
CN109708649B (zh) * 2018-12-07 2021-02-09 中国空间技术研究院 一种遥感卫星的姿态确定方法及***
CN110785753A (zh) * 2019-09-27 2020-02-11 京东方科技集团股份有限公司 用于搜索图像的方法、装置及存储介质
CN110785753B (zh) * 2019-09-27 2024-06-11 京东方科技集团股份有限公司 用于搜索图像的方法、装置及存储介质
CN112135121A (zh) * 2020-09-17 2020-12-25 中国信息通信研究院 智能视频监控识别性能评价***及方法

Also Published As

Publication number Publication date
EP1677250A4 (en) 2011-03-16
EP1677250B9 (en) 2012-10-24
KR20060058147A (ko) 2006-05-29
WO2005038716A1 (ja) 2005-04-28
EP1677250A1 (en) 2006-07-05
JPWO2005038716A1 (ja) 2007-01-25
CN1871622B (zh) 2010-07-14
EP2479726B9 (en) 2013-10-23
EP2479726B1 (en) 2013-07-10
US7715619B2 (en) 2010-05-11
EP2479726A1 (en) 2012-07-25
EP1677250B1 (en) 2012-07-25
US20070031001A1 (en) 2007-02-08
JP4556873B2 (ja) 2010-10-06
AU2004282790A1 (en) 2005-04-28
KR100816607B1 (ko) 2008-03-24

Similar Documents

Publication Publication Date Title
CN1871622A (zh) 图像比较***和图像比较方法
CN1864176A (zh) 用于估计对象状态的估计***、估计方法和估计程序
CN1912891A (zh) 人脸元数据生成设备和生成方法、人脸识别***和方法
CN1901672A (zh) 照相机***、信息处理装置及方法
CN1305010C (zh) 在考虑其噪声的情况下改变数字图像的方法和***
CN1231868C (zh) 图案评价方法和图案评价装置
CN1669052A (zh) 使用三维物体模型的图像匹配***、图像匹配方法以及图像匹配程序
CN1614991A (zh) 瞳孔颜色推定装置
CN101057257A (zh) 人脸特征点检测装置、特征点检测装置
CN1834582A (zh) 图像处理方法、三维位置测量方法以及图像处理装置
CN101038623A (zh) 特征点检测装置、特征点检测方法及特征点检测程序
CN1714372A (zh) 图像信号处理
CN101079952A (zh) 图像处理方法和图像处理设备
CN1707521A (zh) 图像处理设备、方法、记录介质和程序
CN1423487A (zh) 使用多种线索对多个人的自动探测和追踪
CN1475969A (zh) 用于增强人像图像的方法和***
CN1379364A (zh) 图形对照装置及其图形对照方法
CN1696959A (zh) 特定被摄体检测装置
CN1227624C (zh) 物体领域信息产生方法和设备
CN1190764A (zh) 利用候选表进行分类的模式识别设备及其方法
CN1241255A (zh) 三维形状测量装置及使用了该装置的三维雕刻装置
CN100346339C (zh) 图像检索方法及图像检索装置
CN1788486A (zh) 图像处理方法、图像处理装置和程序
CN1320501C (zh) 物体检测方法及物体检测装置
CN1311692C (zh) 动态矢量检出装置以及动态矢量检出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1095189

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1095189

Country of ref document: HK