CN1846232A - 使用加权信息的对象姿态估计和匹配*** - Google Patents

使用加权信息的对象姿态估计和匹配*** Download PDF

Info

Publication number
CN1846232A
CN1846232A CNA2004800249057A CN200480024905A CN1846232A CN 1846232 A CN1846232 A CN 1846232A CN A2004800249057 A CNA2004800249057 A CN A2004800249057A CN 200480024905 A CN200480024905 A CN 200480024905A CN 1846232 A CN1846232 A CN 1846232A
Authority
CN
China
Prior art keywords
benchmark
dimensional
attitude
weighting coefficient
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800249057A
Other languages
English (en)
Inventor
滨中雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1846232A publication Critical patent/CN1846232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种对象姿态估计和匹配***，用于通过建立适当的加权系数，非常精确地估计并使对象的姿态与在不同姿态、照明条件下捕获的对象的图像相匹配。姿态候选者确定单元针对对象确定姿态候选者。比较图像产生单元根据基准三维对象模型，产生接近于基于姿态候选者的输入图像的比较图像。加权系数转换单元使用标准三维基本点和基准三维基本点，来确定标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于姿态候选者的二维加权系数。加权匹配和姿态选择单元使用二维加权系数，计算所述输入图像和比较图像之间的加权距离值或相似度，并且选择到对象距离值最小的或与对象相似度最大的比较图像之一，从而估计和匹配对象的姿态。

Description

使用加权信息的对象姿态估计和匹配***
技术领域
本发明涉及一种对象姿态估计和匹配***，用于通过将在不同姿态、照明等条件下捕获的对象输入图像(包括人脸)与存储在数据库(DB)中的基准图像和三维对象模型进行匹配，来估计和匹配对象的姿态。
背景技术
在IEICE学报D-II，1995年Vol.J78-D-II，No.11，1639-1649页的Shimada等的“Method of constructing a dictionary for personalidentification independent of face orientation(构造与脸部朝向无关的个人标识的库的方法)″中公开了传统的对象姿态估计和匹配***的示例(下文中称为“第一现有技术”)。如图1所示，根据第一现有技术的对象姿态估计和匹配***具有：图像输入单元10、标准化部件(normalizer)15、匹配和姿态选择单元14以及特定姿态基准图像(pose-specific reference image)存储单元85。
这样构成的传统对象姿态估计和匹配***如下进行操作：特定姿态基准图像存储单元85存储在一种或多种姿态条件下捕获的一个或多个对象的至少一个特定姿态基准图像。从针对每一个姿态而捕获的一个图像或多个图像的平均中产生每一个特定姿态基准图像。图像输入单元10被实现为摄像机等，并且将捕获的输入图像存储在存储器(未示出)中。可以从记录的文件中读出输入图像，或者通过网络获得。标准化部件15使用从对象提取的特征点来对准输入图像，并产生标准化图像。在所示***中，标准化部件15通过检测特征部分的位置，例如眼和嘴，作为特征点来对准输入图像。同样使特定姿态基准图像标准化并存储。标准化图像通常使用由特征提取处理而获得的特征。匹配和姿态选择单元41计算标准化图像与从特定姿态基准图像存储单元85获得的相应对象的特定姿态基准图像之间的距离值(或相似度)，并且选择到对象距离值最小(相似度最大)的基准图像之一，从而估计最佳姿态。例如，通过使用标准化相关或欧几里德距离，计算距离值。如果输入图像与一个对象(一对一匹配)相匹配，则将最小距离值与阈值进行比较，来确定输入图像是否与对象相同。如果搜索最接近输入图像的多个对象(基准图像)之一(一对N匹配)，则提取具有确定的到各个对象的最小距离值中最小一个的对象之一。
在JP-2003-58896A中公开了传统对象姿态估计和匹配***的另一个示例(下文中称为“第二现有技术”)。如图2所示，根据第二现有技术的传统对象姿态估计和匹配***具有：图像输入单元10、比较图像产生器20、姿态候选者确定单元30、匹配和姿态选择单元41以及基准三维对象模型存储单元55。
这样构成的传统对象姿态估计和匹配***如下进行操作：基准三维对象模型存储单元55在其中登记(register)了各个对象的基准三维对象模型(对象的三维形状和对象表面纹理)。姿态候选者确定单元30确定至少一个姿态候选者。比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型，产生具有接近于输入图像照明条件的照明条件的比较图像。匹配和姿态选择单元41计算输入图像和比较图像之间的距离值(相似度)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态。
在Pattern Recognition Letters，2003年Vol.24，499-507页的Guo等的“Human face recognition based on spatially weightedHausdorff distance(基于空间加权Hausdroff距离的人脸识别)″中公开了传统对象匹配***的又一个示例(下文中称为“第三现有技术”)。如图3所示，根据第三现有技术的传统对象匹配***具有：图像输入单元10、标准化部件(normalizer)15、加权匹配单元45、基准图像存储单元89和加权系数存储单元99。
这样构成的传统对象匹配***如下进行操作：图像输入单元10和标准化部件15按照与根据第一现有技术的、由相同参考数字所表示的组件相同的方式进行操作。基准图像存储单元89针对每一个对象存储至少一个基准图像。加权系数存储单元99存储用于将标准化图像和基准图像进行比较的象素(特征)的加权系数。加权匹配单元45计算标准化图像和从基准图像存储单元89获得的各个对象的基准图像之间的距离值(或相似度)，并且选择距离值最小的基准图像之一，从而匹配输入图像。例如，如果欧几里德距离被用于计算距离，则根据D＝∑rw(r){x(r)-m(r)}2来计算加权的欧几里德距离，其中x(r)代表标准化图像，m(r)代表比较图像，并且w(r)代表加权系数(r代表象素或特征索引)。
上述传统的对象匹配***具有下面的问题：
根据第一现有技术和第二现有技术，尽管可以估计和匹配姿态，如果在输入图像和来自DB的基准图像或比较图像之间由于对象的局部变形和不同的图像捕获条件而形成较大的局部不同，则降低了估计和匹配姿态的精确度。
上述问题的原因在于：当对象变形时，即使通常将对象的姿态与基准图像或比较图像的姿态对准，对象具有不与基准图像或比较图像对准的局部区域，导致在局部区域中的不同象素值(或特征)。即使当对象不变形并且已经与局部区域对准时，根据第一现有技术，如果输入图像和基准图像是在不同条件下捕获的，则形成具有较大不同象素值的局部区域。例如，如果输入图像和基准图像是在不同照明条件下捕获的，则在不同区域产生阴影。根据第二现有技术，即使产生最接近输入图像的比较图像，因为在三维对象测量中的观察误差和产生比较图像的简化过程，它们具有不同的局部区域。
第三现有技术的问题在于：如果在输入图像和基准图像中的对象姿态和照明条件互相不同，则降低了匹配精确度。
第三现有技术问题的原因在于：针对对象的区域建立加权系数，并且如果姿态条件不同，则对象具有未对准区域，使得不可能执行正确的加权匹配。此外，当照明条件不同时，对于匹配非常重要的区域经常改变。然而，因为加权系数保持相同，不能够执行正确的加权匹配。
发明内容
本发明的目的是提供一种对象姿态估计和匹配***，用于即使在输入图像和来自DB的图像之间的比较中形成较大的局部不同时，通过建立基于姿态的合适加权系数，非常精确地估计和匹配对象的姿态。
本发明的另一个目的是提供一种对象姿态估计和匹配***，用于通过建立基于随着变形和照明条件变化而产生的变化的合适的加权系数，估计和匹配对象的姿态。
根据本发明的第一方面，一种对象姿态估计和匹配***包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维加权系数；
姿态候选者确定装置，用于针对对象确定姿态候选者；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
产生并存储与三维对象模型相对应的三维加权系数。为了匹配输入图像，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当的加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第二方面，一种对象姿态估计和匹配***包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
标准三维加权系数存储装置，用于预先存储标准三维加权系数；
基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；
标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；
姿态候选者确定装置，用于针对对象确定姿态候选者；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第三方案，一种对象姿态估计和匹配***包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
特定变化(variation-specific)基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；
姿态候选者确定装置，用于针对对象确定姿态候选者；
变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当的加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中出现的变化相对应的特定变化三维加权系数，可以从输入图像中估计变化，并且采用相应的三维加权系数。因此，可以通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第四方案，一种对象姿态估计和匹配***包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
特定变化标准三维加权系数存储装置，用于预先存储与图像变化相对应的标准三维加权系数；
基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；
标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；
姿态候选者确定装置，用于针对对象确定姿态候选者；
变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定变化三维加权系数，可以从输入图像中估计变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第五方面，一种对象姿态估计和匹配***包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态基准加权系数存储装置，用于预先存储与所述基准图像相对应的特定姿态基准加权系数；
标准化装置，用于使输入图像标准化，以产生标准化图像；以及
加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第六方面，一种对象姿态估计和匹配***包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态标准加权系数存储装置，用于预先存储特定姿态标准加权系数；
标准化装置，用于使输入图像标准化，以产生标准化图像；以及
加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第七方面，一种对象姿态估计和匹配***包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态和变化(pose-and variation-specific)基准加权系数存储装置，用于预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；
标准三维对象模型存储装置，用于预先存储标准三维对象模型；
标准化装置，用于使输入图像标准化，以产生标准化图像；
变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，可以从标准化图像中估计变化，并且采用相应的加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第八方面，一种对象姿态估计和匹配***包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态和变化标准加权系数存储装置，用于预先存储与图像变化相对应的特定姿态和变化标准加权系数；
标准三维对象模型存储装置，用于预先存储标准三维对象模型；
标准化装置，用于使输入图像标准化，以产生标准化图像；
变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，可以从标准化图像中估计变化，并且采用相应的加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
附图说明
图1是根据第一现有技术的布置的方框图；
图2是根据第二现有技术的布置的方框图；
图3是根据第三现有技术的布置的方框图；
图4是根据本发明第一实施例的对象姿态估计和匹配***的布置的方框图；
图5是第一实施例的操作序列(姿态估计)的流程图；
图6是第一实施例的操作序列(一对一匹配)的流程图；
图7是第一实施例的操作序列(一对N匹配)的流程图；
图8是第一实施例的操作序列(登记)的流程图；
图9是示出了根据第一实施例的三维对象模型的坐标的特定示例的图；
图10是示出了根据第一实施例的基准三维对象模型的特定示例的图；
图11是示出了根据第一实施例的基准三维加权系数的特定示例的图；
图12是示出了根据第一实施例的输入图像的特定示例的图；
图13是示出了根据第一实施例的比较图像的特定示例的图；
图14是示出了根据第一实施例的二维加权系数的特定示例的图；
图15是示出了根据第一实施例的学习图像(learning image)的特定示例的图；
图16是示出了根据第一实施例的比较图像的特定示例的图；
图17是根据本发明第二实施例的对象姿态估计和匹配***的布置的方框图；
图18是第二实施例的操作序列(姿态估计)的流程图；
图19是示出了根据第二实施例的标准三维加权系数的特定示例的视图；
图20是示出了根据第二实施例的标准三维基本点的特定示例的图；
图21是示出了根据第二实施例的基准三维基本点的特定示例的图；
图22是示出了根据第二实施例的二维加权系数的特定示例的图；
图23是根据本发明第三实施例的对象姿态估计和匹配***的布置的方框图；
图24是第三实施例的操作序列(姿态估计)的流程图；
图25是第三实施例的操作序列(登记)的流程图；
图26是示出了根据第三实施例的变化(照明条件)的特定示例的图；
图27是示出了根据第三实施例的特定变化基准三维加权系数的特定示例的图；
图28是示出了根据第三实施例的输入图像的特定示例的图；
图29是示出了根据第三实施例的比较图像的特定示例的图；
图30是示出了根据第三实施例的二维加权系数的特定示例的图；
图31是根据本发明第四实施例的对象姿态估计和匹配***的布置的方框图；
图32是第四实施例的操作序列(姿态估计)的流程图；
图33是根据第四实施例的特定变化基准三维加权系数的特定示例的视图；
图34是示出了根据第四实施例的二维加权系数的特定示例的图；
图35是根据本发明第五实施例的对象姿态估计和匹配***的布置的方框图；
图36是第五实施例的操作序列(姿态估计)的流程图；
图37是第五实施例的操作序列(登记)的流程图；
图38是示出了根据第五实施例的特定姿态基准图像的特定示例的图；
图39是示出了根据第五实施例的特定姿态基准加权系数的特定示例的图；
图40是示出了根据第五实施例的标准化图像的特定示例的图；
图41是根据本发明第六实施例的对象姿态估计和匹配***的布置的方框图；
图42是第六实施例的操作序列(姿态估计)的流程图；
图43是根据第六实施例的特定姿态标准加权系数的特定示例的图；
图44是根据本发明第七实施例的对象姿态估计和匹配***的设置的方框图；
图45是第七实施例的操作序列(姿态估计)的流程图；
图46是第七实施例的操作序列(登记)的流程图；
图47是根据第七实施例的特定姿态和变化基准加权系数的特定示例的图；
图48是根据本发明第八实施例的对象姿态估计和匹配***的布置的方框图；
图49是第八实施例的操作序列(姿态估计)的流程图；以及
图50是根据第八实施例的特定姿态和变化标准加权系数的特定示例的图。
具体实施方式
[第一实施例]
参考图4，根据本发明第一实施例的对象姿态估计和匹配***包括：图像输入单元10、比较图像产生器20、姿态候选者(posecandidates)确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、基准三维加权系数存储单元65以及登记单元2。登记单元2包括：三维对象模型登记器50、匹配和姿态选择单元41以及三维加权系数产生器62。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、基准三维对象模型存储单元55以及匹配和姿态选择单元41按照与根据图2所示的第二现有技术的、由相同参考数字表示的组件相同的方式操作。
基准三维加权系数存储单元65存储与各个对象的基准三维对象模型相对应的基准三维加权系数。
加权系数转换器60使用从三维对象模型存储单元55中获得的基准三维对象模型，将从基准三维加权系数存储单元65获得基准三维加权系数转换为基于从姿态候选者确定单元30获得的姿态候选者的二维加权系数。
加权匹配和姿态选择单元40使用从加权系数转换器60获得的二维加权系数，计算从输入单元10获得的输入图像和基于从比较图像产生器20获得的各个姿态候选者的比较图像之间的加权距离值(或相似度)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态。
为了使输入图像与一个对象相匹配(一对一匹配)，与第一现有技术相同，进一步将最小距离值与阈值进行比较，以确定输入图像是否与对象相同。为了在多个对象中搜索最接近于输入图像(一对N匹配)的对象，提取在确定的到各个对象的最小距离值中距离值最小的对象。
三维对象模型登记器50将基准三维对象模型登记在基准三维对象模型存储单元55中。
三维加权系数产生器62使用从匹配和姿态选择单元41中获得的最佳姿态的比较图像和输入图像，根据从基准三维对象模型存储单元55中获得的基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习(learning)三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数登记在基准三维加权系数存储单元65中。
下面参考图4和图5所示的流程图来详细说明针对姿态估计的本实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图5中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。加权系数转换器60使用基准三维对象模型(步骤130)，将从基准三维加权系数存储单元65中获得的基准三维加权系数转换为基于姿态候选者的二维加权系数(步骤130)。最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权的距离值Dkj(或者相似度)(步骤140)，并且选择到输入图像的模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
在上述流程图，从确定的姿态候选者组中选择距离值最小的姿态候选者。然而，控制可以返回到姿态候选者确定单元30，通过连续地改变姿态候选者，在姿态候选者中搜索距离值最小的姿态候选者。
下面参考图4和图6所示的流程图来详细说明针对一对一匹配的本实施例整体操作。
图6所示的步骤100到150与图5所示的步骤100到150相同。最后，加权匹配和姿态选择单元40将最小距离值与阈值进行比较，以确定输入图像是否与对象相同(步骤160)。
下面参考图4和图7所示的流程图来详细说明针对一对N匹配的本实施例整体操作。
首先，图像输入单元10产生模型(对象)的输入图像(图7中步骤100)。然后，加权匹配和姿态选择单元40设置模型号码k＝1(步骤170)。其后，针对每一个模型Ck执行与图6所示的用于姿态估计的步骤100到150相同的步骤，根据每一个模型Ck的最佳姿态，确定最小距离值。然后，使模型号码增加1(步骤171)，如果k等于或小于模型数目(步骤172)，则控制返回到步骤110，计算下一个模型的最小距离值。最后，作为匹配处理的结果，确定具有最小的最小距离值的模型Ck(步骤175)。
下面参考图4和图8所示的流程图来详细说明针对登记的本实施例整体操作。
首先，三维对象模型登记器50将对象Ck的基准三维对象模型登记在基准三维对象模型存储单元55中(图8中步骤300)。然后，三维加权系数产生器62首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像(learning image)(步骤200)，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。然后姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。匹配和姿态选择单元41计算输入图像和比较图像之间的距离值(或相似度)Dkj′(步骤141)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态(步骤150)。然后，三维加权系数产生器62使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。如果图像号码h大于学习图像的号码N，则三维加权系数产生器62使用与所有学习图像相对应的最佳姿态的比较图像，根据基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，产生基准三维加权系数(步骤220)。最后，三维加权系数产生器62将产生的基准三维加权系数登记在基准三维加权系数存储单元65中(步骤230)。
下面来说明第一实施例的优点。
根据本实施例，产生并存储与三维对象模型相对应的三维加权系数。为了匹配输入图像，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权的距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为关于三维模型来学习与每一个象素的匹配的重要程度，可以利用比与所有姿态相对应的学习图像更少的学习图像，来确定基于希望姿态的适当三维加权系数。
下面说明第一实施例的操作的特定示例。在下面要说明的特定示例中，将人脸作为对象的示例。然而，第一实施例也适用于其它对象。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状和纹理)。例如，可以由在JP-2001-12925A中公开的三维形状测量设备，或者由用于从JP-H09-91436A中公开的多个摄像机所捕获的多个图像中恢复三维形状的设备，来产生三维对象模型。
如图9所示，三维对象模型具有在对象表面的三维空间(x，y，z)中代表形状PQ(x，y，z)和纹理TQ(R，G，B)的信息。Q表示对象表面上点的索引。例如，索引Q与沿着远离对象中心的线、从对象表面上一点投影到在其中心具有对象重心的球体的点Q(s，t)的坐标相对应。为了匹配的目的，使用三维对象模型，根据计算机图形学，来产生在各种照明条件下的学习CG图像，并且针对其主要分量来分析学习CG图像，从而确定基本图像组。
如图11所示，基准三维加权系数存储单元65存储对象的基准三维加权系数VQ k。例如，对于黑色区域，基准三维加权系数具有VQ k＝1的值，对于白色区域，具有VQ k＝0的值，并且对于灰色区域，具有0＜VQ k＜1的值。
下面说明关于模型C1的姿态的估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图5中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。
可以与输入图像无关地预先设置姿态候选者组。然而，可以手动地或自动地从输入图像和三维模型中提取例如眼、鼻、嘴等的基准点，并且根据如在JP-2001-283229A中公开的用于计算对象的位置和朝向的处理，可以估计适当的姿态。在这种估计姿态附近产生姿态候选者组是有效的。
比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
如下产生具有接近于输入图像照明条件的照明条件的比较图像：根据每一个姿态候选者，对预先确定的基本图像组进行坐标变换，并且根据最小平方法，确定坐标变换的基本图像的线性和的系数，使得线性和接近于输入图像。在图13中示出了关于对象C1而产生的比较图像的示例。
加权系数转换器60使用基准三维对象模型C1，将从基准三维加权系数存储单元65获得的基准三维加权系数VQ 1转换为基于姿态候选者ej的二维加权系数W1j(r)(步骤130)。在图14中示出了关于对象C1而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1j(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值Dkj(步骤140)。例如，如果使用欧几里德距离，则根据Dkj＝∑rWkj(r){I(r)-Gkj(r)}2来计算加权，并且如果使用相似度Skj，则根据Skj＝exp(-Dkj)来计算加权。
最后，加权匹配和姿态选择单元40选择到模型C1距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。例如，对于图13所示的比较图像，选择姿态e3，作为距离值最小的比较图像。
下面说明针对登记的第一实施例操作的特定示例。下面说明对象C1的基准三维对象模型的登记。
首先，三维对象模型登记器50将对象C1的基准三维对象模型登记在基准三维对象模型存储单元55中(图8中步骤300)。假设作为学习图像获得如图15所示的三个图像(学习图像是在对象C1的各种姿态条件下捕获的图像)。
则，三维加权系数产生器62首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10中输入具有图像号码h的学习图像(步骤200)，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。
然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j h(r)(步骤120)。
匹配和姿态选择单元41计算输入图像Ih(r)和比较图像之间G1j h(r)的距离值D1j h，(步骤141)。例如，如果使用欧几里德距离，则根据 D kj h i = Σ r { I h ( r ) - G kj h ( r ) } 2 来计算距离值。
匹配和姿态选择单元41选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而确定最佳姿态(步骤150)。然后，三维加权系数产生器62使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N＝3(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。图16中示出了具有确定的与图15所示的各个学习图像Ih(r)相对应的最佳姿态的比较图像的示例。
如果图像号码h大于学***均误差的倒数。根据dkj h(r)＝|Ih(r)-Gkj h(r)|，计算作为二维图像的学习图像Ih(r)和比较图像Gkj h(r)之间的误差。
如果在根据姿态ej从三维对象模型中产生比较图像时由r＝F(s，t)代表三维对象模型上坐标(s，t)和二维图像上坐标r之间的关系，则根据{s，t}＝F-1(r)，根据反变换，确定与二维图像上象素r相对应的三维模型上的点的坐标。如果按照反变换将每一个象素的误差dkj h(r)映射到三维模型上的点{s，t}上，并且由EQ k代表所有学***均误差，则根据VQ k＝A/EQ k(A代表标准化系数)来计算三维加权系数。根据针对每一个姿态候选者ej而获得的变换r＝F(s，t)，将三维加权系数VQ k转换为二维加权系数Wkj(r)。最后，将对象C1的三维加权系数VQ 1登记在基准三维加权系数存储单元65中(步骤230)。
[第二实施例]
参考图17，根据本发明第二实施例的对象姿态估计和匹配***包括：图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、标准三维加权系数存储单元66、基准三维基本点存储单元75、标准三维基本点存储单元76以及登记单元4。登记单元4包括三维对象模型登记器50和三维基本点登记器70。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、基准三维对象模型存储单元55以及三维对象模型登记器50按照与根据图4所示第一实施例的、由相同参考数字表示的组件相同的方式操作。
标准三维加权系数存储单元66存储标准三维加权系数。参考三维基本点存储单元75存储与对象的基准三维对象模型相对应的基准三维基本点。标准三维基本点存储单元76存储与标准三维对象模型相对应的标准三维基本点。
加权系数转换器61使用从标准三维基本点存储单元76中获得的标准三维基本点和从基准三维基本点存储单元75获得的基准三维基本点，来确定从标准三维加权系数存储单元66获得的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于从姿态候选者确定单元30获得的姿态候选者的二维加权系数。
三维基本点登记器70关于从三维对象模型登记器50中获得的基准三维对象模型，确定基准三维基本点，并且将确定的三维基本点登记在基准三维基本点存储单元75中。
下面参考图17和图18所示的流程图来详细说明针对姿态估计的第二实施例整体操作。针对一对一匹配和一对N匹配的第二实施例整体操作类似于针对姿态估计的操作，除了增加的确定处理(图6中步骤160)和增加的确定具有最小距离值的模型的处理(图7中步骤175)之外，与第一实施例相同，并且下面不进行说明。
首先，由图像输入单元10获得输入图像(图18中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
加权系数转换器61使用从标准三维基本点存储单元76中获得的标准三维基本点和从基准三维基本点存储单元75中获得的基准三维基本点，来确定从标准三维加权系数存储单元66中获得的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于姿态候选者的二维加权系数(步骤131)。
最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(或相似度)(步骤140)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面详细说明针对登记的本实施例整体操作。首先，三维对象模型登记器50将Ck的基准三维对象模型登记在基准三维对象模型存储单元55中。然后，三维基本点登记器70针对从三维对象模型登记器50获得的基准三维对象模型，确定基准三维基本点，并且将确定的三维基本点登记在基准三维基本点存储单元75中。
下面来说明第二实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为持有代表多个对象的三维加权系数的平均的标准三维加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象持有基准三维加权系数的情况。当登记时不必要捕获与基准三维对象模型相对应的学习图像。
下面来说明第二实施例的操作的特定示例。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状PQ k(x，y，z)和纹理TQ k(R，G，B)))。如图19所示，标准三维加权系数存储单元66存储标准三维加权系数VQ 0。
此外，如图20所示，标准三维基本点存储单元76存储标准三维基本点Ni 0的坐标。如图21所示，基准三维基本点存储单元75存储基准三维基本点Ni k的坐标。基本点是用于位置对准的点，并且表示包括图20和21中左眼中间点、右眼中间点、鼻子顶部点、左嘴角点和右嘴角点的五点。
可以手动地预先设置基准三维基本点。然而，可以根据在Marugame和Sakamoto的″Extraction of feature areas from facialthree-dimensional data using shape information and colorinformation(使用形状信息和颜色信息从面部三维数据中提取特征区域)″，FIT(Forum of Information science Technology)，2002，I-100，199-200页中公开的面部特征提取处理，来自动地设置基准三维基本点。可以从基准三维基本点或预先为了学***均坐标中，确定标准三维基本点。可以通过位置对准基准三维加权系数或预先为了学***均位置对准的三维加权系数。
对于除了基本点之外的位置对准点，可以通过根据内推法(interpolation)或外推法(extrapolation)确定基本点之间的对应，对于三维加权系数的坐标{s，t}和标准三维加权系数的坐标{s0，t0}，建立变换方程s0＝Hs(s，t)，t0＝Ht(s，t)。可以通过将象素的误差直接映射到标准三维模型上，来产生标准三维加权系数。
下面说明关于模型C1的姿态的估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图18中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图13中示出了关于对象C1而产生的比较图像的示例。
加权系数转换器61使用标准三维基本点Ni 0和基准三维基本点Ni k，来确定标准三维加权系数VQ 0和基准三维对象模型PQ k之间的坐标对应，并且将标准三维加权系数VQ 0转换为基于姿态候选者ej的二维加权系数W1j(r)(步骤131)。当确定在标准三维加权系数VQ 0和基准三维对象模型PQ k(更具体地是纹理TQ k)之间的坐标对应时，假定可以产生基准三维加权系数VQ k(实际上没有产生基准三维加权系数VQ k，而从标准三维加权系数中直接产生二维加权系数)。使用标准三维基本点Ni 0和基准三维基本点Ni k，以便确定标准三维加权系数VQ 0和基准三维对象模型的纹理TQ k之间的对应。根据s0＝Hs(F-1(r))，t0＝Ht(F-1(r))，确定与二维图像中坐标r相对应的标准三维加权系数的坐标{s0，t0}。在图18中示出了关于对象C1而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1j(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
[第三实施例]
参考图23，根据本发明第三实施例的对象姿态估计和匹配***包括：图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、变化估计器35、特定变化基准三维加权系数存储单元67以及登记单元3。登记单元3包括三维对象模型登记器50、匹配和姿态选择单元41以及特定变化三维加权系数产生器63。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、三维对象模型登记器50以及匹配和姿态选择单元41按照与根据图4所示第一实施例的、由相同参考数字表示的组件相同的方式操作。
特定变化基准三维加权系数存储单元67存储与基准三维对象模型和图像变化相对应的基准三维加权系数。变化估计器35使用从姿态候选者确定单元30获得的姿态候选者和从基准三维对象模型存储单元55获得的基准三维对象模型，来确定从图像输入单元10获得的输入图像和三维对象模型的区域之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器35根据估计的变化，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器61。
特定变化三维加权系数产生器63使用从匹配和姿态选择单元41获得的最佳姿态的比较图像和输入图像，根据从基准三维对象模型存储单元55获得的基准三维对象模型、由最佳姿态所确定的二维图像和三维模型，针对从变化估计器35获得的每一个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且将产生的基准三维加权系数登记在特定变化基准三维加权系数存储单元67中。
下面参考图23和图24所示的流程图来详细说明针对姿态估计的第三实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图24中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器35根据估计的变化，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器60使用基准三维对象模型，将从特定变化基准三维加权系数存储单元67获得的变化b的基准三维加权系数转换为基于姿态候选者的二维加权系数(步骤130)。最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(步骤140)，并且选择到输入图像的模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面参考图23和图25所示的流程图来详细说明针对登记的本实施例整体操作。
首先，三维对象模型登记器50将对象Ck的基准三维对象模型登记在基准三维对象模型存储单元55中(图25中步骤300)。
然后，特定变化三维加权系数产生器63首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。
然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
匹配和姿态选择单元41计算输入图像和比较图像之间的距离值Dkj-′(或相似度)(步骤141)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态(步骤150)。
然后，变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b(步骤180)。
然后，特定变化三维加权系数产生器63使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。
如果图像号码h大于学习图像的号码N，则特定变化三维加权系数产生器63使用与所有学习图像相对应的最佳姿态的比较图像，根据基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，产生特定变化基准三维加权系数(步骤221)。
最后，特定变化三维加权系数产生器63将产生的基准三维加权系数登记在特定变化基准三维加权系数存储单元67中(步骤231)。
下面来说明第三实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态保持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为关于三维模型学习到每一个象素的匹配的重要程度，可以利用比与所有姿态相对应的学习图像更少的学习图像，来确定关于任意姿态的适当三维加权系数。
此外，根据本实施例，持有与在输入图像中产生的变化相对应的特定变化三维加权系数，从输入图像中估计变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面来说明第三实施例的操作的特定示例。
例如，可以由对象变形和照明条件变化来代表图像变化。例如，照明条件变化可以是三种变化：右照明方向(b＝1)、前照明方向(b＝2)以及左照明发现(b＝3)，如图26所示。
如图10所示，基准三维对象模型存储单元存储对象Ck的基准三维对象模型(三维形状PQ k(x，y，z)和纹理TQ k(R，G，B))。如图27所示，特定变化基准三维加权系数存储单元67存储特定变化基准三维加权系数VQ kb。可以通过手动地或自动地使用变化估计器35，关于每一个变化来分组学习图像，并且学习关于每一个组的基准三维加权系数，可以产生特定变化基准三维加权系数。
下面来说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图24中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图29中示出了关于模型C1而产生的比较图像的示例。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，根据给定区域的图像信息来估计变化，并且根据估计的变化b，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器60(步骤180)。
如下估计照明变化：如果分别由L1、L2代表脸部的右半和左半的平均亮度值，则当|L1-L2|≤Th(TH代表阈值)时估计前照明方向(b＝2)，当L1＞L2+Th时估计右照明方向(b＝1)，并且当L2＞L1+Th时估计左照明方向(b＝3)。
如果假设由e1代表图28所示的输入图像的姿态候选者，则因为姿态不与输入图像相匹配，认为脸部左半上的阴影不是很大，平均亮度值之间的差满足关系|L1-L2|≤Th，并且确定前照明方向(b＝2)。类似地，如果假设由e2代表输入图像的姿态候选者，则正确地确定右照明方向(b＝1)。例如，通过使用在JP-2002-24830A中公开的图像匹配方法中的光源方向估计装置，可以更精确地估计姿态。加权系数转换器60将变化b的基准三维加权系数VQ 1b转换为基于姿态候选者的二维加权系数W1jb(r)(步骤132)。在图30中示出了根据上述姿态估计的结果而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1jb(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离D1j(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
[第四实施例]
参考图31，根据本发明第四实施例的对象姿态估计和匹配***包括：图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、基准三维基本点存储单元75、标准三维基本点存储单眼76、变化估计器35、特定变化标准三维加权系数存储单元68以及登记单元4。登记单元4包括三维对象模型登记器50以及三维基本点登记器70。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、基准三维基本点存储单元75、标准三维基本点存储单元76、三维对象模型登记器50以及三维基本点登记器70按照与根据图17所示第二实施例的、由相同参考数字表示的组件相同的方式操作。变化估计器35按照与根据图23所示第三实施例的变化估计器35相同的方式操作。特定变化标准三维加权系数存储单元68存储与图像变化相对应的标准三维加权系数。
下面参考图31和图32所示的流程图来详细说明针对姿态估计的本实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图32中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b，并且根据估计的变化b，将存储在特定变化标准三维加权系数存储单元68中的特定变化标准加权系数中的标准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器61使用从标准三维基本点存储单元76获得的标准三维基本点和从基准三维基本点存储单元75获得的基准三维基本点，基于姿态候选者，来确定从特定变化基标准三维加权系数存储单元68获得的变化b的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为二维加权系数。
最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(或相似度)(步骤140)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面说明第四实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于任意姿态的适当三维计算系数。
此外，根据本实施例，因为持有代表多个对象的三维加权系数的平均的标准三维加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象持有基准三维加权系数的情况。当登记时不必要捕获与基准三维对象模型相对应的学习图像。
此外，根据本实施例，保持有与在输入图像中产生的变化相对应的特定变化三维加权系数，从输入图像中估计出变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第四实施例的特定操作。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状PQ k(x，y，z)和纹理TQ k(R，G，B))。如图20所示，标准三维基本点存储单元76存储标准三维基本点Ni 0的坐标。如图21所示，基准三维基本点存储单元75存储基准三维基本点Ni k的坐标。此外，如图33所示，特定变化标准三维加权系数存储单元68存储根据变化而分类的标准三维加权系数VQ 0b。可以通过手动地或自动地使用变化估计器35，关于每一个变化来分组学习图像，并且关于每一个分组来学习标准三维加权系数，从而产生特定变化标准三维加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图33中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图29中示出了关于模型C1的比较图像的示例。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b，并且将存储在特定变化标准三维加权系数存储单元68中的特定变化标准加权系数中相应变化b的标准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器61使用标准三维基本点Ni 0和基准三维基本点Ni k，来确定从特定变化标准三维加权系数存储单元68获得的变化b的标准三维加权系数VQ 0b和基于姿态候选者的基准三维对象模型PQk之间的坐标对应，并且将标准三维加权系数VQ 0b转换为二维加权系数W1jb(r)(步骤133)。在图34中示出了根据上述姿态估计的结果而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1jb(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值D1j(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
[第五实施例]
参考图35，根据本发明第五实施例的对象姿态估计和匹配***包括：图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态基准加权系数存储单元95以及登记单元7。登记单元7包括特定姿态基准图像登记器80、匹配和姿态选择单元41以及特定姿态加权系数产生器90。
图像输入单元10、标准化部件15、匹配和姿态选择单元41以及特定姿态基准图像存储单元85按照与根据第一现有技术的、由相同参考数字表示的组件相同的方式操作。加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的特定姿态加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。特定姿态基准图像登记器80将特定姿态基准图像登记在特定姿态基准图像存储单元85中。特定姿态加权系数产生器90使用从匹配和姿态选择单元41获得的最佳姿态的基准图像和输入图像，关于各个姿态，通过学习每一个象素匹配的重要程度，来产生特定姿态基准加权系数，并且将产生的特定姿态基准加权系数登记在特定姿态基准加权系数存储单元95中。
下面参考图35和图36所示的流程图来详细说明针对姿态估计的第五实施例整体操作。
首先，由图像输入单元10获得输入图像(图36中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
最后，加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的特定姿态基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤145)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面参考图35和图37所示的流程图来详细说明针对登记的第五实施例整体操作。
首先，特定姿态基准图像登记器80将对象Ck的基准图像登记在特定姿态基准图像存储单元85中(图37中骤310)。然后，特定姿态加权系数产生器90首先设置图像号码h＝1(步骤210)，然后从图像输入单元10输入具有图像号码h的学习图像(步骤200)，以便使用学习图像和基准图像来学习基准三维加权系数。
然后，标准化部件15使用从对象提取出的特征点来对准输入图像，并且产生标准化图像(步骤101)。匹配和姿态选择单元41计算输入图像和基准图像之间的距离值Dkj′(或相似度)(步骤145)，并且选择到模型(对象)距离值最小的基准图像(姿态候选者)之一，从而估计出最佳姿态(步骤155)。
然后，特定姿态加权系数产生器90使图像号码增加1(步骤211)。如果图像号码h等于或小于学***均误差，则可以根据Wkj＝A/Ekj来计算基准加权系数。
最后，特定姿态基准加权系数被登记在特定姿态加权系数存储单元95中(步骤235)。
下面说明第五实施例的优点。
根据本发明，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面来说明第五实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图39所示，基准加权系数存储单元95存储特定姿态基准加权系数Wkj。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图36中步骤100)。则，标准化部件15使用从对象提取出的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。在图40中示出了关于图12所示输入图像的标准化图像的示例。最后，加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的各个对象的特定姿态基准加权系数W1j，来计算标准化图像I′(r)和从特定姿态基准图像存储单元85获得的特定姿态基准图像R1j(r)之间的加权距离值D1j(或相似度)(步骤145)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。如果使用欧几里德距离，则根据Dkj＝∑rWkj(r){I‘(r)-Rkj(r)}2来计算加权。例如，对于图40所示的标准化图像，将姿态e3的R13选择为距离值最小的比较图像。
[第六实施例]
参考图41，根据本发明第六实施例的对象姿态估计和匹配***包括：图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态标准加权系数存储单元96以及登记单元9。登记单元9包括特定姿态基准图像登记器80。
图像输入单元10、标准化部件15以及特定姿态基准图像存储单元85按照与根据图35所示第五实施例的、由相同参考数字表示的组件相同的方式操作。特定姿态标准加权系数存储单元96存储特定姿态标准加权系数。加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数，来计算标准化图像和从特定姿态基准图像存储单元95获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。
下面参考图41和图42所示流程图来详细说明针对姿态估计的第六实施例整体操作。
首先，由图像输入单元10获得输入图像(图42中步骤100)。然后，标准化部件15使用从对象提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。最后，加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的各个对象的特定姿态基准图像之间的加权距离值(或相似度)(步骤146)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面说明第六实施例的优点。
根据本实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本实施例，因为持有代表多个对象的加权系数的平均的标准加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象保持有基准三维加权系数的情况。当登记时不必要捕获与基准图像相对应的学习图像。
下面说明第六实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图43所示，特定姿态标准加权系数存储单元96存储特定姿态标准加权系数W0j。可以通过平均针对每一个姿态的特定姿态基准加权系数或者学习准备的针对每一个姿态的学习基准图像，来确定特定姿态标准加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元12获得如图12所示的输入图像I(r)(图42中步骤100)。则，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。在图40中示出了关于图12所示输入图像的标准化图像的示例。最后，加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数W0j，来计算标准化图像I′(r)和从特定姿态基准图像存储单元85获得的各个对象的特定姿态基准图像R1j(r)之间的加权距离值D1j(或相似度)(步骤146)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
[第七实施例]
参考图44，根据本发明第七实施例的对象姿态估计和匹配***包括：图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态和变化基准加权系数存储单元97、变化估计器36、标准三维对象模型存储单元56以及登记单元8。登记单元8包括特定姿态基准图像登记器80、匹配和姿态选择单元41以及特定姿态和变化加权系数产生器91。
输入图像单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态基准图像登记器80以及匹配和姿态选择单元41按照与根据第五实施例的、由相同参考数字表示的组件相同的方式操作。
特定姿态和变化基准加权系数存储单元97存储特定姿态和变化加权稀释。标准三维对象模型存储单元56存储标准三维对象模型。
标准估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息以及从标准三维对象模型存储单元56获得的标准三维对象模型，来确定从标准化部件15获得的标准化图像和三维对象模型的区域之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器36根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40。
特定姿态和变化加权系数产生器91使用从匹配和姿态选择单元41获得的最佳姿态的基准图像和输入图像，通过针对从变化估计器36获得的每一个图像变化来学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且将产生的特定姿态和变化基准加权系数登记在特定姿态和变化基准加权系数存储单元97中。
下面参考图44和图45所示的流程图来详细说明针对姿态估计的第七实施例整体操作。
首先，由图像输入单元10获得输入图像(图45中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化基准加权系数存储单元97获得的特定姿态和变化基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面参考图44和图46所示流程图来详细说明针对登记的第七实施例整体操作。
首先，特定姿态基准图像登记器80将对象Ck的基准图像登记在特定姿态基准图像存储单元85中(图46中步骤310)。
然后，特定姿态和变化加权系数产生器91首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像(步骤200)，以便使用学习图像和基准图像来学习基准加权系数。
然后，标准化期间15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。匹配和姿态选择单元41计算输入图像和基准图像之间的距离值Dkj′(或相似度)(步骤145)，并且选择到模型(对象)距离值最小的基准图像(姿态候选者)之一，从而估计出最佳姿态(步骤155)。
然后，变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b(步骤181)。
然后，特定姿态和变化加权系数产生器91使图像号码增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。
如果图像号码h大于学习图像的号码N，则特定姿态和变化加权系数产生器91使用与所有学习图像相对应的最佳姿态的基准图像，关于每一个姿态和变化b，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数(步骤226)。
最后，特定姿态和变化加权系数产生器91将产生的特定姿态和变化基准加权系数登记在特定姿态和变化基准加权系数存储单元97中(步骤236)。
下面说明第七实施例的优点。
根据本实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，从标准化图像中估计变化，并且采用相应的加权系数，因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第七实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图47所示，特定姿态和变化基准加权系数存储单元97存储特定姿态和变化基准加权系数Wkjb。
下面说明关系模型C1的姿态估计。假设由图像输入单元12获得如图28所示的输入图像I(r)(图45中步骤100)。
然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。
变化估计器36确定使用从特定姿态基准图像存储单元85获得的基准图像R1j的姿态信息ej和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数Wkjb中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。根据基准图像的姿态信息和标准三维对象模型，确定基准图像的每一个象素与标准三维对象模型的哪一个区域相对应。因为利用假定的姿态使标准化图像与基准图像相匹配，使用标准化图像和基准图像之间的象素对应，来确定标准化图像的每一个象素与标准三维对象模型的哪一个区域相对应。根据给定区域的图像信息来估计变化的处理与第三实施例中的处理相同。例如，根据脸部右半和左半的平均亮度值，估计变化。因为确定了标准化图像的每一个象素与标准三维对象模型的哪一个区域相对应，可以使用标准化图像的象素的亮度值，来计算脸部的右半和左半的平均亮度值，并且可以估计变化。
如下估计照明变化：如果分别关于姿态信息e1，e2，e3来确定前照明方向(b＝2)、前照明方向(b＝2)和右照明方向(b＝1)，则选择特定姿态和变化加权系数W112，W122，W131。最后，加权匹配和姿态选择单元40使用从特定姿态和变化加权系数存储单元97获得的特定姿态和变化基准加权系数W1jb(r)，来计算标准化图像I′(r)和特定姿态基准图像R1j之间的加权距离值D1j(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。对于图40所示的标准化图像，当对于变化(照明条件)b＝1，由e3代表姿态和由W131代表特定姿态和变化加权系数时，距离值最小，并且选择距离值最小的比较图像R13。
[第八实施例]
参考图48，根据本发明第八实施例的对象姿态估计和匹配***包括：图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态和变化标准加权系数存储单元98、变化估计器36、标准三维对象模型存储单元56以及登记单元9。登记单元9包括特定姿态基准图像登记器80。
图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、变化估计器36、标准三维对象模型存储单元56以及特定姿态基准图像登记器80按照与根据图44所示第七实施例的、由相同参考数字表示的组件相同的方式操作。加权匹配和姿态选择单元使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化标准加权系数，来计算从标准化部件15获得的标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。
下面参考图44和图49所示流程图来详细说明针对姿态估计的第八实施例整体操作。
首先，由图像输入单元10获得输入图像(图49中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化标准三维加权系数存储单元98中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面说明第八实施例的优点。
根据第八实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本实施例，因为持有代表多个对象的加权系数的平均的标准加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象保持有基准三维加权系数的情况。当登记时不必要捕获与基准图像相对应的学习图像。
此外，根据本发明，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，从标准化图像中估计变化，并且采用相应的加权系数，因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第八实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图43所示，特定姿态和变化标准加权系数存储单元98存储特定姿态和变化标准加权系数W0jb。可以通过平均针对每一个姿态和变化的特定姿态和姿态基准加权系数或者针对每一个姿态和变化的准备的学习基准图像，来确定特定姿态和变化标准加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图49中步骤100)。
然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像R1j的姿态信息ej和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化标准三维加权系数存储单元98中的特定姿态和变化加权系数W0jb中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
如下估计照明变化：如果分别关于姿态信息e1，e2，e3来确定前照明方向(b＝2)、前照明方向(b＝2)和右照明方向(b＝1)，则选择特定姿态和变化加权系数W112，W122，W131。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化标准加权系数W0jb(r)，来计算标准化图像I′(r)和特定姿态基准图像R1j之间的加权距离值D1j(步骤147)，并且选择到对象距离值最小的基准图像(姿态)(步骤155)。
在本发明的第二和第四实施例中，使用基本点来确定标准三维加权系数和基准三维模型之间的对应，并且产生二维加权系数。然而，可以预先计算对应，并且可以将标准三维加权系数转换为基准三维加权系数，并且可以存储这种基准三维加权系数。
在本发明的第五到第八实施例中，关于每一个姿态(以及每一个变化)，使用特定姿态学习基准图像，来学习特定姿态基准加权系数、特定姿态标准加权系数、特定姿态和变化基准加权系数以及姿态和变换特定标准加权系数。然而，对于第一到第四实施例，可以使用基准三维对象模型，可以反转地将输入图像和基准图像之间的误差转换为三维对象模型上的误差，并且可以学习三维加权系数并基于姿态将其转换，从而产生加权系数。可以从学习基准图像中产生基准三维对象模型，或者可以使用三维形状测量设备来产生。不需要准备基于姿态的学习基准图像。
在第三、第四、第七和第八实施例中，说明了变化随着照明条件而发生。然而，变化不局限于发生在照明条件中。如果随着对象形状变形而发生变化(如果对象是人脸时脸部改变)，则使用给定区域的图像信息可以估计变化。例如，通过准备图像模板并且将眼或嘴与图像模板相匹配，可以估计眼的开合和嘴的开合。可选地，可以不执行变化的估计，然而可以将所有特定变化三维加权系数或特定姿态和变化加权系数用于执行加权匹配，并且可以选择距离值最小(相似度最大)的变化。
在本发明的每一个实施例中，对于姿态估计，使用加权系数并且计算加权距离。然而，如果要实现的是匹配，则对于姿态估计，可以执行不使用加权系数的距离计算来确定最佳姿态，并随后再次计算加权距离。
在本发明的每一个实施例中，根据输入图像(或标准化图像)和基准图像(或比较图像)之间的象素的误差的平均的倒数，确定加权系数。然而，加权系数不局限于按照上述方法来确定。除了对于基准图像的相同对象的输入图像，可以使用和学***均的平均误差并且由EQ k代表在另一个对象的学***均的平均误差，则例如根据(VQ k＝A′EQ k-/EQ k(A′指示标准化系数)，可以建立基准三维加权系数。
可以硬件实现或者通过将执行上述装置的功能的对象姿态估计和匹配程序(应用程序)加载到计算机的存储器中并控制计算机来执行作为根据本发明的对象姿态估计和匹配***的组件的装置的功能。对象姿态估计和匹配***被存储在记录介质中，例如磁盘、半导体存储器等，并且从记录介质加载到计算机中。
尽管上面已经说明了本发明的优选实施例，本发明不局限于上述实施例，而是可以按照在其技术概念范围内的各种方式来修改。

Claims (34)

1.一种对象姿态估计和匹配***，包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维加权系数；
姿态候选者确定装置，用于针对对象确定姿态候选者；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
2.一种对象姿态估计和匹配***，包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
标准三维加权系数存储装置，用于预先存储标准三维加权系数；
基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；
标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；
姿态候选者确定装置，用于针对对象确定姿态候选者；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
3.一种对象姿态估计和匹配***，包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
特定变化基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；
姿态候选者确定装置，用于针对对象确定姿态候选者；
变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
4.一种对象姿态估计和匹配***，包括：
基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；
特定变化标准三维加权系数存储装置，用于预先存储与图像变化相对应的标准三维加权系数；
基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；
标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；
姿态候选者确定装置，用于针对对象确定姿态候选者；
变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
5.根据权利要求1所述的对象姿态估计和匹配***，还包括：
三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；
匹配和姿态选择装置，用于计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及
三维加权系数产生装置，用于使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数登记在所述基准三维加权系数存储装置中。
6.根据权利要求3所述的对象姿态估计和匹配***，还包括：
三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；
匹配和姿态选择装置，用于计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及
三维加权系数产生装置，用于使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，关于输入图像的各个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且将产生的特定变化基准三维加权系数登记在所述特定变化基准三维加权系数存储装置中。
7.根据权利要求2或4所述的对象姿态估计和匹配***，还包括：
三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；
三维基本点登记装置，用于关于所述基准三维对象模型，确定基准三维基本点，并且将确定的基准三维基本点登记在所述基准三维基本点存储装置中。
8.一种对象姿态估计和匹配***，包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态基准加权系数存储装置，用于预先存储与所述基准图像相对应的特定姿态基准加权系数；
标准化装置，用于使输入图像标准化，以产生标准化图像；以及
加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
9.一种对象姿态估计和匹配***，包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态标准加权系数存储装置，用于预先存储特定姿态标准加权系数；
标准化装置，用于使输入图像标准化，以产生标准化图像；以及
加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
10.一种对象姿态估计和匹配***，包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态和变化基准加权系数存储装置，用于预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；
标准三维对象模型存储装置，用于预先存储标准三维对象模型；
标准化装置，用于使输入图像标准化，以产生标准化图像；
变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
11.一种对象姿态估计和匹配***，包括：
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；
特定姿态和变化标准加权系数存储装置，用于预先存储与图像变化相对应的特定姿态和变化标准加权系数；
标准三维对象模型存储装置，用于预先存储标准三维对象模型；
标准化装置，用于使输入图像标准化，以产生标准化图像；
变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
12.根据权利要求8所述的对象姿态估计和匹配***，还包括：
特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中；
匹配和姿态选择装置，用于计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及
特定姿态加权系数产生装置，用于使用输入图像和最佳姿态的基准图像，关于各个姿态，通过学习每一个象素的匹配的重要程度，来产生特定姿态基准加权系数，并且将产生的特定姿态基准加权系数登记在所述特定姿态加权系数存储装置中。
13.根据权利要求10所述的对象姿态估计和匹配***，还包括：
特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中；
匹配和姿态选择装置，用于计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及
特定姿态和变化加权系数产生装置，用于使用输入图像和最佳姿态的基准图像，关于所述输入图像的各个姿态和各个图像变化，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且将产生的特定姿态和变化基准加权系数登记在所述特定姿态和变化加权系数存储装置中。
14.根据权利要求9或11所述的对象姿态估计和匹配***，还包括：
特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中。
15.根据权利要求3、4、6、7、10、11、13和14之一所述的对象姿态估计和匹配***，其中，所述图像变化包括照明条件中的变化。
16.根据权利要求3、4、6、7、10、11、13和14之一所述的对象姿态估计和匹配***，其中，所述图像变化包括形状变形。
17.根据权利要求1到14之一所述的对象姿态估计和匹配***，其中，所述对象包括脸部。
18.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的基准三维对象模型；
预先存储与所述基准三维对象模型相对应的基准三维加权系数；
针对对象，确定姿态候选者；
根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
19.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的基准三维对象模型；
预先存储标准三维加权系数；
预先存储与所述基准三维对象模型相对应的基准三维基本点；
预先存储与标准三维对象模型相对应的标准三维基本点；
针对对象，确定姿态候选者；
根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；
使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
20.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的基准三维对象模型；
预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；
针对对象，确定姿态候选者；
使用所述姿态候选者和所述基准三维对象模型，确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
根据所述基准三维对象模型，产生接近于基于所述姿态候选者的所述输入图像的比较图像；
使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
21.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的基准三维对象模型；
预先存储与图像变化相对应的标准三维加权系数；
预先存储与所述基准三维对象模型相对应的基准三维基本点；
预先存储与标准三维对象模型相对应的标准三维基本点；
针对对象，确定姿态候选者；
使用所述姿态候选者和所述基准三维对象模型，确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；
根据所述基准三维对象模型，产生接近于基于所述姿态候选者的所述输入图像的比较图像；
使用所述标准三维基本点和所述基准三维基本点，确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及
使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
22.根据权利要求18所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤：
登记基准三维对象模型；
计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及
使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数。
23.根据权利要求20所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤：
登记基准三维对象模型；
计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及
使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，关于输入图像的各个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且登记产生的特定变化基准三维加权系数。
24.根据权利要求19或21所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤：
登记基准三维对象模型；
关于所述基准三维对象模型，确定基准三维基本点，并且登记确定的基准三维基本点。
25.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的特定姿态基准图像；
预先存储与所述基准图像相对应的特定姿态基准加权系数；
使输入图像标准化，以产生标准化图像；以及
使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
26.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的特定姿态基准图像；
预先存储特定姿态标准加权系数；
使输入图像标准化，以产生标准化图像；以及
使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
27.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的特定姿态基准图像；
预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；
预先存储标准三维对象模型；
使输入图像标准化，以产生标准化图像；
使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
28.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
预先存储对象的特定姿态基准图像；
预先存储与图像变化相对应的特定姿态和变化标准加权系数；
预先存储标准三维对象模型；
使输入图像标准化，以产生标准化图像；
使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及
使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
29.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
登记特定姿态基准图像；
计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及
使用输入图像和最佳姿态的基准图像，关于各个姿态，通过学习每一个象素的匹配的重要程度，来产生特定姿态基准加权系数，并且登记产生的特定姿态基准加权系数。
30.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤：
登记特定姿态基准图像；
计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及
使用输入图像和最佳姿态的基准图像，关于所述输入图像的各个姿态和各个图像变化，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且登记产生的特定姿态和变化基准加权系数。
31.根据权利要求26或28所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤：
登记特定姿态基准图像。
32.根据权利要求20、21、23、24、27、28、30和31之一所述的对象姿态估计和匹配程序，其中，所述图像变化包括照明条件中的变化。
33.根据权利要求20、21、23、24、27、28、30和31之一所述的对象姿态估计和匹配程序，其中，所述图像变化包括形状变形。
34.根据权利要求14到31之一所述的对象姿态估计和匹配程序，其中，所述对象包括脸部。
CNA2004800249057A 2003-08-29 2004-08-27 使用加权信息的对象姿态估计和匹配*** Pending CN1846232A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP305789/2003 2003-08-29
JP2003305789 2003-08-29

Publications (1)

Publication Number Publication Date
CN1846232A true CN1846232A (zh) 2006-10-11

Family

ID=34308390

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800249057A Pending CN1846232A (zh) 2003-08-29 2004-08-27 使用加权信息的对象姿态估计和匹配***

Country Status (7)

Country Link
US (1) US7706601B2 (zh)
EP (1) EP1667068A4 (zh)
JP (1) JP4553141B2 (zh)
KR (1) KR100831187B1 (zh)
CN (1) CN1846232A (zh)
AU (1) AU2004273275A1 (zh)
WO (1) WO2005027048A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782723A (zh) * 2010-02-25 2012-11-14 佳能株式会社 位置和方位估计方法及其设备
CN106650723A (zh) * 2009-10-19 2017-05-10 Metaio有限公司 用于确定相机姿态以及用于识别真实环境的对象的方法
US11859982B2 (en) 2016-09-02 2024-01-02 Apple Inc. System for determining position both indoor and outdoor

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165350B2 (ja) * 2003-09-08 2008-10-15 松下電工株式会社 画像処理方法並びに画像処理装置
JP4964057B2 (ja) * 2007-08-08 2012-06-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4961582B2 (ja) * 2008-04-07 2012-06-27 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
IL197996A (en) 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
US8442305B2 (en) * 2009-06-30 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for determining 3D poses using points and lines
JP5597956B2 (ja) * 2009-09-04 2014-10-01 株式会社ニコン 音声データ合成装置
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックＩｐマネジメント株式会社 顔画像登録装置および方法
JP5652649B2 (ja) * 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP5839929B2 (ja) * 2010-11-19 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2012113732A1 (en) 2011-02-25 2012-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Determining model parameters based on transforming a model of an object
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
US20210390330A1 (en) * 2012-12-20 2021-12-16 Sarine Technologies Ltd. System and method for determining the traceability of gemstones based on gemstone modeling
CN103927729A (zh) * 2013-01-10 2014-07-16 清华大学 图像处理方法及图像处理装置
JP6430102B2 (ja) * 2013-05-21 2018-11-28 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム
US9280827B2 (en) * 2013-07-03 2016-03-08 Mitsubishi Electric Research Laboratories, Inc. Method for determining object poses using weighted features
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
JP6624794B2 (ja) * 2015-03-11 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
US20180225799A1 (en) * 2017-02-03 2018-08-09 Cognex Corporation System and method for scoring color candidate poses against a color image in a vision system
CN108269309B (zh) * 2018-02-11 2021-04-06 长沙市凯旭达测控技术有限公司 一种跳伞操纵动作量化评估方法及***
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10846563B2 (en) 2018-09-12 2020-11-24 Cognex Corporation Methods and apparatus for generating a dense field of three dimensional data for machine vision
US10878299B2 (en) * 2018-09-12 2020-12-29 Cognex Corporation Methods and apparatus for testing multiple fields for machine vision
US10825199B2 (en) 2018-09-12 2020-11-03 Cognex Corporation Methods and apparatus for processing image data for machine vision
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
WO2022241574A1 (en) * 2021-05-20 2022-11-24 Eigen Innovations Inc. Texture mapping to polygonal models for industrial inspections
WO2024059953A1 (en) * 2022-09-23 2024-03-28 Eigen Innovations Inc. Inspection camera deployment solution

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4935810A (en) * 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
EP0511400B1 (en) * 1990-11-19 1997-03-12 Olympus Optical Co., Ltd. Device for processing image of endoscope and method thereof
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US6850646B1 (en) * 1997-12-31 2005-02-01 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6721444B1 (en) * 1999-03-19 2004-04-13 Matsushita Electric Works, Ltd. 3-dimensional object recognition method and bin-picking system using the method
JP2000306095A (ja) 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
JP2000306099A (ja) 1999-04-20 2000-11-02 Ntt Data Corp 三次元物体の認識方法及びシステム、記録媒体
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP4219521B2 (ja) * 2000-02-07 2009-02-04 富士フイルム株式会社 マッチング方法および装置並びに記録媒体
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2002024830A (ja) 2000-07-05 2002-01-25 Nec Corp 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4167390B2 (ja) * 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP4384366B2 (ja) * 2001-01-12 2009-12-16 富士通株式会社 画像照合処理システムおよび画像照合方法
JP2002288687A (ja) * 2001-03-22 2002-10-04 Olympus Optical Co Ltd 特徴量算出装置および方法
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
EP1677250B9 (en) * 2003-10-21 2012-10-24 NEC Corporation Image collation system and image collation method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650723A (zh) * 2009-10-19 2017-05-10 Metaio有限公司 用于确定相机姿态以及用于识别真实环境的对象的方法
CN102782723A (zh) * 2010-02-25 2012-11-14 佳能株式会社 位置和方位估计方法及其设备
US9153030B2 (en) 2010-02-25 2015-10-06 Canon Kabushiki Kaisha Position and orientation estimation method and apparatus therefor
US11859982B2 (en) 2016-09-02 2024-01-02 Apple Inc. System for determining position both indoor and outdoor

Also Published As

Publication number Publication date
JP4553141B2 (ja) 2010-09-29
EP1667068A1 (en) 2006-06-07
JPWO2005027048A1 (ja) 2007-11-08
KR20060057627A (ko) 2006-05-26
US20060165293A1 (en) 2006-07-27
KR100831187B1 (ko) 2008-05-21
AU2004273275A1 (en) 2005-03-24
EP1667068A4 (en) 2011-09-28
US7706601B2 (en) 2010-04-27
WO2005027048A1 (ja) 2005-03-24

Similar Documents

Publication Publication Date Title
CN1846232A (zh) 使用加权信息的对象姿态估计和匹配***
CN1213592C (zh) 采用自适应二值化的图象处理方法和设备
CN1254769C (zh) 图像处理方法和装置
CN1324873C (zh) 边界检测方法、图像处理设备和复印机
CN100338632C (zh) 标记放置信息估计方法和信息处理设备
CN1203662C (zh) 自动灰度等级补正装置以及方法
CN100345165C (zh) 基于图像的超现实主义三维脸部建模的方法和设备
CN1947150A (zh) 虹彩注册方法、虹彩注册装置及虹彩注册程序
CN1801183A (zh) 信息处理装置和方法以及程序
CN1940965A (zh) 信息处理设备及其控制方法
CN1926575A (zh) 图像相似度计算***、图像搜索***、图像相似度计算方法和图像相似度计算程序
CN1269081C (zh) 图象角度检测装置及具备该装置的扫描线内插装置
CN1847789A (zh) 测量位置及姿态的方法和装置
CN1691130A (zh) 图像处理设备、方法和程序
CN1091906C (zh) 模式识别方法和***以及模式数据处理***
CN1774031A (zh) 图像处理装置及图像处理方法、以及计算机程序
CN1599406A (zh) 图像处理方法和装置及其程序
CN1755709A (zh) 图像匹配装置、匹配图像方法及计算机程序产品
CN1684492A (zh) 图像词典作成装置、编码装置、图像词典作成方法
CN1151465C (zh) 利用候选表进行分类的模式识别设备及其方法
CN1202065A (zh) 图像检测方法、图像检测装置、图像处理方法、图像处理装置以及媒体
CN101038672A (zh) 一种图像跟踪方法及***
CN1812479A (zh) 图像处理装置、方法和输出装置、摄像装置、程序和介质
CN1856801A (zh) 逐像素有差别和准正则地修改数字图像的方法和***
CN1300505A (zh) 固体彩色摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1094828

Country of ref document: HK

AD01 Patent right deemed abandoned

Effective date of abandoning: 20061011

C20 Patent right or utility model deemed to be abandoned or is abandoned
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1094828

Country of ref document: HK