CN103562964A - 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质 - Google Patents

图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质 Download PDF

Info

Publication number
CN103562964A
CN103562964A CN201280025429.5A CN201280025429A CN103562964A CN 103562964 A CN103562964 A CN 103562964A CN 201280025429 A CN201280025429 A CN 201280025429A CN 103562964 A CN103562964 A CN 103562964A
Authority
CN
China
Prior art keywords
point
mentioned
positional information
image
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280025429.5A
Other languages
English (en)
Other versions
CN103562964B (zh
Inventor
入江淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN103562964A publication Critical patent/CN103562964A/zh
Application granted granted Critical
Publication of CN103562964B publication Critical patent/CN103562964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

特征量提取部（26）针对对与图像上的部位点对应的基准点进行采样而得的多个采样点中的每个采样点，从采样点的像素或像素组中提取特征量，以提取与基准点对应的特征量组，位置信息确定部（29）参照与基准点对应的特征量组与表示部位点相对于基准点的相对位置的位置信息之间的对应关系的LRF函数，确定与特征量提取部（26）所提取的特征量组对应的位置信息，部位点确定部（30）将由位置信息确定部（29）确定的位置信息示出的位置作为物体的部位点。

Description

图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
技术领域
本发明涉及一种用于检测眼、嘴等物体的轮廓点、特征点等的部位点的图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质。
背景技术
由于从脸部图像中检测眼、嘴的轮廓点的技术能够应用在用于认证脸部或推断表情的前段处理、生成肖像画等的应用程序等，所以，以往人们一直积极地研究这项技术。
例如，在专利文献1中记载了如下的技术：将用户指定的眼、嘴等的中心点作为中心，来设定眼、嘴等的探索范围，在所设定的探索范围内进行扫描，基于颜色成分等，来提取眼区域、嘴区域等。另外，在专利文献1中记载了如下的技术：确定所提取的眼区域、嘴区域等左右的端点，基于左右的端点，设定用于探索眼区域、嘴区域等的上下的端点的探索范围，提取上下的端点。
另外，在专利文献2中记载了如下的技术：在提取眼的轮廓点的情况下，以眼左右的端点为基准点，基于基准点，拟合（fitting）动态的轮廓模型，利用能量最小化的方法来提取眼的轮廓点。
另外，作为根据脸部图像来检测眼、嘴的轮廓点的方法，有基于形状模型或纹理模型的拟合方法。具体来说，有非专利文献1、2及专利文献3、4所述的ASM（Active Shape Model：主动形状模型）、AAM（Active AppearanceModel：主动外观模型）、ASAM（Active Structure Appearance Model：主动结构外观模型）等的拟合方法。
ASM、AAM及ASAM的形状模型，是以很少的参数来表现脸部的形状、纹理的模型。这些模型对脸部特征点坐标信息、纹理信息应用主成分分析，在由此得到的基础向量中，仅利用特征值大的基础向量来表现脸部的特征点坐标。由此，不仅能够利用很少的数据表现脸部的形状，还能够保证保持脸部的形状的约束条件。ASM及AAM通过能量最小化使其模型与脸部图像拟合，ASAM通过模型参数误差计算使其模型与脸部图像拟合，由此，检测脸部的特征点坐标。
现有技术文献
专利文献
专利文献1：日本国公开专利公报“日本特开平9-6964号公报（1997年1月10日公开）”
专利文献2：日本国公开专利公报“日本特开2005-339288号公报（2005年12月8日公开）”
专利文献3：日本国公开专利公报“专利第4093273号公报（2008年6月4日发行）”
专利文献4：日本国公开专利公报“专利第4501937号公报（2010年7月14日发行）”
非专利文献
非专利文献1：T.F.Cootes,et al，“Active Shape Models-Their Trainingand Application”，CVIU、Vol.6，No.1，p.38-59，1995年
非专利文献2：T.F.Cootes,et al，“Active appearance models”，ECCV’98Vol.II，Freiburg，Germany，1998年
发明内容
发明要解决的问题
通过嘴的形状、眼的形状或这些形状的组合等，使脸部的表情多样地变化，具有各种各样的变化状态。因此，难以完全预测到变化成各种各样的形状的眼、嘴等物体的形状状态。因此，上述的现有技术难以高精度地检测眼、嘴的轮廓点等的形状发生很大变化的物体的轮廓点。
具体来说，在专利文献1所述的技术中，在眼、嘴等的形状发生预想不到的变化，而导致眼、嘴等的轮廓点都超出探索范围的情况下，不能准确地检测轮廓点。另一方面，在为了覆盖多样的嘴的形状、眼的形状，而设定了广泛的探索范围的情况下，利用专利文献1所述的技术在探索范围内通过扫描来进行检测，因此，处理负担变得非常大。因此，在专利文献1所述的技术中，设定广泛的探索范围并不实用。因此，专利文献1所述的技术难以高精度地形状发生很大变化的物体的轮廓点。
另外，在专利文献2所述的技术中，在物体的形状与所使用的动态的轮廓模型有偏差的情况下，提取物体的轮廓点需要花费非常多的时间，或者，不能够提取准确的轮廓点。另一方面，在为了覆盖多样的嘴的形状、眼的形状，而准备了各种各样的模型的情况下，虽然轮廓点的提取的精度上升，但装置事先存储的数据大小变大，或者处理负担变大。因此，在专利文献2所述的技术中，准备各种各样的模型并不实用。因此，专利文献2所述的技术难以高精度地形状发生很大变化的物体的轮廓点。
另外，ASM及AAM存在探索处理花费很多计算时间的缺点。另外，AAM需要针对每个人而准备形状模型，存在对他人的脸部进行拟合的精度低的问题。
另外，相对于ASM及AAM来说，ASAM能够实现高速高精度化。ASAM针对表情变化少的脸部，能够通过将脸部的形状作为约束条件来获得高精度的检测结果。然而，ASAM针对嘴、眼等的开闭状态、形状状态变化很大的表情，则不能够高精度地进行检测。这是因为，ASAM所使用的脸部的形状模型为表现脸部整体的形状的全局模型，不能准确地检测出针对眼、嘴等各部位的变化，例如无法准确检测出开闭、形状变化等变化的表现。
本发明是鉴于上述问题点而产生的，本发明的目的在于，即使是变化成各种各样的形状的物体，也能够实现用于高精度地检测图像上的物体的形状的图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质。
用于解决问题的手段
为了解决上述问题，本发明的图像处理装置从图像中检测物体的部位点，其特征在于，具有：基准点确定单元，其在上述图像上确定与上述部位点对应的基准点；特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定单元，其参照对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；检测侧部位点确定单元，其将由上述位置信息确定单元确定的位置信息所表示的位置，作为上述物体的部位点。
为了解决上述问题，本发明的图像处理方法从图像中检测物体的部位点，其特征在于，包括：基准点确定步骤，在上述图像上确定与上述部位点对应的基准点；特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定步骤，参照对应关系信息，确定与在上述特征量提取步骤中提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；部位点确定步骤，将在上述位置信息确定步骤中确定的位置信息所表示的位置，作为上述物体的部位点。
根据上述的结构，上述位置信息确定单元参照表示特征量组与位置信息之间的对应关系的对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该特征量组是指，从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，该特征位置信息是指，表示上述部位点相对于上述基准点的相对位置的位置信息，检测侧部位点确定单元将由上述位置信息确定单元确定的位置信息所表示的位置作为上述物体的部位点。
本发明的发明人们发现：在图像上，例如在从包括眼、嘴等的器官的区域中提取的特征量组与图像上的器官的轮廓点、特征点相对于基准点的相对位置之间，存在关联关系。基于该见解，通过参照表示上述特征量组与上述位置信息之间的对应关系的对应关系信息，即使是形状变化的物体，也能够高精度地检测图像上的物体的部位点。即，即使在物体的形状变化的情况下，上述图像处理装置及上述图像处理方法也达到能够高精度地检测物体的部位点的效果。
发明的效果
如上所述，本发明的图像处理装置具有：基准点确定单元，其在上述图像上确定与上述部位点对应的基准点；特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定单元，其参照对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；检测侧部位点确定单元，其将由上述位置信息确定单元确定的位置信息所表示的位置，作为上述物体的部位点。
另外，本发明的图像处理方法包括：基准点确定步骤，在上述图像上确定与上述部位点对应的基准点；特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定步骤，参照对应关系信息，确定与在上述特征量提取步骤中提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；部位点确定步骤，将在上述位置信息确定步骤中确定的位置信息所表示的位置，作为上述物体的部位点。
因此，上述图像处理装置及上述图像处理方法达到如下的效果：在物体的形状变化的情况下，也能够高精度地检测物体的部位点。
附图说明
图1是表示本发明的实施方式的图，是表示部位点检测装置的主要部分结构的框图。
图2是表示阶段性拟合的概要示意图。
图3是表示本发明的实施方式的图，LRF学习装置的主要部分结构的框图。
图4是表示基准点确定方法及位置信息生成方法的概要示意图。
图5是表示采样位置确定方法及特征量提取方法的概要示意图。
图6是表示位置信息与特征量组之间的关联关系的LRF函数的概要示意图。
图7是表示包括保存在LRF学习装置的存储部内的LRF函数在内的LRF信息的一个例子的图。
图8是表示作为对LRF函数的输入数据的特征量组与作为输出数据的位置信息之间的对应关系的图。
图9是表示LRF学习装置所执行的LRF学习方法的一个例子的图。
图10是利用图像示意性地表示LRF学习方法所包含的各处理的状态的迁移图。
图11是表示部位点检测装置所执行的部位点检测方法的一个例子的图。
图12是利用图像示意性地表示部位点检测方法所包含的各处理的状态的迁移图。
具体实施方式
（本发明的概要）
本发明的发明人们发现：在图像上，在从包括眼、嘴等器官的区域中提取出的特征量组，与以图像上的基准点为原点的器官的轮廓点、特征点的位置之间，存在关联关系。基于该见解，通过回归分析生成表示上述特征量组与上述位置之间的对应关系的模型，发明了使用该模型的检测方法。
通过利用该检测方法，不仅能够准确地检测事先设想的表情，而且，即使在眼、嘴等极度开闭那样的表情等的各种各样的条件下，也能够准确地检测脸部、各器官。下面，将本发明的发明人们发明的检测方法称为“LocalRegression Fitting”（LRF：局部回归拟合）检测方法，将用于生成上述模型的学习方法称为LRF学习方法。
另外，本发明的发明人们提出了这样的方法：将LRF检测方法与现有的捕捉脸部全局形状的全局拟合方法组合使用，是能够准确检测脸部、各器官的最佳方法。具体来说，提出了组合了全局拟合和局部拟合（LRF检测方法）的阶段性拟合，该全局拟合是指，利用基于ASAM等的学习方法的全局模型来捕捉脸部全局形状的拟合，该局部拟合是指，利用基于LRF学习方法而针对脸部每个器官的局部模型来分别捕捉各器官的详细形状的拟合。
更详细来说，如图2所示，首先，在阶段性拟合中，通过全局拟合来检测太阳穴（两处）、左右的眉毛的眉头及眉梢、两眼的内眼角及外眼角、鼻孔（两处）、嘴角（两处）以及下巴等。然后，通过LRF检测方法，来检测其它的脸部、眉、目、鼻及嘴的轮廓点。基于通过全局拟合及LRF检测方法检测出的轮廓点，检测脸部及各器官的轮廓。
由此，即使对于不能利用全局模型表现的表情，也能够高精度地检测出脸部的轮廓。而且，通过设计成这种阶段结构，能够减少因全局拟合而产生的很大的误检测，并且，即使是表情变化的脸部图像，也能够利用局部拟合准确地检测脸部轮廓特征点。
以下，基于图1～图16，针对本发明的一个实施方式的部位点检测装置（图像处理装置）和LRF学习装置（信息生成装置）进行说明，其中，该部位点检测装置利用LRF检测方法检测图像上的物体的轮廓点、特征点等的部位点，该LRF学习装置利用LRF学习方法生成模型。此外，以下，将部位点检测装置和LRF学习装置作为彼此分离的装置进行说明，但部位点检测装置及LRF学习装置也可以为一体的装置。
（LRF学习装置的结构）
首先，基于图3，针对LRF学习装置进行说明。LRF学习装置是生成LRF函数（对应关系信息）的装置，该LRF函数表示，在由其它装置获取的图像或利用搭载在本装置上的摄像头拍摄而得的图像中，物体的部位点相对于图像上的基准点的相对位置与根据基于该部位点而从图像上的规定位置提取的特征量组之间的对应关系。
LRF学习装置例如可以为PC（个人计算机）、数码相机、手机、PDA（Personal Digital Assistant：个人数字助理）、游戏机、拍摄并印刷照片的装置、编辑图像的装置等。
在本实施方式中，不限于将具有学习上述对应关系的对象的部位点的物体设为人类的眼、嘴等。例如，可以为狗、猫等的动物的脸部、器官等，还可以为手机、电视机等，还可以为建筑物、云彩等。
物体的部位点是指，在图像上的物体的区域内的点。具体来说，例如在物体为眼的情况下，部位点是指眼的轮廓点、瞳孔点等。在此，将物体的部位点称为学习对象点，将具有学习对象点的物体称为学习对象物，其中，物体的部位点为LRF学习装置学习上述对应关系的对象。
图3是表示LRF学习装置2的主要部分结构的一个例子的框图。如图3所示，LRF学习装置2具有控制部16、存储部17、图像输入部13、操作部（输入单元）14及显示部15。此外，LRF学习装置2还可以具有用于与其它的装置通信的通信部、声音输入部、声音输出部等的设备，由于与发明的特征点无关，所以不示出这些设备。
图像输入部13从外部的图像提供装置（图示省略）接收图像。图像提供装置只要为能够将所保持的图像或获取的图像提供至其它装置即可，可以是任意装置。例如，图像提供装置为数码相机、PC、手机、PDA、游戏机、数字电视机、USB（Universal Serial Bus：通用串行总线）存储器等的存储装置等。此外，也可以取代图像输入部13，而使LRF学习装置2搭载摄像头。
操作部14用于使用户向LRF学习装置2输入指示信号，来操作LRF学习装置2。操作部14可以由键盘、鼠标、小型键盘（Keypad）、操作按钮等的输入设备等构成。另外，可以为操作部14和显示部15一体构成的触摸屏。另外，操作部14可以为与LRF学习装置2分离的遥控器等的远程控制装置。
显示部15按照控制部16的指示来显示图像。显示部15只要按照控制部16的指示来显示图像即可，例如，能够应用LCD（液晶显示器）、有机EL显示器、等离子显示器等。
控制部16通过执行从存储部17读取至临时存储部（图示省略）的程序，来进行各种运算，并且统一控制LRF学习装置2所具有的各部分。
在本实施方式中，在控制部16中，作为功能框而具有：图像获取部（图像获取单元）21、区域截取部22、基准点确定部（基准点确定单元）23、部位点确定部（学习侧部位点确定单元）24、采样位置确定部（采样位置确定单元）25、特征量提取部（特征量提取单元）26、位置信息生成部（位置信息生成单元）27及LRF函数计算部（对应关系信息生成单元）28。CPU（centralprocessing unit：中央处理器）将由ROM（read only memory：只读存储器）等实现的存储装置所存储的程序读取至采用RAM（random access memory：随机存取存储器）等的临时存储部，并执行该程序，来实现控制部16的这些功能框（21～28）。
图像获取部21获取经由图像输入部13输入的图像。图像获取部21向区域截取部22输出所获取的图像。此外，在存储部17内存储有图像的情况下，图像获取部21可以从存储部17读取图像。
区域截取部22基于规定的学习对象区域图像提取方法，从所获取的图像中，提取包含学习对象点的区域的图像即学习对象区域图像。另外，区域截取部22基于规定的标准化方法，将所提取的学习对象区域图像标准化，生成标准化图像。区域截取部22向基准点确定部23、部位点确定部24及采样位置确定部25输出所生成的标准化图像。
具体来说，例如，在学习对象物为“眼”或“嘴”的情况下，区域截取部22从所获取的图像中提取脸部图像，将所提取的脸部图像修正为例如100像素×100像素的图像，来生成标准化图像。
在此，只要事先针对物体的每个部位点（学习对象点）规定学习对象区域图像提取方法及标准化方法即可，具体方法可以为任意的。另外，以下，将作为标准化图像的原始图像即图像获取部21所获取的图像称为原图像。
基准点确定部23从区域截取部22获取标准化图像，将基于规定的基准点确定方法而获取的标准化图像上的规定的点，确定为基准点。基准点确定部23向位置信息生成部27输出基准坐标，该基准坐标为所确定的基准点在标准化图像上的坐标。
具体来说，如图4所示，例如，在学习对象物为“眼”的情况下，基准点确定部23将标准化图像上的眼的中心点，确定为基准点。此时，基准点确定部23可以在显示部15上显示标准化图像，指示用户指定眼的中心点，将用户所指定的点作为基准点。另外，基准点确定部23也可以基于在区域截取部22提取脸部图像时确定的眼的内眼角点及外眼角点，将内眼角点及外眼角点的中点确定为基准点。另外，基准点确定部23也可以参照与原图像建立了对应关系的元数据（基准点位置信息），基于用元数据表示的眼的中心点的位置，利用仿射变换等确定基准点。在该情况下，在LRF学习装置2执行学习之前，事先，在各原图像上确认原图像上的眼的中心点的位置，并将包括表示所确定的眼的中心点的位置的信息的元数据与原图像建立对应关系。此外，在元数据中，也可以取代表示眼的中心点的位置的信息，而包括用于确定眼的中心点的位置的信息（例如，内眼角点、外眼角点等）。
此外，基准点只要为标准化图像上的点，无论是哪一点均可。即，在例如学习对象物为“眼”的情况下，也可以将内眼角点或外眼角点作为基准点，也可以将脸部的中心点（标准化图像的中心点）作为基准点，也可以将标准化图像的左上的端点等作为基准点。
只要事先针对物体的每个部位点（学习对象点）规定基准点确定方法即可，具体的方法可以是任意的。
部位点确定部24从区域截取部22获取标准化图像，基于从操作部14输入的用户的指示，确定所获取的标准化图像上的学习对象点。部位点确定部24向位置信息生成部27输出部位坐标，部位坐标为所确定的学习对象点的标准化图像上的坐标。
具体来说，例如，在学习对象点为作为眼的轮廓点的“上眼睑点”的情况下，部位点确定部24在显示部15显示标准化图像，指示用户指定眼的上眼睑点，将用户指定的点确定为学习对象点。另外，部位点确定部24也可以参照与原图像建立了对应关系的元数据（部位点位置信息），基于用元数据表示的眼的上眼睑点的位置，利用仿射变换等确定学习对象点。在该情况下，在LRF学习装置2执行学习之前，事先在各原图像上确定原图像上的眼的上眼睑点的位置，将包括表示所确定的眼的上眼睑点的位置的信息的元数据与原图像建立对应关系。
在图4示出的例子中，除了上眼睑点以外，还可以将下眼睑点、内眼角点及外眼角点确定为学习对象点。此外，上眼睑点是指，眼的轮廓点所形成的上侧的圆弧的顶点。另外，下眼睑点是指，眼的轮廓点所形成的下侧的圆弧的顶点。
采样位置确定部25从区域截取部22获取标准化图像，基于规定的采样位置确定方法，在标准化图像上的规定的范围内确定与基准点（部位点）对应的多个采样点。在此，将上述规定的范围称为采样范围。
只要事先针对物体的每个部位点（学习对象点）规定采样位置确定方法即可，可以为任何方法。
具体来说，采样位置确定部25所确定的采样点只要在采样范围内即可，可以为任何一点。例如，采样位置确定部25可以将采样范围内的全部像素作为采样点。采样位置确定部25可以规则地或不规则地选择采样范围内的像素，将所选择的像素作为采样点。另外，采样位置确定部25将采样范围划分成多个区块，将区块的中心点作为采样点。
在此，上述的采样范围，只要为在标准化图像上包括认为是学习对象点所在的区域的范围即可，可以为任何范围。例如，将包括认为是学习对象点所在的区域在内的n像素×m像素的范围作为采样范围。另外，认为是学习对象点所在的区域可以为标准化图像上的规定的位置、具有规定大小的区域。例如，在上眼睑点为学习对象点的情况下，可以根据内眼角点及外眼角点确定眼的中心点，根据眼的中心点将上方的规定范围作为认为是学习对象点所在的区域。
另外，可以将包括认为是学习对象物所在的区域的范围作为采样范围。具体来说，如图5所示，在学习对象物为眼的情况下，在标准化图像中，可以将覆盖认为是眼所在的区域的范围作为采样范围，例如，如上所述，根据内眼角点及外眼角点确定眼的中心点，可以将以眼的中心点为中心的i像素×j像素的范围作为采样范围。
此外，采样范围的形状不限于i像素×j像素的矩形。采样范围的形状可以为任意的，例如，可以为其它的多角形或圆形。在图5示出的例子中，由于将覆盖认为是眼所在的区域的范围作为采样范围，所以采样范围的形状为从矩形削去四个角后的形状。
特征量提取部26基于规定的特征量提取方法，针对采样位置确定部25所确定的每个采样点，从采样点的像素或包括采样点的像素的像素组中提取特征量。特征量提取部26针对每个部位点，生成由分别与各采样点对应的多个特征量构成的特征量组。
换言之，特征量提取部26针对与部位点对应的基准点所对应的多个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组。
在此，只要事先针对物体的每个部位点（学习对象点）规定特征量提取方法即可，可以为任何的方法。
具体来说，特征量提取部26所提取的特征量可以为任意的。例如，可以为亮度值、边缘信息、频率特性（Gabor、Haar（哈尔特征）等）、亮度斜率特征量（SIFT、HOG等）或由这些组合的特征量。
另外，在特征量提取部26从包括具有采样点的像素的像素组中提取特征量的情况下，可以基于像素组所包含的全部像素的值的平均值或中央值，提取特征量。另外，在该情况下，特征量提取部26可以基于像素组所包含的一个或多个像素，提取特征量。例如，在特征量提取部26从包括以采样点作为中心的3×3像素的九个像素的像素组中提取特征量的情况下，可以基于九个像素的值的平均值或中央值，提取特征量。另外，特征量提取部26可以基于九个像素的中的一个或多个像素，提取特征量。
另外，特征量提取部26可以从一个采样点提取多个种类的特征量。例如，特征量提取部26可以从一个采样点的像素或像素组中分别提取亮度值及哈尔特征值（Haar-like feature value），来作为特征量。另外，特征量提取部26从以采样点为中心的3×3像素的像素组中提取亮度值，来作为特征量，并且从以相同的采样点为中心的4×4像素的像素组中提取亮度值，来作为特征量，可以提取两种的特征量。
在图5示出的例子中，特征量提取部26从采样点的各像素提取哈尔特征值，来作为特征量，生成特征量组。此外，采样位置确定部25例如在采样范围内设定数百个采样点。即，特征量提取部26例如生成由数百个特征量构成的特征量组。
位置信息生成部27从基准点确定部23获取基准坐标，从部位点确定部24获取部位坐标。并且，位置信息生成部27基于规定的位置信息生成方法，生成位置信息，该位置信息表示以基准点为原点的学习对象点的位置。换言之，位置信息生成部27基于规定的位置信息生成方法，生成表示学习对象点相对于基准点的相对位置的位置信息。位置信息生成部27向LRF函数计算部28输出所生成的位置信息。
位置信息为xy坐标系或极坐标系的坐标。另外，基准坐标及部位坐标可以为xy坐标系或极坐标系的某一个。
在此，只要事先针对物体的每个部位点（学习对象点）规定位置信息生成方法即可，可以为任意的方法。
在图4示出的例子中，位置信息生成部27用xy坐标系表示基准坐标及部位坐标以及位置信息，针对每个部位坐标，计算部位坐标与基准坐标的差分，生成各学习对象点的位置信息。即，若部位坐标为（a，b）、基准坐标为（c，d），则计算出位置信息（X，Y）为（a-c，b-d）。
另外，在图4中，“LeftX”、“LeftY”分别表示外眼角点的位置信息的x坐标、y坐标，“RightX”、“RightY”分别表示内眼角点的位置信息的x坐标、y坐标，“UpX”、“UpY”分别表示上眼睑点的位置信息的x坐标、y坐标，“DownX”、“DownY”分别表示下眼睑点的位置信息的x坐标、y坐标。
在LRF函数计算部28中，就一个图像而言，针对每个学习对象点，从特征量提取部26获取与学习对象点对应的特征量组，从位置信息生成部27获取与该学习对象点对应的位置信息。LRF函数计算部28针对每个学习对象点，基于分别从多个图像生成的特征量组及位置信息，生成与该学习对象点对应的表示位置信息与特征量组的对应关系的对应关系信息。此外，LRF函数计算部28在生成对应关系信息时，针对相同学习对象点，使用通过相同的方法（学习对象区域图像提取方法、标准化方法、基准点确定方法、采样位置确定方法、特征量提取方法及位置信息生成方法相同）生成的位置信息及特征量组。
具体来说，如图6所示，LRF函数计算部28描画分别根据多个图像生成的特征量组及位置信息，利用回归分析，计算表示位置信息与特征量组之间的关联关系的LRF函数（对应关系信息）。此外，在图6中，为了方便说明，用平面表示LRF函数，但在实际上，由于特征量组与位置信息之间的对应关系为高次（高维），所以利用超回归平面表示特征量组与位置信息之间的对应关系即LRF函数。
另外，在图6示出的例子中，设定采样范围，使其覆盖全部的认为是各学习对象点（外眼角点、内眼角点、上眼睑点及下眼睑点）所在的区域，针对各学习对象点生成相同特征量组，利用相同的基准点，生成各学习对象点的位置信息，因此，将各学习对象点的位置信息与一个特征量组建立对应关系。但不限于此，还可以针对各学习对象点，分别生成位置信息及特征量组，针对每个学习对象点求出LRF函数。
在图6示出的例子中，若将特征量组设为X，将位置信息设为Y，则用Y＝AX＋B表示Y。在此，例如，特征量组X由从k个采样点中提取的m个（m＝k×（从一个采样点提取的特征量的种类数））的特征量构成，位置信息Y由n个学习对象点的x坐标、y坐标构成，在此情况下，利用特征量组X＝（x1，x2，…，xm）T、位置信息Y＝（y1，y2，…，y2n）T表示X和Y。在该情况下，系数A用2n×m的矩阵表示，系数B用2n×1的矩阵表示。
在此，LRF函数计算部28所使用的回归分析只要为多元回归、CCA等回归分析即可。另外，LRF函数计算部28求出的LRF函数可以为图6示出的线性的函数，也可以为非线性的函数。
另外，LRF函数计算部28可以基于位置信息与特征量组之间的对应关系，生成确定两者的对应关系的对应关系表。
LRF函数计算部28将LRF信息保存在存储部17内，该LRF信息是指，将由LRF函数表示对应关系的位置的部位点及上述各方法与所生成的LRF函数建立了对应关系的LRF信息。
存储部17保存用于控制部16参照的程序、数据等，例如，保存上述的LRF信息41等。
基于图7，针对保存在存储部17内的LRF信息41进行说明。图7是表示保存在存储部17内的LRF信息41的一个例子的图。
如图7所示，LRF信息41是将部位点和与该部位点相关的LRF函数建立了对应关系的信息。另外，LRF信息41是表示部位点和分别用于生成特征量组及位置信息的各方法（学习对象区域图像提取方法、标准化方法、基准点确定方法、采样位置确定方法、特征量提取方法及位置信息生成方法）建立了对应关系的信息。
在图7示出的例子中，就学习对象区域图像提取方法及标准化方法而言，针对各学习对象点而对应关联了相同的方法；就其它的方法而言，针对每个物体，针对各学习对象点而对应关联了相同的方法，但不限于此。还可以针对每个学习对象点，分别采用不同的方法。
另外，在图7示出的例子中，LRF函数不限于与每个部位点对应，还可以针对每个物体，建立物体与LRF函数的对应关系。例如，在图7示出的例子中，就每个物体而言，学习对象区域图像提取方法、标准化方法、基准点确定方法、采样位置确定方法及特征量提取方法都相同。也就是说，只要为相同的物体，从某个图像提取出的特征量组X都相同，而与部位点无关。在该情况下，例如，就右眼而言，在位置信息Y＝（y1，y2，…，y10）T中，将y1～y10分别设定为上眼睑点的位置信息的x坐标及y坐标、下眼睑点的位置信息的x坐标及y坐标、内眼角点的位置信息的x坐标及y坐标、外眼角点的位置信息的x坐标及y坐标、瞳孔点的位置信息的x坐标及y坐标，则能够用Y＝AX＋B表示右眼的LRF函数。此外，A＝（A1，A2，…，A5）T，B＝（B1，B2，…，B5）T。
另外，在图7示出的例子中，在LRF信息41中，各方法不限于与LRF函数建立对应关系。在图7示出的例子中，示出了在学习时LRF学习装置适当地选择各方法来生成LRF函数的情况，在学习时或检测时，在针对各部位点而使用事先规定的方法来作为各方法的情况下，部位点检测装置1及LRF学习装置2只要存储针对各部位点而事先规定的方法即可（例如，只要编入学习程序及检测程序中即可）。在该情况下，在LRF信息41中，无需将各方法与LRF函数建立对应关系，LRF信息41只要包含表示与部位点建立了对应关系的LRF函数的信息即可。
（部位点检测装置的结构）
接着，基于图1，针对部位点检测装置进行说明。部位点检测装置，基于LRF学习装置生成的LRF信息，从由其它装置获取的图像或利用搭载在本装置上的摄像头拍摄而得的图像中，检测物体的轮廓点、特征点等的部位点。
部位点检测装置可以为例如数码相机、PC、手机、PDA（Personal DigitalAssistant）、游戏机、拍摄并印刷照片的装置、编辑图像的装置等。
在本实施方式中，将具有检测对象的部位点的物体设为人类的眼、嘴等，但不限于此。例如，可以为狗、猫等的动物的脸部、器官等，还可以为手机、电视机等，还可以为建筑物、云彩等。在此，部位点检测装置将上述检测对象的部位点称为检测对象点，将具有检测对象点的物体称为检测对象物。
图1是表示部位点检测装置1的主要部分结构的一个例子的框图。如图1所示，部位点检测装置1具有控制部11、存储部12、图像输入部13、操作部（输入单元）14及显示部15。此外，部位点检测装置1可以具有用于与其它的装置通信的通信部、声音输入部、声音输出部等的设备，由于与发明的特征点无关，所以不示出该设备。
此外，为了方便说明，对与LRF学习装置2所包括的设备具有相同的功能的设备标注相同的附图标记，并省略一部分的说明。
存储部12保存用于控制部11参照的程序、数据等，例如，保存LRF学习装置生成的LRF信息41等的。保存在存储部12内的LRF信息41例如可以为如图7所示的数据。
控制部11通过执行从存储部12读取至临时存储部（图示省略）的程序，来进行各种的运算，并且统一控制部位点检测装置1所具有的各部分。
在本实施方式中，在控制部11中，作为功能框而具有：图像获取部21、区域截取部22、基准点确定部23、采样位置确定部（采样位置确定单元）25、特征量提取部26、位置信息确定部（位置信息确定单元）29及部位点确定部（检测侧部位点确定单元）30。CPU将由ROM等实现的存储装置内存储的程序读取至采用RAM等的临时存储部并执行该程序，来实现控制部11的这些功能框（21～23、25、26、29、30）。
图像获取部21获取经由图像输入部13输入的图像。图像获取部21向区域截取部22输出所获取的图像。
区域截取部22从存储部12读取LRF信息41，针对在LRF信息41中与检测对象点建立了对应关系的学习对象区域图像提取方法，从所获取的图像中，提取检测对象区域图像，该检测对象区域图像为包含检测对象点的区域的图像。
另外，区域截取部22基于在LRF信息41中与检测对象点建立了对应关系的标准化方法，将所提取的检测对象区域图像标准化，生成标准化图像。区域截取部22向基准点确定部23及采样位置确定部25输出所生成的标准化图像。
基准点确定部23从存储部12读取LRF信息41，从区域截取部22获取标准化图像。基准点确定部23基于在LRF信息41中与检测对象点建立了对应关系的基准点确定方法，将所获取的标准化图像上的规定的点确定为基准点。基准点确定部23向部位点确定部30输出基准坐标，该基准坐标是所确定的基准点在标准化图像上的坐标。
采样位置确定部25从存储部12读取LRF信息41，从区域截取部22获取标准化图像，基于在LRF信息41中与检测对象点建立了对应关系的采样位置确定方法，在标准化图像上的规定的范围内，确定与基准点（部位点）对应的多个采样点。
特征量提取部26从存储部12读取LRF信息41，基于在LRF信息41中与检测对象点建立了对应关系的特征量提取方法，针对与基准点对应的每个采样点，从采样点的像素或包括采样点的像素的像素组中提取特征量。然后，特征量提取部26生成由分别与各采样点对应的多个特征量构成的特征量组。
位置信息确定部29从存储部12读取LRF信息41，基于在LRF信息41中与检测对象点建立了对应关系的LRF函数，确定与特征量提取部26生成的特征量组对应的位置信息。位置信息确定部29向部位点确定部30输出所确定的位置信息。
具体来说，如图8所示，位置信息确定部29将特征量提取部26生成的特征量组作为输入值赋给LRF函数，将其输出结果作为位置信息。
部位点确定部30从基准点确定部23获取基准坐标，从位置信息确定部29获取位置信息。部位点确定部30，在标准化图像中，将以基准坐标所示的点作为原点的位置信息所表示的位置确定为检测对象点。
（LRF学习方法）
接着，基于图9及图10，针对LRF学习装置2执行的LRF学习方法进行说明。图9是表示LRF学习装置2执行的LRF学习方法的一个例子的图。图10是利用图像来示意性地示出LRF学习方法所包含的各处理的状态的迁移图。
在图9及图10示出的例子中，生成与人类的脸部的双眼及嘴的轮廓点对应的LRF函数。具体来说，将右眼及左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点、嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点，作为学习对象点。此外，上唇（下唇）的上中点是指，上唇（下唇）的中央的上侧的轮廓点；上唇（下唇）的下中点是指，上唇（下唇）的中央的下侧的轮廓点。
另外，在图9及图10示出的例子中，将右眼、左眼及嘴的中央点分别作为右眼、左眼及嘴的基准点。另外，采样范围设定为分别覆盖右眼、左眼及嘴的范围。具体来说，将以右眼、左眼及嘴的中央点（基准点）为中心的规定范围作为采样范围。
如图9所示，首先，图像获取部21获取经由图像输入部13输入的图像（S1）。此时的状态如图10的状态1所示。
接着，区域截取部22从图像获取部21获取的图像中，基于学习对象区域图像提取方法“G001”（例如，现有的脸部检测方法或脸部器官点检测方法），检测脸部图像（S2）。此时的状态如图10的状态2所示。在状态2下，所检测的脸部图像由带四角的线圈出，用白点表示检测出的脸部器官点。
区域截取部22基于标准化方法“H001”，截取检测出的脸部图像，将截取的脸部图像标准化，生成标准化图像（S3）。此时的状态如图10的状态3所示。
接着，基准点确定部23分别基于基准点确定方法“I001”、“I002”、“I003”，确定标准化图像上的右眼、左眼及嘴的基准点（S4）。此时的状态如图10的状态4所示。如上所述，在状态4下，在左右的眼的中心及嘴的中心设定有各自的基准点。
接着，部位点确定部24，在标准化图像上确定右眼及左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点、嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点，来作为学习对象点（S5）。此时的状态如图10的状态5所示。
接着，采样位置确定部25分别基于采样位置确定方法“J001”、“J002”、“J003”，在标准化图像上的各采样范围内分别确定多个采样点（S6）。然后，特征量提取部26分别基于特征量提取方法“K001”、“K002”、“K003”，从左右的眼及嘴的各采样点的像素或像素组中分别提取特征量组（S7）。此时的状态如图10的状态6所示。如上所述，在状态6下，以分别覆盖左右的眼及嘴的方式，在以各器官的中心点为中心的规定的位置设定有采样点。即，在此，生成如下三组特征量组：右眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点所对应的特征量组；左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点所对应的特征量组；嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点所对应的特征量组。换言之，针对右眼、左眼及嘴的各基准点（中心点）分别生成三组特征量组。
接着，位置信息生成部27分别基于位置信息生成方法“L001”、“L002”、“L003”，针对每个学习对象点，生成表示以基准点为原点的学习对象点的位置的位置信息（S8）。此时的状态如图10的状态7所示。
对多个图像进行以上的处理，针对每个图像，生成各学习对象点的特征量组及位置信息。
LRF函数计算部28利用回归分析，根据多组位置信息及特征量组，分别生成与各学习对象点对应的LRF函数（S9）。然后，LRF函数计算部28分别将所使用的各方法（学习对象区域图像提取方法、标准化方法、基准点确定方法、采样位置确定方法、特征量提取方法及位置信息生成方法）与所生成的与各学习对象点对应的LRF函数建立对应关系，生成LRF信息41，并将其保存在存储部12内。
（部位点检测方法）
接着，基于图11及图12，针对部位点检测装置1所执行的部位点检测方法进行说明。图11是表示部位点检测装置1执行的部位点检测方法的一个例子的图。图12是利用图像示意性地表示部位点检测方法所包含的各处理的状态的迁移图。
在图11及图12示出的例子中，在部位点检测装置1的存储部12内保存有图7示出的LRF信息41。另外，在此，该LRF信息41用于检测人类的脸部的右眼及左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点、嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点。
如图11所示，首先，图像获取部21获取经由图像输入部13输入的图像（S11）。此时的状态如图12的状态11所示。
接着，区域截取部22从存储部12中读取LRF信息41。在此，在LRF信息41中，各检测对象点全部与相同的学习对象区域图像提取方法“G001”及标准化方法“H001”建立了对应关系。因此，区域截取部22基于学习对象区域图像提取方法“G001”，从图像获取部21获取的图像中，截取图像（S12）。此时的状态如图12的状态12所示。在状态12下，检测脸部图像及脸部器官点，检测出的脸部图像由具有四角的线圈出，利用白点表示检测出的脸部器官点。
区域截取部22截取检测出的脸部图像，基于标准化方法“H001”，将截取的脸部图像标准化，生成标准化图像（S13）。此时的状态如图12的状态13所示。
接着，基准点确定部23从存储部12中读取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴为单位，分别与相同的基准点确定方法“I001”、“I002”、“I003”建立了对应关系。因此，基准点确定部23，在标准化图像上，基于基准点确定方法“I001”来确定右眼的检测对象点的基准点，基于基准点确定方法“I002”来确定左眼的检测对象点的基准点，基于基准点确定方法“I003”来确定嘴的检测对象点的基准点（S14）。此时的状态如图12的状态14所示。如图所示，在状态14下，将右眼、左眼、嘴的各自的中心点确定为基准点。
接着，采样位置确定部25从存储部12读取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴为单位，分别与相同的采样位置确定方法“J001”、“J002”、“J003”建立了对应关系。因此，采样位置确定部25，在标准化图像上，基于采样位置确定方法“J001”来确定右眼的检测对象点的采样点，基于采样位置确定方法“J002”来确定左眼的检测对象点的采样点，基于采样位置确定方法“J003”来确定嘴的检测对象点的采样点（S15）。
此时的状态如图12的状态15所示。如图所示，在状态15下，以分别覆盖左右的眼及嘴的方式，在以各器官的基准点为中心的规定的范围内设定有采样点。
特征量提取部26从存储部12中读取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴为单位，分别与相同的特征量提取方法“K001”、“K002”、“K003”建立了对应关系。因此，特征量提取部26从右眼的检测对象点的采样点的像素或像素组中，基于特征量提取方法“K001”来提取右眼的检测对象点的特征量组，从左眼的检测对象点的采样点的像素或像素组中，基于特征量提取方法“K002”来提取左眼的检测对象点的特征量组，从嘴的检测对象点的采样点的像素或像素组中，基于特征量提取方法“K003”来提取嘴的检测对象点的特征量组（S16）。
即，在此，生成如下的三组特征量组：右眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点所对应的特征量组；左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点所对应的特征量组；嘴的右嘴角点及左嘴角点、以及、上唇及下唇的上中点及下中点所对应的特征量组。换言之，分别针对右眼、左眼及嘴的各基准点（中心点），生成三组特征量组。
接着，位置信息确定部29从存储部12中读取LRF信息41。然后，位置信息确定部29分别向与右眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点建立了对应关系的LRF函数，输入这些检测对象点所对应的特征量组，分别确定右眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点的位置信息。另外，位置信息确定部29分别向与左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点建立了对应关系的LRF函数，输入这些检测对象点所对应的特征量组，分别确定左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点的位置信息。另外，位置信息确定部29分别向嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点建立了对应关系的LRF函数，输入这些检测对象点所对应的特征量组，分别确定嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点的位置信息（S17）。
最后，部位点确定部30从存储部12中读取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴为单位，分别与相同的位置信息生成方法“L001”、“L002”、“L003”建立了对应关系。因此，部位点确定部30基于位置信息生成方法“L001”，从右眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点的位置信息中，分别确定这些检测对象点在标准化图像上的坐标，基于位置信息生成方法“L002”，从左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点的位置信息中，分别确定这些检测对象点在标准化图像上的坐标，基于位置信息生成方法“L003”，从嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点的位置信息中，分别确定这些检测对象点在标准化图像上的坐标（S18）。
例如，针对右眼的外眼角点，将右眼的基准点（中心点）的X坐标值、Y坐标值分别加上外眼角点的位置信息示出的X坐标值、Y坐标值的差分值。作为通过相加而求出的值的X坐标值、Y坐标值，是外眼角点在标准化图像上的坐标值。对右眼的其它的部位点、左眼的各部位点及嘴的各部位点进行同样的处理，确定标准化图像上的右眼、左眼及嘴的各部位点的坐标。
此时的状态如图12的状态16所示。如图所示，在状态16下，确定右眼及左眼的外眼角点、内眼角点、上眼睑点、下眼睑点及瞳孔点、嘴的右嘴角点及左嘴角点、上唇及下唇的上中点及下中点在标准化图像上的位置（坐标）。
然后，根据标准化图像上的各部位点的坐标值，利用例如仿射变换等来计算原图像上的各部位点的坐标值，确定原图像上的各部位点的坐标。
（用于解决问题的手段）
本发明的图像处理装置从图像中检测物体的部位点，其特征在于，具有：基准点确定单元，其在上述图像上确定与上述部位点对应的基准点；特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定单元，其参照对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；检测侧部位点确定单元，其将由上述位置信息确定单元确定的位置信息所表示的位置，作为上述物体的部位点。
本发明的图像处理方法是从图像中检测物体的部位点的图像处理方法，其特征在于，包括：基准点确定步骤，在上述图像上确定与上述部位点对应的基准点；特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息确定步骤，参照对应关系信息，确定与在上述特征量提取步骤中提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置；部位点确定步骤，将在上述位置信息确定步骤中确定的位置信息所表示的位置，作为上述物体的部位点。
根据上述的结构，上述位置信息确定单元参照表示特征量组与位置信息之间的对应关系的对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该特征量组是指，从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，该特征位置信息是指，表示上述部位点相对于上述基准点的相对位置的位置信息，检测侧部位点确定单元将由上述位置信息确定单元确定的位置信息所表示的位置作为上述物体的部位点。
本发明的发明人们发现：在图像上，例如在从包括眼、嘴等的器官的区域中提取的特征量组与图像上的器官的轮廓点、特征点相对于基准点的相对位置之间，存在关联关系。基于该见解，通过参照表示上述特征量组与上述位置信息之间的对应关系的对应关系信息，即使是形状变化的物体，也能够高精度地检测图像上的物体的部位点。即，即使在物体的形状变化的情况下，上述图像处理装置及上述图像处理方法也达到能够高精度地检测物体的部位点的效果。
另外，优选地，本发明的图像处理装置还具有采样位置确定单元，该采样位置确定单元，在上述图像上，在包括认为是上述部位点所在的区域的范围内，确定上述采样点的位置。
另外，本发明的信息生成装置生成用于上述图像处理装置所参照的上述对应关系信息，其特征在于，具有：图像获取单元，其获取拍摄有物体的部位点的图像；基准点确定单元，其在上述图像上确定与上述部位点对应的上述基准点；特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息生成单元，其生成表示上述部位点相对于由上述基准点确定单元确定的基准点的相对位置的上述位置信息；对应关系信息生成单元，其生成表示上述特征量提取单元所提取的特征量组与上述位置信息生成单元所生成的位置信息之间的对应关系的上述对应关系信息。
另外，本发明的信息生成方法生成用于在上述图像处理方法中所参照的上述对应关系信息，其特征在于，包括：图像获取步骤，获取拍摄有物体的部位点的图像；基准点确定步骤，在上述图像上确定与上述部位点对应的上述基准点；特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组；位置信息生成步骤，生成表示上述部位点相对于在上述基准点确定步骤中确定的基准点的相对位置的上述位置信息；对应关系信息生成步骤，生成表示在上述特征量提取步骤中提取的特征量组与在上述位置信息生成步骤中生成的位置信息之间的对应关系的上述对应关系信息。
根据上述的结构，上述图像获取单元获取拍摄有上述物体的部位点的图像，上述基准点确定单元在上述图像上确定与上述部位点对应的基准点，上述特征量提取单元针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组，上述位置信息生成单元生成表示上述部位点相对于由上述基准点确定单元确定的基准点的相对位置的位置信息，上述对应关系信息生成单元生成表示由上述特征量提取单元提取的特征量组与由上述位置信息生成单元生成的位置信息之间的对应关系的对应关系信息。
因此，能够达到生成用于上述图像处理装置参照的对应关系信息的效果。如上所述，由于在上述特征量组与上述位置信息之间具有对应关系，所以通过使用所生成的对应关系信息，能够高精度地检测物体的部位点。
另外，优选地，在本发明的信息生成装置中，上述对应关系信息生成单元利用回归分析生成上述对应关系信息。
另外，优选地，本发明的信息生成装置还具有：输入单元，其接收来自用户的操作指示；学习侧部位点确定单元，其基于向上述输入单元输入的操作指示，确定上述图像上的上述物体的部位点。
另外，优选地，在本发明的信息生成装置中，上述图像获取单元一并获取上述图像以及与该图像建立了对应关系的表示上述部位点的位置的部位点位置信息，本发明的信息生成装置还具有学习侧部位点确定单元，该学习侧部位点确定单元基于上述部位点位置信息所表示的位置，确定上述图像上的上述物体的部位点。
此外，上述图像处理装置及上述信息生成装置可以通过计算机来实现，在该情况下，使计算机作为上述图像处理装置及上述信息生成装置的各单元进行动作，由此，使上述图像处理装置及上述信息生成装置通过计算机来实现的控制程序、记录有该程序的能够由计算机读取的记录介质也属于本发明的范畴。
（补充）
本发明不限于上述的实施方式，能够在权利要求书示出的范围内进行各种各样的变更。即，在权利要求书示出的范围内通过组合适当变更的技术的单元而得到的实施方式包含在本发明的技术的范围内。
最后，部位点检测装置1及LRF学习装置2的各区块、特别是控制部11及控制部16可以由硬件逻辑构成，还可以以下述的方式利用CPU，通过软件实现。
即，部位点检测装置1及LRF学习装置2具有执行实现各功能的控制程序的命令的CPU（central processing unit：中央处理器）、保存了上述程序的ROM（read only memory：只读存储器）、展开上述程序的RAM（random accessmemory：随机存取存储器）、保存上述程序及各种数据的存储器等的存储装置（记录介质）等。并且，向部位点检测装置1及LRF学习装置2供给能够由计算机读取的记录介质，该记录介质记录有作为实现上述的功能的软件的部位点检测装置1及LRF学习装置2的控制程序的程序编码（执行形式程序、中间编码程序、源程序），通过该计算机（或者，CPU、MPU（微处理器））读取并执行记录在记录介质内的程序编码，也能够达到本发明的目的。
作为上述记录介质，能够使用如下的设备：例如，磁带、盒式磁带等的磁带类，包括软盘（Floppy disk：注册商标）/硬盘等的磁盘、CD-ROM（只读光盘）/MO（光磁盘）/MD（迷你光盘）/DVD（数字多功能光盘）/CD-R（数据写入光盘）等的光盘的磁盘类，IC卡（包括存储卡）／光卡等的卡类或掩膜ROM/EPROM（电可擦可编程只读存储器）/EEPROM（电可擦可编程只读存储器）/快闪ROM等的半导体存储器类。
另外，可以将部位点检测装置1及LRF学习装置2构成为能够与通信网络连接，经由通信网络供给上述程序编码。作为该通信网络，没有特别的限定，例如，能够利用互联网、内联网、外联网、LAN、ISDN（综合业务数字网）、VAN（增值网络）、CATV通信网络、虚拟专用网络（virtual privatenetwork）、电话线网络、移动通信网络、卫星通信网络等。另外，作为构成通信网络的传送介质，没有特别的限定，例如，能够利用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL线路（非对称数字用户环路）等的有线网络，还能够利用IrDA（红外数据组织）、遥控之类的红外线、Bluetooth（注册商标）、802.11无线网络、HDR、手机网络、卫星线路、地面数字网等的无线网络。此外，本发明还可以通过利用电子传送将上述程序编码具体化成嵌入在载波中的计算机数据信号的方式来实现。
产业上的可利用性
本发明能够用于检测图像上的物体的规定的部位点的图像处理装置。更优选地，能够用于从图像中检测形状多样变化的物体的规定的部位点的图像处理装置。
附图标记说明
1 部位点检测装置（图像处理装置），
2 LRF学习装置（信息生成装置），
14 操作部（输入单元），
21 图像获取部（图像获取单元），
23 基准点确定部（基准点确定单元），
24 部位点确定部（学习侧部位点确定单元），
25 采样位置确定部（采样位置确定单元），
26 特征量提取部（特征量提取单元），
27 位置信息生成部（位置信息生成单元），
28 LRF函数计算部（对应关系信息生成单元），
29 位置信息确定部（位置信息确定单元），
30 部位点确定部（检测侧部位点确定单元）。

Claims (11)

1.一种图像处理装置，从图像中检测物体的部位点，其特征在于，
具有：
基准点确定单元，其在上述图像上确定与上述部位点对应的基准点，
特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组，
位置信息确定单元，其参照对应关系信息，确定与上述特征量提取单元所提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置，
检测侧部位点确定单元，其将由上述位置信息确定单元确定的位置信息所表示的位置，作为上述物体的部位点。
2.如权利要求1所述的图像处理装置，其特征在于，
还具有采样位置确定单元，该采样位置确定单元，在上述图像上，在包括认为是上述部位点所在的区域在内的范围内，确定上述采样点的位置。
3.一种信息生成装置，生成用于如权利要求1或2所述的图像处理装置所参照的上述对应关系信息，其特征在于，具有：
图像获取单元，其获取拍摄有物体的部位点的图像，
基准点确定单元，其在上述图像上确定与上述部位点对应的上述基准点，
特征量提取单元，其针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组，
位置信息生成单元，其生成表示上述部位点相对于由上述基准点确定单元确定的基准点的相对位置的上述位置信息，
对应关系信息生成单元，其生成表示上述特征量提取单元所提取的特征量组与上述位置信息生成单元所生成的位置信息之间的对应关系的上述对应关系信息。
4.如权利要求3所述的信息生成装置，其特征在于，
上述对应关系信息生成单元利用回归分析生成上述对应关系信息。
5.如权利要求3或者4所述的信息生成装置，其特征在于，
还具有：输入单元，其接收来自用户的操作指示，
学习侧部位点确定单元，其基于向上述输入单元输入的操作指示，确定上述图像上的上述物体的部位点。
6.如权利要求3或者4所述的信息生成装置，其特征在于，
上述图像获取单元一并获取上述图像以及与该图像建立了对应关系的表示上述部位点的位置的部位点位置信息，
还具有学习侧部位点确定单元，该学习侧部位点确定单元基于上述部位点位置信息所表示的位置，确定上述图像上的上述物体的部位点。
7.一种图像处理方法，从图像中检测物体的部位点，其特征在于，
包括：
基准点确定步骤，在上述图像上确定与上述部位点对应的基准点，
特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组，
位置信息确定步骤，参照对应关系信息，确定与在上述特征量提取步骤中提取的特征量组对应的位置信息，该对应关系信息表示：从上述多个采样点的各像素或各像素组中提取出的与上述基准点对应的特征量组，与位置信息之间的对应关系，该位置信息表示上述部位点相对于上述基准点的相对位置，
部位点确定步骤，将在上述位置信息确定步骤中确定的位置信息所表示的位置，作为上述物体的部位点。
8.一种信息生成方法，生成用于在如权利要求7所述的图像处理方法中参照的上述对应关系信息，其特征在于，包括：
图像获取步骤，获取拍摄有物体的部位点的图像，
基准点确定步骤，在上述图像上确定与上述部位点对应的上述基准点，
特征量提取步骤，针对与上述基准点对应的多个采样点中的每个采样点，从该采样点的像素或包括该像素的像素组中提取特征量，提取由分别与所提取的各采样点对应的多个特征量构成的与上述基准点对应的特征量组，
位置信息生成步骤，生成表示上述部位点相对于在上述基准点确定步骤中确定的基准点的相对位置的上述位置信息，
对应关系信息生成步骤，生成表示在上述特征量提取步骤中提取的特征量组与在上述位置信息生成步骤中生成的位置信息之间的对应关系的上述对应关系信息。
9.一种控制程序，使如权利要求1或2所述的图像处理装置进行动作，其特征在于，
使计算机作为上述各单元起作用。
10.一种控制程序，使如权利要求3～6中任一项所述的信息生成装置进行动作，其特征在于，
使计算机作为上述各单元起作用。
11.一种记录介质，其特征在于，
能够由计算机读取，并记录有如权利要求9或者10所述的控制程序。
CN201280025429.5A 2011-06-07 2012-03-14 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质 Active CN103562964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-127755 2011-06-07
JP2011127755A JP4998637B1 (ja) 2011-06-07 2011-06-07 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
PCT/JP2012/056516 WO2012169251A1 (ja) 2011-06-07 2012-03-14 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
CN103562964A true CN103562964A (zh) 2014-02-05
CN103562964B CN103562964B (zh) 2017-02-15

Family

ID=46793925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280025429.5A Active CN103562964B (zh) 2011-06-07 2012-03-14 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质

Country Status (6)

Country Link
US (1) US9607209B2 (zh)
EP (1) EP2720194A4 (zh)
JP (1) JP4998637B1 (zh)
KR (1) KR101525133B1 (zh)
CN (1) CN103562964B (zh)
WO (1) WO2012169251A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036296A (zh) * 2014-06-20 2014-09-10 深圳先进技术研究院 一种图像的表示和处理方法及装置
CN106687989A (zh) * 2014-10-23 2017-05-17 英特尔公司 使用标志子集内的线性关系进行面部表情识别的方法和***
CN108062742A (zh) * 2017-12-31 2018-05-22 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6225460B2 (ja) * 2013-04-08 2017-11-08 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP2015133085A (ja) * 2014-01-15 2015-07-23 キヤノン株式会社 情報処理装置およびその方法
US9444999B2 (en) * 2014-08-05 2016-09-13 Omnivision Technologies, Inc. Feature detection in image capture
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法
US9830528B2 (en) 2015-12-09 2017-11-28 Axis Ab Rotation invariant object feature recognition
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP7009864B2 (ja) * 2017-09-20 2022-01-26 カシオ計算機株式会社 輪郭検出装置及び輪郭検出方法
CN110059522B (zh) 2018-01-19 2021-06-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN109871845B (zh) * 2019-01-10 2023-10-31 平安科技（深圳）有限公司 证件图像提取方法及终端设备
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography
CN111553286B (zh) * 2020-04-29 2024-01-26 北京攸乐科技有限公司 用于捕捉耳朵动画特征的方法、电子设备
CN111738166B (zh) * 2020-06-24 2024-03-01 平安科技（深圳）有限公司 目标轮廓圈定方法、装置、计算机***及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1669933A2 (en) * 2004-12-08 2006-06-14 Sony Corporation Generating a three dimensional model of a face from a single two-dimensional image
EP1811456A1 (en) * 2004-11-12 2007-07-25 Omron Corporation Face feature point detector and feature point detector
US20080080746A1 (en) * 2006-10-02 2008-04-03 Gregory Payonk Method and Apparatus for Identifying Facial Regions

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8902372A (nl) 1989-09-21 1991-04-16 Imec Inter Uni Micro Electr Werkwijze voor het vervaardigen van een veldeffecttransistor en halfgeleiderelement.
JPH0493273A (ja) 1990-08-10 1992-03-26 Mitsubishi Electric Corp 用紙クランプ装置
JP2806037B2 (ja) * 1990-11-29 1998-09-30 富士通株式会社 指紋照合装置
JP3735893B2 (ja) 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3454726B2 (ja) * 1998-09-24 2003-10-06 三洋電機株式会社 顔向き検出方法及びその装置
JP3695990B2 (ja) * 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
JP3851050B2 (ja) * 2000-02-15 2006-11-29 ナイルス株式会社 眼の状態検出装置
GB2384639B (en) * 2002-01-24 2005-04-13 Pixology Ltd Image processing to remove red-eye features
JP4011426B2 (ja) * 2002-07-17 2007-11-21 グローリー株式会社 顔検出装置、顔検出方法および顔検出プログラム
JP2005339288A (ja) 2004-05-27 2005-12-08 Toshiba Corp 画像処理装置及びその方法
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
KR100791372B1 (ko) * 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
JP4991317B2 (ja) * 2006-02-06 2012-08-01 株式会社東芝 顔特徴点検出装置及びその方法
JP4093273B2 (ja) 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
JP2008117333A (ja) * 2006-11-08 2008-05-22 Sony Corp 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
US9111176B2 (en) * 2008-04-24 2015-08-18 Nec Corporation Image matching device, image matching method and image matching program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1811456A1 (en) * 2004-11-12 2007-07-25 Omron Corporation Face feature point detector and feature point detector
EP1669933A2 (en) * 2004-12-08 2006-06-14 Sony Corporation Generating a three dimensional model of a face from a single two-dimensional image
US20080080746A1 (en) * 2006-10-02 2008-04-03 Gregory Payonk Method and Apparatus for Identifying Facial Regions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUNKA, B.等: "Non-intrusive infrared-free eye tracking method", 《SIGNAL PROCESSING ALGORITHMS, ARCHITECTURES, ARRANGEMENTS, AND APPLICATIONS CONFERENCE PROCEEDINGS (SPA), 2009》, 26 September 2009 (2009-09-26), pages 105 - 109, XP031955854 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036296A (zh) * 2014-06-20 2014-09-10 深圳先进技术研究院 一种图像的表示和处理方法及装置
CN104036296B (zh) * 2014-06-20 2017-10-13 深圳先进技术研究院 一种图像的表示和处理方法及装置
CN106687989A (zh) * 2014-10-23 2017-05-17 英特尔公司 使用标志子集内的线性关系进行面部表情识别的方法和***
CN106687989B (zh) * 2014-10-23 2021-06-29 英特尔公司 面部表情识别的方法、***、可读介质和装置
CN108062742A (zh) * 2017-12-31 2018-05-22 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法
CN108062742B (zh) * 2017-12-31 2021-05-04 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法

Also Published As

Publication number Publication date
CN103562964B (zh) 2017-02-15
US20140105487A1 (en) 2014-04-17
EP2720194A4 (en) 2015-03-18
WO2012169251A1 (ja) 2012-12-13
KR20140004230A (ko) 2014-01-10
KR101525133B1 (ko) 2015-06-10
US9607209B2 (en) 2017-03-28
JP2012256131A (ja) 2012-12-27
EP2720194A1 (en) 2014-04-16
JP4998637B1 (ja) 2012-08-15

Similar Documents

Publication Publication Date Title
CN103562964A (zh) 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
CN107609459B (zh) 一种基于深度学习的人脸识别方法及装置
CN108492343B (zh) 一种扩充目标识别的训练数据的图像合成方法
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device
US8861800B2 (en) Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
CN105184249B (zh) 用于人脸图像处理的方法和装置
CA2789887C (en) Face feature vector construction
US11995703B2 (en) Image-to-image translation using unpaired data for supervised learning
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
US11704357B2 (en) Shape-based graphics search
CN110675487A (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
WO2017045404A1 (en) Facial expression recognition using relations determined by class-to-class comparisons
WO2021127916A1 (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN107924452A (zh) 用于图像中的脸部对准的组合形状回归
CN115668263A (zh) 用于消息收发***中的增强现实体验的物理产品的标识
CN111626130A (zh) 肤色识别方法、装置、电子设备及介质
WO2023003642A1 (en) Adaptive bounding for three-dimensional morphable models
CN116012218A (zh) 虚拟主播表情控制方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant