CN111758116A - 脸部图像识别***、识别器生成装置、识别装置、图像识别***以及识别*** - Google Patents

脸部图像识别***、识别器生成装置、识别装置、图像识别***以及识别*** Download PDF

Info

Publication number
CN111758116A
CN111758116A CN201980012059.3A CN201980012059A CN111758116A CN 111758116 A CN111758116 A CN 111758116A CN 201980012059 A CN201980012059 A CN 201980012059A CN 111758116 A CN111758116 A CN 111758116A
Authority
CN
China
Prior art keywords
feature
difference
recognizer
features
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980012059.3A
Other languages
English (en)
Other versions
CN111758116B (zh
Inventor
小竹康代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111758116A publication Critical patent/CN111758116A/zh
Application granted granted Critical
Publication of CN111758116B publication Critical patent/CN111758116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

利用低成本的方法来抑制因环境变动引起的识别器的识别性能的下降。本发明的一方面的脸部图像识别***由第一脸部图像数据算出与各特征相关的第一特征量，由第二脸部图像数据算出与各特征相关的第二特征量，且关于各特征来比较第一与第二特征量，第一脸部图像数据利用于构建对脸部的多个特征进行识别的第一识别器，第二脸部图像数据是在利用第一识别器的环境下获得。脸部图像识别***提取被评估为第一与第二特征量之差大的特征来作为差值特征，通过利用第三脸部图像数据的机器学习，从而构建对差值特征及差值关联特征的至少一者进行识别的第二识别器，第三脸部图像数据是在利用第一识别器的环境下所获取，且映照有差值特征及差值关联特征的至少一者。

Description

脸部图像识别***、识别器生成装置、识别装置、图像识别系 统以及识别***
技术领域
本发明涉及一种脸部图像识别***、识别器生成装置、识别装置、图像识别***以及识别***。
背景技术
近年来，获取拍出脸部的图像(以下也记载为“脸部图像”)，并从所获取的脸部图像中识别脸部特征的技术在各种领域得到利用。例如，专利文献1中，提出了一种认证装置，其从用户的脸部图像提取脸部特征，通过识别器来判定所提取的脸部特征与保存在存储装置中的脸部特征是否一致，由此来进行所述用户的认证。
现有技术文献
专利文献
专利文献1：日本专利特开2013-196046号公报
发明内容
发明所要解决的问题
本申请发明人发现，在利用识别器来从脸部图像数据识别脸部特征的以往技术中，存在如下所述的问题。即，识别器被构建为，事先收集脸部图像数据，从所收集的脸部图像数据识别脸部特征。但是，所述识别器并不限于在与利用于构建所述识别器的脸部图像数据相同的环境下利用。除此以外，脸部特征例如可能根据性别、地区、摄影装置、摄影场所的亮度等环境而大不相同。
因此，若利用于构建识别器的脸部图像数据所表示的脸部特征、与在利用所述识别器的环境下获得的脸部图像数据所表示的脸部特征大不相同，则识别器对所述脸部特征的识别精度将变得非常差。例如，亚洲人的脸部特征与欧美人的脸部特征可能在眼睛的形状、鼻子的大小等方面大不相同。因而，在构建为对亚洲人的脸部特征进行识别的识别器中，无法准确识别欧美人的脸部特征的可能性高。即，根据环境的变动，识别器的精度有可能下降。
因此，考虑根据各种环境来准备各别的识别器。若根据各种环境来准备识别器，则能够不受所述环境变动的影响而实施脸部特征的识别。但是，所述方法中，由于要根据环境来准备各别的识别器，因而相应地耗费成本。因此，本申请发明人发现，在以往技术中，存在无法利用低成本的方法来抑制因环境变动引起的识别器性能下降的问题。
另外，此问题并非脸部图像的分析所特有。在从脸部图像以外的图像数据来识别某些特征的场景、从图像数据以外的数据来识别某些特征的场景等利用事先收集的数据来生成识别器的所有场景下，可能产生同样的问题。即，若利用于生成识别器的数据所表示的特征与在利用所述识别器的环境下获得的数据所表示的特征大不相同，则所述环境下的所述识别器的识别性能可能下降。若为了应对此问题而生成在所述环境下利用的独立的识别器，则要收集新的数据，并通过所收集的数据来生成独立的识别器，相应地会耗费成本。
本发明在一方面是有鉴于此种实际情况而完成，其目的在于提供一种能够利用低成本的方法来抑制因环境变动引起的识别器的识别性能下降的技术。
解决问题的技术手段
为了解决所述问题，本发明采用以下的结构。
即，本发明的一方面的脸部图像识别***包括：第一特征量获取部，获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；学习处理部，通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者；对象数据获取部，获取作为识别所述多个特征的对象的对象脸部图像数据；第一识别部，将所获取的所述对象脸部图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象脸部图像数据识别所述多个特征的结果对应的输出；第二识别部，将所获取的所述对象脸部图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象脸部图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象脸部图像数据识别所述多个特征的结果。
所述结构的脸部图像识别***中，获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个特征的方式来构建第一识别器的机器学习。而且，所述脸部图像识别***获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用第一识别器的环境下获得。并且，所述脸部图像识别***关于各特征来比较第一特征量与第二特征量。所述比较的结果是判定为第一特征量与第二特征量的差值超过既定基准的特征，相当于在对被利用于构建第一识别器的第一脸部图像数据进行收集的环境、与对第二脸部图像数据进行收集的利用第一识别器的环境下大不相同的脸部特征。即，通过第一特征量与第二特征量的比较，能够找出可能因环境变动而大不相同的脸部特征。
因此，所述结构的脸部图像识别***中，根据既定基准，提取被判定为所述第一特征量与第二特征量的差值大的特征来作为差值特征。并且，所述脸部图像识别***在利用第一识别器的环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所提取的差值特征及与差值特征关联的特征即差值关联特征的至少一者，通过实施利用所获取的第三脸部图像数据的机器学习，来构建用于对差值特征及差值关联特征的至少一者进行识别的第二识别器。由此，所述脸部图像识别***能够在识别脸部的多个特征时利用第一识别器，且对于第一识别器有可能无法准确识别的差值特征及差值关联特征的至少一者的识别利用第二识别器。即，所述脸部图像识别***例如能够利用第二识别器对差值特征的识别结果来覆盖第一识别器对差值特征的识别结果，或者根据要识别的特征来切换所利用的识别器，以对于差值特征以外的脸部特征的识别利用第一识别器，对于脸部的差值特征的识别利用第二识别。而且，所述脸部图像识别***例如能够根据第二识别器对差值关联特征的识别结果，来弥补第一识别器对差值关联的识别结果。
因此，根据所述结构，对于在对利用于构建第一识别器的第一脸部图像数据进行收集的环境、与利用第一识别器的环境下大不相同的脸部特征的识别，利用所述第二识别器，由此，能够抑制对于所述特征的识别性能的下降。而且，由于将要识别的对象缩减为脸部的差值特征及差值关联特征的至少一者，因而相应地，生成第二识别器的成本比生成对所有脸部特征进行识别的独立的识别器的情况低。即，根据所述结构，对于差值特征以外的脸部特征，能够直接利用第一识别器，因而相应地，能够抑制用于应对环境变动的成本。因而，根据所述结构，能够利用低成本的方法来抑制因环境变动引起的识别器的识别性能的下降。
另外，作为识别对象的脸部的多个特征也可包含图像中表示的所有特征，例如可从表情的种类、清醒状态、脸部的部位(包含器官)的位置(包含特定器官彼此的相对位置关系)、脸部的部位的形状、脸部的部位的颜色、及脸部的部位的状态(开度、角度等)中选择。差值关联特征只要是并不与差值特征完全一致但可能与差值特征存在关系性的特征即可。差值关联特征既可包含在作为通过第一识别器来识别的对象的多个特征中，也可不包含在所述多个特征中。作为一例，在差值特征为眼睛的大小、眼睛的形状等与眼睛相关的特征的情况下，差值关联特征可为双眼的间隔、眼睛与眉毛的间隔、眉毛的形状、眉毛的大小等。“特征的识别”可包含用于对特征的种类或属性值进行识别的所有处理，例如可为判定所述特征所属的一个或多个类别(class)、判定所述特征是否属于既定类别、导出所述特征属于既定类别的概率或可靠度、导出所述特征的属性值等。“识别器”例如可包含神经网络、支持向量机(support vector machine)、自组织映射、强化学习模型等可通过机器学习来获得进行既定推论的能力的学习模型。
所述一方面的脸部图像识别***中，所述第三脸部图像数据可包含所述第二脸部图像数据的拷贝或者部分脸部图像数据，所述部分脸部图像数据是通过从所述第二脸部图像数据提取映照出所述差值特征及所述差值关联特征的至少一者的部分而获得。根据所述结构，能够抑制获得第三脸部图像数据要耗费的成本。因此，能够利用更低成本的方法来抑制因环境变动引起的识别器的识别性能的下降。
所述一方面的脸部图像识别***中，所述第二脸部图像数据可从映照出所述多个特征且所述多个特征中的至少任一个在所述第一识别器中无法识别或发生了误识别的脸部图像数据中选择。根据所述结构，能够适当地提取可能因环境变动而大不相同的脸部的差值特征。因此，能够适当抑制因环境变动引起的识别器的识别性能的下降。
所述一方面的脸部图像识别***中，所述输出部也可基于所述第一识别器的输出，来输出对所述多个特征中的所述差值特征以外的所述脸部特征进行识别的结果，并基于所述第二识别器的输出，来输出对所述差值特征及所述差值关联特征的至少一者进行识别的结果。根据所述结构，对于脸部的多个特征，能够获得精度更高的识别结果。
所述一方面的脸部图像识别***中，所述既定条件也可被规定为，从差值最大的特征起依序选择一个或多个特征，所述差值提取部也可从所述第一特征量与所述第二特征量的差值最大的特征起依序选择一个或多个特征，提取所选择的一个或多个特征来作为所述差值特征。根据所述结构，能够适当地提取差值特征。
所述一方面的脸部图像识别***中，所述既定条件也可被规定为，选择差值超过阈值的特征，所述差值提取部也可判定所述第一特征量与所述第二特征量的差值是否超过所述阈值，并提取被判定为所述第一特征量与所述第二特征量的差值超过所述阈值的特征来作为所述差值特征。根据所述结构，能够适当地提取差值特征。
而且，也可从所述各形态的脸部图像识别***中，例如提取生成第二识别器的部分、利用第一识别器及第二识别器来进行图像识别的部分等一部分，来构成其他形态的装置。
例如，本发明的一方面的识别器生成装置包括：第一特征量获取部，获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及学习处理部，通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别装置包括：对象数据获取部，获取作为识别多个特征的对象的对象脸部图像数据；第一识别部，将所获取的所述对象脸部图像数据输入至第一识别器，由此，自所述第一识别器获取与从所述对象脸部图像数据识别所述多个特征的结果对应的输出，所述第一识别器是通过机器学习而构建为，对脸部的多个特征进行识别；第二识别部，将所获取的所述对象脸部图像数据输入至第二识别器，由此，自所述第二识别器获取与从所述对象脸部图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出，所述第二识别器是通过机器学习而构建为，对从多个特征提取的差值特征及与所述差值特征关联的特征即差值关联特征的至少一者进行识别；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象脸部图像数据识别所述多个特征的结果。另外，第二识别器可由所述识别器生成装置所生成。
进而，所述各形态的脸部图像识别***、识别器生成装置及识别装置可适用于从映照有脸部的脸部图像数据以外的图像数据识别某些特征的场景、从包含图像数据以外的其他数据的数据识别某些特征的场景等利用事先收集的数据来生成识别器(第一识别器)的所有场景。
例如，本发明的一方面的图像识别***包括：第一特征量获取部，获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二图像数据所算出的与各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；学习处理部，通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者；对象数据获取部，获取作为识别所述多个特征的对象的对象图像数据；第一识别部，将所获取的所述对象图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象图像数据识别所述多个特征的结果对应的输出；第二识别部，将所获取的所述对象图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象图像数据识别所述多个特征的结果。
而且，例如，本发明的一方面的识别器生成装置包括：第一特征量获取部，获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二图像数据所算出的与各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及学习处理部，通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别装置包括：对象数据获取部，获取作为对多个特征进行识别的对象的对象图像数据；第一识别部，将所获取的所述对象图像数据输入至第一识别器，由此，自所述第一识别器获取与从所述对象图像数据识别所述多个特征的结果对应的输出，所述第一识别器是通过机器学习而构建为，对多个特征进行识别；第二识别部，将所获取的所述对象图像数据输入至第二识别器，由此，自所述第二识别器获取与从所述对象图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出，所述第二识别器是通过机器学习而构建为，对从多个特征提取的差值特征及与所述差值特征关联的特征即差值关联特征的至少一者进行识别；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象图像数据识别所述多个特征的结果。另外，第二识别器可由所述识别器生成装置所生成。
而且，例如，本发明的一方面的识别***包括：第一特征量获取部，获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；学习处理部，通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者；对象数据获取部，获取作为识别所述多个特征的对象的对象数据；第一识别部，将所获取的所述对象数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象数据识别所述多个特征的结果对应的输出；第二识别部，将所获取的所述对象数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象数据识别所述多个特征的结果。
另外，“数据”也可包含可成为识别器的分析对象的所有种类的数据，例如除了图像数据以外，可为声音数据(语音数据)、数值数据、文本数据等。“特征”也可包含可从数据识别的所有特征。“多个特征”也可为具有关联性的一连串特征(例如从语音数据识别的字符串)，此时，“差值特征”可为所述一连串特征中的一部分。“环境”例如可根据获取数据的条件、利用于数据获取的装置、地区等对利用于识别器的机器学习的数据进行收集的场景、及利用识别器的场景的属性来适当确定。
所述一方面的识别***中，所述第三数据可包含所述第二数据的拷贝或者部分数据，所述部分数据是通过从所述第二数据提取包含所述差值特征及所述差值关联特征的至少一者的部分而获得。
所述一方面的识别***中，所述第二数据可从包含所述多个特征且所述多个特征中的至少任一个在所述第一识别器中无法识别或发生了误识别的数据中选择。
所述一方面的识别***中，所述输出部也可基于所述第一识别器的输出，来输出对所述多个特征中的所述差值特征以外的特征进行识别的结果，并基于所述第二识别器的输出，来输出对所述差值特征及所述差值关联特征的至少一者进行识别的结果。
所述一方面的识别***中，所述既定条件也可被规定为，从差值最大的特征起依序选择一个或多个特征，所述差值提取部也可从所述第一特征量与所述第二特征量的差值最大的特征起依序选择一个或多个特征，提取所选择的一个或多个特征来作为所述差值特征。
所述一方面的识别***中，所述既定条件也可被规定为，选择差值超过阈值的特征，所述差值提取部也可判定所述第一特征量与所述第二特征量的差值是否超过所述阈值，并提取被判定为所述第一特征量与所述第二特征量的差值超过所述阈值的特征来作为所述差值特征。
而且，例如，本发明的一方面的识别器生成装置包括：第一特征量获取部，获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；第二特征量获取部，获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；学习数据获取部，在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及学习处理部，通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别装置包括：对象数据获取部，获取作为对多个特征进行识别的对象的对象数据；第一识别部，将所获取的所述对象数据输入至第一识别器，由此，自所述第一识别器获取与从所述对象数据识别所述多个特征的结果对应的输出，所述第一识别器是通过机器学习而构建为，对多个特征进行识别；第二识别部，将所获取的所述对象数据输入至第二识别器，由此，自所述第二识别器获取与从所述对象数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出，所述第二识别器是通过机器学习而构建为，对从多个特征提取的差值特征及与所述差值特征关联的特征即差值关联特征的至少一者进行识别；以及输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象数据识别所述多个特征的结果。另外，第二识别器可由所述识别器生成装置所生成。
另外，作为所述各形态的脸部图像识别***、图像识别***、识别***、识别器生成装置及识别装置的其他形态，本发明也可为实现以上的各结构的信息处理方法，也可为程序，还可为存储有此种程序的、计算机或其他装置、机械等可读取的存储介质。此处，所谓计算机等可读取的存储介质，是指通过电、磁、光学、机械或化学作用来保存程序等信息的介质。
例如，本发明的一方面的脸部图像识别方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者；获取作为识别所述多个特征的对象的对象脸部图像数据；将所获取的所述对象脸部图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象脸部图像数据识别所述多个特征的结果对应的输出；将所获取的所述对象脸部图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象脸部图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象脸部图像数据识别所述多个特征的结果。
而且，例如，本发明的一方面的识别器生成方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别器生成程序用于使计算机执行下述步骤：获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；获取由第二脸部图像数据所算出的与各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的图像识别方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二图像数据所算出的与各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者；获取作为识别所述多个特征的对象的对象图像数据；将所获取的所述对象图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象图像数据识别所述多个特征的结果对应的输出；将所获取的所述对象图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象图像数据识别所述多个特征的结果。
而且，例如，本发明的一方面的识别器生成方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二图像数据所算出的与各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别器生成程序用于使计算机执行下述步骤：获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二图像数据所算出的与各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者；获取作为识别所述多个特征的对象的对象数据；将所获取的所述对象数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象数据识别所述多个特征的结果对应的输出；将所获取的所述对象数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象数据识别所述多个特征的结果。
而且，例如，本发明的一方面的识别器生成方法是一种信息处理方法，其由计算机执行下述步骤：获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者。
而且，例如，本发明的一方面的识别器生成程序用于使计算机执行下述步骤：获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者。
发明的效果
根据本发明，能够提供一种利用低成本的方法来抑制因环境变动引起的识别器的识别性能下降的技术。
附图说明
图1示意性地例示适用本发明的场景的一例。
图2示意性地例示实施方式的识别器生成装置的硬件结构的一例。
图3示意性地例示实施方式的识别装置的硬件结构的一例。
图4示意性地例示实施方式的识别器生成装置的软件结构的一例。
图5示意性地例示实施方式的识别装置的软件结构的一例。
图6例示实施方式的识别器生成装置的处理流程的一例。
图7例示实施方式的识别装置的处理流程的一例。
图8示意性地例示另一形态的识别器生成装置的软件结构的一例。
图9示意性地例示另一形态的识别装置的软件结构的一例。
图10示意性地例示另一形态的识别器生成装置的软件结构的一例。
图11示意性地例示另一形态的识别装置的软件结构的一例。
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式(以下也称作“本实施方式”)。但是，以下说明的本实施方式在所有方面不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良或变形。即，在本发明的实施时，也可适当采用与实施方式相应的具体构成。另外，对于在本实施方式中出现的数据，通过自然语言进行了说明，更具体而言，以计算机可识别的伪语言、命令、参数、机器语言等来指定。
§1适用例
首先，对本发明的基本结构的一例进行说明。在利用事先收集的数据来生成识别器的情况下，可能产生如下所述的问题。即，在利用于生成识别器的数据所表示的特征与在利用所述识别器的环境下获得的数据所表示的特征大不相同的情况下，所述环境下的所述识别器的识别性能有可能下降。若要为了应对此情况而生成在所述环境下利用的独立的识别器，则要收集新的数据，通过所收集的数据来生成独立的识别器，相应地会耗费成本。
因此，本发明的一例中，获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别多个特征的方式来构建第一识别器的机器学习。而且，获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用第一识别器的环境下获取的、与第一数据同种的第二数据，且包含多个特征。
接下来，关于各特征来比较第一特征量与第二特征量，基于所述比较的结果，提取多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。并且，在利用第一识别器的环境下，获取包含所提取的差值特征及与差值特征关联的差值关联特征的至少一者的第三数据，通过利用所获取的第三数据的机器学习，来构建对差值特征及差值关联特征的至少一者进行识别的第二识别器。
另外，“特征”也可包含可从数据识别的所有特征。而且，“多个特征”也可为具有关联性的一连串特征，此时，“差值特征”可为所述一连串特征中的一部分。差值关联特征只要是并不与差值特征完全一致但可能与差值特征存在关系性的特征即可。差值关联特征既可包含在作为通过第一识别器来识别的对象的多个特征中，也可不包含在所述多个特征中。作为一例，在映照有脸部的脸部图像数据为处理对象的情况下，作为识别对象的特征例如可为映照在脸部图像数据中的脸部的部位的状态等。特征量例如可为脸部的部位的大小、角度、颜色等。在差值特征为眼睛的大小、眼睛的形状等与眼睛相关的特征的情况下，差值关联特征可为双眼的间隔、眼睛与眉毛的间隔、眉毛的形状、眉毛的大小等。
由此，所述结构中，对于在对利用于构建第一识别器的第一数据进行收集的环境、与利用第一识别器的环境下大不相同的特征(差值特征及/或差值关联特征)的识别，利用所构建的第二识别器，由此，能够抑制对所述特征的识别性能的下降。而且，由于将要识别的对象缩减为差值特征及差值关联特征的至少一者，因而相应地，生成第二识别器的成本比生成对所有特征进行识别的独立的识别器的情况低。即，并非放弃第一识别器而生成独立的识别器，对于差值特征以外的特征的识别，能够直接利用第一识别器，因而相应地，能够抑制用于应对环境变动的成本。因此，根据所述结构，能够利用低成本的方法来抑制因环境变动引起的识别器的识别性能的下降。
接下来，使用图1来说明适用本发明的场景的一例。图1示意性地例示将本发明适用于脸部图像分析的场景的一例。但是，本发明的适用范围并不限于以下例示的脸部图像分析。本发明能够适用于利用事先收集的数据来生成识别器的所有场景。
图1所例示的脸部图像识别***100包括经由网络而连接的识别器生成装置1及识别装置2。图1的示例中，识别器生成装置1及识别装置2为独立的计算机。但是，脸部图像识别***100的结构也可不限定于此例，识别器生成装置1及识别装置2既可为一体的计算机，识别器生成装置1及识别装置2也可分别包含多台计算机。另外，识别器生成装置1及识别装置2之间的网络的种类例如可从国际互联网(Internet)、无线通信网、移动通信网、电话网、专用网等中适当选择。
识别器生成装置1是以生成所述第二识别器的方式而构成的计算机。具体而言，首先，识别器生成装置1获取由第一脸部图像数据121所算出的与各特征相关的第一特征量，所述第一脸部图像数据121被利用于以识别脸部的多个特征的方式来构建第一识别器5的机器学习。而且，识别器生成装置1获取由第二脸部图像数据123所算出的与各特征相关的第二特征，所述第二脸部图像数据123是在利用第一识别器5的环境下获取的、与第一脸部图像数据121同种的第二脸部图像数据123，且映照有脸部的多个特征。
“环境”例如可根据获取数据的条件、利用于数据获取的装置、地区等对利用于识别器的机器学习的数据进行收集的场景、及利用识别器的场景的属性来适当确定。而且，作为识别对象的脸部的多个特征也可包含图像中表示的脸部的所有特征，例如可从表情的种类、清醒状态、脸部的部位(包含器官)的位置(包含特定器官彼此的相对位置关系)、脸部的部位的形状、脸部的部位的颜色、及脸部的部位的状态(开度、角度等)中选择。
接下来，识别器生成装置1关于各特征来比较第一特征量与第二特征量，基于所述比较的结果，提取多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。继而，识别器生成装置1在利用第一识别器5的环境下，获取映照有差值特征及差值关联特征的至少一者的第三脸部图像数据125。并且，识别器生成装置1通过利用所获取的第三脸部图像数据125的机器学习来构建第二识别器6，所述第二识别器6从所述第三脸部图像数据125中识别差值特征及差值关联特征的至少一者。
另一方面，识别装置2是以下述方式构成的计算机，即，利用第一识别器5及第二识别器6来从脸部图像数据中识别脸部的多个特征。具体而言，首先，识别装置2获取作为对脸部的多个特征进行识别的对象的对象脸部图像数据221。本实施方式中，识别装置2与摄像机31连接，通过所述摄像机31来获取对象脸部图像数据221，所述对象脸部图像数据221映照有作为对脸部的多个特征进行识别的对象的对象者X。
接下来，识别装置2将所获取的对象脸部图像数据221输入至第一识别器5，由此，自第一识别器5获取与从对象脸部图像数据221识别多个特征的结果对应的输出。而且，识别装置2将所获取的对象脸部图像数据221输入至第二识别器6，由此，自第二识别器6获取与从对象脸部图像数据221识别差值特征及差值关联特征的至少一者的结果对应的输出。并且，识别装置2基于第一识别器5的输出及第二识别器6的输出，输出从对象脸部图像数据221中识别多个特征的结果。
如上所述，本实施方式的脸部图像识别***100对由第一脸部图像数据121所算出的第一特征量与由第二脸部图像数据123所算出的第二特征量进行比较，由此，提取可能因环境变动而大不相同的脸部特征来作为差值特征。并且，本实施方式的脸部图像识别***100通过利用映照有所提取的差值特征及差值关联特征的至少一者的第三脸部图像数据的机器学习，来构建用于对所述差值特征及差值关联特征的至少一者进行识别的第二识别器。由此，脸部图像识别***100能够在从对象脸部图像数据221中识别对象者X的脸部的多个特征时利用第一识别器5，且对于第一识别器5有可能无法准确识别的差值特征及差值关联特征的至少一者的识别利用第二识别器6。
因此，根据本实施方式，对于在对利用于构建第一识别器5的第一脸部图像数据121进行收集的环境、与利用第一识别器5的环境下大不相同的脸部特征(差值特征及/或差值关联特征)的识别，利用第二识别器6，由此，能够抑制对于所述特征的识别性能的下降。而且，由于将要识别的对象缩减为脸部的差值特征及差值关联特征的至少一者，因而相应地，生成第二识别器6的成本比生成对所有脸部特征进行识别的独立的识别器的情况低。即，并非放弃第一识别器5而生成新的识别器，对于差值特征以外的脸部特征的识别，能够直接利用第一识别器5，因而相应地，能够抑制用于应对环境变动的成本。因而，根据本实施方式，能够利用低成本的方法来抑制从脸部图像识别多个特征的识别器的识别性能因环境变动而下降的情况。
§2结构例
[硬件结构]
＜识别器生成装置＞
接下来，使用图2来说明本实施方式的识别器生成装置1的硬件结构的一例。图2示意性地例示本实施方式的识别器生成装置1的硬件结构的一例。
如图2所示，本实施方式的识别器生成装置1是由控制部11、存储部12、通信接口13、输入装置14、输出装置15及驱动器16电连接而成的计算机。另外，图2中，将通信接口记作“通信I/F”。
控制部11包含作为硬件处理器的中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)等，且构成为，基于程序及各种数据来执行信息处理。存储部12是存储器的一例，例如包含硬盘驱动器(hard disk drive)、固态硬盘(solid state drive)等。本实施方式中，存储部12存储生成程序81、第一脸部图像数据121、第二脸部图像数据123、第三脸部图像数据125、差值学习结果数据129等各种信息。
生成程序81是用于使识别器生成装置1执行生成第二识别器6的后述的信息处理(图6)的程序，包含所述信息处理的一连串命令。第一脸部图像数据121是映照有脸部的多个特征的脸部图像数据，且是被利用于第一识别器5的机器学习的脸部图像数据。第二脸部图像数据123是与第一脸部图像数据121同种的脸部图像数据，且是在利用第一识别器5的环境下收集的脸部图像数据。第三脸部图像数据125是在利用第一识别器5的环境下收集的脸部图像数据，且是映照有脸部的差值特征及差值关联特征的至少一者的脸部图像数据。差值学习结果数据129是用于进行学习完毕的第二识别器6的设定的数据，所述学习完毕的第二识别器6是通过利用第三脸部图像数据125的机器学习而构建。详细将后述。
通信接口13例如是有线局域网(Local Area Network，LAN)模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。识别器生成装置1通过利用所述通信接口13，从而能够与识别装置2进行经由网络的数据通信。
输入装置14例如是鼠标、键盘等用于进行输入的装置。而且，输出装置15例如是显示器、扬声器等用于进行输出的装置。操作员通过利用输入装置14及输出装置15，从而能够操作识别器生成装置1。
驱动器16例如是光盘(Compact Disk，CD)驱动器、数字多功能光盘(DigitalVersatile Disk，DVD)驱动器等，是用于读取存储在存储介质91中的程序的驱动器装置。驱动器16的种类可根据存储介质91的种类来适当选择。所述生成程序81、第一脸部图像数据121、第二脸部图像数据123及第三脸部图像数据125中的至少任一个也可被存储在所述存储介质91中。
存储介质91是通过电、磁、光学、机械或化学作用来保存所述程序等信息，以便计算机或其他装置、机械等能够读取所记录的程序等信息的介质。识别器生成装置1也可从所述存储介质91中获取所述生成程序81、第一脸部图像数据121、第二脸部图像数据123及第三脸部图像数据125中的至少任一个。
此处，图2中，作为存储介质91的一例，例示了CD、DVD等碟型的存储介质。但是，存储介质91的种类并不限定于碟型，也可为碟型以外。作为碟型以外的存储介质，例如可列举快闪存储器(flash memory)等半导体存储器。
另外，关于识别器生成装置1的具体的硬件结构，可根据实施方式来适当地进行构成元件的省略、替换及追加。例如，控制部11也可包含多个硬件处理器。硬件处理器可包含微处理器、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)等。存储部12也可包含控制部11中所含的RAM及ROM。通信接口13、输入装置14、输出装置15及驱动器16的至少任一者也可予以省略。识别器生成装置1也可包含多台计算机。此时，各计算机的硬件结构既可一致，也可不一致。而且，识别器生成装置1除了专为所提供的服务设计的信息处理装置以外，还可为通用的服务器(server)装置、个人计算机(Personal Computer，PC)等。
＜识别装置＞
接下来，使用图3来说明本实施方式的识别装置2的硬件结构的一例。图3示意性地例示本实施方式的识别装置2的硬件结构的一例。
如图3所示，本实施方式的识别装置2是由控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26及驱动器27电连接而成的计算机。另外，图3中，将通信接口及外部接口分别记作“通信I/F”及“外部I/F”。
除了外部接口24以外，识别装置2具有与所述识别器生成装置1同样的结构。控制部21包含作为硬件处理器的CPU、RAM、ROM等，且构成为，基于程序及数据来执行各种信息处理。存储部22例如包含硬盘驱动器、固态硬盘等。存储部22存储识别程序82、学习结果数据229、差值学习结果数据129等各种信息。
识别程序82是用于使识别装置2执行利用第一识别器5及第二识别器6来从对象脸部图像数据221识别脸部的多个特征的后述的信息处理(图7)的程序，包含所述信息处理的一连串命令。学习结果数据229是用于进行学习完毕的第一识别器5的设定的数据，所述学习完毕的第一识别器5是通过利用第一脸部图像数据121的机器学习来构建。详细将后述。
通信接口23例如是有线LAN模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。识别装置2通过利用所述通信接口23，从而能够与识别器生成装置1进行经由网络的数据通信。
外部接口24例如是通用串行总线(Universal Serial Bus，USB)端口、专用端口等，是用于与外部装置连接的接口。外部接口24的种类及数量可根据所连接的外部装置的种类及数量来适当选择。本实施方式中，识别装置2经由外部接口24而连接于摄像机31。
摄像机31被利用于通过拍摄对象者X来获取对象脸部图像数据221。摄像机31的种类及配置场所也可无特别限定，可根据实施方式来适当决定。对于摄像机31，例如可利用数字摄像机、摄影机等公知的摄像机。另外，在摄像机31包括通信接口的情况下，识别装置2并非经由外部接口24，而可经由通信接口23连接于摄像机31。
输入装置25例如是鼠标、键盘等用于进行输入的装置。而且，输出装置26例如是显示器、扬声器等用于进行输出的装置。操作员通过利用输入装置25及输出装置26，从而能够操作识别装置2。
驱动器27例如是CD驱动器、DVD驱动器等，是用于读取存储在存储介质92中的程序的驱动器装置。驱动器27及存储介质92可分别与所述驱动器16及存储介质91各自同样地构成。所述识别程序82、学习结果数据229及差值学习结果数据129中的至少任一个也可被存储在存储介质92中。而且，识别装置2也可从存储介质92获取所述识别程序82、学习结果数据229及差值学习结果数据129中的至少任一个。
另外，关于识别装置2的具体的硬件结构，与所述识别器生成装置1同样，可根据实施方式来适当地进行构成元件的省略、替换及追加。例如，控制部21也可包含多个硬件处理器。硬件处理器可包含微处理器、FPGA、DSP等。存储部22也可包含控制部21中所含的RAM及ROM。通信接口23、外部接口24、输入装置25、输出装置26及驱动器27的至少任一者也可予以省略。识别装置2也可包含多台计算机。此时，各计算机的硬件结构既可一致，也可不一致。而且，识别装置2除了专为所提供的服务而设计的信息处理装置以外，还可使用通用的服务器装置、通用的桌面型PC、笔记型PC、平板PC、包含智能电话的移动电话等。
[软件结构]
＜识别器生成装置＞
接下来，使用图4来说明本实施方式的识别器生成装置1的软件结构的一例。图4示意性地例示本实施方式的识别器生成装置1的软件结构的一例。
识别器生成装置1的控制部11将存储在存储部12中的生成程序81展开到RAM中。并且，控制部11通过CPU来解释及执行在RAM中展开的生成程序81，从而控制各构成元件。由此，如图4所示，本实施方式的识别器生成装置1作为包括第一特征量获取部111、第二特征量获取部112、差值提取部113、学习数据获取部114、及学习处理部115来作为软件模块的计算机而运行。
第一特征量获取部111获取由第一脸部图像数据121所算出的与各特征相关的第一特征量，所述第一脸部图像数据121被利用于以对脸部的多个所述特征进行识别的方式来构建第一识别器5的机器学习。第二特征量获取部112获取由第二脸部图像数据123所算出的与各特征相关的第二特征量，所述第二脸部图像数据123是在利用第一识别器5的环境下获取的、与第一脸部图像数据121同种的第二脸部图像数据123，且映照有脸部的多个特征。差值提取部113关于各特征来比较第一特征量与第二特征量，基于所述比较的结果，提取多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。
学习数据获取部114在利用第一识别器5的环境下，获取映照有差值特征及差值关联特征的至少一者的第三脸部图像数据125。学习处理部115通过利用第三脸部图像数据125的机器学习来构建第二识别器6，所述第二识别器6从所述第三脸部图像数据125中识别差值特征及差值关联特征的至少一者。如图4所示，本实施方式中，第二识别器6包含神经网络。因此，为了实施所述神经网络的机器学习(即有教学学习)，学习数据获取部114获取学习用数据集127，所述学习用数据集127包含第三脸部图像数据125及正解数据1251的组合。正解数据1251构成为，表示对映照于第三脸部图像数据125的差值特征及差值关联特征的至少一者的识别的正解。并且，学习处理部115通过实施利用所述学习用数据集127的有教学学习，从而构建学习完毕的第二识别器6，所述学习完毕的第二识别器6学会了对差值特征及差值关联特征的至少一者进行识别的能力。
(识别器)
接下来，对第二识别器6的结构进行说明。如图4所示，本实施方式的第二识别器6包含神经网络。具体而言，第二识别器6包含被用于所谓的深度学习的多层结构的神经网络，包括输入层61、中间层(隐藏层)62及输出层63。
另外，图4的示例中，构成第二识别器6的神经网络包括一层中间层62，输入层61的输出被输入至中间层62，中间层62的输出被输入至输出层63。但是，中间层62的数量也可不限于一层。第二识别器6也可包括两层以上的中间层62。
各层61～63包括一个或多个神经元。例如，输入层61的神经元的数量可根据第三脸部图像数据125来设定。中间层62的神经元的数量可根据实施方式来适当设定。而且，输出层63的神经元的数量可根据要识别的特征(差值特征及/或差值关联特征)的数量、正解的种类数等来设定。
邻接的层的神经元彼此适当结合，对于各结合设定有权重(结合负载)。图4的示例中，各神经元与邻接的层的所有神经元相结合。但是，神经元的结合也可不限定于此例，可根据实施方式来适当设定。
对于各神经元设定有阈值，基本上，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。学习处理部115构建学习完毕的第二识别器6，所述学习完毕的第二识别器6在对输入层61输入学习用数据集127的第三脸部图像数据125时，从输出层63输出与跟所输入的第三脸部图像数据125相关联的正解数据1251对应的值。并且，学习处理部115将表示所构建的学习完毕的第二识别器6的结构(例如，神经网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元间的结合的权重、及各神经元的阈值的信息作为差值学习结果数据129而保存到存储部12中。
＜识别装置＞
接下来，使用图5来说明本实施方式的识别装置2的软件结构的一例。图5示意性地例示本实施方式的识别装置2的软件结构的一例。
识别装置2的控制部21将存储在存储部22中的识别程序82展开到RAM中。并且，控制部21通过CPU来解释及执行在RAM中展开的识别程序82，从而控制各构成元件。由此如图5所示，本实施方式的识别装置2构成为包括对象数据获取部211、第一识别部212、第二识别部213及输出部214来作为软件模块的计算机。
对象数据获取部211获取作为对多个特征进行识别的对象的对象脸部图像数据221。例如，对象脸部图像数据221通过利用摄像机31来拍摄对象者X的脸部，从而获取对象脸部图像数据221。第一识别部212包含学习完毕的第一识别器5，通过将所获取的对象脸部图像数据221输入至第一识别器5，从而自第一识别器5获取与从对象脸部图像数据221识别多个特征的结果对应的输出值。第二识别部213包含学习完毕的第二识别器6，通过将所获取的对象脸部图像数据221输入至第二识别器6，从而自第二识别器6获取与从对象脸部图像数据221识别多个特征的结果对应的输出值。输出部214基于第一识别器5的输出值及第二识别器6的输出值，输出从对象脸部图像数据221中识别多个特征的结果。
另外，如图5所示，本实施方式的第一识别器5与第二识别器6同样，包含神经网络。第一识别器5的神经网络可与第二识别器6同样地构成。即，输入层51、中间层(隐藏层)52及输出层53可与第二识别器6的各层61～63同样地构成。但是，第一识别器5的神经网络的结构也可不与第二识别器6一致。例如，构成第一识别器5的神经网络的层数、各层中的神经元的个数、及神经元彼此的结合关系也可与构成第二识别器6的神经网络不同。
表示学习完毕的第一识别器5的结构(例如各网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元间的结合的权重、及各神经元的阈值的信息包含在学习结果数据229中。第一识别部212参照学习结果数据229来进行学习完毕的第一识别器5的设定。同样，第二识别部213参照差值学习结果数据129来进行学习完毕的第二识别器6的设定。
＜其他＞
关于识别器生成装置1及识别装置2的各软件模块，将在后述的运行例中进行详细说明。另外，本实施方式中，对识别器生成装置1及识别装置2的各软件模块均通过通用的CPU来实现的示例进行了说明。但是，以上的软件模块的一部分或全部也可通过一个或多个专用的处理器来实现。而且，关于识别器生成装置1及识别装置2各自的软件结构，也可根据实施方式来适当地进行软件模块的省略、替换及追加。
§3运行例
[识别器生成装置]
接下来，使用图6来说明识别器生成装置1的运行例。图6是例示识别器生成装置1的处理流程的一例的流程图。以下说明的处理流程是识别器生成方法的一例。但是，以下说明的处理流程不过是一例，各处理可尽可能变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S101及步骤S102)
步骤S101中，控制部11作为第一特征量获取部111而运行，获取第一脸部图像数据121，所述第一脸部图像数据121被利用于以对脸部的多个特征进行识别的方式来构建第一识别器5的机器学习。步骤S102中，控制部11作为第一特征量获取部111而运行，由所获取的第一脸部图像数据121算出与各特征相关的第一特征量。
第一脸部图像数据121的获取源也可无特别限定，可根据实施方式来适当决定。例如，在学习完毕的第一识别器5是由识别器生成装置1来构建的情况下，控制部11也可将利用于第一识别器5的机器学习的第一脸部图像数据121保存在存储部12、网路附加存储器(Network Attached Storage，NAS)等存储区域中。此时，控制部11能够从所述存储区域获取第一脸部图像数据121。而且，例如，学习完毕的第一识别器5可由与识别器生成装置1不同的其他信息处理装置来构建。此时，控制部11能够经由网络、存储介质91等来获取第一脸部图像数据121。
另外，学习完毕的第一识别器5除了所利用的学习用数据集不同以外，可通过与构建学习完毕的第二识别器6的后述的处理(步骤S107及步骤S108)同样的机器学习的处理来构建。利用于第一识别器5的机器学习的学习用数据集例如可包含第一脸部图像数据121、及表示映照于所述第一脸部图像数据121的脸部的各特征的正解的正解数据的组合。正解数据的内容可根据对后述的特征进行识别的形态来适当决定。识别器生成装置1或其他信息处理装置通过实施利用此种学习用数据集的机器学习，便能够生成已学会对脸部的多个特征进行识别的能力的第一识别器5。
而且，在步骤S101中获取的第一脸部图像数据121的件数也可无特别限定，例如，也可适当决定为可表现出在利用于第一识别器5的机器学习的数据中映照的各特征的倾向的程度。在步骤S101中获取的第一脸部图像数据121既可为利用于所述机器学习的所有数据，也可为利用于所述机器学习的数据中的一部分数据。
而且，作为通过第一识别器5来识别的对象的脸部的多个特征例如也可从表情的种类、脸部的部位的位置、脸部的部位的形状、脸部的部位的颜色、及脸部的部位的状态中选择。“表情的种类”既可像喜、怒、哀、乐等这样对应于感情的种类，也可像存在疲劳感的脸部等这样对应于对象者的状态的种类。“脸部的部位”例如既可包含眼、鼻、口、耳等器官，也可包含轮廓、发型等脸部的一部分。“脸部的部位的位置”既可包含脸部的各个部位的相对位置，也可包含特定部位彼此的相对位置关系(例如双眼的位置关系)。“脸部的部位的状态”例如也可包含眼睛的开度、口的开度、眼睛的角度、嘴角的角度等各个部位的属性值。属性值既可利用阶段(等级(grade)、级别(level))来表达，也可利用数值(得分(score))来表达。在利用多个级别来表达眼睛的开度的情况下，例如也可为：级别“0”表示闭眼，级别“1”表示微微睁开的眼睛(小开度)，级别“2”表示通常睁开的眼睛(通常开度)，级别“3”表示睁得大大的眼睛(开度大)。
而且，在步骤S102中算出的第一特征量是对脸部的各特征进行数值化的结果。所述第一特征量的种类也可无特别限定，可根据作为要识别的对象的脸部的各特征来适当决定。第一特征量例如可为脸部的部位的大小、特定部位间的宽度、特定部位的角度、特定部位的颜色等。作为具体例，第一特征量可为眼睛的纵宽、口的张开程度、眉毛与眼睛的间隔、眉间的宽度、嘴角的角度、眼睛的像素值等。步骤S102中，控制部11对第一脸部图像数据121执行图案匹配(pattern matching)、边缘提取等公知的图像处理，由此便能够算出与各特征相关的第一特征量。
由此，控制部11获取由第一脸部图像数据121所算出的与各特征相关的第一特征量。若在步骤S101中获取了多件第一脸部图像数据121，则控制部11由多件第一脸部图像数据121分别算出第一特征量，由此，能够获取与各特征相关的第一特征量的分布。当获取第一特征量时，控制部11将处理推进至下个步骤S103。
(步骤S103及步骤S104)
步骤S103中，控制部11作为第二特征量获取部112而运行，在利用第一识别器5的环境下，获取第二脸部图像数据123，所述第二脸部图像数据123是与第一脸部图像数据121同种的第二脸部图像数据123，且映照有脸部的多个特征。步骤S104中，控制部11作为第二特征量获取部112而运行，由所获取的第二脸部图像数据123算出与各特征相关的第二特征量。
获取第二脸部图像数据123的方法也可无特别限定，可根据实施方式来适当决定。例如，也可准备摄像机，在利用第一识别器5的环境下，通过所准备的摄像机来拍摄一个或多个对象者的脸部，由此来获取映照有所述对象者的脸部的多个特征的脸部图像数据。所述脸部图像数据也可被直接利用作为第二脸部图像数据123。
而且，第二脸部图像数据123可从所获取的脸部图像数据中的、多个特征中的至少任一个在第一识别器5中无法识别或者发生了误识别的脸部图像数据中选择。此时，与后述的步骤S202同样，对于所获取的脸部图像数据，执行利用第一识别器5来对脸部的多个特征进行识别的处理。即，通过学习结果数据229来进行第一识别器5的设定，将所获得的脸部图像数据输入至第一识别器5，以进行第一识别器5的运算处理。由此，能够自第一识别器5获取与从脸部图像数据识别多个特征的结果对应的输出值。基于所述输出值，能够判定多个特征中的至少任一个是在第一识别器5中无法识别还是发生了误识别。并且，第二脸部图像数据123可从被判定为多个特征中的至少任一个在第一识别器5中无法识别或发生了误识别的脸部图像数据中适当选择。
利用摄像机来获取脸部图像数据的处理、通过第一识别器5来识别脸部图像数据中所含的多个特征的处理、及选择第二脸部图像数据123的处理也可全部由识别器生成装置1来进行。此时，存储部12也可存储学习结果数据229，控制部11也可根据操作员对输入装置14的操作来执行各处理，由此来获取第二脸部图像数据123。而且，控制部11也可通过生成程序81的处理来自动获取第二脸部图像数据123。
或者，利用摄像机来获取脸部图像数据的处理、通过第一识别器5来识别脸部图像数据中所含的多个特征的处理、及选择第二脸部图像数据123的处理的至少任一个例如也可由识别装置2等识别器生成装置1以外的其他信息处理装置来进行。此时，控制部11也可经由网络、存储介质91等来从其他信息处理装置获取第二脸部图像数据123。
而且，在步骤S103中获取的第二脸部图像数据123的件数也可无特别限定，例如也可适当决定为可表现出在利用第一识别器5的环境下获得的脸部图像数据中映照出的各特征的倾向的程度。另外，在本步骤S104中算出的第二特征量与在所述步骤S102中算出的第一特征量为同种。控制部11能够通过与所述步骤S102同样的处理，来由第二脸部图像数据123算出与各特征相关的第二特征量。
由此，控制部11获取由第二脸部图像数据123算出的与各特征相关的第二特征量。步骤S103中，在获取了多件第二脸部图像数据123的情况下，控制部11由多件第二脸部图像数据123分别算出第二特征量，由此，能够获取与各特征相关的第二特征量的分布。当获取第二特征量时，控制部11将处理推进至下个步骤S105。
(步骤S105)
步骤S105中，控制部11作为差值提取部113而运行，关于各特征来比较第一特征量与第二特征量。并且，控制部11基于所述比较的结果，提取作为要识别的对象的脸部的多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。当提取差值特征时，控制部11将处理推进至下个步骤S106。
另外，比较第一特征量与第二特征量的方法也可根据实施方式来适当决定。在通过所述步骤S102及步骤S104而获取了第一特征量的分布与第二特征量的分布的情况下，控制部11也可算出第一特征量的分布与第二特征量的分布的差值来作为第一特征量与第二特征量的差值。分布的差值可使用平均值、中央值、离散、欧氏距离(Euclidean distance)等指标来算出。例如，控制部11可关于各特征而算出所获取的第一特征量的分布及第二特征量的分布各自的平均值，并算出所算出的各分布的平均值的差值来作为第一特征量与第二特征量的差值。关于其他也同样。
而且，选择具有满足既定条件的大小的特征的方法可根据实施方式来适当设定。例如，既定条件也可被规定为，从差值最大的特征起依序选择一个或多个特征。此时，作为成为要识别的对象的脸部的多个特征中的、具有满足既定条件的大小的特征，控制部11也可从第一特征量与第二特征量的差值最大的特征起依序选择一个或多个特征，并提取所选择的一个或多个特征来作为差值特征。而且，例如，既定条件也可被规定为，选择差值超过阈值的特征。此时，控制部11也可关于作为要识别的对象的脸部的各特征来判定第一特征量与第二特征量的差值是否超过阈值，并提取被判定为第一特征量与第二特征量的差值超过阈值的特征来作为差值特征。此时，阈值既可为对应于每个特征而不同的值，也可为相同的值。
通过本步骤S105的处理，能够提取可能因环境变动而大不相同的脸部特征且在第一识别器5中无法准确识别的可能性高的脸部特征来作为差值特征。例如设想下述场景：存在各国民的平均的眼睛属性大不相同的第一国及第二国，在第二国利用构建为对第一国的对象者的脸部特征进行识别的第一识别器5。此时，在第一识别器5中，有可能无法从在第二国获得的脸部图像数据来适当识别与眼睛相关的特征，在本步骤S105中，可提取与眼睛相关的特征来作为差值特征。
(步骤S106)
步骤S106中，控制部11作为学习数据获取部114而运行，在利用第一识别器5的环境下，获取映照有差值特征及差值关联特征的至少一者的第三脸部图像数据125。
本实施方式中，首先，控制部11选择作为通过新构建的第二识别器6来识别的对象的特征。作为通过第二识别器6来识别的对象的特征是从通过步骤S105而提取的差值特征、及与所述差值特征关联的差值关联特征中选择。差值关联特征只要是与差值特征关联的特征，则也可无特别限定，可根据实施方式来适当选择。例如，在步骤S105中提取的差值特征是眼睛的大小、眼睛的形状等与眼睛相关的特征的情况下，差值关联特征可为双眼的间隔、眼睛与眉毛的间隔、眉毛的形状、眉毛的大小等尽管不与差值特征完全一致但可能跟与眼睛相关的特征存在关系性的特征。所述差值关联特征既可为作为通过第一识别器5来识别的对象的多个特征中的任一个特征，也可为作为通过第一识别器5来识别的对象的多个特征以外的特征。
在差值关联特征是作为通过第一识别器5来识别的对象的多个特征以外的特征的情况下，识别器生成装置1也可针对脸部的各特征而将表示差值关联特征的候补的信息预先保持在存储部12中。控制部11也可通过参照所述信息来确定差值关联特征。而且，在存储部12中未预先保持有与差值关联特征相关的信息的情况下，控制部11也可经由输入装置14来受理操作员对差值关联特征的指定或设定。指定差值关联特征的方法可根据实施方式来适当决定。
而且，作为通过第二识别器6来识别的对象的特征可适当选择。控制部11也可根据操作员对输入装置14的操作，来选择作为通过第二识别器6来识别的对象的特征。或者，控制部11也可根据既定基准来选择作为通过第二识别器6来识别的对象的特征。另外，基于进一步提高对脸部特征进行识别的精度的观点，优选的是选择差值特征或者差值特征及差值关联特征，来作为成为通过第二识别器6来识别的对象的特征。
接下来，控制部11获取第三脸部图像数据125，所述第三脸部图像数据125映照有被选择为通过第二识别器6来识别的对象的差值特征及差值关联特征的至少一者。本实施方式中，控制部11获取学习用数据集127，所述学习用数据集127包含第三脸部图像数据125及正解数据1251的对。
学习用数据集127可适当生成。例如，准备摄像机，在利用第一识别器5的环境下，通过所准备的摄像机来拍摄一个或多个对象者的脸部的差值特征及差值关联特征的至少一者，由此来获取映照有差值特征及差值关联特征的至少一者的第三脸部图像数据125。并且，针对所获得的第三脸部图像数据125，将正解数据1251予以组合，所述正解数据1251表示对在所述第三脸部图像数据125中映照的差值特征及差值关联特征的至少一者的识别的正解。正解数据1251的内容可根据对后述的特征进行识别的形态来适当决定。由此，能够生成学习用数据集127。
所述学习用数据集127的生成也可由识别器生成装置1来进行。此时，控制部11也可根据操作员对输入装置14的操作来生成学习用数据集127。而且，控制部11也可通过生成程序81的处理来自动生成学习用数据集127。通过执行所述生成处理，从而在本步骤S106中，控制部11能够获取学习用数据集127。
或者，学习用数据集127的生成也可由识别器生成装置1以外的其他信息处理装置来进行。其他信息处理装置中，学习用数据集127既可由操作员手动生成，也可通过程序的处理而自动生成。此时，本步骤S106中，控制部11也可经由网络、存储介质91等来获取由其他信息处理装置所生成的学习用数据集127。
另外，在所获取的学习用数据集127中所含的第三脸部图像数据125中，只要映照有被选择作为通过第二识别器6来识别的对象的、脸部的差值特征及差值关联特征的至少一者，则也可映照有差值特征及差值关联特征以外的特征。例如，在提取了与眼睛相关的特征来作为差值特征的情况下，第三脸部图像数据125既可为仅提取了眼睛部分的部分脸部图像数据，也可为包含眼睛部分以外的部分的脸部图像数据。
而且，获取第三脸部图像数据125的方法也可不限定于像这样利用摄像机来新获取的示例。第三脸部图像数据125也可从第二脸部图像数据123获取。例如，第三脸部图像数据125可包含第二脸部图像数据123的拷贝或者部分脸部图像数据，所述部分脸部图像数据是通过从第二脸部图像数据123中提取映照有差值特征及差值关联特征的至少一者的部分而获得。此时，识别器生成装置1或其他信息处理装置既可直接获取第二脸部图像数据123来作为第三脸部图像数据125，也可通过从第二脸部图像数据123中提取映照有差值特征及差值关联特征的至少一者的部分来获取第三脸部图像数据125。
本步骤S106中所获取的学习用数据集127的件数可实施方式来适当决定，例如可适当决定为能够实施第二识别器6的机器学习的程度。由此，当获取包含第三脸部图像数据125及正解数据1251的对的学习用数据集127时，控制部11将处理推进至下个步骤S107。
(步骤S107)
步骤S107中，控制部11作为学习处理部115而运行，通过利用在步骤S106中获取的第三脸部图像数据125的机器学习来构建第二识别器6，所述第二识别器6从第三脸部图像数据125中识别差值特征及差值关联特征的至少一者。本实施方式中，控制部11使用学习用数据集127来实施神经网络的机器学习，以使其在将第三脸部图像数据125输入至输入层61时，从输出层63输出与正解数据1251对应的输出值。
具体而言，首先，控制部11准备作为进行学习处理的对象的神经网络(学习前的第二识别器6)。所准备的神经网络的结构、各神经元间的结合的权重的初始值、及各神经元的阈值的初始值既可由模板来给予，也可通过操作员的输入来给予。
接下来，控制部11使用在步骤S107中所获取的学习用数据集127中所含的第三脸部图像数据125来作为输入数据，使用正解数据1251来作为教学数据，执行神经网络的学习处理。对于所述神经网络的学习处理，使用随机梯度下降法等。
例如，控制部11将第三脸部图像数据125输入至输入层61，从输入侧起依序进行各层61～63中所含的各神经元的点燃判定。由此，控制部11从输出层63获得输出值。接下来，控制部11算出从输出层63获得的输出值与跟由正解数据1251所示的识别的正解对应的值的误差。继而，控制部11通过误差反向传播(Back propagation)法，使用所算出的输出值的误差，来算出各神经元间的结合的权重及各神经元的阈值各自的误差。并且，控制部11基于所算出的各误差，来进行各神经元间的结合的权重及各神经元的阈值各自的值的更新。
控制部11对于各件学习用数据集127重复所述一连串处理，直至从神经网络输出的输出值与跟由正解数据1251所示的识别的正解对应的值一致为止。由此，控制部11能够构建学习完毕的第二识别器6，所述学习完毕的第二识别器6在输入第三脸部图像数据125时，输出与对由正解数据1251所示的差值特征及差值关联特征的至少一者的识别的正解对应的输出值。例如，在提取了与眼睛相关的特征来作为差值特征的情况下，能够构建获得了对脸部图像数据识别与眼睛相关的特征的能力的第二识别器6。当第二识别器6的学习处理完成时，控制部11将处理推进至下个步骤S108。
另外，设想在所述步骤S105中，通过与阈值的比较而提取了差值特征的情况。在此情况下，在所述步骤S106中，控制部11也可判定第一特征量与第二特征量的差值是否大于第二阈值，所述第二阈值大于利用于差值特征的提取的阈值(也称作“第一阈值”)。并且，在判定为第一特征量与第二特征量的差值大于第二阈值时，控制部11也可选择差值特征及差值关联特征来作为成为通过第二识别器6来识别的对象的特征。另一方面，在判定为并非如此时，控制部11也可选择差值特征或差值关联特征来作为成为通过第二识别器6来识别的对象的特征。由此，本步骤S107中，当判定为第一特征量与第二特征量的差值非常大，即，环境的变动非常大时，控制部11能够构建不仅对受到所述变动影响的差值特征进行识别，还对差值关联特征进行识别的第二识别器6。根据所述第二识别器6，通过差值关联特征的识别结果，能够对差值特征的识别结果进行增强，因此能够提高从脸部图像识别多个特征的性能。
(步骤S108)
步骤S108中，控制部11作为学习处理部115而运行，将表示通过机器学习而构建的第二识别器6的结构、各神经元间的结合的权重、及各神经元的阈值的信息作为差值学习结果数据129而保存到存储部12中。由此，控制部11结束本运行例的处理。
控制部11也可在所述步骤S108的处理完成后，将所制作的差值学习结果数据129转发给识别装置2。而且，控制部11也可通过定期执行所述步骤S101～步骤S108的处理，从而定期更新差值学习结果数据129。并且，控制部11也可在学习处理的每次执行时，将所制作的差值学习结果数据129转发给识别装置2，由此来定期更新识别装置2所保持的差值学习结果数据129。而且，例如，控制部11也可将所制作的差值学习结果数据129保管到NAS等数据服务器中。此时，识别装置2也可从所述数据服务器获取差值学习结果数据129。而且，由识别器生成装置1所制作的差值学习结果数据129也可被预先装入识别装置2中。
[识别装置]
接下来，使用图7来说明识别装置2的运行例。图7是表示识别装置2的处理流程的一例的流程图。但是，以下说明的处理流程不过是一例，各处理可尽可能变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S201)
步骤S201中，控制部21作为对象数据获取部211而运行，获取作为对多个特征进行识别的对象的对象脸部图像数据221。对象脸部图像数据221既可为动态图像数据，也可为静态图像数据。
本实施方式中，在识别装置2，经由外部接口24而连接有摄像机31。因此，控制部21通过摄像机31来获取映照有对象者X的脸部的对象脸部图像数据221。当获取对象脸部图像数据221时，控制部21将处理推进至下个步骤S202。
但是，获取对象脸部图像数据221的途径也可不限定于此例，可根据实施方式来适当选择。例如，也可将与识别装置2不同的其他信息处理装置连接于摄像机31。此时，识别装置2也可受理来自其他信息处理装置的对象脸部图像数据221的发送，从而获取所述对象脸部图像数据221。
(步骤S202)
步骤S202中，控制部21作为第一识别部212而运行，将所获取的对象脸部图像数据221输入至第一识别器5，执行第一识别器5的运算处理。由此，控制部21自第一识别器5获取与从对象脸部图像数据221识别脸部的多个特征的结果对应的输出。
具体而言，控制部21参照学习结果数据229来进行学习完毕的第一识别器5的设定。接下来，控制部21将在步骤S201中获取的对象脸部图像数据221输入至第一识别器5的输入层51。并且，控制部21从输入侧起依序进行各层51～53中所含的各神经元的点燃判定。由此，控制部21从输出层53获取与从对象脸部图像数据221识别脸部的多个特征的结果对应的输出值。当从第一识别器5获取输出值时，控制部21将处理推进至下个步骤S203。
(步骤S203)
步骤S203中，控制部21作为第二识别部213而运行，将所获取的对象脸部图像数据221输入至第二识别器6，执行第二识别器6的运算处理。由此，控制部21自第二识别器6获取与从对象脸部图像数据221识别差值特征及差值关联特征的至少一者的结果对应的输出。
具体而言，控制部21参照差值学习结果数据129来进行学习完毕的第二识别器6的设定。接下来，控制部21将在步骤S201中获取的对象脸部图像数据221输入至第二识别器6的输入层61。
此处，所述步骤S106及步骤S107中，在第二识别器6的机器学习时，也可将第二脸部图像数据123或由摄像机获得的脸部图像数据直接利用作为第三脸部图像数据125。在使用通过所述机器学习而构建的第二识别器6的情况下，控制部21也可将对象脸部图像数据221直接输入至第二识别器6的输入层61。
另一方面，所述步骤S106及步骤S107中，在第二识别器6的机器学习时，也可将从第二脸部图像数据123提取的部分脸部图像数据、或者从由摄像机获得的脸部图像数据提取的部分脸部图像数据利用作为第三脸部图像数据125。在使用通过所述机器学习而构建的第二识别器6的情况下，控制部21也可通过图案匹配等公知的图像处理，从对象脸部图像数据221中提取映照有作为要识别的对象的差值特征及差值关联特征的至少一者的部分脸部图像数据，并将所提取的部分脸部图像数据输入至第二识别器6的输入层61。
并且，控制部21从输入侧起依序进行各层61～63中所含的各神经元的点燃判定。由此，控制部21自输出层63获取与从对象脸部图像数据221识别差值特征及差值关联特征的至少一者的结果对应的输出值。当从第二识别器6获取输出值时，控制部21将处理推进至下个步骤S204。
(步骤S204)
步骤S204中，控制部21作为输出部214而运行，基于第一识别器5的输出值及第二识别器6的输出值，输出从对象脸部图像数据221中识别多个特征的结果。
此处，对特征进行识别也可包含用于对特征的种类或属性值进行识别的所有处理，例如可为对所述特征所属的一个或多个类别进行判定、判定所述特征是否属于既定类别、导出所述特征属于既定类别的概率或可靠度、导出所述特征的属性值等。各识别器(5，6)的输出值的格式可根据对所述特征进行识别的形态来适当决定。
作为具体例，各识别器(5，6)的输出值例如也可表示眼睛的开度、口的开度、眼睛的角度、嘴角的角度等各个部位的属性值。此时，控制部21能够通过各识别器(5，6)的运算处理来导出各特征的属性值。即，控制部21能够通过获得各识别器(5，6)的输出值来识别脸部的各特征。
而且，各识别器(5，6)的输出值例如也可表示所识别的对象者X的脸部表情为特定种类(例如欢喜)的概率或可靠度。此时，控制部21能够通过各识别器(5，6)的运算处理来导出特征属于既定类别的概率或可靠度。而且，控制部21能够通过比较各识别器(5，6)的输出值与阈值，来判定所述特征是否属于既定类别。
而且，各识别器(5，6)的输出值例如也可表示表情的种类。此时，也可将使从各识别器(5，6)获得的输出值与表情的种类相关联的表格式等的参照信息(未图示)保持在存储部22中。控制部21通过参照所述参照信息，能够确定与从各识别器(5，6)获得的输出值对应的表情种类，换言之，能够判定特征所属的类别。
而且，各识别器(5，6)的输出值例如也可表示对象者X的脸部为特定的清醒状态的概率或可靠度。清醒状态是在对象者的脸部表现出的状态，例如可包含与困倦、集中、身体不适等相关的状态。与清醒状态相关的类别既可根据属性(例如困倦的有无等)来给予，也可根据遵照既定定义的清醒状态的程度(级别)来给予。此时，控制部21通过各识别器(5，6)的运算处理，能够导出特征属于既定类别的概率或可靠度。或者，控制部21通过对各识别器(5，6)的输出值与阈值进行比较，能够判定所述特征是否属于既定类别，即，对象者X的脸部是否处于特定的清醒状态。
而且，各识别器(5，6)的输出值例如也可表示清醒状态的类别。此时，也可将使从各识别器(5，6)获得的输出值与清醒状态的类别相关联的表格式等的参照信息(未图示)保持在存储部22中。控制部21通过参照所述参照信息，从而能够判定与从各识别器(5，6)获得的输出值对应的清醒状态的类别。
进而，控制部21也可利用基于各识别器(5，6)的输出值而识别脸部的各特征的结果，来进一步判定脸部的其他特征。例如，控制部21也可基于各识别器(5，6)的输出值来识别对象者X的脸部的各部位的状态。并且，控制部21也可基于对所述对象者X的脸部的各部位的状态进行识别的结果，来判定对象者X的脸部表情。此时，也可将使脸部的各部位的状态与脸部表情相关联的表格式等的参照信息(未图示)保持在存储部22中。控制部21通过参照所述参照信息，从而能够基于对于对象者X的脸部的各部位的状态进行识别的结果来判定对象者X的脸部表情。
输出对多个特征进行识别的结果的格式可根据实施方式来适当决定。例如，控制部21也可基于第一识别器5的输出值来输出对脸部的多个特征中的差值特征以外的特征进行识别的结果，并基于第二识别器6的输出值来输出对差值特征及差值关联特征的至少一者进行识别的结果。作为具体例，在所述识别器生成的处理流程中，提取出与眼睛相关的特征来作为差值特征的情况下，控制部21也可基于第一识别器5的输出值来识别与眼睛相关的特征以外的特征，并基于第二识别器6的输出值来识别与眼睛相关的特征及与跟眼睛相关的特征关联的特征的至少一者。
但是，识别结果的输出格式也可不限定于此例。例如，控制部21也可将各识别器(5，6)的输出值直接作为各特征的识别结果而输出。而且，例如，控制部21也可输出第一识别器5对差值特征的识别结果以及第二识别器6对差值特征的识别结果这两者。
识别所得结果的输出目标也可无特别限定，可根据实施方式来适当选择。控制部21例如也可将各特征的识别结果输出至输出装置26。而且，控制部21例如也可将各特征的识别结果输出至用户终端等其他信息处理装置。由此，当识别结果的输出完成时，控制部21结束本运行例的处理。
[特征]
如上所述，本实施方式中，通过步骤S101～步骤S105的处理，能够提取在对利用于构建第一识别器5的第一脸部图像数据121进行收集的环境、与利用第一识别器5的环境下大不相同的脸部特征来作为差值特征。并且，通过步骤S106～步骤S108的处理，能够生成用于对所述差值特征及差值关联特征的至少一者进行识别的第二识别器6。在识别装置2的识别处理中，通过利用所述第二识别器6，能够抑制对差值特征的识别性能的下降。而且，由于将要识别的对象缩减为脸部的差值特征及差值关联特征的至少一者，因而相应地，生成第二识别器6的成本比生成所有脸部特征的独立的识别器的情况低。即，并非放弃第一识别器5而生成新的识别器，对于差值特征以外的脸部特征的识别，能够直接利用第一识别器5，因而相应地，能够抑制用于应对环境变动的成本。尤其，能够缩短步骤S107中的第二识别器6的机器学习的处理时间。因而，根据本实施方式，能够利用低成本的方法来抑制从脸部图像识别多个特征的性能因环境变动而下降的情况。
而且，本实施方式中，所述步骤S103中，识别器生成装置1也可从多个特征中的至少任一个在第一识别器5中无法识别或者发生了误识别的脸部图像数据中，选择性地获取第二脸部图像数据123。由此，能够从第二脸部图像数据123中适当地提取可能因环境变动而大不相同的脸部的差值特征。因此，根据本实施方式，能够适当地抑制因环境变动引起的识别性能的下降。
而且，本实施方式中，所述步骤S106中，识别器生成装置1也可获取第二脸部图像数据123的拷贝或者从第二脸部图像数据123提取的部分脸部图像数据来作为第三脸部图像数据125。由此，能够抑制对利用于第二识别器6的机器学习的第三脸部图像数据125进行收集的成本。因此，根据本实施方式，能够利用更低成本的方法来抑制从脸部图像识别多个特征的性能因环境变动而下降的情况。
§4变形例
以上，详细说明了本发明的实施方式，但直至前述为止的说明在所有方面不过是本发明的例示。当然能够在不脱离本发明的范围的情况下进行各种改良或变形。例如，能够进行如下所述的变更。另外，以下，关于与所述实施方式同样的构成元件，使用同样的符号，关于与所述实施方式同样的方面，适当省略说明。以下的变形例能适当组合。
＜4.1＞
在所述实施方式的识别器生成装置1的处理流程中，在步骤S101及步骤S102中，控制部11获取第一脸部图像数据121，由所获取的第一脸部图像数据121算出与各特征相关的第一特征量。由此，控制部11获取由第一脸部图像数据121所算出的与各特征相关的第一特征量。但是，获取第一特征量的方法也可不限定于此例。例如，第一特征量的算出也可由与识别器生成装置1不同的其他信息处理装置来进行。此时，控制部11也可取代所述步骤S101及步骤S102的执行，而经由网络、存储介质91等来获取由其他信息处理装置所算出的第一特征量。
同样，第二特征量的算出也可由与识别器生成装置1不同的其他信息处理装置来进行。此时，控制部11也可取代所述步骤S103及步骤S104的执行，而经由网络、存储介质91等来获取由其他信息处理装置所算出的第二特征量。
而且，执行获取第一特征量的处理(步骤S101及步骤S102)与获取第二特征量的处理(步骤S103及步骤S103)的时机也可不限定于所述处理流程的示例，可根据实施方式来适当决定。例如，控制部11也可在执行了获取第二特征量的处理后，执行获取第一特征量的处理。
而且，所述实施方式的识别装置2的处理流程中，控制部21在获得了第一识别器5的识别结果(步骤S202)后，获得第二识别器6的识别结果(步骤S203)。但是，利用各识别器(5，6)的时机也可不限定于此例，控制部21也可在执行步骤S203的处理而获得了第二识别器6的识别结果后，执行步骤S202的处理而获得第一识别器5的识别结果。
＜4.2＞
所述实施方式中，各识别器(5，6)包含多层结构的全连接神经网络。但是，各识别器(5，6)的结构也可不限定于此例，可根据实施方式来适当选择。例如，各识别器(5，6)可包含卷积神经网络、递归神经网络等。
＜4.3＞
所述实施方式中，作为各识别器(5，6)的学习模型，采用了神经网络。但是，各识别器(5，6)的学习模型也可不限定于此例，可根据实施方式来适当选择。作为各识别器(5，6)的学习模型，例如可采用通过支持向量机、自组织映射、强化学习来进行机器学习的学习模型等。
＜4.4＞
所述实施方式中，差值学习结果数据129及学习结果数据229分别包含表示神经网络的结构的信息。但是，差值学习结果数据129及学习结果数据229的结构也可不限定于此例，只要能够利用于学习完毕的各识别器(5，6)的设定，则可根据实施方式来适当决定。例如，在所利用的神经网络的结构在各装置中共用化的情况下，差值学习结果数据129及学习结果数据229也可不各自包含表示神经网络的结构的信息。
＜4.5＞
所述实施方式中，表示了将本发明适用于从脸部图像数据识别脸部特征的场景。但是，本发明的可适用范围也可不限于此种从脸部图像数据识别脸部特征的场景。本发明能够广泛适用于从图像数据识别某些特征的场景。
图8及图9示意性地例示构成本变形例的图像识别***的识别器生成装置1A及识别装置2A的软件结构的一例。除了作为处理对象的数据从脸部图像数据替换为图像数据以外，识别器生成装置1A及识别装置2A的硬件结构及软件结构可与所述实施方式的识别器生成装置1及识别装置2的硬件结构及软件结构相同。
本变形例中，从图像数据识别的特征可根据实施方式来适当决定。例如在利用于映照在图像数据中的物体的识别或制品的良否判定的情况下，从图像数据识别的特征可为对象物的形状、材质、表面设计等。与各特征相关的特征量(第一特征量及第二特征量)可为对象物的角部的曲率、凸部/凹部/阶差部的位置/数量/尺寸、亮度、对比度、亮度或对比度的变化模式等。而且，例如在利用于文字分析的情况下，从图像数据识别的特征也可为文字种类、书写体、字体、书写格式等。与各特征相关的特征量(第一特征量及第二特征量)也可为文字的宽度、文字大小等。
本变形例的第一识别器5A通过利用第一图像数据121A的机器学习而被构建为，学会从图像数据识别多个所述特征的能力。而且，表示已学会识别所述特征的能力的第一识别器5A的结构等的信息作为学习结果数据229A而受到保持。识别器生成装置1A及识别装置2A能够以与所述实施方式同样的处理流程来运行。而且，识别器生成装置1A及识别装置2A所进行的各步骤的处理可与所述实施方式同样地执行。
即，识别器生成装置1A的控制部在步骤S101中作为第一特征量获取部111而运行，获取第一图像数据121A，所述第一图像数据121A被利用于构建第一识别器5A的机器学习。步骤S102中，控制部由所获取的第一图像数据121A而算出与各特征相关的第一特征量。由此，控制部获取由第一图像数据121A所算出的与各特征相关的第一特征量，所述第一图像数据121A被利用于构建第一识别器5A的机器学习。
步骤S103中，控制部作为第二特征量获取部112而运行，在利用第一识别器5A的环境下，获取第二图像数据123A，所述第二图像数据123A是与第一图像数据121A同种的第二图像数据123A，且映照有多个特征。第二图像数据123A也可从映照有多个特征且多个特征中的至少任一个在第一识别器5A中无法识别或发生了误识别的图像数据中选择。步骤S104中，控制部由所获取的第二图像数据123A来算出与各特征相关的第二特征量。由此，控制部获取由第二图像数据123A所算出的与各特征相关的第二特征量。
步骤S105中，控制部作为差值提取部113而运行，关于各特征来比较第一特征量与第二特征量，基于比较的结果，提取多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。选择具有满足既定条件的大小的特征的方法可与所述实施方式同样。例如，既定条件也可被规定为，从差值最大的特征起依序选择一个或多个特征。此时，作为成为要识别的对象的被摄物的多个特征中的、具有满足既定条件的大小的特征，控制部也可从第一特征量与第二特征量的差值最大的特征起依序选择一个或多个特征，并提取所选择的一个或多个特征来作为差值特征。而且，例如，控制部也可关于作为要识别的对象的被摄物的各特征来判定第一特征量与第二特征量的差值是否超过阈值，并提取被判定为第一特征量与第二特征量的差值超过阈值的特征来作为差值特征。作为具体例，在利用于物体识别的情况下，当因版本(version)的不同而对象物体的表面设计有所变化时，通过本步骤S105的处理，可提取与表面设计相关的特征来作为差值特征。在利用于制品的良否判定的情况下也同样。
步骤S106中，控制部作为学习数据获取部114而运行，在利用第一识别器5A的环境下，获取映照有所提取的差值特征及差值关联特征的至少一者的第三图像数据125A。具体而言，控制部获取学习用数据集127A，所述学习用数据集127A包含第三图像数据125A及正解数据1251A的对。第三图像数据125A可根据所提取的差值特征及差值关联特征的至少一者来适当获取。第三图像数据125A可包含第二图像数据123A的拷贝或者部分图像数据，所述部分图像数据是通过从第二图像数据123A中提取映照出差值特征及差值关联特征的至少一者的部分而获得。而且，正解数据1251A可被适当制作为，表示对在第三图像数据125A中映照的差值特征及差值关联特征的至少一者的识别的正解。另外，差值关联特征可适当选择。在通过步骤S105而提取了与表面设计相关的特征来作为差值特征的情况下，差值关联特征例如可为与角部等的部分形状相关的特征。
步骤S107中，控制部作为学习处理部115而运行，通过利用第三图像数据125A的机器学习来构建第二识别器6A，所述第二识别器6A从第三图像数据125A中识别差值特征及差值关联特征的至少一者。具体而言，控制部使用学习用数据集127A来实施第二识别器6A(神经网络)的机器学习，以使其在输入第三图像数据125A时，输出与正解数据1251A对应的输出值。步骤S108中，控制部将表示通过机器学习而构建的第二识别器6A的结构、各神经元间的结合的权重、及各神经元的阈值的信息作为差值学习结果数据129A而保存到存储部中。
另一方面，识别装置2A的控制部在步骤S201中作为对象数据获取部211而运行，获取作为对多个特征进行识别的对象的对象图像数据221A。对象图像数据221A可根据要识别的特征来适当获取。
步骤S202中，控制部作为第一识别部212而运行，参照学习结果数据229A来进行学习完毕的第一识别器5A的设定。接下来，控制部将所获取的对象图像数据221A输入至第一识别器5A，执行第一识别器5A的运算处理。由此，控制部自第一识别器5A获取与从对象图像数据221A识别多个特征的结果对应的输出。
步骤S203中，控制部作为第二识别部213而运行，参照差值学习结果数据129A来进行学习完毕的第二识别器6A的设定。接下来，控制部将所获取的对象图像数据221A输入至第二识别器6A，执行第二识别器6A的运算处理。由此，控制部自第二识别器6A获取与从对象图像数据221A中识别差值特征及差值关联特征的至少一者的结果对应的输出。
步骤S204中，控制部作为输出部214而运行，基于第一识别器5A的输出及第二识别器6A的输出，输出从对象图像数据221A中识别多个特征的结果。例如，控制部也可基于第一识别器5A的输出，而输出对多个特征中的差值特征以外的特征进行识别的结果，并基于第二识别器6A的输出，而输出对差值特征及差值关联特征的至少一者进行识别的结果。
根据本变形例，例如在物体识别、文字分析等的场景下，能够利用低成本的方法来抑制从图像识别特征的性能因环境变动而下降的情况。例如在利用于物体识别的情况下，因对象物体的制造商、模型或版本的不同，对象物体的识别精度有可能下降。与此相对，根据本变形例，能够构建第二识别器6A，所述第二识别器6A能够提取因所述不同造成的变动大的特征来作为差值特征，并对所述差值特征及差值关联特征的至少一者进行识别。由此，即使存在制造商、模型或版本的不同，也能够相对较高精度地识别对象物体。在利用于制品的良否判定的情况下也同样，能够相对较高精度地进行制品的良否判定。
＜4.6＞
所述实施方式及变形例中，表示了将本发明提供给从图像数据识别某些特征的场景的示例。但是，本发明的可适用范围也可不限于此种从图像数据识别特征的场景。本发明能够广泛适用于从图像数据以外的数据或多种数据识别某些特征的场景。
图10及图11示意性地例示构成本变形例的识别***的识别器生成装置1B及识别装置2B的软件结构的一例。除了作为处理对象的数据从图像数据替换为其他种类的数据以外，识别器生成装置1B及识别装置2B的硬件结构及软件结构可与所述实施方式的识别器生成装置1及识别装置2的硬件结构及软件结构相同。
本变形例中，作为处理对象的数据的种类也可无特别限定，可根据实施方式来适当决定。作为处理对象的数据也可包含可能成为识别器的分析对象的所有种类的数据，例如除了图像数据以外，可为声音数据(语音数据)、数值数据、文本数据等。进而，作为处理对象的数据也可包含多种数据的组合。
而且，从数据识别的特征可根据实施方式来适当决定。例如在利用于语音分析的情况下，作为处理对象的数据为声音数据，从声音数据识别的特征也可为对应的语言的字符串、音调(tone)、语调(intonation)等。而且，与各特征相关的特征量(第一特征量及第二特征量)也可为峰值、波峰与波峰的宽度等。多个特征也可为从语音数据识别的字符串等具有关联性的一连串特征，此时，差值特征可为所述一连串特征中的一部分(例如语尾的字符串)。
本变形例的第一识别器5B通过利用第一数据121B的机器学习而构建为，学会从对象数据识别多个所述特征的能力。而且，表示已学会识别所述特征的能力的第一识别器5B的结构等的信息作为学习结果数据229B而受到保持。识别器生成装置1B及识别装置2B能够以与所述实施方式同样的处理流程来运行。而且，识别器生成装置1B及识别装置2B所进行的各步骤的处理可与所述实施方式同样地执行。
即，识别器生成装置1B的控制部在步骤S101中作为第一特征量获取部111而运行，获取第一数据121B，所述第一数据121B被利用于构建第一识别器5B的机器学习。在第一识别器5B被利用于语音分析的情况下，控制部获取利用于语音分析的机器学习的声音数据来作为第一数据121B。步骤S102中，控制部由所获取的第一数据121B来算出与各特征相关的第一特征量。第一特征量的算出方法可根据第一数据121B的种类及各特征来适当决定。由此，控制部获取由第一数据121B所算出的与各特征相关的第一特征量，所述第一数据121B被利用于构建第一识别器5B的机器学习。
步骤S103中，控制部作为第二特征量获取部112而运行，在利用第一识别器5B的环境下，获取第二数据123B，所述第二数据123B是与第一数据121B同种的第二数据123B，且包含多个特征。第二数据123B也可从包含多个特征且多个特征中的至少任一个在第一识别器5B中无法识别或者发生了误识别的数据中选择。步骤S104中，控制部由所获取的第二数据123B来算出与各特征相关的第二特征量。由此，控制部获取由第二数据123B所算出的与各特征相关的第二特征量。
步骤S105中，控制部作为差值提取部113而运行，关于各特征来比较第一特征量与第二特征量，并基于比较的结果，提取多个特征中的、第一特征量与第二特征量的差值具有满足既定条件的大小的特征来作为差值特征。选择具有满足既定条件的大小的特征的方法可与所述实施方式同样。例如，既定条件也可被规定为，从差值最大的特征起依序选择一个或多个特征。此时，作为成为要识别的对象的多个特征中的、具有满足既定条件的大小的特征，控制部也可从第一特征量与第二特征量的差值最大的特征起依序选择一个或多个特征，并提取所选择的一个或多个特征来作为差值特征。而且，例如，控制部也可对于作为要识别的对象的各特征来判定第一特征量与第二特征量的差值是否超过阈值，并提取被判定为第一特征量与第二特征量的差值超过阈值的特征来作为差值特征。
作为具体例，设想下述场景：存在具有仅语尾的表达不同而其他表达共同的语系的第一地区及第二地区，在第二地区利用构建为对在第一地区收集的语音数据进行语音分析的第一识别器5B。此时，第一识别器5B中，有可能无法对在第二地区获得的语音数据的语尾部分适当地进行语音分析，本步骤S105中，可提取与所述语尾部分相关的特征来作为差值特征。
步骤S106中，控制部作为学习数据获取部114而运行，在利用第一识别器5B的场景下，获取第三数据125B，所述第三数据125B包含所提取的差值特征及差值关联特征的至少一者。具体而言，控制部获取学习用数据集127B，所述学习用数据集127B包含第三数据125B及正解数据1251B的对。第三数据125B可根据所提取的差值特征及差值关联特征的至少一者来适当获取。第三数据125B可包含第二数据123B的拷贝或者部分数据，所述部分数据是通过从第二数据123B中提取包含差值特征及差值关联特征的至少一者的部分而获得。而且，正解数据1251B可被适当制作为，表示对第三数据125B中所含的差值特征及差值关联特征的至少一者的识别的正解。另外，差值关联特征可适当选择。在通过步骤S105而提取了与语尾部分相关的特征来作为差值特征的情况下，差值关联特征例如可为与邻接于语尾的语句相关的特征。
步骤S107中，控制部作为学习处理部115而运行，通过利用第三数据125B的机器学习来构建第二识别器6B，所述第二识别器6B从第三数据125B中识别差值特征及差值关联特征的至少一者。具体而言，控制部使用学习用数据集127B来实施第二识别器6B(神经网络)的机器学习，以使其在输入第三数据125B时，输出与正解数据1251B对应的输出值。由此，在本例的情况下，能够构建对语尾的表达进行识别的第二识别器6B。步骤S108中，控制部将表示通过机器学习而构建的第二识别器6B的结构、各神经元间的结合的权重、及各神经元的阈值的信息作为差值学习结果数据129B而保存到存储部中。
另一方面，识别装置2B的控制部在步骤S202中作为对象数据获取部211而运行，获取作为对多个特征进行识别的对象的对象数据221B。对象数据221B可根据数据的种类及要识别的特征来适当获取。在进行语音分析的情况下，对象数据221B的获取例如可使用麦克风等。
步骤S202中，控制部作为第一识别部212而运行，参照学习结果数据229B来进行学习完毕的第一识别器5B的设定。接下来，控制部将所获取的对象数据221B输入至第一识别器5B，执行第一识别器5B的运算处理。由此，控制部自第一识别器5B获取与从对象数据221B中识别多个特征的结果对应的输出。
步骤S203中，控制部作为第二识别部213而运行，参照差值学习结果数据129B来进行学习完毕的第二识别器6B的设定。接下来，控制部将所获取的对象数据221B输入至第二识别器6B，执行第二识别器6B的运算处理。由此，控制部自第二识别器6B获取与从对象数据221B中识别差值特征及差值关联特征的至少一者的结果对应的输出。
步骤S204中，控制部作为输出部214而运行，基于第一识别器5B的输出及第二识别器6B的输出，来输出从对象数据221B中识别多个特征的结果。例如，控制部也可基于第一识别器5B的输出，而输出对多个特征中的差值特征以外的特征进行识别的结果，并基于第二识别器6B的输出，而输出对差值特征及差值关联特征的至少一者进行识别的结果。本例的情况下，识别装置2B能够通过第一识别器5B来识别语尾的表达以外的表达，并通过第二识别器6B来识别语尾的表达。
根据本变形例，例如在语音分析等的场景下，能够利用低成本的方法来抑制从数据识别特征的性能因环境变动而下降的情况。
符号的说明
1：识别器生成装置
100：脸部图像识别***
11：控制部
12：存储部
13：通信接口
14：输入装置
15：输出装置
16：驱动器
81：生成程序
91：存储介质
111：第一数据获取部
112：第二数据获取部
113：特征量计算部
114：第三数据获取部
115：差值提取部
116：学习处理部
121：第一脸部图像数据
123：第二脸部图像数据
125：第三脸部图像数据
1251：正解数据
127：学习用数据集
129：差值学习结果数据
2：识别装置
21：控制部
22：存储部
23：通信接口
24：外部接口
25：输入装置
26：输出装置
27：驱动器
82：识别程序
92：存储介质
211：对象数据获取部
212：第一识别部
213：第二识别部
214：输出部
221：对象脸部图像数据
229：学习结果数据
31：摄像机
5：第一识别器
51：输入层
52：中间层(隐藏层)
53：输出层
6：第二识别器
61：输入层
62：中间层(隐藏层)
63：输出层

Claims (17)

1.一种脸部图像识别***，包括：
第一特征量获取部，获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二脸部图像数据所算出的与所述各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；
学习处理部，通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者；
对象数据获取部，获取作为识别所述多个特征的对象的对象脸部图像数据；
第一识别部，将所获取的所述对象脸部图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象脸部图像数据识别所述多个特征的结果对应的输出；
第二识别部，将所获取的所述对象脸部图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象脸部图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及
输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象脸部图像数据识别所述多个特征的结果。
2.根据权利要求1所述的脸部图像识别***，其中
所述第三脸部图像数据包含所述第二脸部图像数据的拷贝或者部分脸部图像数据，所述部分脸部图像数据是通过从所述第二脸部图像数据提取映照出所述差值特征及所述差值关联特征的至少一者的部分而获得。
3.根据权利要求1或2所述的脸部图像识别***，其中
所述第二脸部图像数据是从映照出所述多个特征且所述多个特征中的至少任一个在所述第一识别器中无法识别或发生了误识别的脸部图像数据中选择。
4.根据权利要求1至3中任一项所述的脸部图像识别***，其中
所述脸部的所述多个特征是从表情的种类、脸部的部位的位置、脸部的部位的形状、脸部的部位的颜色、及脸部的部位的状态中选择。
5.根据权利要求1至4中任一项所述的脸部图像识别***，其中
所述输出部基于所述第一识别器的输出，来输出对所述多个特征中的所述差值特征以外的所述脸部的特征进行识别的结果，并基于所述第二识别器的输出，来输出对所述差值特征及所述差值关联特征的至少一者进行识别的结果。
6.根据权利要求1至5中任一项所述的脸部图像识别***，其中
所述既定条件被规定为，从差值最大的特征起依序选择一个或多个特征，
所述差值提取部从所述第一特征量与所述第二特征量的差值最大的特征起依序选择一个或多个特征，提取所选择的一个或多个特征来作为所述差值特征。
7.根据权利要求1至5中任一项所述的脸部图像识别***，其中
所述既定条件被规定为，选择差值超过阈值的特征，
所述差值提取部判定所述第一特征量与所述第二特征量的差值是否超过所述阈值，提取被判定为所述第一特征量与所述第二特征量的差值超过所述阈值的特征来作为所述差值特征。
8.一种识别器生成装置，包括：
第一特征量获取部，获取由第一脸部图像数据所算出的与各特征相关的第一特征量，所述第一脸部图像数据被利用于以识别脸部的多个所述特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二脸部图像数据所算出的与所述各特征相关的第二特征量，所述第二脸部图像数据是在利用所述第一识别器的环境下获取的、与所述第一脸部图像数据同种的第二脸部图像数据，且映照有所述脸部的所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三脸部图像数据，所述第三脸部图像数据映照有所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及
学习处理部，通过利用所述第三脸部图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三脸部图像数据中识别所述差值特征及所述差值关联特征的至少一者。
9.一种图像识别***，包括：
第一特征量获取部，获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二图像数据所算出的与所述各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；
学习处理部，通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者；
对象数据获取部，获取作为识别所述多个特征的对象的对象图像数据；
第一识别部，将所获取的所述对象图像数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象图像数据识别所述多个特征的结果对应的输出；
第二识别部，将所获取的所述对象图像数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象图像数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及
输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象图像数据识别所述多个特征的结果。
10.一种识别器生成装置，包括：
第一特征量获取部，获取由第一图像数据所算出的与各特征相关的第一特征量，所述第一图像数据是映照有多个所述特征的第一图像数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二图像数据所算出的与所述各特征相关的第二特征量，所述第二图像数据是在利用所述第一识别器的环境下获取的、与所述第一图像数据同种的第二图像数据，且映照有所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三图像数据，所述第三图像数据映照有所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及
学习处理部，通过利用所述第三图像数据的机器学习来构建第二识别器，所述第二识别器从所述第三图像数据中识别所述差值特征及所述差值关联特征的至少一者。
11.一种识别***，包括：
第一特征量获取部，获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二数据所算出的与所述各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；
学习处理部，通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者；
对象数据获取部，获取作为识别所述多个特征的对象的对象数据；
第一识别部，将所获取的所述对象数据输入至所述第一识别器，由此，自所述第一识别器获取与从所述对象数据识别所述多个特征的结果对应的输出；
第二识别部，将所获取的所述对象数据输入至所述第二识别器，由此，自所述第二识别器获取与从所述对象数据识别所述差值特征及所述差值关联特征的至少一者的结果对应的输出；以及
输出部，基于所述第一识别器的输出及所述第二识别器的输出，来输出从所述对象数据识别所述多个特征的结果。
12.根据权利要求11所述的识别***，其中
所述第三数据包含所述第二数据的拷贝或者部分数据，所述部分数据是通过从所述第二数据提取包含所述差值特征及所述差值关联特征的至少一者的部分而获得。
13.根据权利要求11或12所述的识别***，其中
所述第二数据是从包含所述多个特征且所述多个特征中的至少任一个在所述第一识别器中无法识别或发生了误识别的数据中选择。
14.根据权利要求11至13中任一项所述的识别***，其中
所述输出部基于所述第一识别器的输出，来输出对所述多个特征中的所述差值特征以外的特征进行识别的结果，并基于所述第二识别器的输出，来输出对所述差值特征及所述差值关联特征的至少一者进行识别的结果。
15.根据权利要求11至14中任一项所述的识别***，其中
所述既定条件被规定为，从差值最大的特征起依序选择一个或多个特征，
所述差值提取部从所述第一特征量与所述第二特征量的差值最大的特征起依序选择一个或多个特征，提取所选择的一个或多个特征来作为所述差值特征。
16.根据权利要求11至14中任一项所述的识别***，其中
所述既定条件被规定为，选择差值超过阈值的特征，
所述差值提取部判定所述第一特征量与所述第二特征量的差值是否超过所述阈值，提取被判定为所述第一特征量与所述第二特征量的差值超过所述阈值的特征来作为所述差值特征。
17.一种识别器生成装置，包括：
第一特征量获取部，获取由第一数据所算出的与各特征相关的第一特征量，所述第一数据是包含多个所述特征的第一数据，且被利用于以识别所述多个特征的方式来构建第一识别器的机器学习；
第二特征量获取部，获取由第二数据所算出的与各特征相关的第二特征量，所述第二数据是在利用所述第一识别器的环境下获取的、与所述第一数据同种的第二数据，且包含所述多个特征；
差值提取部，关于所述各特征来比较所述第一特征量与所述第二特征量，基于所述比较的结果，提取所述多个特征中的、所述第一特征量与所述第二特征量的差值具有满足既定条件的大小的特征来作为差值特征；
学习数据获取部，在利用所述第一识别器的所述环境下，获取第三数据，所述第三数据包含所提取的所述差值特征、及与所述差值特征关联的特征即差值关联特征的至少一者；以及
学习处理部，通过利用所述第三数据的机器学习来构建第二识别器，所述第二识别器从所述第三数据中识别所述差值特征及所述差值关联特征的至少一者。
CN201980012059.3A 2018-03-14 2019-03-13 脸部图像识别***、识别器生成装置、识别装置与*** Active CN111758116B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018047259A JP6760318B2 (ja) 2018-03-14 2018-03-14 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
JP2018-047259 2018-03-14
PCT/JP2019/010184 WO2019176994A1 (ja) 2018-03-14 2019-03-13 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム

Publications (2)

Publication Number Publication Date
CN111758116A true CN111758116A (zh) 2020-10-09
CN111758116B CN111758116B (zh) 2023-07-14

Family

ID=67906692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012059.3A Active CN111758116B (zh) 2018-03-14 2019-03-13 脸部图像识别***、识别器生成装置、识别装置与***

Country Status (4)

Country Link
US (1) US11341770B2 (zh)
JP (1) JP6760318B2 (zh)
CN (1) CN111758116B (zh)
WO (1) WO2019176994A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123544A1 (ja) 2017-12-19 2019-06-27 オリンパス株式会社 データ処理方法およびデータ処理装置
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
US20200364442A1 (en) 2019-05-15 2020-11-19 Getac Technology Corporation System for detecting surface pattern of object and artificial neural network-based method for detecting surface pattern of object
JP7231762B2 (ja) * 2019-11-29 2023-03-01 オリンパス株式会社 画像処理方法、学習装置、画像処理装置及びプログラム
JP7345435B2 (ja) 2020-06-19 2023-09-15 京セラ株式会社 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
JP7345436B2 (ja) 2020-06-19 2023-09-15 京セラ株式会社 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
CN115867949A (zh) * 2020-06-19 2023-03-28 京瓷株式会社 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
JP2022021544A (ja) * 2020-07-22 2022-02-03 キヤノン株式会社 投影装置、投影装置の制御方法、プログラム
KR20220161672A (ko) * 2021-05-31 2022-12-07 자이메드 주식회사 설명 가능한 생체 이미지 판독 지원 장치 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334335A (ja) * 2001-03-09 2002-11-22 Toshiba Corp 顔画像認識装置および通行制御装置
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005108197A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
US20050220341A1 (en) * 2004-03-24 2005-10-06 Fuji Photo Film Co., Ltd. Apparatus for selecting image of specific scene, program therefor, and recording medium storing the program
CN101405744A (zh) * 2006-03-23 2009-04-08 冲电气工业株式会社 脸部识别***
JP2011014052A (ja) * 2009-07-03 2011-01-20 Nikon Corp 画像識別装置、画像識別方法、識別器作成装置、識別器作成方法、および撮像システム
CN102124493A (zh) * 2009-03-13 2011-07-13 欧姆龙株式会社 脸部识别装置、人物图像检索***、脸部识别装置控制程序、计算机可读取的记录媒体、以及脸部识别装置的控制方法
CN102799854A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN104102898A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 识别器更新装置、信息处理装置及识别器更新方法
DE102015220885A1 (de) * 2014-10-27 2016-04-28 Denso Corporation Vorrichtung und Verfahren zum Identifizieren eines Zielobjekts

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275605A (ja) * 2004-03-23 2005-10-06 Sanyo Electric Co Ltd 個人認証装置および個人認証方法
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
JP6003124B2 (ja) 2012-03-15 2016-10-05 オムロン株式会社 認証装置、認証装置の制御方法、制御プログラム、および記録媒体
CN104036247A (zh) * 2014-06-11 2014-09-10 杭州巨峰科技有限公司 基于脸部特征的人脸种族分类方法
JP6543066B2 (ja) * 2015-03-30 2019-07-10 株式会社メガチップス 機械学習装置
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
KR102284448B1 (ko) * 2016-04-19 2021-08-02 캐논 가부시끼가이샤 정보 처리장치, 정보 처리방법 및 기억매체
KR102252298B1 (ko) * 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치
CN110235138B (zh) * 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的***和方法
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
EP3858235A4 (en) * 2018-09-26 2021-09-08 NEC Corporation ESTIMATE DEVICE, ESTIMATE METHOD, AND STORAGE MEDIUM
JP7238902B2 (ja) * 2018-12-27 2023-03-14 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11042727B2 (en) * 2019-09-30 2021-06-22 Lenovo (Singapore) Pte. Ltd. Facial recognition using time-variant user characteristics

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334335A (ja) * 2001-03-09 2002-11-22 Toshiba Corp 顔画像認識装置および通行制御装置
JP2005108197A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
US20050220341A1 (en) * 2004-03-24 2005-10-06 Fuji Photo Film Co., Ltd. Apparatus for selecting image of specific scene, program therefor, and recording medium storing the program
CN101405744A (zh) * 2006-03-23 2009-04-08 冲电气工业株式会社 脸部识别***
CN102124493A (zh) * 2009-03-13 2011-07-13 欧姆龙株式会社 脸部识别装置、人物图像检索***、脸部识别装置控制程序、计算机可读取的记录媒体、以及脸部识别装置的控制方法
JP2011014052A (ja) * 2009-07-03 2011-01-20 Nikon Corp 画像識別装置、画像識別方法、識別器作成装置、識別器作成方法、および撮像システム
CN102799854A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN104102898A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 识别器更新装置、信息处理装置及识别器更新方法
DE102015220885A1 (de) * 2014-10-27 2016-04-28 Denso Corporation Vorrichtung und Verfahren zum Identifizieren eines Zielobjekts

Also Published As

Publication number Publication date
US11341770B2 (en) 2022-05-24
JP6760318B2 (ja) 2020-09-23
US20210117651A1 (en) 2021-04-22
WO2019176994A1 (ja) 2019-09-19
JP2019159958A (ja) 2019-09-19
CN111758116B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111758116B (zh) 脸部图像识别***、识别器生成装置、识别装置与***
US12035005B2 (en) Sensitivity assessment for media production using artificial intelligence
Johnson et al. Sparse coding for alpha matting
JP5424819B2 (ja) 画像処理装置、画像処理方法
WO2021051598A1 (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
US20130243278A1 (en) Biological information processor
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
KR20190123371A (ko) 안면이미지를 기반한 감정 인식 방법 및 인공지능 학습 방법
US20170287489A1 (en) Synthetic oversampling to enhance speaker identification or verification
US20180075317A1 (en) Person centric trait specific photo match ranking engine
CN112232276B (zh) 一种基于语音识别和图像识别的情绪检测方法和装置
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN116091836A (zh) 一种多模态视觉语言理解与定位方法、装置、终端及介质
CN115115883A (zh) 一种基于多模态特征融合的证照分类方法及***
JP2012048624A (ja) 学習装置、方法及びプログラム
US11568647B2 (en) Learning apparatus and method for creating emotion expression video and apparatus and method for emotion expression video creation
JP2002251592A (ja) パターン認識辞書学習方法
CN113221695A (zh) 训练肤色识别模型的方法、识别肤色的方法及相关装置
TWI667054B (zh) 飛行器飛行控制方法、裝置、飛行器及系統
CN114333786A (zh) 语音情感识别方法及相关装置、电子设备和存储介质
CN114973362A (zh) 一种应用于社交机器人的动态延长编码微表情识别方法
CN113642446A (zh) 一种基于人脸动态情绪识别的检测方法和装置
CN112183336A (zh) 表情识别模型训练方法、装置、终端设备及存储介质
CN114743249B (zh) 识别模型训练方法、微表情识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant