具体实施方式
接着,描述本发明的实施例。这里应注意,本发明不限于以下描述的实施例。在以下图1至7中,相同部分由相同的数字和符号来指示。
[实施例1]
图1A示出了实施例1的属性确定方法的流程图。图1B示出了实施例1的属性确定装置的框图。如图1B所示,实施例1的属性确定装置包括图像获取装置(单元)111、计算装置(单元)112、输出装置(单元)131和数据存储装置(单元)140,作为主要部件。图像获取装置111电连接至计算装置120。计算装置120电连接至输出装置131和数据存储装置140。计算装置120包括头部区域检测装置(单元)121和属性确定装置(单元)122。将预先获得的头部检测模型141和属性确定模型142存储在数据存储装置140中。头部区域检测装置121连接至头部检测模型141。属性确定装置122连接至属性确定模块142。
图像获取装置111的示例包括电荷耦合器件(CCD)摄像机、互补金属氧化物半导体(CMOS)摄像机和图像扫描仪。计算装置120的示例包括中央处理单元(CPU)。输出装置131的示例包括通过图像输出数据的监视器(例如,诸如液晶显示器(LCD)和阴极射线管(CRT)显示器等图像显示器)、通过打印输出数据的打印机、以及通过声音输出数据的扬声器。输出装置131是可选部件。本发明的属性确定装置优选地包括输出装置131,尽管该装置并不始终是必要的。数据存储装置140的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘(HD)、光盘和软(注册商标名称)盘(FD)。例如,数据存储装置140可以是内置型或外部型,例如,外部存储设备。关于图像获取装置,计算装置、输出装置和数据存储装置,同样适用于以下描述的实施例。
在本发明中,不对属性进行具体限定,并且属性的示例包括性别、年龄、种族、头部角度、头发长度、戴或不戴帽子、头发颜色、发型、脸部的方向、脸部表情、戴或不戴眼镜或太阳镜、戴或不戴面具、以及有或没有髭或胡须。
例如,使用如下图1B的属性确定装置来执行实施例1的属性确定方法。
首先,在执行属性确定方法之前,使用机器学习(模式识别)技术来执行学习。具体地,首先,利用作为正例的用于学习的图像的头部区域和作为反例的用于学习的图像的非头部区域,通过机器学习(模式识别)来执行学习,形成头部检测模型141。具体地,例如,如图2A至2D所示,首先,通过分别对用于学习的图像10a(正面面向的男性)、10b(正面面向的女性)、10c(侧面面向的男性)、和10d(背面面向的女性)施加标记11a、11b、11c和11d,来应用头部区域。例如,人使用传统已知的输入装置(例如,键盘、鼠标等)进行输入,来进行对头部区域的训练数据的应用。考虑到检测精度,用于学习的图像的数目越多越好。此外,优选地准备大量用于学习的图像来形成头部检测模型。
接着,通过对头部区域应用用于确定属性的训练数据并且使用分别被应用了用于确定属性的训练数据的多个头部区域,由机器学习(模式识别)来形成属性确定模型。在实施例1的属性确定方法中,用于确定属性的训练数据的示例包括诸如性别和年龄等训练数据。具体地,例如,对图2A中示出的用于学习的图像的头部区域应用用于确定属性的训练数据“性别:男性”。例如,对图2B中示出的用于学习的图像的头部区域应用用于确定属性的训练数据“性别:女性”。此外,例如,对图2A中示出的用于学习的图像的头部区域应用用于确定属性(例如,年龄)的训练数据,例如“年龄:30”,并且对图2B中示出的用于学习的图像应用“年龄:20”。此外,在使用用于属性确定的“方向”项目的情况下,例如,也可以应用用于确定头部方向属性的训练数据,例如,以1度为基础指示的方向数据(例如,向左60°)和根据8个方向的方向数据(例如,0°,45°,90°等)。在通过机器学习执行学习来执行属性确定的情况下,可以使用估计连续值(例如,年龄)的方法(回归)和估计类别(例如,男性/女性)的方法(分类)。人使用传统已知的输入装置(例如,键盘、鼠标等)进行输入,来进行对用于确定属性(例如,性别和年龄)的训练数据的应用。同样,可以不采用学习而是采用人制定规则并确定属性的方法(属性确定规则)来执行属性确定。
接着,如图1A的流程图所示,执行以下步骤。首先,图像获取装置111获取待确定图像(步骤S11)。
接着,通过头部区域检测装置121参考使用多个用于学***方向从要检测的图像20的左上端开始移动图像补丁并且按顺序连续向下移动,通过所谓的光栅扫描来搜索头部区域。此外,例如,如图3B所示,通过改变待确定图像20的获取尺寸并且搜索头部区域,检测头部区域的数据。优选地以这种方式检测头部区域的数据,这是因为可以同时执行头部区域的对准。这里应注意,头部的方向不限于该示例。例如,可以通过将待确定图像中的圆形对象检测为头部区域并且执行对检测到的头部区域的对准,来执行检测。例如,可以通过计算装置中包含的对准装置(单元)(未示出)来执行对准。
接着,属性确定装置122通过参考使用分别被应用了用于确定属性的训练数据的许多头部区域执行学习而预先获取的属性确定模型142,基于头部图像来确定属性(步骤S22)。确定项的示例包括性别、年龄、种族、头部角度、头发长度、戴或不戴帽子、头发颜色、发型、脸部的方向、脸部表情、戴或不戴眼镜或太阳镜、戴或不戴面具、以及有或没有髭或胡须。例如,在确定项是性别的情况下,基于性别度(例如,0或1)来进行确定。可以基于头部区域数据来计算性别度。具体地,例如准则设定如下。即,如果性别度是“0到小于0.5”,则确定为“女性”,如果性别度是“0.5到1”则确定为“男性”。根据计算的性别度的值来执行对性别的确定。用于根据性别度来确定性别的准则不限于该示例。例如,准则可以如下。即,如果性别度是“0到0.3”则确定为“女性”,并且如果性别度是“0.7到1”则确定为“男性”,如果性别度是“大于0.3并小于0.7”,则确定为“不可确定”。同样关于年龄等,例如通过设定预定准则,根据基于头部区域数据计算的值来执行对年龄等的确定。
接着,输出装置131输出属性的确定结果(步骤S31)。确定项的示例与上述确定项相同。输出步骤S31是可选步骤。本发明的属性确定方法优选地包括输出步骤S31,尽管这并不始终是必要的。
如上所述,根据实施例1的属性确定方法,由于基于头部本身确定属性,因此甚至可以在人没有完全正面面向的情况下也能够执行对人的检测和对属性的确定。此外,根据实施例1的属性确定方法,如上所述,例如由于基于头部本身确定属性,因此甚至在脸部不可见的情况下也能够确定属性。例如,能够扩展用于放置图像获取装置(例如,监视摄像机等)的位置的选择范围。例如,能够使用现有的监视摄像机等。此外,由于不使用脸部而使用头部本身来确定属性,因此与使用脸部的情况(其中除非使用示出了人几乎正面面向的图像,否则属性确定有困难)相比,例如,可以利用示出了从任何方向拍摄的人的图像(帧)(例如,示出了从背侧拍摄的人的图像)来进行属性确定。因此,例如,不需要拍摄许多帧。此外,由于示出了从任何方向拍摄的人的图像可以用于确定属性,因此例如可以获取各种信息。应理解,可以以更高精度确定属性。关于这些效果,同样适用于以下描述的实施例。
在实施例1的属性确定方法中的头部区域检测步骤(图1A中的S21)中,通过参考头部检测模型来从待确定图像中检测头部区域。然而,本发明不限于此。例如,可以通过参考头部确定规则来检测头部区域。头部确定规则的示例包括诸如“待确定图像中的圆形对象是头部区域”等规则。此外,例如,可以通过参考头部检测模型和头部确定规则两者来检测头部区域。在这种情况下,例如,如图1C所示,头部确定规则241可以存储在数据存储装置140中,并且头部区域检测装置121可以连接至头部确定规则241。
在实施例1的属性确定方法中的属性确定步骤(图1A中的S22)中,通过参考属性确定模型,基于头部图像来执行对属性的确定。然而,本发明不限于此。例如,可以通过参考属性确定规则来确定属性。属性确定规则的示例包括以下规则:例如,“如果头发较长则确定为女性并且如果头发较短则确定为男性”。此外,例如可以通过参考属性确定模型和属性确定规则两者来确定属性。在这种情况下,例如,如图1C所示,属性确定规则242可以存储在数据存储装置140中,并且属性确定装置122可以连接至属性确定规则242。
[实施例2]
图4A示出了实施例2的属性确定方法的流程图。图4B示出了实施例2的的属性确定装置的框图。如图4B所示,在实施例2的属性确定装置中,计算装置(单元)120包括整体属性确定装置(单元)122-1、部分检测装置(单元)123、部分属性确定装置(单元)124和组合装置(单元)125,并且整体属性确定模型142-1和部分属性确定模型144存储在数据存储装置140中。整体属性确定装置122-1连接至整体属性确定模型142-1,部分属性确定装置(单元)124连接至部分属性确定模型144。除了这些以外,实施例2的配置与图1中示出的实施例1的属性检测装置的配置相同。
在本发明中,部分是头部区域的一部分,并且部分的示例包括头发(头发的区域、长度等)、眼睛、鼻子、嘴、眉毛、耳朵、戴在头上的某物(帽子、头巾等)、眼镜、太阳镜、面具等。关于眼睛、眉毛和耳朵,例如,可以将眼睛、眉毛和耳朵中的每一个视为分开的部分,或者可以将眼睛、眉毛和耳朵中的二者视为一个部分。
例如,使用如下图4B的属性确定装置来执行实施例2的属性确定方法。关于作为示例部分是头发的情况,描述实施例2的属性确定方法。然而,本发明的属性确定方法不限于该示例。
首先,在执行属性确定方法之前,使用机器学习(模式识别)技术来执行学习。具体地,首先,按照与实施例1相同的方式,通过机器学习(模式识别)学习用于学习的图像来形成头部检测模型141。接着,按照与实施例1中属性确定模型142的形成相同的方式,形成整体属性确定模型142-1。
另一方面,根据用于学习的图像的头部区域,形成关于头发的部分属性确定模型144。具体地,例如,首先对通过剪切掉图2A中示出的用于学习的图像的头发区域而获得图像应用训练数据“性别:男性”;并且向通过剪切掉图2B中示出的用于学习的图像的头发区域而获得图像应用训练数据“性别:女性”。例如,人使用传统已知的输入装置(例如,键盘、鼠标等)进行输入,来形成训练数据。接着,使用通过剪切掉头发区域而获得的分别被应用了训练数据的多个图像,形成关于头发的部分属性确定模型144。
接着,如图4A的流程图所示,执行以下步骤。首先,图像获取装置111获取待确定图像(步骤S111)。
接着,按照与实施例1中的方式相同的方式,头部区域检测装置121通过参考预先形成的头部检测模型141从待确定图像中检测头部区域数据(步骤S21)。在检测头部区域数据之后,部分检测装置123检测在检测到的头部区域数据中包含的头发区域(步骤S23)。
接着,按照与实施例1的属性确定步骤S22中的方式相同的方式,整体属性确定装置122-1通过参考预先获取的整体属性确定模型142-1,基于头部图像来确定属性(步骤S22-1)。在确定项是性别的情况下,例如,按照与实施例1中的方式相同的方式,基于性别度(例如,0到1)进行确定。
与基于头部图像的属性确定彼此并行地,部分属性确定装置124通过参考预先获取的部分属性确定模型144来确定头发区域的属性(步骤S24)。在确定项是性别的情况下,例如,可以在相关部分(头发区域)处基于性别度(例如,0到1)来进行确定。
接着,组合装置125将整体属性确定步骤S22-1中获得确定结果与部分属性确定步骤S24中获得的确定结果相组合(步骤S25)。在组合步骤S25中,可以通过以下公式(1)来执行确定项(确定结果)的组合。在以下公式(1)中,“n”表示待确定图像(帧)的数目。
在确定项是性别的情况下,例如可以通过以下公式(2)执行确定结果的组合。
在公式(2)中,“整体性别度”是指在整体属性确定步骤S22-1中计算的性别度。“部分性别度”是指在部分属性确定步骤S24中计算的性别度。例如,“整体性别置信度”可以由大于但不大于1的值来表示,并且指示在整体属性确定步骤S22-1中计算的性别度的可靠性级别。此外,例如,“部分性别置信度”可以由大于0但不大于1的值来表示,并且指示在部分属性确定步骤S24中计算的性别度的可靠性级别。整体性别置信度和部分性别置信度可以根据要使用的模型的性能来确定。例如,在以下情况下:当基于整体图像确定性别时可靠性是70%精度并且当基于提取出了头发的图像来确定性别时可靠性是80%精度,可以通过增大后者的置信度来进行高检测精度的确定。
此外,例如,在待确定整体图像较暗的条件下,由于整体头部区域的颜色变暗,因此存在性别度向男性偏移的情况,尽管事实上图像中的人是女性。这样,在待确定整体图像较暗的条件下,由于在整体头部区域处确定性别的可靠性较低,因此将整体性别的置信度设为低(接近0的数值)。另一方面,例如,在黄色人种(黑头发种族)普遍作为待确定人的区域中,在头部区域附近的背景是黑色的条件下,由于人看起来似乎具有较长头发,所以尽管事实上人的头发较短,也存在性别度向着女性偏移的情况。这样,在头部区域附近的背景是黑色的条件下,由于利用头发长度(部分)确定性别的可靠性较低,因此将置信等级设为低(接近0的数值)。
接着,输出装置输出组合的属性确定结果(步骤S31)。例如,基于实施例1中描述的准则,根据通过组合计算的性别度的值来确定性别。
在实施例2的属性确定方法中,基于整体头部区域来确定属性,基于头部区域的一部分来确定属性,并且然后通过组合这些确定结果来确定属性。因此,例如可以以较高精度确定属性。
公式(2)是针对使用一个帧情况的公式。在使用多于一个帧的情况下,可以通过公式(3)来执行确定结果的组合。例如,通过增加帧的数目,可以基于图像以更高精度来确定属性。在公式(3)中,“n”表示帧的数目。
此外,在实施例2的属性确定方法中的部分属性确定步骤(图4A中的S24)中,通过参考部分属性确定模型,基于头部区域的部位的图像来确定属性。然而,本发明不限于此。例如,可以通过参考部分属性确定规则来确定头部区域的部位的属性。部分属性确定规则的示例包括以下规则:例如“如果头发较长则确定为女性,并且如果头发较短则确定为男性”。可以如下准备部分属性确定规则。例如,可以通过以下操作来形成规则:对图2A中示出的用于学习的图像的头部区域应用训练数据“头发长度:短”,并且对图2B中示出的用于学习的图像的头部区域应用训练数据“头发长度:长”;形成头发长度估计模型;基于头发长度估计模型来估计头发的长度;并且基于头发的长度来确定性别,例如“短:男性”和“长:女性”。此外,例如,可以通过参考部分属性确定模型和部分属性确定规则两者来确定头部区域的部位的属性。在这种情况下,例如,部分属性确定规则可以存储在数据存储装置中,并且部分属性确定装置可以连接至部分属性确定规则。
[实施例3]
图5A示出了实施例3的属性确定方法的流程图。图5B示出了实施例36的属性确定装置的框图。如图5B所示,在实施例3的属性确定装置中,计算装置(单元)120包括非基于角度的属性确定装置(单元)122-2、角度确定装置(单元)126、基于角度的属性确定装置(单元)127、和组合装置(单元)128,并且非基于角度的属性确定模型142-2、角度确定模型146、和基于角度的属性确定模型147存储在数据存储装置140中。非基于角度的属性确定装置122-2连接至非基于角度的属性确定模型142-2。角度确定装置126连接至角度确定模型146。基于角度的属性确定装置127连接至基于角度的属性确定模型147。除了这些之外,实施例3的配置与图1B中示出的实施例1的属性确定装置的配置相同。
例如,使用如下图5B的属性确定装置来执行实施例1的属性确定方法。
首先,在执行属性确定方法之前,使用机器学习(模式识别)技术来执行学习。具体地,首先按照与实施例1中的方式相同的方式,通过机器学习(模式识别)学习用于学习的图像,来形成头部检测模型141。接着,按照与实施例1的属性确定模型142的形成相同的方式,形成非基于角度的属性确定模型142-2,非基于角度的属性确定模型142-2用于基于头部图像而不参考头部的角度来确定属性。
另一方面,根据用于学习的图像的头部区域,形成参照头部区域的角度的角度确定模型146。具体地,例如,如图6A所示,在指定角度沿逆时针方向增大,并且正面方向(鼻子的方向)为0°的情况下,对略微面向左侧的人的学习图像的头部区域应用训练数据“角度:10°”。使用被应用了角度训练数据的多个头部区域来形成角度确定模型146。此外,例如,向被应用了角度训练数据的头部区域应用诸如“性别:男性”等训练数据。相应地,例如,向头部区域应用诸如“角度:10°,性别:男性”等训练数据。使用被分别应用了诸如性别等训练数据的多个头部图像来形成基于角度的属性确定模型147。人使用传统已知的输入装置(例如,键盘、鼠标等)进行输入,来进行诸如角度和性别等训练数据的应用。优选地关于用于学习的图像中具有不同角度的头部区域来形成角度确定模型和基于角度的属性确定模型。可以利用沿着点头方向的角度或沿着摇头方向的角度来指定角度。
接着,如图5A的流程图所示,执行以下步骤。首先,图像获取装置111获取待确定图像(步骤S11)。
接着,按照与实施例1中的方式相同的方式,头部区域检测装置121通过参考预先形成的头部检测模型141从待确定图像中检测头部区域数据(步骤S21)。
接着,按照与实施例1中属性确定步骤S22中的方式相同的方式,非基于角度的属性确定装置122-2通过参考预先获取的非基于角度的属性确定模型142-2,基于头部图像来确定属性,非基于角度的属性确定装置122-2基于头部图像而不参考头部的角度来确定属性(步骤S22-2)。在确定项是性别的情况下,例如,按照与实施例1中的方式相同的方式,基于性别度(例如,0到1)来进行确定。
与基于头部图像而不参考头部的角度的属性确定彼此并行地,角度确定装置126通过参照预先获取的角度确定模型146来提取成预先定义的特定角度的头部图像(步骤S26)。例如,在仅利用其中各自的头部几乎正面面向的图像来进行确定的情况下,例如,将特定角度区域定义为0°±10°。随后,基于角度的属性确定装置127通过参考预先获取的基于角度的属性确定模型147来确定成预先定义的特定角度的提取的头部图像的属性(步骤S27)。在确定项是性别的情况下,例如,按照与上述相同的方式,可以基于性别度(例如,0到1)来进行确定。
接着,组合装置128将在非基于角度的属性确定步骤S22-2中获得的确定结果与基于角度的属性确定步骤S27中获得的确定结果相组合(步骤S28)。在组合步骤S28中,可以通过公式(1)来执行确定项(确定结果)的组合。在确定项是性别的情况下,例如可以通过以下公式(4)来执行确定结果的组合。
在公式(4)中,“整体性别度”是指在非基于角度的属性确定步骤S22-2中计算的性别度。例如,“整体性别置信度”可以由大于0并不大于1的值来表示,并且指示在非基于角度的属性确定步骤S22-2中计算的性别度的可靠性级别。“基于角度的性别度”是指在基于角度的属性确定步骤S27中计算的性别度。例如,“基于角度的性别置信度”可以由大于0并不大于1的值来表示,并且指示在基于角度的属性确定步骤S27中计算的性别度的可靠性级别。整体性别置信度和基于角度的性别置信度可以根据要使用的模型的性能来确定。例如,在以下情况下:当基于整体图像来确定性别时可靠性是70%精度并且当基于成特定角度的图像来确定性别时可靠性是80%精度,可以通过增大后者的置信度来进行高检测精度的确定。
接着,输出装置131输出组合的属性确定结果(步骤S31)。例如,基于实施例1中描述的准则,根据通过组合计算的性别度的值来确定性别。
在实施例3的属性确定方法中,基于头部图像而不参考头部的角度来确定属性,确定成特定角度的属性,并且然后通过组合这些确定结果来确定属性。因此,例如,以更高精度来确定属性。
公式(4)是针对使用一个待确定图像(帧)的公式。在使用多于一个帧的情况下,通过公式(5)来执行确定结果的组合。通过增加帧的数目,例如,可以以更高精度基于图像来确定属性。在公式(5)中,“n”表示帧的数目。
此外,在实施例3的属性确定方法中的基于角度的属性确定步骤(图5A中的S27)中,通过参考基于角度的属性确定模型,基于成角度的图像来确定属性。然而,本发明不限于此。例如,可以通过参考基于角度的属性确定规则来确定成角度的属性。基于角度的属性确定规则的示例包括以下规则:例如,“如果从侧面在头部区域中看到喉结则确定为男性,并且如果从侧面在头部区域中没有看到喉结则确定为女性”。此外,例如,可以通过参照基于角度的属性确定模型和基于角度的属性确定模型来确定成角度的属性。在这种情况下,例如,基于角度的属性确定规则可以存储在数据存储装置中,并且基于角度的属性确定装置可以连接至基于角度的属性确定规则。
在实施例3的属性确定方法中,如上所述,头部区域的角度由数值(0°至360°)表示,通过应用角度训练数据来形成角度确定模型,并且在角度确定步骤中确定头部区域的角度。在这种类型的角度显示方法中,例如,存在引起错误识别的情况,即在人面向从正向(角度:0°)向左1°(角度:1°)的情况与人面向从正向(角度:0°)向右1°(角度:1°)的情况之间存在较大差异(角度差:358°),尽管事实上它们之间角度差相对于正向(角度:0°)是2°(例如,在容限内)。
为了避免这种错误识别,在本发明的属性确定方法中,优选地,头部区域的角度由坐标(x,y)示出。具体地,例如,如图6B所示,头部区域的角度由半径为1的圆形的圆周上的坐标示出,该圆形以x-y平面上的x轴和y轴的交点为圆心,x-y平面的x轴和y轴彼此垂直相交,并且垂直于作为身体轴方向的z轴。在人的正面方向(鼻子的方向)的角度被指定为0°并且由坐标a1(1,0)示出的情况下,例如,角度10°可以由坐标(cos10°,sin10°)来示出。根据8个方向的方向可以由45°:a2(1/√2,1/√2)、90°:a3(0,1)、135°:a4(-1/√2,1/√2)、180°:a5(-1,0)、225°:a6(-1/√2,-1/√2)、270°:a7(0,-1)和315°:a8(1/√2,-1/√2)来表示。通过由坐标示出角度,例如可以识别诸如上述角度之间的角度等任何角度。通过以这种方式由坐标示出头部区域的角度,向用于学习的图像的头部区域应用角度训练数据,并且使用分别被应用了角度训练数据的多个头部区域,来形成角度确定模型。通过参考角度确定模型,在角度确定步骤中确定头部区域的角度。
在本发明的属性确定方法中,例如,部分属性确定步骤和基于角度的属性确定步骤可以组合执行。在这种情况下,例如,可以通过将在部分属性确定步骤中获得的确定结果与在基于角度的属性确定步骤中获得的确定结果相组合来确定属性。此外,在实施例3的属性确定方法中,确定性别作为属性。例如,可以确定角度本身作为属性。
[实施例4]