CN106650637A - 一种基于条件随机森林的笑脸检测器及方法 - Google Patents
一种基于条件随机森林的笑脸检测器及方法 Download PDFInfo
- Publication number
- CN106650637A CN106650637A CN201611096351.2A CN201611096351A CN106650637A CN 106650637 A CN106650637 A CN 106650637A CN 201611096351 A CN201611096351 A CN 201611096351A CN 106650637 A CN106650637 A CN 106650637A
- Authority
- CN
- China
- Prior art keywords
- image
- random forest
- smiling face
- face
- head pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于条件随机森林的笑脸检测器,包括条件随机森林组、人脸检测模块、头部姿态估计模块、动态随机森林组建模块、随机森林笑脸分类模块;条件随机森林组通过离线训练得到,由一组不同头部姿态条件下的笑脸分类随机森林组成;人脸检测模块用于从图像中检测出包含人脸的区域;头部姿态估计模块用于根据人脸区域提取的特征估计出头部姿态;动态随机森林组建模块用于根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;随机森林笑脸分类模块用于利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。本发明可以解决不限定头部姿态情景下的笑脸检测问题,扩展笑脸检测***的应用范围。
Description
技术领域
本发明涉及算机视觉和模式识别领域,具体涉及一种基于条件随机森林的笑脸检测器及方法。
背景技术
笑脸检测在用户体验感知、学生心理状态分析、照片增强处理、相机微笑快门等方面有着广泛的应用。当前的笑脸检测算法大多只对正脸图像有效,而在很多实际应用中,人的头部姿态通常不受限制。在头部姿态变化范围较大的情况下,人脸对齐较为困难,巨大的类内差异会导致难以设计高正确率和高效率的笑脸检测器。
发明内容
针对现有技术的缺陷,本发明的目的在于,解决在不限定头部姿态图像中检测笑脸的问题,提供一种具备高正确率、高效率的笑脸检测器。
一种基于条件随机森林的笑脸检测器,包括条件随机森林组、人脸检测模块、头部姿态估计模块、动态随机森林组建模块、随机森林笑脸分类模块,其中,
条件随机森林组通过离线训练得到,由一组不同头部姿态条件下的笑脸分类随机森林组成;人脸检测模块用于从图像中检测出包含人脸的区域;头部姿态估计模块用于根据人脸区域提取的特征估计出头部姿态;动态随机森林组建模块用于根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;随机森林笑脸分类模块用于利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。
作为优化,所述条件随机森林组离线训练得到,训练的过程为:
(1)将训练数据集中的图像按头部姿态所属范围划分为N个子集,记为其中Ωn表示第n个子集中包含的图像的头部姿态范围;
(2)利用各个数据子集中的图像训练一个条件随机森林T(Ωn),每个条件随机森林T(Ωn)由T棵决策树组成,即每棵决策树Tt(Ωn)采用如下步骤独立训练生成:
(21)从训练样本子集中随机选择m张图像,接着从选中的每张图像上提取一系列图像特征,图像Ii提取特征后的特征图像集合记为Ii={Ii 1,Ii 2,...,Ii f,...,Ii F},i∈[1,m],其中F表示特征的种数;然后从每张特征图像上随机抠取NP个大小为s×s像素的图像子块,并将从第i张图像上抠取的第j个图像块记为Pij=(θi,Iij),其中θi∈{-1,+1}为表示笑和非笑的类别标签;
(22)生成候选二值测试集每个二值测试包含四个参数R1,R2,f,τ,其中R1和R2分别表示从图像子块P里随机选取的两个矩形区域,f∈{1,2,…,F}表示随机选取的特征通道,τ为阈值;每个二值测试的形式为:
其中If表示提取第f种特征后的图像,|R1|、|R2|分别表示两个矩形区域内像素的数量,(x,y)表示像素;
(23)生成一个根节点,该节点中包含所有抠取的图像子块{Pij},将根节点标记为当前节点;
(24)使用候选二值测试集中的每一个尝试将当前节点上的图像子块集P***为两个子集和 及
(25)计算***后的信息增益:
其中H(·)表示熵;
当随机树生长到预设的最大深度时,或当前节点的信息增益小于最小阈值时,停止随机树的生长并生成叶子节点;否则继续迭代***;到达叶子节点l的图像子块记为l(P),统计l(P)中标签为笑脸(θ=1)的概率p(θ|l(P)),并将p(θ|l(P))存储于该叶子节点上;
(3)计算各个条件随机森林分类阈值:
(31)从训练数据子集中的各张图像上随机抠取一系列图像子块,并将各个图像子块输入条件随机森林T(Ωn)的各棵决策树,最终到达决策树的叶子节点;取图像子块到达的叶子节点上存储的分类概率p(θ|Ωn,l(P))作为该图像子块属于笑脸的概率。为表述方便将所有图像子块属于笑脸的概率简记为{p1,p2,p3…};
(32)初始化聚类中心:c0=min{p1,p2,p3…},c1=max{p1,p2,p3…};
(33)计算每个数据对象pi到聚类中心c0和c1的欧式距离,并将各个数据归类到距离较短的聚类中心所在的类,归类后的两类数据集合分别记为和
(34)计算各类均值作为新的聚类中心;
(35)重复(32)、(33)直到聚类中心不再变化;
(36)输出聚类结果C0、C1。
(37)计算条件随机森林T(Ωn)的分类阈值τp(Ωn):
作为优化,所述动态随机森林组建模块从离线训练的条件随机森林组中选出T棵决策树动态组建出一个随机森林TC,其中从条件随机森林T(Ωn)中随机选出的决策树的棵数kn由头部姿态估计模块给出的头部姿态分布情况来决定:
其中p(ω|P)表示头部姿态估计模块给出的头部姿态分布,表示向下取整;动态组建的随机森林TC的分类阈值τp为:
作为优化,所述随机森林笑脸分类模块接收从人脸检测模块输入的人脸区域图像,并利用动态组建的随机森林TC对人脸区域图像做出笑脸/非笑脸的分类,步骤为:
1)对人脸区域图像提取特征;
2)从人脸区域的各类特征图像上分别抠取M个图像子块{Pi,i∈[1,m]},并输入动态组建的随机森林TC的各棵决策树种;当图像子块到Pi到达决策树的叶子节点时,记录该叶子节点上保存的概率值pit=p(θ,l(P));
3)若判决输入的人脸区域图像为笑脸;否则判决输入的人脸区域图像为非笑脸。
一种基于条件随机森林的笑脸检测方法,包括以下步骤:
步骤1)通过离线训练得到由一组不同头部姿态条件下的笑脸分类随机森林组成的条件随机森林组;
步骤2)从图像中检测出包含人脸的区域;
步骤3)根据人脸区域提取的特征估计出头部姿态;
步骤4)根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;
步骤5)利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。
作为优化,所述步骤1)中的条件随机森林组离线训练得到,训练的过程为:
11)将训练数据集中的图像按头部姿态所属范围划分为N个子集,记为其中Ωn表示第n个子集中包含的图像的头部姿态范围;
12)利用各个数据子集中的图像训练一个条件随机森林T(Ωn),每个条件随机森林T(Ωn)由T棵决策树组成,即每棵决策树Tt(Ωn)采用如下步骤独立训练生成:
121)从训练样本子集中随机选择m张图像,接着从选中的每张图像上提取一系列图像特征,图像Ii提取特征后的特征图像集合记为Ii={Ii 1,Ii 2,...,Ii f,...,Ii F},i∈[1,m],其中F表示特征的种数;然后从每张特征图像上随机抠取NP个大小为s×s像素的图像子块,并将从第i张图像上抠取的第j个图像块记为Pij=(θi,Iij),其中θi∈{-1,+1}为表示笑和非笑的类别标签;
122)生成候选二值测试集每个二值测试包含四个参数R1,R2,f,τ,其中R1和R2分别表示从图像子块P里随机选取的两个矩形区域,f∈{1,2,…,F}表示随机选取的特征通道,τ为阈值;每个二值测试的形式为:
其中If表示提取第f种特征后的图像,|R1|、|R2|分别表示两个矩形区域内像素的数量,(x,y)表示像素;
123)生成一个根节点,该节点中包含所有抠取的图像子块{Pij},将根节点标记为当前节点;
124)使用候选二值测试集中的每一个尝试将当前节点上的图像子块集P***为两个子集和 及
125)计算***后的信息增益:
其中H(·)表示熵;
当随机树生长到预设的最大深度时,或当前节点的信息增益小于最小阈值时,停止随机树的生长并生成叶子节点;否则继续迭代***;到达叶子节点l的图像子块记为l(P),统计l(P)中标签为笑脸(θ=1)的概率p(θ|l(P)),并将p(θ|l(P))存储于该叶子节点上;
13)计算各个条件随机森林分类阈值:
131)从训练数据子集中的各张图像上随机抠取一系列图像子块,并将各个图像子块输入条件随机森林T(Ωn)的各棵决策树,最终到达决策树的叶子节点;取图像子块到达的叶子节点上存储的分类概率p(θ|Ωn,l(P))作为该图像子块属于笑脸的概率。为表述方便将所有图像子块属于笑脸的概率简记为{p1,p2,p3…};
132)初始化聚类中心:c0=min{p1,p2,p3…},c1=max{p1,p2,p3…};
133)计算每个数据对象pi到聚类中心c0和c1的欧式距离,并将各个数据归类到距离较短的聚类中心所在的类,归类后的两类数据集合分别记为和
134)计算各类均值作为新的聚类中心;
135)重复132)、133)直到聚类中心不再变化;
136)输出聚类结果C0、C1。
137)计算条件随机森林T(Ωn)的分类阈值τp(Ωn):
作为优化,所述步骤4)从离线训练的条件随机森林组中选出T棵决策树动态组建出一个随机森林TC,其中从条件随机森林T(Ωn)中随机选出的决策树的棵数kn由头部姿态估计模块给出的头部姿态分布情况来决定:
其中p(ω|P)表示头部姿态估计模块给出的头部姿态分布,表示向下取整;动态组建的随机森林TC的分类阈值τp为:
作为优化,所述步骤5)接收从人脸检测模块输入的人脸区域图像,并利用动态组建的随机森林TC对人脸区域图像做出笑脸/非笑脸的分类,步骤为:
51)对人脸区域图像提取特征;
52)从人脸区域的各类特征图像上分别抠取M个图像子块{Pi,i∈[1,m]},并输入动态组建的随机森林TC的各棵决策树种;当图像子块到Pi到达决策树的叶子节点时,记录该叶子节点上保存的概率值pit=p(θ,l(P));
53)若判决输入的人脸区域图像为笑脸;否则判决输入的人脸区域图像为非笑脸。
作为优化,在训练和检测过程中也可以不从整个人脸区域抠取图像子块,而从嘴巴、眉眼等区域抠取图像子块,然后利用本发明提供的技术构建笑脸检测器。
作为优化,亦可从多个人脸的多个区域抠取图像子块,利用本发明提供的技术构建笑脸多个检测器,然后组合这些笑脸检测器,进一步提高笑脸检测的正确率。
本发明的有益技术效果体现在:
本发明提供了一种基于条件随机森林的笑脸检测***。该***在利用随机森林做笑脸检测时将头部姿态作为条件状态,在训练时根据头部姿态将数据进行分类,降低了数据的内类差异,使得训练的条件随机森林具备高的分类正确率和效率;在进行笑脸/非笑脸分类时,也先进行了头部姿态的估计,根据估计的头部姿态分布情况动态组建随机森林,并计算动态随机森林的分类阈值。因此,本发明提供的技术可以解决不限定头部姿态情景下的笑脸检测问题,扩展笑脸检测***的应用范围。
附图说明
图1是本发明一较佳实施例结构组成示意图;
图2是本发明一较佳实施例条件随机森林组的离线训练流程图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1示出了本发明一个较佳实施例。一种基于条件随机森林的笑脸检测器,包括:条件随机森林组10、人脸检测模块11、头部姿态估计模块12、动态随机森林组建模块13、随机森林笑脸分类模块14,其中,
条件随机森林组10通过离线训练得到,由一组不同头部姿态条件下的笑脸分类随机森林组成;人脸检测模块11从图像中检测出包含人脸的区域;头部姿态估计模块12根据人脸区域提取的特征估计出头部姿态;动态随机森林组建模块13根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;随机森林笑脸分类模块14利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。
所述条件随机森林组10离线训练得到,训练的过程如图2所示:
S11:将训练数据集中的图像按头部姿态所属范围划分为N个子集,记为其中Ωn表示第n个数据子集中包含的图像的头部姿态范围。在本实施例中,按头部的水平偏向角度ω将训练数据划分为3个子集,即Ω1={-30°≤ω≤30°}、Ω2={ω|-30°<ω≤-60°}∪{ω|30°<ω≤60°}、及Ω3={ω|-90°≤ω<-60°}∪{ω|60°<ω≤90°}。其中,Ω2和Ω3利用了人脸的水平对称性,将朝向为左的人脸图像作水平镜像后与朝向为右的人脸图像合并。
S12:利用各个数据子集中的图像训练一个条件随机森林T(Ωn)。每个条件随机森林T(Ωn)由T棵决策树组成,即在本实施例中,T设置为30。每棵决策树Tt(Ωn)采用如下步骤独立训练生成:
S121:从训练样本子集中随机选择m张图像。在本实施例中,m设置为2000。接着从每张选中的图像上提取一系列图像特征,图像Ii提取特征后的特征图像集合记为Ii={Ii 1,Ii 2,...,Ii F},i∈[1,m]其中F表示特征的种数。在本实施例中,F设置为3,并采用了3种特征:图像灰度值、局部二进制模式(LBP)和Gabor特征。然后从每张特征图像上随机抠取NP个大小为s×s像素的图像子块,并将从第i张图像上抠取的第j个图像块记为Pij=(θi,Iij),其中θi∈{-1,+1}为类别标签(笑/非笑)。在本实施例中,NP设置为200,s设置为25,即从每张特征图像上抠取200个25×25像素的图像子块。
S122:生成候选二值测试集每个二值测试包含四个参数R1,R2,f,τ,其中R1和R2分别表示从图像子块P里随机选取的两个矩形区域,f∈{1,2,…,F}表示随机选取的特征通道,τ为阈值。每个二值测试的形式为:
其中|R1|、|R2|分别表示矩形区域内像素的数量。在本实施例中,候选二值测试集的大小设置为3000。
S123:生成一个根节点,该节点中包含所有抠取的图像子块{Pij}。将根节点标记为当前节点。
S124:***节点。使用候选二值测试集中的每一个尝试将当前节点上的图像子块集P***为两个子集和 及
计算***后的信息增益:
其中H(·)表示熵。选择使得信息增益最大的二值测试将当前节点***为两个子节点。
当随机树生长到预设的最大深度时,或当前节点的信息增益小于最小阈值时,停止随机树的生长并生成叶子节点;否则继续迭代***。到达叶子节点l的图像子块记为l(P),统计l(P)中标签为笑脸(θ=1)的概率p(θ|l(P)),并将p(θ|l(P))存储于该叶子节点上。
S13:计算各个条件随机森林分类阈值。阈值的计算步骤为:
S131:从训练数据子集中的各张图像上随机抠取一系列图像子块,并将各个图像子块输入条件随机森林T(Ωn)的各棵决策树,最终到达决策树的叶子节点。取图像子块到达的叶子节点上存储的分类概率p(θ|Ωn,l(P))作为该图像子块属于笑脸的概率。为表述方便将所有图像子块属于笑脸的概率简记为{p1,p2,p3…}。
S132:初始化聚类中心:c0=min{p1,p2,p3…},c1=max{p1,p2,p3…}。
S133:计算每个数据对象pi到聚类中心c0和c1的欧式距离,并将各个数据归类到距离较短的聚类中心所在的类。归类后的两类数据集合分别记为和
S134:计算各类均值作为新的聚类中心。
S135:重复(S132)、(S133)直到聚类中心不再变化。
S136:输出聚类结果C0、C1。
S137:计算条件随机森林T(Ωn)的分类阈值:
在本实施例中,人脸检测模块11由两个基于Haar特征的AdaBoost分类器组成,其中一个负责从图像中检测正面人脸,另外一个负责从图像中检测侧脸图像。不难理解,人脸检测模块11也可以采用其他算法来实施。
在本实施例中,头部姿态估计算法采用文献《Robust head pose estimationusing Dirichlet-tree distribution enhanced random forests》中提供的算法来实现。改算法输入人脸区域图像即可估计出头部姿态的分布情况。不难理解,头部姿态检测模块12也可以采用其他能估计头部姿态分布的算法来实施。
所述动态随机森林组建模块13从离线训练的条件随机森林组10中选出T棵决策树动态组建出一个随机森林TC,其中从条件随机森林T(Ωn)中随机选出的决策树的棵数kn由头部姿态估计模块给出的头部姿态分布情况来决定:
其中p(ω|P)表示头部姿态估计模块给出的头部姿态分布,表示向下取整。动态组建的随机森林TC的分类阈值τp为:
所述随机森林笑脸分类模块14接收从人脸检测模块输入的人脸区域图像,并利用动态组建的随机森林TC对人脸区域图像做出笑脸/非笑脸的分类,步骤为:
(1)对人脸区域图像提取特征。所提取的特种种类与离线训练条件随机森林组所提取的特征种类一致。
(2)从人脸区域的各类特征图像上分别抠取M个图像子块{Pi,i∈[1,m]},并输入动态组建的随机森林TC的各棵决策树种。当图像子块到Pi到达决策树的叶子节点时,记录该叶子节点上保存的概率值pit=p(θ,l(P))。在本实施例中M设置为200.
(3)若判决输入的人脸区域图像为笑脸;否则判决输入的人脸区域图像为非笑脸。
作为优化,在训练和检测过程中也可以不从整个人脸区域抠取图像子块,而从嘴巴、眉眼等区域抠取图像子块,然后利用本发明提供的技术构建笑脸检测器。作为优化,亦可从多个人脸的多个区域抠取图像子块,利用本发明提供的技术构建笑脸多个检测器,然后组合这些笑脸检测器,进一步提高笑脸检测的正确率。
本实例可在包括但不限于智能手机、平板电脑、智能电视、计算机等硬件上实施。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于条件随机森林的笑脸检测器,其特征在于,包括条件随机森林组、人脸检测模块、头部姿态估计模块、动态随机森林组建模块、随机森林笑脸分类模块,其中,
条件随机森林组通过离线训练得到,由一组不同头部姿态条件下的笑脸分类随机森林组成;人脸检测模块用于从图像中检测出包含人脸的区域;头部姿态估计模块用于根据人脸区域提取的特征估计出头部姿态;动态随机森林组建模块用于根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;随机森林笑脸分类模块用于利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。
2.根据权利要求1所述的基于条件随机森林的笑脸检测器,其特征在于,所述条件随机森林组离线训练得到,训练的过程为:
(1)将训练数据集中的图像按头部姿态所属范围划分为N个子集,记为其中Ωn表示第n个子集中包含的图像的头部姿态范围;
(2)利用各个数据子集中的图像训练一个条件随机森林T(Ωn),每个条件随机森林T(Ωn)由T棵决策树组成,即每棵决策树Tt(Ωn)采用如下步骤独立训练生成:
(21)从训练样本子集中随机选择m张图像,接着从选中的每张图像上提取一系列图像特征,图像Ii提取特征后的特征图像集合记为其中F表示特征的种数;然后从每张特征图像上随机抠取NP个大小为s×s像素的图像子块,并将从第i张图像上抠取的第j个图像块记为Pij=(θi,Iij),其中θi∈{-1,+1}为表示笑和非笑的类别标签;
(22)生成候选二值测试集每个二值测试包含四个参数R1,R2,f,τ,其中R1和R2分别表示从图像子块P里随机选取的两个矩形区域,f∈{1,2,…,F}表示随机选取的特征通道,τ为阈值;每个二值测试的形式为:
其中If表示提取第f种特征后的图像,|R1|、|R2|分别表示两个矩形区域内像素的数量,(x,y)表示像素;
(23)生成一个根节点,该节点中包含所有抠取的图像子块{Pij},将根节点标记为当前节点;
(24)使用候选二值测试集中的每一个尝试将当前节点上的图像子块集P***为两个子集和 及
(25)计算***后的信息增益:
其中H(·)表示熵;
当随机树生长到预设的最大深度时,或当前节点的信息增益小于最小阈值时,停止随机树的生长并生成叶子节点;否则继续迭代***;到达叶子节点l的图像子块记为l(P),统计l(P)中标签为笑脸(θ=1)的概率p(θ|l(P)),并将p(θ|l(P))存储于该叶子节点上;
(3)计算各个条件随机森林分类阈值:
(31)从训练数据子集中的各张图像上随机抠取一系列图像子块,并将各个图像子块输入条件随机森林T(Ωn)的各棵决策树,最终到达决策树的叶子节点;取图像子块到达的叶子节点上存储的分类概率p(θ|Ωn,l(P))作为该图像子块属于笑脸的概率。为表述方便将所有图像子块属于笑脸的概率简记为{p1,p2,p3…};
(32)初始化聚类中心:c0=min{p1,p2,p3…},c1=max{p1,p2,p3…};
(33)计算每个数据对象pi到聚类中心c0和c1的欧式距离,并将各个数据归类到距离较短的聚类中心所在的类,归类后的两类数据集合分别记为和
(34)计算各类均值作为新的聚类中心;
(35)重复(32)、(33)直到聚类中心不再变化;
(36)输出聚类结果C0、C1。
(37)计算条件随机森林T(Ωn)的分类阈值τp(Ωn):
3.根据权利要求1所述的基于条件随机森林的笑脸检测器,其特征在于,所述动态随机森林组建模块从离线训练的条件随机森林组中选出T棵决策树动态组建出一个随机森林TC,其中从条件随机森林T(Ωn)中随机选出的决策树的棵数kn由头部姿态估计模块给出的头部姿态分布情况来决定:
其中p(ω|P)表示头部姿态估计模块给出的头部姿态分布,表示向下取整;动态组建的随机森林TC的分类阈值τp为:
4.根据权利要求3所述的基于条件随机森林的笑脸检测器,其特征在于,所述随机森林笑脸分类模块接收从人脸检测模块输入的人脸区域图像,并利用动态组建的随机森林TC对人脸区域图像做出笑脸/非笑脸的分类,步骤为:
1)对人脸区域图像提取特征;
2)从人脸区域的各类特征图像上分别抠取M个图像子块{Pi,i∈[1,m]},并输入动态组建的随机森林TC的各棵决策树种;当图像子块到Pi到达决策树的叶子节点时,记录该叶子节点上保存的概率值pit=p(θ,l(P));
3)若判决输入的人脸区域图像为笑脸;否则判决输入的人脸区域图像为非笑脸。
5.一种基于条件随机森林的笑脸检测方法,其特征在于,包括以下步骤:
步骤1)通过离线训练得到由一组不同头部姿态条件下的笑脸分类随机森林组成的条件随机森林组;
步骤2)从图像中检测出包含人脸的区域;
步骤3)根据人脸区域提取的特征估计出头部姿态;
步骤4)根据估计的头部姿态从条件随机森林组中选择决策树动态建构用于笑脸分类的随机森林;
步骤5)利用动态组建的笑脸分类随机森林对人脸区域图像做出笑脸/非笑脸的分类。
6.根据权利要求5所述的基于条件随机森林的笑脸检测器,其特征在于,所述条件随机森林组离线训练得到,训练的过程为:
11)将训练数据集中的图像按头部姿态所属范围划分为N个子集,记为其中Ωn表示第n个子集中包含的图像的头部姿态范围;
12)利用各个数据子集中的图像训练一个条件随机森林T(Ωn),每个条件随机森林T(Ωn)由T棵决策树组成,即每棵决策树Tt(Ωn)采用如下步骤独立训练生成:
121)从训练样本子集中随机选择m张图像,接着从选中的每张图像上提取一系列图像特征,图像Ii提取特征后的特征图像集合记为其中F表示特征的种数;然后从每张特征图像上随机抠取NP个大小为s×s像素的图像子块,并将从第i张图像上抠取的第j个图像块记为Pij=(θi,Iij),其中θi∈{-1,+1}为表示笑和非笑的类别标签;
122)生成候选二值测试集每个二值测试包含四个参数R1,R2,f,τ,其中R1和R2分别表示从图像子块P里随机选取的两个矩形区域,f∈{1,2,…,F}表示随机选取的特征通道,τ为阈值;每个二值测试的形式为:
其中If表示提取第f种特征后的图像,|R1|、|R2|分别表示两个矩形区域内像素的数量,(x,y)表示像素;
123)生成一个根节点,该节点中包含所有抠取的图像子块{Pij},将根节点标记为当前节点;
124)使用候选二值测试集中的每一个尝试将当前节点上的图像子块集P***为两个子集和 及
125)计算***后的信息增益:
其中H(·)表示熵;
当随机树生长到预设的最大深度时,或当前节点的信息增益小于最小阈值时,停止随机树的生长并生成叶子节点;否则继续迭代***;到达叶子节点l的图像子块记为l(P),统计l(P)中标签为笑脸(θ=1)的概率p(θ|l(P)),并将p(θ|l(P))存储于该叶子节点上;
13)计算各个条件随机森林分类阈值:
131)从训练数据子集中的各张图像上随机抠取一系列图像子块,并将各个图像子块输入条件随机森林T(Ωn)的各棵决策树,最终到达决策树的叶子节点;取图像子块到达的叶子节点上存储的分类概率p(θ|Ωn,l(P))作为该图像子块属于笑脸的概率。为表述方便将所有图像子块属于笑脸的概率简记为{p1,p2,p3…};
132)初始化聚类中心:c0=min{p1,p2,p3…},c1=max{p1,p2,p3…};
133)计算每个数据对象pi到聚类中心c0和c1的欧式距离,并将各个数据归类到距离较短的聚类中心所在的类,归类后的两类数据集合分别记为和
134)计算各类均值作为新的聚类中心;
135)重复132)、133)直到聚类中心不再变化;
136)输出聚类结果C0、C1。
137)计算条件随机森林T(Ωn)的分类阈值τp(Ωn):
7.根据权利要求5所述的基于条件随机森林的笑脸检测方法,其特征在于,所述步骤4)从离线训练的条件随机森林组中选出T棵决策树动态组建出一个随机森林TC,其中从条件随机森林T(Ωn)中随机选出的决策树的棵数kn由头部姿态估计模块给出的头部姿态分布情况来决定:
其中p(ω|P)表示头部姿态估计模块给出的头部姿态分布,表示向下取整;动态组建的随机森林TC的分类阈值τp为:
8.根据权利要求5所述的基于条件随机森林的笑脸检测方法,其特征在于,所述步骤5)接收从人脸检测模块输入的人脸区域图像,并利用动态组建的随机森林TC对人脸区域图像做出笑脸/非笑脸的分类,步骤为:
51)对人脸区域图像提取特征;
52)从人脸区域的各类特征图像上分别抠取M个图像子块{Pi,i∈[1,m]},并输入动态组建的随机森林TC的各棵决策树种;当图像子块到Pi到达决策树Tt C的叶子节点时,记录该叶子节点上保存的概率值pit=p(θ,l(P));
53)若判决输入的人脸区域图像为笑脸;否则判决输入的人脸区域图像为非笑脸。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611096351.2A CN106650637A (zh) | 2016-12-02 | 2016-12-02 | 一种基于条件随机森林的笑脸检测器及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611096351.2A CN106650637A (zh) | 2016-12-02 | 2016-12-02 | 一种基于条件随机森林的笑脸检测器及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106650637A true CN106650637A (zh) | 2017-05-10 |
Family
ID=58813864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611096351.2A Pending CN106650637A (zh) | 2016-12-02 | 2016-12-02 | 一种基于条件随机森林的笑脸检测器及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650637A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197225A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像的分类方法、装置、存储介质及电子设备 |
CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及*** |
CN109598262A (zh) * | 2019-02-11 | 2019-04-09 | 华侨大学 | 一种儿童人脸表情识别方法 |
CN109961148A (zh) * | 2019-04-03 | 2019-07-02 | 陕西医链区块链集团有限公司 | 一种使用随机森林算法实现区块链生产节点的选择方法 |
CN111523367A (zh) * | 2020-01-22 | 2020-08-11 | 湖北科技学院 | 基于人脸属性分析的智能化人脸表情识别方法与*** |
CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270551A1 (en) * | 2013-03-15 | 2014-09-18 | Nvidia Corporation | Performing object detection operations via a graphics processing unit |
KR101464446B1 (ko) * | 2013-10-07 | 2014-11-24 | 재단법인대구경북과학기술원 | 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치 |
CN104504366A (zh) * | 2014-11-24 | 2015-04-08 | 上海闻泰电子科技有限公司 | 基于光流特征的笑脸识别***及方法 |
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别***及方法 |
KR101506812B1 (ko) * | 2013-10-10 | 2015-04-08 | 재단법인대구경북과학기술원 | 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법 |
CN104680141A (zh) * | 2015-02-13 | 2015-06-03 | 华中师范大学 | 基于运动单元分层的人脸表情识别方法及*** |
CN105787525A (zh) * | 2014-12-26 | 2016-07-20 | 小米科技有限责任公司 | 图像检测方法及装置 |
-
2016
- 2016-12-02 CN CN201611096351.2A patent/CN106650637A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270551A1 (en) * | 2013-03-15 | 2014-09-18 | Nvidia Corporation | Performing object detection operations via a graphics processing unit |
KR101464446B1 (ko) * | 2013-10-07 | 2014-11-24 | 재단법인대구경북과학기술원 | 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치 |
KR101506812B1 (ko) * | 2013-10-10 | 2015-04-08 | 재단법인대구경북과학기술원 | 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법 |
CN104504366A (zh) * | 2014-11-24 | 2015-04-08 | 上海闻泰电子科技有限公司 | 基于光流特征的笑脸识别***及方法 |
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别***及方法 |
CN105787525A (zh) * | 2014-12-26 | 2016-07-20 | 小米科技有限责任公司 | 图像检测方法及装置 |
CN104680141A (zh) * | 2015-02-13 | 2015-06-03 | 华中师范大学 | 基于运动单元分层的人脸表情识别方法及*** |
Non-Patent Citations (4)
Title |
---|
MATTHIAS DANTONE等: "Real-time facial feature detection using conditional regression forests", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YUANYUAN LIU等: "Robust head pose estimation using Dirichlet-tree distribution enhanced random forests", 《NEUROCOMPUTING》 * |
ZHENZHEN LUO等: "Spontaneous Smile Recognition for Interest Detection", 《CHINESE CONFERENCE ON PATTERN RECOGNITION CCPR 2016: PATTERN RECOGNITION》 * |
刘袁缘等: "基于树结构分层随机森林在非约束环境下的头部姿态估计", 《电子与信息学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197225A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像的分类方法、装置、存储介质及电子设备 |
CN108197225B (zh) * | 2017-12-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像的分类方法、装置、存储介质及电子设备 |
CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及*** |
CN109598262A (zh) * | 2019-02-11 | 2019-04-09 | 华侨大学 | 一种儿童人脸表情识别方法 |
CN109961148A (zh) * | 2019-04-03 | 2019-07-02 | 陕西医链区块链集团有限公司 | 一种使用随机森林算法实现区块链生产节点的选择方法 |
CN109961148B (zh) * | 2019-04-03 | 2024-02-09 | 陕西医链区块链集团有限公司 | 一种使用随机森林算法实现区块链生产节点的选择方法 |
CN111523367A (zh) * | 2020-01-22 | 2020-08-11 | 湖北科技学院 | 基于人脸属性分析的智能化人脸表情识别方法与*** |
CN111523367B (zh) * | 2020-01-22 | 2022-07-22 | 湖北科技学院 | 基于人脸属性分析的智能化人脸表情识别方法与*** |
CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
CN111539333B (zh) * | 2020-04-24 | 2021-06-29 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650637A (zh) | 一种基于条件随机森林的笑脸检测器及方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
Angelova et al. | Fast terrain classification using variable-length representation for autonomous navigation | |
CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
CN102682287B (zh) | 基于显著度信息的行人检测方法 | |
CN112906545B (zh) | 一种针对多人场景的实时动作识别方法及*** | |
CN110008846B (zh) | 一种图像处理方法 | |
Akey Sungheetha | Classification of remote sensing image scenes using double feature extraction hybrid deep learning approach | |
CN111160286B (zh) | 一种视频真伪鉴别方法 | |
CN109376637A (zh) | 基于视频监控图像处理的人数统计*** | |
Ahamed et al. | HOG-CNN based real time face recognition | |
Wang et al. | LiDAR data classification using morphological profiles and convolutional neural networks | |
Yogarajah et al. | A dynamic threshold approach for skin tone detection in colour images | |
CN106022223A (zh) | 一种高维局部二值模式人脸识别方法及*** | |
CN109635647B (zh) | 一种基于约束条件下的多图片多人脸的聚类方法 | |
Chen et al. | Cumulative attribute space regression for head pose estimation and color constancy | |
Timotius et al. | Evaluation of edge orientation histograms in smile detection | |
CN104598898A (zh) | 一种基于多任务拓扑学习的航拍图像快速识别***及其快速识别方法 | |
CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
CN109886160A (zh) | 一种非限定条件下的人脸识别方法 | |
Li et al. | Fire flame image detection based on transfer learning | |
CN102156879B (zh) | 基于加权陆地运动距离的人体目标匹配方法 | |
Sulistyaningrum et al. | Vehicle detection using histogram of oriented gradients and real adaboost | |
CN113095235B (zh) | 一种基于弱监督判别机制的图像目标检测方法、***及装置 | |
CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
RJ01 | Rejection of invention patent application after publication |