CN105631406A - 图像识别处理方法和装置 - Google Patents

图像识别处理方法和装置 Download PDF

Info

Publication number
CN105631406A
CN105631406A CN201510958744.9A CN201510958744A CN105631406A CN 105631406 A CN105631406 A CN 105631406A CN 201510958744 A CN201510958744 A CN 201510958744A CN 105631406 A CN105631406 A CN 105631406A
Authority
CN
China
Prior art keywords
face
image
position coordinates
point position
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510958744.9A
Other languages
English (en)
Other versions
CN105631406B (zh
Inventor
张涛
汪平仄
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201510958744.9A priority Critical patent/CN105631406B/zh
Publication of CN105631406A publication Critical patent/CN105631406A/zh
Application granted granted Critical
Publication of CN105631406B publication Critical patent/CN105631406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于图像识别处理方法和装置,该方法包括:获取待识别图像;对待识别图像进行脸部识别,同时获取待识别图像的脸部分类结果和脸部器官点位置坐标。在对待识别图像进行脸部识别时,在确定其脸部分类结果,比如是否为人脸图像的同时,还能够同时获得脸部器官点的位置坐标,提高识别处理效率。

Description

图像识别处理方法和装置
技术领域
本公开涉及图像处理领域,尤其涉及图像识别处理方法和装置。
背景技术
在进行人脸识别的过程中,人脸检测和人脸对齐是两个主要的处理过程。简单来说,人脸检测就是在照片中检测出人脸所在区域,而人脸对齐就是在检测出的人脸所在区域中进行人脸器官点的精确定位。
相关技术中,一般先采用adaboost算法对照片进行人脸检测处理,得到人脸区域。之后再采用诸如aam、asm、sdm等算法在检测出的人脸区域进行器官点定位。在实际应用中,由于adaboost算法采用的是多个若分类器集合构成的强分类器进行的人脸检测处理,为了保证一定的检测精度,需要进行很多层次的分类检测处理,一般为12层。
公开内容
为克服相关技术中存在的问题,本公开提供一种图像识别处理方法和装置,以提高人脸检测、器官点定位的处理速度和准确性。
根据本公开实施例的第一方面,提供一种图像识别处理方法,包括:
获取待识别图像;
对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
该方案可以包括以下有益效果:在对待识别图像进行脸部识别时,在确定其脸部分类结果,比如是否为人脸图像的同时,还能够同时获得脸部器官点的位置坐标,提高识别处理效率。
结合第一方面,在第一方面的第一种可能的实现方式中,所述对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果脸部器官点位置坐标,包括:
采用脸部识别模型对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标;
其中,所述脸部识别模型的输出层包括分类输出层和位置回归输出层,所述位置回归输出层用于进行所述脸部器官点位置坐标的定位,所述脸部分类结果包括所述待识别图像为人脸图像或者非人脸图像。
该方案可以包括以下有益效果:通过训练获得具有两个输出层的脸部识别模型,从而,采用该脸部识别模型对待识别图像进行识别,在确定其脸部分类结果的同时,还能够同时获得脸部器官点的位置坐标。基于该脸部识别模型,不但能够获得准确的分类和坐标位置识别结果,而且能够提高识别处理效率。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述方法还包括:
对所述待识别图像进行不大于预设层次的脸部轮廓检测处理,获取所述待识别图像的脸部轮廓候选区域图像;
所述对所述待识别图像进行识别,包括:
对所述脸部轮廓候选区域图像进行识别。
该方案可以包括以下有益效果:在对待识别图像进行识别处理前,通过对待识别图像进行一定较少层次的脸部轮廓检测处理,能够获得脸部所在的大致区域,从而脸部识别模型仅需要对该大致区域进行识别处理,能够进一步提高脸部识别的处理效率。
结合第一方面的第一种可能的实现方式,在第一方面的第三种可能的实现方式中,所述方法还包括:
获取训练样本集,所述训练样本集中包括人脸样本图像和非人脸样本图像;
根据所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述根据所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型,包括:
对所述人脸样本图像进行第一分类标号的标记,对所述非人脸样本图像进行第二分类标号的标记;
确定所述人脸样本图像对应的第一人脸器官点位置坐标和所述非人脸样本图像对应的第二人脸器官点位置坐标,所述第二人脸器官点位置坐标被设置为预设坐标值;
将所述人脸样本图像、所述第一分类标号、所述第一人脸器官点位置坐标以及所述非人脸样本图像、所述第二分类标号、所述第二人脸器官点位置坐标分别输入到所述卷积神经网络中,对所述卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
该方案可以包括以下有益效果:通过采用包含有大量人脸样本图像和非人脸样本图像的训练样本集,将样本图像以及样本图像对应的分类标号和人脸器官点位置坐标作为输入,对卷积神经网络进行训练,使得得到的脸部脸识别模型能够自动深度学习到各样本图像中包含的多层次的特征信息,从而不但提高了基于该脸部识别模型正确识别待识别图像分类的可能性,也能够准确识别获得脸部器官点位置坐标,保证了识别结果的准确可靠。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,所述方法还包括:
若当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值,或者,若当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离,则调整经所述当前输入的样本图像训练后得到的各层隐层节点之间的特征系数;
其中,所述输入分类号为所述第一分类标号或所述第二分类标号,所述输入人脸器官点位置坐标为所述第一人脸器官点位置坐标或所述第二人脸器官点位置坐标。
该方案可以包括以下有益效果:基于各样本图像训练结果,对脸部识别模型的各特征系数进行及时有效的调整,能够保证最终训练获得的脸部识别模型具有更佳的稳定性、可靠性,实现识别的快速收敛。
根据本公开实施例的第二方面,提供一种图像识别处理装置,包括:
第一获取模块,被配置为获取待识别图像;
识别处理模块,被配置为对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
该方案可以包括以下有益效果:在对待识别图像进行脸部识别时,在确定其脸部分类结果,比如是否为人脸图像的同时,还能够同时获得脸部器官点的位置坐标,提高识别处理效率。
结合第二方面,在第二方面的第一种可能的实现方式中,所述识别处理模块,包括:
第一识别处理子模块,被配置为采用脸部识别模型对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标;
其中,所述脸部识别模型的输出层包括分类输出层和位置回归输出层,所述位置回归输出层用于进行所述脸部器官点位置坐标的定位,所述脸部分类结果包括所述待识别图像为人脸图像或者非人脸图像。
该方案可以包括以下有益效果:通过训练获得具有两个输出层的脸部识别模型,从而,采用该脸部识别模型对待识别图像进行识别,在确定其脸部分类结果的同时,还能够同时获得脸部器官点的位置坐标。基于该脸部识别模型,不但能够获得准确的分类和坐标位置识别结果,而且能够提高识别处理效率。
结合第二方面或第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述装置还包括:
脸部轮廓检测模块,被配置为对所述待识别图像进行不大于预设层次的脸部轮廓检测处理,获取所述待识别图像的脸部轮廓候选区域图像;
所述识别处理模块,包括:
第二识别处理子模块,被配置为对所述脸部轮廓候选区域图像进行识别。
该方案可以包括以下有益效果:在对待识别图像进行识别处理前,通过对待识别图像进行一定较少层次的脸部轮廓检测处理,能够获得脸部所在的大致区域,从而脸部识别模型仅需要对该大致区域进行识别处理,能够进一步提高脸部识别的处理效率。
结合第二方面的第一种可能的实现方式,在第二方面的第三种可能的实现方式中,所述装置还包括:
第二获取模块,被配置为获取训练样本集,所述训练样本集中包括人脸样本图像和非人脸样本图像;
训练模块,被配置为根据所述第二获取模块获取的所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述训练模块包括:
标记子模块,被配置为对所述第二获取模块获取的所述人脸样本图像进行第一分类标号的标记,对所述第二获取模块获取的所述非人脸样本图像进行第二分类标号的标记;
确定子模块,被配置为确定所述第二获取模块获取的所述人脸样本图像对应的第一人脸器官点位置坐标和所述第二获取模块获取的所述非人脸样本图像对应的第二人脸器官点位置坐标,所述第二人脸器官点位置坐标被设置为预设坐标值;
训练子模块,被配置为将所述人脸样本图像、所述第一分类标号、所述第一人脸器官点位置坐标以及所述非人脸样本图像、所述第二分类标号、所述第二人脸器官点位置坐标分别输入到所述卷积神经网络中,对所述卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
该方案可以包括以下有益效果:通过采用包含有大量人脸样本图像和非人脸样本图像的训练样本集,将样本图像以及样本图像对应的分类标号和人脸器官点位置坐标作为输入,对卷积神经网络进行训练,使得得到的脸部脸识别模型能够自动深度学习到各样本图像中包含的多层次的特征信息,从而不但提高了基于该脸部识别模型正确识别待识别图像分类的可能性,也能够准确识别获得脸部器官点位置坐标,保证了识别结果的准确可靠。
结合第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,还包括:
调整模块,被配置为在当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值时,或者,在当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离时,调整经所述当前输入的样本图像训练后得到的各层隐层节点之间的特征系数;
其中,所述输入分类号为所述第一分类标号或所述第二分类标号,所述输入人脸器官点位置坐标为所述第一人脸器官点位置坐标或所述第二人脸器官点位置坐标。
该方案可以包括以下有益效果:基于各样本图像训练结果,对脸部识别模型的各特征系数进行及时有效的调整,能够保证最终训练获得的脸部识别模型具有更佳的稳定性、可靠性,实现识别的快速收敛。
根据本公开实施例的第三方面,提供一种图像识别处理装置,包括:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待识别图像;
对所述待识别图像进行脸部识别,获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像识别处理方法实施例一的流程图;
图2为深度卷积神经网络Alex网络图;
图3是根据一示例性实施例示出的一种图像识别处理方法实施例二的流程图
图4是根据一示例性实施例示出的一种图像识别处理方法实施例三的流程图;
图5是根据一示例性实施例示出的一种图像识别处理方法实施例四的流程图;
图6是根据一示例性实施例示出的一种图像识别处理装置实施例一的框图;
图7是根据一示例性实施例示出的一种图像识别处理装置实施例二的框图;
图8是根据一示例性实施例示出的一种图像识别处理装置实施例三的框图;
图9是根据一示例性实施例示出的一种图像识别处理装置实施例四的框图;
图10是根据一示例性实施例示出的一种图像识别处理装置的框图;
图11是根据一示例性实施例示出的另一种图像识别处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像识别处理方法实施例一的流程图,如图1所示,本实施例涉及的图像识别处理方法可以用于终端设备或服务器中,该终端设备例如可以是手机、平板电脑、PDA(PersonalDigitalAssistant,个人数字助理,简称:PDA)等。该图像识别处理方法包括以下步骤。
在步骤101中,获取待识别图像。
在步骤102中,对待识别图像进行脸部识别,同时获取待识别图像的脸部分类结果和脸部器官点位置坐标。
本实施例中,上述待识别图像中可能不含人脸,也可能是包含一张或多张人脸的图像。本实施例中,对待识别图像进行脸部识别,除了要识别该图像是否是人脸图像外,还要进一步获得脸部器官点位置坐标,以用于在识别出是人脸图像的情况下,基于获得的人脸器官点位置坐标进行比如人脸美妆处理等不同应用。
本实施例中,同时识别待识别图像的分类结果、器官点位置坐标,可以采用脸部识别模型实现,该脸部识别模型可以是基于对卷积神经网络进行训练而获得。
也就是说,本实施例中,可以采用脸部识别模型对待识别图像进行脸部识别,同时获取待识别图像的脸部分类结果和脸部器官点位置坐标。
为了获得上述两种识别结果,该脸部识别模型的输出层包括分类输出层和位置回归输出层。其中,位置回归输出层用于进行脸部器官点位置坐标的定位,分类输出层用于进行脸部分类结果的识别处理,该分类结果可以包括待识别图像为人脸图像或者非人脸图像两种结果。
本实施例中,采用卷积神经网络(ConvolutionalNeuralNetworks,简称CNN)构建脸部部识别模型,以采用该脸部识别模型进行待识别图像的识别处理。
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
其中,Alex网络为卷积神经网络的一种,是目前比较通用的物体识别的深度卷积神经网络图。图2为深度卷积神经网络Alex网络图,如图2所示,卷积神经网络是一个多层的神经网络,包括多个卷积层、下采样层、全连接层和一个输出层,每层由多个二维平面组成,而每个平面由多个独立神经元组成。从一个平面到下一个平面的映射可以看作是作卷积运算。本实施例中,假设基于卷积神经网络获得的脸部识别模型具有N层结构,相邻两层隐层节点间的各个连接的权重系数即卷积核,亦即上述特征系数由训练样本集训练确定。
如图4所示的传统的卷积神经网络的输出层仅为一个,即提供了具有分类作用的分类输出层。本实施例中,在传统卷积神经网络的基础上,扩展输出层,具有两个不同功能的输出层,这两个不同的输出层共同基于相同的特征提取过程,即这两个输出层共享输出层之前的各特征系数。
这两个输出层分别是分类输出层和位置回归输出层,每个输出层相当于对应一个损失函数或者称监督函数。分类输出层,顾名思义,用于实现分类的功能,即确定待识别图像是否为人脸图像;位置回归输出层,用于进行脸部器官点位置定位,即在待识别图像为人脸图像时,可以获取其中人脸的器官点位置坐标。
因此,基于该脸部识别模型,将待识别图像输入到该脸部识别模型中后,在输出端,可以得到两个输出结果,一个为是否是人脸图像的判定结果,一个是脸部器官点位置坐标。这两个输出结果是同时输出的。
具体来说,如果待识别图像被确定不是人脸图像,则输出的脸部器官点位置坐标为0,即没有位置坐标或预设的其他表征没有器官点位置坐标的坐标值。如果待识别图像被确定是人脸图像,则输出识别到的人脸器官点位置坐标。
本实施例中,通过对基于深度学习的卷积神经网络进行具有两个输出层的训练,获得既能够识别是否是人脸图像,又能够获得脸部器官点位置坐标的脸部识别模型。从而,采用该脸部识别模型对待识别图像进行识别,在确定其为人脸图像的同时,还能够同时获得人脸器官点的位置坐标。基于该脸部识别模型,不但能够获得准确的识别结果,而且能够提高识别处理效率。
图3是根据一示例性实施例示出的一种图像识别处理方法实施例二的流程图,如图3所示,该方法还可以包括如下步骤:
在步骤201中,获取待识别图像。
在步骤202中,对待识别图像进行归一化处理。
在步骤203中,对归一化处理后的待识别图像进行不大于预设层次的脸部轮廓检测处理,获取脸部轮廓候选区域图像。
在步骤204中,采用脸部识别模型对脸部轮廓候选区域图像进行识别,同时获取待识别图像的脸部分类结果和脸部器官点位置坐标。
在实际应用中,为了进一步保证识别处理的速度和识别结果的准确性,可以对待识别图像进行一定的预处理,该预处理包括进行图像的归一化处理。比如对尺寸、坐标中心化、x-shearing、缩放和旋转等进行归一化处理。
另外,预处理还可以包括对待识别图像,尤其是归一化处理后的待识别图像进行脸部轮廓检测处理,以检测出大致的脸部轮廓区域,即上述脸部轮廓候选区域图像。具体的,可以采用adaboost算法进行脸部轮廓检测。
传统的脸部轮廓检测方法中,也是采用adaboost算法进行脸部轮廓检测处理,但是为了控制错误率,一般会进行很多层的运算,最后输出准确的结果。譬如adaboost进行了12层运算,才收敛,这样速度明显不会太快,错误率也不能控制。
而本实施例中,虽然也是采用adaboost算法来进行脸部轮廓检测,但是只需要输出大概的脸部轮廓候选区域即可,不需要太精确的结果,哪怕错误率很高也可以。所以本实施例中adaboost算法仅进行不大于预设层次比如7层的运算即可,这样时间性能上面会大大提高。与传统方法不同的是,本实施例中脸部轮廓检测的错误率会很高,但是没有关系,因为本实施例的脸部轮廓检测主要得到脸部的候选区域,并不是真正进行脸部检测,即便存在较高的错误率,后续输入到基于深度学习的卷积神经网络而获得的脸部识别模型中便可实现精确的识别。
本实施例中,在进行对待识别图像的识别处理前,通过对待识别图像进行一定较少层次的脸部轮廓检测处理,能够获得脸部所在的大致区域,从而脸部识别模型仅需要对该大致区域进行识别处理,能够进一步提高脸部识别的处理效率。
图4是根据一示例性实施例示出的一种图像识别处理方法实施例三的流程图,如图4所示,本实施例中介绍脸部识别模型的训练过程。具体地,可以包括以下步骤:
在步骤301中,获取训练样本集,训练样本集中包括人脸样本图像和非人脸样本图像。
在步骤302中,分别对人脸样本图像和非人脸样本图像进行归一化处理。
在步骤303中,根据归一化后的人脸样本图像和非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到脸部识别模型。
本实施例中,为了保证脸部识别模型的准确可靠,训练时,需要采集大量的人脸样本图像和非人脸样本图像,比如人脸样本图像和非人脸样本图像分别20万张。
为了保证训练结果的准确可靠,可以先对各样本图像进行归一化处理,比如进行尺寸、坐标中心化、x-shearing、缩放和旋转等归一化处理。进而,根据归一化后的人脸样本图像和非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到脸部识别模型。
因为本实施例中对卷积神经网络进行训练的目的,是为了获得具有两个输出层的脸部识别模型,因此,为了保证分类输出层对分类结果的准确可靠,以及位置回归输出层对人脸器官点位置定位结果的准确可靠,具体来说,根据人脸样本图像和非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练的过程如下:
对人脸样本图像进行第一分类标号的标记,对非人脸样本图像进行第二分类标号的标记。并且,确定人脸样本图像对应的第一人脸器官点位置坐标和非人脸样本图像对应的第二人脸器官点位置坐标,其中,第二人脸器官点位置坐标被设置为预设坐标值,比如为0。进而,将人脸样本图像、对应的第一分类标号、对应的第一脸部器官点位置坐标以及非人脸样本图像、第二分类标号、对应的第二脸部器官点位置坐标分别输入到卷积神经网络中,对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到脸部识别模型。
也就是说,为了区别人脸样本图像和非人脸样本图像,以及为了确定训练得到的脸部识别模型是否准确,分别对人脸样本图像和非人脸样本图像进行分类标号的标记,假设人脸样本图像都标记为第一分类标号1,非人脸样本图像都标记为第二分类标号2。
另外,为了实现对位置回归输出层功能的训练,预先确定每个样本图像的脸部器官点位置坐标。对于非人脸样本图像来说,不具备器官点坐标,该位置坐标可以设置为0。对于人脸样本图像来说,可以预先采用诸如sdm等算法进行器官点标定,以获得每个人脸样本图像的器官点位置坐标。
从而,在对卷积神经网络进行训练的过程中,分别输入样本图像,得到输出结果。具体来说,针对输入的是人脸样本图像来说,输入的是人脸样本图像、对应的分类标号1、对应的人脸器官点位置坐标,输出的是输出分类标号和输出位置坐标。针对输入的是非人脸样本图像来说,输入的是非人脸样本图像、对应的分类标号2、对应的脸部器官点位置坐标0,输出的是输出分类标号和输出位置坐标,理想情况下该输出位置坐标为0。
本实施例中,通过采用包含有大量人脸样本图像和非人脸样本图像的训练样本集,将样本图像以及样本图像对应的分类标号和脸部器官点位置坐标作为输入,对卷积神经网络进行训练,使得得到的脸部识别模型能够自动深度学习到各样本图像中包含的多层次的特征信息,从而不但提高了基于该脸部识别模型正确识别待识别图像分类的可能性,也能够准确识别获得脸部器官点位置坐标,保证了识别结果的准确可靠。
图5是根据一示例性实施例示出的一种图像识别处理方法实施例四的流程图,如图5所示,在前一实施例的基础上,在步骤303后,还可以包括如下步骤:
在步骤401中,若当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值,或者,若当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离,则调整经当前输入的样本图像训练后得到的各层隐层节点之间的特征系数。
其中,输入分类号为第一分类标号或第二分类标号,输入人脸器官点位置坐标为第一人脸器官点位置坐标或第二人脸器官点位置坐标。
值得说明的是,在对卷积神经网络进行训练的过程中,针对任一输入的样本图像来说,如果输出的类别标号与输入的类别标号不同,则可以调整特征系数,或者,如果输出的位置坐标与输入的位置坐标间的距离大于预设距离,则可以调整特征系数。调整特征系数之后,进行后一样本图像的输入训练过程,如此反复,直到卷积神经网络收敛为止,此时,可以得到稳定可靠的特征系数即卷积核,从而最终获得脸部识别模型。
其中,输出的位置坐标与输入的位置坐标间的距离可以根据诸如欧式距离、马氏距离、切比雪夫距离、余弦距离等距离度量方式计算。其中,对各层隐层节点间的特征系数的调整可以采用梯度下降法进行调整。
本实施例中,基于各样本图像训练结果,对脸部识别模型的各特征系数进行及时有效的调整,能够保证最终训练获得的脸部识别模型具有更佳的稳定性、可靠性,实现识别的快速收敛。
以上描述了图像识别处理方法的实现过程,该过程可以由图像识别处理装置来实现,以下将对图像识别处理装置的内部功能和结构进行说明。
图6是根据一示例性实施例示出的一种图像识别处理装置实施例一的框图,如图6所示,该图像识别处理装置包括:第一获取模块11、识别处理模块12。
第一获取模块11,被配置为获取待识别图像。
识别处理模块12,被配置对所述第一获取模块11获取的所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
可选的,所述识别处理模块12,包括:第一识别处理子模块121。
第一识别处理子模块121,被配置为采用脸部识别模型对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
其中,所述脸部识别模型的输出层包括分类输出层和位置回归输出层,所述位置回归输出层用于进行所述脸部器官点位置坐标的定位,所述脸部分类结果包括所述待识别图像为人脸图像或者非人脸图像。
本实施例中,第一获取模块11获取的上述待识别人脸图像中可能不含人脸,也可能是包含一张或多张人脸的图像。本实施例中,识别处理模块12对待识别图像进行脸部识别,除了要识别该图像是否是人脸图像外,还要进一步获得脸部器官点位置坐标,以用于在识别出是人脸图像的情况下,基于获得的人脸器官点位置坐标进行比如人脸美妆处理等不同应用。
本实施例中,为了同时识别待识别图像的分类结果、器官点位置坐标,第一识别处理子模块121可以采用脸部识别模型来实现,该脸部识别模型可以是基于对卷积神经网络进行训练而获得。也就是说,本实施例中,第一识别处理子模块121可以采用脸部识别模型对待识别图像进行脸部识别,同时获取待识别图像的脸部分类结果和脸部器官点位置坐标。
为了获得上述两种识别结果,该脸部识别模型的输出层包括分类输出层和位置回归输出层。其中,位置回归输出层用于进行脸部器官点位置坐标的定位,分类输出层用于进行脸部分类结果的识别处理,该分类结果可以包括待识别图像为人脸图像或者非人脸图像两种结果。
本实施例中,采用卷积神经网络(ConvolutionalNeuralNetworks,简称CNN)构建脸部部识别模型,以采用该脸部识别模型进行待识别图像的识别处理。
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
其中,Alex网络为卷积神经网络的一种,是目前比较通用的物体识别的深度卷积神经网络图。图2为深度卷积神经网络Alex网络图,如图2所示,卷积神经网络是一个多层的神经网络,包括多个卷积层、下采样层、全连接层和一个输出层,每层由多个二维平面组成,而每个平面由多个独立神经元组成。从一个平面到下一个平面的映射可以看作是作卷积运算。本实施例中,假设基于卷积神经网络获得的脸部识别模型具有N层结构,相邻两层隐层节点间的各个连接的权重系数即卷积核,亦即上述特征系数由训练样本集训练确定。
如图4所示的传统的卷积神经网络的输出层仅为一个,即提供了具有分类作用的分类输出层。本实施例中,在传统卷积神经网络的基础上,扩展输出层,具有两个不同功能的输出层,这两个不同的输出层共同基于相同的特征提取过程,即这两个输出层共享输出层之前的各特征系数。
这两个输出层分别是分类输出层和位置回归输出层,每个输出层相当于对应一个损失函数或者称监督函数。分类输出层,顾名思义,用于实现分类的功能,即确定待识别图像是否为人脸图像;位置回归输出层,用于进行脸部器官点位置定位,即在待识别图像为人脸图像时,可以获取其中人脸的器官点位置坐标。
因此,基于该脸部识别模型,将待识别图像输入到该脸部识别模型中后,在输出端,可以得到两个输出结果,一个为是否是人脸图像的判定结果,一个是脸部器官点位置坐标。这两个输出结果是同时输出的。
具体来说,如果待识别图像被确定不是人脸图像,则输出的脸部器官点位置坐标为0,即没有位置坐标或预设的其他表征没有器官点位置坐标的坐标值。如果待识别图像被确定是人脸图像,则输出识别到的人脸器官点位置坐标。
本实施例中,通过对基于深度学习的卷积神经网络进行具有两个输出层的训练,获得既能够识别是否是人脸图像,又能够获得脸部器官点位置坐标的脸部识别模型。从而,采用该脸部识别模型对待识别图像进行识别,在确定其为人脸图像的同时,还能够同时获得人脸器官点的位置坐标。基于该脸部识别模型,不但能够获得准确的识别结果,而且能够提高识别处理效率。
图7是根据一示例性实施例示出的一种图像识别处理装置实施例二的框图,如图7所示,在图6所示实施例的基础上,所述装置还包括:脸部轮廓检测模块21。
脸部轮廓检测模块21,被配置为对所述第一获取模块11获取的所述待识别图像进行不大于预设层次的脸部轮廓检测处理,获取脸部轮廓候选区域图像。
所述识别处理模块12,包括:第二识别处理子模块122。
第二识别处理子模块122,被配置为对所述脸部轮廓候选区域图像进行识别。
在实际应用中,为了进一步保证识别处理的速度和识别结果的准确性,可以对待识别图像进行一定的预处理,该预处理包括进行图像的归一化处理。比如对尺寸、坐标中心化、x-shearing、缩放和旋转等进行归一化处理。
另外,预处理还可以包括脸部轮廓检测模块21对待识别图像,尤其是归一化处理后的待识别图像进行脸部轮廓检测处理,以检测出大致的脸部轮廓区域,即上述脸部轮廓候选区域图像。具体的,可以采用adaboost算法进行脸部轮廓检测。
传统的脸部轮廓检测方法中,也是采用adaboost算法进行脸部轮廓检测处理,但是为了控制错误率,一般会进行很多层的运算,最后输出准确的结果。譬如adaboost进行了12层运算,才收敛,这样速度明显不会太快,错误率也不能控制。
而本实施例中,虽然也是采用adaboost算法来进行脸部轮廓检测,但是只需要输出大概的脸部轮廓候选区域即可,不需要太精确的结果,哪怕错误率很高也可以。所以本实施例中adaboost算法仅进行不大于预设层次比如7层的运算即可,这样时间性能上面会大大提高。与传统方法不同的是,本实施例中脸部轮廓检测的错误率会很高,但是没有关系,因为本实施例的脸部轮廓检测主要得到脸部的候选区域,并不是真正进行脸部检测,即便存在较高的错误率,后续输入到基于深度学习的卷积神经网络而获得的脸部识别模型中便可实现精确的识别。
本实施例中,在进行对待识别图像的识别处理前,通过对待识别图像进行一定较少层次的脸部轮廓检测处理,能够获得脸部所在的大致区域,从而脸部识别模型仅需要对该大致区域进行识别处理,能够进一步提高脸部识别的处理效率。
图8是根据一示例性实施例示出的一种图像识别处理装置实施例三的框图,如图8所示,在以上实施例的基础上,所述装置还包括:第二获取模块31、训练模块32。
第二获取模块31,被配置为获取训练样本集,所述训练样本集中包括人脸样本图像和非人脸样本图像。
训练模块32,被配置为根据所述第二获取模块31获取的所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
具体地,所述训练模块32包括:标记子模块321、确定子模块322、训练子模块323。
标记子模块321,被配置为对所述第二获取模块31获取的所述人脸样本图像进行第一分类标号的标记,对所述第二获取模块获取的所述非人脸样本图像进行第二分类标号的标记。
确定子模块322,被配置为确定所述第二获取模块31获取的所述人脸样本图像对应的第一人脸器官点位置坐标和所述第二获取模块获取的所述非人脸样本图像对应的第二人脸器官点位置坐标,所述第二人脸器官点位置坐标被设置为预设坐标值。
训练子模块323,被配置为将所述人脸样本图像、所述第一分类标号、所述第一人脸器官点位置坐标以及所述非人脸样本图像、所述第二分类标号、所述第二人脸器官点位置坐标分别输入到所述卷积神经网络中,对所述卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
本实施例中,为了保证人脸识别模型的准确可靠,训练时,需要获取大量的人脸样本图像和非人脸样本图像,比如人脸样本图像和非人脸样本图像分别20万张。
为了保证训练结果的准确可靠,可以先对各样本图像进行归一化处理,比如第二归一化模块33进行尺寸、坐标中心化、x-shearing、缩放和旋转等归一化处理。进而,训练模块32根据归一化后的人脸样本图像和非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到脸部识别模型。
因为本实施例中对卷积神经网络进行训练的目的,是为了获得具有两个输出层的脸部识别模型,因此,为了保证分类输出层对分类结果的准确可靠,以及位置回归输出层对人脸器官点位置定位结果的准确可靠,具体来说,根据人脸样本图像和非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练的过程如下:
标记子模块321对人脸样本图像进行第一分类标号的标记,对非人脸样本图像进行第二分类标号的标记。并且,确定子模块322确定人脸样本图像对应的第一人脸器官点位置坐标和非人脸样本图像对应的第二人脸器官点位置坐标,其中,第二人脸器官点位置坐标被设置为预设坐标值,比如为0。进而,训练子模块323将人脸样本图像、对应的第一分类标号、对应的第一人脸器官点位置坐标以及非人脸样本图像、第二分类标号、对应的第二脸部器官点位置坐标分别输入到卷积神经网络中,对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到脸部识别模型。
也就是说,为了区别人脸样本图像和非人脸样本图像,以及为了确定训练得到的人脸识别模型是否准确,分别对人脸样本图像和非人脸样本图像进行分类标号的标记,假设人脸样本图像都标记为第一分类标号1,非人脸样本图像都标记为第二分类标号2。
另外,为了实现对位置回归输出层功能的训练,预先确定每个样本图像的脸部器官点位置坐标。对于非人脸样本图像来说,不具备器官点坐标,该位置坐标可以设置为0。对于人脸样本图像来说,可以预先采用诸如sdm等算法进行器官点标定,以获得每个人脸样本图像的器官点位置坐标。
从而,在对卷积神经网络进行训练的过程中,分别输入样本图像,得到输出结果。具体来说,针对输入的是人脸样本图像来说,输入的是人脸样本图像、对应的分类标号1、对应的人脸器官点位置坐标,输出的是输出分类标号和输出位置坐标。针对输入的是非人脸样本图像来说,输入的是非人脸样本图像、对应的分类标号2、对应的脸部器官点位置坐标0,输出的是输出分类标号和输出位置坐标,理想情况下该输出位置坐标为0。
本实施例中,通过采用包含有大量人脸样本图像和非人脸样本图像的训练样本集,将样本图像以及样本图像对应的分类标号和脸部器官点位置坐标作为输入,对卷积神经网络进行训练,使得得到的脸部识别模型能够自动深度学习到各样本图像中包含的多层次的特征信息,从而不但提高了基于该脸部识别模型正确识别待识别图像分类的可能性,也能够准确识别获得脸部器官点位置坐标,保证了识别结果的准确可靠。
图9是根据一示例性实施例示出的一种图像识别处理装置实施例四的框图,如图9所示,在图8所示实施例的基础上,该图像识别处理装置还包括:调整模块41。
调整模块41,被配置为在当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值时,或者,在当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离时,调整经所述当前输入的样本图像训练后得到的各层隐层节点之间的特征系数。
其中,所述输入分类号为所述第一分类标号或所述第二分类标号,所述输入人脸器官点位置坐标为所述第一人脸器官点位置坐标或所述第二人脸器官点位置坐标。
在对卷积神经网络进行训练的过程中,针对任一输入的样本图像来说,如果输出的类别标号与输入的类别标号不同,则调整模块41可以调整特征系数,或者,如果输出的位置坐标与输入的位置坐标间的距离大于预设距离,则调整模块41可以调整特征系数。调整特征系数之后,进行后一样本图像的输入训练过程,如此反复,直到卷积神经网络收敛为止,此时,可以得到稳定可靠的特征系数即卷积核,从而最终获得脸部识别模型。
其中,输出的位置坐标与输入的位置坐标间的距离可以根据诸如欧式距离、马氏距离、切比雪夫距离、余弦距离等距离度量方式计算。其中,调整模块41对各层隐层节点间的特征系数的调整可以采用梯度下降法进行调整。
本实施例中,基于各样本图像训练结果,对脸部识别模型的各特征系数进行及时有效的调整,能够保证最终训练获得的脸部识别模型具有更佳的稳定性、可靠性,实现识别的快速收敛。
以上描述了图像识别处理装置的内部功能和结构,如图10所示,图10是根据一示例性实施例示出的一种图像识别处理装置的框图;该图像识别处理装置可实现为:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待识别图像;
对所述待识别图像进行脸部识别,获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
本实施例中,在对待识别图像进行脸部识别时,在确定其脸部分类结果,比如是否为人脸图像的同时,还能够同时获得脸部器官点的位置坐标,提高识别处理效率。
图11是根据一示例性实施例示出的另一种图像识别处理装置的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图11,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种图像识别处理方法,所述方法包括:
获取待识别图像;
对所述待识别图像进行脸部识别,获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种图像识别处理方法,其特征在于,包括:
获取待识别图像;
对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
2.根据权利要求1所述的方法,其特征在于,所述对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果脸部器官点位置坐标,包括:
采用脸部识别模型对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标;
其中,所述脸部识别模型的输出层包括分类输出层和位置回归输出层,所述位置回归输出层用于进行所述脸部器官点位置坐标的定位,所述脸部分类结果包括所述待识别图像为人脸图像或者非人脸图像。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
对所述待识别图像进行不大于预设层次的脸部轮廓检测处理,获取所述待识别图像的脸部轮廓候选区域图像;
所述对所述待识别图像进行识别,包括:
对所述脸部轮廓候选区域图像进行识别。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取训练样本集,所述训练样本集中包括人脸样本图像和非人脸样本图像;
根据所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型,包括:
对所述人脸样本图像进行第一分类标号的标记,对所述非人脸样本图像进行第二分类标号的标记;
确定所述人脸样本图像对应的第一人脸器官点位置坐标和所述非人脸样本图像对应的第二人脸器官点位置坐标,所述第二人脸器官点位置坐标被设置为预设坐标值;
将所述人脸样本图像、所述第一分类标号、所述第一人脸器官点位置坐标以及所述非人脸样本图像、所述第二分类标号、所述第二人脸器官点位置坐标分别输入到所述卷积神经网络中,对所述卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值,或者,若当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离,则调整经所述当前输入的样本图像训练后得到的各层隐层节点之间的特征系数;
其中,所述输入分类号为所述第一分类标号或所述第二分类标号,所述输入人脸器官点位置坐标为所述第一人脸器官点位置坐标或所述第二人脸器官点位置坐标。
7.一种图像识别处理装置,其特征在于,包括:
第一获取模块,被配置为获取待识别图像;
识别处理模块,被配置为对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
8.根据权利要求7所述的装置,其特征在于,所述识别处理模块,包括:
第一识别处理子模块,被配置为采用脸部识别模型对所述待识别图像进行脸部识别,同时获取所述待识别图像的脸部分类结果和脸部器官点位置坐标;
其中,所述脸部识别模型的输出层包括分类输出层和位置回归输出层,所述位置回归输出层用于进行所述脸部器官点位置坐标的定位,所述脸部分类结果包括所述待识别图像为人脸图像或者非人脸图像。
9.根据权利要求7或8所述的装置,其特征在于,所述装置还包括:
脸部轮廓检测模块,被配置为对所述待识别图像进行不大于预设层次的脸部轮廓检测处理,获取所述待识别图像的脸部轮廓候选区域图像;
所述识别处理模块,包括:
第二识别处理子模块,被配置为对所述脸部轮廓候选区域图像进行识别。
10.根据权利要求8所述的装置,其特征在于,还包括:
第二获取模块,被配置为获取训练样本集,所述训练样本集中包括人脸样本图像和非人脸样本图像;
训练模块,被配置为根据所述第二获取模块获取的所述人脸样本图像和所述非人脸样本图像对卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
11.根据权利要求10所述的装置,其特征在于,所述训练模块包括:
标记子模块,被配置为对所述第二获取模块获取的所述人脸样本图像进行第一分类标号的标记,对所述第二获取模块获取的所述非人脸样本图像进行第二分类标号的标记;
确定子模块,被配置为确定所述第二获取模块获取的所述人脸样本图像对应的第一人脸器官点位置坐标和所述第二获取模块获取的所述非人脸样本图像对应的第二人脸器官点位置坐标,所述第二人脸器官点位置坐标被设置为预设坐标值;
训练子模块,被配置为将所述人脸样本图像、所述第一分类标号、所述第一人脸器官点位置坐标以及所述非人脸样本图像、所述第二分类标号、所述第二人脸器官点位置坐标分别输入到所述卷积神经网络中,对所述卷积神经网络中各层隐层节点之间的特征系数进行训练,得到所述脸部识别模型。
12.根据权利要求11所述的装置,其特征在于,还包括:
调整模块,被配置为在当前输入的样本图像对应的输出分类标号与当前输入的样本图像对应的输入分类号间的差值大于预设差值时,或者,在当前输入的样本图像对应的输出人脸器官点位置坐标与当前输入的样本图像对应的输入人脸器官点位置坐标间的距离大于预设距离时,调整经所述当前输入的样本图像训练后得到的各层隐层节点之间的特征系数;
其中,所述输入分类号为所述第一分类标号或所述第二分类标号,所述输入人脸器官点位置坐标为所述第一人脸器官点位置坐标或所述第二人脸器官点位置坐标。
13.一种图像识别处理装置,其特征在于,包括:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待识别图像;
对所述待识别图像进行脸部识别,获取所述待识别图像的脸部分类结果和脸部器官点位置坐标。
CN201510958744.9A 2015-12-18 2015-12-18 图像识别处理方法和装置 Active CN105631406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510958744.9A CN105631406B (zh) 2015-12-18 2015-12-18 图像识别处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510958744.9A CN105631406B (zh) 2015-12-18 2015-12-18 图像识别处理方法和装置

Publications (2)

Publication Number Publication Date
CN105631406A true CN105631406A (zh) 2016-06-01
CN105631406B CN105631406B (zh) 2020-07-10

Family

ID=56046319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510958744.9A Active CN105631406B (zh) 2015-12-18 2015-12-18 图像识别处理方法和装置

Country Status (1)

Country Link
CN (1) CN105631406B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446946A (zh) * 2016-09-22 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN106446862A (zh) * 2016-10-11 2017-02-22 厦门美图之家科技有限公司 一种人脸检测方法及***
CN106778543A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 单人脸检测方法、装置及终端
CN107239727A (zh) * 2016-12-07 2017-10-10 北京深鉴智能科技有限公司 手势识别方法和***
CN107341436A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势检测网络训练、手势检测及控制方法、***及终端
CN107665341A (zh) * 2017-09-30 2018-02-06 珠海市魅族科技有限公司 一种识别控制方法、电子设备及计算机产品
CN108171244A (zh) * 2016-12-07 2018-06-15 北京深鉴科技有限公司 对象识别方法和***
CN109117741A (zh) * 2018-07-20 2019-01-01 苏州中德宏泰电子科技股份有限公司 离线待检测对象识别方法与装置
CN109558791A (zh) * 2018-10-11 2019-04-02 浙江大学宁波理工学院 一种基于图像识别的寻笋装置及方法
CN110163032A (zh) * 2018-02-13 2019-08-23 浙江宇视科技有限公司 一种人脸检测方法及装置
CN111414895A (zh) * 2020-04-10 2020-07-14 上海卓繁信息技术股份有限公司 一种人脸识别方法,装置及存储设备
CN111523476A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034495A1 (en) * 2004-04-21 2006-02-16 Miller Matthew L Synergistic face detection and pose estimation with energy-based models
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN103824055A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸识别方法
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN105095911A (zh) * 2015-07-31 2015-11-25 小米科技有限责任公司 敏感图片识别方法、装置以及服务器
CN105095859A (zh) * 2015-06-29 2015-11-25 小米科技有限责任公司 人脸识别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034495A1 (en) * 2004-04-21 2006-02-16 Miller Matthew L Synergistic face detection and pose estimation with energy-based models
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN103824055A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸识别方法
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN105095859A (zh) * 2015-06-29 2015-11-25 小米科技有限责任公司 人脸识别方法和装置
CN105095911A (zh) * 2015-07-31 2015-11-25 小米科技有限责任公司 敏感图片识别方法、装置以及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROSS GIRSHICK等: "Fast R-CNN", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341436B (zh) * 2016-08-19 2019-02-22 北京市商汤科技开发有限公司 手势检测网络训练、手势检测及控制方法、***及终端
CN107341436A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势检测网络训练、手势检测及控制方法、***及终端
CN106446946A (zh) * 2016-09-22 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN106446946B (zh) * 2016-09-22 2020-07-21 北京小米移动软件有限公司 图像识别方法及装置
CN106446862A (zh) * 2016-10-11 2017-02-22 厦门美图之家科技有限公司 一种人脸检测方法及***
CN106778543A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 单人脸检测方法、装置及终端
CN107239727A (zh) * 2016-12-07 2017-10-10 北京深鉴智能科技有限公司 手势识别方法和***
CN108171244A (zh) * 2016-12-07 2018-06-15 北京深鉴科技有限公司 对象识别方法和***
CN107665341A (zh) * 2017-09-30 2018-02-06 珠海市魅族科技有限公司 一种识别控制方法、电子设备及计算机产品
CN110163032A (zh) * 2018-02-13 2019-08-23 浙江宇视科技有限公司 一种人脸检测方法及装置
CN110163032B (zh) * 2018-02-13 2021-11-16 浙江宇视科技有限公司 一种人脸检测方法及装置
CN109117741A (zh) * 2018-07-20 2019-01-01 苏州中德宏泰电子科技股份有限公司 离线待检测对象识别方法与装置
CN109558791A (zh) * 2018-10-11 2019-04-02 浙江大学宁波理工学院 一种基于图像识别的寻笋装置及方法
CN109558791B (zh) * 2018-10-11 2020-12-01 浙江大学宁波理工学院 一种基于图像识别的寻笋装置及方法
CN111414895A (zh) * 2020-04-10 2020-07-14 上海卓繁信息技术股份有限公司 一种人脸识别方法,装置及存储设备
CN111523476A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
CN111523476B (zh) * 2020-04-23 2023-08-22 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质

Also Published As

Publication number Publication date
CN105631406B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN105631406A (zh) 图像识别处理方法和装置
CN105631408B (zh) 基于视频的面孔相册处理方法和装置
CN106295566B (zh) 人脸表情识别方法及装置
CN104850828B (zh) 人物识别方法及装置
CN105512685B (zh) 物体识别方法和装置
US8879803B2 (en) Method, apparatus, and computer program product for image clustering
CN105608425B (zh) 对照片进行分类存储的方法及装置
CN105631403A (zh) 人脸识别方法及装置
CN107239535A (zh) 相似图片检索方法及装置
TW202113756A (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
CN105426857A (zh) 人脸识别模型训练方法和装置
CN106202330A (zh) 垃圾信息的判断方法及装置
CN107454465A (zh) 视频播放进度展示方法及装置、电子设备
CN104700353B (zh) 图像滤镜生成方法及装置
CN104408402A (zh) 人脸识别方法及装置
CN109446961B (zh) 姿势检测方法、装置、设备及存储介质
CN105205479A (zh) 人脸颜值评估方法、装置及终端设备
CN107133576A (zh) 用户年龄识别方法及装置
CN105335712A (zh) 图像识别方法、装置及终端
CN105302315A (zh) 图片处理方法及装置
CN107832741A (zh) 人脸特征点定位的方法、装置及计算机可读存储介质
CN107463903B (zh) 人脸关键点定位方法及装置
CN106295499A (zh) 年龄估计方法及装置
CN106295515A (zh) 确定图像中的人脸区域的方法及装置
CN105335713A (zh) 指纹识别方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200603

Address after: 100085, Haidian District, 68, Qinghe street, Huarun colorful city shopping center, two, 9, 01, room

Applicant after: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

Applicant after: Xiaomi Technology Co.,Ltd.

Address before: 100085, Haidian District, Beijing Qinghe Street No. 68, Huarun colorful city shopping center two, 13 layers

Applicant before: Xiaomi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant