CN105426850A

CN105426850A - 一种基于人脸识别的关联信息推送设备及方法

Info

Publication number: CN105426850A
Application number: CN201510819092.0A
Authority: CN
Inventors: 张广程; 罗予晨; 曹强; 刘祖希; 于志兴; 周璐璐; 向许波; 张果琲; 马堃
Original assignee: Shenzhen Sensetime Technology Co Ltd
Current assignee: Shenzhen Sensetime Technology Co Ltd
Priority date: 2015-11-23
Filing date: 2015-11-23
Publication date: 2016-03-23
Anticipated expiration: 2035-11-23
Also published as: CN105426850B

Abstract

本申请涉及一种基于人脸识别的关联信息推送设备及方法，该设备包括外壳，摄像装置，显示屏，处理器，存储器，数据传输装置和电源等。处理器进一步包括人脸识别单元和关联信息检索单元，存储器包括人脸数据库和关联信息存储单元。该设备的摄像装置将实时检测出的图像信息，发送至人脸识别单元，该单元通过人脸识别算法，识别出人脸信息及其属性值，并将上述结果发送至关联信息检索单元，该单元通过检索内部和外部资源，获取与人脸信息及属性值的关联信息，并最终将该关联信息发送到显示屏上显示。该设备能够针对不同的用户，提供更精准和更具有个人特色的产品或服务推送。

Description

一种基于人脸识别的关联信息推送设备及方法

技术领域

本申请涉及图像处理和信息融合领域，具体涉及一种基于人脸识别的关联信息推送设备及方法。

背景技术

早期的人脸识别技术只能在静态的图片中识别出人脸的大小和位置，而随着技术的发展，人脸识别技术也进一步发展到可以在动态的视频中准确识别出人脸，以及进一步识别和定位人脸的五官，以及人脸的属性，例如年龄，性别，表情，是否配戴眼镜，是否戴口罩，眉毛长短，浓密，头发长短，眼睛大小，眼睛睁开或闭着，胡子类型等等。

随着技术的不断成熟，人脸识别技术的应用也正在逐步变大。人脸作为人体生物特征的一部分，具有独特性，可以用于身份确认，和指纹，虹膜等作为一种生物信息可以应用于信息安全领域。人脸识别技术作为图像处理的一部分，也广泛应用于相机，图像处理软件。此外，现在利用手势，人脸检测等作为输入，也广泛应用在游戏等娱乐领域。人脸检测作为输入，使得游戏的交互性更加有趣和自然。

近几年来，开始存在将人脸识别技术应用于传媒领域的趋势。和常见的平面传媒相比，利用人脸识别技术实现动态交互式传媒，使得传媒定位更加精准，产品投放更加有针对性，效果更加明显。

发明内容

本申请所要解决的技术问题是提供一种能够通过识别人脸信息，检索并获取该信息对应关联信息的设备和方法，从而为用户提供更好的使用体验，提高传媒的推广效率。该设备提供了一种全新的人机交互方式。用户只需要站在该设备前，该设备便通过捕捉到的该用户的脸部信息，返回一些用户所希望知道和其脸部信息相关联的特制信息。

本申请涉及的基于人脸识别的关联信息推送设备，包括摄像装置，显示屏和处理器，所述处理器进一步包括人脸识别单元和关联信息检索单元；所述摄像装置用于获取图像信息，并将所述图像信息发送至所述人脸识别单元；

所述人脸识别单元通过检测所述摄像装置输出的图像信息，识别出至少一个人脸信息及其属性值，并将识别出的人脸信息及其属性值发送至所述关联信息检索单元；

所述关联信息检索单元通过检索并获取该属性值对应的关联信息，并将所述关联信息发送至显示屏上显示。

在一个优选实施例中，所述人脸识别单元包括：

收集标注单元，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；

检测对齐单元，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸；

编码单元，用于对类别中具有顺序的属性进行编码；

神经网络构造单元，用于构造一个深度神经网络；

神经网络训练单元，用于利用收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型；

人脸属性识别单元，用于利用神经网络训练单元中的神经网络模型，预测图片中的人脸信息及属性值。

另一个优选实施例中，所述人脸识别单元包括：

计算单元，用于计算金字塔特征层数和缩放比例，根据欲识别图像尺寸以及基于人脸模型训练得到的缩放最小宽高参数，计算金字塔特征层数n_scales以及缩放比例S，所述缩放比例需确保缩放区域的面积最大化；

提取单元，用于提取金字塔特征层的人脸分类所依据的特征数据，将金字塔特征层划分为完全提取层和近似提取层，分别进行完全提取和近似提取，得到每一层人脸分类所依据的特征数据；

所述完全提取是基于当前得到的缩放比例，从欲识别图像中获取缩放后的图像，并以获取的缩放图像为输入，根据人脸模型计算人脸分类所依据的特征数据；

所述近似提取是缩放从完全提取层得到的人脸分类所依据的特征数据；

分类单元，分类金字塔特征层的人脸分类所依据的特征数据，对每一层的金字塔特征数据应用分类算法进行分类，所述金字塔特征数据包括完全提取层数据和近似提取层数据；

人脸识别结果单元：合并分类提取数据单元中每层的分类结果，得到最终的人脸信息及其属性值。

本申请涉及的基于人脸识别的关联信息推送方法，包括以下步骤；

步骤S1：获取图像信息；

步骤S2：检测所述图像信息，判断是否存在人脸信息，如果存在，则进一步识别至少一个人脸信息以及属性值，如果不存在，则等待下一次输入；

步骤S3：检索并获取步骤S2中人脸信息及属性值对应的关联信息。

优选的，该方法进一步包括：

步骤S4：显示步骤S3中获得的关联信息。

在一个优选实施例中，所述识别人脸信息以及属性值进一步包括：

S21：收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；

S22：检测人脸，以及人脸关键点，通过多个关键点对齐人脸；

S23：对类别中具有顺序的属性进行编码；

S24：构造一个深度神经网络；

S25：利用步骤S21形成的训练数据集合，训练步骤S24中设计的深度神经网络，并部署训练得到的神经网络模型；

S26：利用步骤S25中的神经网络模型，预测图片中的人脸信息及其属性值。

在另一个优选的实施例中，所述识别人脸信息以及属性值进一步包括：

S21、计算金字塔特征层数和缩放比例，根据欲识别图像尺寸以及基于人脸模型训练得到的缩放最小宽高参数，计算金字塔特征层数n_scales以及缩放比例S，所述缩放比例需确保缩放区域的面积最大化；

S22、提取金字塔特征层的人脸分类所依据的特征数据，将所述金字塔特征层划分为完全提取层和近似提取层，分别进行完全提取和近似提取，得到每一层人脸分类所依据的特征数据；

S23、分类金字塔特征层的人脸分类所依据的特征数据，对每一层的金字塔特征数据应用分类算法进行分类，所述金字塔特征数据包括完全提取层数据和近似提取层数据；

S24、得到人脸信息及其属性值，合并每层的分类结果，得到人脸信息及其属性值。

优选的，在所述步骤S21之前，还包括：S20、图像预处理，将欲识别图像的颜色空间、行列格式转换到人脸模型要求的颜色空间、行列格式。

优选的，所述方法还包括：S25、将得到的人脸信息及其属性值，在对应的图像区域建立对应关系。

本申请通过使用嵌入式***中基于DSP的快速高效的人脸识别算法，获取用户的独特的人脸信息和其属性值，并且能够通过该人脸信息及其属性值，搜索内部和外部资源，寻找到和上述属性值最关联的产品或服务信息，将其显示于用户所见的屏幕上，很好的实现了人机交互体验，并且使得产品和服务的推送更精准更具有针对性和个人特色。

附图说明

图1是基于人脸识别的关联信息推送设备的整体框架图；

图2是人脸识别单元基于深度算法的功能结构图；

图3是人脸识别单元基于金字塔算法的功能结构图；

图4是基于人脸识别的关联信息推送设备的实体图；

图5是深度神经网络的结构示意图；

图6是基于人脸识别的关联信息推送方法的流程图。

具体实施方式

在一个实施例中，本发明公开了：基于人脸识别的关联信息推送设备。

下面将结合附图1-5对本申请作进一步详细的描述。

如图1和4所示，该基于人脸识别的关联信息推送设备1，由外部2和机身3两部分组成，其中外部2包括外壳21，摄像装置22，显示屏23，机身3内设有处理器31，存储器32，数据传输装置33和电源34等。所述关联信息推送设备1可以悬挂于墙面或通过底座放置于地面。外壳21底部有供电源电路输入的开口。显示屏23可以为一般液晶显示屏，也可以是其他常见的显示器，如CRT显示器，电浆显示器，或者是常见的触摸显示屏，如电阻式触摸屏，电容感应式触摸屏，红外线触摸屏或表面声波式触摸屏。如果显示屏23为触摸显示屏，则除了显示图像和处理器31输出的信息外，还可以接收来自外界的触摸输入或手势控制，从而实现人机交互。

摄像装置22可设于外部2的顶端中间或者其他方便获取显示屏23前方出现的图像的位置，该摄像装置22可以为一个或者多个摄像头，该摄像装置将获取的图像信息或视频信息发送给处理器31。

处理器31包括计算单元311，人脸识别单元312，关联信息检索单元313。存储器包括人脸数据库321和关联信息存储单元322。其中摄像装置22将实时获取的显示屏23前方环境中的图像序列或视频流信息，发送给处理器31的人脸识别单元312。

该单元检测输入的图像序列或视频流，判断是否存在人脸信息，如果存在，则进一步进行人脸信息及其人脸属性的识别，如果不存在，则等待下一次输入。所述人脸信息及其属性值，可以是至少一个，也可以是多个，取决于图像处理能力以及究竟存在几个人。

此外，设备也可以是除了上述外部2和机身3之外的其他结构形式，例如固定或安装在不同位置或区域的不同部件所组成的设备，只要有利于实现关联信息的推送和与用户的交互。

在对图像序列或视频流进行检测时，可以对接收的所有图像进行检测，也可以优选的对图像进行检测。当所述图像序列为单帧时，该图像本身为关键帧；所述图像序列为多帧时，从该序列中挑选质量好的N帧作为关键帧。其中，质量的判断可以通过对人脸图片清晰度、大小、真实人脸、遮挡、光照等等指标进行打分，选取得分高的前N帧作为关键帧。如果输入为视频流，则优选的，每隔6帧进行一次人脸检测。优选的，对视频流经解码处理，获取4：2：0的YUV数据并在格式化后在存储器上存储。

在对图像进行检测时，人脸识别单元312将提取图像中的人脸位置、人脸关键点，以及人脸属性值等信息，所述人脸关键点可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息，人脸属性值包括用户性别、年龄、是否戴眼镜、帽子、口罩，表情等外观属性。本发明中的关联信息可以与性别、年龄、是否戴眼镜、帽子、口罩，表情等外观属性具有一对一、多对多、多对一的映射关系；也可以进一步通过一个或多个阈值或阈值的序列调节映射关系。人脸识别单元312将提取出的人脸及其属性值等信息发送到关联信息检索单元313中，并将提取的人脸及人脸属性值信息发送到显示屏23上显示，以及存储器的人脸数据库321中保存。

特别地，在另外的实施例中，关联信息发送到显示屏显示时，显示所述关联信息时，也同时显示所述图像信息中的原始人脸或美化处理后的人脸，并将人脸显示区域设置于关联信息显示区域中。关联信息可以与人脸分别显示在不同的区域，此处人脸可以是摄像头原始捕获的人脸图像，也可以是经过美化处理或图像标识处理或其他处理方式处理后的人脸图像。显示时：显示人脸的区域，与显示关联信息的区域可以是孤立的、彼此不连通的；或，显示人脸的区域，位于显示关联信息的区域中，人脸被关联信息所包围——其中，前者有利于显示多种不同的关联信息，后者则更能凸显人脸处于关联信息中，有利于视觉上的聚焦。

该人脸识别单元312可以是本领域公知的人脸识别和检测装置，例如基于传统机器学习的人脸识别装置，或者基于深度学习的人脸识别装置。

参见附图2所示，在一个优选的实施例中，该人脸识别单元312是一个基于深度学习和多任务学习的人脸识别单元。该单元具体包括：

1)收集标注单元3120a，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合。

人脸属性的类别由局部属性和全局属性组成。局部属性包括但不限于头发颜色，头发长短，眉毛长短，眉毛浓密或者稀疏，眼睛大小，眼睛睁开或者闭着，鼻梁高低，嘴巴大小，嘴巴张开或者闭着,是否佩戴眼镜，是否佩戴墨镜，是否戴口罩等。全局属性包括但不限于人种，性别，年龄，颜值，表情等。

针对收集的人脸图片，人工标注其对应的属性，并根据属性对应的类别形成一个训练数据集合。

2)检测对齐单元3121a，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸。

所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。

利用AdaBoost分类器(自适应增强分类器)或者传统深度学习的人脸检测算法检测人脸。不同人脸照片，具有不同的姿态。每张人脸首先检测其关键点，根据其关键点，计算一个该人脸到标准人脸的仿射或者相似变换，把该人脸与标准人脸对齐。

3)编码单元3122a，用于对类别中具有顺序的属性进行编码。

以年龄属性举例说明编码方式，对于年龄a,其编码为以下几种形式之一或者其组合。

(1)编码为x1x2…xi…，其中xi为二值的数值，如果i小于等于a，则xi为1，如果i大于a，则xi为0。

(2)编码为x1x2…xi…，其中xi为二值的数值，如果i等于a除以k，则xi为1，否则，xi为0。其中k可以为任何正整数，可以人工定义或者随机选取。

该编码方式可用于任何一属性，以具有顺序的属性为佳。

4)神经网络构造单元3123a，用于构造一个深度神经网络，其前端可以是任何多个卷积层(convolutionallayer)，池化层(poolinglayer)和非线性层(non-linearlayer)的组合,其后端是softmax,crossentropy等损耗层。

该深度神经网络的结构如附图5所示。

A为输入层，该层主要读入人脸图片，属性类别及属性类别的编码，该层通过对人脸图片进行预处理，输出对齐的人脸图片，属性类别或者其编码。A层输入层将经过预处理的人脸图片输出到B层卷积层。同时A层输入层将经过预处理的属性类别和/或其编码输入到G层损耗层。

B层为卷积层，其输入是经过预处理的图像或者图像特征，通过一线性变换输出新的特征。其输出的特征为C非线性层的输入。

C层为非线性层，其通过非线性函数，对输入的特征进行非线性的变换，使得其输出的特征有较强的表达能力。非线性层C的输出特征为池化层D的输入。

D为池化层(Poolinglayer),池化层可以将多个数值映射到一个数值。该层不但可以进一步加强学***移不变性，即人脸平移，提取的特征保持不变。池化层D的输出特征可以再次作为为卷积层B的输入或者全连接层E的输入。

如附图5所示，B,C,D层外面的大框表示B,C,D层可以重复一次或者多次，即卷积层B，非线性层C和池化层D组合可以重复一次或多次，每一次池化层的输出可以作为卷积层B的再次输入。B，C，D三层的多次组合，可以更好的处理输入的图片，使其特征具有最佳的表达能力。

E为全连接层，它对其输入做一个线性变换，把学习得到的特征投影到一个更好的子空间以利于属性预测。全连接层E的输出特征做为非线性层F的输入。

F为非线性层，与非线性层C的功能一样，对输入的特征进行非线性变换。其输入特征可以为损耗层G的输入或者全连接层E的输入。

如附图5所示，全连接层E和非线性层F外面的大框，表示层E和层F可以重复一次或者多次。

G为一个或者多个损耗层，负责计算预测的属性类别或者其编码与输入的属性类别或者其编码的误差。

总体而言，输入层A负责简单处理输入。卷积层B,非线性层C和池化层D的组合负责图片的特征提取。全连接层E和非线性层F是特征到属性类别或者其编码的映射。损耗层G负责计算预测误差。通过上述深度神经网络的多层设计保证提取的特征具有丰富的表达能力，而从更好的预测属性。同时，多个属性类别和编码同时连接损耗层G，确保多个任务同时学习，共享深度网络学到的特征。

5)神经网络训练单元3124a，用于通过收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型。

通过向后传递的梯度下降的算法，训练得到神经网络构造单元中的深度网络参数。替换输入层A使得其只输入图片；替换损耗层G，使得其只输入特征和人脸属性。从而得到一个输入人脸图片，同时输出人脸多个属性的深度神经网络模型。

6)人脸属性识别单元3125a，用于通过神经网络训练单元中的神经网络模型，识别图片中的人脸信息及其属性值。

参见附图4所示，在另一个优选实施例中，该人脸识别单元312是一种嵌入式***中基于DSP的人脸识别单元，该单元具体包括：

计算单元3121b，用于计算金字塔特征层数和缩放比例，具体的根据欲识别图像尺寸以及基于人脸模型训练得到的缩放最小宽高参数，计算金字塔特征层数n_scales以及缩放比例S，所述缩放比例需确保缩放区域的面积最大化；

优选的，金字塔特征层数n_scales的计算公式为：

n_scales＝num×(log(ratio)/log(2.0)+1)

式中：num指基于人脸模型训练得到的金字塔特征层数，主要用于根据图像大小进行图像缩放次数的确定，即一个确定金字塔特征层数的变量；其中：

ratio＝min(w/min_w,h/min_h)

式中：min_w指所述人脸模型里最小图像宽度，min_h指所述人脸模型中最小图像高度；w指：欲识别图像的宽度，h指：欲识别图像的高度。

提取单元3122b，用于提取金字塔特征层的人脸分类所依据的特征数据：将金字塔特征层划分为完全提取层和近似提取层，分别进行完全提取和近似提取，得到每一层人脸分类所依据的特征数据；

优选的，所述完全提取包括：

S201：基于前一步计算得到的缩放系数，从欲识别图像中获取缩放后的图像；

S202：以S201得到图像为输入，根据人脸模型计算人脸分类所依据的特征数据。

不论完全提取采用什么方式，所述近似提取均是在完全提取的结果基础上进行进一步地操作。

在一个优选的实施例中，提供了一种近似提取的操作方式：即：所述近似提取在完全提取层的基础上，计算λ层的近似提取数据，即若完全提取层在第N层，则近似提取是计算N+1～N+λ层上的近似提取数据；其中，λ为人脸模型的加速比参数，是将金字塔层数分为完全提取层和近似提取层两大类的划分标准。所述近似提取的目的为加速整个金字塔特征数据的提取过程，降低总的数据运算量。

更进一步地，所述缩放比例S的计算公式为：

S＝(S_a/S_r)-β_j

式中：S_a、S_r分别为近似提取层、从完全提取层得到的相对于原始图像尺寸的缩放比例；β_j为第j种用于人脸分类所依据的特征类型参数，β_j的值与具体的人脸分类所依据的特征数据的类型有关。

在上述完全提取和近似提取中都提及了人脸分类所依据的特征数据，该数据的内容为：所述人脸分类所依据的特征数据包括颜色通道、梯度幅值以及梯度直方图中的一种或多种组合。

在完全提取中，可以选取任意几个上述三种特征值进行计算，即可选1～3种计算。选取的越多，则检测结果越精确。比如，在一个实施例中，选取人脸分类所依据的特征包括颜色通道、梯度幅值以及梯度直方图，则β_j作为人脸模型的参数，j的取值范围为0,1,2。若计算选择计算颜色通道和梯度幅值，则取0,1；若全选则取0,1,2。然而在计算中，近似提取的计算个数需要与完全提取保持一致。至于在计算中，选取具体特征类型和特征个数的原则是基于检测精度与检测时间的权衡，这两者成反比。

分类单元3123b，分类金字塔特征层的人脸分类所依据的特征数据：对每一层的金字塔特征数据应用分类算法进行分类；所述金字塔特征数据包括完全提取层数据和近似提取层数据；

在一个优选的实施方式中，所述分类基于决策树的AdaBoost分类算法，通过五层的满二叉树结构实现滑动窗的人脸模型匹配，得到满足阈值条件的匹配结果。

这里的层数是根据训练模型结果确定的最优解；用于匹配的人脸模型是已经训练好的模型。所述匹配结果可以用分数来体现，比如所述二叉树中每个节点都有相应的分数，当欲检测图像与某个节点匹配到了，则该欲检测图像的分数增加该节点上的分数，匹配不到则分数不变。当与每个节点都匹配完之后，通过最后得分的高低来表示匹配度的高低。其中，每个节点的分数可以事先人为指定，但优选的方式是通过建立相应模型来训练得到。

进一步地，所述二叉树中每个节点的分数由训练得到。

进一步优选的，匹配结果以打分形式出现，并且在合并分类提取之前，先对窗口位置、得分、面积信息进行取舍判断。即：在人脸识别结果单元3124进行合并每层的分类结之前，还包括对每层的分类结果按照窗口位置、得分、面积信息进行取舍判断，即：如果窗口位置、得分、面积信息的值低于人脸的判断阈值，则舍去；其中：所述合并包括：人脸在同一个位置则进行合并；所述阈值包括人脸模型中设置的参数。通过这个装置实施例中的处理，得到最终的人脸信息及其属性值R。R的表征方式为：

R＝{n,[(x,y),(w,h),angle,score][...]}其中，n为检测到的人脸数量，后续[]中内容代表每一个检测到的人脸信息，包括相对于图像左上角顶点的坐标位置(x,y)，人脸所在区域面积对应的宽和高(w,h)，人脸角度angle以及检测打分结果score。

人脸识别结果单元3124b：合并分类提取数据单元中每层的分类结果，得到人脸信息及其属性值。

该人脸信息及其属性值包括人脸信息，人脸关键点信息以及人脸属性值。该人脸识别单元312通过在快速多尺度金字塔特征数据提取的基础上进行结果分类，在保障检测准确度的前提下能够有效提高运算速度。在计算单元3121b中，为让每一层缩放后的图像更平滑，在计算缩放系数时需要进行微调使得各缩放图像尺寸之间平滑变化，并确保待缩放区域的最大化。在提取单元3122b中，为加速特征提取过程，降低总的数据运算量，将总的金字塔特征层数划分为完全提取和近似提取两大类，划分的标准为缩放比例S。在分类单元3123b中，得到多层人脸分类所依据的特征数据，为人脸识别结果单元3124b中得到准确的人脸信息及其属性值提供保证。在人脸识别结果单元3124b中，将每层中满足人脸模型中设置的参数阈值的、且在窗口同一位置的人脸进行合并。

可选的，该人脸识别单元312还包括一图像预处理单元3120b，对接收的图像序列或视频流进行图像预处理，使之符合图像处理格式要求的图像。

可选的，该人脸识别单元312还包括一人脸标识单元3125b：将得到的人脸信息及其属性值，在对应的图像区域建立对应关系。建立对应关系，可以是在对应的图像区域进行人脸信息及其属性值的标识，也可以是其他标识或表达的方式(包括但不限于存储该对应关系、或标识对应图像区域等)。

可选的，该人脸识别单元312还包括人脸模型建立单元3126b，用于建立和训练人脸模型。在该单元中可以使用包括基于神经网络的人脸检测算法、特征脸、基于样本学习方法或其它算法来建立和训练人脸模型。优选的，使用卷积神经网络方法来建立和训练人脸模型，不仅检测精度高，而且计算量低，从而使所述装置的人脸检测更加机敏。

关联信息检索单元313可以通过人脸识别单元312输入的人脸信息及其属性值，来寻找相关联的信息。优选的，关联信息检索单元313进一步包括内部资源检索单元3131和外部资源检索单元3132，其中内部资源检索单元3131用于在存储器32中关联信息存储单元322中检索与人脸信息和属性值相关联的信息，该信息可以是预先储存的关联信息，如属性值为眼镜，口罩，墨镜等，关联信息为同品牌或同款式的同类产品信息，或者属性值为男女等性别值时，关联信息为车、数码产品或者女士包，衣服等信息。关联信息存储单元322的信息也可以是关联信息检索单元313经过外部检索的结果。外部资源检索单元3132用于搜索来自外部资源的关联信息，例如搜索来自internet，或者局域网的信息。该搜索方法可以是通过提取属性值里的关键字，也可以是图片搜索等常见搜索方式。该外部资源检索单元获得的外部信息，可以保存在存储器32中的关联信息存储单元322中。所述关联信息不仅可以是产品的信息，也可以是服务的信息，例如美容、美发、口腔、按摩、桑拿、健身等服务。本发明基于人脸的识别可以进一步识别其头发、面部、是否露出的牙齿涉及口腔改善可能，以及更进一步的体形轮廓的具体情形一定程度的关联到按摩、桑拿、健身等服务。

在一个具体的实施方式中，人脸识别单元312检测出站在显示屏前用户的脸部信息，并发现其佩戴眼镜这个属性值，搜索其他同品牌或者同类型或者同款式的眼镜信息，并且将该信息发送至显示屏23上显示。在另一个具体的实施方式中，如果人脸识别单元312检测出显示屏23前的用户为年轻女士，则该关联信息检索单元313可以通过网络或已经存储的信息来获取当日商场的促销活动信息，发送到显示屏23上显示。

在另一个具体的实施方式中：

所述关联信息存储单元322还用于存储：关联信息检索单元检索并获取到的、与该人脸信息及其属性值对应的关联信息，以作为该人脸信息及其属性值对应的历史关联信息；

内部资源检索单元3131，还用于：基于所述历史关联信息，在所述关联信息存储单元中检索与该人脸信息及其属性值对应的关联信息；

外部资源检索单元3132，还用于：基于所述历史关联信息，搜索来自外部资源的与该人脸信息及其属性值对应的关联信息。

也就是说，历史关联信息，能够用于现在甚至未来的关联信息的检索。

更具体的，如果识别到摄像头的作用范围内的当前人脸包括张三：

(1)一种情形是，对于张三的前次人脸信息及其属性值，当时曾经检索到的关联信息是A品牌的眼镜：

如果当前张三佩戴的是疑似A品牌的眼镜，则可以将A品牌的新款眼镜和/或将与A品牌定位类似或款式类似的眼镜作为当前的关联信息(之一或最优先选择)，并在眼镜类别中调高A品牌的眼镜的优先级；进一步的，还可以将与A品牌的眼镜搭配的其他服装、饰品作为当前的关联信息之一；

如果当前张三佩戴的是疑似B品牌的眼镜，则可以将B品牌的新款眼镜和/或将与B品牌定位类似或款式类似的眼镜作为当前的关联信息(之一或最优先选择)，并在眼镜类别中调低A品牌的眼镜的优先级；进一步的，还可以将与B品牌的眼镜搭配的其他服装、饰品作为当前的关联信息之一；

(2)另一种情形是，存在与张三的性别吻合，且年龄，和/或形象，和/或气质相仿的人脸信息及其属性值，特别是与一个或多个名人有关的(这可以是预先存储在***中的，并可以作为历史关联信息的一部分)：

如果当前张三佩戴有眼镜，则可以将所述一个或多个名人有关的眼镜作为当前的关联信息(之一或最优先选择)；进一步的，还可以将该一个或多个名人有关的其他服装、饰品作为当前的关联信息之一。

上述各情形中，如果能够获取到的历史消费记录中对应的服务消费，则也可以将张三或其他名人所已经消费过的、满足一定消费次数的服务对应到历史关联信息。

数据传输装置33提供接口，与其他外接设备进行数据传输。该装置33可以通过无线和有线两种方式与外接设备通信，其中外接设备可以但不限于键盘，鼠标，显示器，打印机，USB装置，移动设备等。在一个具体的实施方式中，该外接设备为手机，通过数据传输装置33，该手机可以和关联信息推送装置1无线或有线连接通信。该关联信息推送装置通过获取手机用户的人脸信息，检索到该人脸信息的关联信息，如用户感兴趣的商场促销活动，或所佩戴饰品的类似商品推荐，或餐饮推荐的信息，并将该信息以短信，或彩信，或添加微信公众号等方式，发送给手机用户。

在另一实施例中，本发明公开了：基于人脸识别的关联信息推送方法。

下面将结合附图1-6对本申请中基于人脸识别的关联信息推送方法作进一步详细的描述。

如图6流程图所示，该方法的步骤如下：

步骤S1：获取图像信息。通过摄像装置22获取关联信息推送装置1前的图像信息，该图像信息可以是图像序列或者视频流。

步骤S2：检测所述图像信息，判断是否存在人脸信息，如果存在，则进一步识别人脸以及人脸属性，如果不存在，则等待下一次输入。

在对摄像装置22获取的图像序列或视频流进行检测时，可以对接收的所有图像进行检测，也可以优选的对图像进行检测。当所述图像序列为单帧时，该图像本身为关键帧；所述图像序列为多帧时，从该序列中挑选质量好的N帧作为关键帧。其中，质量的判断可以通过对人脸图片清晰度、大小、真实人脸、遮挡、光照等等指标进行打分，选取得分高的前N帧作为关键帧。如果输入为视频流，则优选的，每隔6帧进行一次人脸检测。优选的，对视频流经解码处理，获取4：2：0的YUV数据并在格式化后在存储器上存储。在对图像进行检测时，可以提取图像中的人脸位置、人脸关键点，以及人脸属性值等信息，所述人脸关键点可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息，人脸属性值包括用户性别、年龄、是否戴眼镜、帽子、口罩，表情等外观属性。

在进行人脸及属性值识别时，可以采用本领域内公知的基于传统机器学习的人脸及属性值识别方法，或者基于深度学习的人脸及属性值识别方法。

在一个优选的实施例中，该人脸及属性值的识别方法是一种基于深度学习和多任务学习的人脸检测方法，具体步骤如下：

步骤S21a：收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合。

步骤S22a:检测人脸，以及人脸关键点，通过多个关键点对齐人脸。

步骤S23a:对类别中具有顺序的属性进行编码。

该编码方式可用于任何一属性，以具有顺序的属性为佳。

步骤S24a:构造一个深度神经网络，其前端可以是任何多个卷积层(convolutionallayer)，池化层(poolinglayer)和非线性层(non-linearlayer)的组合,其后端是softmax,crossentropy等损耗层。

该深度神经网络的结构如附图5所示。

步骤S25a：利用步骤S21a形成的训练数据集合，训练步骤S24a中设计的深度神经网络，并部署训练得到的神经网络模型。

通过向后传递的梯度下降的算法，训练得到步骤S4中设计的深度网络参数。替换输入层A使得其只输入图片；替换损耗层G，使得其只输入特征和人脸属性。从而得到一个输入人脸图片，同时输出人脸多个属性的深度神经网络模型。

步骤S26a，利用步骤S25a中的深度神经网络模型，预测图片中的人脸属性。

在另一个优选的实施方式中，该人脸及属性值的识别方法是基于嵌入式***DSP的人脸检测方法，具体步骤如下：

S21b、计算金字塔特征层数和缩放比例：根据欲识别图像尺寸以及基于人脸模型训练得到的缩放最小宽高参数，计算金字塔特征层数n_scales以及缩放比例S，所述缩放比例需确保缩放区域的面积最大化；

优选的，所述金字塔特征层数n_scales的计算公式为：

n_scales＝num×(log(ratio)/log(2.0)+1)

ratio＝min(w/min_w,h/min_h)

S22b、提取金字塔特征层的人脸分类所依据的特征数据：将所述金字塔特征层划分为完全提取层和近似提取层，分别进行完全提取和近似提取，得到每一层人脸分类所依据的特征数据；

优选的，所述完全提取包括下述子步骤：

S221：基于前一步计算得到的缩放系数，从欲识别图像中获取缩放后的图像；

S222：以S221得到图像为输入，根据人脸模型计算人脸分类所依据的特征数据。

不论完全提取采用什么方式，所述近似提取均是在完全提取的结果基础上进行进一步地操作。在一个实施例中，提供了一种近似提取的操作方式：即：所述近似提取在最新得到的完全提取层的基础上，计算λ层近似提取数据，即若完全提取层在第N层，则近似提取是计算N+1～N+λ层上的近似提取数据；其中，λ为人脸模型的加速比参数，是将金字塔层数分为完全提取层和近似提取层两大类的划分标准。

所述近似提取的目的为加速整个金字塔特征数据的提取过程，降低总的数据运算量。

更进一步地，所述缩放比例S的计算公式为：

S＝(S_a/S_r)-β_j

式中：S_a、S_r分别为近似提取层、从完全提取层得到的相对于原始图像尺寸的缩放比例；β_j为第j种人脸分类所依据的特征类型参数，β_j的值与具体的人脸分类所依据的特征数据的类型有关。

在上述完全提取和近似提取中都提及了人脸分类所依据的特征数据，在一个方法实施例中详细提供了该数据的内容，即：所述人脸分类所依据的特征数据包括颜色通道、梯度幅值以及梯度直方图中的一种或多种组合。

在完全提取中，可以选取任意几个上述三种特征值进行计算，即可选1～3种计算。选取的越多，则检测结果越精确。比如，在一个实施例中，选取人脸分类所依据的特征包括颜色通道、梯度幅值以及梯度直方图，则β_j作为人脸模型的参数，j的取值范围为0,1,2。若计算选择颜色通道和梯度幅值，则取0,1；若全选则取0,1,2。然而在计算中，近似提取的计算个数需要与完全提取保持一致。至于在计算中，选取具体特征类型和特征个数的原则是基于检测精度与检测时间的权衡，这两者成反比。

S23b、分类金字塔特征层的人脸分类所依据的特征数据：对每一层的金字塔特征数据应用分类算法进行分类；所述金字塔特征数据包括完全提取层数据和近似提取层数据；

优选的，所述S23中的分类算法利用基于决策树的AdaBoost分类算法，通过五层的满二叉树结构实现滑动窗的人脸模型匹配，得到满足阈值条件的匹配结果。

S24b、得到人脸信息及其属性值：合并每层的分类结果，得到人脸信息及其属性值。

该人脸信息及其属性值包括人脸信息，人脸关键点信息以及人脸属性值。在一个优选实施例中，使用了基于决策树的AdaBoost分类算法，通过五层的满二叉树结构实现滑动窗的人脸模型匹配，得到满足阈值条件的匹配结果，所述匹配结果以打分形式出现，并且在所述步骤S24之前，先对窗口位置、得分、面积信息进行取舍判断。即：在进行合并每层的分类结果之前，所述步骤S24还包括对每层的分类结果按照窗口位置、得分、面积信息进行取舍判断，即：如果窗口位置、得分、面积信息的值低于人脸的判断阈值，则舍去；合并即人脸在同一个位置则进行合并；所述阈值为人脸模型中设置的参数。通过这个方法实施例中的处理，得到最终的人脸信息及其属性值R。R的表征方式为：

R＝{n,[(x,y),(w,h),angle,score][...]}

其中，n为检测到的人脸数量，后续[]中内容代表每一个检测到的人脸信息，包括相对于图像左上角顶点的坐标位置(x,y)，人脸所在区域面积对应的宽和高(w,h)，人脸角度angle以及检测打分结果score。

所述方法在快速多尺度金字塔特征数据提取的基础上进行分类，在保障检测准确度的前提下能够有效降低了计算量。在步骤S21b中，为让每一层缩放后的图像更平滑，在计算缩放系数时需要进行微调使得各缩放图像尺寸之间平滑变化，并确保待缩放区域的最大化。在步骤S22b中，为加速特征提取过程，降低总的数据运算量，将总的金字塔特征层数划分为完全提取和近似提取两大类，划分的标准为缩放比例S。在步骤S23b中，得到多层人脸分类所依据的特征数据，为步骤S24b中得到准确的人脸信息及其属性值提供保证。在步骤23b中，将每层中满足人脸模型中设置的参数阈值的、且在窗口同一位置的人脸进行合并。

在一个方法实施例中在进行人脸图像检测之前，将欲识别图像进行了图像预处理，即：在所述步骤S21b之前，还包括：

S20b、图像预处理：进行欲识别图像的颜色空间、行列格式转换到人脸模型要求的颜色空间、行列格式。

可选的，在图像预处理之前，建立人脸模型。对于人脸模型的建立方法包括基于神经网络的人脸检测算法、特征脸、基于样本学习方法或其它算法。优选的，使用卷积神经网络方法来建立和训练人脸模型，该算法不仅检测精度高，而且计算量低，能够使得人脸检测快速有效。

可选的，所述人脸模型的格式要求包括：欲识别图像的颜色空间以及行列格式需要和人脸模型要求的颜色空间及行列格式一致。其中，可选颜色空间有gray、rgb、hsv或luv等。图像的存储格式为按列存储。

步骤S3：检索并获取步骤S2中人脸及其属性值对应的关联信息。关联信息检索单元314通过获得的人脸及其属性值，来寻找该属性值关联的信息。在一个具体的实施方式中，属性值为佩戴眼镜，关联信息检索单元可以通过关联信息存储单元323存储的已有信息，或者通过连接internet，局域网等网络，获取其他同品牌或者同类型或者同款式的眼镜信息，并且将该信息显示在显示屏23上。在另一个具体的实施方式中，属性值为女士，则该关联信息检索单元可以通过网络或已经存储的信息来获取当日商场的促销活动信息，发送到显示屏23上显示。

步骤S4：显示该关联信息。显示屏23可以获得关联信息检索单元314发送的关联信息，并将该信息显示在人脸信息的下方。在一个具体的实施方式中，该关联信息可以为商场活动信息，或者根据获得的用户属性值，如表情，推荐的商品信息，或者用户所在位置的地图等。

可选的，所述方法还进一步包括：

步骤S5：建立历史关联信息，所述历史关联信息是所述步骤S3检索并获取到的、与所述人脸信息及其属性值对应的关联信息；

步骤S6：基于所述历史关联信息，检索并获取人脸信息及其属性值对应的关联信息。

如前所述，利用历史关联信息，能够获得对当前、后续的人脸信息及其属性值的关联信息的更精准的表达和对应。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；

同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims

1.一种基于人脸识别的关联信息推送设备，该设备包括摄像装置，显示屏和处理器，其特征在于：

所述处理器进一步包括人脸识别单元和关联信息检索单元；

所述摄像装置用于获取图像信息，并将所述图像信息发送至所述人脸识别单元；

所述人脸识别单元通过检测所述摄像装置输出的图像信息，识别出至少一个人脸信息及其属性值，并将识别出的该人脸信息及其属性值发送至所述关联信息检索单元；

所述关联信息检索单元通过检索并获取该人脸信息及其属性值对应的关联信息，并将所述关联信息发送至显示屏上显示。

2.根据权利要求1所述的设备，其特征在于，优选的，所述设备还进一步包括存储器。

3.根据权利要求2所述的设备，其特征在于，所述存储器还包括人脸数据库和关联信息存储单元；

其中人脸数据库用于给所述人脸识别单元提供和存储人脸信息及其属性值；

所述关联信息存储单元用于给所述关联信息检索单元提供和存储与所述人脸信息及其属性值对应的关联信息。

4.根据权利要求3所述的设备，其特征在于，所述关联信息检索单元进一步包括：

内部资源检索单元，用于在所述关联信息存储单元中检索与所述人脸信息及其属性值对应的关联信息；

外部资源检索单元，用于搜索来自外部资源的与所述人脸信息及其属性对应的关联信息。

5.根据权利要求4所述的设备，其特征在于：

所述关联信息存储单元还用于存储：关联信息检索单元检索并获取到的、与该人脸信息及其属性值对应的关联信息，以作为该人脸信息及其属性值对应的历史关联信息；

内部资源检索单元，还用于：基于所述历史关联信息，在所述关联信息存储单元中检索与该人脸信息及其属性值对应的关联信息；

外部资源检索单元，还用于：基于所述历史关联信息，搜索来自外部资源的与该人脸信息及其属性值对应的关联信息。

6.根据权利要求1所述的设备，其特征在于，所述设备还进一步包括数据传输装置，所述数据传输装置用于通过无线和有线两种方式与外接设备通信，其中外接设备包括键盘，鼠标，显示器，打印机，USB装置，移动通信设备。

7.根据权利要求1-6任一所述的设备，其特征在于，所述人脸识别单元包括：

编码单元，用于对类别中具有顺序的属性进行编码；

神经网络构造单元，用于构造一个深度神经网络；

8.根据权利要求7所述的设备，其特征在于，神经网络构造单元的深度神经网络依次包括：

输入层，卷积层，非线性层，池化层，全连接层，非线性层，损耗层。

9.根据权利要求8所述的设备，其特征在于，

所述输入层用于读入人脸图片，属性类别及属性类别的编码，对人脸图片进行预处理，输出对齐的人脸图片，属性类别或者其编码，将经过预处理的人脸图片输出到第一个卷积层，并将经过预处理的属性类别和/或其编码输入到第一个损耗层；

所述卷积层，非线性层和池化层的组合对预处理过的图片进行特征提取；

所述全连接层E和非线性层F将提取的图片特征映射到属性类别和/或其编码；

所述损耗层负责计算预测误差。

10.根据权利要求8或9所述的设备，其特征在于，

卷积层、非线性层和池化层可以重复一次或者多次，在多次情况下，池化层的输出连接下一个卷积层的输入。

11.根据权利要求8或9所述的设备，其特征在于，

全连接层和非线性层可以重复一次或者多次，多次情况下，非线性层输出连接下一个全连接层的输入。

12.根据权利要求8或9所述的设备，其特征在于，损耗层可以为一个或者多个。

13.根据权利要求1-6任一所述的设备，其特征在于，所述人脸识别单元包括：

14.根据权利要求13所述的设备，其特征在于：

所述人脸识别单元还包括图像预处理单元，所述图像预处理单元用于进行欲识别图像的颜色空间、行列格式转换到人脸模型要求的颜色空间、行列格式的转换。

15.根据权利要求13所述的设备，其特征在于，所述金字塔特征层数n_scales的计算公式为：

n_scales＝num×(log(ratio)/log(2.0)+1)

式中：num指基于人脸模型训练得到的金字塔特征层数；

ratio＝min(w/min_w,h/min_h)，式中：

min_w指：所述人脸模型里最小图像宽度；

min_h指：所述人脸模型中最小图像高度；

w指：欲识别图像的宽度；

h指：欲识别图像的高度。

16.根据权利要求13所述的设备，其特征在于:

所述近似提取在完全提取层的基础上，计算λ层的近似提取数据，若完全提取层在第N层，则近似提取是计算N+1～N+λ层上的近似提取数据；其中，λ为人脸模型的加速比参数，是将金字塔层数分为完全提取层和近似提取层两大类的划分标准。

17.根据权利要求13所述的设备，其特征在于：

所述缩放比例S的计算公式为：

S = {(S_{a} / S_{r})}^{- β_{j}}

式中：S_a、S_r分别为近似提取层、从完全提取层得到的相对于原始图像尺寸的缩放比例；β_j为第j种用于人脸分类所依据的特征类型参数。

18.根据权利要求13至17任一所述的设备，其特征在于：

所述人脸分类所依据的特征数据包括颜色通道、梯度幅值以及梯度直方图中的一种或多种组合。

19.根据权利要求13所述的设备，其特征在于，所述分类算法是基于决策树的AdaBoost分类算法，通过五层的满二叉树结构实现滑动窗的人脸模型匹配，得到满足阈值条件的匹配结果。

20.根据权利要求13所述的设备，其特征在于，所述人脸识别单元还包括：

人脸标识单元：将得到的人脸信息及其属性值与对应的图像区域建立对应关系。

21.一种基于人脸识别的关联信息推送方法，该方法包括以下步骤；

步骤S1：获取图像信息；

步骤S3：检索并获取人脸信息及其属性值对应的关联信息。

22.根据权利要求21所述的方法，其特征在于，该方法进一步包括：

步骤S4：显示步骤S3中获得的关联信息。

23.根据权利要求21所述的方法，其特征在于，所述图像信息包括单张图像，或者图像序列或者视频流；所述属性值包括用户性别、年龄、是否戴眼镜、是否戴帽子、是否戴口罩，表情。

24.根据权利要求21所述的方法，其特征在于，所述方法进一步包括：

25.根据权利要求21所述的方法，其特征在于，所述识别人脸信息以及属性值进一步包括：

S23：对类别中具有顺序的属性进行编码；

S24：构造一个深度神经网络；

26.根据权利要求25所述的方法，其特征在于，步骤S24的深度神经网络依次包括：

27.根据权利要求26所述的方法，其特征在于，

所述输入层读入人脸图片，属性类别及属性类别的编码，对人脸图片进行预处理，输出对齐的人脸图片，属性类别或者其编码，将经过预处理的人脸图片输出到第一个卷积层，并将经过预处理的属性类别和/或其编码输入到第一个损耗层；

所述损耗层负责计算预测误差。

28.根据权利要求25至27任一所述的方法，其特征在于，卷积层、非线性层和池化层可以重复一次或者多次，在多次情况下，池化层的输出连接下一个卷积层的输入。

29.根据权利要求25至27任一所述的方法，其特征在于，全连接层和非线性层可以重复一次或者多次，多次情况下，非线性层输出连接下一个全连接层的输入。

30.根据权利要求25至27任一所述的方法，其特征在于，损耗层可以为一个或者多个。

31.根据权利要求21所述的方法，其特征在于，所述识别人脸信息以及属性值进一步包括：

32.根据权利要求31所述的方法，其特征在于：在所述步骤S21之前，还包括：

S20、图像预处理，将欲识别图像的颜色空间、行列格式转换到人脸模型要求的颜色空间、行列格式。

33.根据权利要求31所述的方法，其特征在于，所述金字塔特征层数n_scales的计算公式为：

n_scales＝num×(log(ratio)/log(2.0)+1)

式中：num指基于人脸模型训练得到的金字塔特征层数；

ratio＝min(w/min_w,h/min_h)，式中：

min_w指：所述人脸模型里最小图像宽度；

min_h指：所述人脸模型中最小图像高度；

w指：欲识别图像的宽度；

h指：欲识别图像的高度。

34.根据权利要求31所述的方法，其特征在于：

35.根据权利要求31所述的方法，其特征在于：

所述缩放比例S的计算公式为：

S = {(S_{a} / S_{r})}^{- β_{j}}

式中：S_a、S_r分别为近似提取层、从完全提取层得到的相对于原始图像尺寸的缩放比例；β_j为第j种人脸分类所依据的特征类型参数。

36.根据权利要求31至35任一所述的方法，其特征在于：

37.根据权利要求31所述的方法，其特征在于，所述S23步骤中分类算法利用基于决策树的AdaBoost分类算法，通过五层的满二叉树实现滑动窗的人脸模型匹配，得到满足阈值条件的匹配结果。

38.根据权利要求22所述的方法，其特征在于：显示所述关联信息时，也同时显示所述图像信息中的原始人脸或美化处理后的人脸，并将人脸显示区域设置于关联信息显示区域中。

39.根据权利要求31所述的方法，其特征在于，所述方法还包括：

S25、将得到的人脸信息及其属性值，在对应的图像区域建立对应关系。