CN102298709A - 复杂环境下多特征融合的节能型智能识别数字标牌 - Google Patents

Abstract

本发明涉及复杂环境下多特征融合的节能型智能识别数字标牌，利用视频图像中的运动目标对其进行运动区域标记，训练集通过人体检测器对筛选出来的运动区域标记进行运动人体检测得到运动人体实例，具体步骤是：a.人群特征提取；b.用分类器进行性别识别和年龄识别；c.智能广告投放；d.绿色环保。本发明的复杂环境下多特征融合的节能型智能识别数字标牌，能更加准确地识别人群所属年龄段及喜好，并且在无人时候自动进入休眠状态，做到绿色节能环保，还更加满足智能数字标牌市场对于高效、高性能和高可靠性解决方案的需求，为数字内容、交互活动、智能信息和生命周期管理提供更好的支持。

Description

复杂环境下多特征融合的节能型智能识别数字标牌

技术领域

本发明涉及人脸或指纹特征识别技术、图像或信息融合技术、视频处理技术等，特别涉及Haar-l ike特征以及EOH特征选择法、模糊聚类方法及人脸检测领域，尤其是一种复杂环境下多特征融合的节能型智能识别数字标牌。

背景技术

数字标牌(Digital Signage)是一种全新的媒体概念，是指在商场、机场及其他人流汇聚的公共场所，通过大屏幕终端显示设备，发布商业、财经或娱乐信息的多媒体专业视听***。作为传统户外广告的替代者，数字标牌所包含的信息量非常大，可以随时方便地更新，并且能够联网，这都是传统户外广告所无法比拟的。数字标牌不仅可以向公众发布多媒体广告信息、带来全新的商业创新价值，而且被认为是显示产业新成长的动力。

智能数字标牌通过技术(尤其是脸部识别)，能让广告商根据显示屏前不同的观众来发布广告。智能数字标牌的国内外研究现状如下：

2008年2月加拿大Congno Vision公司在美国拉斯维加斯举行的“DigitalSignage Expo”上展示了这一新型技术：在显示屏上配备摄像头，读取观众的脸部，再利用该公司开发的专用软件进行分析。通过该技术，可识别出观众的性别和年龄段。例如，若识别出观众是20多岁的女性，就会显示适合她的广告。

2010年1月，英特尔在美国零售业联盟展会上展出了一个7英尺6英寸的多用户、多触点的英特尔智能数字标牌概念验证(POC)***；同年5月，英特尔与微软联手推出了基于英特尔酷睿处理器和微软最新版Windows嵌入式操作***的数字标牌平台技术，将支持解决方案提供商更快速地构建更加可靠的数字标牌网络。

在2010年5月举行的第13届嵌入***技术开发展上，英特尔日本公司展示了附带数字标牌的自动售货机，其内置摄像头模块可根据影像来识别有无使用者、使用者的性别和年龄层等等。机器前部配备了带有触摸功能的大屏液晶显示器，可根据使用者的性别和年龄层显示推荐商品。与此同时，NEC电子公司也发布了一种针对数字标牌的观众特征识别判定程序，数字用户可借助它对头发颜色和听力特征的识别来判定观众所属的年龄阶段，其误差基本不超过10岁。商家可借此针对不同的观众来调整显示的数字内容。

2010年7月，日本11家地铁公司联合推出了“数字化号牌推广计划”，在东京周边的地铁站中安装了27台具备人脸识别能力的广告显示器，其中安装有摄像头和人脸识别软件，可自动识别经过广告牌的旅客的性别和年龄，并播放相应内容。项目发言人介绍，只要旅客从广告牌前路过、并往屏幕的方向看一秒钟，这些显示器便可识别出旅客的性别和大致年龄。

2010年6月在第二届上海国际数字标牌及触摸查询技术展示会上，三星电子大中华区经理隋大鹏指出：该公司的数字标牌***正在融入更多的新技术，通过脸部跟踪及识别技术完成对受众群人数、性别、年龄区间等信息的采集和统计，并可据此调整播放策略。三星应用到餐饮行业的观众识别***解决方案可为不同的受众群体播放不同的内容，以做到智能发布。

在国外数字标牌业不断创新的同时，国内专家认为，国内数字标牌产业主要的差距是技术：国内一些新入行的企业在整体技术水平上显著落后于国外市场。随着全球数字标牌市场的不断增长，国内企业已经意识到，尽管数字标牌市场商机无限，技术创新才是这个行业发展的硬道理。因此，在目前国内研究技术相对较弱的情况下，市场的长足发展必须有自主创新能力和寻求差异化的技术实力。

另一方面，目前国外的智能数字标牌识别技术大多依赖于脸部识别，而该技术在报告观众性别及年龄等信息方面精确度仅约80％，离智能数字标牌的实际目标还存在一定的差距。虽然目前国际上报道了一些智能标牌识别技术，但是它们大多处于实验室研发阶段，大多数依赖于脸部识别，而且考虑的人物对象和环境也比较单一。然而，事实上数字标牌的应用领域是完全开放式的复杂环境，服务对象及环境都极不确定：进入摄像机视野的人群数量、性别年龄分布、站立或行走姿势等都是无法约束的，摄像机前的环境，如车辆穿行、明暗变化、天气影响等也是无法控制的。这一切都给人体检测、追踪、识别带来困难。此外，现有的一些识别技术多基于人物的脸部特征，少数基于头发颜色和听力特征，但是数字标牌应用环境的上述特性使得单一特征的精确检测几乎无法实现，因此不可仅仅依赖少数几种特征做出决策。此外，绿色环保也是数字标牌要考虑的问题，但目前产品很少能够做到。我们希望数字标牌能够在无人时休眠，以节能环保。

发明内容

本发明要解决的技术问题是：为了克服上述中存在的问题，提供一种复杂环境下多特征融合的节能型智能识别数字标牌，能够通过对复杂环境下的目标人群的多种特征的提取与融合，最终实现数字标牌广告的智能分类、投放决策、和绿色环保。

本发明解决其技术问题所采用的技术方案是：一种复杂环境下多特征融合的节能型智能识别数字标牌，本文是基于视频的运动人体检测与跟踪，摄像头的场景背景一般变换不大，这给运动人体检测和跟踪带来了很大的便利，同时大大降低了了检测与跟踪的复杂度，在处理视频检测运动人体之前，利用视频图像中的运动目标对其进行运动区域标记，去除不满足要求的区域，训练集通过人体检测器对筛选出来的运动区域标记进行运动人体检测得到运动人体实例，前景检测主要是将视频图像分成运动的人体前景区域，与摄像头中不动部分的背景区域。自适应背景模型为静止背景建立背景模型，通过将当前图像帧和背景模型进行比较，确定出变化较大的区域即认为是前景区域。这种方法的计算速度很快，可以获得关于运动目标区域的完整精确的描述，但对场景中光照条件、大面积运动和噪声比较敏感，所以在实际应用中需采用一定的算法进行背景模型的动态更新以适应环境的变化，其具体步骤是：

a.人群特征提取：通过对人脸图像的特征提取、发型特征提取和步态特征提取；

b.用分类器进行性别识别和年龄识别：所述的分类器包括Fisher线性判别法、动态聚类算法和支持向量回归机，采用分类器来对检测的人体进行性别、年龄分类是人体识别领域中关于年龄变化研究的主要方法，可以说这样的年龄估计方法是行之有效的，但是由于单个分类器都有其各自的优缺点，因而在同样情况下不同分类器的识别结果可能相差非常大，多分类器决策融合是模式发展的一种趋势，其目的旨在提高分类的精度，并度量模式的密集程度。

Fisher线性判别法作为单分类器来说，其识别性能在不同的数据库上均不错，但是，利用Fisher线性法在进行降维处理时，还是会丢失一些有用的信息，而这些信息对于后面的步骤可能很重要，这也是该方法的不足之处；

动态聚类算法，C-均值算法是一种常用的基于近邻法则的无监督学习方法，首先确定需要的群数c，选好c个代表点，用这些代表点作为初始类型，再对样本集H中每个样本X找出相距最近的代表点，将X归到这个最近的代表点所在的群中去，这样，第一次迭代就用近邻法则将H初步分为c群，下一次迭代就在这个基础上以上次迭代所得的各群的均值向量作为新的代表点，再次按近邻法则将H分为c群，直到分群稳定为止，C-均值算法的收敛速度比较快，但是其收敛结果取决于初始聚类中心的选取。

支持向量回归机(Support Vector Regression，简称SVR)，支持向量回归机算法是支持向量机方法在回归问题上的推广，通过引入不敏感损失函数和核函数，可以很好地应用于非线性回归分析，并且对小样本集问题具有良好的预测性能。

c.智能广告投放：包括协同过滤推荐技术、基于内容的推荐技术、基于人口统计学的推荐技术、基于效用的推荐、基于知识的推荐和基于关联规则的推荐，在这些方法中，能用在本专利背景下的技术是基于人口统计学的推荐技术，该技术最常用的人口学特征变量是年龄、性别和地理位置，有时收入变量也会被使用(如高档宾馆中的顾客)。年龄和性别是由***识别得到，地理位置由***终端所在地决定，广告初始阶段通过人工方式进行分类，并标注适宜人群属性(年龄、性别、地理位置和收入等)。若有可能，***增加观察量：用户对某一广告的观看时间。利用该时间，得到某类人群对各个广告的喜爱程度，以便调整各个广告的播放策略；

d.绿色环保：通过判断摄像头有无人体检测或者麦克风有无大于一定阈值的声音输入结果，判断是否进入休眠省电状态。

所述的人脸图像的特征提取包括利用二维Gabor小波进行图像进行多尺度分析的整体特征提取和采用基于合成的图像分析技术来对人脸图像进行特征提取和建模的局部特征提取，特征提取就是应用不同的特征提取方法提取出区别不同模式问题的显著特征。在模式识别问题中，由被识别的对象产生一组原始特征向量，这些特征向量可以是测量得到，也可以是通过数学公式计算得到；原始特征一般存在于高维空间，可以通过映射变换将其转换到低维特征空间，但其变换过程要符合两个主要准则：一是特征空间必须保留原高维空间的主要信息，二是特征空间的维数必须远远低于原高维空间。

整体特征提取是Gabor变换源于窗口傅里叶变换，但因其窗口可仲缩，核函数频率及带宽可调的特性与小波变换相似，故称为Gabor小波变换，和传统的一些变换方法相比Gabor小波变换有着明显的优势，传统方法的缺陷是窗口尺寸一经确定就无法更改，因此其尺度不能变化，无法实现对信号进行多尺度分析，Gabor小波变换即具有小波变换的多分辨率特性，同时又具有Gabor函数的局域性和方向性。近年来的研究表明Gabor小波能够更好的兼顾信号在时域和频域的分辨率，而且在频率和方向上对图像的表示特性与人类视觉***的相关特性非常相似，能够捕捉对应于空间和频率的局部结构信息。与其它滤波方法相比，Gabor小波更适用于图像的特征提取上，特别是在人脸图像的应用中，二维Gabor小波是图像多尺度分析的有力工具，具有很好的方向选择性和空间局部性，能精确地提取图像局部区域内多个方向的结构特征，并且对光照和尺度变化不敏感，能容忍图像一定程度的旋转和变形，具有较高的鲁棒性。

局部特征提取是脸部特征精确配准是鲁棒实用的人脸识别***的基本前提，也是提取人脸几何特征的基本前提，柔性模型(Flexible Models)，是目前解决该问题的主流方法。Kass等人在1987年首先提出了称为Snake的主动轮廓线模型(Active Contour Model，ACM)，Snake是能量极小化的一种模型，内力约束它的形状，外力引导它的行为，图像力将其拖向显著的图像特征。Snake模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一的解决方法。随后，T.F.Cootes等人在1995年又提出了一种基于统计模型的方法——主动形状模型(Active Shaper Model，ASM)，该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型，通过循环迭代，得到理想的匹配结果，在主动形状模型基础之上，T.F.Cootes等人又在1998年中提出了主动表观模型(AAM)。AAM方法是对ASM的直接扩展，与ASM相比，AAM同样采用统计分析的方法建立先验模型，然后，利用先验模型对图像中的人脸进行匹配运算。其优点在于该模型不仅仅包含人脸的形状信息，而且还包含有人脸的内部纹理信息。ASM/AAM将人脸描述为2D形状和纹理两个分离的部分，分别用统计的方法进行建模(PCA)，然后再进一步通过PCA将二者融合起来对人脸进行统计建模。柔性模型具有良好的人脸合成能力，可以采用基于合成的图像分析技术来对人脸图像进行特征提取与建模。柔性模型目前已被广泛用于人脸特征对准(FaceAlignment)和识别中，并出现了很多的改进模型，AAM将预先定义的特征点及样本影响经过统计后，留下较低维度但对于我们很有用的特征信息。应用在人脸图像上，这类特征包括了人脸的形状信息以及五官的轮廓变化，或者颜色纹理咨询，肤色变化等，其基本概念可以如下式子表达：

其中M是已经训练好的统计模型矩阵，可以表示脸部的轮廓变化或纹理变化，c是一个向量。则一个新脸部图像X等于用平均脸X加上c通过模型M产生的变化量。由控制参数矢量c控制形状和纹理的变化，调节c可以得到不同的形状和脸部纹理，从而合成不同的人脸。

目前，性别识别绝大部分是采用人脸识别的，而服装、发型、装饰、声音、步态等特征研究的较少，特别是服装和装饰更少，就装饰而言，在网上还未找到相关的论文。主要原因是这些特征难以检测和自动提取，比如头发，要检测并提取出来是非常具有挑战性的，主要是其非刚性形状，还有就是颜色变化非常大，这比人脸提取难度大得多了。最早进行发型检测的是Yacoob andDavis，他们使用的是简单的颜色聚类模型方法来检测头发像素，这种方法限定在控制背景和头发颜色变化不是很大的条件下使用，提出的Graph-Cut算法是一种自动提取人脸和发型的颜色和位置聚类优先方法，所述的发型特征提取的具体步骤：(1)从视频中获取一帧图像进行检测，可以定时获取图像或是已经检测到场景中有人物时定时获取单帖图像进行处理；(2)对获取一帧后的图像进行预处理，此步骤中因为发型提取与人脸提取不一样，人脸模型的刚性比较强，人脸的反光度比头发低，即人脸对光照的敏感度比头发要低；(3)对预处理后的图像进行人脸和发型的分割，此步骤主要是头发的柔性比较大，其没有一个相对固定的形状，并且对光线的影响很大，无论是光照强度还是光照方向，其方法有简单的颜色和位置聚类算法、LBP算法、Graph-Cut算法、Loopy BeliefPropagation算法和颜色和位置聚类优先的Graph-Cut算法等，颜色和位置聚类优先的Graph-Cut算法效果较好；(4)对分割后的图中提取发型模型。

作为人脸特征的补充，步态识别对于非正面人脸特征识别具有重要的意义，如果人脸检测的是侧面人脸，那么人脸特征将很难获取，这样会导致识别的拒绝率提高，所述的步态特征提取的具体步骤：(1)从视频文件中获取步态序列；(2)以每个周期为单位计算一个周期内的平均能量图；(3)对每个能量图取六个点后用线连起来，对其图像进行分割成七个部分；(4)分别提取每个部分的Gabor特征进行相似度测量，从左至右分别提取的是头部，手臂(胸)，躯干，大腿，前腿，后腿及脚的特征。

所述的性别识别的具体步骤如下：(1)提取人体的人脸、肤色、发型、装饰等的特征，人脸特征包括整体特征和局部特征；(2)通过线性判别方法提取训练检测到的人体的特征和利用Fisher方法提取训练样本和目标图像的特征；(3)通过动态聚类方法对目标图像进行分类并计算单分类器的平均识别率；(4)通过男女训练样本对支持向量回归机(SVR)进行训练得到一组参数值，利用训练好的SVR对测试样本进行分类；(5)将各种融合规则和不同融合规则的分类精度进行比较。

所述的年龄段识别的具体步骤如下：(1)提取人体的人脸、肤色、发型、装饰等的特征，对人脸，选取鉴别能力较强的左右眼睛、鼻子和嘴巴作为局部区域，在一定程度上降低计算复杂度，标定特征点分割出人脸的左右眼睛、鼻子和嘴巴区域；(2)通过线性判别方法提取训练检测到的人体的特征，利用Fisher方法利用Fisher方法提取训练样本和目标图像的特征；(3)通过动态聚类方法对目标图像进行分类并计算单分类器的平均识别率；(4)通过不同年龄段(老、中、青、少等)训练样本对支持向量回归机进行训练得到一组参数值；(5)将各种融合规则和不同融合规则的分类精度进行比较，根据对目标图像的分类迭代增加分类类别，缩小年龄段分类区间，以提高年龄估计精度。

本发明的复杂环境下多特征融合的节能型智能识别数字标牌的有益效果是：基于复杂环境下的目标人群的多种特征的提取与融合方法，能更加准确地识别人群所属年龄段及喜好，并且在无人时候自动进入休眠状态，做到绿色节能环保，还更加满足智能数字标牌市场对于高效、高性能和高可靠性解决方案的需求，为数字内容、交互活动、智能信息和生命周期管理提供更好的支持。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的结构框图；

图2是基于视频的人体检测框图；

图3是图1的步态特征中一个周期内的平均能量图；

图4是图1的步态特征中步态图像分割图；

图5是图1的步态特征中步态相似度测量图；

图6是图1的步态特征中步态特征提取图；

图7是图1中性别龄段的结构识别框图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1和图2所示的复杂环境下多特征融合的节能型智能识别数字标牌，利用视频图像中的运动目标对其运动区域标记，去除不满足要求的区域，训练集通过人体检测器对筛选出来的运动区域标记进行运动人体检测得到运动人体实例，其具体步骤是：

步骤一、人群特征提取

(1)人脸图像的特征提取

a.整体特征提取：Gabor变换源于窗口傅里叶变换，但因其窗口可仲缩，核函数频率及带宽可调的特性与小波变换相似，故称为Gabor小波变换，和传统的一些变换方法相比Gabor小波变换有着明显的优势，传统方法的缺陷是窗口尺寸一经确定就无法更改，因此其尺度不能变化，无法实现对信号进行多尺度分析，Gabor小波变换即具有小波变换的多分辨率特性，同时又具有Gabor函数的局域性和方向性，近年来的研究表明Gabor小波能够更好的兼顾信号在时域和频域的分辨率，而且在频率和方向上对图像的表示特性与人类视觉***的相关特性非常相似，能够捕捉对应于空间和频率的局部结构信息，与其它滤波方法相比，Gabor小波更适用于图像的特征提取上，特别是在人脸图像的应用中，二维Gabor小波是图像多尺度分析的有力工具，具有很好的方向选择性和空间局部性，能精确地提取图像局部区域内多个方向的结构特征。并且对光照和尺度变化不敏感，能容忍图像一定程度的旋转和变形，具有较高的鲁棒性；

b.局部特征提取：脸部特征精确配准是鲁棒实用的人脸识别***的基本前提，也是提取人脸几何特征的基本前提。柔性模型(Flexible Models)，是目前解决该问题的主流方法，Kass等人在1987年首先提出了称为Snake的主动轮廓线模型(Active Contour Model，ACM)，Snake是能量极小化的一种模型，内力约束它的形状，外力引导它的行为，图像力将其拖向显著的图像特征，Snake模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一的解决方法。随后，T.F.Cootes等人在1995年又提出了一种基于统计模型的方法——主动形状模型(Active Shaper Model，ASM)，该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型，通过循环迭代，得到理想的匹配结果，在主动形状模型基础之上，T.F.Cootes等人又在1998年中提出了主动表观模型(AAM)，AAM方法是对ASM的直接扩展，与ASM相比，AAM同样采用统计分析的方法建立先验模型，然后，利用先验模型对图像中的人脸进行匹配运算。其优点在于该模型不仅仅包含人脸的形状信息，而且还包含有人脸的内部纹理信息，ASM/AAM将人脸描述为2D形状和纹理两个分离的部分，分别用统计的方法进行建模(PCA)，然后再进一步通过PCA将二者融合起来对人脸进行统计建模。柔性模型具有良好的人脸合成能力，可以采用基于合成的图像分析技术来对人脸图像进行特征提取与建模，柔性模型目前已被广泛用于人脸特征对准(Face Al ignment)和识别中，并出现了很多的改进模型。

AAM将预先定义的特征点及样本影响经过统计后，留下较低维度但对于我们很有用的特征信息，应用在人脸图像上，这类特征包括了人脸的形状信息以及五官的轮廓变化，或者颜色纹理咨询，肤色变化等等，其基本概念可以用以下表达式表达：

$X=\stackrel{\‾}{X}+M\·c$

其中M是已经训练好的统计模型矩阵，可以表示脸部的轮廓变化或纹理变化，c是一个向量。则一个新脸部图像X等于用平均脸X加上c通过模型M产生的变化量。由控制参数矢量c控制形状和纹理的变化，调节c可以得到不同的形状和脸部纹理，从而合成不同的人脸。

(2)发型特征提取

a.从视频中获取一帧图像进行检测，可以定时获取图像或是已经检测到场景中有人物时定时获取单帖图像进行处理；

b对获取一帧后的图像进行预处理，这一步很重要，这一步处理的效果影响后面发型模型提取的效果，因为发型提取与人脸提取不一样，人脸模型的刚性比较强，人脸的反光度比头发低，即人脸对光照的敏感度比头发要低。所有这一步的处理直接影响后续发型提取和识别的效果；

c对预处理后的图像进行人脸和发型的分割，这一步是整个过程的难点，主要是头发的柔性比较大，其没有一个相对固定的形状，并且对光线的影响很大，无论是光照强度还是光照方向。其方法有简单的颜色和位置聚类算法、LBP算法、Graph-Cut算法、Loopy Belief Propagation算法和颜色和位置聚类优先的Graph-Cut算法等，颜色和位置聚类优先的Graph-Cut算法效果较好；

d对分割后的图中提取发型模型。

(3)步态特征提取

a.从视频文件中获取步态序列；

b.以每个周期为单位计算一个周期内的平均能量图，如图3所示；

c.对每个能量图取六个点后用线连起来，对其图像进行分割成七个部分，如图4所示；

d.分别提取每个部分的Gabor特征进行相似度测量，如图5所示。

如图6所示，从左至右分别提取的是头部，手臂(胸)，躯干，大腿，前腿，后腿及脚的特征。

步骤二、用分类器进行性别识别和年龄识别，如图7所示：

(1)Fisher线性判别法作为单分类器来说，其识别性能在不同的数据库上均不错，但是，利用Fisher线性法在进行降维处理时，还是会丢失一些有用的信息，而这些信息对于后面的步骤可能很重要，这也是该方法的不足之处；

(2)动态聚类算法：C-均值算法是一种常用的基于近邻法则的无监督学习方法。首先确定需要的群数c，选好c个代表点，用这些代表点作为初始类型，再对样本集H中每个样本X找出相距最近的代表点，将X归到这个最近的代表点所在的群中去，这样，第一次迭代就用近邻法则将H初步分为c群，下一次迭代就在这个基础上以上次迭代所得的各群的均值向量作为新的代表点，再次按近邻法则将H分为c群，直到分群稳定为止，C-均值算法的收敛速度比较快，但是其收敛结果取决于初始聚类中心的选取；

(3)支持向量回归机是支持向量机方法在回归问题上的推广，通过引入不敏感损失函数和核函数，可以很好地应用于非线性回归分析，并且对小样本集问题具有良好的预测性能。

(4)性别识别

a.提取到人体的人脸、肤色、发型、装饰等各种特征。人脸特征包括整体和局部特征；

b.利用线性判别方法提取训练检测到的人体的特征，同时利用Fisher方法提取训练样本和目标图像的特征；

c.利用动态聚类方法对目标图像进行分类，并计算单分类器的平均识别率；

d.利用男女训练样本对SVR进行训练，得到一组参数值。利用训练好的SVR对测试样本进行分类；

e.利用各种融合规则进行组合分类，比较不同融合规则的分类精度。

(5)年龄段识别

a.提取到人体的人脸、肤色、发型、装饰等各种特征，对人脸，选取鉴别能力较强的左右眼睛、鼻子和嘴巴作为局部区域，在一定程度上降低计算复杂度。标定特征点分割出人脸的左右眼睛、鼻子和嘴巴区域；

b.利用线性判别方法提取训练检测到的人体的特征，同时利用Fisher方法提取训练样本和目标图像的特征；

c.利用动态聚类方法对目标图像进行分类，并计算单分类器的平均识别率；

d.利用不同年龄段(老、中、青、少等)训练样本对SVR进行训练，得到一组参数值。利用训练好的SVR对测试样本进行分类；

e.利用各种融合规则进行组合分类，比较不同融合规则的分类精度。根据对目标图像的分类迭代增加分类类别，缩小年龄段分类区间，以提高年龄估计精度。

步骤三、智能广告投放：广告初始阶段通过人工方式进行分类，并标注适宜人群属性(年龄、性别、地理位置和收入等)，若有可能，***增加观察量：用户对某一广告的观看时间。利用该时间，得到某类人群对各个广告的喜爱程度，以便调整各个广告的播放策略。

步骤四、绿色环保：通过判断摄像头有无人体检测或者麦克风有无大于一定阈值的声音输入结果，从而决定是否进入休眠省电状态。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种复杂环境下多特征融合的节能型智能识别数字标牌，利用视频图像中的运动目标对其进行运动区域标记，训练集通过人体检测器对筛选出来的运动区域标记进行运动人体检测得到运动人体实例，其特征是：其具体步骤是：

a.人群特征提取：通过对人脸图像的特征提取、发型特征提取和步态特征提取；

b.用分类器进行性别识别和年龄识别：所述的分类器包括Fisher线性判别法、动态聚类算法和支持向量回归机；

c.智能广告投放：包括协同过滤推荐技术、基于内容的推荐技术、基于人口统计学的推荐技术、基于效用的推荐、基于知识的推荐和基于关联规则的推荐；

d.绿色环保：通过判断摄像头有无人体检测或者麦克风有无大于一定阈值的声音输入结果，判断是否进入休眠省电状态。

2.根据权利要求1所述的复杂环境下多特征融合的节能型智能识别数字标牌，其特征是：所述的人脸图像的特征提取包括利用二维Gabor小波进行图像进行多尺度分析的整体特征提取和采用基于合成的图像分析技术来对人脸图像进行特征提取和建模的局部特征提取。

3.根据权利要求1所述的复杂环境下多特征融合的节能型智能识别数字标牌，其特征是：所述的发型特征提取的具体步骤：(1)从视频中获取一帧图像进行检测；(2)对获取一帧后的图像进行预处理；(3)对预处理后的图像进行人脸和发型的分割；(4)对分割后的图中提取发型模型。

4.根据权利要求1所述的复杂环境下多特征融合的节能型智能识别数字标牌，其特征是：所述的步态特征提取的具体步骤：(1)从视频文件中获取步态序列；(2)以每个周期为单位计算一个周期内的平均能量图；(3)对每个能量图取六个点后用线连起来，对其图像进行分割成七个部分；(4)分别提取每个部分的Gabor特征进行相似度测量。

5.根据权利要求1所述的复杂环境下多特征融合的节能型智能识别数字标牌，其特征是：所述的性别识别的具体步骤如下：(1)提取人体的人脸、肤色、发型、装饰的特征；(2)通过线性判别方法提取训练检测到的人体的特征和提取训练样本和目标图像的特征；(3)通过动态聚类方法对目标图像进行分类并计算单分类器的平均识别率；(4)通过男女训练样本对支持向量回归机进行训练得到一组参数值；(5)将各种融合规则和不同融合规则的分类精度进行比较。

6.根据权利要求1所述的复杂环境下多特征融合的节能型智能识别数字标牌，其特征是：所述的年龄段识别的具体步骤如下：(1)提取人体的人脸、肤色、发型、装饰的特征；(2)通过线性判别方法提取训练检测到的人体的特征，利用Fisher方法提取训练样本和目标图像的特征；(3)通过动态聚类方法对目标图像进行分类并计算单分类器的平均识别率；(4)通过不同年龄段训练样本对支持向量回归机进行训练得到一组参数值；(5)将各种融合规则和不同融合规则的分类精度进行比较。

Images