CN103377293B - 多源输入、信息智能优化处理的全息触摸交互展示*** - Google Patents

Abstract

本发明公开了一种多源输入、信息智能优化处理的全息触摸交互展示***。该***通过多传感器感知周围环境信息，在无受众的情况下，启动烟感传感器监测火灾的发生；在有受众存在的情况下，对视频中的人脸进行识别，推荐合适的播放资讯，增加客户的认同感。本展示***引入交互模式，受众可以通过全息触摸屏实现人机互动，获取想要知道的资讯。同时，通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类，根据情绪改变播放资讯信息。它能在复杂背景环境下根据受众的年龄、性别有效推送资讯，它能充分展示并引领受众更全面了解资讯，增加受众的认同感。

Description

多源输入、信息智能优化处理的全息触摸交互展示***

技术领域

本发明属于多媒体信息传播领域，特别涉及一种多源输入、信息智能优化处理的全息触摸交互展示***。

背景技术

随着现代社会的快速发展，多媒体***正以极强的生命力渗透到生活的各个领域，如广告、游戏、教育、档案、图书、娱乐、艺术、金融交易等。广告展示作为一种灵活的宣传和推广技术，受到政府机关、企事业单位和各行业个体的高度重视。它不仅可以传达商品信息、树立品牌形象、满足消费者的审美需求、引导消费导向，同时它还可以激发人们的道德意识，引发思考，有教育和启发的作用。目前的广告展示技术主要考虑广告的单向推送，依靠存在性和重复性达到广而告之的效果。特别是，大屏幕LCD信息展示***(如楼宇电梯LCD广告***)目前应用非常广泛。它具有强大的视频、动画、文本播放能力，但是这些***都是单向的，受众群体只能被动观看。因此当前的展示***很多存在群体推广错误，甚至让人反感厌恶的地步，完全没有考虑受众感受和需求，更没有考虑到受众的参与。同时，所耗成本巨大，造成社会电力、空间、人力资源的极大浪费。

中国专利号：CN101620715A，公开了一种智能广告发布方法。它通过输入场景的图片或视频，对图片或视频进行扫描，以及对图片或视频进行识别，提取用户特征信息；比较所采集的用户或特殊用户的特征信息与预存的用户特征信息是否匹配；查找广告资源库中与该用户特征信息相匹配的广告；输出广告。

中国专利号：CN102129644A，公开了一种具有受众特性感知与统计功能的智能广告***。它由摄像头采集图像，并将采集到的图像信息送入计算设备，计算设备负责将从采集设备获取的图像进行处理、运算并按照运算结果控制电子广告屏来实现广告内容的存储、显示、播放与切换。

上述广告***存在如下不足之处：

(1)上述专利主要是利用图像库或图像词典的形式对视频或场景图片中的人脸进行匹配，确定受众的独特性和唯一性，不适用于复杂或者受众变化的展示环境，同时在图像库数据量大的情况下对计算机要求高，不能满足***实时性的要求。

(2)未能将受众的情绪考虑在内，不能根据受众的情绪自适应调整资讯的播放。

(3)未能改变受众被动接受信息的状态，客户无法通过亲自操作，与媒体互动，来得到想要知道的信息。

(4)在有受众的情况下，没有合适的方法来提升客户占有率；在无受众的情况，未能节约资源提高***工作效率。

发明内容

本发明的目的是为了解决上述问题，提供一种多源输入、信息智能优化处理的全息触摸交互展示***。该***通过多传感器感知周围环境信息，在无受众的情况下，启动烟感传感器监测火灾的发生；在有受众存在的情况下，对视频中的人脸进行识别，推荐合适的播放资讯，增加客户的认同感。本展示***引入交互模式，受众可以通过全息触摸屏实现人机互动，查询客户想要知道的资讯。同时，通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类，根据情绪改变播放资讯信息。

本发明的技术解决方案如下：

一种多源信息输入、智能识别处理的全息互动触摸展示***，包括采集环境信息的多传感器、计算设备和全息互动触摸显示设备，

(1)开启多传感器感知设备监测周边环境，检测红外传感器、声音传感器是否存在信号。在红外传感器、声音传感器均无信号的情况下，开启烟感传感器等监测环境火灾讯情的发生；在红外传感器或声音传感器有信号的情况下，启动摄像头和互动触摸显示设备；

全息互动触摸展示***可以是放置在室内或室外的活动平台，因此其所处环境可能是多变的，全天候地使用视频采集设备非常不经济，因此在无受众的情况下，展示平台关闭视屏采集装置，停止资讯的播放，开启环境监测装置，防止火灾等险情的发生。

(2)从视频信息中读取图像帧或图像帧序列。人脸检测与定位，具体确定输入图像中是否存在人脸，若存在人脸，则确定一个或多个人脸的位置和大小等。面部特征提取，在检测到的人脸上提取与性别、年龄和情绪相关的特征。常用的特征包括以色彩和亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征。根据提取的面部特征，对图像中人脸的年龄和性别做出估计。

(3)采用智能信息挖掘算法和近邻传播聚类算法对人脸表情进行智能辨识并加以分类。通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类。

(4)资讯定制投放和资讯推荐投放。查询人脸是否与图像库中的人脸匹配，有无触摸感知信号和人脸表情是否积极？在人脸与图像库不匹配，无触摸感知信号，且人脸表情积极的情况下进行资讯的推荐播放。在有触摸感知信息的情况下，停止播放当前资讯，快速响应受众的触摸查询请求或播放受众指定资讯。在人脸与图像库匹配的情况下，在不中断当前正在播放资讯的前提下优先播放其感兴趣资讯；在人脸表情不积极的情况下，动态调整展示资讯类别。

(5)若当前展示资讯未结束的情况下，继续展示当前资讯，否则，返回步骤(1)。

所述采集环境信息的多传感器包括：摄像头、红外传感器、微波传感器、超声波传感器、激光传感器、磁控开关传感器、声音传感器或烟感传感器中的一种或多种，用于获取环境温度、湿度、光照、时间等信息，及其测量环境中受众指纹，身高、体重、血压、心跳、体温等。

按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，其硬件结构分为以下两部分。

一，局域控制结构。一台计算机至少可以带动一个或多个触摸显示设备，且每个显示设备可以配备一组传感器感知设备。多传感器感知设备可以是摄像头、红外传感器、微波传感器、超声波传感器、激光传感器、磁控开关传感器、声音传感器和烟感传感器等。

二，广域连接结构。多台计算机可以组成网络***，可以以有线或无线的方式进行传输，可以构成总线型、星型、环型、树型或混合型等网络拓扑结构。此外，将各种计算机，外部设备和数据库等互相联接起来组成的信息处理***，可以实现视频展示文件管理、应用软件共享、展示日程安排、电子邮件和传真通信服务等功能。

上述步骤(2)中，人脸检测与定位，特征提取主要分为以下步骤：首先，确定输入图像中是否存在人脸，若存在人脸，则快速定位一个或多个人脸在图像中的位置和范围。其次，预处理图像，使人脸图像中的人脸位置、大小和图像归一化，并克服遮挡、姿态、光照、饰物等因素的影响。再次，在检测到的人脸上提取与性别和年龄相关的特征。常用的特征包括以亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征。最后，根据提取的面部特征，对待识别人脸的性别做出判断和估计年龄。

上述步骤(3)中，颜色共生矩阵提取出的特征包括表示RGB颜色空间模型中的红色和绿色分量，HSV颜色空间模型中的色度分量和灰度分量。对于上述任一分量，又可以包含多个特征量，这些特征量可以是色彩的反差，能量，熵，一致性或相关性等中的一个或多个。

上述步骤(3)中，智能信息挖掘算法，由多个候选解组成智能信息挖掘算法的解集，每个候选解均有由感兴趣区域分量和特征分量表示，其具体过程如下：

1)随机初始化解集；

2)计算各候选解的评价函数值；

3)将评价函数值大于平均评价函数值的候选解作为输入，调用逆向云模型，得到多维云模型的数字特征；

4)自适应调整数字特征；

5)将修正后的数字特征作为输入，调用正向云模型，生成新的候选解，形成新一代解集；

6)若满足终止条件，输出精英候选解及其评价函数值；否则转向步骤(2)。

上述步骤(3)中，近邻传播聚类算法将所有样本数据作为初始代表样本，且每个样本数据都作为潜在的聚类中心，通过迭代过程不断更新每一个点的吸引度和归属度，直到自动产生若干个类中心。具体步骤如下：

(a)初始相似度矩阵；

(b)计算样本点间的吸引度值；

(c)计算样本点间的归属度值；

(d)更新吸引度和归属度值；

(e)如果迭代次数超过设定的最大值或者当聚类中心在若干次迭代中不发生改变时终止计算,确定类中心及各类的样本点；否则返回(b)。

上述步骤(4)中，资讯定制投放和资讯推荐投放时，遵循下面几个的原则：一，随时响应触摸信号；二，在不中断当前正在播放资讯的前提下，优先响应图像库匹配信号，根据匹配信息进行资讯定制展示；三，根据人脸表情信息进行资讯播放。在人脸表情积极的情况下，继续当前资讯的播放，并在推荐下一轮同类属性资讯的推荐播放；在人脸表情不积极的情况下，动态调整展示资讯类别。

本发明所达到的有益效果：

本发明是一种多源输入、信息智能优化处理的全息触摸交互展示***，由多传感输入设备、计算设备和全息互动触摸显示设备组成，模块化结构，便于客户按需进行结构组合和软件调整。它既有平面广告的特点，又能达到影视广告的效果，还能使受众参与进行有效互动，是理想的整合传播媒体***。它能在复杂背景环境下根据受众的年龄、性别有效推送资讯，还能根据受众的情绪和触摸感知信息自适应调整资讯。它能充分展示并引领受众更全面了解资讯，增加受众的认同感。

附图说明

图1总体结构图；

图2工作原理流程图；

图3智能信息挖掘算法的流程图；

图4候选解编码结构图；

图5表情智能辨识的流程图；

图6多组展示***的局域和广域连接关系图。

具体实施方式

下面结合附图1-6具体介绍本发明的一个较佳的实施例。

参看图1，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，用于企事业单位或个体客户发布各种资讯，其总体结构主要分为三大模块：

(1.1)多源传感器信号的采集模块，由下面一种或多种传感器组成，如摄像头、红外传感器、微波传感器、超声波传感器、激光传感器、磁控开关传感器、声音传感器和烟感传感器等。主要用于监测环境中受众的情况，以及火灾等意外事故的发生。

(1.2)计算设备模块，可以是计算机或嵌入式微机，用于对多传感器获取的信息进行智能分析与处理；

(1.3)全息触摸显示设备，触摸屏由纳米触摸膜与LCD/LED显示屏相结合，适当时采用钢化玻璃防护，支持局域网或互联网远程控制，可以精确地触控并查询信息，与受众互动。

参看图2，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，其工作原理流程包括如下步骤：

(2.1)开启多传感器感知设备监测周边环境，检测红外传感器、声音传感器是否存在信号。在红外传感器、声音传感器均无信号的情况下，开启烟感传感器等监测环境火灾讯情；在红外传感器或声音传感器有信号的情况下，启动摄像头和互动触摸展示设备；

(2.2)从视频信息中读取图像帧或图像帧序列。

(2.3)人脸检测与定位，具体确定输入图像中是否存在人脸，若存在人脸，则确定一个或多个人脸的位置和大小等。面部特征提取，在检测到的人脸上提取与性别、年龄和情绪相关的特征。常用的特征包括以色彩和亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征。

(2.4)根据提取的面部特征，对图像中人脸的年龄和性别做出估计，识别人脸的表情并分类。

(2.5)查询人脸是否与图像库中的人脸匹配，有无触摸感知信号和人脸表情是否积极？在人脸与图像库不匹配，无触摸感知信号，且人脸表情积极的情况下进行资讯的推荐播放。在有触摸感知信息的情况下，停止播放当前资讯，快速响应受众的触摸查询请求或播放受众定制资讯。在人脸与图像库匹配的情况下，优先播放其感兴趣资讯；在人脸表情不积极的情况下，动态调整展示资讯类别。

(2.6)若当前展示资讯未结束的情况下，继续展示当前资讯，否则，返回步骤(2.1)。

参看图3，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，其采用的智能信息挖掘算法的工作流程图包括如下步骤：

(3.1)随机初始化解集X(0)。不失一般性，考虑一个含有N个候选解，编码长度为L的候选解集(以下简称解集)X＝{x₁,x₂,…,x_N}∈S^N，其中S为候选解编码空间，S^N为N阶解集编码空间。解集X可用下面的矢量和矩阵表示：

$X=\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ .\\ x_N\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \mathrm{...}& x_{1L}\\ x_{21}& x_{22}& \mathrm{...}& x_{2L}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_{N1}& x_{N2}& \mathrm{...}& x_{NL}\end{array}\right]=\[X_1,X_2,\mathrm{...},X_L\]$

其中x_i＝(x_i1,x_i2,…,x_iL)∈S表示解集X中的第i个候选解；x_ij表示第i个候选解的第j个解组元；i＝1,2,…,N，j＝1,2,…,L。

(3.2)计算每个候选解的评价函数值f(x_i(t))，解集平均评价函数值和解集的最佳评价函数值为确定精英候选解x_b(t)，其中 $\begin{array}{ccc}\stackrel{\‾}{f}\left(X\right(t\left)\right)={\Σ}_{i=1}^{N}f\left(x_i\right(t\left)\right)/N,& \hat{f}\left(X\right(t\left)\right)=\max f\left(x_i\right(t\left)\right),& \left\{x_b\left(t\right)\right|f\left(x_b\right(t\left)\right)=\hat{f}\left(X\right(t\left)\right),b\∈\[1,N\],t\≥0\}.\end{array}$

(3.3)将评价函数值大于平均评价函数值的候选解作为输入，调用逆向云模型，得到多维云模型的数字特征。具体又可以分为以下步骤：

(3.3.1)从解集X(t)中选择评价函数值大于解集平均评价函数值的候选解，即满足的候选解x_i(t)，i＝1,2,…k，其中1≤k≤N。

(3.3.2)将选择出的候选解评价函数f(x_i(t))映射成云滴的确定度 $\tilde{f}\left(x_i\right(t\left)\right)\∈(0,1),$ 即

$\tilde{f}\left(x_i\right(t\left)\right)=1-\frac{f\left(x_i\right(t\left)\right)+\hat{f}\left(X\right(t\left)\right)}{\stackrel{\‾}{f}\left(X\right(t\left)\right)}-\mathrm{\ϵ}$

其中ε为极小的常数，以确保防止在调用逆向云发生器时发生对数溢出。

(3.3.3)将i＝1,2,…k作为输入，调用多维逆向云发生器，计算解集的云数字特征[Ex(t)；En(t)；He(t)]。具体来说，

$\left[\begin{array}{c}Ex\left(t\right)\\ En\left(t\right)\\ He\left(t\right)\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{Ex}}_1\left(t\right)& {\mathrm{Ex}}_2\left(t\right)& ...& {\mathrm{Ex}}_L\left(t\right)\\ {\mathrm{En}}_1\left(t\right)& {\mathrm{En}}_2\left(t\right)& ...& {\mathrm{En}}_L\left(t\right)\\ {\mathrm{He}}_1\left(t\right)& {\mathrm{He}}_2\left(t\right)& ...& {\mathrm{He}}_L\left(t\right)\end{array}\right].$

其计算过程如下：

${\mathrm{Ex}}_j\left(t\right)=\frac{1}{k}\underset{i=1}{\overset{k}{\Σ}}{x}_{ij}\left(t\right)$

${\mathrm{En}}_j\left(t\right)=\sqrt{\frac{1}{k}\underset{i=1}{\overset{k}{\Σ}}{\left(x_{ij}\right(t)-{\mathrm{Ex}}_j(t\left)\right)}^2}$

对每一对计算

${\mathrm{En}}_{ij}^{\′}\left(t\right)=\sqrt{\frac{-{\left(x_{ij}\right(t)-{\mathrm{Ex}}_j(t\left)\right)}^2}{2\ln \tilde{f}\left(x_i\right(t\left)\right)}},$

${\mathrm{He}}_j\left(t\right)=\sqrt{\frac{1}{k}\underset{i=1}{\overset{k}{\Σ}}{\left({\mathrm{En}}_{ij}^{\′}\right(t)-\stackrel{\‾}{E}{n}_j^{\′}(t\left)\right)}^2}.$

其中 $\stackrel{\‾}{E}{n}_j^{\′}\left(t\right)=\frac{1}{k}\underset{i=1}{\overset{k}{\Σ}}\stackrel{\‾}{E}{n}_{ij}^{\′}\left(t\right).$

(3.4)将数字特征作为输入，调用正向云模型，生成临时解集X_temp1(t+1)并确定其精英候选解x_b(t+1)；

对于一个已知的多维数字特征[Ex(t)；En(t)；He(t)]，t≥0，根据正向云模型，产生具有该待优化问题不确定知识的新候选解x_i(t+1)，i＝1,2,…N。其过程如下：

(3.4.1)生成一个期望值为En(t)，标准偏差为He(t)的多维正态随机数

En_i′(t)＝NormRand(En(t),He(t)).

(3.4.2)生成一个期望值为Ex(t)，标准偏差为En_i′(t)的多维正态随机数

y_i(t)＝NormRand(Ex(t),En_i′(t)).

(3.4.3)产生构成解集X_temp1(t+1)的一个候选解x_i(t+1)，且x_i(t+1)＝y_i(t)；

(3.4.4)计算x_i(t+1)的评价函数值f(x_i(t+1))；

(3.4.5)重复(3.4.1)到(3.4.4)，直至生成N个候选解为止。

(3.5)若出现连续跨代精英，即满足随机产生新的候选解集

(3.6)从解集X(t)和中选择评价函数值大于解集平均评价函数值的候选解，调用逆向云模型，建立新的解集特征参数

(3.7)将修正后的数字特征作为输入，调用正向云模型，生成新的临时解集X_temp2(t+1)；

(3.8)在临时解集X_temp1(t+1)和X_temp2(t+1)中选择评价函数值不小于的候选解，形成新一代解集X(t+1)；

(3.9)若满足终止条件，输出精英候选解及其评价函数值作为；否则转向步骤(3.2)。

参看图4，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，采用计算智能算法将视频或图像中感兴趣区域的选择和特征提取有机的结合起来，其候选解编码结构包含如下部分：

(4.1)感兴趣区域C₁,C₂,…,C_i,…C_m，其中C_i表示第i个感兴趣区域的选择，m表示感兴趣区域的个数。

具体对于感兴趣区域C_i，其编码又可细分为a_i,x_Ci,y_Ci,h_Ci,w_Ci，其中a_i表示对应的C_i是否被激活，x_Ci,y_Ci分别表示感兴趣区域C_i中心点的横坐标和纵坐标，h_Ci,w_Ci分别表示感兴趣区域C_i的高度和宽度。

(4.2)提取感兴趣区域的特征向量其中表示RGB颜色空间模型中的红色和绿色；表示HSV颜色空间模型中的色度；表示感兴趣区域的灰度分量。

对于上述任一分量，又可以包含多个特征量。先以为例，这些特征量可以是色彩的反差，能量，熵，一致性，相关性等。

参看图5，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，其表情智能辨识的流程图主要分为如下模块：

(5.1)智能信息挖掘算法模块。由多个候选解构成的智能信息挖掘算法的解集，每个候选解均有由感兴趣区域分量和特征分量表示，具体参见图4。智能信息挖掘算法的解集更新过程参见图3.

(5.2)颜色共生矩阵参数选择模块。颜色共生矩阵参数包括像素间距d和方向θ，若考虑一个8连通邻域，取智能信息挖掘算法通过调整颜色共生矩阵的参数来进行特征构建，具体步骤为

(5.2.1)将图像的色彩等级定义为L级，颜色共生矩阵M(i,j)为一L×L矩阵，其中的第i行第j列元素m_ij表示灰度为i和灰度为j的两个相距为(Δx,Δy)的像素对出现的次数。对图像中的任一区域R，定义H为其中具有特定空间联系的像素对的集合，那么每个候选解中激活的感兴趣区域的颜色共生矩阵可表示为

M(i,j)＝#{[(x₁,y₁),(x₂,y₂)∈H|f(x₁,y₁)＝i&f(x₂,y₂)＝j]}

$\hat{M}(i,j)=\frac{M(i,j)}{\#\left(H\right)}$

其中，i∈[0,L-1]，j∈[0,L-1]，x₂＝x₁+dcosθ，y₂＝y₁+dsinq，#(H)表示集合H中对M(i,j)有贡献的元素的个数。

(5.2.2)通常对于区域R像素过多会导致维数灾难，通常选取多个的特征量表示。以RGB颜色空间模型中的绿色为例，

(a)反差： ${\mathrm{\γ}}_{G1}=\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{(i-j)}^2\hat{M}(i,j)$

(b)能量： ${\mathrm{\γ}}_{G2}=\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{\[\hat{M}(i,j)\]}^2$

(c)熵： ${\mathrm{\γ}}_{G3}=-\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}\hat{M}(i,j)log\hat{M}(i,j),$ 其中当 $\hat{M}(i,j)=0$ 时， $log\hat{M}(i,j)=0$

(d)一致性： ${\mathrm{\γ}}_{G4}=-\underset{i=0}{\overset{L-1}{\Σ}}\underset{i=0}{\overset{L-1}{\Σ}}\hat{M}(i,j)/\[1+{(i-j)}^2\]$

(e)相关性： ${\mathrm{\γ}}_{G5}=-\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}ij\hat{M}(i,j)-{\mathrm{\μ}}_1{\mathrm{\μ}}_2/{\mathrm{\σ}}_1^2{\mathrm{\σ}}_2^2,$ 其中 $\begin{array}{cc}{\mathrm{\μ}}_1=\underset{i=0}{\overset{L-1}{\Σ}}i\underset{j=0}{\overset{L-1}{\Σ}}\hat{M}(i,j),& {\mathrm{\μ}}_2=\underset{i=0}{\overset{L-1}{\Σ}}j\underset{i=0}{\overset{L-1}{\Σ}}\hat{M}(i,j)\end{array},$ $\begin{array}{cc}{\mathrm{\σ}}_1^2=\underset{i=0}{\overset{L-1}{\Σ}}{(i-{\mathrm{\μ}}_1)}^2\underset{j=0}{\overset{L-1}{\Σ}}\hat{M}(i,j),& {\mathrm{\σ}}_2^2=\underset{j=0}{\overset{L-1}{\Σ}}{(j-{\mathrm{\μ}}_1)}^2\underset{i=0}{\overset{L-1}{\Σ}}\hat{M}(i,j).\end{array}$

(5.3)近邻传播聚类模块。该模块将所有样本数据作为初始代表样本，且每个样本数据都作为潜在的聚类中心(exemplar)，通过迭代过程不断更新每一个点的吸引度和归属度，直到自动产生若干个类中心。具体步骤如下

(5.3.1)初始相似度矩阵S，其中的第i行第j列元素S(i,j)表示样本点i和样本点j之间的相似度，对P赋值。

(5.3.2)计算样本点间的吸引度值

$R(i,k)\←S(i,k)-\underset{j\≠k}{\max }\[S(i,j)+A(i,j)\],$

其中A(i,j)表示样本点j对于样本点i的归属度值。

(5.3.3)计算样本点间的归属度值

$A(i,k)\←\min \{0,R(k,k)+\underset{j\≠i,k}{\max }\[0,R(j,k)\]\},$

$A(k,k)\←\underset{j\≠k}{\max }\[0,R(j,k)\]$

(5.3.4)更新吸引度和归属度值

$R_{i+1}(i,k)=\mathrm{\ρ}\·R_i(i,k)+(1-\mathrm{\ρ})\·R_{i+1}^{old}(i,k),\mathrm{\ρ}\∈\[0.5,1)$

$A_{i+1}(i,k)=\mathrm{\ρ}\·A_i(i,k)+(1-\mathrm{\ρ})\·A_{i+1}^{old}(i,k),\mathrm{\ρ}\∈\[0.5,1)$

其中ρ是收敛系数,主要用于调节算法的收敛速度及迭代过程的稳定性。

A_i+1(k,k)＝P(k)-max[A_i+1(k,j)+S_i+1(k,j)],j∈{1,2,…,N},j≠k

(5.3.5)如果迭代次数超过设定的最大值或者当聚类中心在若干次迭代中不发生改变时终止计算,确定类中心及各类的样本点；否则返回(5.3.2)。

参看图6，按本发明的一种多源信息输入、智能识别处理的全息互动触摸展示***，其多组展示***的局域和广域连接关系图，其主要结构分为以下两部分。

(6.1)局域控制结构。一台计算机可以带动一个或多个触摸显示设备，且每个显示设备可以配备一组传感器感知设备。多传感器感知设备可以是摄像头、红外传感器、微波传感器、超声波传感器、激光传感器、磁控开关传感器、声音传感器和烟感传感器等。

(6.2)广域连接结构。多台计算机可以组成网络***，可以以有线或无线的方式进行传输，可以构成总线型、星型、环型、树型、混合型等网络拓扑结构。此外，将各种计算机，外部设备和数据库等互相联接起来组成的信息处理***，可以实现视频展示文件管理、应用软件共享、展示日程安排、电子邮件和传真通信服务等功能。

本发明是一种多源信息输入、智能识别处理的全息互动触摸展示***，由多传感输入设备、计算设备和全息互动触摸显示设备组成，模块化结构，便于客户按需进行结构组合和软件调整。它既有平面广告的特点，又能达到影视广告的效果，还能使受众参与进行有效互动，是理想的整合传播媒体***。它能在复杂背景环境下根据受众的特征有效推送资讯，还能根据受众的情绪和触摸感知信息自适应调整资讯。它能充分展示并引领受众更全面了解资讯，增加受众的认同感。

上述实施例仅用于说明本发明，而非对本发明的限定，在本发明的实质精神范围内对上述实施例的变换和变型都应落在本发明权利要求的范围内。

Claims (8)

1.一种多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，包括采集环境信息的多传感器、计算设备和全息互动触摸显示设备，

（1）开启多传感器感知设备监测周边环境，检测红外传感器、声音传感器是否存在信号；在红外传感器、声音传感器均无信号的情况下，开启烟感传感器监测环境火灾讯情的发生；在红外传感器或声音传感器有信号的情况下，启动摄像头和互动触摸显示设备；

（2）从视频信息中读取图像帧或图像帧序列：人脸检测与定位，具体确定输入图像中是否存在人脸，若存在人脸，则确定一个或多个人脸的位置和大小；面部特征提取，在检测到的人脸上提取与性别和年龄相关的特征；根据提取的面部特征，对图像中人脸的年龄和性别做出估计；

（3）采用智能信息挖掘算法和近邻传播聚类算法对人脸表情进行智能辨识并加以分类；通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类；

（4）资讯定制投放和资讯推荐投放:查询人脸是否与图像库中的人脸匹配，有无触摸感知信号和人脸表情是否积极；在人脸与图像库不匹配，无触摸感知信号，且人脸表情积极的情况下进行资讯的推荐播放；在有触摸感知信息的情况下，停止播放当前资讯，快速响应受众的触摸查询请求或播放受众指定资讯；在人脸与图像库匹配的情况下，在不中断当前正在播放资讯的前提下优先播放其感兴趣资讯；在人脸表情不积极的情况下，动态调整展示资讯类别；

（5）若当前展示资讯未结束的情况下，继续展示当前资讯，否则，返回步骤（1）。

2.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述采集环境信息的多传感器包括：摄像头、红外传感器、微波传感器、超声波传感器、激光传感器、磁控开关传感器、声音传感器或烟感传感器中的多种。

3.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，展示***包含以下两部分硬件结构：一，局域控制结构：一台计算机带动一个或多个触摸显示设备，且每个显示设备至少配备一组传感器；二，广域连接结构：多台计算机组成网络***，以有线或无线的方式进行传输，构成总线型、星型、环型、树型或混合型网络拓扑结构。

4.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述步骤（2）中，人脸检测与定位，特征提取包括以下步骤：首先，确定输入图像中是否存在人脸，若存在人脸，则快速定位一个或多个人脸在图像中的位置和范围；其次，预处理图像，使人脸图像中的人脸位置、大小和图像归一化，并克服遮挡、姿态、光照、饰物因素的影响；再次，在检测到的人脸上提取与性别和年龄相关的特征；常用的特征包括以亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征；最后，根据提取的面部特征，对待识别人脸的性别做出判断和估计年龄。

5.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述步骤（3）中，颜色共生矩阵提取出的特征包括表示RGB颜色空间模型中的红色和绿色分量，HSV颜色空间模型中的色度分量和灰度分量；对于上述任一分量，包含多个特征量，这些特征量为色彩的反差、能量、熵、一致性或相关性中的一个或多个。

6.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述步骤（3）中，智能信息挖掘算法，由多个候选解组成智能信息挖掘算法的解集，每个候选解均由感兴趣区域分量和特征分量表示，其具体过程如下：

（61）随机初始化解集；

（62）计算各候选解的评价函数值；

（63）将评价函数值大于平均评价函数值的候选解作为输入，调用逆向云模型，得到多维云模型的数字特征；

（64）自适应调整数字特征；

（65）将修正后的数字特征作为输入，调用正向云模型，生成新的候选解，形成新一代解集；

（66）若满足终止条件，输出精英候选解及其评价函数值；否则转向步骤（62）。

7.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述步骤（3）中，近邻传播聚类算法将所有样本数据作为初始代表样本，且每个样本数据都作为潜在的聚类中心，通过迭代过程不断更新每一个点的吸引度和归属度，直到自动产生若干个类中心；具体步骤如下：

（71）初始相似度矩阵；

（72）计算样本点间的吸引度值；

（73）计算样本点间的归属度值；

（74）更新吸引度和归属度值；

（75）如果迭代次数超过设定的最大值或者当聚类中心在若干次迭代中不发生改变时终止计算,确定类中心及各类的样本点；否则返回（72）。

8.如权利要求1所述的多源输入、信息智能优化处理的全息触摸交互展示***，其特征在于，所述步骤（4）中，资讯定制投放和资讯推荐投放时：一，随时响应触摸信号；二，在不中断当前正在播放资讯的前提下，优先响应图像库匹配信号，根据匹配信息进行资讯定制展示；三，根据人脸表情信息进行资讯播放；在人脸表情积极的情况下，继续当前资讯的播放，并推荐下一轮同类属性资讯的推荐播放；在人脸表情不积极的情况下，动态调整展示资讯类别。