CN106054682B - 一种带有控制***的家庭影院 - Google Patents

一种带有控制***的家庭影院 Download PDF

Info

Publication number
CN106054682B
CN106054682B CN201610620684.4A CN201610620684A CN106054682B CN 106054682 B CN106054682 B CN 106054682B CN 201610620684 A CN201610620684 A CN 201610620684A CN 106054682 B CN106054682 B CN 106054682B
Authority
CN
China
Prior art keywords
emotion
expression
emotion recognition
sample data
home theater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610620684.4A
Other languages
English (en)
Other versions
CN106054682A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hui Gu Artificial Intelligence Studies Institute Nanjing co Ltd
Original Assignee
Huai Valley Artificial Intelligence Research Institute (nanjing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huai Valley Artificial Intelligence Research Institute (nanjing) Co Ltd filed Critical Huai Valley Artificial Intelligence Research Institute (nanjing) Co Ltd
Priority to CN201610620684.4A priority Critical patent/CN106054682B/zh
Publication of CN106054682A publication Critical patent/CN106054682A/zh
Application granted granted Critical
Publication of CN106054682B publication Critical patent/CN106054682B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、电动升降机构和无线投影式家庭影院***，床(1)的中间部位设有升降平台，电动升降机构包括直流电动推杆(2)和投影仪放置台(3)，直流电动推杆(2)固定安装在床(1)的升降平台内，投影仪放置台(3)安装在直流电动推杆(2)的推杆上，无线投影式家庭影院***包括投影仪(4)、网络电视盒、WIFI无线连接音响(5)和投影幕布，投影仪(4)放置在电动升降机构的投影仪升降平台(3)上，投影仪(4)通过数据线与无线电视盒子的视频输出端口通讯相连，音响(5)通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪(4)对面的墙上。本发明结构设计合理，大大增加观影体验，具有很好的市场推广价值。

Description

一种带有控制***的家庭影院
技术领域
本发明涉及开关领域，具体涉及一种带有控制***的家庭影院。
背景技术
目前，目前家庭影院包括电视、音响以及播放器，但是这种架构还是无法做到很好的用户享受乐趣体验，且电视、音响以及播放器也是多个不同的遥控器，使用户在使用的时候十分的不方便。
情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在表现信息，如情感化的语音信号或面部表情，人们可以很方便地相互沟通、相互了解。对于人类情感方面的研究，一直是生理学、神经学、心理学等领域的重要研究方向，近几年来倍受工程领域研究者的关注。当前，对于单模态情感研究较多，但是对于多模态情感融合的研究较为有限。
发明内容
针对上述问题，本发明提供一种带有控制***的家庭影院。
本发明的目的采用以下技术方案来实现：
一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
优选地，投影仪是3D投影仪。
本发明的有益效果为：结构设计合理，大大增加了观影体验。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明家庭影院的结构示意图；
图2是本发明情感控制***的结构示意图。
附图标记：
语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23。
具体实施方式
结合以下实施例对本发明作进一步描述。
应用场景1
参见图1、图2，本应用场景中的一个具体实施例一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
本优选实施例结构设计合理，大大增加了观影体验。
优选地，投影仪是3D投影仪。
本优选实施例观影体验更佳。
优选地，所述情感控制***包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：
(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。
优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi，Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学***移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点Xi的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq＝1.4，识别精度相对提高了12％。
应用场景2
参见图1、图2，本应用场景中的一个具体实施例一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
本优选实施例结构设计合理，大大增加了观影体验。
优选地，投影仪是3D投影仪。
本优选实施例观影体验更佳。
优选地，所述情感控制***包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：
(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。
优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi，Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学***移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点Xi的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq＝1.45，识别精度相对提高了10％。
应用场景3
参见图1、图2，本应用场景中的一个具体实施例一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
本优选实施例结构设计合理，大大增加了观影体验。
优选地，投影仪是3D投影仪。
本优选实施例观影体验更佳。
优选地，所述情感控制***包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：
(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。
优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi,Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,C}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学***移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点Xi的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq＝1.5，识别精度相对提高了15％。
应用场景4
参见图1、图2，本应用场景中的一个具体实施例一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
本优选实施例结构设计合理，大大增加了观影体验。
优选地，投影仪是3D投影仪。
本优选实施例观影体验更佳。
优选地，所述情感控制***包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：
(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。
优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi,Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学***移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点Xi的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq＝1.55，识别精度相对提高了10％。
应用场景5
参见图1、图2，本应用场景中的一个具体实施例一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上。
优选地，投影仪是高清晰度家庭投影仪。
本优选实施例结构设计合理，大大增加了观影体验。
优选地，投影仪是3D投影仪。
本优选实施例观影体验更佳。
优选地，所述情感控制***包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：
(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作。
本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。
优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作。
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi,Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值。
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式。
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学***移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点Xi的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。
本应用场景设定后验概率权值为Qq＝1.6，识别精度相对提高了8％。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种带有控制***的家庭影院，其特征是，包括家庭影院和与家庭影院相连的情感控制***，所述家庭影院包括：床、其特征在于它还有电动升降机构和无线投影式家庭影院***，床的中间部位设有升降平台，电动升降机构包括直流电动推杆和投影仪放置台，直流电动推杆固定安装在床的升降平台内，投影仪放置台安装在直流电动推杆的推杆上，无线投影式家庭影院***包括投影仪、网络电视盒、WIFI无线连接音响和投影幕布，投影仪放置在电动升降机构的投影仪升降平台上，投影仪通过数据线与无线电视盒子的视频输出端口通讯相连，音响通过WIFI无线连接与网络电视盒的音频输出端口通讯相连，投影幕布安装在投影仪对面的墙上；
所述情感控制***包括语音情感识别处理模块、表情情感识别处理模块、多模态情感融合识别处理模块和控制模块：
(1)语音情感识别处理模块，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块、声学特征降维子模块和语音情感分类处理子模块；所述声学特征提取子模块用于提取声学特征数据；所述声学特征降维子模块用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；
(2)表情情感识别处理模块，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块、表情特征降维子模块和表情情感分类处理子模块；所述表情特征提取子模块用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；
(3)多模态情感融合识别处理模块，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；
(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制家庭影院执行相应的操作；
所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型；
所述在验证用户身份的前提下控制家庭影院执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制家庭影院执行相应的操作；
所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：
(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为Xi，Xi∈RM，i∈[1，N]，类别号为Ci，嵌入输出的N个m维的降维数据点为Yi，Yi∈Rm，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点Xi确定其邻域点的数目K，邻域点的距离公式为：
式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ1、δ2(0≤δ1、δ2≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；
(2)利用每个样本数据点Xi的邻域点计算出样本数据点的局部重建权值矩阵Wij，要求最小化下列损失函数：
式中，Wij为Xi与Xj之间的权值，且需满足对Xi的非邻域点，Wij＝0；
(3)计算各样本数据点Xi的K个邻域点的权重之和：
其中，
式中，Zij为各邻域点之间的加权矩阵，d(Xi,Xj)表示样本数据点间的Fisher投影距离，ξ为可调参数；
(4)利用该样本数据点的局部重建权值矩阵Wij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点Xi映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：
式中，需满足其中构建一个稀疏矩阵M＝(I-W)T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点Xi的嵌入输出值；
所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：
式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；
σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；
kα,β为小波矢量，其中，kβ和分别表示Gabor滤波器在频率和方向空间的采样方式；
所述预定的多模态情感融合策略为：
设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{pij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{qj(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；
对于j类测试样本，按照方差规则获得的新的后验概率qj(x)可表示为：
式中，
对于j类测试样本，最终所获得的识别类别可表示为：
ρ(x)＝argmaxj(qj(x))
其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为qj(x)max,qj(x)max-1,qj(x)max-2，若 选择qj(x)max作为合适的后验概率值，否则选择qj(x)max-1作为合适的后验概率值,其中Qq为设定的后验概率权值，取值范围为[1.4,1.6]。
2.根据权利要求1所述的一种带有控制***的家庭影院，其特征是，投影仪是高清晰度家庭投影仪。
3.根据权利要求2所述的一种带有控制***的家庭影院，其特征是，投影仪是3D投影仪。
CN201610620684.4A 2016-07-30 2016-07-30 一种带有控制***的家庭影院 Expired - Fee Related CN106054682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610620684.4A CN106054682B (zh) 2016-07-30 2016-07-30 一种带有控制***的家庭影院

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610620684.4A CN106054682B (zh) 2016-07-30 2016-07-30 一种带有控制***的家庭影院

Publications (2)

Publication Number Publication Date
CN106054682A CN106054682A (zh) 2016-10-26
CN106054682B true CN106054682B (zh) 2018-10-23

Family

ID=57196149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610620684.4A Expired - Fee Related CN106054682B (zh) 2016-07-30 2016-07-30 一种带有控制***的家庭影院

Country Status (1)

Country Link
CN (1) CN106054682B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106531033A (zh) * 2016-11-28 2017-03-22 国网山东省电力公司济宁供电公司 一种电控桌牌及工作状态评估方法
CN106653026A (zh) * 2017-01-13 2017-05-10 深圳前海勇艺达机器人有限公司 基于语音控制的智能机器人家庭影院***及其控制方法
CN107835379A (zh) * 2017-12-07 2018-03-23 赛拓信息技术有限公司 影院播控及多通道融合***
CN110609485B (zh) * 2019-09-23 2021-06-29 深圳市火乐科技发展有限公司 幕布控制方法、智能投影仪、幕布及相关产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113349A (zh) * 2009-06-22 2011-06-29 萨米特半导体有限责任公司 在家庭影院***中识别扬声器的方法
KR20110063954A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN104284245A (zh) * 2014-10-13 2015-01-14 北京时代沃林科技发展有限公司 一种适合家庭多人并能迎合所需的智能电视
CN104954712A (zh) * 2015-05-29 2015-09-30 蔡刚 无线投影式家庭影院

Also Published As

Publication number Publication date
CN106054682A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106054682B (zh) 一种带有控制***的家庭影院
WO2020258668A1 (zh) 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备
CN102750964B (zh) 基于表情的背景音乐控制方法及装置
Hossain et al. An emotion recognition system for mobile applications
JP7396607B2 (ja) オーディオ体験をカスタマイズするためのシステムおよび処理方法
US20170124400A1 (en) Automatic video summarization
CN108460334A (zh) 一种基于声纹和人脸图像特征融合的年龄预测***及方法
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN110609485B (zh) 幕布控制方法、智能投影仪、幕布及相关产品
CN110175526A (zh) 狗情绪识别模型训练方法、装置、计算机设备及存储介质
EP3982362A1 (en) Audio processing method, apparatus, computer device, and storage medium
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
WO2020181706A1 (zh) 植物种类的识别方法及装置
CN114187547A (zh) 目标视频的输出方法及装置、存储介质及电子装置
CN113516990A (zh) 一种语音增强方法、训练神经网络的方法以及相关设备
WO2023029503A1 (zh) 监测睡眠状态的方法、装置、电子设备和存储介质
Ekenel et al. Face recognition for smart interactions
CN112489036A (zh) 图像评价方法、图像评价装置、存储介质与电子设备
CN116665695A (zh) 虚拟对象口型驱动方法、相关装置和介质
CN110602827B (zh) 卡拉ok光效实现方法、智能投影仪及相关产品
Cheng et al. The dku audio-visual wake word spotting system for the 2021 misp challenge
CN114911449A (zh) 音量控制方法、装置、存储介质和电子设备
Paleček et al. Audio-visual speech recognition in noisy audio environments
CN109986553B (zh) 一种主动交互的机器人、***、方法及存储装置
CN114187166A (zh) 图像处理方法、智能终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180910

Address after: 210012 room 1601-1604, 3 building, Yun Mi Cheng, 19 ningshuang Road, Yuhuatai District, Nanjing, Jiangsu, China

Applicant after: Hui Gu artificial intelligence studies institute(Nanjing)Co., Ltd.

Address before: No. 372, Zhenhai District, Ningbo, Zhejiang, Zhejiang

Applicant before: Yang Chaokun

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181023

CF01 Termination of patent right due to non-payment of annual fee