CN107507629B - 热触觉音乐感知***及其控制方法 - Google Patents
热触觉音乐感知***及其控制方法 Download PDFInfo
- Publication number
- CN107507629B CN107507629B CN201710702422.7A CN201710702422A CN107507629B CN 107507629 B CN107507629 B CN 107507629B CN 201710702422 A CN201710702422 A CN 201710702422A CN 107507629 B CN107507629 B CN 107507629B
- Authority
- CN
- China
- Prior art keywords
- music
- emotion
- temperature
- music file
- hot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008451 emotion Effects 0.000 claims abstract description 121
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 239000004065 semiconductor Substances 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001816 cooling Methods 0.000 claims description 14
- 230000008909 emotion recognition Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 230000002996 emotional effect Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 230000005284 excitation Effects 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036413 temperature sense Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/18—Details of the transformation process
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L2021/065—Aids for the handicapped in understanding
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种热触觉音乐感知***及其控制方法，包括音乐文件库内依次连接的音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件缓冲区与主控制器连接，该主控制器获取音乐文件缓冲区任一音乐文件，主控制器还连接有音乐情感识别器、音乐播放控制***、音乐情感热触控制***；音乐播放控制***、音乐情感热触控制***对任一音乐文件同步进行的声音播放、热触觉感知控制。有益效果：实现听觉与热触觉同步交互感知音乐旋律及音乐情感，加深人们对音乐情感的感知度，让人们身临其境，感知音乐。
Description
技术领域
本发明涉及音乐感知技术领域，具体的说是一种热触觉音乐感知***及其控制方法。
背景技术
音乐是以乐音为表现媒介和载体。在时间中展现用来表达人们的思想情感、反映现实生活的艺术体验与娱乐方式。迄今为止，人们感知音乐的主要方式仍然是凭借听觉来实现，但是音乐的表现形式和情感信息的传达并不仅仅局限在声学情景中。
古***曲，舞剑助兴，手、眼、步和身法做到高度协调，节奏分明，劲力充足，以求达到十分精妙的听觉和视觉上的音乐体验。现代社会，人们借助声、光、电等高科技载歌载舞、体验音乐，达到美妙的视、听效果和情感交互，如音乐晚会、音乐喷泉等。由此可见，从古至今，这些行为都反映了人们渴望通过听觉、视觉和触觉等多感知模式同步交互，感知乐音的音高、响度、时长和音色，体验音乐的节奏、旋律、和声、调式和调性等特征，最终实现人与音乐的情感同步交互，达到一种美妙的效果与功能。
当前，随着人们的物质生活水平的逐年增高，人们对精神生活的需求提出了更高的要求。追求物质文明和精神文明是社会进步的内在驱动力，信息传播的方式正在从“多媒休”时代走向“全媒体”时代，人们不再只满足于基于“听-视觉”感知音乐。
再者，对于听觉残障人群，不能够“听”到音乐，但是他们也渴望能够体验音乐的情感、接受音乐教育和从事音乐表演。近代心理学研究成果表明,音乐感知是多感知***协同的认知活动,并不仅仅局限于听觉，在适当的刺激方式下，视觉和触觉也能够能通过联觉感知音乐。2007年，Edward等人的研究成果表明，听觉残障人士用来处理触觉信息的大脑部位与正常人处理听觉信息的部位相同，这就意味着听觉残障人士能够利用身体皮肤的触觉感知音乐，能够像正常人一样体验音乐。这些研究成果为开展“触觉辅助或替代听觉感知音乐”的相关研究奠定了生理和心理基础。
根据上述陈述，有必要提出一种将听觉和触觉相结合的音乐感知技术，来满足人们对音乐感知的需求。
发明内容
针对上述问题，本发明提供了一种热触觉音乐感知***及其控制方法，实现基于听觉和热触觉交互的模式对音乐旋律及音乐情感进行感知，加深人们对音乐情感的感知。
为达到上述目的，本发明采用的具体技术方案如下：
一种热触觉音乐感知***，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制***，该音乐播放控制***对任一音乐文件A进行音频声音播放控制，其关键在于：所述音乐文件缓冲区的缓冲数据输出端与主控制器连接；所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的热触控制输出端连接有音乐情感热触控制***；该音乐情感热触控制***任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制***、音乐情感热触控制***对任一音乐文件A进行的声音播放控制、热触觉感知控制均同步。
通过上述设计，音乐情感识别器对任一音乐文件A进行情感识别，结合音乐播放控制***和音乐情感热触控制***对任一音乐文件进行同步控制。当任一音乐文件进行播放的同时音乐情感热触控制***同步获取该音乐文件的情感类型，调节感知温度，进行热触觉感知。实现基于听和热触觉交互的音乐感知模式。提高人们对音乐情感的感知度，让人们身临其境，感知音乐。
再进一步描述，所述音乐情感热触控制***包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器。所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体皮肤表面。
采用上述方案，采用第二温度传感器用于检测人体的体表温度，将半导体温度调节器的温度检测端贴附在人体体表，第一温度传感器用于检测所述半导体温度调节器的温度，当音乐播放时，随着音乐情感的变化，半导体温度调节器同时对贴附在人体体表的触感温度进行调节，同时采用第二温度传感器检测人体体表的温度，来获得人体体表最佳温度，使温度触感与音乐情感紧密结合，实现音乐热触感知。
再进一步描述，所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式。所述热触控制器水冷控制输出端连接有水冷***，所述水冷***贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温。所述第一温度传感器、第二温度传感器均为数字式红外温度传感器。所述热触控制器的显示输出端上连接有温度显示器。所述热触控制器的报警输出端上连接有温度阈值报警设备。
通过上述技术方案，提高了半导体温度调节器与音乐情感的联系紧密度，使温度调节范围更大，增强人们对音乐的感知度。同时采用水冷***，加快了温度调节速度，使音乐情感快速转变，使温度感知也能快速调节。温度实时显示，使人们对音乐情感了解更加清晰。
一种热触觉音乐感知***的控制方法，包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；包括音乐播放控制***对任一音乐文件A进行音频声音播放控制的步骤；包括音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的步骤。
再进一步描述，所述音频声音播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
再进一步描述，所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
其中，建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
该音乐文件为一段时长为Z秒的连续时序非平稳音乐信号。
音乐文件的情感标签是基于效价-激励情感模型获取音乐文件的情感分类的真实效价值和真实激励值。
其中，效价-激励情感模型(Valence-Arousal,V-A)可以用直角坐标系中效价-激励情感平面来描述，将人们的情感量化到效价为横坐标和激励为纵坐标的二维直角坐标系中，把情感映射为效价-激励坐标系中的一个点，坐标为：(V，A)。其中，V代表效价值，A代表激励值，V和A均分布在[-1,1]区间。激励值A表示的是兴奋或沉静程度的指标，A值越接近1表示对情感强烈程度越高，反之越低；效价值V表示的是正面或负面情绪的指标，V值越接近1表示具有越正面的情感，反之表示具有越多负面的情感。
对音乐文件进行预处理包括分帧和加窗处理，其中，对每一个音乐文件进行分帧操作的具体内容为：
选取分帧起始点，从起始点开始每隔z1秒进行一次注释，每帧滑动长度为z2秒，x％窗长度重叠的矩形窗对数据库中的每个音乐文件进行分帧；
分别对每帧内的音乐信号进行感情识别特征值提取和统计，得到对应于音乐文件的动态激励、效价注释的局部特征数据集合；
对该音乐信号中所有帧的感情识别特征值进行提取和统计，得到与整个音乐文件静态激励、效价注释相对应的全局特征数据集合；
对每一个音乐文件进行加窗操作的具体内容为：
在音乐信号的时间序列上直接与窗函数W作点乘运算：
其中，w(n)＝0.5[1-cos(2πn/(M+1))]。
感情识别特征值提取的具体内容为：
基于效价-激励情感模型，确定音乐训练处理文件库中所有音乐文件的音乐情感特性以及每个音乐情感特性对应的所有取值，得到训练集D；
从训练集D中随机选择一个样本R，然后遵循距离度量规则：
从和R同类的样本中寻找最近邻样本H，从和R不同类的样本中寻找最近邻样本M；
根据更新权重规则
更新每个特征的权重；其中，A为特征的维度标量，其中函数diff(A,I1,I2)被定义为
描述音乐情感特性的特征主要包括能量、节奏、时域、频谱以及和声等五大类特征。抽取的特征可以为：均值(Mean)、标准差(Std)、协方差(Cov)、一阶差分均值(Diff ord)、二阶差分(dd)、斜率(Slope)、周期熵(PeriodEntropy)、峰位置(peak_PeakPos)、幅度(PeakMagMean)、周期频率(PeriodFreq)、幅度(PeriodAmp)。
本发明的特征提取器(features extractor)包括：
(1)Matlab：Daubechies小波分解；
(2)声音描述工具箱(Sound Description toolbox,SDT)；
(3)音乐信息检索工具箱(Music Information Retrieval toolbox,MIRtoolbox)。
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器(SVM)、模糊神经网络分类器(NFNC)、K邻域分类器(KNN)、模糊K邻域分类器(FKNN)、贝叶斯分类器(Bayes)和线性判别式分类器(LDA)；其中，支持向量机分类器的具体内容为：
建立一个分类超平面作为决策曲面，使最优超分类平面能够实现与最近训练数据点具有最大距离。其理论基础是结构风险最小化近似。支持向量x(i)和输入空间抽取向量x之间的内积核是构造算法的关键。
设有线性可分的两类样本(x1,y1)，(x2,y2)，…，(xn,yn)，xn∈Rn，yn＝{0,1}，yn＝0表示xn属于C1类，yn＝1表示xn属于C2类，可采用超平面进行分离。
其中，超平面公式为w·x+b＝0；
支持向量机分类算法将寻找超平面解的问题可以转化为求解式
对应的预测函数为：
如果问题属于线性不可分，则公式
中引入松驰因子ξi≥0，则约束条件可变为：
yi|w·x+b|+ξi≥1
目标函数则改为求Φ(w,ξ)最小值，其中
其中C为惩罚参数；判别函数也相应的变为：
K(x,xi)表示对偶形式的内积运算，可以采用满足Mercer条件的核函数K(x,xi)来实现空间映射。本申请采用核函数是径向基核函数，常用的支持向量机核函数有，相关参数通过寻优确定。
径向基核函数：K(x,xi)＝exp(-γ||x-xi||2),γ＞0。
K邻域分类器的具体内容为：
如果一个样本在特征空间中的K个最相似(特征空间中距离最近)样本中大多数属于某一个类，则该样本也属于该类。设已知的训练样本为(x1,y1)，(x2,y2)，…，(xn,yn)，xi为特征向量集，yi为类别标签集。给定距离测度，如欧式距离，算法参数K。则可以在训练样本中找出与输入x距离最近的K个点，并将该K个点的集合记录为NK(x)，针对NK(x)集合利用分类决策方法判定输入x属于那个类别
其中I∈{1,0}为指示函数，当yi＝cj时I＝1；否则I＝0。上述公式阐述了简单但是具有较好鲁棒效果的分类思想，其含义是在NK(x)集合中哪类占多数则输入属于该类别。设覆盖NK(x)区域的类别是cj，那么计算错误分类率有，
如果要使得错误分类率最小，那么等效于
最大，因此KNN算法在NK(x)集合中采用多数表决方法等价于错误分类率最小，即经验风险最小化。此外，值得注意的是在KNN算法中生成NK(x)集合时使用了距离度量的定义。在算法中距离除了常用的能够表示两个样本相近似程度的欧式距离外，也可以使用更一般的距离度量，如Lp距离：
模糊神经网络分类器的具体内容为：模糊神经网络分类(Neuro Fuzzy networksclassification,NFNC)是将模糊分类和神经网络相结合的分类算法。其在神经网络结构的分类器中引入模糊隶属函数及模糊规则，并采用反向误差传递方法通过对已知数据的学习得到模糊隶属函数的参数和模糊规则。模糊神经网络一般包含输入层，模糊隶属函数层，模糊规则层，归一化层和输出层。
设输入层的输入为[x1,x2,...,xn]，输入层输出经过第二层的模糊函数映射为模糊集合的隶属度
其中，i为输出特征维度，m为定义的模糊隶属度分割个数。在音乐情感分类中我们将模糊隶属度分割个数m定义为4，即第二层中对应有4个节点与输入层中输入xi连接。
模糊函数
选用了高斯函数：
其中，cij和σij分别表示模糊隶属函数的中心和宽度，该参数需要通过对样本的学习获得。
经过模糊函数处理后可以生成相应的模糊规则，模糊隶属函数度层和模糊规则层间采用全连接结构，可通过计算出每条规则的权重
并在归一化层中，采用公式
对模糊规则的适用度进行归一化。
最后为输出层，给出的分类预测
模糊神经网络分类器参数以
为代价函数，通过误差反向传播和最快梯度下降学习算法求得，其中yo为实际输出，yi为期望输出。
模糊K邻域分类器、贝叶斯分类器和线性判别式分类器，均为现有技术。在此不作赘述。
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器。
为了更好的实现音乐情感分类，受采用弱分类器组合可以得到强分类器的启发，采用中值投票将支持向量机、模糊神经网络、K邻域、模糊K邻域、贝叶斯分类器和线性判别式分析等六个分类器组成一个新混合分类器。
针对音乐情感分类设计的混合分类器。在混合分类器中包含了六个独立的子分类器和中值投票决策算法。首先，特征空间的数据分别输入到独立的分类器，并输出预测类音乐情感标签和分类准确度；然后，每个独立分类器的输出结果用中值投票决策算法来生成混合分类器，提高分类准确度。
假设在混合分类器中每个子分类器对第t个测试样本预测的结果为p(i,t)，i∈{1,2,...,6}，六个子分类器的输出构成的投票向量为H(t)：
H(t)＝{p(i,t)}
设计的中值投票决策算法实现六个子分类器融合的过程如下：
(1)当投票向量H(t)的中值不等于均值时，整个混合分类器的预测输出为H(t)中重复频次最高的类标记输出；
(2)如果投票向量H(t)的中值等于均值时，那么将采用六个分类器对训练集合预测精度最高的分类器输出作为混合分类器的输出。
再进一步描述，所述音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S21：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S22：将半导体温度调节器贴附在人体表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体表面；
S23：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S24：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S25：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
本发明的有益效果：听音乐时，结合音乐情感识别器、音乐播放控制***、音乐情感热触控制***实现基于听觉和热触觉交互的模式对音乐旋律及音乐情感进行感知，加深人们对音乐情感的感知度。让人们身临其境，感知音乐。
附图说明
图1是本发明的***结构框图；
图2是本发明的温度调节响应示意图；
图3是本发明的音乐情感识别控制流程图；
图4是本发明的音乐情感混合分类器结构图；
图5是本发明的建立音乐情感混合分类流程图；
图6是本发明的对任一音乐文件A进行音频热触觉感知控制流程图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
从图1可以看出，一种热触觉音乐感知***，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制***，该音乐播放控制***对任一音乐文件A进行音频声音播放控制，所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的热触控制输出端连接有音乐情感热触控制***；该音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制***和、音乐情感热触控制***对任一音乐文件A进行的声音播放控制和热触觉感知控制均同步。
从图1可以看出，所述音乐情感热触控制***包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器；所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体皮肤表面。
其中平静类情感的音乐，温度设置范围为25-35℃；欢快类情感的音乐，温度设置范围为35-45℃；悲伤类情感的音乐，温度设置范围为10-20℃；愤怒类情感的音乐，温度设置范围为45-60℃。
在本实施例中，平静类情感的音乐，温度设置为30℃；欢快类情感的音乐，温度设置为40℃；悲伤类情感的音乐，温度设置为14℃；愤怒类情感的音乐，温度设置为49℃。
在本实施例中，所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式。
本实施例中，选用C1206型帕尔贴元件作为温度发生器件，C1206型与普通型相比寿命更长，可达3年以上；制冷(热)效能为70％，比普通型提高25％，制冷(热)速度更快；多块使用时分压稳定，不会因为分压不均造成器件损坏。
所述热触控制器水冷控制输出端连接有水冷***，所述水冷***贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温。
从图2可以看出，水冷***结合半导体温度调节器，能实现升温或降温速率大于10℃/s。
所述第一温度传感器、第二温度传感器均为数字式红外温度传感器；所述热触控制器的显示输出端上连接有温度显示器；所述热触控制器的报警输出端上连接有温度阈值报警设备。
一种热触觉音乐感知***的控制方法，包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；包括音乐播放控制***对任一音乐文件A进行音频声音播放控制的步骤；包括音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的步骤。
所述音频声音播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
从图3可以看出，所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
其中，从图5可以看出，建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器、模糊神经网络分类器、K邻域分类器、模糊K邻域分类器、贝叶斯分类器和线性判别式分类器；
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器，具体见图5。
为了更好的实现音乐情感分类，采用中值投票将支持向量机、模糊神经网络、K邻域、模糊K邻域、贝叶斯分类器和线性判别式分析等六个分类器组成一个新混合分类器，具体见图4。
从图4可以看出，在混合分类器中包含了六个独立的子分类器和中值投票决策算法。首先，特征空间的数据分别输入到独立的分类器，并输出预测类标签和分类准确度。接着，每个独立分类器的输出结果用中值投票决策算法来生成混合分类器。
设在混合分类器中每个子分类器对第t个测试样本预测结果为p(i,t)，i∈{1,2,...,6}，六个子分类器的输出构成的投票向量为H(t)，
H(t)＝{p(i,t)}
设计的中值投票决策算法实现六个子分类器融合过程如下：
(1)当投票向量H(t)的中值不等于均值时，整个混合分类器的预测输出为H(t)中重复频次最高的类标记输出；
(2)如果投票向量H(t)的中值等于均值时，那么将采用六个分类器对训练集合预测精度最高的分类器输出作为混合分类器的输出。
在图4中，SVM为支持向量机分类器、NFNC为模糊神经网络分类器、KNN为K邻域分类器、FKNN为模糊K邻域分类器、Bayes为贝叶斯分类器和LDA为线性判别式分类器。
优选地，如图6，所述音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S21：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S22：将半导体温度调节器贴附在人体表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体表面；
S23：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S24：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S25：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。
Claims (7)
1.一种热触觉音乐感知***，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制***，该音乐播放控制***对任一音乐文件A进行音频声音播放控制，其特征在于：
所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的热触控制输出端连接有音乐情感热触控制***；该音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制***、音乐情感热触控制***对任一音乐文件A进行的声音播放控制、热触觉感知控制均同步；
所述音乐情感热触控制***包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器；所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体皮肤表面。
2.根据权利要求1所述的热触觉音乐感知***，其特征在于：
所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式；
所述热触控制器水冷控制输出端连接有水冷***，所述水冷***贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温；
所述第一温度传感器、第二温度传感器均为数字式红外温度传感器；
所述热触控制器的显示输出端上连接有温度显示器；
所述热触控制器的报警输出端上连接有温度阈值报警设备。
3.一种如权利要求1-2任意一项所述的热触觉音乐感知***的控制方法，其特征在于：
包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；
包括音乐播放控制***对任一音乐文件A进行音频声音播放控制的步骤；
包括音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的步骤。
4.根据权利要求3所述的热触觉音乐感知***的控制方法，其特征在于所述音频声音播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
5.根据权利要求3所述的热触觉音乐感知***的控制方法，其特征在于所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
6.根据权利要求3所述的热触觉音乐感知***的控制方法，其特征在于建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器、模糊神经网络分类器、K邻域分类器、模糊K邻域分类器、贝叶斯分类器和线性判别式分类器；
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器。
7.根据权利要求3所述的热触觉音乐感知***的控制方法，其特征在于所述音乐情感热触控制***对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S21：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S22：将半导体温度调节器贴附在人体皮肤表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体皮肤表面；
S23：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S24：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S25：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710702422.7A CN107507629B (zh) | 2017-08-16 | 2017-08-16 | 热触觉音乐感知***及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710702422.7A CN107507629B (zh) | 2017-08-16 | 2017-08-16 | 热触觉音乐感知***及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507629A CN107507629A (zh) | 2017-12-22 |
| CN107507629B true CN107507629B (zh) | 2020-08-25 |
Family
ID=60690974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710702422.7A Active CN107507629B (zh) | 2017-08-16 | 2017-08-16 | 热触觉音乐感知***及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507629B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797857A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN110085263B (zh) * | 2019-04-28 | 2021-08-06 | 东华大学 | 一种音乐情感分类和机器作曲方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853668A (zh) * | 2010-03-29 | 2010-10-06 | 北京中星微电子有限公司 | 一种将midi音乐生成动画的方法和*** |
| CN102142253A (zh) * | 2010-01-29 | 2011-08-03 | 富士通株式会社 | 语音情感识别设备及方法 |
| CN104012098A (zh) * | 2011-12-21 | 2014-08-27 | 高通股份有限公司 | 使用触觉技术提供增强的媒体体验 |
| CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
| KR20160140037A (ko) * | 2015-05-29 | 2016-12-07 | (주)파이브텍 | 감성 기반 색온도 제어를 위한 감성 매칭 모듈 및 이를 갖는 감성 발광 시스템 |
| CN106845391A (zh) * | 2017-01-18 | 2017-06-13 | 中国地质大学（武汉） | 一种家居环境下的氛围场识别方法及识别*** |
-
2017
- 2017-08-16 CN CN201710702422.7A patent/CN107507629B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142253A (zh) * | 2010-01-29 | 2011-08-03 | 富士通株式会社 | 语音情感识别设备及方法 |
| CN101853668A (zh) * | 2010-03-29 | 2010-10-06 | 北京中星微电子有限公司 | 一种将midi音乐生成动画的方法和*** |
| CN104012098A (zh) * | 2011-12-21 | 2014-08-27 | 高通股份有限公司 | 使用触觉技术提供增强的媒体体验 |
| CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
| KR20160140037A (ko) * | 2015-05-29 | 2016-12-07 | (주)파이브텍 | 감성 기반 색온도 제어를 위한 감성 매칭 모듈 및 이를 갖는 감성 발광 시스템 |
| CN106845391A (zh) * | 2017-01-18 | 2017-06-13 | 中国地质大学（武汉） | 一种家居环境下的氛围场识别方法及识别*** |
Non-Patent Citations (1)
| Title |
|---|
| "Dimensional Music Emotion Recognition by Valence-Arousal Regression";Junjie Bai et.al;《2016 IEEE 15th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC)》;20170223;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507629A (zh) | 2017-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107464572B (zh) | 多模式交互音乐感知***及其控制方法 | |
| Zhang et al. | Learning affective features with a hybrid deep model for audio–visual emotion recognition | |
| CN110853618B (zh) | 一种语种识别的方法、模型训练的方法、装置及设备 | |
| Xing et al. | Exploiting EEG signals and audiovisual feature fusion for video emotion recognition | |
| Zeng et al. | Audio–visual affective expression recognition through multistream fused HMM | |
| US7729914B2 (en) | Method for detecting emotions involving subspace specialists | |
| Chu et al. | Environmental sound recognition with time–frequency audio features | |
| Wu et al. | Realistic human action recognition with multimodal feature selection and fusion | |
| Wang et al. | The acoustic emotion Gaussians model for emotion-based music annotation and retrieval | |
| Wang et al. | Modeling the affective content of music with a Gaussian mixture model | |
| Kächele et al. | Fusion of audio-visual features using hierarchical classifier systems for the recognition of affective states and the state of depression | |
| Kim et al. | Improved emotion recognition with a novel speaker-independent feature | |
| CN110838286A (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
| Khan et al. | Emotion Based Signal Enhancement Through Multisensory Integration Using Machine Learning. | |
| CN108366732A (zh) | 困倦起始检测 | |
| Deng et al. | Dynamic time warping for music retrieval using time series modeling of musical emotions | |
| Gumelar et al. | Human voice emotion identification using prosodic and spectral feature extraction based on deep neural networks | |
| Kabani et al. | Emotion based music player | |
| Wang et al. | Sound event recognition using auditory-receptive-field binary pattern and hierarchical-diving deep belief network | |
| CN107507629B (zh) | 热触觉音乐感知***及其控制方法 | |
| Prasomphan | Detecting human emotion via speech recognition by using speech spectrogram | |
| Abdulsalam et al. | Emotion recognition system based on hybrid techniques | |
| Cornejo et al. | Audio-visual emotion recognition using a hybrid deep convolutional neural network based on census transform | |
| Kim et al. | Dual-function integrated emotion-based music classification system using features from physiological signals | |
| KR100958008B1 (ko) | 음악 분위기에 따른 감성 조명 연출 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221221 Address after: 201800 Area A, Building 6, No. 485, Xiangjiang Road, Jiading District, Shanghai Patentee after: Shanghai e-Car Technology Co.,Ltd. Address before: No. 20, East Road, University City, Chongqing, Shapingba District, Chongqing Patentee before: Chongqing University of Science & Technology |
|
| TR01 | Transfer of patent right |