CN109740544B - 听觉注意状态觉醒度识别方法、装置及存储介质 - Google Patents

听觉注意状态觉醒度识别方法、装置及存储介质 Download PDF

Info

Publication number
CN109740544B
CN109740544B CN201910013388.1A CN201910013388A CN109740544B CN 109740544 B CN109740544 B CN 109740544B CN 201910013388 A CN201910013388 A CN 201910013388A CN 109740544 B CN109740544 B CN 109740544B
Authority
CN
China
Prior art keywords
principal component
signal
stage
signals
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910013388.1A
Other languages
English (en)
Other versions
CN109740544A (zh
Inventor
陆云
王明江
韩宇菲
张啟权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201910013388.1A priority Critical patent/CN109740544B/zh
Publication of CN109740544A publication Critical patent/CN109740544A/zh
Priority to PCT/CN2019/117074 priority patent/WO2020143300A1/zh
Application granted granted Critical
Publication of CN109740544B publication Critical patent/CN109740544B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑电信号的听觉注意状态觉醒度识别方法、装置及存储介质,包括:采集得到所需要的脑电信号;基于获取的脑电信号,以及训练过程构建的第一级主成分滤波器,进行第一级基于集合经验模态分解和主成分滤波的特征抽取;基于第一级特征提取信号,以及训练过程构建的第二级主成分滤波器,进行第二级基于集合经验模态分解和主成分滤波的特征抽取;基于第二级特征提取信号,对抽取特征信号进行基于方差统计量的特征向量计算;基于特征向量计算结果以及训练过程构建的机器学习分类器,提取测试过程中基于脑电信号的听觉注意状态觉醒度。本发明实现了听觉注意状态的觉醒度识别,有助于提高听觉注意状态觉醒度识别精度和识别有效性。

Description

听觉注意状态觉醒度识别方法、装置及存储介质
技术领域
本发明涉及脑电信号特征提取与模式识别技术领域,尤其涉及一种基于脑电信号的听觉注意状态觉醒度识别方法、装置及存储介质。
背景技术
情感,是人对客观事物是否满足自己的需要而产生的态度体验,它综合了人的感觉、思想和行为的状态。目前,研究者们尚未对情感给出统一的定义,但是普遍同意:情感是在强烈的神经冲动下产生、且与大脑皮层密不可分的主观状态,它能够使人产生积极或是消极的心理反应,从而使相应的机体组织行动起来。情感是复杂的,是对人类有特殊意义的一种意识体验或经历,并包含一组协调的反应,其中可能包括了口头的、生理的、行为上的和神经上的机制。目前,被广泛接受的三种情感模型,分别是离散情感模型、维度情感模型以及基于认知评价的情感模型。然而,随着情感问题研究的深入,学者们发现离散型情感不能反映情感在表达和传递过程中的复杂性和丰富性,例如,人们在日常交往中经常表现出更为复杂细腻的情感,如思考、失望、尴尬、欣赏等。因此,维度情感模型逐渐受到研究者的关注。目前,最常用的维度型情感模型是:觉醒—效价模型(Arousal-Valence模型)。随着情感模型的发展,尽管只有少数几个情感模型现在依然被接受,但是效价—唤醒模型依然占据主要地位。绝大多数的维度模型都承认了效价和唤醒这两个维度的存在。
人的听觉,对声音的感知与认识是有一定规律的,可以分为听觉察知、听觉注意、听觉定向、听觉辨别、听觉记忆、听觉选择和听觉反馈,最后形成听觉概念,对声音信息做出正确的反应,这几个阶段是互相联系,互相促进的。听觉注意,是一种与听觉有关的心理活动,是人们为了满足某种心理需要而对声音倾注,聆听的活动,它建立在听觉察知的基础之上,并且这种声音对听者还是具有某种程度的意义,才会产生听觉注意。听觉注意帮助人类从嘈杂的声音环境中快速精确地提取出感兴趣或重要的声音(鸡尾酒会效应),并据此做出进一步的反应。在听觉注意状态下,听者生理情感与中枢神经***的觉醒,与特定情感的觉醒程度关系密切,对于人进行聆听特定的听觉事务而言,其听觉行为的成功是需要听者具有高的觉醒度。如果觉醒水平低下,将导致听觉反应迟钝、判断不准,很容易出现听觉行为的失败。因此,如何识别听觉注意状态的觉醒度,是一项非常具有实际应用价值的研究。
目前,对觉醒度的检测方法主要包括主观评价、生物反应测试、生理信号检测、生物化学法等四种主要方法。其中生理信号是直接反映人体变化的信号,在觉醒度检测中的应用越来越广泛。由于能够比较准确地反映大脑觉醒度的变化,脑电信号的研究越来越受到学者的关注。但是由于脑电信号一般比较微弱,且容易受到环境的影响,因此对于脑电信号的研究目前还属于实验室研究阶段。现有的基于脑电信号的觉醒度识别算法,其特征表示与提取,主要存在如下几个方面的局限性:识别精度不够,不能有效提取到有用的特征信息;不能有效地提取到脑电信号中的非线性特征;对脑电信号的平稳性有一定要求,脑电信号越不平稳,其提取的有效的特征模式越有限。
发明内容
本发明提供一种基于脑电信号的听觉注意状态觉醒度识别方法、装置及存储介质,利用认知脑电信号实现听觉注意状态的觉醒度识别,能有效地提高识别精度和识别有效性。
为实现上述目的,本发明提供一种基于脑电信号的听觉注意状态觉醒度识别方法,包括以下步骤:
获取待测试的脑电信号;
基于所述测试的脑电信号,以及训练过程构建的第一级主成分滤波器,进行第一级基于集合经验模态分解和主成分滤波的特征抽取;
基于第一级特征提取信号信号,以及训练过程构建的第二级主成分滤波器,进行第二级基于集合经验模态分解和主成分滤波的特征抽取;
基于第二级特征提取信号,对抽取特征信号进行基于方差统计量的特征向量计算;
基于特征向量计算结果以及训练过程构建的机器学习分类器,提取测试过程中基于脑电信号的听觉注意状态觉醒度。
其中,所述获取待测试的脑电信号的步骤之前还包括:
获取训练过程中的脑电信号;
基于所述训练过程中的脑电信号,进行第一级基于集合经验模态分解、构建第一级主成分滤波器和主成分滤波的特征抽取,以及进行第二级基于集合经验模态分解、构建第二级主成分滤波器和主成分滤波的特征抽取;
对抽取特征信号进行基于方差统计量的特征向量计算;
基于特征向量计算结果构建机器学习分类器。
其中,基于集合经验模态分解、构建主成分滤波器和主成分滤波的特征抽取的步骤包括:
获取训练过程中脑电信号的时间序列信号;
对时间序列信号进行集合经验模态分解,得到高觉醒度和低觉醒度下时间序列信号的前四阶(第1,2,3,4阶)本征模函数成分;
利用高觉醒度和低觉醒度下时间序列信号的前四阶(第1,2,3,4阶)本征模函数成分,构造主成分滤波器;
使用构建完成的主成分滤波器,对前四阶本征模函数成分进行主成分滤波处理,得到特征抽取出的四个时间序列信号。
其中,所述对时间序列信号进行集合经验模态分解的步骤包括:
假定脑电信号相空间重构的窗口长度w初始化值为1,对于长度为N一维时间序列信号t(n),n=1,2,3,···,N,添加白噪声和零均值化处理,得到信号x(n);
确定信号x(n)所有的局部极大值和极小值;
利用三次样条曲线分别对信号x(n)所有的局部极大值进行拟合,形成上包络线env_max(n);对信号x(n)所有的局部极小值点进行拟合,形成下包络线env_min(n);
计算上下包络线的均值m(n)=(env_max(n)+env_min(n))/2;
提取细节信号h(n)=t(n)–m(n);
检查h(n)是否满足本征模函数的迭代终止条件;
在满足筛选迭代终止条件后,w=w+1;得到第一个本征模函数IMF1(n)=h1,k(n),剩余信号r(n)=x(n)-IMF1(n);
判断剩余信号r(n)是否满足停止条件;
如果最终得到剩余信号r(n)为一常量或变化满足预设条件,则终止所有的迭代过程,否则,基于r(n),重复上述流程的第二步到第七步,进入下一轮迭代,直到满足迭代停止的条件;
在满足迭代停止条件后,完成时间序列信号的集合经验模态分解,得到各阶本征模函数分量。
其中,所述利用高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分,构造主成分滤波器的步骤包括:
获取高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分;
根据高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分,求出混合空间协方差矩阵;
对所述混合空间协方差矩阵进行矩阵特征分解,得到白化特征值矩阵;
基于所述白化特征值矩阵构造主成分滤波器。
其中,所述对抽取特征进行基于方差统计量的特征向量计算的步骤包括:
第二级特征提取的输入有四个时间序列信号,每个时间序列信号经过集合经验模态分解后,提取前四阶本征模函数成分进行主成分滤波器降维滤波,变为两个时间序列信号;
分别计算此两个时间序列信号的方差Z;
根据数学公式F=log10(1+Var(Z))计算得到八个特征值,组成特征向量,送给下一级的机器学习分类器。
其中,所述机器学习分类器采用的模型包括:支持向量机、线性判决器、神经网络模型。
本发明还提出一种基于脑电信号的听觉注意状态觉醒度识别装置,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。
本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时实现如上所述的方法的步骤。
相比现有技术,本发明提出的一种基于脑电信号的听觉注意状态觉醒度识别方法、装置及存储介质,其特征表示与提取是一种基于自身数据驱动的特征表示与提取,非常适合非线性、非平稳态的脑电信号特征提取,实现了如何识别听觉注意状态的觉醒度,并提高了识别精度和识别有效性。
附图说明
图1是本发明基于脑电信号的听觉注意状态觉醒度识别算法的***框图;
图2是本发明图所述的基于集合经验模态分解和主成分滤波的特征抽取流程图;
图3是本发明所涉及的时间序列信号的集合经验模态分解流程图;
图4是本发明所涉及的时间序列信号本征模函数成分的主成分滤波器构建的流程图;
图5是本发明所涉及的基于方差统计量的特征向量计算方法流程图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
具体地,请参照图1,图1是本发明提出的基于脑电信号的听觉注意状态觉醒度识别方法实施例的流程示意图。
本发明实施例提出一种基于脑电信号的听觉注意状态觉醒度识别方法,包括以下步骤:
S1,获取待测试的脑电信号;
S2,基于所述测试的脑电信号,进行待测脑电信号第一级基于集合经验模态分解,得到脑电信号的本征模函数成分,利用训练过程构建的第一级主成分滤波器,实现待测脑电信号本征模函数成分进行主成分滤波的特征抽取;
S3,基于所述第一级特征抽取信号,进行第二级基于集合经验模态分解,再利用训练过程构建的第二级主成分滤波器,对第二级基于集合经验模态分解的本征模函数成分,进行主成分滤波的特征抽取;
S4,对抽取特征信号,进行基于方差统计量的特征向量计算;
S5,基于计算所得的特征向量以及训练过程构建的机器学习分类器,实现基于脑电信号的听觉注意状态觉醒度识别。
进一步地,所述S1,获取待测试脑电信号的步骤之前还包括:
S01,获取训练的脑电信号;
S02,基于所述训练过程中的脑电信号,进行脑电信号第一级基于集合经验模态分解,得到所述训练的脑电信号的本征模函数成分;利用所述训练的脑电信号的本征模函数成分,构建第一级主成分滤波器,对脑电信号本征模函数成分进行主成分滤波的特征抽取,以及进行第二级基于集合经验模态分解、构建第二级主成分滤波器和主成分滤波的特征抽取;
S03,对抽取特征信号,进行基于方差统计量的特征向量计算;
S04,基于计算所得的特征向量,训练机器学习分类器,实现机器学习分类器的构建。
其中,基于集合经验模态分解、构建主成分滤波器和主成分滤波的特征抽取的步骤包括:
获取训练过程中的脑电信号;
对脑电信号进行集合经验模态分解,得到高觉醒度和低觉醒度下脑电信号的前四阶(第1,2,3,4阶)本征模函数成分;
利用高觉醒度和低觉醒度下脑电信号的前四阶(第1,2,3,4阶)本征模函数成分,构建主成分滤波器;
使用所构建的主成分滤波器,对前四阶本征模函数成分进行主成分滤波处理,得到特征抽取出的四个时间序列信号。
其中,所述对脑电信号进行集合经验模态分解的步骤包括:
假定脑电信号相空间重构的窗口长度w初始化值为1,对于长度为N一维时间序列信号t(n),n=1,2,3,···,N,添加白噪声和零均值化处理,得到信号x(n);
确定信号x(n)所有的局部极大值和极小值;
利用三次样条曲线分别对信号x(n)所有的局部极大值进行拟合,形成上包络线env_max(n);对信号x(n)所有的局部极小值点进行拟合,形成下包络线env_min(n);
计算上下包络线的均值m(n)=(env_max(n)+env_min(n))/2;
提取细节信号h(n)=t(n)–m(n);
检查h(n)是否满足本征模函数的迭代终止条件;
在满足筛选迭代终止条件后,w=w+1;得到第一个本征模函数IMF1(n)=h1,k(n),剩余信号r(n)=x(n)-IMF1(n);
判断剩余信号r(n)是否满足停止条件;
如果最终得到剩余信号r(n)为一常量或变化满足预设条件,则终止所有的迭代过程,否则,基于r(n),重复上述流程的第二步到第七步,进入下一轮迭代,直到满足迭代停止的条件;
在满足迭代停止条件后,完成脑电信号的集合经验模态分解,得到各阶本征模函数分量。
其中,所述利用高觉醒度和低觉醒度下脑电信号的前四阶本征模函数成分,构建主成分滤波器的步骤包括:
获取高觉醒度和低觉醒度下脑电信号的前四阶本征模函数成分;
根据高觉醒度和低觉醒度下脑电信号的前四阶本征模函数成分,求出混合空间协方差矩阵;
对所述混合空间协方差矩阵进行矩阵特征分解,得到白化特征值矩阵;
基于所述白化特征值矩阵构造主成分滤波器。
其中,所述对抽取特征信号,进行基于方差统计量的特征向量计算的步骤包括:
第二级特征提取的输入有四个时间序列信号,每个时间序列信号经过集合经验模态分解,提取前四阶(第1,2,3,4阶)本征模函数成分进行主成分滤波器降维滤波,得到两个时间序列信号;
分别计算此两个时间序列信号的方差Z;
根据数学公式F=log10(1+Var(Z))计算得到八个特征值,组成特征向量,送给下一级的机器学习分类器。
其中,所述机器学习分类器采用的模型包括:支持向量机、线性判决器、神经网络模型。
本发明提出了一种基于脑电信号的听觉注意状态觉醒度识别算法,该基于脑电信号的觉醒度识别算法,其特征表示与提取是一种基于自身数据驱动的特征表示与提取,其主要的优点,如下:
直接利用脑电信号实现听觉注意状态的高觉醒度、低觉醒度的识别;
基于脑电信号的听觉注意状态觉醒度的模式特征,不仅是基于集合经验模态分解和主成分滤波实现的特征表示与提取;还采用了一种级联的方式构建了一种深度特征表示与提取框架,是一种高效的基于自身数据驱动的特征表示与提取;
本发明提出的基于脑电信号的听觉注意状态觉醒度识别算法,由于是一种基于自身数据驱动的模式提取算法,非常适合非线性、非平稳态的脑电信号特征提取。
下面将结合附图,对本发明的技术方案和实施例进行详细的描述。
参照图1,图1是本发明基于脑电信号的听觉注意状态觉醒度识别算法的***框图。该听觉注意状态觉醒度识别算法的***框图,主要由训练和测试两个过程组成。训练过程,主要涉及4个模块,分别是:第一级基于集合经验模态分解和主成分滤波的特征抽取;第二级基于集合经验模态分解和主成分滤波的特征抽取;基于方差统计量的特征向量计算;机器学习分类器。训练过程的主要功能,是实现第一、第二主成分滤波器的构建以及机器学习分类器的训练。测试过程,设计的模块流程与训练过程的整体相同,主要是区别在于:训练过程构建的第一、第二主成分滤波器和机器学习分类器,直接被测试过程使用;测试过程不会进行第一、第二主成分滤波器的构建以及机器学习分类器的构建。因此,基于训练过程的模型参数,可实现基于脑电信号的听觉注意状态高觉醒度与低觉醒度的识别。
在图1所述的基于脑电信号的听觉注意状态觉醒度识别算法的***框图,第一级基于集合经验模态分解和主成分滤波的特征抽取模块,是一种结合集合经验模态分解和主成分滤波实现的基于自身数据驱动的特征提取算法,其流程图如图2所示。第一级基于集合经验模态分解和主成分滤波的特征抽取模块,主要涉及的三个子过程:第一子过程,时间序列信号的集合经验模态分解;本发明,第二子过程,利用前四阶(第1,2,3,4阶)本征模函数成分,构造主成分滤波器;第三子过程,使用构建完成的主成分滤波器,对前四阶本征模函数成分实施处理,从而实现第一级基于集合经验模态分解和主成分滤波的特征抽取。
在图1所述的基于脑电信号的听觉注意状态觉醒度识别算法的***框图,脑电信号经过第一级的基于集合经验模态分解和主成分滤波的特征抽取,时间序列信号的维度由原来的一维时间序列信号变成4维时间序列信号。然后,经过第一级特征提取处理后的4个时间序列信号,再进行第二级基于集合经验模态分解和主成分滤波的特征抽取。第二级基于集合经验模态分解和主成分滤波的特征抽取模块,其实现的方法和第一级的基于集合经验模态分解和主成分滤波的特征抽取算法流程相同。第一级与第二级特征提取方法通过级联方式,有效地组合成一种深度特征提取模型。此深度特征提取模型,是一种结合集合经验模态分解和主成分滤波实现的、基于自身数据驱动的自动特征提取方法。
接下来,对第一(二)级基于集合经验模态分解和主成分滤波的特征抽取模块的三个子过程的技术实现方案进行详细的说明。
进一步,图2中是集合经验模态分解的子过程技术实现的详细方案,如图3所示。主要由以下流程:
假定脑电信号相空间重构的窗口长度w初始化值为1,对于长度为N一维时间序列信号t(n),n=1,2,3,···,N;
添加白噪声和零均值化处理,得到信号x(n);
确定信号x(n)所有的局部极大值和极小值;
利用三次样条曲线分别对信号x(n)所有的局部极大值进行拟合,形成上包络线env_max(n);对信号x(n)所有的局部极小值点进行拟合,形成下包络线env_min(n);
计算上下包络线的均值m(n)=(env_max(n)+env_min(n))/2;
提取细节信号h(n)=t(n)–m(n);
检查h(n)是否满足本征模函数的迭代终止条件:
Figure BDA0001938183760000091
h1,k(i)表示第1个细节信号的第k次迭代的值,SD为迭代筛选门限值(一般取0.2-0.3),m1,1为上下包络的均值,细节信号h1,k(i)的初始值为x(n)减去上下包络线均值得到。本发明实施例取值0.2,当SD小于0.2时,本轮本征模函数分量的筛选迭代终止。
满足筛选迭代终止条件后,w=w+1;得到第一个本征模函数IMF1(n)=h1,k(n),剩余信号r(n)=x(n)-IMF1(n)。
判断剩余信号r(n)是否满足停止条件。
如果最终得到剩余信号r(n)为一常量或变化足够小,终止所有的迭代过程,否则,基于r(n),重复上述流程的流程第二步到第七步,进入下一轮迭代,直到满足迭代停止的条件。
满足迭代停止条件后,完成时间序列信号的集合经验模态分解,得到各阶本征模函数分量。
进一步,图2中构建主成分滤波器的构建的子过程技术实现的详细方案,如图4所示。主要涉及以下步骤:
第一步,根据高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分,求出混合空间协方差矩阵。假设高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分所组成的矩阵,分别为:IMF41和IMF42,长度为N的生理时间序列,则对于IMF41和IMF42表示的矩阵维度均为4×N。
第二步,求解IMF41和IMF42归一化的协方差矩阵,分别为R1和R2,其具体的数学表达式如下,
Figure BDA0001938183760000101
Figure BDA0001938183760000102
其中,trace(·)表示矩阵对角线上元素的和。
第三步,求得混合空间协方差矩阵R为,
Figure BDA0001938183760000103
Figure BDA0001938183760000104
Figure BDA0001938183760000105
分别为两种生理状态下的生理时间序列奇异谱分量IMF41和IMF42平均协方差矩阵。
第四步,对混合空间协方差矩阵R,进行特征分解,求出白化特征值矩阵。先对混合空间协方差矩阵R进行特征值分解,U和λ分别为:特征向量矩阵及其对应的特征值矩阵(特征值矩阵的特征值,以降序排列)。
R=U×λ×UT (5)
于是,白化值矩阵P可表示如下:
Figure BDA0001938183760000111
第五步,构造主成分滤波器。基于白化值矩阵,对矩阵R1和R2进行如下变换:
S1=P×R1×PT (7)
S2=P×R2×PT (8)
然后,对矩阵S1和S2做特征分解,有,
Figure BDA0001938183760000112
Figure BDA0001938183760000113
可以证明矩阵S1特征向量,和矩阵S2的特征向量矩阵是相等的,即,
B1=B2=B (11)
与此同时,两个特征值的对角阵λ1和λ2之和为单位矩阵,即:
λ1+λ2=I (12)
由于两类矩阵的特征值相加总是为1,则S1的最大特征值所对应的特征向量使S2有最小的特征值,反之亦然。白化生理时间序列到与λ1和λ2中的最大特征值对应的特征向量的变换,对于分离两个信号矩阵中的方差是最佳的。
因此,此时可以构造出最佳的主成分滤波器W,其数学形式为,
W=BT×P (13)
进一步,图2中使用构建完成的主成分滤波器对前四阶本征模函数成分实施处理的子过程,主要的技术实施方案,如以下的数学表达式:
对于训练过程,对于高觉醒度和低觉醒度的时间序列信号,经过构造的主成分滤波器W处理后,得到提取的特征Z1和Z2为:
Z1=W×IMF41 (14)
Z2=W×IMF42 (15)
对于测试过程,对于测试的时间序列信号,经过构造的主成分滤波器W处理后,得到提取的特征Z_test为:
Z_test=W×IMF4_test (16)
在图1所述的基于脑电信号的听觉注意状态觉醒度识别算法的***框图中,基于方差统计量的特征向量计算的技术实现方法,如图5所示。第二级特征提取的输入有4个时间序列信号,每个时间序列经过集合经验模态分解后,提取前四阶本征模函数成分进行主成分滤波器降维滤波后,得到两个时间序列信号,然后分别计算此两个时间序列信号的方差Z。再根据数学公式F=log10(1+Var(Z))即可得到8个特征值,组成特征向量,送给下一级的机器学习分类器。
在图1所述的基于脑电信号的听觉注意状态觉醒度识别算法的***框图中,机器学习分类器的技术实现方案,可以采用经典分类器模型,如支持向量机、线性判决器、神经网络等。
此外,本发明还提出一种基于脑电信号的听觉注意状态觉醒度识别装置,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。
此外,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时实现如上所述的方法的步骤。
与现有技术相比,本发明提出的一种基于脑电信号的听觉注意状态觉醒度识别方法、装置及存储介质,其特征表示与提取是一种基于自身数据驱动的特征表示与提取,实现了如何识别听觉注意状态的觉醒度,并提高了识别精度和识别有效性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于脑电信号的听觉注意状态觉醒度识别方法,其特征在于,包括以下步骤:
获取待测试的脑电信号;
基于所述待测试的脑电信号,进行第一级基于集合经验模态分解,再利用训练过程构建的第一级主成分滤波器,对第一级集合经验模态分解本征模函数分量进行主成分滤波的特征抽取;
基于第一级特征提取信号,进行第二级基于集合经验模态分解,再利用训练过程构建的第二级主成分滤波器,对第二级集合经验模态分解本征模函数分量进行主成分滤波的特征抽取;
基于第二级特征提取信号,对抽取特征信号进行基于方差统计量的特征向量计算;
基于特征向量计算结果以及训练过程构建的机器学习分类器,提取测试过程中基于脑电信号的听觉注意状态觉醒度;
所述获取待测试的脑电信号的步骤之前还包括:
获取训练过程中的脑电信号;
基于所述训练过程中的脑电信号,进行第一级基于集合经验模态分解、构建第一级主成分滤波器和主成分滤波的特征抽取,以及进行第二级基于集合经验模态分解、构建第二级主成分滤波器和主成分滤波的特征抽取;
对抽取特征信号进行基于方差统计量的特征向量计算;
基于特征向量计算结果构建机器学习分类器;
基于集合经验模态分解、构建主成分滤波器和主成分滤波的特征抽取的步骤包括:
获取训练过程中脑电信号的时间序列信号;
对时间序列信号进行集合经验模态分解,得到高觉醒度和低觉醒度下时间序列信号的前四阶(第1,2,3,4阶)本征模函数成分;
利用高觉醒度和低觉醒度下时间序列信号的前四阶(第1,2,3,4阶)本征模函数成分,构造主成分滤波器;
使用构建完成的主成分滤波器,对前四阶本征模函数成分进行主成分滤波处理,得到特征抽取出的四个时间序列信号。
2.根据权利要求1所述的方法,其特征在于,所述对时间序列信号进行集合经验模态分解的步骤包括:
第一步,假定脑电信号相空间重构的窗口长度w初始化值为1,对于长度为N一维时间序列信号t(n),n=1,2,3,…,N,添加白噪声和零均值化处理,得到信号x(n);
第二步,确定信号x(n)所有的局部极大值和极小值;
第三步,利用三次样条曲线分别对信号x(n)所有的局部极大值进行拟合,形成上包络线env_max(n);对信号x(n)所有的局部极小值点进行拟合,形成下包络线env_min(n);
第四步,计算上下包络线的均值m(n)=(env_max(n)+env_min(n))/2;
第五步,提取细节信号h(n)=t(n)–m(n);
第六步,检查h(n)是否满足本征模函数的迭代终止条件;
第七步,在满足筛选迭代终止条件后,w=w+1;得到本征模函数IMF1(n)=h1,k(n),剩余信号r(n)=x(n)-IMF1(n);
判断剩余信号r(n)是否满足停止条件;
如果最终得到剩余信号r(n)为一常量或变化满足预设条件,则终止所有的迭代过程,否则,基于r(n),重复上述流程的第二步到第七步,进入下一轮迭代,直到满足迭代停止的条件;
第八步,在满足迭代停止条件后,完成时间序列信号的集合经验模态分解,得到各阶本征模函数分量。
3.根据权利要求2所述的方法,其特征在于,所述利用高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分,构造主成分滤波器的步骤包括:
获取高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分;
根据高觉醒度和低觉醒度下时间序列信号的前四阶本征模函数成分,求出混合空间协方差矩阵;
对所述混合空间协方差矩阵进行矩阵特征分解,得到白化特征值矩阵;
基于所述白化特征值矩阵构造主成分滤波器。
4.根据权利要求2所述的方法,其特征在于,所述对抽取特征信号进行基于方差统计量的特征向量计算的步骤包括:
第二级特征提取的输入有四个时间序列信号,每个时间序列信号经过集合经验模态分解后,提取前四阶本征模函数成分进行主成分滤波器降维滤波,得到两个时间序列信号;
分别计算此两个时间序列信号的方差Z;
根据数学公式F=log10(1+Var(Z))计算得到八个特征值,组成特征向量,送给下一级的机器学习分类器。
5.根据权利要求4所述的方法,其特征在于,所述机器学习分类器采用的模型包括:支持向量机、线性判决器、神经网络模型。
6.一种基于脑电信号的听觉注意状态觉醒度识别装置,其特征在于,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时实现如权利要求1-5中任一项所述的方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时实现如权利要求1-5中任一项所述的方法的步骤。
CN201910013388.1A 2019-01-07 2019-01-07 听觉注意状态觉醒度识别方法、装置及存储介质 Expired - Fee Related CN109740544B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910013388.1A CN109740544B (zh) 2019-01-07 2019-01-07 听觉注意状态觉醒度识别方法、装置及存储介质
PCT/CN2019/117074 WO2020143300A1 (zh) 2019-01-07 2019-11-11 听觉注意状态觉醒度识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910013388.1A CN109740544B (zh) 2019-01-07 2019-01-07 听觉注意状态觉醒度识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109740544A CN109740544A (zh) 2019-05-10
CN109740544B true CN109740544B (zh) 2021-09-07

Family

ID=66363710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910013388.1A Expired - Fee Related CN109740544B (zh) 2019-01-07 2019-01-07 听觉注意状态觉醒度识别方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN109740544B (zh)
WO (1) WO2020143300A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740544B (zh) * 2019-01-07 2021-09-07 哈尔滨工业大学(深圳) 听觉注意状态觉醒度识别方法、装置及存储介质
CN112347087B (zh) * 2020-09-30 2024-05-03 中国铁路上海局集团有限公司 一种高铁沿线风速观测数据质量控制方法
CN112364710B (zh) * 2020-10-20 2024-04-05 西安理工大学 一种基于深度学习算法的植物电信号分类识别方法
CN112989918B (zh) * 2020-12-25 2024-05-28 北京工业大学 一种基于核递推最小二乘自适应追踪算法的脑电信号在线预测方法
CN114218986B (zh) * 2021-12-10 2024-05-07 中国航空综合技术研究所 基于eeg脑电信号数据的状态分类方法
CN114638253B (zh) * 2022-02-16 2024-07-05 南京邮电大学 基于情感脑电特征融合优化机制的身份识别***及方法
CN115034272B (zh) * 2022-06-29 2024-06-28 上海术理智能科技有限公司 基于迭代学习的运动想象脑电信号分类方法
CN115469287A (zh) * 2022-08-31 2022-12-13 广东工业大学 一种用于小型无人机识别的微多普勒特征分级分析方法
CN116172580B (zh) * 2023-04-20 2023-08-22 华南理工大学 一种适用于多声源场景的听觉注意对象解码方法
CN117349603B (zh) * 2023-12-06 2024-03-12 小舟科技有限公司 脑电信号的自适应降噪方法及装置、设备、存储介质
CN117860273B (zh) * 2024-03-13 2024-06-11 小舟科技有限公司 脑电信号智能降噪方法、***、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983162A (en) * 1996-08-12 1999-11-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Computer implemented empirical mode decomposition method, apparatus and article of manufacture
CN102568205B (zh) * 2012-01-10 2013-12-04 吉林大学 非常态下基于经验模态分解和分类组合预测的交通参数短时预测方法
PL224517B1 (pl) * 2013-09-03 2017-01-31 Silvermedia Spółka Z Ograniczoną Odpowiedzialnością System rejestracji i obróbki sygnałów do diagnostyki układu słuchowego i sposób rejestracji i obróbki sygnałów do diagnostyki układu słuchowego
CN104091172B (zh) * 2014-07-04 2018-03-16 北京工业大学 一种运动想象脑电信号的特征提取方法
CN104833535A (zh) * 2015-05-15 2015-08-12 西南交通大学 一种铁道车辆车轮踏面擦伤的检测方法
CN107239142A (zh) * 2017-06-01 2017-10-10 南京邮电大学 一种结合公共空间模式算法和emd的脑电信号特征提取方法
CN108038429A (zh) * 2017-11-30 2018-05-15 西安交通大学 一种运动执行的单次脑电特征提取分类方法
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
CN109039500A (zh) * 2018-08-28 2018-12-18 广东工业大学 一种频谱感知方法、装置、设备、***及存储介质
CN109740544B (zh) * 2019-01-07 2021-09-07 哈尔滨工业大学(深圳) 听觉注意状态觉醒度识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN109740544A (zh) 2019-05-10
WO2020143300A1 (zh) 2020-07-16

Similar Documents

Publication Publication Date Title
CN109740544B (zh) 听觉注意状态觉醒度识别方法、装置及存储介质
CN109199414B (zh) 一种基于脑电信号的视听诱发情绪识别方法及***
CN109165556B (zh) 一种基于grnn身份识别方法
CN108776788B (zh) 一种基于脑电波的识别方法
Bashar et al. Human identification from brain EEG signals using advanced machine learning method EEG-based biometrics
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN105615834A (zh) 基于睡眠脑电信号的睡眠分期方法及装置
CN103092971B (zh) 一种用于脑机接口中的分类方法
CN105956624A (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN110111769B (zh) 一种电子耳蜗控制方法、装置、可读存储介质及电子耳蜗
CN109871831B (zh) 一种情感识别方法及***
Köster et al. A two-layer model of natural stimuli estimated with score matching
CN109657646B (zh) 生理时间序列的特征表示与提取方法、装置及存储介质
CN112488002A (zh) 基于n170的情绪识别方法及识别***
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN112784892A (zh) 一种脑电运动意图识别方法及***
CN108470182B (zh) 一种用于非对称脑电特征增强与识别的脑-机接口方法
CN114091529A (zh) 一种基于生成对抗网络数据增强的脑电情感识别方法
CN116687406B (zh) 情绪识别方法、装置、电子设备及存储介质
CN111466930A (zh) 一种基于脑电信号的视听诱发情绪识别方法及***
CN116796267A (zh) 基于EEGNet和LSTM并行网络的脑电信号多分类方法及***
CN111736690A (zh) 基于贝叶斯网络结构辨识的运动想象脑机接口
CN109063652B (zh) 一种信号处理方法、***及计算机存储介质
CN115844402A (zh) 注意力预测方法、装置、电子设备及计算机可读存储介质
CN113662561B (zh) 子带级联共空间模式的脑电特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210907

Termination date: 20220107