CN111134692A - 一种脑电信号多维度特征图片序列的生成方法 - Google Patents

一种脑电信号多维度特征图片序列的生成方法 Download PDF

Info

Publication number
CN111134692A
CN111134692A CN201911116301.XA CN201911116301A CN111134692A CN 111134692 A CN111134692 A CN 111134692A CN 201911116301 A CN201911116301 A CN 201911116301A CN 111134692 A CN111134692 A CN 111134692A
Authority
CN
China
Prior art keywords
electroencephalogram
characteristic
matrix
seconds
electroencephalogram signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911116301.XA
Other languages
English (en)
Inventor
李幼军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201911116301.XA priority Critical patent/CN111134692A/zh
Publication of CN111134692A publication Critical patent/CN111134692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:S1、生成正方形矩阵;S2、提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;S5、从原始信号形成脑电特征矩阵,再形成脑电特征序列;S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;S7、构建脑电多维度特征帧序列,本发明对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。

Description

一种脑电信号多维度特征图片序列的生成方法
技术领域
本发明涉及脑电信号技术领域,尤其涉及一种脑电信号多维度特征图片序列的生成方法。
背景技术
在情感是人类智能的一个重要标志,因此作为人工智能的重要标志之一就是机器能够理解人类的情感。通过人类的行为、面部表情或者生理信号进行的情感识别逐渐成为研究的热点。然而,在某些社会场景中人们经常有意的通过改变声音或者掩盖表情来遮掩自己的内心的真实情感,出于这个原因,研究者更趋向于通过脑电信号、眼动信号、体温信号、血压信号以及肌电信号这类生理信号对人们的真实情感状态进行识别。其中,脑电信号由于直接反映了人们大脑的活动状态,从而更加受到研究者的重视,因此需要提出一种脑电信号特征帧生成方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的一种脑电信号多维度特征图片序列的生成方法。
为了实现上述目的,本发明采用了如下技术方案:
一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20***平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
优选的,所述S1步骤的正方形矩阵为9×9脑电特征方阵。
优选的,所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
优选的,所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:P(electrode,sequence,trial,subject),其中,P是一个(32×60×40×32)的一个矩阵。
优选的,所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
优选的,所述P3步骤的计算公式为:
Figure RE-715686DEST_PATH_IMAGE002
其中,Fi为规范化之前的第i个时长窗口所对应的特征值, Fi 为其规范化后的特征值,Fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值,Fmin为最小特征值。
优选的,所述P3步骤中的计算公式为:
Figure RE-668598DEST_PATH_IMAGE004
其中V(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值, V (m,n) 是围绕灰色点的上下左右四个点的特征值。
优选的,所述的下标超出了0或者8的范围,那么其值为0,K是分子中非0元素的个数,默认值设置为1。
本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成,通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征,生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律,对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。
附图说明
图1为本发明的DEAP数据集中测试脑电电极布局及泛化的脑电特征方阵图;
图2为本发明的构造脑电多维度特征帧序列的流程图;
图3为本发明的放大的脑电特征帧图片、脑电电极标号和插值等高线图;
图4为本发明的不同时长窗口生成的脑电特征序列图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20***平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
优选的,所述S1步骤的正方形矩阵为9×9脑电特征方阵。
优选的,所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
优选的,所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:
P(electrode,sequence,trial,subject),其中,P是一个(32×60×40×32)的一个矩阵。
优选的,所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
优选的,所述P3步骤的计算公式为:
Figure RE-527970DEST_PATH_IMAGE006
其中,Fi为规范化之前的第i个时长窗口所对应的特征值, Fi 为其规范化后的特征值,Fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值,Fmin为最小特征值。
优选的,所述P3步骤中的计算公式为:
Figure RE-136806DEST_PATH_IMAGE008
其中V(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值, V (m,n) 是围绕灰色点的上下左右四个点的特征值。
优选的,所述的下标超出了0或者8的范围,那么其值为0,K是分子中非0元素的个数,默认值设置为1。
本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成,通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征,生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律,对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。
实施例
从图4中,展示了通过不同时长窗口形成的脑电多维度特征帧序列,由于较小的时长窗口对应序列中包含的帧数较多,因此在图中我们仅取每个序列的前五个特征帧进行展示,图中,每一行代表的是同一个时长窗口对应不同时刻的脑电特征帧图片,每一列代表的是不同时长窗口对应的相同序号的脑电特征帧图片。以图中前两行的脑电特征帧为例,第一行的脑电多维度特征帧序列用5帧的图片展示了脑电信号前5秒钟的能量变化特征,而第二行用前三帧展示了6秒钟内脑电信号的能量变化。假设用MFI(m,n)(MFI为MultipleFeatures Images的简写)代表脑电多维度特征帧序列中的不同帧,我们可以从图4中很明显的看出MFI(1,5)和MFI(2,3)两幅特征帧非常的相似,我们同样能很直观的从图片中推断出,短时长窗口生成的脑电多维度特征帧序列对脑电信号的变化能够表现出更多的细节,而通过较长时长窗口生成的脑电多维度特征帧序列每个帧图像都更有概括性。

Claims (8)

1.一种脑电信号多维度特征图片序列的生成方法,其特征在于:该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20***平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
2.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S1步骤的正方形矩阵为9×9脑电特征方阵。
3.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
4.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:
P (electrode,sequence,trail,subject),其中,P是一个(32×60×40×32)的一个矩阵。
5.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
6.根据所述权利要求5的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述P3步骤的计算公式为:
Figure RE-818508DEST_PATH_IMAGE002
其中,Fi为规范化之前的第i个时长窗口所对应的特征值,F’i为其规范化后的特征值,Fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值,Fmin为最小特征值。
7.根据所述权利要求5的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述P3步骤中的计算公式为:
Figure RE-228630DEST_PATH_IMAGE004
其中m,n的范围是0至8的自然数,V(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值,V’(m,n)是围绕灰色点的上下左右四个点的特征值。
8.根据所述权利要求7的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述V’(m,n)的下标超出了0或者8的范围,那么其值为0。K是分子中非0元素的个数,默认值设置为1。
CN201911116301.XA 2019-11-15 2019-11-15 一种脑电信号多维度特征图片序列的生成方法 Pending CN111134692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911116301.XA CN111134692A (zh) 2019-11-15 2019-11-15 一种脑电信号多维度特征图片序列的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911116301.XA CN111134692A (zh) 2019-11-15 2019-11-15 一种脑电信号多维度特征图片序列的生成方法

Publications (1)

Publication Number Publication Date
CN111134692A true CN111134692A (zh) 2020-05-12

Family

ID=70517138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911116301.XA Pending CN111134692A (zh) 2019-11-15 2019-11-15 一种脑电信号多维度特征图片序列的生成方法

Country Status (1)

Country Link
CN (1) CN111134692A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113208594A (zh) * 2021-05-12 2021-08-06 海南热带海洋学院 一种基于脑电信号时空功率谱图的情绪特征表示方法
CN113509190A (zh) * 2021-03-18 2021-10-19 上海交通大学 一种产品设计评价方法及***
CN118021323A (zh) * 2024-02-27 2024-05-14 华南理工大学 一种多域特征融合的脑电信号识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029969A (ko) * 2013-09-11 2015-03-19 세종대학교산학협력단 뇌파 측정을 이용한 감성상태 분류 방법
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
CN109924990A (zh) * 2019-03-27 2019-06-25 兰州大学 一种基于emd算法的脑电信号抑郁症识别***
KR20200071807A (ko) * 2018-11-30 2020-06-22 인하대학교 산학협력단 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150029969A (ko) * 2013-09-11 2015-03-19 세종대학교산학협력단 뇌파 측정을 이용한 감성상태 분류 방법
CN108888264A (zh) * 2018-05-03 2018-11-27 南京邮电大学 Emd和csp融合功率谱密度脑电特征提取方法
KR20200071807A (ko) * 2018-11-30 2020-06-22 인하대학교 산학협력단 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템
CN109924990A (zh) * 2019-03-27 2019-06-25 兰州大学 一种基于emd算法的脑电信号抑郁症识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD ZAVID PARVEZ; MANORANJAN PAUL: "NOVEL APPROACHES OF EEG SIGNAL CLASSIFICATION USING IMF BANDWIDTH AND DCT FREQUENCY", 《BIOMEDICAL ENGINEERING: APPLICATIONS, BASIS AND COMMUNICATIONS》 *
李幼军: "生理信号的情感计算研究及其应用", 《中国优秀博硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113509190A (zh) * 2021-03-18 2021-10-19 上海交通大学 一种产品设计评价方法及***
CN113208594A (zh) * 2021-05-12 2021-08-06 海南热带海洋学院 一种基于脑电信号时空功率谱图的情绪特征表示方法
CN118021323A (zh) * 2024-02-27 2024-05-14 华南理工大学 一种多域特征融合的脑电信号识别方法

Similar Documents

Publication Publication Date Title
Wang et al. Phase-locking value based graph convolutional neural networks for emotion recognition
Song et al. Graph-embedded convolutional neural network for image-based EEG emotion recognition
Niu et al. Robust remote heart rate estimation from face utilizing spatial-temporal attention
CN111329474B (zh) 基于深度学习的脑电身份识别方法、***及信息更新方法
Gao et al. EEG-based spatio–temporal convolutional neural network for driver fatigue evaluation
Niu et al. Synrhythm: Learning a deep heart rate estimator from general to specific
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及***
CN111134692A (zh) 一种脑电信号多维度特征图片序列的生成方法
CN109784023B (zh) 基于深度学习的稳态视觉诱发脑电身份识别方法及***
CN109299751B (zh) 基于emd数据增强的卷积神经模型的ssvep脑电分类方法
Zhao et al. A 3D convolutional neural network for emotion recognition based on EEG signals
CN107122050B (zh) 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
Pan et al. Emotion recognition based on EEG using generative adversarial nets and convolutional neural network
CN111184509A (zh) 一种基于传递熵的情绪诱导脑电信号分类方法
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN114631831A (zh) 基于半监督领域自适应的跨个体情绪脑电识别方法及***
CN111797747A (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
Jiang et al. Analytical comparison of two emotion classification models based on convolutional neural networks
CN114145744B (zh) 基于跨设备前额脑电情绪识别的方法和***
CN114145745A (zh) 基于图的多任务自监督情绪识别方法
CN112200221B (zh) 基于电阻抗成像和脑电图信号的癫痫预测***及其方法
Guo et al. Functional connectivity-enhanced feature-grouped attention network for cross-subject EEG emotion recognition
Jiang et al. Picture-induced EEG signal classification based on CVC emotion recognition system
Xu et al. Lightweight eeg classification model based on eeg-sensor with few channels
Jiang et al. Emotion analysis: Bimodal fusion of facial expressions and EEG

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512

WD01 Invention patent application deemed withdrawn after publication