CN113057654B - 基于频率耦合神经网络模型的记忆负荷检测提取***及方法 - Google Patents

基于频率耦合神经网络模型的记忆负荷检测提取***及方法 Download PDF

Info

Publication number
CN113057654B
CN113057654B CN202110316708.8A CN202110316708A CN113057654B CN 113057654 B CN113057654 B CN 113057654B CN 202110316708 A CN202110316708 A CN 202110316708A CN 113057654 B CN113057654 B CN 113057654B
Authority
CN
China
Prior art keywords
layer
neural network
frequency
memory load
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110316708.8A
Other languages
English (en)
Other versions
CN113057654A (zh
Inventor
田银
谭廷一
许家杨
李天昊
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110316708.8A priority Critical patent/CN113057654B/zh
Publication of CN113057654A publication Critical patent/CN113057654A/zh
Application granted granted Critical
Publication of CN113057654B publication Critical patent/CN113057654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种基于频率耦合神经网络模型的记忆负荷检测提取***及方法，属于脑电辅助记忆负荷检测领域，包括信号采集模块、信号预处理模块、频率耦合神经网络模型训练模块、识别模块和反馈模块。所述信号采集模块用于采集用户的脑电数据；信号预处理模块用于对采集的脑电数据进行预处理；频率耦合神经网络训练模块用于训练频率耦合神经网络模型自动提取频率耦合特征；识别模块用于对实时采集的脑电数据进行分类，并根据分类结果识别用户当前的记忆负荷状态；反馈模块根据用户当前的记忆负荷状态进行相应的调节动作。本发明可以对被试实现可快速有效的记忆负荷状态识别，提高记忆负荷识别的速度。

Description

基于频率耦合神经网络模型的记忆负荷检测提取***及方法
技术领域
本发明属于脑机交互技术领域，涉及一种基于频率耦合神经网络模型的记忆负荷检测提取***及方法。
背景技术
随着专业的计算解决方案的功能、复杂性和普遍性的增加，人机交互***性能的主要限制因素正在从机器转移到人类。记忆负荷成为人机交互***性能的越来越重要的决定性因素。这在需要人为决策的以处理和集合大量信息为特点的工作环境中显得尤为明显。
在人机交互环境中，记忆负荷已被证明与人类绩效有着基本的，直接的和复杂的关系。记忆负荷过高对人体健康有害，并可能导致严重事故。因此，记忆负荷评估是医疗保健和实际应用中的重要问题。通过分析脑电来理解大脑功能是一种有效的手段，脑电是从头皮表面记录到的大脑神经元电位变化，是大量神经元同步发生的突触后电位的总和，其中隐含了大量的大脑功能活动信息，反映了大脑的功能状态，是探索大脑认知的一扇窗户。由于脑电信号采集的无创性，且具有较高的时间分辨率(可以达到毫秒量级)，广泛应用于脑科学研究和临床实践中。由于脑电的这些特性，其被广泛用于脑科学的研究中。
脑电信号采集后，通过合适的特征工程，并将特征送入判别模型中，即可实现认知负荷的测量评估。生理研究表明，前额叶皮层是认知和记忆任务中最主要的活动区域。最常用的手工设计特征是基于前额叶电极的信号，从5个频段[δ(1-3Hz)，θ(5-8Hz)，α(9-12Hz)，β(14-31Hz)和γ(33-42Hz)]和2个扩展频带[γ1(33-57Hz)和γ2(63-99Hz)]中提取的功率谱密度(PSD)特征，先前有关手工制作特征主要强调在认知负荷增加期间前额叶的θ(5-8Hz)功率增加和顶叶的α(9-12Hz)降低，并且观察到随着认知负荷增加，左半球的α节律活动增加。然而，以往基于传统手工特征的记忆负荷识别技术，需要工程人员基于特定任务或特定人群设计鲁棒的特征用于检测***，这不仅增加了***的设计难度，也无法基于不同任务有针对性的自动提取不同频域之间的耦合特征。
近年来随着深度学习在计算机视觉和自然语言处理等领域的火热发展，越来越多的科研人员也将注意力转向了深度学习，期望其能发挥自动提取特征的优势，结合现有的认知神经科学研究发现，提取任务相关的脑电特征。手工设计特征往往只能考虑一种或几种特征，无法针对不同任务有针对性的自动提取不同频域之间的耦合特征，而本专利提出频率耦合神经网络模型，具有自动提取记忆负荷检测任务相关频率成分，同时具备自动提取频率耦合特征的能力，这也是提出的模型应用于记忆负荷检测任务的优势所在。
发明内容
有鉴于此，本发明的目的在于提供一种基于频率耦合神经网络模型的记忆负荷检测提取***及方法。
为达到上述目的，本发明提供如下技术方案：
一方面，本发明提供一种基于频率耦合神经网络模型的记忆负荷检测提取***，包括信号采集模块、信号预处理模块、频率耦合神经网络模型训练模块、识别模块和反馈模块；
所述信号采集模块，利用无创接触用户头表的电极，采集用户因工作记忆任务产生的脑电信号，并对所述脑电信号进行预处理，其中预处理中需要根据用户当前执行任务的难易情况来确定部分脑电信号的类别，然后送入信号预处理模块；
所述信号预处理模块，用于对采集的脑电数据进行预处理，包括坏道插值、数据分段和数据正规化；
所述频率耦合神经网络模型训练模块，使用经过预处理后的脑电信号训练基于神经网络的频率耦合特征提取模型；
所述识别模块，使用训练完成的基于神经网络的频率耦合特征提取模型对实时采集的脑电数据进行识别，并根据识别结果报告用户当前的记忆负荷得分；
所述反馈模块，根据用户当前的记忆负荷得分调节工作难度。
进一步，所述基于神经网络的频率耦合特征提取模型的结构包括：输入层、频率分离层、空间卷积层、耦合卷积层、时间卷积层、输出层；
所述输入层用于输入预处理后的用户脑电数据；
所述频率分离层用于自动分解脑电信号中包含的多个认知相关频率成分；
所述空间卷积层用于对脑电信号进行空间上的卷积；
所述耦合卷积层用于对不同频率特征进行耦合计算；
所述时间卷积层用于对耦合特征进行时间上的卷积；
所述输出层用于对提取到的特征进行分类并输出。
进一步，所述频率分离层使用多个一维辛格函数，用于自动提取脑电信号中的多个记忆负荷相关频率特征，其后使用批归一化层加快训练速度；
其中一维辛格函数的公式如下：
Figure BDA0002969717740000021
组合两个一维辛格函数，用于定义频率分离层的卷积函数t，其中n为脑电数据中每一个采样点，h1和h2分别为神经网络学习到的用于分离节律的上下截止频率；
t(n，h1，h2)＝2h2sinc(2πh2n)-2h1sinc(2πh1n)
在频率分离层使用预定义的函数t，对输入数据进行卷积操作得到神经网络自动学习到的记忆负荷任务相关节律。
进一步，所述空间卷积层卷积核大小为C×1，其中C为电极通道数，其后使用批归一化层加快训练速度。
进一步，所述耦合卷积层使用大小为1×1的卷积核自动提取频率耦合关系，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层增加模型感受野。
进一步，所述时间卷积层使用大小为1×11的卷积核，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层。
进一步，所述输出层基于时间卷积层输出的特征图将得到用户当前记忆负荷状态的条件概率。
另一方面，本发明提供一种基于频率耦合神经网络模型的记忆负荷检测提取方法，包括以下步骤：
S1：在用户操作不同记忆负荷任务时通过信号采集模块采集用户脑电数据；
S2：通过信号预处理模块对采集到的用户脑电数据进行预处理得到预处理后的用户脑电数据；
S3：将预处理后的用户脑电数据和对应任务难度标记输入频率耦合神经网络模型进行训练，得到训练好的频率耦合神经网络模型；
S4：在识别用户记忆负荷时，实时采集用户脑电数据并通过信号预处理模块进行预处理后，输入识别模块；
S5：识别模块利用训练好的频率耦合神经网络模型，将对用户的脑电数据进行分类输出当前用户的记忆负荷状态；
S6：利用反馈模块根据用户当前的记忆负荷状态进行相应的任务难度调节，若检测出用户当前的记忆负荷超出承受范围，则将工作难度调低。
进一步，所述频率耦合神经网络模型的处理步骤包括：
S11：将预处理后的用户脑电数据通过输入层输入频率耦合神经网络模型中，首先通过频率分离层，自动学习脑电信号中包含的多个记忆负荷状态相关频率成分，输出不同频率的特征图；
S12：频率分离层输出的特征图经过空间卷积核进行空间特征提取，得到融合了空间信息的多个频率特征图；
S13：空间卷积层输出的特征图经过耦合卷积层自动提取多频率耦合特征，得到频率耦合特征图；
S14：耦合卷积层输出的特征图经过时间卷积层得到最终用于分类的特征图；
S15：时间卷积层输出的特征图送入到分类层，得到记忆负荷的状态概率。
进一步，所述空间卷积层卷积核大小为C×1，其中C为电极通道数，其后使用批归一化层加快训练速度。
所述耦合卷积层使用大小为1×1的卷积核自动提取频率耦合关系，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层增加模型感受野；
所述时间卷积层使用大小为1×11的卷积核，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层；
所述分类层基于时间卷积层输出的特征图将得到用户当前记忆负荷状态的条件概率。
进一步，所述脑电信号的分类用户记忆难度大为正样本，记忆难度小为负样本，从而所述分类分为高记忆负载和低记忆负载。
进一步，本***可自动报告记忆负荷相关的节律范围，并得到节律相对重要性排名。
进一步，使用神经网络自动提取记忆负荷相关节律成分。
本发明的有益效果在于：本发明能够实现不同记忆负荷识别的功能，而且不需要人工对脑电信号进行单独的特征提取，只需要将预处理后的脑电信号直接送入频率耦合神经网络中进行自动频率耦合特征提取，通过引入反馈来对用户的记忆负荷进行相应的调节。最后还可通过可视化训练得到的神经网络得到记忆负荷相关的节律相对重要性排名。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为基于脑电信号的记忆负荷检测提取***的结构示意图；
图2为频率耦合神经网络模型结构。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，图1为基于脑电信号的记忆负荷检测提取***的结构示意图。一种基于脑电信号的记忆负荷检测提取***，包括信号采集模块、信号预处理模块、频率耦合神经网络模型训练模块、识别模块和反馈模块。
脑电信号采集模块，用于采集用户的脑电数据，使用64导NeuroScan导联***采集用户脑电信号，采集后的脑电信号经过放大器放大。进一步的，脑电信号采集的电极安放采用国际标准10-20***，采样率为250Hz。
信号预处理模块，用于对采集的脑电数据进行预处理，所述预处理包括对脑电信号进行坏道插值、分段和归一化。
坏道插值：对于采集中出现问题的通道，采用线性插值的方法对其进行修复；
分段：每个250个采样点为一段，对数据进行分段。
归一化：对数据采用最大最小归一化。
频率耦合神经网络模型训练模块，用于训练频率耦合神经网络模型。通过预处理后的脑电信号对模型进行训练，得到适用于用户的预训练模型，提取适用于用户的预训练模型中耦合卷积层的模型参数，可以得到每个被试各自的记忆负荷相关节律耦合关系以及节律重要性排名。
识别模块，用于对实时采集的脑电数据进行预测，并根据预测结果识别用户当前的记忆负荷状态。
反馈模块，根据用户当前的记忆负荷状态进行相应的调节。
本***的工作过程包括离线训练和在线识别阶段，包括以下步骤：
a)离线训练阶段：
在用户操作不同记忆负荷任务时通过信号采集模块采集用户脑电数据，通过信号预处理模块对采集到的用户脑电数据进行预处理得到预处理后的用户脑电数据。将预处理后的用户脑电数据和对应任务难度标记输入频率耦合神经网络模型进行训练，得到训练好的频率耦合神经网络模型。
b)在线识别阶段：
在识别用户记忆负荷时，实时采集用户脑电数据并通过信号预处理模块进行预处理后，输入训练好的频率耦合神经网络模型，频率耦合神经网络模型识别模块将对用户的脑电数据进行分类输出当前用户的记忆负荷状态，反馈模块根据用户当前的记忆负荷状态进行相应的任务难度调节，若检测出用户当前的记忆负荷超出承受范围，相应的减轻工作难度等调节。
图2提供了频率耦合神经网络模型结构，频率耦合神经网络模型的结构包括：输入层、频率分离层、空间卷积层、耦合卷积层、时间卷积层、输出层。
频率耦合神经网络模型对输入的用户脑电数据进行自动的频率耦合特征提取，并使用提取的特征进行分类预测，根据分类结果判断用户当前的记忆负荷状态。频率耦合神经网络模型中的处理过程包括：
S01、将预处理后的用户脑电数通过输入层输入频率耦合神经网络模型中，首先通过频率分离层捕获用户脑电数据中的多频带耦合信息。
具体的，频率分离层使用多个一维辛格函数的组合，提取脑电信号中的多个频率特征，其后使用批归一化层加快训练速度。其中一维辛格函数的公式如下：
Figure BDA0002969717740000061
组合两个一维辛格函数，用于定义频率分离层的卷积函数t，其中n为脑电数据中每一个采样点，h1和h2分别为神经网络学习到的用于分离节律的上下截止频率。
t(n，h1，h2)＝2h2sinc(2πh2n)-2h1sinc(2πh1n)
在频率分离层使用预定义的函数t，对输入数据进行卷积操作得到神经网络自动学习到的记忆负荷任务相关节律。
S02、频率分离层输出的特征图，经过空间卷积层进行空间特征提取其后使用批归一化层加快训练速度。
具体的，对于空间卷积层，使用深度可分离卷积，每一个空间卷积核与其前置的频率分离层的卷积核一一对应，在减少了模型参数量的同时，也更加符合认知神经科学的研究发现，空间卷积层卷积核大小为C×1，其中C为电极通道数。
S03、对于耦合卷积层使用卷积核提取多个频率耦合关系，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层。
具体的，该层使用大小为1×1的卷积核提取多节律耦合关系。
S04、对于时间卷积层，使用大小为1×11的卷积核提取时间特征，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层。
使用所提出的***测试用户在高低记忆负荷任务下的分类效果，其结果如表1所示，准确率大于85％，体现***具有准确率高、效果显著、被试间表现稳定的优点。
表1
测试者 S1 S2 S3 S4 S5
正确率 93.1％ 92.6％ 86.4％ 86.2％ 88.3％
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于频率耦合神经网络模型的记忆负荷检测提取***，其特征在于：包括信号采集模块、信号预处理模块、频率耦合神经网络模型训练模块、识别模块和反馈模块；
所述信号采集模块，利用无创接触用户头表的电极，采集用户因工作记忆任务产生的脑电信号，并对所述脑电信号进行预处理，其中预处理中需要根据用户当前执行任务的难易情况来确定部分脑电信号的类别，然后送入信号预处理模块；
所述信号预处理模块，用于对采集的脑电数据进行预处理，包括坏道插值、数据分段和数据正规化；
所述频率耦合神经网络模型训练模块，使用经过预处理后的脑电信号训练基于神经网络的频率耦合特征提取模型；所述基于神经网络的频率耦合特征提取模型的结构包括：输入层、频率分离层、空间卷积层、耦合卷积层、时间卷积层、输出层；所述输入层用于输入预处理后的用户脑电数据；
所述频率分离层用于自动分解脑电信号中包含的多个认知相关频率成分；所述空间卷积层用于对脑电信号进行空间上的卷积；所述耦合卷积层用于对不同频率特征进行耦合计算；所述时间卷积层用于对耦合特征进行时间上的卷积；所述输出层用于对提取到的特征进行分类并输出；
所述频率分离层使用多个一维辛格函数，用于自动提取脑电信号中的多个记忆负荷相关频率特征，其后使用批归一化层加快训练速度；
其中一维辛格函数的公式如下：
Figure FDA0003601826370000011
组合两个一维辛格函数，用于定义频率分离层的卷积函数t，其中n为脑电数据中每一个采样点，h1和h2分别为神经网络学习到的用于分离节律的上下截止频率；
t(n，h1，h2)＝2h2sinc(2πh2n)-2h1sinc(2πh1n)
在频率分离层使用预定义的函数t，对输入数据进行卷积操作得到神经网络自动学习到的记忆负荷任务相关节律；
所述识别模块，使用训练完成的基于神经网络的频率耦合特征提取模型对实时采集的脑电数据进行识别，并根据识别结果报告用户当前的记忆负荷得分；
所述反馈模块，根据用户当前的记忆负荷得分调节工作难度。
2.根据权利要求1所述的基于频率耦合神经网络模型的记忆负荷检测提取***，其特征在于：所述空间卷积层卷积核大小为C×1，其中C为电极通道数，其后使用批归一化层加快训练速度。
3.根据权利要求1所述的基于频率耦合神经网络模型的记忆负荷检测提取***，其特征在于：所述耦合卷积层使用大小为1×1的卷积核自动提取频率耦合关系，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层增加模型感受野。
4.根据权利要求1所述的基于频率耦合神经网络模型的记忆负荷检测提取***，其特征在于：所述时间卷积层使用大小为1×11的卷积核，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层。
5.根据权利要求1所述的基于频率耦合神经网络模型的记忆负荷检测提取***，其特征在于：所述输出层基于时间卷积层输出的特征图将得到用户当前记忆负荷状态的条件概率。
6.一种基于频率耦合神经网络模型的记忆负荷检测提取方法，其特征在于：包括以下步骤：
S1：在用户操作不同记忆负荷任务时通过信号采集模块采集用户脑电数据；所述频率耦合神经网络模型的处理步骤包括：
S11：将预处理后的用户脑电数据通过输入层输入频率耦合神经网络模型中，首先通过频率分离层，自动学习脑电信号中包含的多个记忆负荷状态相关频率成分，输出不同频率的特征图；所述频率分离层使用多个一维辛格函数，用于自动提取脑电信号中的多个记忆负荷相关频率特征，其后使用批归一化层加快训练速度；
其中一维辛格函数的公式如下：
Figure FDA0003601826370000021
组合两个一维辛格函数，用于定义频率分离层的卷积函数t，其中n为脑电数据中每一个采样点，h1和h2分别为神经网络学习到的用于分离节律的上下截止频率；
t(n，h1，h2)＝2h2sinc(2πh2n)-2h1sinc(2πh1n)
在频率分离层使用预定义的函数t，对输入数据进行卷积操作得到神经网络自动学习到的记忆负荷任务相关节律；
S12：频率分离层输出的特征图经过空间卷积核进行空间特征提取，得到融合了空间信息的多个频率特征图；
S13：空间卷积层输出的特征图经过耦合卷积层自动提取多频率耦合特征，得到频率耦合特征图；
S14：耦合卷积层输出的特征图经过时间卷积层得到最终用于分类的特征图；
S15：时间卷积层输出的特征图送入到分类层，得到记忆负荷的状态概率；
S2：通过信号预处理模块对采集到的用户脑电数据进行预处理得到预处理后的用户脑电数据；
S3：将预处理后的用户脑电数据和对应任务难度标记输入频率耦合神经网络模型进行训练，得到训练好的频率耦合神经网络模型；
S4：在识别用户记忆负荷时，实时采集用户脑电数据并通过信号预处理模块进行预处理后，输入识别模块；
S5：识别模块利用训练好的频率耦合神经网络模型，将对用户的脑电数据进行分类输出当前用户的记忆负荷状态；
S6：利用反馈模块根据用户当前的记忆负荷状态进行相应的任务难度调节，若检测出用户当前的记忆负荷超出承受范围，则将工作难度调低。
7.根据权利要求6所述的基于频率耦合神经网络模型的记忆负荷检测提取方法，其特征在于：所述空间卷积层卷积核大小为C×1，其中C为电极通道数，其后使用批归一化层加快训练速度；
所述耦合卷积层使用大小为1×1的卷积核自动提取频率耦合关系，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层增加模型感受野；
所述时间卷积层使用大小为1×11的卷积核，其后使用批归一化层加快训练速度，使用ReLU作为激活函数，其后使用大小为1×8的平均池化层；
所述分类层基于时间卷积层输出的特征图将得到用户当前记忆负荷状态的条件概率。
CN202110316708.8A 2021-03-10 2021-03-10 基于频率耦合神经网络模型的记忆负荷检测提取***及方法 Active CN113057654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110316708.8A CN113057654B (zh) 2021-03-10 2021-03-10 基于频率耦合神经网络模型的记忆负荷检测提取***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316708.8A CN113057654B (zh) 2021-03-10 2021-03-10 基于频率耦合神经网络模型的记忆负荷检测提取***及方法

Publications (2)

Publication Number Publication Date
CN113057654A CN113057654A (zh) 2021-07-02
CN113057654B true CN113057654B (zh) 2022-05-20

Family

ID=76561952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316708.8A Active CN113057654B (zh) 2021-03-10 2021-03-10 基于频率耦合神经网络模型的记忆负荷检测提取***及方法

Country Status (1)

Country Link
CN (1) CN113057654B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169366B (zh) * 2021-11-19 2023-10-20 北京师范大学 神经反馈训练***和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102715889A (zh) * 2012-06-11 2012-10-10 天津大学 一种脑力负荷检测方法
CN106963371A (zh) * 2017-03-29 2017-07-21 天津大学 基于神经振荡活动检测大鼠学习记忆和认知功能的方法
WO2020018595A1 (en) * 2018-07-16 2020-01-23 The General Hospital Corporation System and method for monitoring neural signals
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111110230A (zh) * 2020-01-09 2020-05-08 燕山大学 一种运动想象脑电特征增强方法及***
CN111712193A (zh) * 2018-02-14 2020-09-25 塞勒尼恩有限公司 用于脑电图测量的设备和方法
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499823B2 (en) * 2014-11-06 2019-12-10 Tata Consultancy Services Limited Selection of electroencephalography (EEG) channels valid for determining cognitive load of a subject
US11241185B2 (en) * 2018-02-26 2022-02-08 Korea University Research And Business Foundation Resonating device and method of individual EEG cognitive frequency, recording medium for performing the method
CA3011020A1 (en) * 2018-07-11 2020-01-11 The Governing Council Of The University Of Toronto System, system architecture, and method for neural cross-frequency coupling analysis
KR102257291B1 (ko) * 2018-09-14 2021-05-28 주식회사 아이메디신 인지 장애 판별 방법 및 컴퓨터 프로그램
CN110693493B (zh) * 2019-10-12 2022-05-31 北京工业大学 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法
CN111860427B (zh) * 2020-07-30 2022-07-01 重庆邮电大学 基于轻量级类八维卷积神经网络的驾驶分心识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102715889A (zh) * 2012-06-11 2012-10-10 天津大学 一种脑力负荷检测方法
CN106963371A (zh) * 2017-03-29 2017-07-21 天津大学 基于神经振荡活动检测大鼠学习记忆和认知功能的方法
CN111712193A (zh) * 2018-02-14 2020-09-25 塞勒尼恩有限公司 用于脑电图测量的设备和方法
WO2020018595A1 (en) * 2018-07-16 2020-01-23 The General Hospital Corporation System and method for monitoring neural signals
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111110230A (zh) * 2020-01-09 2020-05-08 燕山大学 一种运动想象脑电特征增强方法及***
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Interpretable and lightweight convolutional neural network for EEG decoding: Application to movement execution and imagination;D Borra, Fantozzi S , Magosso E .;《Neural Networks》;20200930;第55-74页 *
Theta-alpha cross-frequency synchronization facilitates working memory control - a modeling study;David, Chik.;《Springerplus》;20130117;全文 *
Tian, Y ; Zhang, HL ; .A Fusion Feature for Enhancing the Performance of Classification in Working Memory Load With Single-Trial Detection.《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》.2019,第1985-1993页. *
用于空间认知评估的任务态脑电信号识别方法研究;李柔;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20200615;全文 *

Also Published As

Publication number Publication date
CN113057654A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
Yang et al. Subject-based feature extraction by using fisher WPD-CSP in brain–computer interfaces
George et al. Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier.
US8849727B2 (en) Method and system for classifying brain signals in a BCI using a subject-specific model
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
Guo et al. A hybrid fuzzy cognitive map/support vector machine approach for EEG-based emotion classification using compressed sensing
Rajan Recognition of cardiovascular diseases through retinal images using optic cup to optic disc ratio
CN103092971B (zh) 一种用于脑机接口中的分类方法
CN113052113A (zh) 一种基于紧凑型卷积神经网络的抑郁症识别方法及***
CN108256579A (zh) 一种基于先验知识的多模态民族认同感量化测量方法
CN113486752B (zh) 基于心电信号的情感识别方法及***
CN111967354B (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
Prasanth et al. Deep learning for interictal epileptiform spike detection from scalp EEG frequency sub bands
Moin et al. Emotion recognition framework using multiple modalities for an effective human–computer interaction
Devaraj et al. Hand gesture signal classification using machine learning
CN113780150A (zh) 一种基于多维身体状态感知的疲劳检测方法及***
CN108470182B (zh) 一种用于非对称脑电特征增强与识别的脑-机接口方法
Mohedano et al. Object segmentation in images using EEG signals
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
Chen et al. Patient emotion recognition in human computer interaction system based on machine learning method and interactive design theory
CN113057654B (zh) 基于频率耦合神经网络模型的记忆负荷检测提取***及方法
CN108920699B (zh) 一种基于N2pc的目标识别反馈***及方法
CN114861738B (zh) 一种基于脑电溯源和偶极子选择的运动想象分类方法
Rudas et al. On activity identification pipelines for a low-accuracy EEG device
Gahlan et al. Three dimensional emotion state classification based on EEG via empirical mode decomposition
Kelati et al. Machine learning for semg facial feature characterization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant