CN116541766B - 脑电数据修复模型的训练方法、脑电数据修复方法及装置 - Google Patents

脑电数据修复模型的训练方法、脑电数据修复方法及装置 Download PDF

Info

Publication number
CN116541766B
CN116541766B CN202310812390.1A CN202310812390A CN116541766B CN 116541766 B CN116541766 B CN 116541766B CN 202310812390 A CN202310812390 A CN 202310812390A CN 116541766 B CN116541766 B CN 116541766B
Authority
CN
China
Prior art keywords
channel
data
electroencephalogram data
attention
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310812390.1A
Other languages
English (en)
Other versions
CN116541766A (zh
Inventor
王在俊
刘人杰
邱江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Flight University of China
Original Assignee
Civil Aviation Flight University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Flight University of China filed Critical Civil Aviation Flight University of China
Priority to CN202310812390.1A priority Critical patent/CN116541766B/zh
Publication of CN116541766A publication Critical patent/CN116541766A/zh
Application granted granted Critical
Publication of CN116541766B publication Critical patent/CN116541766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及人工智能领域，本发明公开了一种脑电数据修复模型的训练方法、脑电数据修复方法、装置、计算机设备及存储介质，包括：采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；基于数据质量对高维向量特征进行分类，得到任务向量并进行标注，得到标注向量，标注向量包括坏道特征向量、其他通道特征向量，在注意力计算层采用全局注意力计算注意力得分；采用权重计算层将注意力得分转化为每个通道的权值，基于权值对每个通道数据进行加权，得到插值数据；基于插值数据进行坏道特征向量的修复，并进行迭代训练，得到训练好的脑电数据修复模型。采用本发明提高脑电数据修复精准性。

Description

脑电数据修复模型的训练方法、脑电数据修复方法及装置
技术领域
本发明涉及人工智能领域，利用人工智能技术对运动状态采集的脑电数据进行补全和修复处理，尤其涉及一种脑电数据修复模型的训练方法、脑电数据修复方法及装置。
背景技术
脑电信号在采集时受各种因素的影响可能会出现一个或多个坏道。坏道插值是利用正常通道的数据对坏道的进行重建，维持数据原有维度以便后期的分析工作。现有的插值算法主要根据电极的物理距离分配通道的权重。
在实际研究过程中发现，现有插值算法的权重分配具有较大局限性，无法对未知坐标的坏道进行恢复。现有的插值算法以电极间的距离作为主要参考因素，没有涉及到生理因素对脑电信号的影响，导致在出现多个坏道时插值精度不高，使得脑电数据的坏道修复不够精准。
发明内容
本发明实施例提供一种脑电数据修复模型的训练方法、脑电数据修复方法、装置、计算机设备和存储介质，利用人工智能技术对运动状态采集的有脑电数据进行补全和修复处理，以提高脑电数据修复精度。
为了解决上述技术问题，本申请实施例提供一种脑电数据修复模型的训练方法，所述脑电数据修复模型包括通道嵌入层、注意力计算层和权重计算层，所述脑电数据修复模型的训练方法包括：
采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；
基于通道的数据质量对所述高维向量特征进行分类，得到任务向量和背景向量，对所述任务向量进行标注，得到标注向量，所述标注向量包括坏道特征向量、其他通道特征向量；
在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分；
采用权重计算层将所述注意力得分转化为每个通道的权值，基于所述权值对每个通道数据进行加权，得到插值数据；
基于所述插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。
可选地，所述在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分包括：
采用如下公式计算注意力得分：
其中，query为坏道特征向量，keys为其他通道的特征向量，*为矩阵乘法，keysT为矩阵转置。
可选地，采用权重计算层将所述注意力得分转化为每个通道的权值包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，采用权重计算层将所述注意力得分转化为每个通道的权值还包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，所述基于所述权值对每个通道数据进行加权，得到插值数据包括：
采用如下公式计算差值数据Interpolation：
其中，weight为通道的权重，values为通道值，j表示第j个通道，N为通道总数。
可选地，在所述采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征之前，所述脑电数据修复模型的训练方法还包括：
采用通道掩膜的方式，在脑电数据输入模型前随机的将部分通道数据置零。
为了解决上述技术问题，本申请实施例提供一种脑电数据修复方法，包括：
采集待修复的脑电数据；
将所述待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据，其中，所述脑电数据修复模型根据以上所述的方法训练得到；
采用所述插值数据对所述待修复的脑电数据进行修复，得到目标脑电数据。
为了解决上述技术问题，本申请实施例还提供一种脑电数据修复模型的训练装置，所述脑电数据修复模型包括通道嵌入层、注意力计算层和权重计算层，包括：
编码模块，用于采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；
标注模块，用于基于通道的数据质量对所述高维向量特征进行分类，得到任务向量和背景向量，对所述任务向量进行标注，得到标注向量，所述标注向量包括坏道特征向量、其他通道特征向量；
计算模块，用于在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分；
加权模块，用于采用权重计算层将所述注意力得分转化为每个通道的权值，基于所述权值对每个通道数据进行加权，得到插值数据；
迭代训练模块，用于基于所述插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。
可选地，所述计算模块包括：
第一计算单元，用于采用如下公式计算注意力得分：
其中，query为坏道特征向量，*为矩阵乘法，keys为其他通道的特征向量，keysT为矩阵转置。
可选地，所述加权模块包括：
第二计算单元，用于采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，所述加权模块还包括第三计算单元，用于采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，所述加权模块还包括第四计算单元，用于：
采用如下公式计算差值数据Interpolation：
其中，weight为通道的权重，values为通道值，j表示第j个通道，N为通道总数。
可选地，所述脑电数据修复模型的训练装置还包括：
通道掩膜模块，用于采用通道掩膜的方式，在脑电数据输入模型前随机的将部分通道数据置零。
为了解决上述技术问题，本申请实施例还提供一种脑电数据修复装置，包括：
采集模块，用于采集待修复的脑电数据；
识别模块，用于将所述待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据；
修复模块，用于采用所述插值数据对所述待修复的脑电数据进行修复，得到目标脑电数据。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述脑电数据修复模型的训练方法、脑电数据修复方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述脑电数据修复模型的训练方法、脑电数据修复方法的步骤。
本申请的有益效果为：本发明实施例提供的脑电数据修复模型的训练方法、脑电数据修复方法、装置、计算机设备及存储介质，采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；基于通道的数据质量对高维向量特征进行分类，得到任务向量和背景向量，对任务向量进行标注，得到标注向量，标注向量包括坏道特征向量、其他通道特征向量；在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分；采用权重计算层将注意力得分转化为每个通道的权值，基于权值对每个通道数据进行加权，得到插值数据；基于插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。通过对正常的脑电数据进行表征学习得到通道间的相关性。插值时根据学习到的相关性分配权重。为了避免权重过于集中，模型在训练阶段使用了通道掩膜，使模型注意力分散从而使用多个通道的数据，提高模型得到插值数据的精准程度，有利于提高脑电数据修复的精准性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是本申请的脑电数据修复模型的训练方法的一个实施例的流程图；
图3是本申请的脑电数据修复方法的一个实施例的流程图；
图4是根据本申请的脑电数据修复装置的一个实施例的结构示意图；
图5是根据本申请的计算机设备的一个实施例的结构示意图；
图6是是本申请的脑电数据修复模型的训练方法的通道掩膜对权重分配的对比图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3 )、MP4( MovingPicture E界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的脑电数据修复模型的训练方法、脑电数据修复方法由服务器执行，相应地，脑电数据修复模型的训练装置、脑电数据修复装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用***。
请参阅图2，图2示出本发明实施例提供的一种脑电数据修复模型的训练方法，脑电数据修复模型包括通道嵌入层、注意力计算层和权重计算层，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征。
在一具体可选实施方式中，在采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征之前，脑电数据修复模型的训练方法还包括：
采用通道掩膜的方式，在脑电数据输入模型前随机的将部分通道数据置零。
在初期的模型训练中，发现注意力会集中在与***值通道物理空间中临近的一个通道上。这使得插值时的数据几乎来自这一个通道，如果这个通道的数据受到干扰，容易导致重建误差很大。我们采用通道掩膜的方法将注意力分散开，降低因个别通道的异常数据对插值带来的影响。
通道掩膜是在数据输入模型前随机的将部分通道数据置零，如果模型将大量的注意力分配在掩膜通道会使输出趋向0。从而导致损失值特别大，迫使模型调整参数转移部分注意力到其他通道。
以插值CZ通道为例，请参阅图6，图6中的左图是训练中未使用通道掩膜的模型权重分配情况，图6中的右图是使用通道掩膜的权重分配情况。在未使用掩膜机制时大部分权重分配给了C3通道，使用掩膜后权重分配给了FZ,C3,C4,PZ，权重分配不再过于集中。
S202：基于通道的数据质量对高维向量特征进行分类，得到任务向量和背景向量，对任务向量进行标注，得到标注向量，标注向量包括坏道特征向量、其他通道特征向量。
S203：在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分。
具体地，注意力计算是将任务向量与背景向量通过通道的数据质量进行匹配，得出注意力的分布情况。在一具体可选实施方式中，在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分包括：
采用如下公式计算注意力得分：
其中，query为坏道特征向量，*为矩阵乘法，keys为其他通道的特征向量，keysT为矩阵转置。
S204：采用权重计算层将注意力得分转化为每个通道的权值，基于权值对每个通道数据进行加权，得到插值数据。
具体地，注意力得分通过计算转化为每个通道的权值，这与分类模型中归一化层相似，都是输入转化为比例。与任务相匹配的归一化函数能够加速模型的收敛，提高精度。在针对不同任务时，本实施例分别使用softmax函数和一种简单的比例计算函数，作为权重计算函数。
其中，Softmax函数具有输出都是正值且所有输出的加和为1的特点。其中的指数函数使模型能够很好的抑制相关性不强的通道表达，增强与***值通道正相关的通道的表达。
在一具体可选实施方式中，采用权重计算层将注意力得分转化为每个通道的权值包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
需要说明的是，部分脑电通道的数据呈负相关，本实施例通过一种简单且常见比例计算方法，这种方式可以保留负相关通道的注意力，并计算出负权重。在一具体可选实施方式中，采用权重计算层将注意力得分转化为每个通道的权值还包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
在一具体可选实施方式中，基于权值对每个通道数据进行加权，得到插值数据包括：
采用如下公式计算差值数据Interpolation：
其中，weight为通道的权重，values为通道值，j表示第j个通道，N为通道总数。
S205：基于插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。
采集运动状态的脑电信号，电极极易脱落从而使数据维度降低，导致分析结果误差增大。本实施例中，可以利用正常电极信号恢复脱落电极的信号，维持原有的数据维度。
如果实验中使用了一些特殊位置电极（不在标准导联***内），模型的训练数据则来自于使用该设备采集的高质量数据。如果使用的电极都是在标准导联***，那么既可以使用该设备采集数据也可以使用开源数据集。
脑电设备生成信号后传入采集模型进行预处理。电极脱落后只能记录到一些干扰信号无法收集到任何脑电信号，与正常信号的区别极大。识别模型分辨出坏道后将其标记。恢复模块根据模型训练时确定的权重组合，对正常通道的数据进行加权求和，生成恢复数据。恢复数据时只使用到了同时刻的正常通道数据，计算量小有助于实现低延时的脑电信息分析。
本实施例中，采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；基于通道的数据质量对高维向量特征进行分类，得到任务向量和背景向量，对任务向量进行标注，得到标注向量，标注向量包括坏道特征向量、其他通道特征向量；在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分；采用权重计算层将注意力得分转化为每个通道的权值，基于权值对每个通道数据进行加权，得到插值数据；基于插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。通过对正常的脑电数据进行表征学习得到通道间的相关性。插值时根据学习到的相关性分配权重。为了避免权重过于集中，模型在训练阶段使用了通道掩膜，使模型注意力分散从而使用多个通道的数据，提高模型得到插值数据的精准程度，有利于提高脑电数据修复的精准性。
请参阅图3，图3示出本发明实施例提供的一种脑电数据修复方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S206：采集待修复的脑电数据；
S207：将待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据；
S208：采用插值数据对待修复的脑电数据进行修复，得到目标脑电数据。
本实施例中，通过采用上述训练好的脑电数据修复模型，实现在应用时快速进行脑电数据修复，提高修复效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图4示出与上述实施例脑电数据修复模型的训练方法一一对应的脑电数据修复装置的原理框图。如图4所示，该脑电数据修复装置包括编码模块31、标注模块32、计算模块33、加权模块34和迭代训练模块35。各功能模块详细说明如下：
编码模块31，用于采用通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；
标注模块32，用于基于通道的数据质量对高维向量特征进行分类，得到任务向量和背景向量，对任务向量进行标注，得到标注向量，标注向量包括坏道特征向量、其他通道特征向量；
计算模块33，用于在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分；
加权模块34，用于采用权重计算层将注意力得分转化为每个通道的权值，基于权值对每个通道数据进行加权，得到插值数据；
迭代训练模块35，用于基于插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在注意力计算层根据坏道特征向量、其他通道的特征向量和其他通道的脑电数据，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型。
可选地，计算模块33包括：
第一计算单元，用于采用如下公式计算注意力得分：
其中，query为坏道特征向量，*为矩阵乘法，keys为其他通道的特征向量，keysT为矩阵转置。
可选地，加权模块34包括：
第二计算单元，用于采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，加权模块34还包括第三计算单元，用于采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
可选地，加权模块34还包括第四计算单元，用于：
采用如下公式计算差值数据Interpolation：
其中，weight为通道的权重，values为通道值，j表示第j个通道，N为通道总数。
可选地，脑电数据修复模型的训练装置还包括：
通道掩膜模块，用于采用通道掩膜的方式，在脑电数据输入模型前随机的将部分通道数据置零。
在另一具体实施方式中，提供了一种与上述实施例脑电数据修复方法一一对应的脑电数据修复装置，具体包括：
采集模块，用于采集待修复的脑电数据；
识别模块，用于将待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据；
修复模块，用于采用插值数据对待修复的脑电数据进行修复，得到目标脑电数据。
关于脑电数据修复模型的训练装置、脑电数据修复装置的具体限定可以参见上文中对于脑电数据修复模型的训练方法、脑电数据修复方法的限定，在此不再赘述。上述脑电数据修复模型的训练装置、脑电数据修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如脑电数据修复模型的训练的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行脑电数据修复模型的训练的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的脑电数据修复模型的训练方法、脑电数据修复方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (9)

1.一种脑电数据修复模型的训练方法，其特征在于，所述脑电数据修复模型包括通道嵌入层、注意力计算层和权重计算层，所述脑电数据修复模型的训练方法包括：
采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；
基于通道的数据质量对所述高维向量特征进行分类，得到任务向量和背景向量，对所述任务向量进行标注，得到标注向量，所述标注向量包括坏道特征向量、其他通道特征向量；
在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量，采用全局注意力计算注意力得分；
采用所述权重计算层将所述注意力得分转化为每个通道的权值，基于所述权值对每个通道数据进行加权，得到插值数据；
基于所述插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回根据所述坏道特征向量、其他通道的特征向量，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型；
其中，所述根据所述坏道特征向量、其他通道的特征向量，采用全局注意力计算注意力得分包括：
采用如下公式计算注意力得分：
其中，query为坏道特征向量，*为矩阵乘法，keys为其他通道的特征向量，keysT为矩阵转置。
2.如权利要求1所述的脑电数据修复模型的训练方法，其特征在于，采用权重计算层将所述注意力得分转化为每个通道的权值包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
3.如权利要求1所述的脑电数据修复模型的训练方法，其特征在于，所述采用权重计算层将所述注意力得分转化为每个通道的权值还包括：
采用如下公式计算第i个通道的权值weight：
其中，score为注意力得分，j表示第j个通道，N为通道总数。
4.如权利要求3所述的脑电数据修复模型的训练方法，其特征在于，所述基于所述权值对每个通道数据进行加权，得到插值数据包括：
采用如下公式计算差值数据Interpolation：
其中，weight为通道的权重，values为通道值，j表示第j个通道，N为通道总数。
5.如权利要求1所述的脑电数据修复模型的训练方法，其特征在于，在所述采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征之前，所述脑电数据修复模型的训练方法还包括：
采用通道掩膜的方式，在脑电数据输入模型前随机的将部分通道数据置零。
6.一种脑电数据修复方法，其特征在于，所述脑电数据修复方法包括：
采集待修复的脑电数据；
将所述待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据，其中，所述脑电数据修复模型根据权利要求1至5任一项所述的脑电数据修复模型的训练方法训练得到；
采用所述插值数据对所述待修复的脑电数据进行修复，得到目标脑电数据。
7.一种脑电数据修复模型的训练装置，其特征在于，所述脑电数据修复模型包括通道嵌入层、注意力计算层和权重计算层，所述脑电数据修复模型的训练装置包括：
编码模块，用于采用所述通道嵌入层对采集到的脑电数据进行通道投影，得到脑电数据的高维向量特征；
标注模块，用于基于通道的数据质量对所述高维向量特征进行分类，得到任务向量和背景向量，对所述任务向量进行标注，得到标注向量，所述标注向量包括坏道特征向量、其他通道特征向量；
计算模块，用于在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量，采用全局注意力计算注意力得分；
加权模块，用于采用权重计算层将所述注意力得分转化为每个通道的权值，基于所述权值对每个通道数据进行加权，得到插值数据；
迭代训练模块，用于基于所述插值数据进行坏道特征向量的修复，并使用修复后的坏道特征向量，返回在所述注意力计算层根据所述坏道特征向量、其他通道的特征向量，采用全局注意力计算注意力得分的步骤继续执行，直到达到预设条件，得到训练好的脑电数据修复模型；
其中，所述计算模块包括：
第一计算单元，用于采用如下公式计算注意力得分：
其中，query为坏道特征向量，*为矩阵乘法，keys为其他通道的特征向量，keysT为矩阵转置。
8.一种脑电数据修复装置，其特征在于，所述脑电数据修复装置包括：
采集模块，用于采集待修复的脑电数据；
识别模块，用于将所述待修复的脑电数据输入到脑电数据修复模型中进行识别，得到插值数据，其中，所述脑电数据修复模型根据权利要求1至5任一项所述的脑电数据修复模型的训练方法训练得到；
修复模块，用于采用所述插值数据对所述待修复的脑电数据进行修复，得到目标脑电数据。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的脑电数据修复模型的训练方法，或者，所述计算机程序被处理器执行时实现如权利要求6所述的脑电数据修复方法。
CN202310812390.1A 2023-07-04 2023-07-04 脑电数据修复模型的训练方法、脑电数据修复方法及装置 Active CN116541766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310812390.1A CN116541766B (zh) 2023-07-04 2023-07-04 脑电数据修复模型的训练方法、脑电数据修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310812390.1A CN116541766B (zh) 2023-07-04 2023-07-04 脑电数据修复模型的训练方法、脑电数据修复方法及装置

Publications (2)

Publication Number Publication Date
CN116541766A CN116541766A (zh) 2023-08-04
CN116541766B true CN116541766B (zh) 2023-09-22

Family

ID=87456306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310812390.1A Active CN116541766B (zh) 2023-07-04 2023-07-04 脑电数据修复模型的训练方法、脑电数据修复方法及装置

Country Status (1)

Country Link
CN (1) CN116541766B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141229A (zh) * 2019-06-04 2019-08-20 吉林大学 一种便携式脑电成像设备及脑电成像优化方法
CN111428648A (zh) * 2020-03-26 2020-07-17 五邑大学 一种脑电信号生成网络、方法及存储介质
CN113288181A (zh) * 2021-06-21 2021-08-24 杭州电子科技大学 基于稳态视觉诱发电位脑电信号识别的个体模板重构方法
CN113419902A (zh) * 2021-06-29 2021-09-21 上海大学 基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法
CN113627518A (zh) * 2021-08-07 2021-11-09 福州大学 利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法
CN114140322A (zh) * 2021-11-19 2022-03-04 华中科技大学 注意力引导插值方法和低延迟语义分割方法
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、***、装置及存储介质
WO2022241578A1 (en) * 2021-05-21 2022-11-24 Interaxon Inc. Systems and methods for neural networks and dynamic spatial filters to reweigh channels
CN115690492A (zh) * 2022-10-24 2023-02-03 武汉华中天经通视科技有限公司 一种基于可解释性显著图的弱监督学习方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141229A (zh) * 2019-06-04 2019-08-20 吉林大学 一种便携式脑电成像设备及脑电成像优化方法
CN111428648A (zh) * 2020-03-26 2020-07-17 五邑大学 一种脑电信号生成网络、方法及存储介质
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、***、装置及存储介质
WO2022241578A1 (en) * 2021-05-21 2022-11-24 Interaxon Inc. Systems and methods for neural networks and dynamic spatial filters to reweigh channels
CN113288181A (zh) * 2021-06-21 2021-08-24 杭州电子科技大学 基于稳态视觉诱发电位脑电信号识别的个体模板重构方法
CN113419902A (zh) * 2021-06-29 2021-09-21 上海大学 基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法
CN113627518A (zh) * 2021-08-07 2021-11-09 福州大学 利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法
CN114140322A (zh) * 2021-11-19 2022-03-04 华中科技大学 注意力引导插值方法和低延迟语义分割方法
CN115690492A (zh) * 2022-10-24 2023-02-03 武汉华中天经通视科技有限公司 一种基于可解释性显著图的弱监督学习方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Channel Interpolation in TMS-EEG: a quantitative study towards an accurate topographical representation;Petrichella S. 等;《2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society》;989-992 *
EEG Channel Interpolation Using Deep Encoder-decoder Networks;Sari Saba-Sadiya 等;《arXiv》;1-8 *
基于时空卷积网络模型的脑电情绪识别算法研究;王絮;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》(第9期);E080-4 *
基于注意力 机制的飞行学员疲劳分类网络研究;王乾垒 等;《计算机仿真》;第39卷(第10期);71-76, 510 *
多通道脑电信号采集自适应滤波优化仿真;朱龙飞 等;《计算机仿真》;第35卷(第4期);427-430 *

Also Published As

Publication number Publication date
CN116541766A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN113239702A (zh) 意图识别方法、装置、电子设备
CN113591900A (zh) 一种高需求响应潜力用户的识别方法、装置及终端设备
CN116186295B (zh) 基于注意力的知识图谱链接预测方法、装置、设备及介质
CN113283222A (zh) 自动化报表生成方法、装置、计算机设备及存储介质
CN112269875A (zh) 文本分类方法、装置、电子设备及存储介质
CN116541766B (zh) 脑电数据修复模型的训练方法、脑电数据修复方法及装置
CN117057935A (zh) 基于领域设计的数据处理方法、装置、设备及其存储介质
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
CN116401602A (zh) 事件检测方法、装置、设备及计算机可读介质
CN115796231A (zh) 一种时态分析的超短期风速预测方法
CN114970357A (zh) 节能效果评价方法、***、装置及存储介质
CN115309865A (zh) 基于双塔模型的交互式检索方法、装置、设备及存储介质
CN114548114A (zh) 文本情绪识别方法、装置、设备及存储介质
CN113627514A (zh) 知识图谱的数据处理方法、装置、电子设备和存储介质
CN113792342B (zh) 一种脱敏数据还原的方法、装置、计算机设备及存储介质
CN116340864B (zh) 一种模型漂移检测方法、装置、设备及其存储介质
CN115640896B (zh) 多用户场景下的家庭用户电力负荷预测方法及相关设备
CN110598578B (zh) 身份识别方法、身份识别***的训练方法、装置及设备
CN116662160A (zh) 基于代价敏感宽度学习的软件缺陷预测方法及处理装置
CN117709801A (zh) 客户数据处理方法、装置、计算机设备及存储介质
CN117829961A (zh) 基于问卷模型的金融产品推荐方法、装置、计算机设备
CN114513578A (zh) 外呼方法、装置、计算机设备及存储介质
CN116777645A (zh) 一种车险风险预测模型增强调优方法及其相关设备
CN116167872A (zh) 异常医疗数据检测方法、装置及设备
CN117034114A (zh) 基于人工智能的数据预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant