CN115429289A - 一种脑机接口训练数据扩增方法、装置、介质及电子设备 - Google Patents

一种脑机接口训练数据扩增方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN115429289A
CN115429289A CN202211071579.1A CN202211071579A CN115429289A CN 115429289 A CN115429289 A CN 115429289A CN 202211071579 A CN202211071579 A CN 202211071579A CN 115429289 A CN115429289 A CN 115429289A
Authority
CN
China
Prior art keywords
signal
subset
matrix
electroencephalogram
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211071579.1A
Other languages
English (en)
Other versions
CN115429289B (zh
Inventor
罗睿心
许敏鹏
周晓宇
肖晓琳
孟佳圆
王坤
明东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211071579.1A priority Critical patent/CN115429289B/zh
Publication of CN115429289A publication Critical patent/CN115429289A/zh
Application granted granted Critical
Publication of CN115429289B publication Critical patent/CN115429289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供一种脑机接口训练数据扩增方法、装置、介质及电子设备。该脑机接口训练数据扩增方法，包括：获取待处理脑电信号集包括的原始信号子集；其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；基于目标源混叠矩阵和参考矩阵，得到重构源信号；基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。该方法能提高脑机接口在小样本情况下的识别性能。

Description

一种脑机接口训练数据扩增方法、装置、介质及电子设备
技术领域
本申请涉及脑机接口技术领域，特别是涉及一种脑机接口训练数据扩增方法、装置、介质及电子设备。
背景技术
脑机接口(brain-computer interface,BCI)为大脑与外部环境之间提供了一条无需依赖周围神经的直接通讯通路，能够替代、修复、增强、补充或改善正常的神经***功能。典型的脑机接口***通过检测特定的神经活动来解码脑信息，并将其转化为可输出的机器指令，从而实现大脑意图的直接表达。
相较于功能性近红外成像、脑磁图、皮层脑电等大脑信息获取方式来说，脑电(electroencephalogram,EEG)信号具有无创伤、价格低廉和高时间分辨率的优势，因此被广泛应用于脑机接口领域。然而，受限于脑电信号的跨模态、跨个体、跨时间等变异性，当前脑机接口解码算法大多采用个体校准模式，即在每次使用***前均需要用户重新采集训练信号来构建符合当前脑电特点的分类模型。
相关技术的脑机接口识别方案，是通过实验采集来获得用于校准的EEG信号数据。这种方式耗时长，舒适性差，需要投入的人力成本高，因此很难获得足够的校准数据来训练分类模型。脑电信号解码过程中面临的数据不足问题，容易导致脑电信号识别的准确率较低，阻碍了脑机接口***走向实际应用。
发明内容
本申请实施例提供了一种脑机接口训练数据扩增方法、装置、介质及电子设备，旨在解决现有的脑电信号解码过程中面临的数据不足问题，提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
第一方面，本申请实施例提供一种脑机接口训练数据扩增方法，包括：
获取待处理脑电信号集包括的原始信号子集；
其中，每获取一个所述原始信号子集，针对获取的所述原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：
基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值；任一所述原始信号子集包括数量为实验试次数的脑电信号单元；
基于预设的参考矩阵和所述脑电信号单元平均值，得到目标源混叠矩阵；所述目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；
基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号；
基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
本申请实施例提供的脑机接口训练数据扩增方法，能够通过获取待处理脑电信号集包括的原始信号子集，并基于参考矩阵、随机噪声信号集和与获取的所述原始信号子集对应的脑电信号单元平均值进行脑电信号重构，获得符合脑电特性的扩增信号，从而实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增，提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
在一种可能的实现方式中，所述基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值，包括：
将获取的所述原始信号子集包括的所述脑电信号单元求和，得到与获取的所述原始信号子集对应的第一脑电信号；
将所述第一脑电信号与所述实验试次数求商，得到与获取的所述原始信号子集对应的脑电信号单元平均值。
该实施例提供的脑机接口训练数据扩增方法，将获取的所述原始信号子集包括的所述脑电信号单元求和，得到与获取的所述原始信号子集对应的第一脑电信号；将所述第一脑电信号与所述实验试次数求商，得到与获取的所述原始信号子集对应的脑电信号单元平均值。该方法，可以通过对原始信号子集进行平均，有效减小无关的背景噪声。
在一种可能的实现方式中，所述目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；所述第一偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
该实施例提供的方法，所述目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；所述第一偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。该方法利用最小二乘法求解源混叠矩阵，计算简单，易于实现，可以减少脑机接口训练数据扩增过程的计算量，提升脑机接口的校准效率。
在一种可能的实现方式中，所述目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；所述第二偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
该实施例提供的方法，所述目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；所述第二偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。该方法，在目标函数中加入正则化范数，可以对源混叠矩阵进行约束，使得参数稀疏化，增强求解源混叠矩阵的过程中数值的稳定性，提升对脑机接口训练数据中的待处理脑电信号集进行数据扩增得到的扩增数据的有效性。
在一种可能的实现方式中，所述基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号，包括：
将所述目标源混叠矩阵与所述参考矩阵进行矩阵乘法，得到所述重构源信号。
该实施例提供的方法，将所述目标源混叠矩阵与所述参考矩阵进行矩阵乘法，得到所述重构源信号。该方法，将所述目标源混叠矩阵与所述参考矩阵进行矩阵乘法，得到重构源信号，可以重建与当前训练任务相关的源信号，该源信号可以用于后续的信号扩增过程，能够实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增。
在一种可能的实现方式中，所述基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集，包括：
基于所述扩增试次数和预设规则，生成随机噪声信号集；所述随机噪声信号集包含随机噪声信号单元的数量为所述扩增试次数；
从所述随机噪声信号集中逐一获取所述随机噪声信号单元，每获取一个随机噪声信号单元，执行第一操作，以得到与获取的所述原始信号子集对应的一个扩增信号单元；所述第一操作，包括将获取的所述随机噪声信号单元，与所述重构源信号求和；
将得到的各所述扩增信号单元，作为新的脑电信号单元加入到获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
该实施例提供的方法，基于所述扩增试次数和预设规则，生成随机噪声信号集；将获取的所述随机噪声信号单元与所述重构源信号求和，得到扩增信号单元；将得到的各所述扩增信号单元，作为新的脑电信号单元加入到获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
在一种可能的实现方式中，所述方法还包括：
基于所述扩增脑电信号集，训练所述脑机接口的脑电信号识别模型，得到训练后的所述脑电信号识别模型；
获取待识别脑电信号，并利用训练后的所述脑电信号识别模型对所述待识别脑电信号进行识别，以得到脑电信号识别结果。
该实施例提供的方法，还包括：基于所述扩增脑电信号集，训练所述脑机接口的脑电信号识别模型，得到训练后的所述脑电信号识别模型；获取待识别脑电信号，并利用训练后的所述脑电信号识别模型对所述待识别脑电信号进行识别，以得到脑电信号识别结果。该方法，实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增，并根据数据扩增得到的扩增脑电信号集进行脑电信号识别模型的训练，可以提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
第二方面，本申请实施例提供了一种脑机接口训练数据扩增装置，包括：
数据准备模块，用于获取待处理脑电信号集包括的原始信号子集；
数据扩增模块，用于在所述数据准备模块每获取一个所述原始信号子集时，针对获取的所述原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：
基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值；任一所述原始信号子集包括数量为实验试次数的脑电信号单元；基于预设的参考矩阵和所述脑电信号单元平均值，得到目标源混叠矩阵；所述目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号；基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
在一种可能的实现方式中，所述数据扩增模块，具体用于：
将获取的所述原始信号子集包括的所述脑电信号单元求和，得到与获取的所述原始信号子集对应的第一脑电信号；
将所述第一脑电信号与所述实验试次数求商，得到与获取的所述原始信号子集对应的脑电信号单元平均值。
在一种可能的实现方式中，所述目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；所述第一偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
在一种可能的实现方式中，所述目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；所述第二偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
在一种可能的实现方式中，所述数据扩增模块，具体用于：
将所述目标源混叠矩阵与所述参考矩阵进行矩阵乘法，得到所述重构源信号。
在一种可能的实现方式中，所述数据扩增模块，具体用于：
基于所述扩增试次数和预设规则，生成随机噪声信号集；所述随机噪声信号集包含随机噪声信号单元的数量为所述扩增试次数；
从所述随机噪声信号集中逐一获取所述随机噪声信号单元，每获取一个随机噪声信号单元，执行第一操作，以得到与获取的所述原始信号子集对应的一个扩增信号单元；所述第一操作，包括将获取的所述随机噪声信号单元，与所述重构源信号求和；
将得到的各所述扩增信号单元，作为新的脑电信号单元加入到获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
在一种可能的实现方式中，所述装置还包括：
脑电信号识别模块，用于基于所述扩增脑电信号集，训练所述脑机接口的脑电信号识别模型，得到训练后的所述脑电信号识别模型；获取待识别脑电信号，并利用训练后的所述脑电信号识别模型对所述待识别脑电信号进行识别，以得到脑电信号识别结果。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面任一项所述的方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现第一方面任一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，其包括计算机指令，所述计算机指令存储在计算机可读存储介质中；当计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令时，所述处理器执行该计算机指令，使得所述计算机设备执行第一方面任一项所述的方法的步骤。
第二方面至第五方面任意一种实现方式所带来的技术效果可参见第一方面的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种脑机接口训练数据扩增方法的流程示意图；
图2为本申请实施例提供的一种脑机接口训练数据扩增方法的确定脑电信号单元平均值的流程示意图；
图3为本申请实施例提供的一种脑机接口训练数据扩增方法的得到扩增信号子集的流程示意图；
图4为本申请实施例提供的另一种脑机接口训练数据扩增方法的流程示意图；
图5为本申请实施例提供的一种脑机接口训练数据扩增装置的结构框图；
图6为本申请实施例提供的另一种脑机接口训练数据扩增装置的结构框图；
图7为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
脑机接口(brain-computer interface,BCI)为大脑与外部环境之间提供了一条无需依赖周围神经的直接通讯通路，能够替代、修复、增强、补充或改善正常的神经***功能。典型的脑机接口***通过检测特定的神经活动来解码脑信息，并将其转化为可输出的机器指令，从而实现大脑意图的直接表达。
相较于功能性近红外成像、脑磁图、皮层脑电等大脑信息获取方式来说，脑电(electroencephalogram,EEG)信号具有无创伤、价格低廉和高时间分辨率的优势，因此被广泛应用于脑机接口领域。然而，受限于脑电信号的跨模态、跨个体、跨时间等变异性，当前脑机接口解码算法大多采用个体校准模式，即在每次使用***前均需要用户重新采集训练信号来构建符合当前脑电特点的分类模型。
相关技术的脑机接口识别方案，是通过实验采集来获得用于校准的EEG信号数据。这种方式耗时长，舒适性差，需要投入的人力成本高，因此很难获得足够的校准数据来训练分类模型。脑电信号解码过程中面临的数据不足问题，容易导致脑电信号识别的准确率较低，阻碍了脑机接口***走向实际应用。
基于此，本申请实施例提供一种脑机接口训练数据扩增方法、装置、介质及电子设备。其中，该脑机接口训练数据扩增方法，包括：获取待处理脑电信号集包括的原始信号子集；其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值，其中任一原始信号子集包括数量为实验试次数的脑电信号单元；基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；基于目标源混叠矩阵和参考矩阵，得到重构源信号；基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。该脑机接口训练数据扩增方法能够通过获取待处理脑电信号集包括的原始信号子集，并基于参考矩阵、随机噪声信号集和与获取的原始信号子集对应的脑电信号单元平均值进行脑电信号重构，获得符合脑电特性的扩增信号，从而实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增，可以提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
为了使本申请实施例的发明目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面对本申请实施例提供的脑机接口训练数据扩增方法进行进一步的解释说明。本申请提供的脑机接口训练数据扩增方法，如图1所示，包括以下步骤：
步骤S101，获取待处理脑电信号集包括的原始信号子集。
其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下的步骤的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
具体实施时，待处理脑电信号集可以是输入的脑机接口的预处理后信号；待处理脑电信号集包括的原始信号子集，可以是从输入的脑机接口的预处理后信号中确定的一个类别的训练数据。
令输入的预处理后信号表示为一个四维张量
Figure BDA0003828315400000091
其中，Nc代表脑电信号的导联数量，Ns代表脑电信号的采样点数，Nt代表实验试次数，表征相同类别下重复实验采集的试次数量，Nf代表总的类别数量，
Figure BDA0003828315400000092
代表实数集。获取待处理脑电信号集包括的原始信号子集，可以是从四维张量
Figure BDA0003828315400000093
Figure BDA0003828315400000094
中，确定第n个类别下的训练信号，表示为
Figure BDA0003828315400000095
下面以待处理脑电信号集是
Figure BDA0003828315400000096
获取的原始信号子集是
Figure BDA0003828315400000097
Figure BDA0003828315400000098
为例，进行说明。
步骤S102，基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；任一原始信号子集包括数量为实验试次数的脑电信号单元。
在一种可选的实施例中，基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值的过程，如图2所示，可以包括以下步骤：
步骤S201，将获取的原始信号子集包括的脑电信号单元求和，得到与获取的原始信号子集对应的第一脑电信号。
示例性地，基于获取的原始信号子集
Figure BDA0003828315400000101
确定与获取的原始信号子集
Figure BDA0003828315400000102
对应的脑电信号单元平均值的过程，可以是将获取的原始信号子集
Figure BDA0003828315400000103
包括的脑电信号单元
Figure BDA0003828315400000104
求和，得到与获取的原始信号子集对应的第一脑电信号
Figure BDA0003828315400000105
步骤S202，将第一脑电信号与实验试次数求商，得到与获取的原始信号子集对应的脑电信号单元平均值。
示例性地，将第一脑电信号
Figure BDA0003828315400000106
与实验试次数Nt求商，得到与获取的原始信号子集
Figure BDA0003828315400000107
对应的脑电信号单元平均值
Figure BDA0003828315400000108
本申请的实施例中，确定第n个类别下的训练信号
Figure BDA0003828315400000109
之后，可以依据下面的公式计算第n个类别的下的脑电信号单元平均值
Figure BDA00038283154000001010
Figure BDA00038283154000001011
其中，Nt为实验试次数，表征相同类别下重复实验采集的试次数量。
步骤S103，基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵。
本申请的一种实施例中，预设的参考矩阵可以为第n个类别下已知频率fn的正弦和余弦序列
Figure BDA00038283154000001012
如下式所示：
Figure BDA0003828315400000111
其中，Nh代表参考矩阵所包含的谐波次数；
Fs代表信号的采样率。
具体实施时，基于以上的预设的参考矩阵Yn和脑电信号单元平均值
Figure BDA0003828315400000112
得到目标源混叠矩阵
Figure BDA0003828315400000113
目标源混叠矩阵
Figure BDA0003828315400000114
是满足使预设的目标函数取最小值的源混叠矩阵。
本申请的一种实施例中，目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；第一偏差矩阵为通过将源混叠矩阵与参考矩阵进行矩阵乘法，再与脑电信号单元平均值作差得到的。
示例性地，第一偏差矩阵，是通过将源混叠矩阵Φ与参考矩阵Yn进行矩阵乘法，得到ΦYn，再将得到的ΦYn与脑电信号单元平均值
Figure BDA0003828315400000115
作差得到的。目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数。
该实施例中，可以依据下面的公式，估计源混叠矩阵
Figure BDA0003828315400000116
确定满足使预设的目标函数取最小值的源混叠矩阵，以得到目标源混叠矩阵。
Figure BDA0003828315400000117
其中，argmin函数用于搜索使目标函数最小的变量值；
‖‖F代表矩阵的Frobenius范数；
Figure BDA0003828315400000118
为脑电信号单元平均值；
Figure BDA0003828315400000119
为目标源混叠矩阵，表征对混叠矩阵Φ的估计。
需要说明的是，本申请的实施例只是以正余弦序列为例对参考矩阵Yn进行解释性说明，但参考矩阵的构建包括但不限于上述形式，应依据不同类别的脑电信号特点来确定，本申请不做具体限定。
本申请的一种实施例中，目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；第二偏差矩阵为通过将源混叠矩阵与参考矩阵进行矩阵乘法，再与脑电信号单元平均值作差得到的。
示例性地，第二偏差矩阵，是通过将源混叠矩阵Φ与参考矩阵Yn进行矩阵乘法，得到ΦYn，再将得到的ΦYn与脑电信号单元平均值
Figure BDA0003828315400000121
作差得到的。目标函数为第二偏差矩阵的弗罗贝尼乌斯Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的。
该实施例中，假定第二偏差矩阵为
Figure BDA0003828315400000122
正则化范数是L1范数，可以依据下面的公式，估计源混叠矩阵
Figure BDA0003828315400000123
确定满足使预设的目标函数取最小值的源混叠矩阵，以得到目标源混叠矩阵。
Figure BDA0003828315400000124
其中，argmin函数用于搜索使目标函数最小的变量值；
‖‖F代表矩阵的Frobenius范数；
‖‖1代表矩阵的L1范数；
Figure BDA0003828315400000125
为脑电信号单元平均值；
Figure BDA0003828315400000126
为目标源混叠矩阵，表征对混叠矩阵Φ的估计。
Figure BDA0003828315400000127
为目标函数。
需要说明的是，本申请的实施例只是以L1范数为例对目标函数包括的正则化范数进行解释性说明，但目标函数的构建包括但不限于上述形式，应依据不同类别的脑电信号特点来确定，本申请不做具体限定。例如，在其他一些实施例中，正则化范数还可以是L2正则化范数。
步骤S104，基于目标源混叠矩阵和参考矩阵，得到重构源信号。
在一种可选的实施例中，基于目标源混叠矩阵和参考矩阵，得到重构源信号，具体为将目标源混叠矩阵与参考矩阵进行矩阵乘法，得到重构源信号。
示例性地，基于确定的参考矩阵Yn和目标源混叠矩阵
Figure BDA0003828315400000128
通过以下公式计算重建的重构源信号
Figure BDA0003828315400000129
Figure BDA00038283154000001210
其中，
Yn为参考矩阵；
Figure BDA0003828315400000131
为目标源混叠矩阵。
步骤S105，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
在一种可选的实施例中，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集的过程，如图3所示，可以通过以下步骤实现：
步骤S301，基于扩增试次数和预设规则，生成随机噪声信号集；随机噪声信号集包含随机噪声信号单元的数量为扩增试次数。
本申请的一些实施例中，预设规则可以是用于生成满足均值为0，协方差为Σ的多元高斯分布的随机噪声信号集的规则，该随机噪声信号集包含随机噪声信号单元的数量为扩增试次数。
示例性地，基于扩增试次数和预设规则，生成随机噪声信号集，可以是基于扩增试次数Na和预设规则，生成随机噪声信号集
Figure BDA0003828315400000132
其中Nk满足均值为0，协方差为Σ的多元高斯分布。
步骤S302，从随机噪声信号集中逐一获取随机噪声信号单元，每获取一个随机噪声信号单元，执行第一操作，以得到与获取的原始信号子集对应的一个扩增信号单元；第一操作，包括将获取的随机噪声信号单元，与重构源信号求和。
示例性地，从随机噪声信号集
Figure BDA0003828315400000133
中逐一获取随机噪声信号单元
Figure BDA0003828315400000134
每获取一个随机噪声信号单元Nk，执行第一操作，以得到与获取的原始信号子集Xn对应的一个扩增信号单元
Figure BDA0003828315400000135
第一操作，包括将获取的随机噪声信号单元Nk，与重构源信号Sn求和。
也即，与获取的原始信号子集对应的扩增信号单元
Figure BDA0003828315400000136
可以通过下式确定：
Figure BDA0003828315400000137
其中，
Figure BDA0003828315400000141
代表第n个类别下的第k个扩增信号，
Sn代表第n个类别下的重构源信号，
Na代表扩增试次数。
步骤S303，将得到的各扩增信号单元，作为新的脑电信号单元加入到获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
示例性地，将得到的各扩增信号单元
Figure BDA0003828315400000142
作为新的脑电信号单元加入到获取的原始信号子集
Figure BDA0003828315400000143
得到与获取的原始信号子集
Figure BDA0003828315400000144
对应的扩增信号子集
Figure BDA0003828315400000145
通过对待处理脑电信号集
Figure BDA0003828315400000146
包含的Nf个类别的原始信号子集
Figure BDA0003828315400000147
按类别逐一进行上述的信号扩增，可以得到每个原始信号子集对应的扩增信号子集，进而得到与待处理脑电信号集
Figure BDA0003828315400000148
对应的扩增脑电信号集
Figure BDA0003828315400000149
本申请的实施例还提供另一种脑机接口训练数据扩增方法。如图4所示，包括以下步骤：
步骤S401，获取待处理脑电信号集包括的原始信号子集。
其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下的步骤S402～S405的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
具体实施时，待处理脑电信号集可以是输入的脑机接口的预处理后信号；待处理脑电信号集包括的原始信号子集，可以是从输入的脑机接口的预处理后信号中确定的一个类别的训练数据。
令输入的预处理后信号表示为一个四维张量
Figure BDA00038283154000001410
其中，Nc代表脑电信号的导联数量，Ns代表脑电信号的采样点数，Nt代表实验试次数，表征相同类别下重复实验采集的试次数量，Nf代表总的类别数量，
Figure BDA00038283154000001411
代表实数集。获取待处理脑电信号集包括的原始信号子集，可以是从四维张量
Figure BDA00038283154000001412
Figure BDA00038283154000001413
中，确定第n个类别下的训练信号，表示为
Figure BDA00038283154000001414
下面以待处理脑电信号集是
Figure BDA00038283154000001415
获取的原始信号子集是
Figure BDA00038283154000001416
Figure BDA0003828315400000151
为例，进行说明。每获取一个原始信号子集Xn，针对获取的原始信号子集Xn执行以下的步骤S402～S405的操作，以得到与获取的原始信号子集Xn对应的扩增信号子集
Figure BDA0003828315400000152
从而得到与待处理脑电信号集
Figure BDA0003828315400000153
对应的扩增脑电信号集
Figure BDA0003828315400000154
步骤S402，基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；任一原始信号子集包括数量为实验试次数的脑电信号单元。
步骤S403，基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵。
步骤S404，基于目标源混叠矩阵和参考矩阵，得到重构源信号。
步骤S405，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
步骤S406，基于扩增脑电信号集，训练脑机接口的脑电信号识别模型，得到训练后的脑电信号识别模型。
示例性地，基于扩增脑电信号集
Figure BDA0003828315400000155
训练脑机接口的脑电信号识别模型，得到训练后的脑电信号识别模型。
步骤S407，获取待识别脑电信号，并利用训练后的脑电信号识别模型对待识别脑电信号进行识别，以得到脑电信号识别结果。
该实施例的方法，实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增，并根据数据扩增得到的扩增脑电信号集进行脑电信号识别模型的训练，可以提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
在本申请的一种实施例中，脑机接口为频-相编码脑机接口。如表1所示，该频-相编码脑机接口的每个指令由不同频率、不同相位的闪烁刺激进行编码，其诱发的脑电信号包含对应频率的基波和若干谐波成分。
表1
Figure BDA0003828315400000161
该实施例中，应用滤波器组任务相关成分分析(filter bank task relatedcomponent analysis,FBTRCA)算法对脑电信号进行分类识别，其中滤波器组分析要求将信号按不同子带对信号进行滤波，从而充分利用脑电信号中的谐波信息。该频-相编码脑机接口的脑机接口训练数据扩增方法，包括以下步骤：
步骤A01，获取待处理脑电信号集包括的原始信号子集。
其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下的步骤A02～A05的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
具体实施时，频-相编码脑机接口的脑电信号先进行滤波器组分解，得到与多个子带对应的训练信号，每个子带对应的训练信号为一个待处理脑电信号集。
示例性地，令本实施例中输入的预处理后脑电信号包含Pz,PO5,PO3,POz,PO4,PO6,O1,Oz,和O2共9个导联，信号采样率为Fs为250Hz，信号时长为1s，每个事件各采集5个试次作为训练数据。因此，该脑电信号可以表示为一个四维张量
Figure BDA0003828315400000162
其中Nc为9，Ns为250，Nt为5，Nf为40，
Figure BDA0003828315400000163
代表实数集。
对脑电信号χ’进行滤波器组分解，假定滤波器子带数量Nb设置为5，带通滤波器上限截止频率均为90Hz，下限截止频率分别为8Hz，16Hz，24Hz，32Hz和40Hz。经过分解后，获得不同子带下训练信号
Figure BDA0003828315400000164
Figure BDA0003828315400000171
作为待处理脑电信号集。逐一选取各个子带的训练信号χ’m，每选取一个子带的训练信号χ’m，获取选取的训练信号χ’m包括的原始信号子集
Figure BDA0003828315400000172
也即第m个子带、第n个类别的训练信号。每获取一个原始信号子集
Figure BDA0003828315400000173
针对获取的原始信号子集
Figure BDA0003828315400000174
执行以下的步骤A02～A05的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
步骤A02，基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；任一原始信号子集包括数量为实验试次数的脑电信号单元。
示例性地，获取选取的训练信号χ’m包括的原始信号子集
Figure BDA0003828315400000175
之后，确定第m个子带为当前子带，将Nt个试次数据进行叠加平均，获得第n个类别、第m个子带下的脑电信号单元平均值
Figure BDA0003828315400000176
步骤A03，基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵。
具体实施时，该实施例中不同类别的脑电信号包含不同刺激频率的基波和谐波成分，因此，参考矩阵的构建可以由对应的频率的正余弦序列构成。由于应用了滤波器组分解，因此谐波次数的范围可以根据刺激频率fn与不同子带的下限截止频率
Figure BDA0003828315400000177
共同决定，参考矩阵如下式所示：
Figure BDA0003828315400000178
其中，Nhe为最大谐波次数，此处设置为5；
Nhs为最小谐波次数，是满足
Figure BDA0003828315400000179
的最小整数。
根据参考矩阵
Figure BDA00038283154000001710
和步骤A02中获得的脑电信号单元平均值
Figure BDA00038283154000001711
求解目标函数，获得目标源混叠矩阵
Figure BDA00038283154000001712
目标源混叠矩阵
Figure BDA00038283154000001713
可以是通过下面的公式得到的：
Figure BDA0003828315400000181
其中，argmin函数用于搜索使目标函数最小的变量值；
‖‖F代表矩阵的Frobenius范数；
Figure BDA0003828315400000182
为第n个类别、第m个子带下的脑电信号单元平均值；
Figure BDA0003828315400000183
为目标源混叠矩阵，表征对混叠矩阵Φ的估计。
步骤A04，基于目标源混叠矩阵和参考矩阵，得到重构源信号。
示例性地，依据参考矩阵
Figure BDA0003828315400000184
和目标源混叠矩阵
Figure BDA0003828315400000185
计算第n个类别、第m个子带下的重构源信号
Figure BDA0003828315400000186
重构源信号
Figure BDA0003828315400000187
可以通过下式确定：
Figure BDA0003828315400000188
步骤A05，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
具体实施时，向重构源信号
Figure BDA0003828315400000189
中加入随机噪声，获得与获取的原始信号子集
Figure BDA00038283154000001810
对应的Na个扩增信号单元，将得到的各扩增信号单元，作为新的脑电信号单元加入到获取的原始信号子集
Figure BDA00038283154000001811
得到与获取的原始信号子集
Figure BDA00038283154000001812
对应的扩增信号子集
Figure BDA00038283154000001813
其中，m＝1,2,…Nb。
步骤A06，基于扩增脑电信号集，训练脑机接口的脑电信号识别模型，得到训练后的脑电信号识别模型。
示例性地，利用不同子带下的新训练数据γm求解FBTRCA算法的模型参数，例如空间滤波器等，用于后续脑机接口***的分类识别。
步骤A07，获取待识别脑电信号，并利用训练后的脑电信号识别模型对待识别脑电信号进行识别，以得到脑电信号识别结果。
在本申请的另外一种实施例中，脑机接口为频-空编码脑机接口。如表2所示，该频-空编码脑机接口的每个指令由不同空间位置的两个不同目标频率进行联合编码，其诱发的脑电信号同时包含两个频率下的基波及谐波成分，且不同频率具有明显的空间分布差异。
表2
Figure BDA0003828315400000191
该实施例中，在本实施例中，应用EEG-net神经网络算法对脑电信号进行分类识别。该频-空编码脑机接口的脑机接口训练数据扩增方法，包括以下步骤：
步骤B01，获取待处理脑电信号集包括的原始信号子集。
其中，每获取一个原始信号子集，针对获取的原始信号子集执行以下的步骤B02～B05的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
示例性地，令本实施例中输入的预处理后脑电信号包含Pz,P1,P2,P3,P4,P5,P6,P7,P8,PO3,PO4,PO5,PO6,PO7,PO8,CB1,CB2,POz,O1,Oz和O2共21个导联，信号采样率为Fs为250Hz，信号时长为0.5s，每个事件各采集20个试次作为训练数据。因此，该脑电信号可以表示为一个四维张量
Figure BDA0003828315400000192
Figure BDA0003828315400000193
其中Nc为21；Ns为250；Nt为20；Nf为15，表征总的类别数量；
Figure BDA0003828315400000194
代表实数集。将四维张量χ”作为待处理脑电信号集。逐一获取待处理脑电信号集χ”包括的原始信号子集χ”n，其中，每个原始信号子集χ”n是一个类别的训练信号。每获取一个原始信号子集χ”n，针对获取的原始信号子集χ”n执行以下的步骤B02～B05的操作，以得到用以构成扩增脑电信号集的扩增信号子集。
步骤B02，基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；任一原始信号子集包括数量为实验试次数的脑电信号单元。
示例性地，针对获取的第n个类别的原始信号子集χ”n，将Nt个试次数据进行叠加平均，获得第n个类别的脑电信号单元平均值
Figure BDA0003828315400000195
步骤B03，基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵。
具体实施时，该实施例中不同类别的脑电信号由两个不同空间位置的闪烁刺激共同诱发，因此，参考矩阵的构建可以是同时包含所有频率的正余弦序列。令第n个类别下的左、右频率分别为fn,1和fn,2，则参考矩阵
Figure BDA0003828315400000201
可以表示为下式(1)、式(2)：
Figure BDA0003828315400000202
Figure BDA0003828315400000203
其中，Nh代表参考矩阵所包含的谐波次数。
根据参考矩阵Yn"和脑电信号单元平均值
Figure BDA0003828315400000204
求解目标函数，获得目标源混叠矩阵
Figure BDA0003828315400000205
目标源混叠矩阵
Figure BDA0003828315400000206
可以是通过下面的公式得到的：
Figure BDA0003828315400000207
其中，argmin函数用于搜索使目标函数最小的变量值；
‖‖F代表矩阵的Frobenius范数；
‖‖1代表矩阵的L1范数；
Figure BDA0003828315400000208
为第n个类别的脑电信号单元平均值；
Yn"为参考矩阵；
Figure BDA0003828315400000209
为目标源混叠矩阵，表征对源混叠矩阵Φ的估计。
步骤B04，基于目标源混叠矩阵和参考矩阵，得到重构源信号。
示例性地，依据参考矩阵Yn"和目标源混叠矩阵
Figure BDA00038283154000002010
计算第n个类别的重构源信号S”n。重构源信号S”n可以通过下式确定：
Figure BDA00038283154000002011
步骤B05，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
具体实施时，向重构源信号S”n中加入随机噪声，获得与获取的原始信号子集χ”n对应的Na个扩增信号单元，将得到的各扩增信号单元，作为新的脑电信号单元加入到获取的原始信号子集χ”n，得到与获取的原始信号子集χ”n对应的扩增信号子集
Figure BDA0003828315400000211
步骤B06，基于扩增脑电信号集，训练脑机接口的脑电信号识别模型，得到训练后的脑电信号识别模型。
示例性地，利用扩增信号子集γ”求解EEG-net网络的模型参数，用于后续脑机接口***的分类识别。
步骤B07，获取待识别脑电信号，并利用训练后的脑电信号识别模型对待识别脑电信号进行识别，以得到脑电信号识别结果。
上述实施例提供的脑机接口训练数据扩增方法，能够通过获取待处理脑电信号集包括的原始信号子集，并基于参考矩阵、随机噪声信号集和与获取的原始信号子集对应的脑电信号单元平均值进行脑电信号重构，获得符合脑电特性的扩增信号，从而实现对脑机接口训练数据中的待处理脑电信号集进行高效的数据扩增，提高脑机接口在小样本情况下的识别性能，从而降低***的校准负担。
基于同一发明构思，本申请实施例中还提供了一种脑机接口训练数据扩增装置。由于该装置是本申请实施例脑机接口训练数据扩增方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图5示出了本申请实施例提供的一种脑机接口训练数据扩增装置的结构示意图，该脑机接口训练数据扩增装置，如图5所示，包括：数据准备模块501和数据扩增模块502。
其中，数据准备模块501，用于获取待处理脑电信号集包括的原始信号子集；
数据扩增模块502，用于在数据准备模块每获取一个原始信号子集时，针对获取的原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：
基于获取的原始信号子集，确定与获取的原始信号子集对应的脑电信号单元平均值；任一原始信号子集包括数量为实验试次数的脑电信号单元；基于预设的参考矩阵和脑电信号单元平均值，得到目标源混叠矩阵；目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；基于目标源混叠矩阵和参考矩阵，得到重构源信号；基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
在一种可能的实现方式中，数据扩增模块，具体用于：
将获取的原始信号子集包括的脑电信号单元求和，得到与获取的原始信号子集对应的第一脑电信号；
将第一脑电信号与实验试次数求商，得到与获取的原始信号子集对应的脑电信号单元平均值。
在一种可能的实现方式中，目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；第一偏差矩阵为通过将源混叠矩阵与参考矩阵进行矩阵乘法，再与脑电信号单元平均值作差得到的。
在一种可能的实现方式中，目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；第二偏差矩阵为通过将源混叠矩阵与参考矩阵进行矩阵乘法，再与脑电信号单元平均值作差得到的。
在一种可能的实现方式中，基于目标源混叠矩阵和参考矩阵，得到重构源信号，包括：
将目标源混叠矩阵与参考矩阵进行矩阵乘法，得到重构源信号。
在一种可能的实现方式中，基于重构源信号、随机噪声信号集、预设的扩增试次数和获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集，包括：
基于扩增试次数和预设规则，生成随机噪声信号集；随机噪声信号集包含随机噪声信号单元的数量为扩增试次数；
从随机噪声信号集中逐一获取随机噪声信号单元，每获取一个随机噪声信号单元，执行第一操作，以得到与获取的原始信号子集对应的一个扩增信号单元；第一操作，包括将获取的随机噪声信号单元，与重构源信号求和；
将得到的各扩增信号单元，作为新的脑电信号单元加入到获取的原始信号子集，得到与获取的原始信号子集对应的扩增信号子集。
在一种可能的实现方式中，如图6所示，装置还包括：
脑电信号识别模块601，用于基于扩增脑电信号集，训练脑机接口的脑电信号识别模型，得到训练后的脑电信号识别模型；获取待识别脑电信号，并利用训练后的脑电信号识别模型对待识别脑电信号进行识别，以得到脑电信号识别结果。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于脑机接口训练数据扩增。在一种实施例中，该电子设备可以是服务器或其他电子设备。在该实施例中，电子设备的结构可以如图7所示，包括存储器701，通讯模块703以及一个或多个处理器702。
存储器701，用于存储处理器702执行的计算机程序。存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器701是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器701可以是上述存储器的组合。
处理器702，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器702，用于调用存储器701中存储的计算机程序时实现上述脑机接口训练数据扩增方法。
通讯模块703用于与终端设备或其他服务器进行通信。
本申请实施例中不限定上述存储器701、通讯模块703和处理器702之间的具体连接介质。本申请实施例在图7中以存储器701和处理器702之间通过总线704连接，总线704在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请任一实施例的脑机接口训练数据扩增方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的脑机接口训练数据扩增方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种脑机接口训练数据扩增方法，其特征在于，包括：
获取待处理脑电信号集包括的原始信号子集；
其中，每获取一个所述原始信号子集，针对获取的所述原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：
基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值；任一所述原始信号子集包括数量为实验试次数的脑电信号单元；
基于预设的参考矩阵和所述脑电信号单元平均值，得到目标源混叠矩阵；所述目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；
基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号；
基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
2.根据权利要求1所述的方法，其特征在于，所述基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值，包括：
将获取的所述原始信号子集包括的所述脑电信号单元求和，得到与获取的所述原始信号子集对应的第一脑电信号；
将所述第一脑电信号与所述实验试次数求商，得到与获取的所述原始信号子集对应的脑电信号单元平均值。
3.根据权利要求1所述的方法，其特征在于，所述目标函数为第一偏差矩阵的弗罗贝尼乌斯Frobenius范数；所述第一偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
4.根据权利要求1所述的方法，其特征在于，所述目标函数为将第二偏差矩阵的Frobenius范数，与源混叠矩阵的正则化范数进行求和得到的；所述第二偏差矩阵为通过将源混叠矩阵与所述参考矩阵进行矩阵乘法，再与所述脑电信号单元平均值作差得到的。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号，包括：
将所述目标源混叠矩阵与所述参考矩阵进行矩阵乘法，得到所述重构源信号。
6.根据权利要求1所述的方法，其特征在于，所述基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集，包括：
基于所述扩增试次数和预设规则，生成随机噪声信号集；所述随机噪声信号集包含随机噪声信号单元的数量为所述扩增试次数；
从所述随机噪声信号集中逐一获取所述随机噪声信号单元，每获取一个随机噪声信号单元，执行第一操作，以得到与获取的所述原始信号子集对应的一个扩增信号单元；所述第一操作，包括将获取的所述随机噪声信号单元，与所述重构源信号求和；
将得到的各所述扩增信号单元，作为新的脑电信号单元加入到获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述扩增脑电信号集，训练所述脑机接口的脑电信号识别模型，得到训练后的所述脑电信号识别模型；
获取待识别脑电信号，并利用训练后的所述脑电信号识别模型对所述待识别脑电信号进行识别，以得到脑电信号识别结果。
8.一种脑机接口训练数据扩增装置，其特征在于，包括：
数据准备模块，用于获取待处理脑电信号集包括的原始信号子集；
数据扩增模块，用于在所述数据准备模块每获取一个所述原始信号子集时，针对获取的所述原始信号子集执行以下操作，以得到用以构成扩增脑电信号集的扩增信号子集：
基于获取的所述原始信号子集，确定与获取的所述原始信号子集对应的脑电信号单元平均值；任一所述原始信号子集包括数量为实验试次数的脑电信号单元；基于预设的参考矩阵和所述脑电信号单元平均值，得到目标源混叠矩阵；所述目标源混叠矩阵是满足使预设的目标函数取最小值的源混叠矩阵；基于所述目标源混叠矩阵和所述参考矩阵，得到重构源信号；基于所述重构源信号、随机噪声信号集、预设的扩增试次数和获取的所述原始信号子集，得到与获取的所述原始信号子集对应的所述扩增信号子集。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序；所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的方法。
CN202211071579.1A 2022-09-01 2022-09-01 一种脑机接口训练数据扩增方法、装置、介质及电子设备 Active CN115429289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211071579.1A CN115429289B (zh) 2022-09-01 2022-09-01 一种脑机接口训练数据扩增方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211071579.1A CN115429289B (zh) 2022-09-01 2022-09-01 一种脑机接口训练数据扩增方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN115429289A true CN115429289A (zh) 2022-12-06
CN115429289B CN115429289B (zh) 2024-05-31

Family

ID=84247481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211071579.1A Active CN115429289B (zh) 2022-09-01 2022-09-01 一种脑机接口训练数据扩增方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN115429289B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116491960A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质
CN116595456A (zh) * 2023-06-06 2023-08-15 之江实验室 一种基于脑机接口的数据筛选和模型训练方法及装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040181375A1 (en) * 2002-08-23 2004-09-16 Harold Szu Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer
CN103211597A (zh) * 2013-04-27 2013-07-24 上海海事大学 一种基于仿射聚类的静息脑功能连通区域检测方法
US20140369537A1 (en) * 2013-06-14 2014-12-18 Oticon A/S Hearing assistance device with brain computer interface
CN105551041A (zh) * 2015-12-15 2016-05-04 中国科学院深圳先进技术研究院 普适的血管分割方法及***
CN106599801A (zh) * 2016-11-26 2017-04-26 施志刚 类内平均值最大相似性协作表示人脸识别方法
CN109299751A (zh) * 2018-11-26 2019-02-01 南开大学 基于emd数据增强的卷积神经模型的ssvep脑电分类方法
WO2019217622A1 (en) * 2018-05-09 2019-11-14 Biosig Technologies, Inc. Systems and methods to display signals based on a signal characteristic
CN110909164A (zh) * 2019-11-22 2020-03-24 科大国创软件股份有限公司 一种基于卷积神经网络的文本增强语义分类方法及***
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN112237431A (zh) * 2020-09-08 2021-01-19 浙江大学山东工业技术研究院 一种基于深度学习的心电参数计算方法
CN112257521A (zh) * 2020-09-30 2021-01-22 中国人民解放军军事科学院国防科技创新研究院 基于数据增强和时频分离的cnn水声信号目标识别方法
CN112270255A (zh) * 2020-10-27 2021-01-26 广州大学 一种脑电信号识别方法、装置、电子设备及存储介质
CN112370017A (zh) * 2020-11-09 2021-02-19 腾讯科技（深圳）有限公司 脑电信号分类模型的训练方法和装置、以及电子设备
CN112545532A (zh) * 2020-11-26 2021-03-26 中国人民解放军战略支援部队信息工程大学 用于脑电信号分类识别的数据增强方法及***
CN113269048A (zh) * 2021-04-29 2021-08-17 北京工业大学 基于深度学习和混合噪声数据增强的运动想象脑电信号分类方法
CN113509188A (zh) * 2021-04-20 2021-10-19 天津大学 脑电信号的扩增方法、装置、电子设备以及存储介质
CN114371784A (zh) * 2022-01-14 2022-04-19 天津大学 一种面向稳态视觉诱发电位的脑-机接口解码方法
US20220117538A1 (en) * 2020-10-21 2022-04-21 Pacesetter, Inc. Methods and systems to confirm device classified arrhythmias utilizing machine learning models
CN114492501A (zh) * 2021-12-13 2022-05-13 重庆邮电大学 基于改进smote算法的脑电信号样本扩充方法、介质及***

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040181375A1 (en) * 2002-08-23 2004-09-16 Harold Szu Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer
CN103211597A (zh) * 2013-04-27 2013-07-24 上海海事大学 一种基于仿射聚类的静息脑功能连通区域检测方法
US20140369537A1 (en) * 2013-06-14 2014-12-18 Oticon A/S Hearing assistance device with brain computer interface
CN105551041A (zh) * 2015-12-15 2016-05-04 中国科学院深圳先进技术研究院 普适的血管分割方法及***
CN106599801A (zh) * 2016-11-26 2017-04-26 施志刚 类内平均值最大相似性协作表示人脸识别方法
WO2019217622A1 (en) * 2018-05-09 2019-11-14 Biosig Technologies, Inc. Systems and methods to display signals based on a signal characteristic
CN109299751A (zh) * 2018-11-26 2019-02-01 南开大学 基于emd数据增强的卷积神经模型的ssvep脑电分类方法
CN110909164A (zh) * 2019-11-22 2020-03-24 科大国创软件股份有限公司 一种基于卷积神经网络的文本增强语义分类方法及***
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN112237431A (zh) * 2020-09-08 2021-01-19 浙江大学山东工业技术研究院 一种基于深度学习的心电参数计算方法
CN112257521A (zh) * 2020-09-30 2021-01-22 中国人民解放军军事科学院国防科技创新研究院 基于数据增强和时频分离的cnn水声信号目标识别方法
US20220117538A1 (en) * 2020-10-21 2022-04-21 Pacesetter, Inc. Methods and systems to confirm device classified arrhythmias utilizing machine learning models
CN112270255A (zh) * 2020-10-27 2021-01-26 广州大学 一种脑电信号识别方法、装置、电子设备及存储介质
CN112370017A (zh) * 2020-11-09 2021-02-19 腾讯科技（深圳）有限公司 脑电信号分类模型的训练方法和装置、以及电子设备
CN112545532A (zh) * 2020-11-26 2021-03-26 中国人民解放军战略支援部队信息工程大学 用于脑电信号分类识别的数据增强方法及***
CN113509188A (zh) * 2021-04-20 2021-10-19 天津大学 脑电信号的扩增方法、装置、电子设备以及存储介质
CN113269048A (zh) * 2021-04-29 2021-08-17 北京工业大学 基于深度学习和混合噪声数据增强的运动想象脑电信号分类方法
CN114492501A (zh) * 2021-12-13 2022-05-13 重庆邮电大学 基于改进smote算法的脑电信号样本扩充方法、介质及***
CN114371784A (zh) * 2022-01-14 2022-04-19 天津大学 一种面向稳态视觉诱发电位的脑-机接口解码方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595456A (zh) * 2023-06-06 2023-08-15 之江实验室 一种基于脑机接口的数据筛选和模型训练方法及装置
CN116595456B (zh) * 2023-06-06 2023-09-29 之江实验室 一种基于脑机接口的数据筛选和模型训练方法及装置
CN116491960A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质
CN116491960B (zh) * 2023-06-28 2023-09-19 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质

Also Published As

Publication number Publication date
CN115429289B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN115429289A (zh) 一种脑机接口训练数据扩增方法、装置、介质及电子设备
Chen et al. Removal of muscle artifacts from the EEG: A review and recommendations
Akhtar et al. Employing spatially constrained ICA and wavelet denoising, for automatic removal of artifacts from multichannel EEG data
Leite et al. Deep convolutional autoencoder for EEG noise filtering
Yazdani et al. Classification of EEG signals using Dempster Shafer theory and a k-nearest neighbor classifier
Goh et al. Evolutionary big optimization (BigOpt) of signals
Baali et al. A transform-based feature extraction approach for motor imagery tasks classification
Hassanpour et al. Time domain signal enhancement based on an optimized singular vector denoising algorithm
Alyasseri et al. An efficient optimization technique of eeg decomposition for user authentication system
CN111671420B (zh) 一种从静息态脑电数据中提取特征的方法及终端设备
CN112515685A (zh) 基于时频共融的多通道脑电信号通道选择方法
Judith et al. Artifact removal from EEG signals using regenerative multi-dimensional singular value decomposition and independent component analysis
Alyasseri et al. EEG signal denoising using hybridizing method between wavelet transform with genetic algorithm
Mishra et al. Noise removal in EEG signals using SWT–ICA combinational approach
CN115211869A (zh) 一种基于经验模态分解和卡尔曼滤波的脑电信号去噪方法、装置及***
Maher et al. Hybrid EEG-fNIRS brain-computer interface based on the non-linear features extraction and stacking ensemble learning
Ai et al. Flexible coding scheme for robotic arm control driven by motor imagery decoding
Kumar et al. SPECTRA: a tool for enhanced brain wave signal recognition
Guan et al. Multiclass Motor Imagery Recognition of Single Joint in Upper Limb Based on NSGA‐II OVO TWSVM
Řondík et al. Comparison of various approaches for P3 component detection using basic methods for signal processing
CN115444431A (zh) 一种基于互信息驱动下的脑电情绪分类模型生成方法
CN114569140A (zh) 一种纺锤波提取方法、***、计算机设备、存储介质及程序产品
CN114757236A (zh) 基于tqwt与svmd的脑电信号去噪优化方法及***
Feng et al. Fast automated on‐chip artefact removal of EEG for seizure detection based on ICA‐R algorithm and wavelet denoising
Zhang et al. Attention-Based Multiscale Spatial-Temporal Convolutional Network for Motor Imagery EEG Decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant