CN116035592B - 基于深度学习的转头意图识别方法、***、设备及介质 - Google Patents
基于深度学习的转头意图识别方法、***、设备及介质 Download PDFInfo
- Publication number
- CN116035592B CN116035592B CN202310033903.9A CN202310033903A CN116035592B CN 116035592 B CN116035592 B CN 116035592B CN 202310033903 A CN202310033903 A CN 202310033903A CN 116035592 B CN116035592 B CN 116035592B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- intention
- feature extraction
- signals
- turning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 65
- 238000005457 optimization Methods 0.000 claims abstract description 46
- 210000004556 brain Anatomy 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000004886 head movement Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005868 electrolysis reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001595 mastoid Anatomy 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种基于深度学习的转头意图识别方法、***、设备及介质，涉及人机交互领域，该方法包括：将待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；空间优化模块将对输入的脑电信号的通道进行缩减；时间优化模块从空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；特征提取模块分别对第一时间段的脑电信号和第二时间段的脑电信号进行特征提取获得第一脑电特征和第二脑电特征。本发明提高了转头意图识别的准确性。
Description
技术领域
本发明涉及人机交互技术领域，特别是涉及一种基于深度学习的转头意图识别方法、***、设备及介质。
背景技术
现有的运动脑电信号解码技术都是解决肢体运动想象或者运动执行解码分类问题，常见的是进行两分类或者四分类等较少分类的识别，然而这些方法会带来的问题是对多分类准确率下降严重，在多分类结果上不理想，即分类的准确率有待提高。
发明内容
本发明的目的是提供一种基于深度学习的转头意图识别方法、***、设备及介质，提高了转头意图识别的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的转头意图识别方法，包括：
获取待检测脑电信号；
将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态；
所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
可选地，所述转头意图识别结果包括无转头意图、向左的转意图、向右的转意图、抬头意图、低头意图、从左边回头的转头意图、从右边回头的转头意图、从上边回头的回头意图和从下边回头的回头意图。
可选地，所述脑电信号数据集的构建过程包括：
采用脑电帽设备采集用户9种转头运动前后的脑电信号；
根据惯性测量单元采集用户头部运动角度的信号，根据用户头部运动角度的信号从用户脑电信号中提取转头意图对应的脑电信号；
对转头意图对应的脑电信号进行预处理，获得预处理后的脑电信号；
将预处理后的脑电信号和标签数据构成所述脑电信号数据集的一个样本数据；所述标签数据为预处理后的脑电信号对应的转头意图。
可选地，所述第一特征提取分支和所述第二特征提取分支的结构相同，均包括依次连接的卷积神经网络、第一双向长短期记忆网络和第二双向长短期记忆网络。
可选地，所述第一时间段为动作发生前950ms至前650ms，所述第二时间段为动作发生前350ms至前50ms。
可选地，所述转头意图识别模型训练过程包括：
根据脑电信号数据集，以脑电信号为输入，脑电信号对应的转头意图状态为输出训练深度学习网络；采用十折交叉验证法作为训练深度学习网络的损失函数。
本发明还公开了一种基于深度学习的转头意图识别***，包括：
待检测脑电信号获取模块，用于获取待检测脑电信号；
转头意图识别模块，用于将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态；
所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
本发明还公开了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的基于深度学习的转头意图识别方法。
本发明还公开了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的转头意图识别方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过空间优化模块对输入的脑电信号的通道进行缩减，选取大脑特征激活强烈的通道作为输出；通过时间优化模块从空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；并分别对第一时间段的脑电信号和第二时间段的脑电信号进行特征提取后进行融合，从而实现对脑电信号的空间维度和时间维度的特征提取，提高了转头意图识别的准确性，同时降低了模型复杂度，提高了预测速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习的转头意图识别方法流程示意图；
图2为本发明转头意图识别模型结构示意图；
图3为本发明一种基于深度学习的转头意图识别***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的转头意图识别方法、***、设备及介质，提高了转头意图识别的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本发明一种基于深度学习的转头意图识别方法，包括：
步骤101：获取待检测脑电信号。
其中，步骤101具体包括：
采用脑电帽设备采集用户的脑电信号。
根据惯性测量单元从用户的脑电信号中提取头动时间点前1000ms的脑电信号。
将提取的头动时间点前1000ms的脑电信号进行预处理，获得待检测脑电信号。
其中，预处理具体步骤包括电极定位、剔除无用电极、重参考、滤波、分段和基线校正。
脑电帽设备采集的脑电信号原本是64通道。
电极定位：需要加载一个跟记录数据时相匹配的通道位置信息来进行空间通道的配准，即每一个通道名字要和一个空间位置(脑电帽设备的电极位置)对齐进行检查。
剔除无用电极：将一些不需要的和不包含信息的通道进行去除，剩余59个通道的脑电信号。
重参考：将双侧乳突平均电压作为参考，各通道的数据与其做差，得到各通道的相对值。
滤波：用1-40Hz的带通滤波器进行滤波。
分段：将一采集的脑电数据中所需要的动作前2s的脑电数据进行分段提取，其他数据去除。
基线校正：将脑电数据最开始的一段平均值作为基准值，然后后续的脑电数据减去这一基准值。
基线校正后的脑电信号为预处理后的脑电信号。
步骤102：将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态。
如图2所示，所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
所述空间优化模块用于将输入的59通道的脑电信号缩减到30通道的脑电信号后输出，实现空间通道的缩减。根据大脑在进行某种运动意图任务情况下已知到的客观规律，即运动前意图产生前后的大脑各区域的激活程度的强弱分布规律，得到在运动发生前某些大脑区域的激活强弱。依据激活强弱对大脑各区域进行排序获得不同动作意图的激活程度差异最大的区域，在这些区域里选取相应的30个通道信号作为对全脑信号的替代。也就是从59个通道中选取大脑特征激活最强烈的30通道作为输出。即空间优化模块中输出的30通道是预先设定的30个通道。
时间优化模块进行时间维度的切片，根据大脑在进行某种头动意图任务情况下已知到的客观规律，即运动前意图产生前后的时间段大脑激活程度随时间的强弱变化规律，得到在运动发生前某些时间段的激活强弱。提取了2个最特征激活最大的时间段，即动作发生前950ms-前650ms(第一时间段)和前350ms-前50ms(第二时间段)的脑电信号。
第一特征提取分支和第二特征提取分支为并行结构，目的是分别提取两段时间的头动意图特征。所述第一特征提取分支和所述第二特征提取分支的结构相同，均包括依次连接的卷积神经网络、第一双向长短期记忆网络和第二双向长短期记忆网络。每一个分支结构有如下功能：卷积神经网络(CNN)进行头动意图特征的初步提取，将30通道的脑电信号提取为有一定特征的时间特征序列若干。随后利用两层双向长短期记忆网络(BiLSTM)进行脑电的时序特征的再次提取。
特征融合模块通过全连接网络将提取到的2个时间段的脑电信号特征(第一脑电特征和第二脑电特征)进行融合。
所述转头意图识别结果包括无转头意图、向左的转意图、向右的转意图、抬头意图(向上的转头意图)、低头意图(向下的转头意图)、从左边回头的转头意图、从右边回头的转头意图、从上边回头的回头意图和从下边回头的回头意图。
所述脑电信号数据集的构建过程为9分类训练过程，具体包括：
步骤a：采用脑电帽设备采集用户9种转头运动前后的脑电信号。
步骤b：根据惯性测量单元采集用户头部运动角度的信号，根据用户头部运动角度的信号从用户脑电信号中提取转头意图对应的脑电信号。
其中，步骤a和b具体包括：脑电信号通道实际可以使用的数目为59，大致包括全脑各区域脑电信号通道。采集实验包括随机在电脑屏幕上出现左右上下转头方向提示，为了排除视觉因素干扰，用户在两秒之后根据提示进行自愿的左右上下的转头运动，随后经过两秒后执行相对应的回头运动。在这个过程中通过1000Hz的脑电信号采集设备采集脑电信号，同时利用1000Hz的惯性测量单元(InertialMeasurementUnit，IMU)串口通信完成头部运动角度的信号采集，IMU信号采集目标是为了进行脑电信号意图时间阶段的精确标定。
将采集到的静息状态和8种头动意图状态的脑电信号在计算机上进行标定，标定方法为通过IMU信号进行角度突变点的确定于是获得精准的头动时间点随后提取头动时间点前1000ms的脑电信号。
步骤c：对转头意图对应的脑电信号进行预处理，获得预处理后的脑电信号。
其中预处理为对转头意图对应的脑电信号进行电极定位、剔除无用电极、重参考、滤波、分段和基线校正处理。
步骤d：将预处理后的脑电信号和标签数据构成所述脑电信号数据集的一个样本数据；所述标签数据为预处理后的脑电信号对应的转头意图。
所述转头意图识别模型训练过程包括：
根据脑电信号数据集，以脑电信号为输入，脑电信号对应的转头意图状态为输出训练深度学习网络；采用十折交叉验证法作为训练深度学习网络的损失函数。
本发明通过空间维度优化、时间维度优化处理和特征融合能够获得较原模型准确率较高，运算速度较快的优化模型，即转头意图识别模型。
本发明相对于现有脑电解码技术，具备在多分类情况下依然能保证分类准确率高的优点。同时建立被试的头动模型的训练时间较短。建立被试的头动意图解码模型后，对后续识别头动意图的耗时较短。
本发明通过IMU信号标定的方法获得准确的状态划分，从而获得了较为准确的训练数据；通过对脑电信号进行简单预处理能够获得最显著的特征，滤去多余干扰特征的影响；空间优化模块依据大脑在执行某种运动意图任务下的生理活动空间规律来对大脑各通道信号进行优化，只选取最为关键的通道数据作为全脑数据的替代，这样进一步减小了模型参数量以获得更少的训练成本和更快的分类速度；时间优化模块利用先验知识即大脑在执行某种运动意图任务下的生理活动时间规律来精确的寻找最适合作为分类样本的几个时间段的脑电信号，在控制输入数据量大小的同时提高了准确率，特征提取模块分别通过卷积神经网络对空间特征拟合较好的特点以及双向长短期记忆网络对时序特征提取较好的特点，直接获得最佳的分类模型。特征融合模块对激活最强的2个时间段输出的特征进行特征融合能够输出较好的分类结果。
实施例2
图3为本发明一种基于深度学习的转头意图识别***结构示意图，如图3所示，一种基于深度学习的转头意图识别***，包括：
待检测脑电信号获取模块201，用于获取待检测脑电信号。
转头意图识别模块202，用于将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态。
所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
实施例3
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例1的方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例1的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于深度学习的转头意图识别方法，其特征在于，包括：
获取待检测脑电信号；
将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态；
所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
2.根据权利要求1所述的基于深度学习的转头意图识别方法，其特征在于，所述转头意图识别结果包括无转头意图、向左的转意图、向右的转意图、抬头意图、低头意图、从左边回头的转头意图、从右边回头的转头意图、从上边回头的回头意图和从下边回头的回头意图。
3.根据权利要求1所述的基于深度学习的转头意图识别方法，其特征在于，所述脑电信号数据集的构建过程包括：
采用脑电帽设备采集用户9种转头运动前后的脑电信号；
根据惯性测量单元采集用户头部运动角度的信号，根据用户头部运动角度的信号从用户脑电信号中提取转头意图对应的脑电信号；
对转头意图对应的脑电信号进行预处理，获得预处理后的脑电信号；
将预处理后的脑电信号和标签数据构成所述脑电信号数据集的一个样本数据；所述标签数据为预处理后的脑电信号对应的转头意图。
4.根据权利要求1所述的基于深度学习的转头意图识别方法，其特征在于，所述第一特征提取分支和所述第二特征提取分支的结构相同，均包括依次连接的卷积神经网络、第一双向长短期记忆网络和第二双向长短期记忆网络。
5.根据权利要求1所述的基于深度学习的转头意图识别方法，其特征在于，所述第一时间段为动作发生前950ms至前650ms，所述第二时间段为动作发生前350ms至前50ms。
6.根据权利要求1所述的基于深度学习的转头意图识别方法，其特征在于，所述转头意图识别模型训练过程包括：
根据脑电信号数据集，以脑电信号为输入，脑电信号对应的转头意图状态为输出训练深度学习网络；采用十折交叉验证法作为训练深度学习网络的损失函数。
7.一种基于深度学习的转头意图识别***，其特征在于，包括：
待检测脑电信号获取模块，用于获取待检测脑电信号；
转头意图识别模块，用于将所述待检测脑电信号输入转头意图识别模型，获得转头意图识别结果；所述转头意图识别模型是根据脑电信号数据集对深度学习网络进行训练确定的；所述脑电信号数据集中样本数据包括脑电信号以及脑电信号对应的转头意图状态；
所述深度学习网络包括依次连接的空间优化模块、时间优化模块、特征提取模块和特征融合模块；所述空间优化模块用于将对输入的脑电信号的通道进行缩减；所述时间优化模块用于从所述空间优化模块输出的信号中提取转头意图发生前第一时间段和第二时间段的脑电信号；所述特征提取模块包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支用于对第一时间段的脑电信号进行特征提取获得第一脑电特征，所述第二特征提取分支用于对第二时间段的脑电信号进行特征提取获得第二脑电特征；所述特征融合模块用于对所述第一脑电特征和所述第二脑电特征进行融合输出转头意图识别结果。
8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033903.9A CN116035592B (zh) | 2023-01-10 | 2023-01-10 | 基于深度学习的转头意图识别方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033903.9A CN116035592B (zh) | 2023-01-10 | 2023-01-10 | 基于深度学习的转头意图识别方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116035592A CN116035592A (zh) | 2023-05-02 |
| CN116035592B true CN116035592B (zh) | 2024-06-14 |
Family
ID=86116788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310033903.9A Active CN116035592B (zh) | 2023-01-10 | 2023-01-10 | 基于深度学习的转头意图识别方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116035592B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105051647A (zh) * | 2013-03-15 | 2015-11-11 | 英特尔公司 | 基于生物物理信号的搜集时间和空间模式的大脑计算机接口（bci）*** |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242486B2 (en) * | 2017-04-17 | 2019-03-26 | Intel Corporation | Augmented reality and virtual reality feedback enhancement system, apparatus and method |
| CN112008725B (zh) * | 2020-08-27 | 2022-05-31 | 北京理工大学 | 一种人机融合脑控机器人*** |
| CN114027855B (zh) * | 2021-12-13 | 2022-09-23 | 北京航空航天大学 | 一种识别头部运动意图的脑电信号解码方法及*** |
-
2023
- 2023-01-10 CN CN202310033903.9A patent/CN116035592B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105051647A (zh) * | 2013-03-15 | 2015-11-11 | 英特尔公司 | 基于生物物理信号的搜集时间和空间模式的大脑计算机接口（bci）*** |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116035592A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184619A1 (zh) | 一种人体运动姿态识别评价方法及其*** | |
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN108446678B (zh) | 一种基于骨骼特征的危险驾驶行为识别方法 | |
| EP3642696B1 (de) | Verfahren und vorrichtung zum erfassen einer nutzereingabe anhand einer geste | |
| CN110309813B (zh) | 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器 | |
| CN110333783B (zh) | 一种用于鲁棒肌电控制的无关手势处理方法及*** | |
| CN106778851B (zh) | 基于手机取证数据的社交关系预测***及其方法 | |
| CN110646425B (zh) | 一种烟叶在线辅助定级方法及*** | |
| CN112732092B (zh) | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 | |
| CN111368824B (zh) | 一种仪表识别方法、移动设备及存储介质 | |
| US11908137B2 (en) | Method, device and equipment for identifying and detecting macular region in fundus image | |
| CN116035592B (zh) | 基于深度学习的转头意图识别方法、***、设备及介质 | |
| CN110728287A (zh) | 图像识别方法及装置、电子设备、存储介质 | |
| CN113496176B (zh) | 动作识别方法、装置以及电子设备 | |
| CN113284563A (zh) | 一种蛋白质质谱定量分析结果的筛选方法及*** | |
| CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
| CN105631395A (zh) | 基于虹膜识别的终端控制方法及装置 | |
| CN114027855B (zh) | 一种识别头部运动意图的脑电信号解码方法及*** | |
| CN116350239A (zh) | 一种脑电信号专注度分类方法及*** | |
| CN112949544A (zh) | 一种基于3d卷积网络的动作时序检测方法 | |
| CN114241363A (zh) | 工序识别方法、装置、电子设备和存储介质 | |
| CN114387678A (zh) | 利用非词语性身体符号评价语言阅读能力的方法及设备 | |
| CN112450946A (zh) | 一种基于循环生成对抗网络的脑电伪迹修复的方法 | |
| CN109635776A (zh) | 通过程序识别人体动作的方法 | |
| CN113570566B (zh) | 一种产品外观缺陷发展性认知检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |