CN116671881A - 基于图神经网络的头戴式脑体作业能力评估设备及方法 - Google Patents
基于图神经网络的头戴式脑体作业能力评估设备及方法 Download PDFInfo
- Publication number
- CN116671881A CN116671881A CN202310967405.1A CN202310967405A CN116671881A CN 116671881 A CN116671881 A CN 116671881A CN 202310967405 A CN202310967405 A CN 202310967405A CN 116671881 A CN116671881 A CN 116671881A
- Authority
- CN
- China
- Prior art keywords
- neural network
- graph neural
- data
- module
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000012880 independent component analysis Methods 0.000 claims description 12
- 238000000547 structure data Methods 0.000 claims description 12
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 9
- 229910052744 lithium Inorganic materials 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000000087 stabilizing effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 229910052739 hydrogen Inorganic materials 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008587 neuronal excitability Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Pulmonology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了基于图神经网络的头戴式脑体作业能力评估设备及方法，属于人体信号获取及处理领域，包括用于采集多种生理数据的采集模块、与采集模块相连的ADC转换模块和与ADC转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以GCN网络和Metalearning为框架。本发明采用上述基于图神经网络的头戴式脑体作业能力评估设备及方法，可对被测者的多个生理指标进行精准的检测，然后依靠卷积图神经网络对数据处理得出被测者的评估结果，提高检测的准确度和可靠性。
Description
技术领域
本发明涉及人体信号获取及处理技术领域，尤其涉及基于图神经网络的头戴式脑体作业能力评估设备及方法。
背景技术
从事高危行业的工作人员在经过一段时间的工作后，需要对其注意力水平和专业能力执行状况进行评估，判断其是否适合继续工作，保证人员和工程的安全稳定。在该领域现在普遍采用的方法是主观自我评价和心率呼吸等方法综合判定，具有数据比较主观，科学性差的问题。
而部分采用监测仪器的例如：
CN201510650413.9 公开了便携式人体信号监测装置与人体信号监测方法，其包括：主监测组件和从监测组件。主监测组件包括第一监测电极、用于采集第一监测电极的监测信号的第一电极连接部、信号处理电路板以及用于向信号处理电路板供电的第一电源部件，其中第一电极连接部连接于信号处理电路板；从监测组件包括第二监测电极、用于采集第二监测电极的监测信号的第二电极连接部、第二电源部件；连接线缆用于连接主监测组件和从监测组件，以连通第一电源部件和第二电源部件，以及第二监测电极和信号处理电路板，信号处理电路板对第一监测电极的监测信号和对第二监测电极的监测信号进行处理和/或传输，从而持续进行人体信号监测。
CN200980158116.5 公开了使用光学信号判断人体状态与动作的***以及判断人体状态的方法，其包括光学信号发送模块，被配置以产生并输出光学信号；光学信号传输模块，其可贴附至人体的一区域上并包括包含至少一切口部分的光学信号传输路径；以及人体状态分析模块，被配置以通过基于在至少一光学信号传输路径的至少一切口部分的间隙计算至少一光学信号传输路径上变化的光学传输率，判断人体状态的变化。在此，在至少一光学传输路径的至少一切口部分的间隙可依据人体区域的周围的变化而变化。
可知，现有技术存在以下缺点：1、未考虑多个指标间的关联关系、无法发觉潜在信息，评估精度较差；2、只是通过几个指标简单的评估，没有对工作人员的真实状况做进一步的信息采集和处理，指导意义较小。
发明内容
为解决上述问题，本发明提供一种基于图神经网络的头戴式脑体作业能力评估设备及方法，可对被测者的多个生理指标进行精准的检测，然后依靠卷积图神经网络对数据处理得出被测者的评估结果，提高检测的准确度和可靠性。
为实现上述目的，本发明提供了基于图神经网络的头戴式脑体作业能力评估设备，包括用于采集多种生理数据的采集模块、与采集模块相连的ADC转换模块和与ADC转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以GCN网络和Metalearning为框架。
优选的，ADC转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；
差分放大器，用于对由采集模块采集的电压信号进行一级放大；
积分放大器，用于通过改变积分时间，实现250SPS到16KSPS的分段式采样率；
数字滤波器，用于对特定频率滤波后输出最终AD转换结果。
优选的，主控模块采用ARM Cortex-M4F 32位架构微处理器，搭配RTOS操作***；
主控模块上还集成有蓝牙通信接口、WiFi通信接口和4G无线通信接口，主控模块与上位机相通讯。
优选的，采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；
生理数据包括人体心率、血氧、心率变异性和脑电特征。
优选的，采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段PPG数据。
优选的，电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连；
电源采用锂电池，用于提供3.7V电压；
充放电管理模块，用于锂电池正反接保护、充电状态的指示；
稳压输出模块，用于将锂电池提供的3.7V电压转换成3.3V电压供给主控模块。
基于图神经网络的头戴式脑体作业能力评估设备的方法，包括以下步骤：
S1、通过采集模块采集人体的多种生理数据并经ADC转换模块后输入主控模块；
S2、对生理数据构建图结构数据包；
S3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。
优选的，步骤S2具体包括以下步骤：
S21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；
S22、采用主成分分析和独立成分分析抑制运动噪声；
S23、对五种脑电成分信号和生物光学传感器采集的PPG数据进行时域、频域分析，采用Morlet小波变换进行特征提取，获取低频到高频多特征数据，生成数据向量；
S24、根据步骤S23所述的数据向量构建图结构数据包。
步骤S22所述的主成分分析算法包括以下步骤：
第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；
第二步、协方差矩阵：对脑电成分信号数据和PPG数据构建协方差矩阵，以描述不同信号的相关性：
假设有m个样本和n个特征，将预处理后的数据表示为一个m×n的脑电数据矩阵X，计算协方差矩阵C：
；
式中，表示X的转置；
第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵V；
第四步、对不同信号选取对应维度N进行重建，重建信号：
；
步骤 S22 所述的独立成分分析算法包括以下步骤：
第一步、构建混合模型：
将预处理后的脑电成分信号表示为线性组合的形式：
；
式中，是观测信号矩阵，其大小为 H×T，H 表示通道数，T表示时间点数；/>是混合矩阵，其大小为 H×M，M 表示源信号的数量；/>是源信号矩阵，其大小为 M×T；
第二步、ICA求解：
对混合模型进行独立成分分析，得到分离矩阵 和分离信号矩阵：
；
其中，分离矩阵的大小为H×N；分离信号矩阵/>的大小为M×T；
第三步、成分选择：确定脑电信号和噪声成分；
第四步、噪声去除：
将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵/>：
；
式中，是去除噪声成分后的分离矩阵，其大小为/>，/>表示剩余的脑电信号成分数量；
第五步、重构信号：
将修复后的信号矩阵 进行逆变换，得到重构的脑电信号矩阵：
；
式中，是重构的脑电信号矩阵，其大小为 />。
优选的，步骤S3具体包括以下步骤：
S31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；
S32、将由步骤S2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果。
本发明具有以下有益效果：
1、通过使用头戴式设备评估高危作业人群工作状态的方法，能实时、高效并且准确的给出被测者的状态结果；
2、通过使用卷积图神经网络对头戴式设备采集的数据进行多模态处理，能够挖掘多个指标数据间的关联关系，并得出最后的被测者的状态，从而提高检测精度；
3、设备电路采用低功耗、柔性FPC（Flexible Printed Circuit），以及轻量化设计，满足穿戴的续航和舒适性的要求；
4、对设备配备多种电极，用户可根据不同的环境采用不同的电极，以满足不同场景的需要。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的基于图神经网络的头戴式脑体作业能力评估设备的原理框图；
图2为本发明的基于图神经网络的头戴式脑体作业能力评估设备的电路原理图；
图3为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的卷积图神经网络模型图；
图4为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的流程图；
图5为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的图结构数据包示意图。
具体实施方式
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1-图3所示，基于图神经网络的头戴式脑体作业能力评估设备，包括用于采集多种生理数据的采集模块、与采集模块相连的ADC转换模块和与ADC转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以GCN网络和Metalearning为框架。优选的，主控模块上还集成有蓝牙通信接口、WiFi通信接口和4G无线通信接口，拥有丰富的外设接口，可以根据不同的使用场景更改不同的配置。高度集成化下只占用极小体积的BGA(Ball Grid Array)封装适用于穿戴设备，主控模块与上位机相通讯。本实施例中，主控模块将ADC采集的数据通过蓝牙传输给上位机。在工作时间里，高精度ADC转换模块将采集的电压信号转换成数字量按约定的协议传给主控模块，主控模块使用无线通信将数字量打包给上位机。
其中，ADC转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；差分放大器，用于对由采集模块采集的电压信号进行一级放大；积分放大器，用于通过改变积分时间，实现250SPS到16KSPS的分段式采样率；数字滤波器，用于对特定频率滤波后输出最终AD转换结果，其通过调整和抽取，在分辨率和采样速率之间权衡，以期获得高质量的数据采样，每个通道上都集成有三阶sinc滤波器。
优选的，主控模块采用ARM Cortex-M4F 32位架构微处理器，搭配RTOS操作***，使用嵌入式技术可以最大程度减小功耗，可以在睡眠模式和启动模式下切换延长使用时间。
优选的，采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；生理数据包括人体心率、血氧、心率变异性和脑电特征。优选的，采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段PPG数据。为了适应不同场景的采集需求，配备了多种电极，用户可根据不同场景适配不同的电极达到理想的检测精度和准确度。
优选的，电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连，电源保护电路防止电源在使用过程中出现过载、短路、过压、欠压、过流等严重危害电池使用安全的现象；电源采用锂电池，用于提供3.7V电压，且以480maH的电能可支持***长时间运行；充放电管理模块，用于锂电池正反接保护、充电状态的指示，其还可提供最高500mA的可编程充电电流以及在1个小时内将电池充满等功能；稳压输出模块，采样高精度LDO（Low Dropout Regulator）芯片用于将锂电池提供的3.7V电压转换成3.3V电压供给主控模块，可实现2%的精度输出，噪声可控制在8uVrms以内，电压随温度的变化幅度仅在0.3%以内，可以最大提供2w的功耗。从而可实现type-C充电、稳定电压输出、提供电量信息的功能。
如图4和图5所示，基于图神经网络的头戴式脑体作业能力评估设备的方法，包括以下步骤：
S1、通过采集模块采集人体的多种生理数据并经ADC转换模块后输入主控模块；
S2、人体生理数据比如心率、血氧、心率变异性和脑电特征等参数之间存在非欧式空间的拓扑关系，即普通机器学习方法或者深度学习网络无法达到理想的评估效果。因此对生理数据构建图结构数据包；
S3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。
优选的，步骤S2具体包括以下步骤：
S21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；
其中，δ波：0.3-3.5Hz代表了睡眠、疲劳，潜意识状态；θ波：4-7.5Hz代表了困倦、深度放松、潜意识状态；α波：8-13Hz代表了清醒、安静，是学习与思考的最佳状态；β波：14-30Hz代表了思维活动、忙碌、紧张；γ波：30-80Hz代表了高级认知活动，神经元兴奋性增高的表现；
S22、采用主成分分析和独立成分分析抑制运动噪声；
步骤S22所述的主成分分析算法包括以下步骤：
第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；
第二步、协方差矩阵：对脑电成分信号数据和PPG数据构建协方差矩阵，以描述不同信号的相关性：
假设有m个样本和n个特征（即电极通道），将预处理后的数据表示为一个m×n的脑电数据矩阵X，计算协方差矩阵C：
；
式中，表示X的转置；
第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵V；
第四步、对不同信号选取对应维度N进行重建，重建信号：
；
步骤S22所述的独立成分分析算法包括以下步骤：
第一步、构建混合模型：
将预处理后的脑电成分信号表示为线性组合的形式：
；
式中，是观测信号矩阵，其大小为H×T，H表示通道数，T表示时间点数；/>是混合矩阵，其大小为H×M，M表示源信号（即脑电信号成分）的数量；/>是源信号矩阵，其大小为 M×T；
第二步、ICA求解：
对混合模型进行独立成分分析，得到分离矩阵 和分离信号矩阵：
；
其中，分离矩阵的大小为H×N；分离信号矩阵/>的大小为M×T；
第三步、成分选择：确定脑电信号和噪声成分；
第四步、噪声去除：
将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵/>：
；
式中，是去除噪声成分后的分离矩阵，其大小为/>，/>表示剩余的脑电信号成分数量；
第五步、重构信号：
将修复后的信号矩阵 进行逆变换，得到重构的脑电信号矩阵：
；
式中，是重构的脑电信号矩阵，其大小为 />。
S23、对五种脑电成分信号和生物光学传感器采集的PPG数据进行时域、频域分析，采用Morlet小波变换进行特征提取，获取低频到高频多特征数据如，等，生成数据向量；
S24、根据步骤S23所述的数据向量构建图结构数据包。
优选的，步骤S3具体包括以下步骤：
S31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；
S32、将由步骤S2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果（评分在0~1之间，且评分越高，作业能力越强；评分越低越疲劳）。
实施例
在本实施例中，邀请3名志愿者作为日常驾驶员采集数据：3名志愿者从上午八点钟以后，以两个小时为一个周期，志愿者在这两个小时内模拟驾驶60分钟，然后休息60分钟，整个过程中佩戴本发明所述的基于图神经网络的头戴式脑体作业能力评估设备收集数据。同时邀请3名志愿者作为长时间驾驶员采集数据：志愿者在某一时刻中完成3小时的模拟驾驶，全程佩戴本发明所述的基于图神经网络的头戴式脑体作业能力评估设备采集数据。
日常驾驶员测试组在午后和夜间驾驶时，本发明所述的基于图神经网络的头戴式脑体作业能力评估设备输出结果平均在0.8以上，与志愿者描述状态相符合。长时间驾驶员测试组中，本发明所述的基于图神经网络的头戴式脑体作业能力评估设备的输出结果整体上随时间增加而上升，尤其在最后一个小时模拟驾驶中输出结果均值低于0.7，与志愿者状态描述相符合，从而证明了本发明的准确性。
因此，本发明采用上述基于图神经网络的头戴式脑体作业能力评估设备及方法，相比于现有技术，利用图神经网络能够有效处理数据间的拓扑关系，捕捉潜在的信息关联，得到更好的结果，从而能够更加有效精确的评估高危作业人员的工作状态是否适合继续工作；同时设备续航优越、穿戴舒适，并且多电极适应不同场景，应用范围广。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (10)
1.基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：包括用于采集多种生理数据的采集模块、与采集模块相连的ADC转换模块和与ADC转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以GCN网络和Metalearning为框架。
2.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：ADC转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；
差分放大器，用于对由采集模块采集的电压信号进行一级放大；
积分放大器，用于通过改变积分时间，实现250SPS到16KSPS的分段式采样率；
数字滤波器，用于对特定频率滤波后输出最终AD转换结果。
3.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：主控模块采用ARM Cortex-M4F 32位架构微处理器，搭配RTOS操作***；
主控模块上还集成有蓝牙通信接口、WiFi通信接口和4G无线通信接口，主控模块与上位机相通讯。
4.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；
生理数据包括人体心率、血氧、心率变异性和脑电特征。
5.根据权利要求4所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段PPG数据。
6.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连；
电源采用锂电池，用于提供3.7V电压；
充放电管理模块，用于锂电池正反接保护、充电状态的指示；
稳压输出模块，用于将锂电池提供的3.7V电压转换成3.3V电压供给主控模块。
7.如上述权利要求1-6任一项所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：包括以下步骤：
S1、通过采集模块采集人体的多种生理数据并经ADC转换模块后输入主控模块；
S2、对生理数据构建图结构数据包；
S3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。
8.根据权利要求7所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：步骤S2具体包括以下步骤：
S21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；
S22、采用主成分分析和独立成分分析抑制运动噪声；
S23、对五种脑电成分信号和生物光学传感器采集的PPG数据进行时域、频域分析，采用Morlet小波变换进行特征提取，获取低频到高频多特征数据，生成数据向量；
S24、根据步骤S23所述的数据向量构建图结构数据包。
9.根据权利要求8所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：步骤S22所述的主成分分析算法包括以下步骤：
第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；
第二步、协方差矩阵：对脑电成分信号数据和PPG数据构建协方差矩阵，以描述不同信号的相关性：
假设有m个样本和n个特征，将预处理后的数据表示为一个m×n的脑电数据矩阵X，计算协方差矩阵C：
；
式中，表示X的转置；
第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵V；
第四步、对不同信号选取对应维度N进行重建，重建信号：
；
步骤S22所述的独立成分分析算法包括以下步骤：
第一步、构建混合模型：
将预处理后的脑电成分信号表示为线性组合的形式：
；
式中，是观测信号矩阵，其大小为H×T，H表示通道数，T表示时间点数；是混合矩阵，其大小为H×M，M表示源信号的数量；/>是源信号矩阵，其大小为 M×T；
第二步、ICA 求解：
对混合模型进行独立成分分析，得到分离矩阵和分离信号矩阵/>：
；
其中，分离矩阵的大小为 H×N；分离信号矩阵/>的大小为 M×T；
第三步、成分选择：确定脑电信号和噪声成分；
第四步、噪声去除：
将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵/>：
；
式中，是去除噪声成分后的分离矩阵，其大小为 />，/>表示剩余的脑电信号成分数量；
第五步、重构信号：
将修复后的信号矩阵进行逆变换，得到重构的脑电信号矩阵：
；
式中，是重构的脑电信号矩阵，其大小为 />。
10.根据权利要求7所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：步骤S3具体包括以下步骤：
S31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；
S32、将由步骤S2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967405.1A CN116671881A (zh) | 2023-08-03 | 2023-08-03 | 基于图神经网络的头戴式脑体作业能力评估设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967405.1A CN116671881A (zh) | 2023-08-03 | 2023-08-03 | 基于图神经网络的头戴式脑体作业能力评估设备及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116671881A true CN116671881A (zh) | 2023-09-01 |
Family
ID=87787685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310967405.1A Pending CN116671881A (zh) | 2023-08-03 | 2023-08-03 | 基于图神经网络的头戴式脑体作业能力评估设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116671881A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117783886A (zh) * | 2024-02-23 | 2024-03-29 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 动力电池异常状态识别方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170238858A1 (en) * | 2015-07-30 | 2017-08-24 | South China University Of Technology | Depression assessment system and depression assessment method based on physiological information |
| CN107822623A (zh) * | 2017-10-11 | 2018-03-23 | 燕山大学 | 一种基于多源生理信息的驾驶员疲劳及情绪评价方法 |
| CN109350051A (zh) * | 2018-11-28 | 2019-02-19 | 华南理工大学 | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及*** |
| KR102096617B1 (ko) * | 2018-12-12 | 2020-04-02 | 충남대학교산학협력단 | 이미지와 ｐｐｇ 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템 |
| CN111342842A (zh) * | 2020-04-03 | 2020-06-26 | 南京中科微电子有限公司 | 一种新型高速高精度模数转换器 |
| CN114676720A (zh) * | 2022-02-28 | 2022-06-28 | 山东大学 | 基于图神经网络的心理状态识别方法及*** |
| CN115040095A (zh) * | 2022-08-15 | 2022-09-13 | 北京九叁有方物联网科技有限公司 | 适老化多功能自主非侵入式动态生理信号监测分析*** |
-
2023
- 2023-08-03 CN CN202310967405.1A patent/CN116671881A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170238858A1 (en) * | 2015-07-30 | 2017-08-24 | South China University Of Technology | Depression assessment system and depression assessment method based on physiological information |
| CN107822623A (zh) * | 2017-10-11 | 2018-03-23 | 燕山大学 | 一种基于多源生理信息的驾驶员疲劳及情绪评价方法 |
| CN109350051A (zh) * | 2018-11-28 | 2019-02-19 | 华南理工大学 | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 |
| KR102096617B1 (ko) * | 2018-12-12 | 2020-04-02 | 충남대학교산학협력단 | 이미지와 ｐｐｇ 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及*** |
| CN111342842A (zh) * | 2020-04-03 | 2020-06-26 | 南京中科微电子有限公司 | 一种新型高速高精度模数转换器 |
| CN114676720A (zh) * | 2022-02-28 | 2022-06-28 | 山东大学 | 基于图神经网络的心理状态识别方法及*** |
| CN115040095A (zh) * | 2022-08-15 | 2022-09-13 | 北京九叁有方物联网科技有限公司 | 适老化多功能自主非侵入式动态生理信号监测分析*** |
Non-Patent Citations (1)
| Title |
|---|
| 刘振瑶: "基于IPPG的人体生命体征感知研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 24 - 36 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117783886A (zh) * | 2024-02-23 | 2024-03-29 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 动力电池异常状态识别方法、装置、电子设备及存储介质 |
| CN117783886B (zh) * | 2024-02-23 | 2024-05-31 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 动力电池异常状态识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6280226B2 (ja) | 生体信号測定システム | |
| CN107080527B (zh) | 一种基于可穿戴生命体征监测装置的精神状态监测方法 | |
| CN105852845A (zh) | 可穿戴式十二导联远程心电监护装置及其应用***和方法 | |
| AU2011205557A1 (en) | Multivariate residual-based health index for human health monitoring | |
| CN106175752B (zh) | 脑电波信号获取设备及方法、状态评估***及方法 | |
| CN116671881A (zh) | 基于图神经网络的头戴式脑体作业能力评估设备及方法 | |
| CN104490387A (zh) | 能够抑制运动干扰的无线便携与穿戴式心电检测器 | |
| CN102708288A (zh) | 一种基于脑-机接口的医患交互方法 | |
| CN113080998B (zh) | 一种基于脑电的专注状态等级评定方法和*** | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN107582046B (zh) | 心电实时监护方法 | |
| CN112438733A (zh) | 一种便携式新生儿惊厥脑电监护*** | |
| Ahmadi et al. | Brain-computer interface signal processing algorithms: A computational cost vs. accuracy analysis for wearable computers | |
| Wang et al. | Low-power multi-lead wearable ECG system with sensor data compression | |
| CN114587380A (zh) | 一种基于脑电采集头环的睡眠状态检测方法、装置及*** | |
| CN105125186A (zh) | 一种确定干预治疗方式的方法及*** | |
| CN114469084A (zh) | 一种基于高精度adc的血氧监测*** | |
| CN202433905U (zh) | 具远距体感运动功能的健康管理*** | |
| CN204759349U (zh) | 一种基于稳态视觉诱发电位的飞行器控制装置 | |
| CN110916655B (zh) | 一种便携式脑电采集*** | |
| CN210124761U (zh) | 一种睡眠监测装置及*** | |
| Fang et al. | A low power biomedical signal processing system-on-chip design for portable brain-heart monitoring systems | |
| CN208822801U (zh) | 一种基于脑电波进行心理辅助诊断*** | |
| CN208447575U (zh) | 生命体征检测*** | |
| CN214434238U (zh) | 多通道脑电信号采集*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |