CN115581435A - 一种基于多传感器的睡眠监测方法和设备 - Google Patents
一种基于多传感器的睡眠监测方法和设备 Download PDFInfo
- Publication number
- CN115581435A CN115581435A CN202211048966.3A CN202211048966A CN115581435A CN 115581435 A CN115581435 A CN 115581435A CN 202211048966 A CN202211048966 A CN 202211048966A CN 115581435 A CN115581435 A CN 115581435A
- Authority
- CN
- China
- Prior art keywords
- data
- lying
- sleep
- image
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000003860 sleep quality Effects 0.000 claims abstract description 16
- 239000002245 particle Substances 0.000 claims abstract description 15
- 230000036544 posture Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 18
- 206010041235 Snoring Diseases 0.000 claims description 12
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 12
- 239000008280 blood Substances 0.000 claims description 12
- 210000004369 blood Anatomy 0.000 claims description 12
- 238000003066 decision tree Methods 0.000 claims description 12
- 229910052760 oxygen Inorganic materials 0.000 claims description 12
- 239000001301 oxygen Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000007306 turnover Effects 0.000 claims description 11
- 238000007637 random forest analysis Methods 0.000 claims description 10
- 210000002784 stomach Anatomy 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 230000036391 respiratory frequency Effects 0.000 claims description 8
- 230000008901 benefit Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000033764 rhythmic process Effects 0.000 claims description 5
- 230000035565 breathing frequency Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 201000010099 disease Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 201000002859 sleep apnea Diseases 0.000 description 2
- 208000019116 sleep disease Diseases 0.000 description 2
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 206010041347 Somnambulism Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4818—Sleep apnoea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Anesthesiology (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Fuzzy Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Acoustics & Sound (AREA)
Abstract
本发明公开了一种基于多传感器数据融合的睡眠监测方法和设备,该方法通过视频基于随机森林分类器识别用户睡眠姿态,监测用户翻身和起夜次数,通过音频识别用户呼吸频率,打鼾频率和大小,通过手环获取用户心率和血氧饱和度。本发明还提供了一种睡眠监测设备。本发明改进了睡眠监测方法,减轻了睡眠监测中的设备接触负担,降低监测设备成本;同时基于粒子群算法改进的神经网络实现多传感器数据融合算法融合多个数据,提高了睡眠监测中的睡眠质量分类准确性。
Description
技术领域
本发明涉及睡眠监测领域,尤其是一种基于多传感器的睡眠监测方法和设备。
背景技术
随着科学与医学技术的飞快发展,人们对健康问题的重视与日俱增,希望能在疾病出现前就能够被预防或及时治疗。在生物医学工程与大数据等相关技术逐渐应用于临床后,人们发现整夜睡眠信息能在一定程度上映射出人体的健康状况,从而进行疾病的预防和治疗。
目前发现的睡眠疾病有100多种,睡眠呼吸疾病也有20余种,因此睡眠疾病是多种疾病的上游病因。睡眠中出现的常见疾病包括失眠、梦游、呼吸暂停综合征和睡眠窒息等。研究表明,睡眠过程中出现的一些潜在疾病会引起一系列综合病症,睡眠监测产品应运而生。这些睡眠监测产品多采用接触式监测,需要在受试者身体的多个部位贴数个电极,佩戴口鼻气流管和腹部绑带。接触式的监测在很大程度上影响了受试者的生理和心理情况,且测试环境复杂,需要专业医护人员操作,价格相对昂贵,导致此类设备无法在生活中普及,也无法进行长期的睡眠监测。且在监测过程,也是通过多个单一传感器分别监测,没有对传感器之间进行数据的融合,数据的可靠性较差。
发明内容
(一)解决的技术问题
为了解决上述技术问题,本发明提供一种基于多传感器数据融合的睡眠监测方法和设备,该方法通过视频识别用户睡眠姿态,监测用户翻身和起夜次数,通过音频识别用户呼吸频率,打鼾频率和大小,通过手环获取用户心率和血氧饱和度,减轻了睡眠监测中的设备接触负担;同时基于多传感器数据融合算法融合多个数据,提高了睡眠监测中的睡眠质量分类准确性。
(二)技术方案
为了解决上述存在的技术问题,实现发明目的,本发明是通过以下技术方案实现的:
一种基于多传感器的睡眠监测方法,包括以下步骤:
S1:传感器数据获取,通过摄像头采集视频数据,通过麦克风采集音频数据,通过智能手环采集心率和血氧饱和度;
S2:视频数据处理,视频数据处理部分主要包括对视频数据进行处理,通过姿态分类识别用户翻身和起夜次数
S3:多数据融合
基于视频得到翻身次数,起夜次数;通过音频得到打鼾频率,声音大小,呼吸频率;
通过智能手环测量心率、血氧饱和度。将上述数据进行数据融合,采用基于PSO结合RBF神经网络模型进行数据融合
S4:监测结果输出
将步骤S3获得的睡眠质量结果输出到显示设备,包括显示屏或手机APP。
进一步地:
步骤S2还包括:
S21:基于帧间差分法进行运动目标检测
其工作原理过程如下,第一步先对图像进行灰度差分运算,具体方法为:选取相邻两帧图像,将其相同位置的像素点相减,得出灰度差分图像后并进行二值化操作。然后将所得结果的绝对值与设定的阈值进行比较,若大于阈值,那么就判断为是运动对象,相反,则判断为静止对象。最后,输出做差分运算后的二值化灰度图像。
设视频中连续第t帧和第t-1帧图像分别为Nt,Nt-1,那么两帧的减法差分运算如下式所示:
其中,D(x,y)为差分运算后的像素值,(x,y)为当前帧的像素点,T表示图像二值化过程中用到的阈值。
帧间差分法的优点是简单快速,在运算时能迅速得出结果。
S22:特征提取
采用HOG特征提取,对图像f(x,y)HOG特征提取的步骤如下:
(1)颜色空间归一化。对图像进行灰度化处理和Gamma校正,可以降低光照变化和局部阴影所造成的影响,尽可能抑制噪声干扰。Gamma压缩公式如下:
f(x,y)=f(x,y)a
其中,a一般取0.5。
(2)计算图像中每个像素点的梯度幅值和方向,以获取轮廓信息,同时减弱光照的影响。计算图像f(x,y),中每个像素点(x,y)\的梯度,再根据梯度计算出每个像素点的梯度幅值和方向,其计算公式为:
Gx(x,y)=f(x+1,y)-f(x-1,y)
Gy(x,y)=f(x,y+1)-f(x,y-1)
其中,Gx(x,y)表示像素点(x,y)处水平方向梯度值,Gy(x,y)表示像素点(x,y)垂直方向梯度值,G(x,y)表示像素点(x,y)的梯度幅值,θ(x,y)表示像素点(x,y)的梯度方向。
(3)将图像分割成多个小区域,每个小区域包含9个直方图通道,相连的4个小区域组成一个子块,每个子块内全部小区域的特征向量串联起来获得HOG特征描述。
(4)特征向量归一化。对子块内特征向量进行归一化处理,减弱图像与子块之间光照和阴影的差别,归一化方式如下:
其中,ε为很小的常数
(5)生成特征向量。将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量。对于特征维数计算,图像分为m*n个小区域,且一个子块单元由s*s个小区域构成,最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
S23:睡眠姿态识别
基于随机森林人体姿态识别,识别睡眠姿态包括:仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态,包括如下步骤:
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本,此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量。
(2)对于每个子样本用如下方法形成一棵决策树:
a)从子样本中随机选取p个属性作为节点***的候选属性。
b)在候选属性中计算吉尼指数,选择基尼指数最大的属性对决策树进行***。
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准。数据集
D的纯度可用基尼值来度量,定义为:
其中,p(vi,j)表示Ai中包含vk的概率,p(yi)表示yi类的概率,p(yi/vi,j)表示yi类包含特征Ai并且包含vk的概率。
c)重复步骤b),直到基尼指数小于规定阈值。
(3)重复步骤(1)-(2),直至生成n棵决策树。
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
根据分类结果对视频中的图像进行睡眠姿态的识别,获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态,并记录用户睡眠中翻身次数和起夜次数,其中,睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身,由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
进一步地,步骤S3还包括:
(1)数据预处理
数据预处理是对多传感器***数据融合的重要前提。未经处理的原始各个传感器数据会出现:数据缺失错乱、个别数据不符合常理以及计算量大等问题,导致分析复杂。预处理主要是对采集到的数据进行规范化处理,进行记录,去除故障数据。
(2)通过粒子群算法获得RBF神经网络的权值和阈值。
在实际应用过程中,网络隐藏层函数中心是在输入样本集中选取的,在许多情况下难以反映出***真正输入输出的关系,并且初始中心点数太多,优选过程会出现数据病态现象。针对RBF神经网络在隐藏层函数中心上选取的弱势,采用基于粒子群算法改进神经网络模型的多传感器数据融合的方法。利用粒子群优化算法的寻优能力进行RBF神经网络参数:隐含层神经元中心及宽度、输出连接权值的调整,使得RBF神经网络发挥其出色的函数逼近能力,在数据融合领域更具优势。
(3)建立网络模型并训练网络
选择神经网络参数,网络包括输入层,输出层,隐含层,高斯函数为隐含层的传递函数;输入层包括7个节点,分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数,输出层包括1个节点,对应睡眠质量分类,结果包括优、良好、中等、中下、不健康、非常不健康。并对网络进行训练。
(4)进行数据融合
将音视频处理结果以及手环输出结果包含的七个参数输入到已经训练好的神经网络中进行数据融合,得到用户睡眠质量结果。
本发明还提供一种睡眠监测设备,其具体包括:监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块,其中,数据处理模块还包括:
视频处理模块,其用于对监测摄像头采集的视频进行处理,获得用户翻身次数和起夜次数;
音频处理模块,其用于对麦克风采集的音频数据进行处理,获得用户呼吸频率信息和打鼾频率、声音分贝大小信息;
数据融合模块,其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理,得到用户睡眠质量等级输出。
(三)有益效果
(1)通过视频对睡眠姿态进行非接触式检测,避免了接触式测量影响用户的睡眠状态,并且,通过视频监测自动识别睡眠姿态,提高了姿态分辨的准确度。
(2)通过多传感器数据融合,将多种传感器得到的数据进行融合,提高睡眠状态评价的科学性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的睡眠监测方法的流程图;
图2是根据本申请实施例的睡眠姿态识别方法的示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
现有技术存在问题:在对被测者的睡眠监测过程中,被测试者需要身上佩戴多达10多种电极导联设备进行睡眠监测。存在设备繁多,且价格昂贵,监测方法复杂,本发明采用结合音视频处理的睡眠监测方法,实现监测方法简单化,可以用于家庭长期监测,且结合多种传感器数据的融合,对睡眠质量的监测更加科学化。,解决了传统睡眠监测***操作难度大,价格昂贵的特点。使得睡眠监测更有利于推广,进入普通家庭。
本发明的睡眠监测方法如图1,包括如下步骤:
S1:传感器数据获取
考虑到目前手环对于睡眠姿态监测获取不准确,而在心率和血氧饱和度上监测较为准确的情况下,采用非接触式传感器为主,接触式传感器轻量化的监测方式,采用音视频结合手环的方式进行数据的采集,具体包括:监测摄像头、麦克风以及包含心率测量和血氧饱和度测量功能的智能手环。
通过监测摄像头获取用户睡眠时的视频信息,通过麦克风获取用户呼吸频率信息和打鼾频率、声音分贝大小信息,通过智能手环获取用户心率和血氧饱和度数据;通过对视频图像进行处理获取用户翻身次数和起夜次数的数据。
S2:视频数据处理
视频数据处理部分主要包括对视频数据进行处理,通过姿态分类识别用户翻身和起夜次数,识别流程如图2所示,具体包括如下步骤:
S21:基于帧间差分法进行运动目标检测
帧间差分法是通过比较视频序列中连续的两帧图像做差分运算的方法,这种方法能够获取到运动对象的轮廓。帧间差分法的主要思想是,假设存在一个运动的物体,那么在视频的两帧之间此物体所处的位置是不一样的,也就意味着相对应的像素不同,只要求出连续两帧之间的像素差,并且此像素差能够达到设定的阈值,那么便可以轻松勾画出视频里处于运动状态物体的轮廓。而若是没有运动对象,那么在连续帧中便不会出现变化。
其工作原理过程如下,第一步先对图像进行灰度差分运算,具体方法为:
选取相邻两帧图像,将其相同位置的像素点相减,得出灰度差分图像后并进行二值化操作。然后将所得结果的绝对值与设定的阈值进行比较,若大于阈值,那么就判断为是运动对象,相反,则判断为静止对象。最后,输出做差分运算后的二值化灰度图像。
设视频中连续第t帧和第t-1帧图像分别为Nt,Nt-1,那么两帧的减法差分运算如下式所示:
其中,D(x,y)为差分运算后的像素值,(x,y)为当前帧的像素点,T表示图像二值化过程中用到的阈值。
帧间差分法的优点是简单快速,在运算时能迅速得出结果。
S22:特征提取
采用HOG特征提取,对图像f(x,y)HOG特征提取的步骤如下:
(1)颜色空间归一化。对图像进行灰度化处理和Gamma校正,可以降低光照变化和局部阴影所造成的影响,尽可能抑制噪声干扰。Gamma压缩公式如下:
f(x,y)=f(x,y)a
其中,a一般取0.5。
(2)计算图像中每个像素点的梯度幅值和方向,以获取轮廓信息,同时减弱光照的影响。计算图像f(x,y),中每个像素点(x,y)\的梯度,再根据梯度计算出每个像素点的梯度幅值和方向,其计算公式为:
Gx(x,y)=f(x+1,y)-f(x-1,y)
Gy(x,y)=f(x,y+1)-f(x,y-1)
其中,Gx(x,y)表示像素点(x,y)处水平方向梯度值,Gy(x,y)表示像素点(x,y)垂直方向梯度值,G(x,y)表示像素点(x,y)的梯度幅值,θ(x,y)表示像素点(x,y)的梯度方向。
(3)将图像分割成多个小区域,每个小区域包含9个直方图通道,相连的4个小区域组成一个子块,每个子块内全部小区域的特征向量串联起来获得HOG特征描述。
(4)特征向量归一化。对子块内特征向量进行归一化处理,减弱图像与子块之间光照和阴影的差别,归一化方式如下:
其中,ε为很小的常数
(5)生成特征向量。将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量。对于特征维数计算,图像分为m*n个小区域,且一个子块单元由s*s个小区域构成,最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
S23:睡眠姿态识别
随机森林的基本原理是通过对数据集进行采样来生成多个不同的数据子集,并在每个数据子集上训练分类树,最后,结合各分类树的预测结果,以多数表决的原则确定随机森林的预测结果。随机森林分类器在高维特征情况下分类速度快,鉴别能力强,具有一定的鲁棒性。对于多种数据,它可以产生性能良好的高精度分类器;在建造森林时,泛化误差使用的是无偏估计,模型的泛化能力较强;通常随机森林的构造不需要对其进行剪枝也可以达到很好的效果。
基于随机森林人体姿态识别,识别睡眠姿态包括:仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态,包括如下步骤:
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本,此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量。
(2)对于每个子样本用如下方法形成一棵决策树:
a)从子样本中随机选取p个属性作为节点***的候选属性。
b)在候选属性中计算吉尼指数,选择基尼指数最大的属性对决策树进行***。
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准。数据集
D的纯度可用基尼值来度量,定义为:
其中,p(vi,j)表示Ai中包含vk的概率,p(yi)表示yi类的概率,p(yi/vi,j)表示yi类包含特征Ai并且包含vk的概率。
c)重复步骤b),直到基尼指数小于规定阈值。
(3)重复步骤(1)-(2),直至生成n棵决策树。
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
根据分类结果对视频中的图像进行睡眠姿态的识别,获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态,并记录用户睡眠中翻身次数和起夜次数,其中,睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身,由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
S3:数据融合
基于视频得到翻身次数,起夜次数;通过音频得到打鼾频率,声音大小,呼吸频率;
通过智能手环测量心率、血氧饱和度。
将上述数据进行数据融合,采用基于PSO结合RBF神经网络模型进行数据融合,具体步骤如下:
(1)数据预处理
数据预处理是对多传感器***数据融合的重要前提。未经处理的原始各个传感器数据会出现:数据缺失错乱、个别数据不符合常理以及计算量大等问题,导致分析复杂。预处理主要是对采集到的数据进行规范化处理,进行记录,去除故障数据。
(2)通过粒子群算法获得RBF神经网络的权值和阈值。
在实际应用过程中,网络隐藏层函数中心是在输入样本集中选取的,在许多情况下难以反映出***真正输入输出的关系,并且初始中心点数太多,优选过程会出现数据病态现象。针对RBF神经网络在隐藏层函数中心上选取的弱势,采用基于粒子群算法改进神经网络模型的多传感器数据融合的方法。利用粒子群优化算法的寻优能力进行RBF神经网络参数:隐含层神经元中心及宽度、输出连接权值的调整,使得RBF神经网络发挥其出色的函数逼近能力,在数据融合领域更具优势。
(3)建立网络模型并训练网络
选择神经网络参数,网络包括输入层,输出层,隐含层,高斯函数为隐含层的传递函数;输入层包括7个节点,分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数,输出层包括1个节点,对应睡眠质量分类,结果包括优、良好、中等、中下、不健康、非常不健康。并对网络进行训练。
(4)进行数据融合
将音视频处理结果以及手环输出结果包含的七个参数输入到已经训练好的神经网络中进行数据融合,得到用户睡眠质量结果。
S4:监测结果输出
将步骤S3获得的睡眠质量结果输出到显示设备,包括显示屏或手机APP。
在本实施方式中,通过采用音视频对用户的睡眠姿态进行监测,可以在非接触的基础上对用户睡眠状态进行监测,同时结合多传感器融合算法,对多个监测数据进行融合,对睡眠质量得到客观的评价指标。
本发明实施例还提出一种睡眠监测设备,其具体包括:监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块,其中,数据处理模块还包括:
视频处理模块,其用于对监测摄像头采集的视频进行处理,获得用户翻身次数和起夜次数;
音频处理模块,其用于对麦克风采集的音频数据进行处理,获得用户呼吸频率信息和打鼾频率、声音分贝大小信息;
数据融合模块,其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理,得到用户睡眠质量等级输出。
以上所述的实施例仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于多传感器的睡眠监测方法,其特征在于,包括以下步骤:
S1:传感器数据获取,通过摄像头采集视频数据,通过麦克风采集音频数据,通过智能手环采集心率和血氧饱和度;
S2:视频数据处理,视频数据处理部分主要包括对视频数据进行处理,通过姿态分类识别用户翻身和起夜次数;
S3:多传感数据融合,基于视频得到翻身次数,起夜次数;通过音频得到打鼾频率,声音大小,呼吸频率;通过智能手环测量心率、血氧饱和度,将上述数据进行数据融合,采用基于PSO结合RBF神经网络模型进行数据融合;
S4:监测结果输出,将步骤S3获得的睡眠质量结果输出到显示设备,包括显示屏或手机APP。
2.根据权利要求1所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S2还包括:
S21:基于帧间差分法进行运动目标检测,第一步先对图像进行灰度差分运算,具体方法为:选取相邻两帧图像,将其相同位置的像素点相减,得出灰度差分图像后并进行二值化操作;然后将所得结果的绝对值与设定的阈值进行比较,若大于阈值,那么就判断为是运动对象,相反,则判断为静止对象;最后,输出做差分运算后的二值化灰度图像;
S22:特征提取,采用HOG对图像进行特征提取;
S23:睡眠姿态识别,基于图像分类算法对视频图像进行睡眠姿态分类识别。
4.根据权利要求3所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S22还包括:
(1)颜色空间归一化;对图像进行灰度化处理和Gamma校正,可以降低光照变化和局部阴影所造成的影响,尽可能抑制噪声干扰;Gamma压缩公式如下:
f(x,y)=f(x,y)a
其中,a取0.5;
(2)计算图像中每个像素点的梯度幅值和方向,以获取轮廓信息,同时减弱光照的影响;计算图像f(x,y),中每个像素点(x,y)\的梯度,再根据梯度计算出每个像素点的梯度幅值和方向,其计算公式为:
Gx(x,y)=f(x+1,y)-f(x-1,y)
Gy(x,y)=f(x,y+1)-f(x,y-1)
其中,Gx(x,y)表示像素点(x,y)处水平方向梯度值,Gy(x,y)表示像素点(x,y)垂直方向梯度值,G(x,y)表示像素点(x,y)的梯度幅值,θ(x,y)表示像素点(x,y)的梯度方向;
(3)将图像分割成多个小区域,每个小区域包含9个直方图通道,相连的4个小区域组成一个子块,每个子块内全部小区域的特征向量串联起来获得HOG特征描述;
(4)特征向量归一化;对子块内特征向量进行归一化处理,减弱图像与子块之间光照和阴影的差别,归一化方式如下:
其中,ε为很小的常数;
(5)生成特征向量;将图像内所有子块的HOG特征描述子线性连接起来得到最终分类的特征向量;对于特征维数计算,图像分为m*n个小区域,且一个子块单元由s*s个小区域构成,最终得到HOG维数为(m-s+1)×(n-s+1)×(s×s×N)。
5.根据权利要求3所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S23还包括:识别算法基于随机森林人体姿态识别,识别睡眠姿态包括:仰卧、趴卧、左侧卧、右侧卧、坐起五种常见姿态。
6.根据权利要求5所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S23还包括:
(1)在睡眠姿态训练样本中用Bagging方法形成n个子样本,此处样本为经过多HOG特征提取和融合后的睡眠姿态特征向量;
(2)对于每个子样本用如下方法形成一棵决策树:
a)从子样本中随机选取p个属性作为节点***的候选属性;
b)在候选属性中计算吉尼指数,选择基尼指数最大的属性对决策树进行***;
基尼系数作为选择最优的划分属性可以理解为降低误分类概率的标准;数据集的纯度可用基尼值来度量,定义为:
其中,p(vi,j)表示Ai中包含vk的概率,p(yi)表示yi类的概率,p(yi/vi,j)表示yi类包含特征Ai并且包含vk的概率;
c)重复步骤b),直到基尼指数小于规定阈值;
(3)重复步骤(1)-(2),直至生成n棵决策树;
(4)对未知样本分类时随机森林输出为决策树多数投票结果。
7.根据权利要求6所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S23还包括:根据分类结果对视频中的图像进行睡眠姿态的识别,获得仰卧、趴卧、左侧卧、右侧卧、坐起几种姿态,并记录用户睡眠中翻身次数和起夜次数,其中,睡眠姿态由仰卧、趴卧、左侧卧、右侧卧之一转换为另一种姿态的判断为一次翻身,由卧姿(包含仰卧、趴卧、左侧卧、右侧卧)转换为坐姿的判断为一次起夜。
8.根据权利要求1所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S3还包括:
(1)数据预处理
对采集到的数据进行规范化处理,进行记录,去除故障数据;
(2)通过粒子群算法获得RBF神经网络的权值和阈值;
利用粒子群优化算法的寻优能力进行RBF神经网络参数:隐含层神经元中心及宽度、输出连接权值的调整,使得RBF神经网络发挥其出色的函数逼近能力,在数据融合领域更具优势;
(3)建立网络模型并训练网络;
选择神经网络参数,网络包括输入层,输出层,隐含层,高斯函数为隐含层的传递函数;并对网络进行训练;
(4)进行数据融合;
将音视频处理结果以及手环输出结果包含的7个参数输入到已经训练好的神经网络中进行数据融合,得到用户睡眠质量结果。
9.根据权利要求8所述的基于多传感器的睡眠监测方法,其特征在于,所述步骤S3还包括:输入层包括7个节点,分别对应翻身次数、起夜次数、打鼾频率、声音大小、呼吸频率、心率、血氧饱和度共7个参数,输出层包括1个节点,对应睡眠质量分类,结果包括优、良好、中等、中下、不健康、非常不健康。
10.一种如权利要求1-9任意项所述的基于多传感器的睡眠监测方法的设备,其特征在于,所述设备包括:监测摄像头、麦克风、包含心率测量和血氧饱和度测量功能的智能手环以及数据处理模块,其中,数据处理模块还包括:
视频处理模块,其用于对监测摄像头采集的视频进行处理,获得用户翻身次数和起夜次数;
音频处理模块,其用于对麦克风采集的音频数据进行处理,获得用户呼吸频率信息和打鼾频率、声音分贝大小信息;
数据融合模块,其采用粒子群算法改进的神经网络对音视频数据以及心率和血氧饱和度进行融合处理,得到用户睡眠质量等级输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211048966.3A CN115581435A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多传感器的睡眠监测方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211048966.3A CN115581435A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多传感器的睡眠监测方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115581435A true CN115581435A (zh) | 2023-01-10 |
Family
ID=84771660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211048966.3A Pending CN115581435A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多传感器的睡眠监测方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115581435A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116671867A (zh) * | 2023-06-06 | 2023-09-01 | 中国人民解放军海军特色医学中心 | 一种针对水下作业人员的睡眠质量评测方法及*** |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
CN108388912A (zh) * | 2018-02-08 | 2018-08-10 | 南京理工大学 | 基于多传感器特征优化算法的睡眠分期方法 |
US20190201267A1 (en) * | 2017-12-28 | 2019-07-04 | Sleep Number Corporation | Bed having sensor fusing features useful for determining snore and breathing parameters |
CN110781735A (zh) * | 2019-09-18 | 2020-02-11 | 重庆特斯联智慧科技股份有限公司 | 一种用于识别人员在岗状态的报警方法及*** |
CN111248868A (zh) * | 2020-02-20 | 2020-06-09 | 长沙湖湘医疗器械有限公司 | 一种快眼动睡眠分析方法、***及设备 |
CN112102946A (zh) * | 2019-11-21 | 2020-12-18 | 北京健康有益科技有限公司 | 一种基于深度学习的睡眠质量检测方法和装置 |
CN113038668A (zh) * | 2019-05-26 | 2021-06-25 | 中国计量大学上虞高等研究院有限公司 | 基于入睡效率因素的照明控制*** |
CN113679339A (zh) * | 2020-05-19 | 2021-11-23 | 安徽华米健康科技有限公司 | 睡眠监测方法、设备、***以及存储介质 |
CN114067435A (zh) * | 2021-11-15 | 2022-02-18 | 山东大学 | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和*** |
CN114391807A (zh) * | 2021-12-17 | 2022-04-26 | 珠海脉动时代健康科技有限公司 | 睡眠呼吸障碍分析方法、装置、设备及可读介质 |
CN114652280A (zh) * | 2020-12-23 | 2022-06-24 | 沈阳新松机器人自动化股份有限公司 | 睡眠质量监测***及方法 |
CN114898261A (zh) * | 2022-05-07 | 2022-08-12 | 山东大学 | 一种基于视频和生理数据融合的睡眠质量评估方法及*** |
-
2022
- 2022-08-30 CN CN202211048966.3A patent/CN115581435A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
US20190201267A1 (en) * | 2017-12-28 | 2019-07-04 | Sleep Number Corporation | Bed having sensor fusing features useful for determining snore and breathing parameters |
CN108388912A (zh) * | 2018-02-08 | 2018-08-10 | 南京理工大学 | 基于多传感器特征优化算法的睡眠分期方法 |
CN113038668A (zh) * | 2019-05-26 | 2021-06-25 | 中国计量大学上虞高等研究院有限公司 | 基于入睡效率因素的照明控制*** |
CN110781735A (zh) * | 2019-09-18 | 2020-02-11 | 重庆特斯联智慧科技股份有限公司 | 一种用于识别人员在岗状态的报警方法及*** |
CN112102946A (zh) * | 2019-11-21 | 2020-12-18 | 北京健康有益科技有限公司 | 一种基于深度学习的睡眠质量检测方法和装置 |
CN111248868A (zh) * | 2020-02-20 | 2020-06-09 | 长沙湖湘医疗器械有限公司 | 一种快眼动睡眠分析方法、***及设备 |
CN113679339A (zh) * | 2020-05-19 | 2021-11-23 | 安徽华米健康科技有限公司 | 睡眠监测方法、设备、***以及存储介质 |
CN114652280A (zh) * | 2020-12-23 | 2022-06-24 | 沈阳新松机器人自动化股份有限公司 | 睡眠质量监测***及方法 |
CN114067435A (zh) * | 2021-11-15 | 2022-02-18 | 山东大学 | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和*** |
CN114391807A (zh) * | 2021-12-17 | 2022-04-26 | 珠海脉动时代健康科技有限公司 | 睡眠呼吸障碍分析方法、装置、设备及可读介质 |
CN114898261A (zh) * | 2022-05-07 | 2022-08-12 | 山东大学 | 一种基于视频和生理数据融合的睡眠质量评估方法及*** |
Non-Patent Citations (3)
Title |
---|
夏翔 等: "基于PSO-RBF的神经网络在猪舍多传感器数据融合技术中的应用", 黑龙江畜牧兽医, no. 15, pages 91 - 94 * |
戴凤智 等: "基于多传感器的睡眠监测与评估***设计", 国外电子测量技术, vol. 41, no. 4, 30 April 2022 (2022-04-30), pages 126 - 133 * |
郭金鑫 等: "基于HOG多特征融合与随机森林的人脸识别", 计算机科学, vol. 40, no. 10, pages 279 - 283 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116671867A (zh) * | 2023-06-06 | 2023-09-01 | 中国人民解放军海军特色医学中心 | 一种针对水下作业人员的睡眠质量评测方法及*** |
CN116671867B (zh) * | 2023-06-06 | 2024-02-20 | 中国人民解放军海军特色医学中心 | 一种针对水下作业人员的睡眠质量评测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hsu et al. | Deep learning with time-frequency representation for pulse estimation from facial videos | |
CN106778695B (zh) | 一种基于视频的多人快速心率检测方法 | |
CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别*** | |
CN109993068B (zh) | 一种基于心率和面部特征的非接触式的人类情感识别方法 | |
CN112587153B (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测***和方法 | |
CN111967354B (zh) | 基于肢体和微表情的多模态特征的抑郁倾向识别方法 | |
CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
Chen et al. | A new deep learning framework based on blood pressure range constraint for continuous cuffless BP estimation | |
CN112200162A (zh) | 基于端到端网络的非接触式心率测量方法、***和装置 | |
CN115462783A (zh) | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析*** | |
CN112151167A (zh) | 一种基于深度学习的儿童六龄牙龋齿智能筛查方法 | |
CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和*** | |
CN115581435A (zh) | 一种基于多传感器的睡眠监测方法和设备 | |
CN114626419B (zh) | 一种基于wifi中信道状态信息和改进卷积神经网络的动作识别方法 | |
CN115969369A (zh) | 一种大脑任务负荷识别方法、应用及设备 | |
CN114842957B (zh) | 一种基于情绪识别的老年痴呆症辅助诊断***及其方法 | |
CN113096819A (zh) | 一种基于神经卷积网络的疫情防控筛查预警*** | |
CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
CN117520826B (zh) | 一种基于可穿戴设备的多模态情绪识别方法及*** | |
CN115170870A (zh) | 基于深度学习的婴儿行为特征分类方法和*** | |
CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测*** | |
CN110135357B (zh) | 一种基于远程遥感的幸福感实时检测方法 | |
CN113693573B (zh) | 一种基于视频的非接触式多生理参数监测的***及方法 | |
CN112597949B (zh) | 一种基于视频的心理压力测量方法及其*** | |
Mohammadi et al. | Two-step deep learning for estimating human sleep pose occluded by bed covers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |