CN112001122B - 基于端到端生成对抗网络的非接触式生理信号测量方法 - Google Patents
基于端到端生成对抗网络的非接触式生理信号测量方法 Download PDFInfo
- Publication number
- CN112001122B CN112001122B CN202010870622.5A CN202010870622A CN112001122B CN 112001122 B CN112001122 B CN 112001122B CN 202010870622 A CN202010870622 A CN 202010870622A CN 112001122 B CN112001122 B CN 112001122B
- Authority
- CN
- China
- Prior art keywords
- network module
- network
- signal
- generator
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Library & Information Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于端到端生成对抗网络的非接触式生理信号测量方法,其步骤包括:1处理视频数据得到色度信号,将参考信号用级数展开获得多个标签信号,并获取对应的运动信号;2构建生成对抗网络,设计生成器和判别器的网络结构,采用3D网络模块和多个1D网络模块级联构成引导式的多标签生成器,采用多个卷积块构成判别器;3生成器多个网络模块的损失函数与对抗损失的加权和作为损失函数,判别器以最小二乘损失作为损失函数;4将视频数据输入生成对抗网络训练,调整网络参数,得到最优模型。本发明能够得到较为准确的rPPG信号,为基于视频的生理参数监测的实际应用提供解决方案。
Description
技术领域
本发明涉及非接触式生理信号检测及分析技术领域,具体涉及一种基于端到端生成对抗网络的非接触式生理信号测量方法。
背景技术
血容量脉冲信号是一种重要的生理信号,它包含多种重要的生理信息,可以从中得到心率、心率变异性等多种生理参数,对临床诊断疾病具有重要意义。目前,临床上监测人体血容量脉冲信号的方法主要为接触式测量方法,采用一些接触式的测量仪器如心电图机、脉搏血氧仪等来监测血容量脉冲信号。由于测量时需要接触到受试者的皮肤,长时间使用会引起受试者的不适。并且,对于一些特殊人群如婴儿、易过敏肤质人群以及烧伤病人等,接触式的测量方法并不适用。近年来,基于视频图像的远程光电容积描记(remotephotoplethysmography,rPPG)已经成为一大研究热点,rPPG技术利用消费者级摄像机记录心跳引起的面部皮肤颜色变化,采用一些算法处理这种颜色变化获得血容量脉冲信号,称为rPPG信号,它具有无创、便携、易于实现等特点。
在rPPG技术中主要存在两大难题——光照变化和运动噪声,但是大多数场景都处于室内光源或自然光源条件下,光照变化比较小,而受试者难免会有运动,因此运动去噪成为rPPG的最主要问题。经过多年的发展,人们根据不同的假设和机理引入了多种rPPG方法,例如,基于盲源分离和基于模型的传统方法。传统方法的假设往往不能完全满足实际情况,脉冲信号提取的精度受到限制,使得它们的应用场景非常有限。随着深度学***均心率值或者不够准确的rPPG信号,这使得rPPG的应用受到了很大的限制。
发明内容
本发明是为避免上述现有技术的不足,提供一种基于端到端生成对抗网络的非接触式生理信号测量方法,以期能够直接从视频得到准确的rPPG信号,从而计算更多的生理参数,为移动健康监护、疾病诊断提供有效信息。
本发明为解决技术问题采用如下方案:
本发明一种基于端到端生成对抗网络的非接触式生理信号测量方法的特点在于,包括以下步骤:
步骤一、处理视频数据获得网络训练时的标签信号,并获得相应的运动信号;
步骤1.1获取t帧视频图像X,并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域,使用非接触式心率测量算法处理每一帧图像的面部区域,从而得到色度信号C;
步骤1.2获取t帧视频图像X对应的参考信号P,利用式(1)将参考信号P用级数展开,从而获得第i个标签信号Pi:
式(1)中,Fi为第i个基函数,αi为第i个展开系数,i=1,2,…,N;
步骤1.3获取t帧视频图像X对应时间内的运动信号Y;
步骤二、搭建生成对抗网络的结构,包括生成器G和判别器D;
步骤2.1所述生成器G采用一个3D网络与N个1D网络级联的方式构成,所述3D网络采用R(2+1)D网络模块,N个1D网络均采用Wave-U-Net网络模块;
所述R(2+1)D网络模块的输入为t帧视频图像X,所述R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接,并将所述运动信号Y作为条件同时输入第1个Wave-U-Net网络模块,然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层;所述R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连;第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连;第i个Wave-U-Net网络模块的输出层通过跳跃连接方式与第i+2个Wave-U-Net网络模块的输入层相连;i=2,3,…,N-2;第N-1个网络的输出层通过跳跃连接方式直接连接第N个Wave-U-Net网络模块的输出层;从而将一个R(2+1)D网络模块与N个Wave-U-Net网络模块级联起来构成生成器G;t帧视频图像X经过所述生成器G的处理后,得到一个rPPG信号;
步骤2.2采用多个一维卷积模块堆叠组成判别器D,所述判别器D的输入为rPPG信号或者参考信号P,输出为一个一维判别矩阵,所述一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果;
步骤三、设计损失函数,建立生成对抗网络的优化目标;
步骤3.1利用式(2)建立生成器G的损失函数LG:
式(2)中,Ladv为生成器G和判别器D之间的对抗损失,并通过式(3)得到;Lr为R(2+1)D网络模块的损失,并通过式(4)得到;Lw,i为第i个Wave-U-Net网络模块的损失,并通过式(5)得到;λ为对抗损失Ladv的权重,β为R(2+1)D网络模块的损失Lr的权重,γi第i个网络模块的损失Lw,i的权重,N为Wave-U-Net网络模块的总数;
Ladv=(D(G(X,Y))-1)2 (3)
Lr=||R(X)-C||1 (4)
Lw,i=||Wi-Pi||1,i=1,2,…,N (5)
式(3)-式(5)中,||·||1表示L1范数,R(X)表示R(2+1)D网络模块的输出,Wi表示第i个Wave-U-Net网络模块的输出;
步骤3.2利用式(6)建立判别器D的损失函数LD:
对于参考信号P,期望所述判别器D对其特征级别的判断为1,对于rPPG信号,期望所述判别器D对其特征级别的判断为0;
步骤四、输入训练数据并进行网络训练,从而得到最优模型;
将步骤一中处理的数据输入网络进行训练,将所述视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入所述生成器G中,并将生成器G生成的rPPG信号或参考信号P输入所述判别器D,使得所述生成器G和判别器D交替训练,并不断调整网络参数,使得所述生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小,直到误差不再减小为止,从而得到所述生成器G的最优模型,以实现端到端的视频生理信号测量。
与已有技术相比,本发明的有益效果体现在:
1、本发明通过端到端的神经网络直接将视频信号映射到rPPG信号,减少了手动处理的过程,避免了因手动提取特征而忽略一些视频细节,导致丢失与心跳有关的重要信息。
2、本发明采用多个网络模块级联,通过减小与各个标签信号的差异来引导网络的学习,避免了端到端网络的“黑盒”,逐步降低了视频到波形中间的非线性映射,为训练更优的模型提供有效帮助,从而提高波形提取的准确性。
3、本发明直接将运动信息作为一种参考来进行去噪,运动信息可从图像特征点的位置变化或者相应的加速度传感器采集获得,结合运动信息可以帮助网络直接学习噪声的特征,从而有助于去除运动噪声,提高了最优模型在运动情况下生理信号测量的鲁棒性及准确性。
4、本发明通过神经网络映射,直接通过人脸视频获得可用的、高质量的rPPG信号,使进一步计算心率、心率变异性等可靠的心脏特征成为可能,为移动健康监护、疾病诊断等提供更准确的健康状况信息,从而扩大rPPG技术的应用范围。
附图说明
图1为本发明方法流程图;
图2为本发明生成对抗网络的整体框架图;
图3为本发明方法的生成器网络结构图;
图4为本发明方法的判别器网络结构图;
图5为本发明模型测试流程图。
具体实施方式
本实施例中,一种基于端到端生成对抗网络的非接触式生理信号的测量方法,具体流程如图1所示,包括以下步骤:
步骤一、处理视频数据获得网络训练时的标签信号,并获得相应的运动信号;
步骤1.1采用自主采集的数据集并处理这个数据集,获取t帧视频图像X,本实例中t设置为64,并将每一帧图像裁剪为112×112的大小;并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域,使用非接触式心率测量算法处理每一帧图像的面部区域,从而得到色度信号C;本实例中非接触式心率测量算法采用CHROM算法;
步骤1.2获取t帧视频图像X对应的参考信号P,利用式(1)将参考信号P用级数展开,从而获得第i个标签信号Pi:
式(1)中,Fi为第i个基函数,αi为第i个展开系数,i=1,2,…,N;本实例中采用傅里叶级数将P展开,N设为3,通过式(1)计算得到3个标签信号分别为:P1=C+F1α1,P2=C+F1α1+F2α2,P3=P=C+F1α1+F2α2+F3α3;
步骤1.3获取t帧视频图像X对应时间内的运动信号Y;采集视频数据和参考信号的同时,采用加速度传感器同步记录运动信号,因此可获得视频序列对应的运动信号;
步骤二、搭建生成对抗网络架构,包括生成器G和判别器D,整体框架图如图2所示;
步骤2.1生成器网络结构图如图3所示,生成器G采用一个3D网络与N个1D网络级联的方式构成,本实例中N为3;3D网络采用R(2+1)D网络模块,这个网络模块将二维卷积层与一维卷积层结合,避免直接使用三维卷积导致参数量过大的问题,同时相比之前提出的伪3D网络,R(2+1)D网络保持了相同的参数量,但是增加了更多的激活层,使得网络的表达能力更强。N个1D网络均采用Wave-U-Net网络模块,该网络是处理一维信号的网络框架,可以从时域直接进行源分离,重复地对特征重新采样,以计算和合并不同时间尺度下的特征。
R(2+1)D网络模块的输入为t帧视频图像X,R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接,另外将运动信号Y作为条件同时输入第1个Wave-U-Net网络模块,然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层;R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连;第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连;第2个网络的输出层通过跳跃连接方式直接连接第3个Wave-U-Net网络模块的输出层;从而将一个R(2+1)D网络模块与3个Wave-U-Net网络模块级联起来构成生成器G;t帧视频图像X经过生成器G的处理后,得到一个rPPG信号;
这样采用多个标签的级联结构,类似于多分辨映射过程,将视频信号通过多个网络模块的逐步映射得到与参考信号更加接近的rPPG信号,避免端到端网络的“黑盒”,防止网络出现过拟合或欠拟合的现象。并且在各个模块之间采用跳跃连接,形成残差学习,增强网络训练的鲁棒性。同时将运动信号作为条件输入网络,让网络能够直接学习到运动信号的特征,从而准确地将运动噪声去除,映射出高质量的波形;
步骤2.2采用多个一维卷积模块堆叠组成判别器D,判别器D的输入为rPPG信号或者参考信号P,输出为一个一维判别矩阵,一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果;判别器D网络结构如图4所示,本实例中采用5个卷积模块,每个卷积模块由一维卷积层、BatchNorm和LeakyReLU激活层组成,判别器D从特征级别出发对信号的真假做出判断,使网络能够学习到更加细节的特征,提高生成信号的质量;
步骤三、设计损失函数,建立生成对抗网络的优化目标;
生成对抗网络包括对生成器G和判别器D,需要分别给这两个网络建立损失函数,这两个网络以对抗性的方式训练,生成器G生成一个接近真实样本的假样本来干扰判别器D,判别器D则用来判断一个样本是来自于训练集的真实样本还是来自于生成器G生成的假样本,从而使生成器G的结果更接近真实样本。
步骤3.1生成器G包含多个模块,因此生成器G的损失函数为对抗损失和多个模块损失的加权和,利用式(2)建立生成器G的损失函数LG:
式(2)中,Ladv为生成器G和判别器D之间的对抗损失,并通过式(3)得到;Lr为R(2+1)D网络模块的损失,并通过式(4)得到;Lw,i为第i个Wave-U-Net网络模块的损失,并通过式(5)得到;生成器G中的R(2+1)D网络模块以色度信号C为目标,第i个Wave-U-Net网络模块以通过式(1)生成的第i个标签信号为目标,各个模块通过减小与各自的目标信号之间的差异来优化网络的参数,这几项损失控制网络的学习方向,使生成器G生成与参考信号P接近的信号;
式(2)中,λ为对抗损失Ladv的权重,β为R(2+1)D网络模块的损失Lr的权重,γi第i个网络模块的损失Lw,i的权重,N为Wave-U-Net网络模块的总数;本实例中N为3;
Ladv=(D(G(X,Y))-1)2 (3)
Lr=||R(X)-C||1 (4)
Lw,i=||Wi-Pi||1,i=1,2,3 (5)
式(3)-式(5)中,||·||1表示L1范数,R(X)表示R(2+1)D网络模块的输出,Wi表示第i个Wave-U-Net网络模块的输出;
步骤3.2利用式(6)建立判别器D的损失函数LD;判别器D损失函数采用最小二乘的形式,为两项损失之和:
对于参考信号P,期望判别器D对其特征级别的判断为1,对于rPPG信号,期望判别器D对其特征级别的判断为0;
步骤四、输入训练数据并进行网络训练,从而得到最优模型;
将步骤一中处理的数据输入网络进行训练,将视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入生成器G中,并将生成器G生成的rPPG信号或参考信号P输入判别器D,使得生成器G和判别器D交替训练,并不断调整网络参数,使得生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小,直到误差不再减小为止,从而得到生成器G的最优模型,以实现端到端的视频生理信号测量;
测试流程图如图5所示,最后采用最优模型进行测试时,只需要将测试的视频图像数据和相应的运动信号输入生成器G的最优模型,视频图像数据和相应的运动信号经过生成器G的最优模型的映射得到rPPG信号,最后可用该rPPG信号计算更多的生理特征。
Claims (1)
1.一种基于端到端生成对抗网络的非接触式生理信号测量方法,其特征在于,包括以下步骤:
步骤一、处理视频数据获得网络训练时的标签信号,并获得相应的运动信号;
步骤1.1获取t帧视频图像X,并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域,使用非接触式心率测量算法处理每一帧图像的面部区域,从而得到色度信号C;
步骤1.2获取t帧视频图像X对应的参考信号P,利用式(1)将参考信号P用级数展开,从而获得第i个标签信号Pi:
式(1)中,Fi为第i个基函数,αi为第i个展开系数,i=1,2,…,N;
步骤1.3获取t帧视频图像X对应时间内的运动信号Y;
步骤二、搭建生成对抗网络的结构,包括生成器G和判别器D;
步骤2.1所述生成器G采用一个3D网络与N个1D网络级联的方式构成,所述3D网络采用R(2+1)D网络模块,N个1D网络均采用Wave-U-Net网络模块;
所述R(2+1)D网络模块的输入为t帧视频图像X,所述R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接,并将所述运动信号Y作为条件同时输入第1个Wave-U-Net网络模块,然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层;所述R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连;第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连;第i个Wave-U-Net网络模块的输出层通过跳跃连接方式与第i+2个Wave-U-Net网络模块的输入层相连;i=2,3,…,N-2;第N-1个网络的输出层通过跳跃连接方式直接连接第N个Wave-U-Net网络模块的输出层;从而将一个R(2+1)D网络模块与N个Wave-U-Net网络模块级联起来构成生成器G;t帧视频图像X经过所述生成器G的处理后,得到一个rPPG信号;
步骤2.2采用多个一维卷积模块堆叠组成判别器D,所述判别器D的输入为rPPG信号或者参考信号P,输出为一个一维判别矩阵,所述一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果;
步骤三、设计损失函数,建立生成对抗网络的优化目标;
步骤3.1利用式(2)建立生成器G的损失函数LG:
式(2)中,Ladv为生成器G和判别器D之间的对抗损失,并通过式(3)得到;Lr为R(2+1)D网络模块的损失,并通过式(4)得到;Lw,i为第i个Wave-U-Net网络模块的损失,并通过式(5)得到;λ为对抗损失Ladv的权重,β为R(2+1)D网络模块的损失Lr的权重,γi第i个网络模块的损失Lw,i的权重,N为Wave-U-Net网络模块的总数;
Ladv=(D(G(X,Y))-1)2 (3)
Lr=||R(X)-C||1 (4)
Lw,i=||Wi-Pi||1,i=1,2,…,N (5)
式(3)-式(5)中,||·||1表示L1范数,R(X)表示R(2+1)D网络模块的输出,Wi表示第i个Wave-U-Net网络模块的输出;G(X,Y)表示视频数据X和运动信号Y输入生成器G后,生成器G的输出,D(G(X,Y))表示生成器G的输出G(X,Y)再输入判别器D后,判别器D的输出;
步骤3.2利用式(6)建立判别器D的损失函数LD:
式(6)中,D(P)表示参考信号P输入判别器D后,判别器D的输出;
对于参考信号P,期望所述判别器D对其特征级别的判断为1,对于rPPG信号,期望所述判别器D对其特征级别的判断为0;
步骤四、输入训练数据并进行网络训练,从而得到最优模型;
将步骤一中处理的数据输入网络进行训练,将所述视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入所述生成器G中,并将生成器G生成的rPPG信号或参考信号P输入所述判别器D,使得所述生成器G和判别器D交替训练,并不断调整网络参数,使得所述生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小,直到误差不再减小为止,从而得到所述生成器G的最优模型,以实现端到端的视频生理信号测量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870622.5A CN112001122B (zh) | 2020-08-26 | 2020-08-26 | 基于端到端生成对抗网络的非接触式生理信号测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870622.5A CN112001122B (zh) | 2020-08-26 | 2020-08-26 | 基于端到端生成对抗网络的非接触式生理信号测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112001122A CN112001122A (zh) | 2020-11-27 |
CN112001122B true CN112001122B (zh) | 2023-09-26 |
Family
ID=73471010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010870622.5A Active CN112001122B (zh) | 2020-08-26 | 2020-08-26 | 基于端到端生成对抗网络的非接触式生理信号测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001122B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200162B (zh) * | 2020-12-03 | 2021-02-23 | 中国科学院自动化研究所 | 基于端到端网络的非接触式心率测量方法、***和装置 |
CN113012061A (zh) * | 2021-02-20 | 2021-06-22 | 百果园技术(新加坡)有限公司 | 降噪处理方法、装置及电子设备 |
CN113271272B (zh) * | 2021-05-13 | 2022-09-13 | 侯小琪 | 一种基于残差神经网络的单通道时频混叠信号盲分离方法 |
CN113662524B (zh) * | 2021-08-23 | 2024-04-30 | 合肥工业大学 | 一种ppg信号运动伪影的去除方法 |
CN114947792B (zh) * | 2022-05-19 | 2024-05-03 | 北京航空航天大学 | 一种基于视频的生理信号测量与增强方法 |
CN115905819B (zh) * | 2023-03-09 | 2023-05-12 | 中国民用航空飞行学院 | 基于生成对抗网络的rPPG信号生成方法及装置 |
CN117743832B (zh) * | 2024-02-21 | 2024-07-12 | 深圳市大数据研究院 | 运动干扰鲁棒的非接触式心跳生理信号测量方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
CN109977858A (zh) * | 2019-03-25 | 2019-07-05 | 北京科技大学 | 一种基于图像分析的心率检测方法及装置 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
CN111407245A (zh) * | 2020-03-19 | 2020-07-14 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
-
2020
- 2020-08-26 CN CN202010870622.5A patent/CN112001122B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
CN109977858A (zh) * | 2019-03-25 | 2019-07-05 | 北京科技大学 | 一种基于图像分析的心率检测方法及装置 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
CN111407245A (zh) * | 2020-03-19 | 2020-07-14 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
Non-Patent Citations (1)
Title |
---|
Chuanxiang Tang ; Jiwu Lu ; Jie Liu.Non-contact Heart Rate Monitoring by Combining Convolutional Neural Network Skin Detection and Remote Photoplethysmography via a Low-Cost Camera.2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).2018,1390-1396. * |
Also Published As
Publication number | Publication date |
---|---|
CN112001122A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001122B (zh) | 基于端到端生成对抗网络的非接触式生理信号测量方法 | |
CN109846469B (zh) | 一种基于卷积神经网络的非接触式心率测量方法 | |
CN109192305B (zh) | 一种基于深度循环神经网络的心功能自动分析方法 | |
CN103211605B (zh) | 一种心理测试***及心理测试方法 | |
CN110731773B (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
Hsu et al. | Deep hierarchical network with line segment learning for quantitative analysis of facial palsy | |
CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
CN111728590A (zh) | 基于动态功能连接的个体认知能力预测方法和*** | |
CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
Bourbakis | Detecting abnormal patterns in WCE images | |
CN116109818B (zh) | 一种基于面部视频的中医脉候判别***及方法和装置 | |
CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
Liu et al. | rPPG-MAE: Self-supervised pretraining with masked autoencoders for remote physiological measurements | |
CN109003280A (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
CN117197594B (zh) | 一种基于深度神经网络的心脏分流分类*** | |
CN114241240A (zh) | 脑部图像的分类方法、装置、电子设备及存储介质 | |
CN112001862B (zh) | 消除视频心冲击信号运动噪声的非接触式视心率检测方法 | |
CN116186561B (zh) | 基于高维时序图网络的跑步姿势识别纠正方法及*** | |
CN116758619A (zh) | 基于面部视频的情感分类方法、***、存储介质及设备 | |
CN116416678A (zh) | 一种运用人工智能技术实现动作捕捉及智能评判的方法 | |
CN116138756A (zh) | 基于人脸特征点检测的非接触式心率检测方法、***及介质 | |
CN109480842B (zh) | 用于诊断功能性消化不良的***及设备 | |
CN115905819B (zh) | 基于生成对抗网络的rPPG信号生成方法及装置 | |
Comas et al. | Deep adaptative spectral zoom for improved remote heart rate estimation | |
CN117877099B (zh) | 一种基于时空特征增强的无监督对比远程生理测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |