CN105636506B - 用于远程光体积描记法的自动相机调节 - Google Patents
用于远程光体积描记法的自动相机调节 Download PDFInfo
- Publication number
- CN105636506B CN105636506B CN201480056780.XA CN201480056780A CN105636506B CN 105636506 B CN105636506 B CN 105636506B CN 201480056780 A CN201480056780 A CN 201480056780A CN 105636506 B CN105636506 B CN 105636506B
- Authority
- CN
- China
- Prior art keywords
- branch mailbox
- signal
- picture frame
- pixel
- ppg signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims description 34
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000013213 extrapolation Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 239000008280 blood Substances 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 239000001301 oxygen Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000036387 respiratory rate Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种用于获得对象(14)的生命体征的设备(12),包括:接口(22),其用于接收对象(14)的图像帧(24)的集合;信号提取单元(26),其用于从图像帧(24)的所述集合提取所述对象(14)的光体积描记(PPG)信号;信号评价单元(28),其用于确定所述PPG信号的特征,所述特征指示所提取的PPG信号关于所述对象(14)的期望的生命体征的信息内容;处理单元(30),其用于基于所提取的PPG信号的所确定的特征来确定分箱配置,所述分箱配置被提供用于控制对图像帧的图像像素的分箱;以及生命体征确定单元(32),其用于根据所提取的PPG信号来确定生命体征信息。
Description
技术领域
本发明涉及用于获得对象的生命体征的设备和方法。尤其地,本发明涉及能够用于检测诸如人或动物的被观察的对象中的生命体征的非干扰性光学测量方法。
背景技术
人的生命体征,例如,心率(HR)、呼吸率(RR)或血氧饱和度,充当人的当前状态的指示物并且能够被用作医学事件的预测物。出于这种原因,生命体征在住院患者护理环境和门诊患者护理环境中,在家或者在另外的健康、休闲和健身环境中得到广泛地监测。
测量生命体征的一种方式是体积描记法。体积描记法通常指对器官或身体部分的体积变化的测量,并且尤其指对因随着每一次心跳行进通过对象的身体的心血管脉搏波引起的体积变化的检测。光体积描记法(PPG)是评价感兴趣区或体积的光反射或光透射的时变变化的光学测量技术。PPG基于以下原理:即,血液比周围组织吸收更多的光,因此血液体积随着每一次心跳的变化相应地影响透射或反射。除了关于心率的信息以外,PPG波形(也被称为PPG信号)能够包括可归因于诸如呼吸的另外的生理现象的信息。通过评价在不同波长(通常为红色和红外)处的透射率和/或反射率,能够确定血氧饱和度。常规的脉搏血氧计通常被附着到对象的皮肤。因此,它们被称为“接触式”PPG设备。
最近,已经推出了用于非干扰性测量的非接触式远程PPG(RPPG)设备。远程PPG利用被远离感兴趣对象设置的光源,或者通常为辐射源。类似地,诸如相机或光探测器的探测器也能够被设置为远离感兴趣对象。因此,远程PPG***和设备被认为是非干扰性的,并且非常适合于医学日常应用以及非医学日常应用。
Verkruysse等人的“Remote plethysmographic imaging using ambient light”(Optics Express,第16卷,第26期,第21434-21445页,2008年12月22日)展示了能够使用周围环境光和常规消费者水平的视频相机来远程测量光体积描记信号。基于相机的生命体征监测优于在体传感器的主要优点之一是高易用性:不需要附着传感器,仅使相机瞄准对象的皮肤/胸部是足够的。基于相机的生命体征监测优于在体传感器的另一优点是用于实现运动鲁棒性的潜力:相机具有显著的空间分辨率,而接触式传感器大多包括单元件检测器。
由于基于相机的生命体征监测是通过仔细分析皮肤颜色的非常细微的变化来执行的,因此其高度取决于相机传感器捕获这些变化的能力。对于该技术的关键挑战之一是在低光环境中或者在范围为从全太阳光到夜间卧室光水平的变化的环境照明状况下能够提供鲁棒的测量。因此,相机灵敏度是该过程中的关键问题。通常,视频信号在模拟域中被捕获然后被数字化。针对RPPG的感兴趣信号,即,光强度或亮度的变化,通常是微弱的(为0.25LSB的量级),尤其是当商业可获得的相机被使用时或者当周围照明状况相当微弱时。因此,在模数(AD)转换步骤期间由于所捕获的图像信号中的噪声而存在完全丢失信号(即,相关信息)的高可能性。
在US 2010/0066849 A1中,描述了图像处理方法和设备。所提出的方法和设备允许捕获场景的内容,基于像素的测得的亮度值来确定针对表示场景的像素的分箱样式,并且使用该分箱样式来捕获图像的内容。这样的方法可以允许以较低的分辨率为代价来降低相机噪声,并且可以在确定分箱设定时被使用。
WO 2011/055288 A1公开了提供视频数据和元数据的组合的方法。所述方法包括获得由视频相机捕获的图像的序列。从图像的序列提取至少一个信号,其中,每个提取的信号表征光强度和颜色中的至少一个中的局部时间变化。至少一种视频压缩技术被应用在来自序列的图像的图像数据上,以获得压缩的视频数据。所提取的信号是从处于在将所述至少一种压缩技术应用于来自这些图像的图像数据之前的状态中的图像提取的。所压缩的数据被提供有元数据,所述元数据用于表征被表示在图像的至少部分中的对象中的至少一个过程,所述过程引起从对象捕获的光的颜色和强度中的至少一个的局部时间变化。元数据至少基于所提取的信号中的至少一个。
WO 2011/042839 A1公开了一种便于获得用于分析的第一数据以表征其至少一个周期性分量的方法。所述方法包括获得表示捕获的电磁辐射的强度的至少两个第二信号,每个第二信号对应于各自的不同辐射频率范围。第一信号至少可从输出信号导出,所述输出信号可通过对第二信号应用变换来获得,使得输出信号的任何值基于来自在对应的时间点处的每个各自的第二信号的值。所述方法还包括当对应于第二信号的信号被捕获并且变换被应用时,通过以下中的至少一个来获得确定各自的第二信号的至少分量对输出信号的影响的至少一个变量的至少一个值:(i)分析第二信号、通过对第二信号应用变换获得的输出信号以及从输出信号导出的第一信号中的至少一个,并且使用所述分析来选择对应于变量中的各自的一个的至少一个参数的至少一个值;以及(ii)计算对应于变量中的各自的一个的至少一个时变因子的值,每个因子值基于至少一个第二信号值,并且将每个因子应用在操作的多个并行序列中的包括至少一个这样的操作的至少一个序列中的操作中,并且将对应于第二信号中的各自的一个的信号采取为输入。
发明内容
本发明的目标是提供用于在变化的照明状况(其范围潜在地为从全太阳光到夜间卧室光水平)下可靠且准确地获得对象的生命体征的设备和方法。
在本发明的第一方面中,提出了一种用于获得对象的生命体征的设备。所述设备包括:接口,其用于接收对象的图像帧的集合,图像帧包括具有相关联的像素值的多个图像像素;信号提取单元,其用于从图像帧的所述集合提取所述对象的光体积描记,PPG,信号;信号评价单元,其用于确定所述PPG信号的特征,所述特征指示所提取的PPG信号关于所述对象的期望的生命体征的信息内容;处理单元,其用于基于所提取的PPG信号的所确定的特征来确定分箱配置,所述分箱配置被提供用于控制对图像帧的图像像素的分箱;以及生命体征确定单元,其用于根据所提取的PPG信号来确定生命体征信息。
在本发明的第二方面中,提出了一种用于获得对象的生命体征的对应的方法。
在本发明的又一方面中,提供了一种包括程序代码单元的计算机程序,当在计算机上执行所述计算机程序时,所述程序代码单元用于令所述计算机执行在本文中公开的方法的步骤,并且提供了一种非瞬态计算机可读记录介质,在所述非瞬态计算机可读记录介质中存储了计算机程序产品,所述计算机程序产品当由处理器运行时令在本文中公开的方法被执行。
在从属权利要求中定义了本发明的优选实施例。应当理解,要求保护的方法和计算机程序具有与要求保护的设备和在从属权利要求中所定义的相似和/或相同的优选实施例。
由于图像信号中的噪声是统计地分布在空间区上的,因此应对嘈杂图像信号的一种可能是分箱。分箱指的是将(物理)像素的簇组合成单个(虚拟)像素。例如,2x2分箱通常指的是将4个(物理)像素的阵列组合成单个更大的(虚拟)像素,从而减少像素的总数目。其一个缺点在于,图像分辨率也被降低。一些商业可获得的相机提供人工分箱控制,即,用户基于记录的图像来人工决定要被使用的分箱设定。
通常,其目标是应用在以下意义上来说最优的分箱配置:足够数目的像素被分箱以便获得图像信号的适当的信噪比,尽管将经分箱的像素的数目保持为最小以便获得合理的图像分辨率。对分箱配置的确定因此能够被看作所捕获的噪声与图像分辨率之间的折衷。已知方法要求基于所记录的图像的质量来人工选取分箱配置,或者基于像素的亮度来确定分箱配置。在其中图像帧要被用于提取PPG信号并且从所述PPG信号确定生命体征信息的应用中,这些方法在有不充足的分箱被应用并且不能够提取有意义的PPG信号的风险下运行,或者有在太多像素被分箱使得图像帧的分辨率非必要地减小的风险下运行。
为了避免这些影响,本发明提出基于根据提取的PPG信号确定的特征来确定分箱配置。PPG信号被提取并且尤其是关于要从其提取的特定生命体征而被评价。基于该PPG信号(或者其特征),分箱配置被确定,所述分箱配置在以下意义上来说是最优的:最小数目的像素被分箱,尽管能够提取有意义的PPG信号,基于所述有意义的PPG信号,能够确定生命体征信息。
本发明的优点在于,分箱配置自动被确定,而不必进行人工调节。根据本发明,对分箱配置的确定直接基于期望的生命体征信息,而不是仅基于对环境照明状况的评价。因此,所确定的分箱配置适于特定期望的生命体征。如果所提取的PPG信号已经允许(以足够的准确性)对生命体征信息进行确定,则不要求另外的分箱。另一方面,如果所提取的PPG信号和根据其确定的特征不允许对生命体征信息的足够准确的提取,则分箱配置能够被调整以便获得更好的PPG信号。从而,如果不是对生命体征信息的确定所需的,则太多像素的分箱被避免。因此,如在本文中所提出的基于PPG信号的确定的特征来确定分箱配置允许对最优分箱配置进行选取。如果另一生命体征是期望的并且如果照明状况改变,则分箱配置能够被调整。针对可以被确定并且被用在本发明的背景中的PPG信号的特征的范例尤其包括信噪比、波动量度,例如,方差或标准差、分位数、平均值、趋势、外推的值或估计的值、极端值等。
在另一实施例中,所述处理单元被配置为基于查找表来确定所述分箱配置,所述查找表包括针对所提取的PPG信号的所确定的特征的不同值或所述特征的连续函数或离散函数的多个分箱配置。用于确定合适的分箱配置的一种可能方法是利用包括针对所提取的PPG信号的所确定的特征的不同值的分箱配置的查找表。这样的查找表具有不要求进一步的计算或处理以便定义合适的分箱配置的优点。
可以基于对针对不同对象的多个PPG信号和它们的确定的特征的评价来确定查找表。用于获得合适的查找表的一种可能是以实验方式确定在变化的环境照明状况下针对多个对象的多个PPG信号和它们的确定的特征。另外,可以由诸如接触传感器等的参考***来监测生命体征。然后,基于所提取的PPG信号远程确定的生命体征信息可以与参考值进行比较,并且可以基于统计学思考(即,确定容许误差)来定义所要求的准确性。然后,该实验性评价可以是针对适当的查找表的定义的基础。备选地,医学从业人员可以基于其经验定义所提取的PPG信号和从所述PPG信号提取的生命体征信息是否足够好。
在如以上描述的设备的优选实施例中,所述信号评价单元被配置为确定所述PPG信号的信噪比。在本文中,所确定的特征对应于PPG信号的信噪比。因此,如果具有不足的信噪比的信号不允许对生命体征信息的足够准确的提取,则分箱配置能够被调整,以便获得更好的PPG信号,即,具有更高的信噪比的PPG信号。所提取的PPG信号的信噪比可以被解读为PPG信号关于其对于生命体征信息的重要性的质量量度。
在实施例中,所述设备还包括分箱单元,所述分箱单元用于基于所确定的分箱配置来对图像帧的图像像素进行分箱,以获得经分箱的图像帧,其中,所述信号提取单元被配置为从所述经分箱的图像帧提取所述PPG信号。如果分箱单元被包括在所述设备中,则所接收的图像帧可以在所述设备内被分箱。因此,所接收的图像帧中的所述像素被组合并且新的(虚拟)像素被确定,结果得到经分箱的图像帧。从而,通常多个像素(例如,2x2像素(原始像素)),被组合成一个像素(在经分箱的图像帧中的新的虚拟像素)。在本文中,经分箱的图像帧指的是基于在由接口接收的所接收的图像帧中的一幅中的图像像素的分箱而确定的图像帧。然后,基于所述经分箱的图像帧来执行进一步的处理,即,对PPG信号的提取。因此,所确定的分箱配置直接用于处理所接收的图像帧。
在另一实施例中,接口被配置为接收经分箱的图像帧的集合,经分箱的图像帧的图像像素已经基于所确定的分箱配置而被分箱,并且所述信号提取单元被配置为从所述经分箱的图像帧提取改进的PPG信号。对于上述实施例而言备选地,由接口接收的图像帧可以已经是经分箱的图像帧,所述经分箱的图像帧在由接口接收之前已经被分箱。因此,分箱可以尤其已经在光传感器(也被称为图像传感器)上来执行,已经通过所述光传感器采集了图像帧,并且所述光传感器提供对应的分箱功能。因此,由设备确定的分箱配置被传递到光传感器,所述光传感器能够基于外部提供的设定(即,分箱配置)来提供对像素的分箱。从而,通常通过将多个光敏元件(有时也被称为物理像素)组合成一个图像像素(有时也被称为虚拟图像像素)来在所述光传感器上直接确定经分箱的图像帧,并且将基于虚拟像素的图像帧(经分箱的图像帧)提供到如以上描述的设备。根据本发明的设备然后基于接收到的经分箱的图像帧来执行所有进一步的处理。
根据又一实施例,所述信号评价单元被配置为根据图像帧的多个图像像素来确定平均像素强度,并且所述处理单元被配置为基于所述平均像素强度并且基于所提取的PPG信号的所确定的特征来确定分箱配置。该实施例的基本想法是额外地使用除了所提取的PPG信号或其特征之外的环境照明状况的量度。用于确定这样的量度一种可能是从图像帧的多个图像像素提取平均像素强度。该多个图像像素可以指的是近邻图像像素、随机选取的图像像素、特定区的图像像素、提供针对特定光谱的像素值的图像像素或者图像帧的图像像素的另一子集。然后,当确定分箱配置时除了所提取的PPG信号的所确定的特征之外,该确定的平均像素强度也被考虑。如果除了对对象的生命体征信息的提取之外,所述图像帧也要被使用在诸如显示视频流等的另一应用中,则这可以是尤其有利的。而且,如果依赖于对不同光谱带的评估的生命体征提取被考虑(例如,在血氧饱和度的情况下),则额外地包括环境照明状况允许对有用的分箱配置进行确定。从而,取平均也可以指的是计算加权平均值。
在另一实施例中,所述设备还包括光传感器,尤其是光电二极管,所述光传感器用于采集在预定义的谱范围中的表示当前光强度的谱强度,其中,所述处理单元被配置为基于所述谱强度并且基于所提取的PPG信号的所确定的特征来确定所述分箱配置。对以上描述的借助于对图像帧的图像像素进行评估而对环境照明状况的量度的确定而言备选地或者额外地,也能够利用专用光传感器来采集关于环境的照度的可比较的信息。从而,利用专用光传感器,尤其是光电二极管,允许采集在特定谱带中的关于当前环境照明状况的信息。如果例如期望的生命体征要求对从不同光谱提取的PPG信号(例如,血氧饱和度)的处理,则确定在这些不同光谱中的谱强度可以是有利的。对此,专用光传感器被使用在当前实施例中。相比于以上描述的对环境照明状况的量度的确定,对额外的光传感器的包括可以提供针对非常特定的带宽或针对呈现波动照明状况的环境的较高的准确性。
在又一实施例中,所述信号评价单元被配置为确定图像帧中的具有基本均匀的像素值的近邻图像像素的集合,并且被配置为确定近邻图像像素的所述集合的像素值的变化量度,所述变化量度指示所述像素值的变化。另外,所述处理单元被配置为基于所述变化量度并且基于所提取的PPG信号的所确定的特征来确定所述分箱配置。确定近邻图像像素的集合的像素值的变化量度也可以是有用的。从而,近邻图像像素尤其指的是形成基本均匀区的空间邻近图像像素。在PPG信号提取的背景中,这样的基本均匀区常常用于提取有意义的PPG信号。从而,除了评价单个像素之外,常常基于对均匀区的多个像素的联合评价和组合来提取PPG信号。这些像素的像素值例如通过取平均而被组合,以便提供比单个异常像素的更加鲁棒的信号。根据该实施例,提出了额外地基于除了所提取的PPG信号的所确定的特征之外的针对这样的均匀区确定的变化量度来确定分箱配置。对这样的变化量度的包括可以允许在PPG信号提取的情况下基于基本均匀区的多个图像像素的来对分箱配置进行最优选取。基本均匀区尤其可以指的是其中像素值(例如,强度、颜色和/或亮度值等)在中心值等的特定范围(例如,百分比或绝对范围)内的区。针对变化量度的范例可以包括像素值的标准差或方差。
在又一实施例中,所述信号评价单元被配置为确定所述PPG信号的傅里叶变换,并且被配置为根据所述傅里叶变换来确定在预定义的带宽中的能量的分数并基于在预定义的带宽中的能量的所述分数来计算所述PPG信号的信噪比。根据该实施例,PPG信号的所确定的特征对应于PPG信号的信噪比,并且所述特征基于所述PPG信号在预定义的带宽中的能量的分数。该带宽通常取决于期望的生命体征。如果例如期望从PPG信号提取对象的心率,则可以通过对在与心率相关的带宽(例如,0.5-3Hz)中的PPG信号中包括的能量的分数进行计算来确定该PPG信号的信噪比。如果基于对信号的傅里叶变换确定的该能量分数例如高于特定阈值,则所提取的PPG信号可以被认为适合于对期望的生命体征信息的提取。然后,可以不要求另外的分箱。如果信噪比(或者另一确定的特征)太低,则可以要求另外的分箱(即,另一分箱配置)。然后,基于经分箱的图像帧确定的PPG信号的信噪比(或另一确定的特征)可以再次被确定,并且可以决定信号是否足够好。
在另一实施例中,分箱配置包括用于进行分箱以便确定经分箱的图像帧的图像像素的数量和/或空间样式。更具体而言,根据该实施例的分箱配置可以指的是要被组合成经分箱的图像帧的图像像素的多个图像像素或它们的空间样式。特定相关性的范例是对方形的2x2或3x3像素或形成加号(空间样式)的5x5像素的集合进行分箱。取决于图像像素或光传感器的光敏元件的布置,各种其他空间样式或数目是可能的。所确定的分箱配置可以包括这样的信息。
根据另一实施例,所述处理单元被配置为基于查找表来确定所述分箱配置,所述查找表包括针对所提取的PPG信号的所确定的特征、图像帧的多个图像像素的平均像素强度、借助于光传感器(尤其是光电二极管)采集的谱强度以及图像帧中的具有基本均匀的像素值的近邻像素的像素值的变化量度中的至少一个的不同值的多个分箱配置。根据该实施例,所述查找表可以尤其以多维的方式被构建,即,提供针对超过一个参数的组合的分箱配置。一个范例可以存在于基于谱强度的第一选择中。然后,针对所确定的谱强度,可以提供基于所提取的PPG信号的所确定的特征的不同值的第二选择(即,多个分箱配置的提供)。该实施例的优点在于,所确定的分箱配置可以适于得自特定环境或特定期望的生命体征的需要。
在又一实施例中,如以上所描述的设备还包括用于采集对象的图像帧的成像单元。如果所述成像单元(例如,包括CCD或CMOS光传感器)是根据本发明的设备的部分,则可以便于尤其是在光传感器的光敏元件的读取的AD转换之前对已经在光传感器的水平上的分箱配置的考虑。所述设备然后可以对应于包括用于获得对象的生命体征的生命体征功能的相机设备,所述相机设备提供基于所提取的PPG信号的自动分箱。在成像单元内,也可能包括图像质量处理单元,所述图像质量处理单元用于改进基于经分箱的图像帧而确定的图像流或视频流的质量。如果相机也用于提供图像流或视频流,则也可以借助于这样的图像质量处理单元来对该图像流或视频流进行后处理,以便获得改进的图像质量。
在本发明的又一实施例中,所述成像单元包括分箱控制模块,所述分箱控制模块用于基于所采集的图像帧并且基于所述分箱配置来确定经分箱的图像帧。这样的分箱控制模块可以是光传感器的部分或者也可以被包括在单独的模块中。
附图说明
参考下文所述的(一个或多个)实施例,本发明的这些方面和其他方面将是明显的并且得到阐明。在以下附图中:
图1示出了示范性对象监测设置,其包括根据本发明的用于获得对象的生命体征信息的设备的实施例;
图2示出了根据本发明的设备的实施例的示意性图示;
图3至图5示出了基于不同分箱配置从图像帧提取的PPG信号的样本;
图6和图7示出了根据本发明的设备的另外的实施例的示意性图示;
图8和图9示出了如被使用在根据本发明的设备的实施例中的示范性查找表;
图10示出了根据本发明的设备的实施例的又一示意性图示;并且
图11示意性图示了根据本发明的方法。
具体实施方式
图1示出了监测***10的示范性实施例,所述监测***10包括根据本发明的用于获得对象14的生命体征的设备12。对象14(即,患者)躺在例如在医院或其他健康护理设施中的床16中。期望监测对象14的生命体征。对此,借助于包括合适的光传感器的相机18来捕获对象14的图像帧。相机18将所记录的图像帧附送到设备12。此处,从所记录的图像帧提取PPG信号,并且确定生命体征信息。设备12还被连接到照护者接口20,所述照护者接口用于显示所确定的生命体征信息和/或用于向医学人员提供接口以改变设备12、相机18或监测***10的设定。这样的照护者接口可以包括不同的显示器、按钮、触摸屏、键盘或者其他人机接口模块。
如图1中所图示的监测***10可以例如被定位在医院、健康护理设施、老年护理设施等中。除了对患者的监测之外,本发明还可以应用在其他领域中,例如,新生儿监测、一般监视应用、安全监测或所谓的实况类环境(例如,健身装备)等。设备12、相机18和照护者接口20之间的单向通信或双向通信可以经由无线通信接口或有线通信接口机进行工作。本发明的其他实施例可以包括被集成在相机18或照护者接口20中的设备12。
图2示出了根据本发明的设备12的第一实施例12a的更加详细的示意性图示。其图示了设备12a包括用于接收对象的图像帧24的集合的接口22。从而,接口22可以对应于有线网络连接或无线网络连接、任何种类的串行连接或者另一标准或非标准通信接口。所接收的图像帧24可以尤其对应于借助于例如在(数字)相机中的模拟光传感器或数字光传感器捕获的视频序列。这样的相机通常包括诸如CMOS或CCD传感器的光传感器,所述光传感器也可以操作在特定谱范围(可见、IR)中或者提供针对不同谱范围的信息。所述相机可以提供模拟信号或数字信号。图像帧24包括具有相关联的像素值的多个图像像素。具体而言,图像帧包括表示利用光传感器的不同光敏元件捕获的光强度值的像素。这些光敏元件可以是在特定谱范围(即,表示特定颜色)中敏感的。所述图像帧包括表示对象的皮肤部分的至少一些图像像素。从而,图像像素可以对应于光探测器的一个光敏元件及其(模拟或数字)输出,或者可以基于多个光敏元件的组合(分箱)而被确定。
根据本发明的设备12a还包括信号提取单元26,所述信号提取单元26用于从图像帧24的集合提取对象的PPG信号。这样的信号提取单元26可以具体对应于模拟信号处理器或数字信号处理器。PPG信号可以具体对应于表示基于图像帧24的时间系列确定的光强度中的波动的信号。这样的PPG信号可以表示对象的生命体征,例如,心率、呼吸率或血氧饱和度。信号提取单元26可以具体基于多个图像像素和/或基于时间连续图像帧的系列来提取PPG信号。
设备12a还包括信号评价单元28。在该信号评价单元28中,PPG信号被评价,并且其特征被确定。在以下范例中,PPG信号的信噪比被确定为对应于PPG信号的所确定的特征。从而,PPG信号的信噪比具体对应于PPG信号的质量量度。然而,所提取的PPG信号的一个或多个其他特征可以以相同或相似的方式被用作信噪比。
处理单元30被提供用于基于所提取的PPG信号的信噪比来确定分箱配置。一旦分箱配置被确定,其就可以被提供到光传感器(允许配置要应用的分箱)或者就可以应用于接收到的图像帧以组合图像像素,从而获得经分箱的图像帧。从而,分箱被称为组合图像像素。分箱配置描述该组合如何被计算。具体而言,分箱配置描述多少像素要被组合,像素要根据何种样式被组合和/或要如何执行所述组合(例如,取平均、加权平均或者像素值或其子集的其他函数)。
设备12a还包括生命体征确定单元32,所述生命体征确定单元32用于根据所提取的PPG信号来确定生命体征信息。从而,生命体征信息可以例如指的是脉搏率或呼吸(呼吸)率、血氧饱和度、体温、脉搏传导时间、ECG信号或这样的参数的函数/组合/导数。该确定的生命体征信息然后被传达到数据库或照护者接口,以用于评估例如所监测的对象的健康状态。
从而,取决于本发明如何被应用或者在何处被应用,信号提取单元26、信号评价单元28、处理单元30以及生命体征确定单元可以被包括在一个或多个数字处理器或模拟处理器中。不同单元可以完全或部分地被实施在软件中,并且在个人计算机上来执行,所述个人计算机被连接到用于获得对象的图像帧的设备,例如,相机设备。所要求的功能中的一些或全部也可以被实施在硬件中,例如,在专用集成电路(ASIC)或在现场可编程门控阵列(FPGA)中。
在图3至图5中,图示了在模拟的低光状况中如何通过AD转换步骤来影响远程PPG信号采集。已经与结合光传感器(即,图像传感器)的对应的滤波器结合,从由在IR域中的窄波长光源照明的图像中提取了所图示的PPG信号。在图3中,已经从根本还没有被分箱的图像帧提取了PPG信号。能够看出,所提取的PPG信号呈现强噪声分量,即,具有低信噪比。这样的PPG信号可以使得基于PPG信号对生命体征信息的提取困难和/或导致不准确的生命体征估计结果。在图4中,图示了已经从经分箱的图像帧提取的PPG信号,其中,已经应用了2x2分箱。能够看出,所提取的PPG信号已经示出了比图3中的图示的PPG信号更高的信噪比。图5示出了从经分箱的图像帧提取的PPG信号,其中,已经应用了4x4分箱。能够清楚地看到,从图3至图5,随着分箱值的增加,PPG信号变得越来越明显。然而缺点是图像质量也降低。在图3、图4和图5中的图示的范例中,除增益外的所有其他相机设定保持相同。图像分辨率中的所经历的减小是缺点,尤其是在其中要求视频流可视化的应用中。因此本发明的目标是基于所提取的PPG信号来确定适当的分箱设定(即,分箱配置)。
从而,提取信噪比尤其可以包括计算信号在傅里叶域中的有用的或有意义的部分(取决于实施例,基波或谐波)的能量与谱的剩余部分中包含的能量的比率。然后,通过计算下式来确定比率:
其中,i∈I表示期望的生命体征信号的基频(和谐波)的FFT分箱,并且j∈J表示剩余的FFI分箱(噪声)。如果例如期望的生命体征对应于患者的心脏,则提取在傅里叶域中的有用信号的能量的比率可以尤其对应于确定PPG信号中的在0.5至3Hz的范围中的能量的比率。从而,0.5至3Hz对应于在每分钟30次与180次跳动之间的心率。也能够针对呼吸率或血氧饱和度确定对应的范围。
从而,以下尤其重要:能够例如使用每一个奇数图像帧,在初始化阶段期间或者连续地实现对分箱配置的确定,即,对相机或光传感器设定的调整,以自动调节相机设定和每一个偶数帧,从而执行PPG测量。
在图6中,图示了根据本发明的设备12的另一实施例12b。所图示的设备12b包括如以上所描述的接口22、信号提取单元26、信号评价单元28、处理单元30以及生命体征确定单元32。除此之外,还包括用于对图像帧的图像像素进行分箱的分箱单元34。分箱单元34可以利用如由处理单元30确定的分箱配置,以便基于由接口22接收的图像帧24来确定经分箱的图像帧。因此,在信号评价单元28中分析PPG信号的信噪比,并且在处理单元30中确定分箱配置是否需要被改变或被调整以便获得所提取的PPG信号的更好的信噪比。然后,该确定的分箱配置被反馈到分箱单元34,并且进入的图像帧24在信号提取单元26中的PPG信号的提取之前,在分箱单元34中经历分箱。
在图7中,图示了根据本发明的设备12的又一实施例12c。除了如以上所描述的接口22、信号提取单元26、信号评价单元28、处理单元30以及生命体征确定单元32之外,还包括光传感器36。光传感器36允许采集表示当前光强度在预定义的谱范围中的谱强度。这样的光传感器36尤其可以由光电二极管来表示,所述光电二极管提供表示光强度在特定谱范围中的输出信号(通常是在电压尺度上)。然后,该谱强度也能够被使用在处理单元30中对分箱配置进行确定中。
图8示出了针对查找表38的范例,所述查找表38提供针对提取的PPG信号的不同信噪比的分箱配置。这样的查找表38能够用于基于所提取的PPG信号的信噪比与查找表中的预定信噪比(或其范围/函数)的比较和相关联的(合适的)分箱配置来确定分箱配置。在所图示的范例中,如果PPG信号的信噪比小于0.5dB,则对应于分箱4x4像素的分箱配置4被返回。这样的查找表38表示处理单元能够如何基于所提取的PPG信号的信噪比来确定分箱配置的一个范例。其他范例可以包括根据PPG信号的信噪比来直接确定分箱配置的数学函数。例如,可以从在不同光状况下的不同患者的实验研究和基于其的统计学思考来获得查找表。另外,能够考虑(例如,有经验的医学从业人员的)专家判断。
图9图示了针对查找表40的另外的范例,所述查找表提供针对借助于光电二极管确定的不同电压输出的分箱配置。根据图9的范例,如果光电二极管具有输出电压>4V,则不要求分箱(即,分箱配置1)。因此,在具有足够周围环境光的环境中,不应用分箱。可以使用的查找表的其他范例包括多维查找表,所述多维查找表提供针对多个参数的组合的适当分箱配置,所述多个参数例如为所提取的PPG信号的信噪比和光电二极管的电压输出。因此,查找表能够被视为多层结构,其中,在第一步骤中,所提取的PPG信噪比被考虑,并且然后在第二步骤中,光电二极管的电压输出被考虑。因此,基于图8和图9中的两个图示的查找表的一个范例能够存在于多维查找表中,所述多维查找表包括每维度(PPG、SNR以及电压输出)三个条目,从而得到总共九个条目。
图10图示了根据本发明的设备42的又一实施例。除了如以上所描述的不同单元22、26、28、30和32之外,设备42还包括成像单元44。因此,设备42的所图示的实施例尤其对应于用于获得对象的生命体征信息以及对象的视频序列或图像的相机设备。本发明的元件的不同其他组合通常也是可能的。
图11图示了根据本发明的方法,所述方法包括:接收对象的图像帧的集合(步骤S10),提取对象的PPG信号(步骤S12),确定该PPG信号的信噪比(步骤S14),基于所述信噪比来确定分箱配置(步骤S16),并且根据所提取的PPG信号来确定生命体征信息。这样的方法可以尤其在个人计算机上或者在被包括在相机或监测***中的处理器上执行。这样的方法也可以部分或完全在医院信息***等中的中央处理单元中执行。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示范性的,而非限制性的;本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的非瞬态介质上,例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以被以其他形式分布,例如经由互联网或其他有线或无线的电信***。
权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (14)
1.一种用于获得对象(14)的生命体征的设备(12),包括:
接口(22),其用于接收对象(14)的图像帧(24)的集合,图像帧包括具有相关联的像素值的多个图像像素;
信号提取单元(26),其用于从图像帧(24)的所述集合提取所述对象(14)的光体积描记PPG信号;
信号评价单元(28),其用于确定所述PPG信号的特征,所述特征指示所提取的PPG信号关于所述对象(14)的期望的生命体征的信息内容的质量;
处理单元(30),其用于基于所提取的PPG信号的所确定的特征并且基于查找表(38)来确定分箱配置,所述查找表包括针对所提取的PPG信号的所确定的特征的不同值或所述特征的连续函数或离散函数的多个分箱配置,所述分箱配置被提供用于控制对图像帧的图像像素的分箱;
分箱单元(34),其用于基于所确定的分箱配置来对图像帧的图像像素进行分箱,以获得经分箱的图像帧,其中,所述信号提取单元(26)被配置为从所述经分箱的图像帧提取所述PPG信号;以及
生命体征确定单元(32),其用于根据所提取的PPG信号来确定生命体征信息。
2.如权利要求1所述的设备(12),其中,所述信号评价单元被配置为确定所述PPG信号的信噪比、波动量度、分位数、平均值、趋势、外推的值或估计的值和/或极端值。
3.如权利要求1所述的设备(12),其中,
所述接口(22)被配置为接收经分箱的图像帧的集合,经分箱的图像帧的图像像素已经基于所确定的分箱配置被分箱;并且
所述信号提取单元(26)被配置为从所述经分箱的图像帧提取改进的PPG信号。
4.如权利要求1所述的设备(12),其中,所述信号评价单元(28)被配置为根据图像帧的多个图像像素来确定平均像素强度,并且所述处理单元(30)被配置为基于所述平均像素强度并且基于所提取的PPG信号的所确定的特征来确定所述分箱配置。
5.如权利要求1所述的设备(12),还包括光传感器(36),所述光传感器用于采集表示当前光强度在预定义的谱范围中的谱强度,其中,所述处理单元(30)被配置为基于所述谱强度并且基于所提取的PPG信号的所确定的特征来确定所述分箱配置。
6.如权利要求1所述的设备(12),其中,
所述信号评价单元(28)被配置为确定图像帧中的具有基本均匀的像素值的近邻图像像素的集合,并且被配置为确定近邻图像像素的所述集合的所述像素值的变化量度,所述变化量度指示所述像素值的变化;并且
所述处理单元(30)被配置为基于所述变化量度并且基于所提取的PPG信号的所确定的特征来确定所述分箱配置。
7.如权利要求1所述的设备(12),其中,所述信号评价单元(28)被配置为:
确定所述PPG信号的傅里叶变换,并且根据所述傅里叶变换确定在预定义带宽中的能量的分数;并且
基于在预定义带宽中的能量的所述分数来计算所述PPG信号的信噪比。
8.如权利要求1所述的设备,其中,所述分箱配置包括用于进行分箱以便确定经分箱的图像帧的图像像素的数量和/或空间样式。
9.如权利要求1所述的设备(12),其中,所述处理单元(30)被配置为基于查找表来确定所述分箱配置,所述查找表包括针对以下中的至少一个的不同值的多个分箱配置:
图像帧的多个图像像素的平均像素强度;
借助于光传感器采集的谱强度;以及
图像帧中的具有基本均匀的像素值的近邻像素的像素值的变化量度。
10.如权利要求1所述的设备(42),还包括成像单元(44),所述成像单元用于采集对象(14)的图像帧(24)。
11.如权利要求10所述的设备(42),其中,所述成像单元(44)包括分箱控制模块(46),所述分箱控制模块用于基于所采集的图像帧(24)并且基于所述分箱配置来确定经分箱的图像帧。
12.如权利要求5或9所述的设备(42),其中,所述光传感器是光电二极管。
13.一种用于获得对象(14)的生命体征的方法,包括:
接收(S10)对象(14)的图像帧(24)的集合,图像帧包括具有相关联的像素值的多个图像像素;
从图像帧(24)的所述集合提取(S12)所述对象(14)的光体积描记,PPG,信号;
确定(S14)所述PPG信号的特征,所述特征指示所提取的PPG信号关于所述对象(14)的期望的生命体征的信息内容的质量;
基于所提取的PPG信号的所确定的特征和查找表来确定(S16)分箱配置,所述查找表包括针对所提取的PPG信号的所确定的特征的不同值或所述特征的连续函数或离散函数的多个分箱配置,所述分箱配置被提供用于控制对图像帧中的图像像素的分箱;
对图像帧的集合进行分箱,以产生经分箱的图像帧;
从所述经分箱的图像帧进一步提取PPG信号;并且
根据进一步提取的PPG信号来确定(S18)生命体征信息。
14.一种计算机存储介质,包括程序代码单元,当在计算机上执行时,所述程序代码单元用于令所述计算机执行如权利要求13所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13189037 | 2013-10-17 | ||
EP13189037.8 | 2013-10-17 | ||
PCT/EP2014/070714 WO2015055405A1 (en) | 2013-10-17 | 2014-09-28 | Automatic camera adjustment for remote photoplethysmography |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105636506A CN105636506A (zh) | 2016-06-01 |
CN105636506B true CN105636506B (zh) | 2018-11-27 |
Family
ID=49517251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480056780.XA Expired - Fee Related CN105636506B (zh) | 2013-10-17 | 2014-09-28 | 用于远程光体积描记法的自动相机调节 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10045702B2 (zh) |
EP (1) | EP3057486B1 (zh) |
JP (1) | JP6488291B2 (zh) |
CN (1) | CN105636506B (zh) |
WO (1) | WO2015055405A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11771375B2 (en) | 2014-09-26 | 2023-10-03 | Pixart Imaging Inc. | Respiration rate detection device and breath detection device adopting motion denoising |
TWI547265B (zh) * | 2015-06-01 | 2016-09-01 | 原相科技股份有限公司 | 光學式呼吸率偵測裝置及其偵測方法 |
US9955880B2 (en) * | 2014-10-27 | 2018-05-01 | Tata Consultancy Services Limited | Estimating physiological parameters |
US10448846B2 (en) | 2014-12-16 | 2019-10-22 | Oxford University Innovation Limited | Method and apparatus for measuring and displaying a haemodynamic parameter |
GB201509809D0 (en) | 2015-06-05 | 2015-07-22 | Isis Innovation | Method and apparatus for vital signs measurement |
TWI556793B (zh) * | 2015-07-09 | 2016-11-11 | 國立臺灣科技大學 | 非接觸式即時生理訊號及動作偵測方法 |
KR102436729B1 (ko) * | 2015-07-27 | 2022-08-26 | 삼성전자주식회사 | 생체 신호 처리 장치 및 생체 신호 처리 방법 |
WO2017025775A1 (en) | 2015-08-11 | 2017-02-16 | Latvijas Universitate | Device for adaptive photoplethysmography imaging |
US10244987B2 (en) * | 2015-08-13 | 2019-04-02 | Pixart Imaging Inc. | Physiological detection system with adjustable signal source and operating method thereof |
CN108430321B (zh) * | 2015-12-23 | 2023-01-10 | 皇家飞利浦有限公司 | 用于确定人的生命体征的设备、***和方法 |
RU2018132127A (ru) | 2016-02-08 | 2020-03-11 | Конинклейке Филипс Н.В. | Устройство, система и способ обнаружения кожи |
CN108702418A (zh) | 2016-02-25 | 2018-10-23 | 皇家飞利浦有限公司 | 用于确定呼叫的优先级水平和/或对话持续时间的设备、***和方法 |
RU2742822C2 (ru) * | 2016-08-23 | 2021-02-11 | Конинклейке Филипс Н.В. | Система видеонаблюдения для больницы |
US10939833B2 (en) | 2017-05-01 | 2021-03-09 | Samsung Electronics Company, Ltd. | Determining artery location using camera-based sensing |
CN109640789A (zh) * | 2017-07-21 | 2019-04-16 | 深圳市汇顶科技股份有限公司 | 生物信号的干扰分析方法及装置、穿戴设备 |
TWI828770B (zh) * | 2018-09-28 | 2024-01-11 | 愛爾蘭商Q生活全球有限公司 | 用於處理ppg信號雜訊比之方法及系統 |
CN112617746B (zh) * | 2019-10-09 | 2024-04-09 | 钜怡智慧股份有限公司 | 非接触式的生理信号检测装置 |
US11850026B2 (en) | 2020-06-24 | 2023-12-26 | The Governing Council Of The University Of Toronto | Remote portable vital signs monitoring |
US11589825B2 (en) | 2020-10-30 | 2023-02-28 | Biospectal Sa | Systems and methods for blood pressure estimation using smart offset calibration |
KR102580271B1 (ko) * | 2021-02-25 | 2023-09-20 | 삼성전자주식회사 | 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치 |
CN114041769A (zh) * | 2021-11-25 | 2022-02-15 | 深圳市商汤科技有限公司 | 心率测量方法及装置、电子设备及计算机可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7233354B2 (en) | 2002-10-11 | 2007-06-19 | Hewlett-Packard Development Company, L.P. | Digital camera that adjusts resolution for low light conditions |
US20080024618A1 (en) * | 2006-07-31 | 2008-01-31 | Suk Hwan Lim | Adaptive binning method and apparatus |
CN102341811B (zh) * | 2009-03-06 | 2015-04-29 | 皇家飞利浦电子股份有限公司 | 控制设备的功能的方法和用于检测生物的存在的*** |
KR101597785B1 (ko) | 2009-07-14 | 2016-02-25 | 삼성전자주식회사 | 이미지 센서 및 영상 처리 방법 |
WO2011037699A2 (en) * | 2009-09-24 | 2011-03-31 | Nellcor Puritan Bennett Llc | Determination of a physiological parameter |
WO2011042839A1 (en) | 2009-10-06 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof |
WO2011055288A1 (en) | 2009-11-04 | 2011-05-12 | Koninklijke Philips Electronics N.V. | Methods and systems for providing a combination of media data and metadata |
US20110267495A1 (en) | 2010-04-29 | 2011-11-03 | Lee Warren Atkinson | Automatic Pixel Binning |
WO2012093358A1 (en) * | 2011-01-05 | 2012-07-12 | Koninklijke Philips Electronics N.V. | Device and method for extracting information from characteristic signals |
US8780238B2 (en) | 2011-01-28 | 2014-07-15 | Aptina Imaging Corporation | Systems and methods for binning pixels |
GB201114406D0 (en) * | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
BR112014003834A2 (pt) * | 2011-08-22 | 2017-03-14 | Koninklijke Philips Nv | sistema e método de administração de dados, processador para uso em um sistema de administração de dados e programa de computador |
EP2741661B1 (en) * | 2011-09-02 | 2016-05-04 | Koninklijke Philips N.V. | Camera for generating a biometrical signal of a living being |
JP5926909B2 (ja) * | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
-
2014
- 2014-09-28 CN CN201480056780.XA patent/CN105636506B/zh not_active Expired - Fee Related
- 2014-09-28 EP EP14776875.8A patent/EP3057486B1/en not_active Not-in-force
- 2014-09-28 US US15/029,271 patent/US10045702B2/en not_active Expired - Fee Related
- 2014-09-28 JP JP2016522797A patent/JP6488291B2/ja not_active Expired - Fee Related
- 2014-09-28 WO PCT/EP2014/070714 patent/WO2015055405A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3057486A1 (en) | 2016-08-24 |
JP2016537054A (ja) | 2016-12-01 |
WO2015055405A1 (en) | 2015-04-23 |
US20160235312A1 (en) | 2016-08-18 |
JP6488291B2 (ja) | 2019-03-20 |
US10045702B2 (en) | 2018-08-14 |
EP3057486B1 (en) | 2017-05-03 |
CN105636506A (zh) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105636506B (zh) | 用于远程光体积描记法的自动相机调节 | |
EP3414738B1 (en) | Device, system and method for skin detection | |
US9907474B2 (en) | Signal selection for obtaining a remote photoplethysmographic waveform | |
McDuff et al. | A survey of remote optical photoplethysmographic imaging methods | |
RU2677765C2 (ru) | Система для скрининга состояния оксигенации субъекта | |
CN108471989A (zh) | 用于生成承载对象的生命体征信息的光体积描记图像的设备、***和方法 | |
Molinaro et al. | Contactless vital signs monitoring from videos recorded with digital cameras: an overview | |
JP2018534968A (ja) | 生理情報を抽出するためのデバイス、システム、及び方法 | |
CN105451646A (zh) | 用于提取生理信息的设备、***和方法 | |
CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
WO2019030124A1 (en) | DEVICE, SYSTEM AND METHOD FOR DETERMINING A PHYSIOLOGICAL PARAMETER OF A SUBJECT | |
EP3809950B1 (en) | Device, system and method for image segmentation of an image of a scene including a subject | |
JP7051083B2 (ja) | 心理状態判定方法、判定装置、判定システムおよび判定プログラム | |
WO2019145142A1 (en) | Device, system and method for determining at least one vital sign of a subject | |
US11045146B2 (en) | Device, system and method for determining a vital sign of a subject | |
WO2020169550A1 (en) | Device, system and method for determining physiological information | |
KR102427499B1 (ko) | 열화상 카메라를 이용한 수면 집중도 검출 시스템 | |
Tangjui et al. | Robust Method for Non-Contact Vital Sign Measurement in Videos Acquired in Real-World Light Settings from Skin Less Affected by Blood Perfusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181127 Termination date: 20200928 |