CN105190691B - 用于获得对象的生命体征的设备 - Google Patents
用于获得对象的生命体征的设备 Download PDFInfo
- Publication number
- CN105190691B CN105190691B CN201480025704.2A CN201480025704A CN105190691B CN 105190691 B CN105190691 B CN 105190691B CN 201480025704 A CN201480025704 A CN 201480025704A CN 105190691 B CN105190691 B CN 105190691B
- Authority
- CN
- China
- Prior art keywords
- subset
- image frame
- described image
- vital sign
- interested region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims abstract description 66
- 230000033001 locomotion Effects 0.000 claims abstract description 66
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000005855 radiation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000005670 electromagnetic radiation Effects 0.000 claims description 8
- 230000001052 transient effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000036387 respiratory rate Effects 0.000 description 14
- 210000001015 abdomen Anatomy 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000000241 respiratory effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000010349 pulsation Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 206010021079 Hypopnoea Diseases 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 208000008784 apnea Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000803 paradoxical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009531 respiratory rate measurement Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Urology & Nephrology (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Quality & Reliability (AREA)
Abstract
本发明涉及一种用于在尽管有对象的运动的情况下获得对象的生命体征,尤其是在基于投影的生命体征记录中将诸如呼吸信息信号的生命体征与噪声区别开的设备和方法。所提出的设备包括:接口(124),其用于接收对象的图像帧的集合;分析单元(128),其用于确定方向改变的量和/或在所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变之间的时间距离,方向改变指示所述感兴趣的区域内出现的运动的所述方向的改变;评估单元(132),其用于通过使用所确定的方向改变的量和/或所述图像帧的子集的所述时间距离来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声;以及处理器(136),其用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域包括期望的生命体征。
Description
技术领域
本发明涉及一种用于获得对象的生命体征,尤其是呼吸信息的设备、方法和***。具体地,本发明涉及能够被用于检测在诸如人或动物的被观察的对象中的生命体征的无干扰光学测量途径。
背景技术
人的生命体征,例如心率(HR)、呼吸率(RR)或血氧饱和度用作人的当前状态的指示器并且用作严重医疗事件的强大预测器。出于这个原因,在住院患者和门诊患者护理机构、在家或在另外的健康、休闲和健身机构中广泛地监控生命体征。
WO 2012/140531 A1公开了用于检测人的呼吸运动的呼吸运动检测装置。该检测装置探测由人发射和/或反射的电磁辐射,其中,该电磁辐射包括与人的呼吸速率有关的连续或离散特性运动信号和与人的移动有关的或与周围环境状况有关的其他运动伪影。该装置通过考虑适于通过考虑预定义频率带、常见预定义方向或预期幅度带和/或幅度型线以区分不同信号来将呼吸速率信号与整体干扰分离的数据处理单元来增加呼吸速率测量的可靠性。
能够通过使用静止摄像机光学地完成无创呼吸速率测量。摄像机捕获在图像流中的患者的胸部的呼吸移动。呼吸移动导致对某些图像特性的时间调制,其中,调制的频率对应于被监测的患者的呼吸速率。这样的图像特性的范例是位于患者胸部周围的感兴趣的空间区域中的平均幅度或在后续图像中的感兴趣的区域的空间互相关的最大值的位置。获得的生命体征信息的质量和可靠性极大地受输入图像数据的质量影响,所述输入图像数据的质量受图像对比度的恰当选择和所选择的感兴趣的区域影响。
基于相机的呼吸监测基于对在胸部/腹部区中的所选择的感兴趣的区域(ROI)中的细微呼吸运动的检测。在真实生活使用场景中,存在于图像(包括ROI)中的静态噪声能够被记录、被放大并且(虚假地)被识别为呼吸信号。这可能发生在当仅仅分析ROI时以及当整个图像被划分成被单独分析的空间块时的情况下。当然,在最终重建信号被用于评估其有效性时噪声可以被记录为呼吸信号,因为在基于最终1D信号的幅度和/或频率来完成对噪声与呼吸的区分的情况下。
US 2010/130873 A1公开了基于雷达的生理运动传感器。能够从由传感器接收到的信号提取多普勒频移信号。多普勒频移信号随后能够被数字化并被处理以提取与在一个或多个对象中的心肺运动有关的信息。所述信息能够包括呼吸速率、心率、归因于呼吸和心脏活动的波形、到达的方向、异常或反常呼吸等。在各个实施例中,能够在显示器上显示被提取的信息。
发明内容
本发明的目的是提供一种用于以简单且低成本的方式获得对象的呼吸信息,尤其是使得能够在基于投影的生命体征记录中将呼吸信号与噪声区别开的设备、方法和***。
在本发明的第一方面中,提出了一种用于获得对象的生命体征的设备,所述设备包括:
接口,其用于接收对象的图像帧的集合,
分析单元,其用于确定在包括所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变的数量和/或方向改变之间的时间间隔,方向改变指示所述感兴趣的区域内出现的运动的方向的改变,
评估单元,其用于通过使用针对所述图像帧的子集所确定的方向改变的数量和/或所述时间间隔来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声,以及
处理器,其用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域的所述对象的期望的生命体征。
在本发明的第二方面中,提出了一种用于获得对象的生命体征的方法,所述方法包括:
接收对象的图像帧的集合,
确定在包括所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变的数量和/或方向改变之间的时间间隔,方向改变指示所述感兴趣的区域内出现的运动的方向的改变,
通过使用针对所述图像帧的子集所确定的方向改变的数量和/或时间间隔来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声,以及
在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域的所述对象的期望的生命体征。
在本发明的又一方面中,提出了一种用于获得对象的生命体征的***,所述***包括用于获得对象的图像帧的集合的成像单元以及如本文中公开的用于通过使用所述对象的所述图像帧的集合获得所述对象的生命体征的设备。
在本发明的再一方面中,提供了一种包括程序代码模块的计算机程序,当所述计算机程序在计算机上以及非暂态计算机可读记录介质上执行时,所述程序代码模块用于使计算机执行处理方法的步骤,所述非暂态计算机可读记录介质在其中存储计算机程序产品,所述计算机程序产品当由处理器执行时使本文中公开的方法被执行。
在从属权利要求中限定了本发明的优选实施例。应当理解,要求保护的方法、***、计算机程序和介质具有与要求保护的设备以及与在从属权利要求中限定的相似和/或相同的优选实施例。
通过分析根据感兴趣的区域的像素中的每个块的运动矢量能够解决上述问题。例如,通过邻近空间块生成的一致运动场将指示检测到的信号表示呼吸运动。然而,该途径是非常昂贵的(要求精确的运动估计),要求用于分析运动矢量的参数的仔细调谐,并且仍然没有解决对于所有情况的问题(例如,浅呼吸可能不能通过运动估计识别)。其他可能的解决方案能够依赖频率分析以将非周期性噪声信号与呼吸区分开。然而,呼吸信号常常也是非周期性的。此外,归因于关于呼吸信号的低速率,频率分析可以要求非常大的时间窗。
本发明提供简单的低成本的设备和方法以使用例如从相机获得的图像帧的集合鲁棒性地在生命体征记录中将生命体征(尤其是浅呼吸信号)与噪声区别开。本发明基于这样的思想,关注于被用于构建重建信号(即生命体征信息信号或从生命体征信息信号获得的生命体征)的原始输入值(即图像帧)而非关注于重建信号,并且观察(即在包括预定或改变数量的后续图像帧的图像帧的子集中的)每单位时间测得的感兴趣的区域内的方向改变的数量和/或方向改变之间的时间间隔以在生命体征信息与噪声之间进行区别。具体地决定是否能够从子集的图像帧中检索到生命体征,优选地是否具有足够大的信噪比以导出具有期望精确度和可靠性的生命体征,或所使用的图像帧是否主要包括噪声。本发明基于对这些原始输入值的观察,其披露在(嘈杂)静态场景中的方向改变(或体征改变)的数量比当场景包含呼吸运动时高得多和/或在方向改变之间的时间间隔比当场景包含呼吸运动时更低。
根据实施例,所述评估单元被配置为确定所确定的方向改变的量是否低于预定方向改变阈值,所述预定方向改变阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。根据子集内的或可由用户设置的帧速率,所述方向改变阈值可以被预先确定或可改变,例如可调整。方向改变一般应用到在两个随后图像帧之间的相关峰值的方向(的改变)。如下面将解释的,也可以通过检测在投影内的零交叉检测方向改变。在方向的改变之后,投影与零轴交叉,使得零交叉能够被用作方向改变的指示器。
根据另一实施例,提供了一种基于投影的途径,根据所述基于投影的途径,所述分析单元被配置为根据所述图像帧的子集来确定在预定方向上的投影型线并且用于根据所述投影型线来确定所述方向改变的量。在上述WO 2012/140531 A1中描述了基于投影的呼吸监测。本文评估了如在WO 2012/140531 A1中描述的生成投影和投影型线的概念(本文将投影型线的集合称为运动型线;能够根据运动型线重建最终1D信号)。根据WO 2012/140531A1的运动型线相关的解释能够重建最终1D信号,由此通过引用将其并入本文。
一般地,型线是通过投影类变换获得的图像帧的一维表示。在更广泛的意义中,型线能够是捕获关于纹理、边缘或存在于图像帧中的任何其他细节的信息的任何函数。在其最简单的形式中,型线能够与投影(在一个方向上的像素值的累积)相同;在更广泛的意义中,型线能够是投影和像素的其他函数(例如标准偏差)的积。由此,投影是型线的部分。优选地,针对每帧构建型线。
投影的范例是关于图像帧的像素值的逐行(或逐列)聚集(例如,总和)。
在另一实施例中,所述分析单元被配置为根据所述图像帧的子集来确定在两个预定正交方向上的两个投影型线并且用于根据所述投影型线来确定所述方向改变的量。这增加了在生命体征信息与噪声之间的区别的鲁棒性和精确度。
这能够利用实施例进一步改进,根据所述实施例,所述评估单元被配置为在方向改变在基本上相同的时刻出现在两个投影型线中时决定所述图像帧的子集的所述感兴趣的区域包括生命体征信息。
优选地,控制单元被提供用于控制用于确定所述方向改变的量、所述预定方向改变阈值和/或所述图像帧内的所述感兴趣的区域的所述图像帧的子集的所述图像帧的数量。由此,能够改变图像帧的数量,并且图像帧的后续子集也可以被交叠,并且包括相同图像帧的数量,即可以在实施例中使用滑动“窗”(对应于图像帧的子集)途径。
根据实施例,所述评估单元被配置为确定在方向改变之间的多个确定的连续时间距离是否大于预定时间距离阈值,所述预定时间距离阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。根据子集内的或可由用户设置的图像帧的数量,所述时间距离阈值也可以被预先确定或可改变,例如可调整。
在初始步骤中,将选择感兴趣的区域。出于这个目的,所述设备优选地包括ROI选择单元,所述ROI选择单元用于通过以下来选择所述图像帧的子集内的所述感兴趣的区域:
根据所述图像帧的子集来确定在两个预定正交方向上的两个投影型线,
将所述投影型线划分成投影区,
确定在所述投影区内的方向改变的量和/或方向改变之间的所述时间距离,
选择具有最小数量的方向改变和/或在方向改变之间的最大时间距离的两个或更多个邻近投影区,所选择的投影区表示所述感兴趣的区域。
所述ROI选择单元优选地被配置为:
选择具有低于第一投影区阈值的方向改变的量和/或大于第二投影区阈值的时间距离的投影区,
在所述投影区当中,选择具有基本上相等的方向改变的量和/或基本上相等的时间距离的两个投影型线中的投影区对,所述投影区对定义单独的感兴趣的区域。由此,能够自动检测一个或多个最佳感兴趣的区域。
尽管本发明能够用于获得各种类型的生命体征,其优选地适合于获得对象的呼吸信息,尤其呼吸速率。因此,所述处理器优选被配置为根据所述图像帧的子集内的所述感兴趣的区域来确定所述对象的呼吸信息。
在优选实施例中,所提出的设备还包括成像单元,尤其是相机,所述成像单元用于远程地探测从所述对象发射或反射的电磁辐射。所述成像单元尤其适合于远程监测应用。所述成像单元能够包括一个或多个成像元件。比如,所述成像单元能够包括光电二极管或电荷耦合设备的阵列。根据一个实施例,所述成像单元包括至少两组成像元件,其中的每个被配置用于检测数据信号分量中的单个分量。根据另一实施例,所述成像单元能够利用具有允许对数据信号分量的检测的响应特性的成像元件的单个组。所述成像单元还能够被配置用于捕获交替地表示数据信号分量的图像帧序列。
在另一优选实施例中,所提出的设备还包括辐射源,尤其是光源,所述辐射源用于将电磁辐射指向所述对象。所述辐射源能够通过宽带照明源实现和/或能够利用辐射元件的单个组或两个或甚至更多个组。然而,所提出的设备不一定必须包括辐射源,而是还能够利用未连接到设备的周围环境光源。
附图说明
本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。在以下附图中:
图1示出了指示范例性生命信号的对象的运动的示意性图示,
图2示出了已知设备的总体布局的示意性图示,
图3示出了被监测的对象的布置的示意性图示,
图4示出了范例性数据流帧的示意性图示,能够根据所述范例性数据流帧导出特性指标元素,
图5示出了示意性范例性数据流帧序列,能够根据其导出多个特性指标元素,
图6示出了又一示意性范例性数据流帧和根据其导出的维度减少的特性指标元素,
图7图示了图6的特性指标元素的范例性导出,
图8示出了特性指标元素的简化示意性序列,
图9示出了图8的特性指标元素的简化示意性序列的展开的细节,
图10图示了对其应用积分变换的特性指标元素的示意性序列,以及得到的幅值范围序列的范例性图示,
图11示出了导出信号形式的示意性图示,
图12示出了对其应用范例性补偿干扰信号分量的导出信号形式的又一示意性图示,
图13示出了根据本发明的设备的示意图,以及
图14示出了图示根据两个投影型线对值的确定的图。
具体实施方式
图1示出了经历指示感兴趣的信号的运动的对象10的示意性图示。对象10经历归因于呼吸的指示性部分的特性运动。当呼吸时,肺的扩张和收缩引起生物的特性部分的轻微运动,例如胸部的上升和下降。腹式呼吸也能够引起对象的身体的相应部分的特性运动。由生理过程引起的至少部分周期性运动样式能够发生在许多生物中,尤其在人或动物中。
随着时间,如由箭头16指示的,指示性部分在由附图标记12a、12c指示的收缩位置和由12b指示的伸张位置之间移动。基本上,基于该运动样式,例如能够评估呼吸速率或呼吸速率变化性。尽管指示性部分是随着时间脉动的,但是非指示性部分14仍然基本上不动。当然,非指示性部分14随着时间也经历各种各样的运动。然而,这些运动不对应于指示性部分的周期性脉动。
在该情境中,参考图2,如在WO 2012/140531 A1中描述的,图示了并且由附图标记18指示用于提取信息的设备。设备18能够被用于记录表示对象10的图像帧。能够根据由对象10发射或反射的电磁辐射20导出图像帧。为了从记录的数据,例如图像帧序列提取信息,能够通过传感器器件22观察对象10的定义部分或部分。通过举例的方式,传感器器件22能够由适于捕获属于电磁辐射20的至少谱分量的信息的相机实现。设备18也能够适于处理输入信号,即输入数据流,其已经提前被记录并且同时被存储或被缓存。如以上指示的,电磁辐射20能够包含能够高度指示至少一个至少部分周期性生命信号的连续的或离散的特性信号。
用于获得这样的生命信号的已知方法包括依赖于被应用到感兴趣的对象的标记的触觉呼吸率监测或远程呼吸率监测。如以上指示的,备选途径涉及利用图像处理方法的无干扰式远程测量。
包括连续的或离散的特性信号的数据流26能够从传感器器件22被递送到接口24。不言而喻,在感测器器件22与接口24之间也能够插设缓冲单元。接口24的下游提供提取器器件28,其适于从由接口24接收到的传导数据流26’提取(即在根据其导出的特性指标元素中实现的)期望的生理信息。能够通过提取获得生理信息30,尽管仍然包括干扰信号分量。另外,转换器器件32可以跟随,其适于处理由提取器器件28导出的生理信息30。由提取器器件28提取的预处理信号仍然能够包括大的噪声指示性分量。在这一点上,转换器器件32能够被应用于从被递送到其的整体信号中隔离和增强指示感兴趣的生命信号的期望的信号分量。
已经提取了经转换的信号分量34,能够通过分析器件36来执行对数据的进一步后处理。为了这个目的,后处理能够包括剪切、带宽滤波和/或傅里叶分析。能够设想进一步的后处理测量,其贡献于在连续的或离散的特性信号中的期望的感兴趣的信号(例如指示频率峰值的主导呼吸速率)的甚至进一步改进的检测。
提取器器件28、转换器器件32和分析器件36能够由共同处理单元38,例如具有单个处理器或多个处理器的中央处理单元一起实现。在容纳相应的子部件的共同处理设备中接口24也能够被连接到其。通过举例的方式,处理设备38能够由个人计算机实现,所述个人计算机由相应的逻辑命令驱动。在借助于硬件将传感器器件22也一起连接到接口24的情况下,捕获单元可以容纳相应的子部件。例如,包括相机或能连接到相机的移动设备(例如智能电话)或移动健康监测设备也能够被用于执行本发明的实施例。
然而,在备选中,能够设想将单独的传感器器件22与处理设备38组合。能够借助于线缆链接或借助于无线链接建立该连接。代替传感器器件22,包括预记录的数据的存储器件也能够被连接到处理设备38。
参考图3,呈现了其中无干扰生命信号检测和监测面临主要挑战的常见情形。对象10(例如待在床上的患者)正静靠在支撑物39上。包括非指示性部分14的对象的头部被暴露并枕于枕头上,而指示性部分12被毯子45覆盖。由此,使由指示性部分12的运动引起的信号衰减。因此,无干扰信号检测相当困难。传感器器件22被放置从而观察指示性部分12。为了这个目的,范例性坐标系表示其中能够预期呼吸运动的方向。由干扰减少的指标元素40指示该方向。另外,正交指标元素42(即,能够构建投影型线的方向)表示其中能够预期很少或甚至没有呼吸指示性运动的方向。
假设使期望的脉动取向在单个参考方向上,应当理解正交指标元素42可以覆盖与干扰减少的指标元素40正交的整个平面。
基本上,假如能够充分地捕获沿着干扰减少的指标元素40的对象运动,传感器器件22能够被放置在任何方向上。在这一点上,优选使传感器器件22取向为基本上与干扰减少的指标元素40正交。然而,在仍然启用对期望信号的检测的同时,显著的偏差也可以发生。以这种方式,例如,当在床上辗转反侧时,也能够解释相当大的对象运动。事实上,将传感器器件22放置为基本上平行于干扰减少的指标元素40将引起对信号检测的较大不利影响。再次参考在图3中提供的一般布置,应当理解,对于一些潜在传感器器件取向,必须预期,例如当将传感器器件放置在支撑物39的长边的外侧时,这些不利条件可以发生。因此,当在床上反转时,减少的指标元素40也反转,由此减少在传感器器件取向和导致减少的信号水平的减少的指标元素40之间的有效角度。
在该情境中,能够设想将两个或甚至更多个传感器器件布置在关于对象10的不同位置中,从而启用例如能够追踪干扰减少的指标元素40的所有可能取向的立体监测。
图4描绘了示出在整个帧的指示性部分48中的对象10的表示的范例性捕获的图像帧44。在使得能够减少视场的预处理阶段期间的该早期阶段能够检测指示性部分48,由此减少数据流体积。为了简化后续处理,坐标变换能够被应用到处理的图像帧44’。以这种方式,能够补偿在原始捕获图像帧44下的坐标系52和指示干扰减少的指标元素40和正交指标元素42的坐标系54之间的偏差。
另外,图4示出了图像帧44的参考部分50。参考部分可以表示能够被绘制为运动补偿的参考样式的稳定图像对象。对于数据的后续分析,能够掩蔽并丢弃图像帧44的剩余部分46。
图5图示了表示已经由图1指示的对象10的呼吸运动的图像帧44a、44b、44c的序列。通过由箭头30指示的生理信息,即胸部的上升和下降来表示期望的感兴趣的生命信号。要被提取的生理信息与干扰减少的指标元素40对齐。与被取向为与干扰减少的指标元素40正交的正交指标元素42对齐的运动被认为是非代表性的感兴趣的信号。为了完整性起见,在图5中也图示了参考运动方向41和正交参考方向43。如以上指示的,例如分别地对于每个图像帧的干扰减少的指标元素40的瞬间确定可以造成主要挑战。在该情境中,应当注意,甚至在干扰减少的指标元素40和参考运动方向41之间的相当大的偏差不导致显著的信号损失。因此,不必精确地确定在所有事件中具有高精确的干扰减少的指标元素40。
因此,能够接受在干扰减少的指标元素40和参考运动方向41之间的小偏差。这使得能够显著减少计算处理要求。另外,当考虑在要被检测的生命信号的预期频率和被用于图像处理的常见帧速率之间的比率时,应当理解,为了确定干扰减少的指标元素40,能够跳过许多图像帧,例如,五个或甚至十个图像帧中的仅仅一个必须被考虑。例如,能够建立控制电路,其中,设置描述接受的偏差的阈值。在阈值被超过的情况下,调节干扰减少的指标元素40。最后,能够确定新的阈值。
参考图6和图7,阐明了表示方向性运动信息的特性指标元素60的范例性偏差。图6示出了图像帧的指示性部分48。描述图像实体(例如单个像素)的位置的坐标由附图标记56、58指示,其中,轴56指示x坐标,并且轴58指示y坐标。归因于坐标变换,参考图4和图5,干扰减少的指标元素40与轴58对齐。当应用维度减少时,目的是将图像帧属性并入到单个特性指标元素60,而没有关于指示感兴趣的生命信号的期望的生理信息30的显著的信号损失。
在该情境中,图7描述了子实体到干扰减少的指标元素40的聚集和投影。子实体62a、62b、…、62n和64a、64b、…、64n表示在图像帧中的相应像素位置。在由沿着轴58的运动完全地表示生理信息30的情况下,相应像素值的逐行聚集总结了在特性指标元素60上的单个实体中的每条线的相关信息。由箭头66a、66b、…、66n指示转换。通过举例的方式,线62a和62b被假设为高度指示期望的信号,因为指示性部分(胸部)的形状形成经历呼吸运动的显著边缘。另一方面,能够完全地假设显示对象10的后侧的线62n是较少指示性的。如上所述,在仅仅像素值旁边,也能够对于聚集绘制另外的图像属性。
图8和9图示了随着时间的可通过将多个特性指标元素60a、60b、…、60n进行排序(表示图像帧序列)获得的范例性运动型线。离散元素的积分导致准连续或连续波形。为了可视化起见,运动型线将被理解为表示严格简化。不同的阴影指示不同的逐行聚集结果。另外,与在原始图像帧中相比,在运动型线中提供的边缘表示边缘丰富(只要它们基本上与干扰减少的指标元素40正交)。边缘的时间脉动被理解为高度指示期望的生命信号。
图8的一般运动型线包括表示能根据通过维度减少的图像序列导出的整个连续的或离散的特性信号68的型线。另外,为了进一步分析能够选择其中的子集,运动指示性分量70。为了这个目的,能够应用关于潜在生命信号的基本假设。例如,运动指示性分量70能够被假设为经历归因于胸部的呼吸运动的轻微周期性运动。该脉动的频率能够被预期在一定频带内。以这种方式,能够检测非指示性边缘74,并且在进一步分析步骤期间能够丢弃。另一方面,指示性边缘76的边缘能够被绘制或甚至被增强以便进一步处理。
运动方向72指示运动信息的方向,而箭头16指示时间。应当注意,运动方向72可以包括定性或甚至定量运动信息。一般地,例如当表示纵长运动的尺度丟失时,不能够从定性信息中提取名义上的位置依赖信息。然而,仍然能够从定性信号中提取频率信息。在这一点上,当旨在定量运动检测时,优选至少在初始设置期间也监测允许对运动的定量确定的真实对象,例如参考尺度。
一般地,能够预期运动型线是更复杂的,其示出了各种波动和许多变化,当被认为逐列和逐行时两者都有。例如,运动型线能够类似于经历时间改变的谱型线。然而,在该实施例中未示出频带。代替地,能够根据在图8和9中提供的表示导出频率信息。
图9图示了运动型线的运动指示性分量70的展开的表示。因此增强了指示性边缘76。在许多指示性边缘被假设为处在运动型线中的情况下,能够应用另外的相关性措施从而改进信号质量。这在真实图像中的若干边缘(例如在覆盖对象的毯子中的多个褶皱和折叠)经历归因于呼吸的运动时适用。
指示性边缘76能够通过边缘检测措施来选择并且被进一步强化。最后,能够获得高度指示期望的信号的单个波形,在这一点上也参见图11和图12的导出信号形式86。
在备选中,参考图10,每个单一特性指标元素60能够在被排序和被转移到运动型线之前被处理。在图10中,也参见图6和7,图示了若干连续的特性指标元素60a、60b、60c,每个包括数据流属性78a、…、78n,每个或其表示单个图像帧的聚集线或投影线。通过在多个聚集数据流属性78上的积分,能够获得具有连续的或准连续的波形的特性指标元素60n。
另外,积分变换,尤其是傅里叶变换能够被应用到每个特性指标元素60a、60b、60c,由80a、80b、80c指示所述变换。由此,每个特性指标元素60能够由其中的幅值范围代替或甚至补充。以这种方式,启用基于频域的表示,而非基于运动的表示。来源于特性指标元素的处理信号能够随着时间被排序,从而获得感兴趣的幅值范围84。幅值轴82指示在表示下的频率。基本地,该途径旨在基于非指示定量运动信息的定性波形对期望的生命信号的检测。
通过应用积分变换,针对显著相关性或频率对(尽管在相同的时间点捕获的)图像属性进行扫描。能够认识到,当对变换的特性指标元素60进行排序时,这些显著实体也经历随着时间的脉动。再次地,应用边缘检测措施,能够获得高度指示期望的生命信号的导出信号形式86。图10的尺度88被认为是定性的,因为其不旨在从通过将积分变换应用到特性指标元素60获得的导出信号形式86中提取定量运动信息。最后,不论是否进一步对特性指标元素60进行进一步处理,能够获得高度指示性导出信号形式86。
图11示出了又一范例性推导信号形式86的图示。尽管脉动信号在幅度上有些不稳定,但是能够通过已知方法在没有很大努力的情况下获得潜在频率。由此,甚至在差的周围环境的条件下能够以无干扰方式从初始数据流提取期望的生命信号,例如要被监测的患者的呼吸率。
如果在没有将运动相关信号转换到频带相关信号的情况下通过对特性指标元素60进行排序来获得图11的导出信号形式86,尺度88甚至能够被认为是示出绝对或相对位置信息或者一般示出运动信息的定量尺度。以这种方式,甚至能够检测到例如表示胸部运动的量的幅度。
图12也表示通过数据监测和处理获得的范例性导出信号形式86a。与图11对比,导出信号形式86a仍然包含大量剩余的干扰分量。这尤其当期望的对象运动被相当大的干扰运动(例如对象在床上的反转)或甚至相机的全局运动覆盖时发生。在这种情况下,能够设想基于参考运动样式的信号分解。为了这个目的,也参见在图4中的参考部分50,除了感兴趣的主要对象之外,能够监测参考对象。处理参考部分图像帧得到参考信号,被称为剩余的干扰信号分量。例如能够从到达真实的运动分量90的导出信号形式86a减去这些分量。在图12中,通过相应的参考部分50a、50b考虑并图示全局运动指示性剩余干扰信号分量87a和干扰对象运动指示性剩余干扰信号分量87b。最后,如由附图标记92指示的,真实的运动分量90的脉动下的频率能够例如通过检测其极值来检测。
如上所述,对呼吸信息的检测基于对对象(一般是人,但是还有动物)的身体部分的细微呼吸运动的检测,其示出了由呼吸引起的运动,尤其是胸部和/或腹部区的运动。最佳的位置通常包含(针对可靠运动估计的)边缘信息,并且由于呼吸移动,其通常意味着它们被连接到胸部或腹部区域(但是这能够是覆盖新生儿或肩部的毯子或在成人毛衣上的清晰细节)。较不可能的区是趋向于独立于呼吸率移动的四肢或不与胸部或腹部区域机械接触的床上用品的部分。然而,已知的方法和设备可能没有充分地将期望的呼吸信号与噪声区别开。
本发明提出了简单的且低成本的设备和方法以鲁棒性地将噪声信号与基于相机的生命体征监测的浅呼吸信号区分开。所提出的设备以及本文提出的方法关注于被用于构建重建信号的原始输入值,而非关注于重建信号,并且观察每单位时间测得的方向改变的量以在信号和信号的缺乏之间进行区别。本发明基于这些原始输入值(即如在图8和图9中示出的投影或信号74)的观察,其披露在(噪声)静态场景中的方向(符号)改变的数量比当场景包含呼吸运动时高得多。
图13示出了根据本发明的用于获得对象10的生命体征的设备118的范例性实施例的示意图。该实施例包括成像单元122,尤其是相机,所述成像单元用于远程地探测从对象10发射或反射的电磁辐射20。接口124被提供用于接收由成像单元122提供的对象10的图像帧126的集合。分析单元128被提供用于确定在包括图像帧的所述集合126’的许多图像帧的图像帧的子集中的感兴趣的区域内的方向改变的量和/或方向改变之间的时间距离,方向改变指示所述感兴趣的区域内出现的运动的方向的改变。评估单元132被提供用于通过使用针对所述图像帧的子集所确定的方向改变的量和/或所述时间距离来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声,其被提供作为来自所述分析单元128的输出信息130。所确定的结果134被提供作为来自所述评估单元132的输出。最后,处理器136被提供用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域的所述对象的期望的生命体征。
应当注意,成像单元122也可以是不是设备的部分的外部单元,并且也可以提前获得图像帧的集合126并将其存储在存储单元中。另外,元件124、128、132和136可以通过一个或多个处理单元(例如通用计算机)来实施。
由此,在所提出的基于相机的呼吸监测设备中,相机被用于查看要被测量的对象。具体地,胸部/腹部区应当是处在视场中。在开始测量之前,优选在胸部/腹部区中手动地或自动地选择感兴趣的区域(ROI)。为了该目的,提供任选的ROI选择单元140,例如用于选择在所述图像帧的子集内的感兴趣的区域。然后连续测量并分析在ROI中的细微呼吸运动以导出期望的生命体征,尤其是呼吸信号。
由此,方向改变表示针对投影中的每个(=垂直指标元素60a…60n)的指示性边缘76的运动方向72的改变,并且由此在方向改变之间的时间距离是当在每个投影60a…60n处针对每个指示性边缘76运动矢量72改变其方向时的时刻之间的时间距离。
图14示出了图示根据两个存储的投影型线计算一个值的图。投影的符号指示原始信号的方向。在实施例中,所提出的设备测量在原始输入流中的观察到的方向改变的量,将其与阈值进行比较以在呼吸信号与噪声之间进行区分,并且做出是否存在呼吸信号的决定。两个(垂直)曲线K1、K2表示在时间T和在时间T-Δ(通常例如0.2秒)的视频帧的投影。这两个投影K1、K2的峰值的(在垂直方向上的)差被用于(经由积分)构建呼吸信号。根据本发明,观察到在峰值移动的垂直方向上的(每单位时间)改变的数量(和/或在改变之间的时间差)。对于规则呼吸(和不引入压缩伪影的相当好的相机),将限制方向改变的数量。当不存在呼吸活动时,图像中的噪声也将创建投影型线,但是它们将更经常地改变方向,其根据本发明将被识别并与规则呼吸区分开。
在所提出的设备的优选实施例中,使用两个参数:每单位时间的方向改变的允许数量(浅呼吸与噪声的区分)和在做出关于呼吸信号的存在的决定之前的时间窗(决定做出的延时)。
在所提出的设备的另一实施例中,连续测量在原始信号的“零交叉”(对应于方向的改变)之间的时间距离。如果对于若干连续零交叉在这样的改变之间的距离太短,则确定缺乏呼吸信号(例如患者屏住呼吸),并且测得的信号仅仅包含噪声,或噪声信号主导了提取的呼吸信号,并且因此呼吸的可靠测量是不可能的。该实施例的优点是其在探测“无呼吸信号”时刻中的非常低的延时。由此,在该实施例中,评估单元132优选地被配置为确定所确定的方向改变的量是否低于预定方向改变阈值,所述预定方向改变阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。
所提出的设备的再一实施例利用这样的事实:胸部或腹部的呼吸运动将在相同的时刻引起在水平投影和垂直投影两者的方向上的改变,而归因于其随机性质的噪声将导致在水平投影和垂直投影中的未对齐的方向改变。因此,在该实施例中,所述分析单元128优选地被配置为根据所述图像帧的子集来确定在两个预定正交方向上的两个投影型线并且用于根据所述投影型线来确定所述方向改变的量。优选地,所述评估单元132被配置为在方向改变在基本上相同的时刻出现在两个投影型线中时决定所述图像帧的子集的所述感兴趣的区域包括生命体征信息。
上述实施例旨在检测在感兴趣的区域内的呼吸信号的缺乏,其假设已经(预)定义了人的胸部或腹部周围的ROI。考虑两个ROI的范例,胸部区的一个ROI(ROI 1)提供呼吸信号,并且不包含人的任何部分的另一ROI(ROI 2)仅仅提供噪声。ROI 2中的“零交叉”或方向的改变的数量将比ROI 1中的大的多(尽管投影的幅度可以是类似的)。事实上,如果图像包含仅仅胸部和/或腹部周围的一个ROI,则在水平投影和垂直投影中的仅仅小的部分(其对应于ROI)将包含小量的方向改变,而投影的所有剩余部分(对应于噪声)将具有大量的方向改变。
在又一实施例中,该观察被用于对胸部/腹部周围的2D ROI的微调,或甚至用于全自动ROI检测。例如,在实施例中,(例如通过ROI选择单元140)执行以下步骤:
水平1D投影和垂直1D投影被划分成小的部分;那些部分的长度取决于ROI尺寸的要求的粒度。
在两个投影中的每个部分内,计算方向改变的数量。
选择具有最小数量的方向改变的邻近部分。
水平投影和垂直投影的那些选择的部分的横截面将表示具有呼吸运动的ROI。
在两个ROI(ROI 1和ROI 2)的以上解释的范例中,对应于ROI 2的垂直投影的部分将具有比对应于ROI 1的部分大的多的数量的方向改变。
以上实施例能够被进一步扩展以覆盖当在图像中存在若干对象(监测患者)时的场景,并且应当针对存在的对象中的每个单独地检测并测量生命体征。在这种情况下,利用以下步骤扩展以上实施例:
检测具有低于一定阈值的方向改变的数量的在水平投影和垂直投影中的所有部分。
定义具有相等数量的方向改变的在水平投影和垂直投影中的部分的对。
在水平投影和垂直投影中的部分的对中的每个的横截面将表示场景中的不同对象周围的单独的ROI。
在实施例中,评估单元132被配置为在方向改变在基本上相同的时刻出现在两个投影型线中时决定所述图像帧的子集的所述感兴趣的区域包括生命体征信息。在另一实施例中,评估单元132被配置为确定许多确定的在方向改变之间的连续时间距离是否大于预定时间距离阈值,所述预定时间距离阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。
在再一实施例中,所述设备任选地包括控制单元142,所述控制单元用于控制用于确定方向改变的量、所述预定方向改变阈值和/或所述图像帧内的感兴趣的区域的所述图像帧的子集的图像帧的数量。
一般地,本发明能够被用于导出不同种类的生命体征。优选地,所述处理器136被配置为根据所述图像帧的子集内的所述感兴趣的区域来确定所述对象的呼吸信息。
另外,在实施例中,所述设备包括辐射源,尤其是光源,所述辐射源用于将电磁辐射指向所述对象,以改进照明状况并改进(一个或多个)导出的生命体征的质量。
通过举例的方式,本发明能够被应用在诸如无干扰式远程患者监测、新生儿监测的健康护理领域、一般监控、安全监测以及诸如健身器材的所谓的生活方式环境中等等。
尽管已经在附图和前面的描述中详细说明和描述了本发明,但这样的说明和描述被认为是说明性或示范性的而非限制性的;本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求,本领域的技术人员在实践所主张的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中,词语“包括”不排除其他元件或步骤,并且,词语“一”或“一个”并不排除多个。单个元件或其他单元可以实现权利要求书中记载的若干项目的功能。在互不相同的从属权利要求中记载了特定措施并不指示不能有利地使用这些措施的组合。
计算机程序可以存储/分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上,但是计算机程序也可以以其他的形式分布,例如经由因特网或其他有线或无线的远程通信***。
在权利要求中的任何附图标记不应被解释为对范围的限制。
Claims (16)
1.一种用于获得对象的生命体征的设备,包括:
接口(124),其用于接收对象的图像帧的集合,
分析单元(128),其用于确定在包括所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内每单位时间的方向改变的数量和/或方向改变之间的时间间隔,方向改变指示所述感兴趣的区域内出现的运动的方向的改变,
评估单元(132),其用于通过使用针对所述图像帧的子集所确定的方向改变的数量和/或所确定的时间间隔来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声,以及
处理器(136),其用于在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域的所述对象的期望的生命体征。
2.根据权利要求1所述的设备,
其中,所述评估单元(132)被配置为确定所确定的方向改变的数量是否低于预定方向改变阈值,所述预定方向改变阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。
3.根据权利要求1所述的设备,
其中,所述分析单元(132)被配置为根据所述图像帧的子集来确定在预定方向上的投影型线并且用于根据所述投影型线来确定所述方向改变的数量。
4.根据权利要求1所述的设备,
其中,所述分析单元(128)被配置为根据所述图像帧的子集来确定在两个预定正交方向上的两个投影型线并且用于根据所述投影型线来确定所述方向改变的数量。
5.根据权利要求4所述的设备,
其中,所述评估单元(132)被配置为在方向改变在基本上相同的时刻出现在全部两个投影型线中时决定所述图像帧的子集的所述感兴趣的区域包括生命体征信息。
6.根据权利要求2所述的设备,
还包括控制单元(42),所述控制单元被配置为控制用于确定所述方向改变的数量、所述预定方向改变阈值和/或所述图像帧内的所述感兴趣的区域的所述图像帧的子集的图像帧的数量。
7.根据权利要求1所述的设备,
其中,所述评估单元(36)被配置为确定在方向改变之间的多个确定的连续时间间隔是否大于预定时间间隔阈值,所述预定时间间隔阈值指示所述图像帧的子集内的所述感兴趣的区域包括生命体征信息。
8.根据权利要求1所述的设备,
还包括ROI选择单元(140),所述ROI选择单元用于通过以下来选择所述图像帧的子集内的所述感兴趣的区域:
根据所述图像帧的子集来确定在两个预定正交方向上的两个投影型线,
将所述投影型线划分成投影区,
确定在所述投影区内的方向改变的数量和/或方向改变之间的时间间隔,
选择具有最小数量的方向改变和/或在方向改变之间的最大时间间隔的两个或更多个邻近投影区,所选择的投影区表示所述感兴趣的区域。
9.根据权利要求8所述的设备,
其中,所述ROI选择单元(140)被配置为
选择具有低于第一投影区阈值的方向改变的数量和/或大于第二投影区阈值的时间间隔的投影区,
在所述投影区当中选择具有基本上相等的方向改变的数量和/或基本上相等的在方向改变之间的时间间隔的两个投影型线中的投影区对,所述投影区对定义单独的感兴趣的区域。
10.根据权利要求1所述的设备,
其中,所述处理器(136)被配置为根据所述图像帧的子集内的所述感兴趣的区域来确定所述对象的呼吸信息。
11.根据权利要求1所述的设备,
还包括成像单元(122),所述成像单元用于远程地探测从所述对象发射或反射的电磁辐射。
12.根据权利要求11所述的设备,
其中,所述成像单元(122)是相机。
13.根据权利要求1所述的设备,
还包括辐射源,所述辐射源用于将电磁辐射指向所述对象。
14.根据权利要求13所述的设备,
其中,所述辐射源是光源。
15.一种用于获得对象的生命体征的方法,包括:
接收对象的图像帧的集合,
确定在包括所述集合的许多图像帧的图像帧的子集中的感兴趣的区域内每单位时间的方向改变的数量和/或方向改变之间的时间间隔,方向改变指示所述感兴趣的区域内出现的运动的方向的改变,
通过使用针对所述图像帧的子集所确定的方向改变的数量和/或所确定的时间间隔来确定所述图像帧的子集内的所述感兴趣的区域是否包括生命体征信息和/或噪声,以及
在确定所述图像帧的子集内的所述感兴趣的区域包括生命体征信息时确定来自所述图像帧的子集内的所述感兴趣的区域的所述对象的期望的生命体征。
16.一种非暂态计算机可读记录介质,其存储有包括程序代码模块的计算机程序,当在计算机上执行所述计算机程序时,所述程序代码模块用于使所述计算机执行权利要求15所述的方法的步骤。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361820755P | 2013-05-08 | 2013-05-08 | |
US61/820,755 | 2013-05-08 | ||
EP13167047.3 | 2013-05-08 | ||
EP13167047 | 2013-05-08 | ||
PCT/EP2014/058288 WO2014180660A1 (en) | 2013-05-08 | 2014-04-24 | Device for obtaining a vital sign of a subject |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105190691A CN105190691A (zh) | 2015-12-23 |
CN105190691B true CN105190691B (zh) | 2019-06-25 |
Family
ID=48463728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480025704.2A Active CN105190691B (zh) | 2013-05-08 | 2014-04-24 | 用于获得对象的生命体征的设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9339210B2 (zh) |
EP (1) | EP2994880B1 (zh) |
JP (1) | JP6697378B2 (zh) |
CN (1) | CN105190691B (zh) |
BR (1) | BR112015027802A2 (zh) |
RU (1) | RU2668066C2 (zh) |
WO (1) | WO2014180660A1 (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3151728A1 (en) * | 2014-06-06 | 2017-04-12 | Koninklijke Philips N.V. | Device, system and method for detecting apnoea of a subject |
KR101663239B1 (ko) | 2014-11-18 | 2016-10-06 | 상명대학교서울산학협력단 | 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템 |
US9704266B2 (en) * | 2014-12-11 | 2017-07-11 | Rdi, Llc | Non-contacting monitor for bridges and civil structures |
JP2017055949A (ja) * | 2015-09-16 | 2017-03-23 | シャープ株式会社 | 計測装置、計測システム、計測方法およびコンピュータプログラム |
JP6854284B2 (ja) * | 2015-10-06 | 2021-04-07 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体のバイタルサイン関連情報を取得するデバイス、システム及び方法 |
EP3378384A4 (en) * | 2015-11-20 | 2018-10-24 | Fujitsu Limited | Information processing device, information processing method, and information processing program |
GB201601140D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating heart rate |
GB201601143D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for health and safety monitoring of a subject in a room |
GB201601217D0 (en) | 2016-01-22 | 2016-03-09 | Oxehealth Ltd | Signal processing method and apparatus |
CA2958003C (en) | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
US20180049808A1 (en) * | 2016-08-17 | 2018-02-22 | Covidien Lp | Method of using soft point features to predict breathing cycles and improve end registration |
JP6924817B2 (ja) * | 2016-08-23 | 2021-08-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 病院ビデオ監視システム、カメラ、データ伝送システムコントローラ、病院ビデオ監視方法及び病院ビデオ監視コンピュータプログラム |
GB201615899D0 (en) | 2016-09-19 | 2016-11-02 | Oxehealth Ltd | Method and apparatus for image processing |
WO2018069419A1 (en) * | 2016-10-11 | 2018-04-19 | Koninklijke Philips N.V. | Detection and measurement of breathing using an optical camera and projected shadows |
WO2018087528A1 (en) | 2016-11-08 | 2018-05-17 | Oxehealth Limited | Method and apparatus for image processing |
US10470720B2 (en) | 2016-12-28 | 2019-11-12 | Industrial Technology Research Institute | Heart rate activity detecting system based on dynamic images and method thereof |
GB201706449D0 (en) | 2017-04-24 | 2017-06-07 | Oxehealth Ltd | Improvements in or realting to in vehicle monitoring |
EP3440996A1 (en) * | 2017-08-08 | 2019-02-13 | Koninklijke Philips N.V. | Device, system and method for determining a physiological parameter of a subject |
WO2019034743A1 (en) * | 2017-08-16 | 2019-02-21 | Koninklijke Philips N.V. | ULTRASONIC DETERMINATION OF A DYNAMIC AERONIC BRONCHOGRAM AND ASSOCIATED DEVICES, SYSTEMS AND ASSOCIATED METHODS |
EP3681394A1 (en) | 2017-11-13 | 2020-07-22 | Covidien LP | Systems and methods for video-based monitoring of a patient |
US11786202B2 (en) | 2018-01-08 | 2023-10-17 | Shenzhen Keya Medical Technology Corporation | Method, system, and medium for analyzing image sequence of periodic physiological activity |
US10499867B2 (en) * | 2018-01-08 | 2019-12-10 | Shenzhen Keya Medical Technology Corporation | Method, storage medium, and system for analyzing image sequences of periodic physiological activities |
CA3086527A1 (en) | 2018-01-08 | 2019-07-11 | Covidien Lp | Systems and methods for video-based non-contact tidal volume monitoring |
GB201803508D0 (en) | 2018-03-05 | 2018-04-18 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
WO2019240991A1 (en) | 2018-06-15 | 2019-12-19 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
EP3833241A1 (en) | 2018-08-09 | 2021-06-16 | Covidien LP | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
EP3643235A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Device, system and method for monitoring a subject |
US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
GB201900034D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900032D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900033D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Mrthod and apparatus for monitoring of a human or animal subject |
US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
TWI765185B (zh) * | 2019-10-23 | 2022-05-21 | 國立中山大學 | 非接觸式生命特徵檢測方法 |
US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
US20210393148A1 (en) * | 2020-06-18 | 2021-12-23 | Rockwell Collins, Inc. | Physiological state screening system |
CN112580612B (zh) | 2021-02-22 | 2021-06-08 | 中国科学院自动化研究所 | 一种生理信号预测方法 |
US11882366B2 (en) | 2021-02-26 | 2024-01-23 | Hill-Rom Services, Inc. | Patient monitoring system |
US11596315B1 (en) * | 2021-09-21 | 2023-03-07 | Google Llc | Measurement of vital signs based on images recorded by an egocentric camera |
WO2024121066A1 (en) | 2022-12-05 | 2024-06-13 | Koninklijke Philips N.V. | System for respiratory rate determination based on multiple contactless sensing modalities and related methods |
CN116702015B (zh) * | 2023-08-09 | 2023-11-28 | 中国科学技术大学 | 信号处理方法、装置、无人机及计算机可读存储介质 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5734739A (en) * | 1994-05-31 | 1998-03-31 | University Of Washington | Method for determining the contour of an in vivo organ using multiple image frames of the organ |
JP3263035B2 (ja) | 1997-11-21 | 2002-03-04 | 東芝エンジニアリング株式会社 | 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム |
JP3477166B2 (ja) | 2000-12-07 | 2003-12-10 | 学校法人慶應義塾 | 監視装置 |
JP4588423B2 (ja) * | 2004-11-30 | 2010-12-01 | 住友大阪セメント株式会社 | 状態解析装置及びソフトウエアプログラム |
WO2008027520A2 (en) * | 2006-08-30 | 2008-03-06 | The Trustees Of Columbia University In The City Of New York | Systems and methods for composite elastography and wave imaging |
EP2265169A4 (en) | 2008-04-03 | 2013-01-09 | Kai Medical Inc | NON-CONTACT PHYSIOLOGICAL MOTION SENSORS AND METHODS OF USE |
CN102046076A (zh) * | 2008-04-03 | 2011-05-04 | Kai医药公司 | 非接触式生理运动传感器及其使用方法 |
US20100152600A1 (en) | 2008-04-03 | 2010-06-17 | Kai Sensors, Inc. | Non-contact physiologic motion sensors and methods for use |
JP5483899B2 (ja) * | 2009-02-19 | 2014-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
RU91838U1 (ru) * | 2009-08-10 | 2010-03-10 | Федеральное агентство по науке и инновациям (Роснаука) | Носимый телекоммуникационный комплекс мониторинга функционального состояния человека |
EP2417908A1 (en) * | 2010-08-12 | 2012-02-15 | Philips Intellectual Property & Standards GmbH | Device, system and method for measuring vital signs |
EP2661219B1 (en) | 2011-01-05 | 2019-05-15 | Koninklijke Philips N.V. | Device and method for extracting information from characteristic signals |
EP2683296A1 (en) | 2011-03-11 | 2014-01-15 | Koninklijke Philips N.V. | Monitoring apparatus for monitoring a physiological signal. |
US9224202B2 (en) | 2011-04-14 | 2015-12-29 | Koninklijke Philips N.V. | Device and method for extracting information from characteristic signals |
US9320491B2 (en) * | 2011-04-18 | 2016-04-26 | The Trustees Of Columbia University In The City Of New York | Ultrasound devices methods and systems |
CN102499664B (zh) * | 2011-10-24 | 2013-01-02 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测*** |
CN102488508B (zh) * | 2011-12-29 | 2014-10-15 | 哈尔滨工业大学 | 一种基于图像捕获的心率测量方法 |
US9516079B2 (en) * | 2012-07-16 | 2016-12-06 | Ricoh Company, Ltd. | Media stream modification based on channel limitations |
WO2014024104A1 (en) * | 2012-08-06 | 2014-02-13 | Koninklijke Philips N.V. | Device and method for extracting physiological information |
US20150250425A1 (en) | 2012-09-21 | 2015-09-10 | Koninklijke Philips N.V. | Motion robust vital signal monitoring |
CN103054569B (zh) * | 2012-12-20 | 2015-04-22 | Tcl集团股份有限公司 | 基于可见光图像测量人体心率的方法、装置及手持设备 |
-
2014
- 2014-04-22 US US14/258,085 patent/US9339210B2/en active Active
- 2014-04-24 BR BR112015027802A patent/BR112015027802A2/pt not_active Application Discontinuation
- 2014-04-24 JP JP2016512270A patent/JP6697378B2/ja active Active
- 2014-04-24 CN CN201480025704.2A patent/CN105190691B/zh active Active
- 2014-04-24 WO PCT/EP2014/058288 patent/WO2014180660A1/en active Application Filing
- 2014-04-24 RU RU2015152242A patent/RU2668066C2/ru not_active IP Right Cessation
- 2014-04-24 EP EP14721291.4A patent/EP2994880B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016522027A (ja) | 2016-07-28 |
EP2994880A1 (en) | 2016-03-16 |
CN105190691A (zh) | 2015-12-23 |
BR112015027802A2 (pt) | 2017-07-25 |
WO2014180660A1 (en) | 2014-11-13 |
JP6697378B2 (ja) | 2020-05-20 |
US20140334697A1 (en) | 2014-11-13 |
RU2015152242A (ru) | 2017-06-14 |
US9339210B2 (en) | 2016-05-17 |
EP2994880B1 (en) | 2017-06-14 |
RU2668066C2 (ru) | 2018-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105190691B (zh) | 用于获得对象的生命体征的设备 | |
CN105636505B (zh) | 用于获得对象的生命体征的设备和方法 | |
Bartula et al. | Camera-based system for contactless monitoring of respiration | |
CN105792734B (zh) | 用于获得远程光体积描记波形的改进的信号选择 | |
RU2691928C2 (ru) | Устройство и способ определения информации об основных физиологических показателях субъекта | |
CN105007806B (zh) | 用于确定来自对象的生命体征的装置和方法 | |
CN104662584B (zh) | 运动鲁棒的生命信号监测 | |
CN103503024B (zh) | 用于从特征信号提取信息的设备和方法 | |
CN105813562B (zh) | 睡眠监测***和方法 | |
JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
CN105072997A (zh) | 用于获得对象的呼吸信息的设备 | |
CN106793976A (zh) | 用于检测对象的生命体征信息的设备和方法 | |
JP6466912B2 (ja) | 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法 | |
Heinrich et al. | Body movement analysis during sleep based on video motion estimation | |
CN105027166B (zh) | 用于基于生命体征来检测对象的装置和方法 | |
WO2017047734A1 (ja) | 計測装置 | |
EP3422931B1 (en) | Device, system and method for determining a vital sign of a subject | |
CN113456042A (zh) | 一种基于3d cnn的无接触面部血压测量方法 | |
CN105050502A (zh) | 用于根据图像数据确定呼吸体积信号的装置和方法 | |
Malasinghe et al. | Remote heart rate extraction using microsoft kinecttm V2. 0 | |
JP7405527B2 (ja) | 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム | |
Nijholt | Contactless respiration monitoring using a 3D camera system | |
Popadyn et al. | Benchmarking of camera-based respiration monitoring algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |