CN102301202A - 用于监测物体的方法和设备 - Google Patents

用于监测物体的方法和设备 Download PDF

Info

Publication number
CN102301202A
CN102301202A CN2009801554312A CN200980155431A CN102301202A CN 102301202 A CN102301202 A CN 102301202A CN 2009801554312 A CN2009801554312 A CN 2009801554312A CN 200980155431 A CN200980155431 A CN 200980155431A CN 102301202 A CN102301202 A CN 102301202A
Authority
CN
China
Prior art keywords
view data
instantaneous
pattern
radiation pattern
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801554312A
Other languages
English (en)
Other versions
CN102301202B (zh
Inventor
理查德·艾勒斯
乔纳森·卡梅伦
加雷斯·罗伯茨
瓦尔德·希尔斯
琼·拉森比
理查德·韦尔哈姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pneumacare Ltd
Original Assignee
Pneumacare Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pneumacare Ltd filed Critical Pneumacare Ltd
Publication of CN102301202A publication Critical patent/CN102301202A/zh
Application granted granted Critical
Publication of CN102301202B publication Critical patent/CN102301202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种监测物体的方法，更具体地，但不限于，监测人的外形变化。该方法包括：将辐射图案投射在物体上，以进行监测；在第一瞬时记录代表物体上的投射的辐射图案的至少一部分的第一图像数据，第一图像数据代表物体在第一瞬时的三维外形；在第二瞬时记录代表物体上的投射的辐射图案的至少一部分的第二图像数据，第二图像数据代表物体在第二瞬时的三维外形；以及处理第一和第二图像数据，以产生代表物体在第一和第二瞬时之间的外形变化的差分数据。本发明进一步涉及一种用于执行根据本发明的方法的设备和软件。

Description

用于监测物体的方法和设备
技术领域
本发明涉及一种监测物体的方法，更具体地，但不限于，涉及监测人的外形的变化。
背景技术
存在可实现物体的三维外形(构造)的监测的许多应用，例如，生命特征的监测，包括人的呼吸和/或肺功能。另外，肺功能的监测可提供可用来帮助确定肺病的存在的数据，肺病是影响百万人的全球健康问题。肺病的有效医疗控制需要肺功能的评估和监测。这大部分通过临床观察或通过肺活量测定(一种20世纪30年代发展的技术)来实现。
用于监测肺功能的现有技术存在一些限制，这无法满足临床需求。特别地，肺活量测定技术需要警觉的(alert，清醒的)且合作的患者在使用设备的同时遵循指令。这些技术并不适于五岁以下的儿童使用，不适于非常病重或不省人事的患者使用，或不适于患慢性病的人或老年人使用。通常无法充分地评估或监测这种患者，将此评估留给主观的临床观察。这对临床决定留下了主观成分，例如，有关将患者从重病特别护理转移至资源较少的一般护理的临床决定，或者反过来，从而导致资源的低效使用和并非最佳的临床管理。
其它用于监测肺功能的技术需要与患者进行实际的(身体)接触，例如，需要将传感器或反射标记放在对象上或附着在对象上。这在医疗上可能是不可取的或不可能的，例如，在重病护理情况中，例如烧伤患者的监测，或早产婴儿的肺功能的测量。
本发明的一个目的是克服这些缺点。
发明内容
根据本发明的一个方面，提供了一种监测物体的方法，该方法包括：
a)将辐射图案投射在物体上，以进行监测；
b)在第一瞬时记录代表物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；
c)在第二瞬时记录代表物体上的所述投射的辐射图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形；并且
d)处理所述第一和第二图像数据，以产生代表所述物体外形在第一和第二瞬时之间变化的差分数据。
本发明的方法有利地用于精确地监测物体在一段时间周期内的三维外形变化。通过使用所投射的辐射图案以获得用于在产生差分数据中使用的相应的图像数据，并不需要与待监测的物体有任何接触。因此，本发明的方法可简单地实现，并且，非常适于监测移动的和/或灵敏的物体，包括处于受控或隔离环境中的物体，因为不需要与物体接触来对其进行监测；与物体的相互作用的形式是物体上的所投射的光图案。
因为差分数据以代表物体的三维外形的第一和第二图像数据为基础，并由此与所监测的物体的三维性质相对应，所以，可用本发明的方法精确地确定物体的外形的变化。
在本发明的一个优选实施方式中，该方法包括处理所述第一和第二图像数据，以产生代表所述物体在第一和第二瞬时之间的体积变化的差分数据。不用必须与所监测的物体接触而确定物体在一段时间周期内的体积变化的能力是有利的且简单的，并且，提供可在许多各种应用中使用的物体的体积数据。
步骤b)和c)中的部分可以基本上是图案的相同部分。替代地，步骤b)和c)中的部分是图案的不同部分，允许该方法在允许物体移动的同时，对物体的至少一部分产生差分数据。
在本发明的一个实施方式中，该方法包括处理第一和第二图像数据，以识别物体在第一和第二瞬时之间随着时间的总体移动。
优选地，辐射图案是非电离电磁辐射的空间变化强度图案，当将其解释为图像时，其包括不同的且容易定位的要素的组合，例如，空间分布的交叉点、拐角或圆形斑点的组合。
优选地，电磁辐射可以是可见光或不可见的红外辐射。替代地，电磁辐射可具有其它频率。
优选地，在步骤a)中，将一系列不同的辐射图案投射在物体上，每个不同的图案在不同的瞬时是连续投射的。
在本发明的一个优选实施方式中，该方法包括：
在多个其它瞬时记录代表物体上的所述投射的辐射图案的至少一部分的其它图像数据，所述其它图像数据代表所述物体在多个其它瞬时中的每个瞬时的三维外形；
处理所述其它图像数据，以产生代表所述物体在所述多个其它瞬时中的至少两个瞬时之间的外形变化的差分数据。
可在记录和处理第一和第二图像数据之后，执行记录并处理其它图像数据。其它图像数据可包括多个分别在多个不同瞬时记录的图像数据。因此，可用使用其它图像数据产生的差分数据在任何长度的一段时间内监测外形变化，例如，延长的时间周期。例如，这在本发明的医疗应用中是有利的，例如，随着时间连续监测患者的呼吸。
可以与本发明的给定应用一致的速度记录其它图像数据，取决于监测物体的三维外形的变化所需的时间分辨率(time resolution)。在一个用于医疗应用的优选实施方式中，例如胸腔运动和呼吸的监测，此速度可能是每秒50或60瞬时，即，50或60Hz。替代地，可以更快的速度记录其它图像数据，例如，每秒180或360个瞬时，这提供了增强的时间分辨率和空间精度。可选择任何记录速度，使得可根据需要监测物体的外形变化；例如，但不限于，50至360Hz的范围内的速度。可通过执行监测的设备(例如，摄像机)的性能和/或设置，来确定该速度。
在一个优选实施方式中，该方法包括对物体的其上没有被投射辐射图案的一部分的外形进行近似估计。可用第一和/或第二图像数据来进行近似估计。附加地，或替代地，可用算法来近似估计物体的其上没有被投射强度图案的表面。例如，可使用用于平面的简单插值算法。替代地，可使用更复杂的算法，以用更复杂的表面进行插值，例如，圆柱体或球体的一部分。该方法可包括，用物体的一部分的近似外形产生差分数据。因此，物体的未扫描部分的外形允许通过执行发明方法的设备在无需与物体接触的情况下精确地确定外形(例如体积)的变化。物体的外形近似的部分可以是其上投射有辐射图案的物体的背面。例如，如果在人的前侧上投射图案，那么可近似估计人的后侧的外形。
在本发明的实施方式中，物体是人或人的至少一部分。在这种实施方式中，该方法可包括，用表示人的特征的生物物理模型数据来处理第一和第二图像数据。生物物理模型数据可包括代表人的尺寸、年龄、性别和体型中的任一种的参数，和/或代表身体部分的机械方面的参数。这些参数可涉及人的正常状态和异常状态两者。这允许将该方法调整至所监测的人的体型，以产生差分数据的更高精度。
在优选实施方式中，外形的变化可指示人的肺功能，例如，呼吸速率、动态空气流，和/或呼吸体积的动态变化。
专利申请EP 1645841描述了一种三维形状测量设备，但是，这并未记录根据本发明的第一和第二图像数据，每个图像数据代表所监测的物体的三维外形。因此，并未和本发明一样，用第一和第二图像数据产生差分数据。此外，EP 1645841的设备需要设备部件的精确定位，与本发明的设备不同。
在一个优选实施方式中，该方法进一步包括对被布置为至少执行步骤a)和b)的设备进行校准，所述校准包括：
在校准物体上投射校准辐射图案；并且
记录代表所述投射的校准辐射图案的至少一部分的校准图像数据，所述校准图像数据代表所述校准物体的三维外形，并且
用校准图像数据处理步骤d)中的所述第一和第二图像数据，以产生差分数据。
对设备的校准有利地确保了所产生的差分数据更精确。
该方法可包括：在校准物体上投射一系列不同的校准辐射图案，并对每个所述不同的校准辐射图案记录校准图像数据。
在本发明的实施方式中，该方法可包括：在执行步骤a)至d)之前，执行所述校准，以确定用于从第一和/或第二图像数据确定物体的尺寸的单位刻度(单位尺度，unit scale)。
优选地，步骤a)中的投射进一步包括：在物体上投射所述校准图案或所述多个校准图案中的至少一个，以进行监测，并且，在步骤b)和/或c)中记录的第一和/或第二图像数据包括代表用于执行所述方法的设备的投射***和记录***的特性的校准图像数据。
所投射的辐射图案和所投射的校准图案或多个校准辐射图案中的至少一个，可彼此交叉。这样，可在监测物体的同时执行校准。
根据本发明的另一方面，提供一种监测物体的方法，该方法包括：
a)将辐射图案投射在物体上，以进行监测；
b)在第一瞬时记录代表物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；
c)在第二瞬时记录代表物体上的所述投射的辐射图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形；并且
d)对处理***提供所述第一和第二图像数据，以产生代表所述物体在第一和第二瞬时之间的外形变化的差分数据。
根据本发明的又一方面，提供一种监测物体的方法，该方法包括：
a)接收由以下方法记录的第一和第二图像数据：
i)将辐射图案投射在物体上，以进行监测；
ii)在第一瞬时记录代表物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；并且
iii)在第二瞬时记录代表物体上的所述投射的辐射强度图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形，并且
b)处理所述第一和第二图像数据，以产生代表所述物体在第一和第二瞬时之间的外形变化的差分数据。
因此，可与本发明的步骤d)分开地执行本发明的方法的步骤a)至c)，例如，经由计算机网络执行步骤a)至c)。
根据本发明的另一方面，提供一种被布置为执行根据本发明的方法的计算机软件。
根据本发明的又一方面，提供一种存储本发明的计算机软件的数据载体。
根据本发明的另一方面，提供一种用于监测物体的设备，该设备包括：
投射***，被布置为将辐射图案投射在物体上以进行监测；
记录***，被布置为分别在第一和第二瞬时记录代表物体上的所述投射的图案的至少一部分的第一和第二图像数据，所述第一和第二图像数据分别代表所述物体在所述第一和第二瞬时的三维外形；以及
处理***，被布置为处理所述第一和第二图像数据，以产生代表所述物体在第一和第二瞬时之间的外形变化的差分数据。
优选地，将记录***布置为在一个瞬时记录所投射的辐射图案的至少一部分的多个图像，以记录代表物体的三维外形的图像数据，多个图像中的每个是在所述物体的不同视点记录的。
在一个优选实施方式中，该设备包括图案产生器，图案产生器被布置为产生由投射***投射的所述辐射图案。
可将图案产生器布置为，产生至少一个用于投射在用于监测的物体和/或校准物体上的校准图案。
可将投射***布置为，投射非电离电磁辐射的辐射图案。
可将投射***布置为将辐射图案投射为可见光辐射，并将记录装置布置为检测可见光辐射。
替代地，可将投射***布置为将辐射图案投射为红外辐射，并可将记录***布置为检测红外辐射。
此外，该图案可以是空间变化的强度图案，其可包括空间分布的交叉点、拐角或圆形斑点的组合。
从本发明的优选实施方式的参考附图的以下描述中(仅以示例方式给出)，本发明的其它特征和优点将变得显而易见。
附图说明
图1示出了流程图，其给出了对于本发明的方法的概括；
图2示出了根据本发明的一个实施方式的监测设备的框图；
图3a和图3b分别示出了根据本发明的第一实施方式的监测设备的侧视图和端视图；
图4示出了根据本发明的第二实施方式的监测设备的侧视图；
图5a和图5b示出了根据本发明的第三实施方式的监测设备，其被包含作为婴儿保育箱(incubator)的一部分；
图6示出了根据本发明的第四实施方式的具有多个投射***的监测设备；
图7示出了投射在已知物体上的校准辐射图案；
图8a和图8b示出了投射在物体上的不同的辐射图案；
图9示出了投射在婴儿模型上的辐射图案；
图10示出了根据本发明的方法产生的图9所示的婴儿模型的插值三维图。
具体实施方式
本发明涉及一种监测物体的方法和用于执行该方法的设备。此外，本发明涉及被布置为执行本发明的方法的计算机软件，并涉及存储这种软件的数据载体。在下文中公开的示例性实施方式中，参考的方法是：通过监测人的胸腔体积的变化来监测表示人的肺功能的外形。这种方法是无接触的、无创的方法，其可安全地监测胸腔和腹部动态的体积变化，并精确地得出气流和肺功能数据，以辅助医疗诊断和患者护理。人的肺功能包括，但不限于，胸腔体积、呼吸速度、呼吸容量、吸气和呼气时间、强制肺活量测量、胸腔壁运动的局部变化以及局部肺功能。如下面说明的，构思本发明的其它应用。
参考图1(其示出了给出了本发明方法的概述的流程图)，将辐射图案投射在将在步骤S1中监测的物体上。
在步骤S2中，在第一瞬时记录第一图像数据。第一图像数据代表投射在物体上的辐射图案的至少一部分，并包含代表物体在第一瞬时的三维外形的数据。
在步骤S3中，在与第一瞬时不同的第二瞬时记录第二图像数据。第二图像数据代表投射在物体上的辐射图案的至少一部分，并包含代表物体在第二瞬时的三维外形的数据。
在步骤S4中，处理第一和第二图像数据，以产生代表物体在第一和第二瞬时之间的外形变化的差分数据。如果物体外形在第一和第二瞬时之间不改变，那么外形的变化可能是零变化。
以此方式监测物体的外形所具有的优点是，可用来在不需要与物体进行物理接触的情况下便可提供精确的计算机产生的在一段时间内的物体的表征。此外，本发明的方法允许用差分数据监测物体外形的变化，例如，差分数据可代表所监测的物体的表面形状、位置、体积和/或三维形状的变化。此外，本发明的方法可用来监测物体的一部分的外形的变化，而不是整个物体。
如将在下面进一步说明的，本发明的方法可以可选地包括：在多个其它瞬时记录代表物体上的所投射的辐射图案的至少一部分的其它图像数据，其它图像数据代表物体在多个其它瞬时中的每个瞬时的三维外形；处理所述其它图像数据，以产生代表物体在所述多个其它瞬时中的至少两个之间的外形变化的差分数据。
图2示出了根据本发明的一个实施方式的被布置为执行本发明方法的设备的框图。设备10包括扫描***12、数据处理和人机接口(MMI)***14、显示***16、图像数据存储***18、生物物理建模数据20和统计数据库22。
扫描***12包括记录***24，例如，包括至少两个摄像机、至少一个投射***26(例如，视频投影仪)、用于控制记录***24并从每个记录***24捕获图像的视频捕获硬件28、用于将处理平台(例如，个人计算机(PC))与投射***26连接的接口***30，以及用于对投射***26产生至少一个图案的图案产生器32。
在本发明的一个实施方式中，监测***10可包括两个200Hz，640×480分辨率的照相机24以及视频投影仪26，均安装在可调节安装索具上，以限定照相机24和视频投影仪26的相对定位。可用包含用于照相机24的视频捕获卡和图案卡的标准个人计算机(PC)平台来控制照相机24和视频投影仪26，以驱动视频投影仪26。在其它实施方式中，照相机本身可至少部分地处理所记录的图像数据，以经由数字总线连接(例如，通用串行总线(USB)、防火墙TM或因特网连接)，传送至另一处理器，例如标准的PC。
本发明的设备的有利之处在于，投射和记录***相对于彼此以及相对于所监测的物体的精确的几何定位和分离是灵活的；即，不需要精确的定位。如后面描述的，投射和记录***的校准允许考虑投射和记录***的物理定位，以产生精确的数据。
由于可将记录***的每个照相机布置在物体的不同视点处，并且使其可在某一瞬时记录所投射的图案的图像，所以由不同照相机在该瞬时记录的图像的组合允许监测更大比例的物体。这样，可将照相机布置为，例如，通过将一个照相机定位成捕获另一照相机由于例如盲点的原因而无法精确地捕获的物体的部分，提供了物体的更大的覆盖面积。因此，对每个瞬时记录的图像数据代表物体的更大的部分，并由此允许对物体产生不同瞬时之间的更精确数据。
数据处理和MMI(人机接口)***14包括四个主要元件：三维处理***36、医疗数据提取***38、显示处理和***控制***40，以及校准处理***42。
显示处理和***控制***40执行处理，以允许由监测设备10的用户控制，并可经由显示***16来显示结果。与图像和数据存储处理***18一起，执行显示处理和控制，通过所述***18，可经由存储装置44，存储并查询(retrieve)来自记录***24的记录图像的数据、来自三维处理的图像数据、所产生的医疗数据，以及其它中间计算结果。存储装置44可以是计算机磁盘或固态存储装置。
在执行本发明的方法中，投射***26在物体上投射(在这里也叫做扫描)一个或多个辐射图案，以用于监测，并且，图案出现在物体上时，记录***24的每个照相机同时在不同的视点捕获代表至少一个所投射的辐射图案的至少一部分的图像。这样，可在一个瞬时记录所投射的图案的相同和/或不同的部分的多个图像。然后，对来自记录***24的每个照相机的所捕获的图像进行处理并记录成这样的图像数据，其代表物体的一部分(相应的图案部分在该瞬时投射于其上)的三维外形；例如，用于在第一瞬时记录第一图像数据。可通过记录并处理物体在特定瞬时的多个图像，以相似的方式记录在第二瞬时所记录的图像数据，以及在其它瞬时记录的图像数据，例如连续的第三和第四瞬时。记录***24的每个照相机在某一瞬时同时捕获图像，确保了在进一步数据处理的过程中可将不同图像的图像数据之间的数据点精确地相互关联。可用已知的图像处理技术处理所捕获的图像，例如，以减小噪音。
所述至少一个辐射图案可包括空间变化的强度图案，其包括不同的且容易定位的要素的组合，例如，空间分布的交叉点、拐角或圆形斑点的组合。例如，至少一个投射于物体上的辐射图案可包括线和点的棋盘格状的组合。该图案可包括未照亮的图案斑点，该未照亮的图案斑点间隔在图案的照亮的斑点之间。当投射于物体上时，图案要素表现出扭曲，并且，此扭曲允许从所捕获的图像数据得出在其上投射图案要素的物体的一部分的三维外形数据(例如，第一或第二图像数据)；通常，将此扫描物体的方法叫做结构化光技术。辐射图案可以是简单重复的图案和/或可以用诸如斑点、明/暗边缘的特征的复杂重复图案来选择，例如，以避免由照相机记录的图案的图像中的模糊性，并捕获物体的更高分辨率的图像。当落在物体上的图案的一部分扭曲以表现出似乎物体不在那儿似的，则出现模糊性。这种模糊性使得难以精确地确定物体的外形。在其它实施方式中，可将一系列不同的辐射图案投射在物体上，该不同的图案中的每个是在不同的瞬时连续地投射的。投射***26可将某些所选波长的辐射图案(例如，可见光辐射或不可见红外辐射)投射在物体上，但是能够想象辐射图案可具有非电离和电磁辐射的光谱的其它波长。因此，记录***24适于捕获适当波长的所投射的辐射。投射***26需要正常的(normal)不连贯的光源，而不是连贯的激光照明；这使得，与基于激光的投射方法相比，能够进行对象/物体(例如儿童)的医疗上安全的扫描。
三维处理***36处理由记录***24捕获的图像，并提取代表与物体表面上的等价点相应的物体的三维外形的图像数据。此处理可包括：将所捕获的图像内的可用对比度和动态范围增至最大的图像分析、图像降噪、所投射的辐射图案的特定特征的定位、解决由于由物体表面产生的图案扭曲而出现在特定图案特征的期望位置中的模糊性的解决方案、数据误差的抑制，和/或轮廓的识别，以当随着时间监测物体时帮助跟踪物体的整体运动。然后，对图像数据进行插值，以产生所监测的物体的连续表面图。
在本发明的实施方式中，将记录***24布置为，在第一和第二瞬时均记录图案的相同部分。这样，假设物体保持固定，则可在第一和第二瞬时两者监测到物体的相同部分的外形的变化。在其它实施方式中，可将记录***24布置为，在第一和第二瞬时记录所投射的图案的不同部分。例如，这可允许对所监测的物体的相同部分记录图像数据，不管物体部分的整体运动如何，因此，落在物体部分上图案的不同部分被观察到。
跟踪算法可用于图像数据处理，以跟踪所监测的物体的更大的(总体的)运动，以通过帮助将用于监测物体的所扫描表面的期望运动与物体的整体(总体)运动区分开，来改进图像数据的计算精度。该算法还可检测到物体何时不在记录***24的可视区域内，并且，如果物体快速地移动，例如，当物体是人时，则可这样设置算法，使得可将人的咳嗽认为是整体运动。
另外，可用跟踪算法来确定何时出现物体的整体运动，并用来将其告知最终用户，当出现整体运动时则忽略出现在那些瞬时的图像数据，或确定物体的新位置，例如，如果物体通过旋转或平移具有几何移动的位置。
可用代表物体的三维外形的图像数据，通过处理由物体的三维处理***36产生的连续的(连贯的)图像数据，来获得表示与所扫描的物体区域相应的体积的数据。可在分别在第一和第二瞬时获得的第一和第二图像数据之间产生差分数据，其代表所扫描的物体在两个瞬时之间的外形变化。可通过将第一图像数据与第二图像数据进行比较来产生差分数据，以识别物体在第一瞬时的三维外形与物体在第二瞬时的三维外形之间的差异。差分数据表示这些所识别的差异，并由此代表物体在第一和第二瞬时之间的外形变化。这两个瞬时可以是两个连续记录的时间点；替代地，这两个瞬时可以是在一段时间周期中记录的两个瞬时，其可与记录图像数据的其它瞬时隔开。因此，可动态地跟踪物体的至少一部分在任何两个瞬时之间以及在包含多个瞬时的一段时间周期内的任何外形变化。在物体是人的实施方式中，外形的变化可代表物体的至少一部分的体积的变化，例如，胸腔和/或腹腔的体积的变化。
在将在医疗环境中使用设备的实施方式中，例如，如图3、图4和图5所示的，参考后者，医疗数据提取***38执行算法比较，以从差分数据得出由设备监测的身体部分的体积变化。
为了帮助确定物体的至少一部分的外形变化(例如，体积)，通过近似估计任何记录***24看不见的和/或未用所投射的辐射图案照亮的物体部分的部分外形，计算物体的所扫描的部分的体积的近似值。例如，如果将图案投射在所监测的人的胸腔的前侧上，则图案不会落在人的胸腔的后侧上，并且，无法通过记录后侧的图像数据来确定胸腔的后侧的外形。然而，可近似估计人的胸腔的后侧的外形，以至少确定胸腔的后侧的粗略的(更优选地，精确的)外形。可用所记录的图像数据(例如，第一和第二图像数据)来处理没有投射有图案的物体部分的此大约确定的外形，以对人的胸腔的外形随着时间的变化产生更精确的差分数据。对于平面，可用插值算法来确定此近似估计。替代地，可用更复杂的算法来对未投射有图案的部分的外形进行插值，例如，用更代表所关注物体部分的形状，在此情况中，是人的胸腔。这种代表性形状可以是圆柱体或球体的一部分，和/或如后面所描述的可使用人的类型的生物物理数据，或实际上所监测的特定人的数据，以使近似估计更精确。与从对所扫描的物体部分捕获的图像数据得出的所记录的图像数据一起使用此近似外形，可更精确地确定外形(例如，所监测的物体部分的体积)的变化，提供更可靠的代表物体的三维外形的图像数据，以及差分数据。尤其是在需要高等级的数据精度的方法的应用中，这很重要，例如在医疗领域中，当可用所产生的数据来诊断医疗条件和适当的治疗时。此外，对于病弱的对象(例如，无法轻易移动的生病的患者)，此近似估计允许患者保持静止，并例如躺在床上，同时仍能够确定物体的三维外形的精确的图像数据以及差分数据。
因此，用由记录***24捕获的数据的处理，来产生对象的身体运动、体积、表面积和其它相似物理参数的动态三维模型。然后，可通过比较同时出现的数据图像以产生代表体积变化的差分数据，计算呼吸和呼吸速度。
然后，可经由显示***以数字和/或图形形式对最终用户显示信息，和/或可经由被提供作为处理平台(例如，个人计算机)的一部分的数据网络接口而被传递至其它***，以进行远程显示或附加分析。可将输出信息分类并将其用作决策支持过程或与临床管理和护理方案连接的专家***的一部分。由于重建可提供物体的完整的三维图，所以在一些实施方式中，使用未用辐射图案照亮的物体部分的近似，可从任何新的视点公开地观察物体表面。
可从物体体积中的动态体积变化来计算与肺功能相关的呼吸气流。可通过与统计数据库22中的数据进行比较，来扩充此过程，统计数据库22包含来自设备的之前参考(试验)操作的数据和/或来自设备的对于许多不同人的之前测量操作的数据。在本发明的实施方式中，根据所选择的年龄、性别、重量和身体类型的范围，统计数据库数据对所选择的人组，提供标准化的统计平均的参数。与统计标准相比，用统计数据库数据进行比较可帮助所计算的动态体积变化的解释的增强。还可用统计数据库数据对生物物理模型数据20提供比例和参考参数的改进。
可用生物物理建模数据20来改进体积计算的精度，例如，生物物理建模数据20用映射和“最佳适配”算法处理，将所记录的图像数据与物体的体积模型整合。体积的或生物物理模型数据20包括所扫描的物体或对象的解剖结构的“基于物理的”近似，并对物体区域的物理特性建模，例如，胸腔/腹部的物理和弹性特性，以及由于关节和骨骼结构而产生的运动限制。考虑根据平均值(按照对象类型、年龄、性别、体重和/或其它外形)而调节并校准的物理建模参数，生物物理模型数据20以用于物体的类属模型为基础。生物物理模型数据可包括来自之前参考(试验)操作的所存储的数据。
图3a和图3b示出了根据本发明的一个实施方式的监测设备的示例性部分。设备10包括第一和第二照相机，其作为记录***24的部分，可以是，例如，Allied Vision Technology Pike F032B照相机，并作为投射***26的部分，其可以是例如附接至安装框架50的Acer P1625投影仪。每个记录***24相对于安装框架50安装的角度可从大约10度变化至大约40度，并取决于从记录***24到物体52的距离。在此实施方式中，可以看到，投射***26将辐射图案投射在靠在表面54上的对象52的胸腹区域上。例如，投射速率可以是大约50或60Hz，或180Hz或360Hz。来自记录***24的记录速率与投射速率一致，例如，如果投射速率是180Hz，那么，对于第一和第二记录***中的每个，记录速率也将是每秒180张图像。在50至360Hz的范围内可以想象第一、第二和其它图像数据的其它投射和记录速率，但不限于此；因此，投射和记录速率可以比50或360Hz的速率慢或快。可对于记录***24的第一和第二照相机进行定向，使得一个记录***的可视区域与另一个记录***的可视区域完全或至少部分地重叠。可将设备10布置为，用于例如成人、儿童、早产儿、不合作的对象或任何形式的接触方法都不切实际时的(例如，早产儿、烧伤患者、重症护理患者)的监测和诊断。可这样布置设备10，使得可在如图4所示的直立位置中监测对象。
现在参考图5a，示出了根据本发明的包含婴儿保育箱的监测设备10的部分的实施方式。监测装置10包括投射***26，将其布置为在反射光学装置64(例如，将从投射***发出的辐射反射在位于保育箱60中的婴儿62上的镜子)以及记录***24的两个照相机上投射辐射。将监测设备10安装在密封壳体66中，并将其安装至保育箱60的内部表面，如图5a所示。将理解，可将监测设备10布置为位于保育箱60的外表面上，如图5b所示。
图6示出了根据另一实施方式的用于执行本发明的方法的监测设备的设置。可将多个辐射图案同时投射在物体上，使得达到所监测的物体的更大的覆盖面积。因此，如图6所示，将不止一个辐射图案投射在物体上，用三个投影仪，投射在物体的两个相对侧上并投射在两个相对侧之间的表面上。布置于三个投影仪之间的两个照相机均同时记录在每个不同瞬时的投射图案的图像数据，以进行处理，从而得到差分数据。
在使用中，可将图3、图4、图5和图6的设备设置具有特定构造，以用于待监测的环境和/或物体。可校准该设备，以用可接受的精度等级执行本发明的方法。本发明的方法包括校准该设备以执行本发明。校准包括将校准辐射图案投射在校准物体上；并记录代表所投射的校准辐射图案的至少一部分的校准图像数据，校准图像数据代表校准物体的三维外形。可用校准图像数据处理在步骤d)中的第一和第二图像数据，以在校准的基础上产生差分数据。根据这种校准，在本发明的实施方式中，可执行两种类型的校准：投影仪和记录***校准，以及单元校准。
在之前描述的监测物体外形变化的过程中，可自动地且连续地执行投影仪和记录***校准。这可通过以下方式来实现：将一个或多个校准图案投射在所监测的物体上，作为将辐射图案投射在物体上以进行监测的一部分。因此，可将所监测的物体认为是校准物体。可将校准图案投射在校准物体上，并且，在与第一和第二瞬时不同的一个或多个瞬时记录校准图像数据。例如，可在马上要到第一瞬时时以及马上要到第二瞬时时，投射校准图案，使得校准数据表示第一和第二瞬时时的投影仪和记录***的特性，而在记录图像数据以监测物体的同时不执行校准。这样，校准图案和用于物体监测的图像可随着时间而彼此交叉。然后，可用所记录的校准图像数据来处理所记录的第一和/或第二图像数据，该校准图像数据代表投影仪***和记录***的部分的三维空间中的特性，例如，照相机的特性，例如，其相对位置和光学焦点。这提高了第一和/或第二图像数据的精度。
通过适当地选择校准图案和用于物体监测的图案的图像数据的投射和记录的定时，可快速地执行投影仪和记录***的校准，使得其可与物体监测几乎同时地进行。因此，在物体监测的过程中，可重复地确定投影仪***和记录***的部分的特性，例如，投影仪和照相机的光学特性和/或相对定位，不需要暂停物体监测。这样，可通过投影仪和记录***校准处理，来确定这种特性随着时间的小变化，例如，由于投影仪和/或记录***的焦距、放大因子和/或角度定位的偏离而引起的小变化，并由此用其校正从监测物体产生的图像数据。所监测的物体的运动不会影响投影仪和记录***的校准。可用例如如上所述的跟踪算法来处理物体运动。
优选地，在参考图1描述的根据本发明的方法开始监测物体之前，进行单元校准。单元校准用来精确地确定何时监测物体的绝对测量值，并包括确定至少一个绝对距离，使得在校准过程中，可从校准图像数据和/或在校准过程中从其产生的任何差分数据中(例如，不同瞬时的校准图像数据之间)，精确地确定投影仪***、记录***的部分以及将放置所监测的物体的位置(例如，在物体是人的实例中，是床)之间的所有距离。一旦设置该设备以用于监测过程，则通过以下方式执行单元校准：将投射***所产生的校准辐射图案投射在已知尺寸的校准物体上，并用记录***记录校准物体的图像数据。由于校准物体的尺寸是已知的，所以校准***42可确定记录和投射***的绝对位置。因此，校准***42可对空间单元确定单位尺度，可将在本发明方法的监测过程中记录的图像数据与其进行比较，使得可精确地确定所监测的物体的绝对尺寸。例如，可通过将从物体的图像数据得出的物体尺寸与单位尺度进行比较，来精确地测量所监测的物体的至少一部分的高度和/或宽度(单位是厘米)。从中，可计算例如所监测的物体的一部分的体积测量值(单位是升)。通过能够在监测过程中精确地测量物体，可以高等级的精度产生差分数据。
校准物体可具有三个已知的相对位置点以及可在记录***的可视区域中看得见的距离。作为一个实例，校准物体可以是在监测开始之前患者身上的“棍棒(wand)”波状的形式，或是患者躺在其上的桌子、椅子或床(其用来支撑患者的背部)的精确尺寸的已知的印刷或投射图案的形式。当然，在其它实施方式中，校准物体可以是其它已知尺寸的物体。
假设不改变监测设备的物理设置和定位，可仅进行一次单元校准。如果改变物理设置，则将需要再次进行单元校准。
对于投影仪和记录***校准以及单元校准中的任一个或两者，校准图案可以和之前描述的用于监测方法的辐射图案是相似的或相同的。图7示出了投射在盐水袋上的示例性校准图案。此外，在其它实施方式中，校准图案可包括连续投射在校准物体上的一系列不同的校准图案，并对每个不同的图案记录校准图像数据。例如，该系列图案可包括快速连续地投射在物体上的许多不同的图案，典型地，例如大约16个。可将图案的形状布置为，在图案内提供连续更小的倾度特征。所投射的辐射图案可以是，但不限于，在水平和垂直(X和Y)两个方向上重复的(棋盘格状的)简单图案的一般形式。此外，在其它实施方式中，对于投影仪和记录***校准，在监测方法的过程中，可将校准图案与投射在物体上的图案插值。在其它实施方式中，可从第一和/或第二图像数据中得出投影仪和记录***校准图像数据。用于物体监测的所投射的图案可包括在这种校准中使用的图案特性。
如图8和图9所示，然后，在单元校准之后，可将一个或多个已知结构的图案(包括但不限于规则的结构，例如线或点)投射在物体上，以开始监测物体。这些图案可能是精细的或粗糙的，或是二者的组合，取决于对***尺寸、精度和可视区域的需求。
然后，记录***24捕获物体的区域的图像，如之前说明的，以及结构化的辐射图案(当其出现在物体上时)，捕获代表物体外形的信息，例如，表面形状、运动和三维外形形状。
将以上实施方式理解为本发明的说明性实例。设计本发明的其它实施方式。
设计该方法的其它实施方式，其包括：记录代表在多个其它瞬时投射在物体上的辐射图案的至少一部分的其它图像数据，例如，连续的第三和第四瞬时。其它图像数据可包括在第一和第二瞬时之后的多个瞬时连续记录的多个图像数据，其代表物体在相应其它瞬时的三维外形。处理其它图像数据，以产生代表物体在多个其它瞬时中的至少两个之间的外形变化的差分数据。其它图像数据的特性可与上述第一和第二图像数据的特性相似。因此，可以与之前描述的第一和/或第二图像数据的任何记录、处理和/或使用相似的方式来记录、处理和/或使用其它图像数据。这样，本发明的方法可监测物体在横跨第一、第二和其它瞬时的时间周期上的外形变化，例如体积。因此，可连续地监测物体的外形变化。
在其它示例性实施方式中，除了需要监测物体的三维外形的其它情况以外，上述监测设备可用于动物监测和兽医护理、用于身体研究的数据获取、生物建模以及人物动画。
此外，本发明的方法可在例如，医院、医疗中心或当地实践环境中的，或移动环境(例如，空降医护的/能走动的、野战医院(民用，军用)或灾难恢复中心)中监测呼吸和其它生命体征。
投射***可包括照亮一组产生在物理介质(例如，薄膜或玻璃)上的光学图案的光源(例如，准直LED源)，并经由机械***排列，例如，图案安设于其上旋转轮且该旋转轮定位在光源前方。
可通过使用不止两个记录***和不止一个投射***来增加可视角度区域，使得可捕获物体/对象的更大的表面积，并确保将捕获的区域具有n个所使用的照相机中的至少两个。图6示出了增强对象/物体的扫描覆盖面积的一个构造。
如上所述，可用在物体上的投射图案的一个瞬时捕获的多个图像，得出物体的至少一部分的三维图，例如，用两个照相机。通过在一个瞬时获得多个图像，可获得具有更大的物体覆盖面积和/或具有某一物体部分的减少的闭塞问题的图像数据。在本发明的其它有利实施方式中，记录***可仅包括一个照相机，其记录在第一和第二以及可能的其它瞬时投射在物体上的图案的至少一部分的一个图像。可通过在每个相应图像中解释所记录的图案，得出针对每个瞬时的物体的至少一部分的三维图。因此，在这种实施方式中，多个照相机并不是必须的。
该设备可包括记录***和投射***，并且可将由记录***捕获的图像数据以适当形式提供，以进行处理，从而产生代表三维外形的图像数据和差分数据。可在离记录和投射***较远的地方进行图像数据的这种处理，这样，处理***可位于另一房间中，或可位于另一国家，其经由计算机网络与记录和投射***连接，并被布置为从被布置为对处理***提供图像数据的记录和投射***接收图像数据。
将理解，相对于任何一个实施方式描述的任何特征可单独地使用，或与所述其它特征组合使用，并且，还可与任何其它实施方式的一个或多个特征组合使用，或与任何其它实施方式的任何组合一起使用。此外，在不背离在所附权利要求中限定的发明范围的前提下，还可使用以上未描述的等同物和改进。

Claims (38)

1.一种监测物体的方法，所述方法包括：
a)将辐射图案投射到物体上，以进行监测；
b)在第一瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；
c)在第二瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形；以及
d)处理所述第一图像数据和第二图像数据，以产生代表所述物体在所述第一瞬时与第二瞬时之间的外形变化的差分数据。
2.根据权利要求1所述的方法，其中，所述方法包括处理所述第一图像数据和第二图像数据，以产生代表所述物体在所述第一瞬时与第二瞬时之间的体积变化的差分数据。
3.根据权利要求1或2所述的方法，其中，步骤b)和c)中的部分基本上是所述图案的相同部分。
4.根据权利要求1或2所述的方法，其中，步骤b)和c)中的部分是所述图案的不同部分。
5.根据权利要求4所述的方法，其中，所述方法包括处理所述第一图像数据和第二图像数据，以识别所述物体在所述第一瞬时与第二瞬时之间的整体运动。
6.根据前述权利要求中任一项所述的方法，其中，所述辐射图案是空间变化的强度图案。
7.根据权利要求6所述的方法，其中，所述辐射图案包括空间分布的交叉点、拐角和/或圆形斑点的组合。
8.根据前述权利要求中任一项所述的方法，其中，所述辐射图案是非电离电磁辐射图案。
9.根据权利要求8所述的方法，其中，所述图案是可见光辐射图案。
10.根据权利要求1至8中任一项所述的方法，其中，所述图案是红外辐射图案。
11.根据前述权利要求中任一项所述的方法，其中，在步骤a)中，将一系列不同的辐射图案投射到所述物体上，所述不同的图案中的每个是在不同的瞬时连续投射的。
12.根据前述权利要求中任一项所述的方法，包括：
在多个其它瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的其它图像数据，所述其它图像数据代表所述物体在所述多个其它瞬时中的每个瞬时的三维外形；
处理所述其它图像数据，以产生代表所述物体在所述多个其它瞬时中的至少两个瞬时之间的外形变化的差分数据。
13.根据权利要求12所述的方法，其中，以每秒50或60个瞬时的速率记录所述其它图像数据。
14.根据前述权利要求中任一项所述的方法，其中，所述方法包括对所述物体的其上未投射有所述辐射图案的一部分的外形进行近似估计。
15.根据权利要求14所述的方法，其中，所述方法包括利用所述第一图像数据和/或第二图像数据来进行所述近似估计。
16.根据权利要求14或15所述的方法，其中，所述方法包括利用所述物体的所述一部分的所述近似估计的外形来产生所述差分数据。
17.根据前述权利要求中任一项所述的方法，其中，所述物体是人。
18.根据权利要求17所述的方法，其中，所述方法包括利用表示所述人的特征的生物物理模型数据来处理所述第一图像数据和第二图像数据。
19.根据权利要求18所述的方法，其中，所述生物物理模型数据包括代表所述人的尺寸、年龄、性别和/或身体类型的参数。
20.根据权利要求17、18或19所述的方法，其中，所述外形变化指示所述人的肺功能。
21.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括被设置为执行至少步骤a)和b)的设备的校准，所述校准包括：
将校准辐射图案投射到校准物体上；以及
记录代表所述投射的校准辐射图案的至少一部分的校准图像数据，所述校准图像数据代表所述校准物体的三维外形，以及
用所述校准图像数据处理步骤d)中的所述第一图像数据和第二图像数据，以产生所述差分数据。
22.根据权利要求21所述的方法，包括：将一系列不同的校准辐射图案投射到所述校准物体上，并对每个所述不同的校准辐射图案记录所述校准图像数据。
23.根据权利要求21或22所述的方法，包括：在执行步骤a)至d)之前，执行所述校准，以确定单位尺度，所述单位尺度用于从所述第一图像数据和/或第二图像数据确定所述物体的尺寸。
24.根据权利要求21、22或23中任一项所述的方法，其中，步骤a)中的投射进一步包括：将所述校准图案或所述校准图案中的至少一个投射到所述物体上以进行监测，并且，在步骤b)和/或c)中记录的第一图像数据和/或第二图像数据包括代表用于执行所述方法的设备的投射***和记录***的特性的校准图像数据。
25.根据权利要求24所述的方法，其中，所述投射的辐射图案和所述投射的校准图案或所述校准图案中的至少一个彼此***。
26.一种监测物体的方法，所述方法包括：
a)将辐射图案投射到物体上，以进行监测；
b)在第一瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；
c)在第二瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形；以及
d)向处理***提供所述第一图像数据和第二图像数据，以产生代表所述物体在所述第一瞬时与第二瞬时之间的外形变化的差分数据。
27.一种监测物体的方法，所述方法包括：
a)接收由以下方法记录的第一图像数据和第二图像数据：
i)将辐射图案投射到物体上，以进行监测；
ii)在第一瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第一图像数据，所述第一图像数据代表所述物体在所述第一瞬时的三维外形；以及
iii)在第二瞬时记录代表所述物体上的所述投射的辐射图案的至少一部分的第二图像数据，所述第二图像数据代表所述物体在所述第二瞬时的三维外形，以及
b)处理所述第一图像数据和第二图像数据，以产生代表所述物体在所述第一瞬时与第二瞬时之间的外形变化的差分数据。
28.一种计算机软件，被设置为执行根据权利要求1至27中任一项所述的方法。
29.一种数据载体，存储根据权利要求28所述的软件。
30.一种用于监测物体的设备，所述设备包括：
投射***，被布置为将辐射图案投射到物体上以进行监测；
记录***，被布置为在第一瞬时和第二瞬时分别记录代表所述物体上的所述投射的辐射图案的至少一部分的第一图像数据和第二图像数据，所述第一图像数据和第二图像数据分别代表所述物体在所述第一瞬时和第二瞬时的三维外形；以及
处理***，被布置为处理所述第一图像数据和第二图像数据，以产生代表所述物体在所述第一瞬时与第二瞬时之间的外形变化的差分数据。
31.根据权利要求30所述的设备，其中，所述记录***被布置为在一个瞬时记录所述投射的辐射图案的至少一部分的多个图像，以记录代表所述物体的三维外形的图像数据，所述多个图像中的每个是在所述物体的不同视点记录的。
32.根据权利要求30或31中任一项所述的设备，包括被布置为产生由所述投射***投射的所述辐射图案的图案产生器。
33.根据权利要求32所述的设备，其中，所述图案产生器布置为产生至少一个校准图案，所述至少一个校准图案用于投射到所述物体上以用于进行监测，和/或用于投射到校准物体上。
34.根据权利要求30至33中任一项所述的设备，其中，所述辐射图案是非电离电磁辐射图案。
35.根据权利要求34所述的设备，其中，所述投射***布置为将所述辐射图案投射为可见光辐射，并且所述记录装置布置为检测可见光辐射。
36.根据权利要求34所述的设备，其中，所述投射***布置为将所述辐射图案投射为红外辐射，并且所述记录***布置为检测红外辐射。
37.根据权利要求30至36中任一项所述的方法，其中，所述辐射图案是空间变化的强度图案。
38.根据权利要求37所述的方法，其中，所述辐射图案包括空间分布的交叉点、拐角和/或圆形斑点的组合。
CN200980155431.2A 2008-12-11 2009-12-10 用于监测物体的方法和设备 Active CN102301202B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0822605.2A GB0822605D0 (en) 2008-12-11 2008-12-11 Method and apparatus for monitoring an object
GB0822605.2 2008-12-11
PCT/EP2009/066790 WO2010066824A2 (en) 2008-12-11 2009-12-10 Method and apparatus for monitoring an object

Publications (2)

Publication Number Publication Date
CN102301202A true CN102301202A (zh) 2011-12-28
CN102301202B CN102301202B (zh) 2017-04-26

Family

ID=40325936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980155431.2A Active CN102301202B (zh) 2008-12-11 2009-12-10 用于监测物体的方法和设备

Country Status (10)

Country Link
US (2) US9204824B2 (zh)
EP (1) EP2384420B1 (zh)
JP (1) JP2012511707A (zh)
KR (1) KR20110105789A (zh)
CN (1) CN102301202B (zh)
AU (1) AU2009324342A1 (zh)
CA (1) CA2746483A1 (zh)
DK (1) DK2384420T3 (zh)
GB (1) GB0822605D0 (zh)
WO (1) WO2010066824A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278141A (zh) * 2013-03-06 2013-09-04 北京工业大学 婴幼儿睡眠监控***及方法
CN103750817A (zh) * 2012-10-20 2014-04-30 因美吉智能科技（济南）有限公司 非接触式儿科测量方法和测量设备
CN104006751A (zh) * 2013-02-25 2014-08-27 西门子公司 用于借助于2d照片通过3d表面检测***进行物体标记的方法和***
CN104902816A (zh) * 2012-11-27 2015-09-09 纽玛凯尔有限公司 呼吸数据的分析
CN105050502A (zh) * 2013-03-15 2015-11-11 皇家飞利浦有限公司 用于根据图像数据确定呼吸体积信号的装置和方法
CN105190229A (zh) * 2013-04-19 2015-12-23 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
CN105744882A (zh) * 2013-11-13 2016-07-06 丹麦科技大学 在医学成像中进行表面扫描的方法和相关设备
CN106061382A (zh) * 2014-01-24 2016-10-26 查佩尔格莱德有限公司 一种用于测量身体特征的***、设备和方法
CN106605238A (zh) * 2015-08-10 2017-04-26 皇家飞利浦有限公司 占用监测
CN109211143A (zh) * 2018-09-21 2019-01-15 苏州佳世达光电有限公司 三维扫描***
CN112702944A (zh) * 2018-07-16 2021-04-23 爱惜康有限责任公司 外科可视化平台

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9595115B1 (en) * 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
RU2618172C2 (ru) 2011-10-20 2017-05-02 Конинклейке Филипс Н.В. Устройство и способ отслеживания перемещения и ориентации устройства
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
WO2013174980A1 (en) 2012-05-25 2013-11-28 Danmarks Tekniske Universitet Apparatus and method for motion tracking in brain imaging
US9301710B2 (en) * 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
CN104428816B (zh) * 2012-07-10 2017-06-23 皇家飞利浦有限公司 在介入放射摄影中的栓塞体积重建
WO2014059681A1 (zh) * 2012-10-20 2014-04-24 因美吉智能科技（济南）有限公司 非接触式儿科测量方法和测量设备
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
GB2547357B (en) * 2013-11-27 2017-10-25 Pneumacare Ltd Analysis of breathing data
JP6449312B2 (ja) * 2014-02-05 2019-01-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光線治療処理の間のバイタルサインのカメラベースのモニタリング
WO2015145504A1 (ja) * 2014-03-25 2015-10-01 株式会社ソシオネクスト 画像復号装置、画像復号方法、及び集積回路
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
DE102014110536A1 (de) * 2014-07-25 2016-01-28 E. Zoller GmbH & Co. KG Einstell- und Messgeräte Lichtprojektor
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
WO2016106196A1 (en) * 2014-12-22 2016-06-30 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
JP6002811B1 (ja) * 2015-05-20 2016-10-05 シャープ株式会社 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的***、装置和方法
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
US10403037B1 (en) * 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images
USD854074S1 (en) 2016-05-10 2019-07-16 Udisense Inc. Wall-assisted floor-mount for a monitoring camera
US10925496B2 (en) 2016-07-16 2021-02-23 Alexander Misharin Methods and systems for obtaining physiologic information
US11412943B2 (en) 2016-07-16 2022-08-16 Olesya Chornoguz Methods and systems for obtaining physiologic information
US11889979B2 (en) * 2016-12-30 2024-02-06 Barco Nv System and method for camera calibration
US10186049B1 (en) 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
USD855684S1 (en) 2017-08-06 2019-08-06 Udisense Inc. Wall mount for a monitoring camera
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
EP3713487A4 (en) * 2017-11-22 2021-07-21 UdiSense Inc. BREATHING MONITOR
CN111565638B (zh) 2018-01-08 2023-08-15 柯惠有限合伙公司 用于基于视频的非接触式潮气容积监测的***和方法
KR102048364B1 (ko) * 2018-04-13 2019-11-25 엘지전자 주식회사 로봇 청소기
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US12026832B2 (en) 2018-06-08 2024-07-02 Data Integrity Advisors, Llc System and method for gating radiation exposure
WO2020033613A1 (en) 2018-08-09 2020-02-13 Covidien Lp Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) * 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
USD900428S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band
USD900429S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band with decorative pattern
USD900431S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket with decorative pattern
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
USD900430S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket
JP2020181400A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
GB201914842D0 (en) * 2019-10-14 2019-11-27 Binatone Electronics Int Ltd Breathing detection apparatus and methods for detecting breathing
US11282291B1 (en) 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
US11989899B2 (en) 2021-02-09 2024-05-21 Everypoint, Inc. Determining object structure using physically mounted devices with only partial view of object
US11741618B2 (en) 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002075245A1 (en) * 2001-03-13 2002-09-26 Solutionix Co., Ltd. Apparatus and method for measuring three dimensional shape with multi-stripe patterns
EP1350466A1 (en) * 2000-12-07 2003-10-08 Keio University Monitor
EP1645841A1 (en) * 2003-06-09 2006-04-12 Sumitomo Osaka Cement Co., Ltd. Three-dimensional shape-measuring device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9107740D0 (en) 1991-04-11 1991-05-29 Atomic Energy Authority Uk Method of monitoring displacements
AT404638B (de) * 1993-01-28 1999-01-25 Oesterr Forsch Seibersdorf Verfahren und vorrichtung zur dreidimensionalen vermessung der oberfläche von gegenständen
JP3263035B2 (ja) 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
US6352517B1 (en) 1998-06-02 2002-03-05 Stephen Thomas Flock Optical monitor of anatomical movement and uses thereof
US6492634B2 (en) 2000-05-03 2002-12-10 Rocky Mountain Biosystems, Inc. Optical monitor for sudden infant death syndrome
JP3764949B2 (ja) * 2003-06-09 2006-04-12 住友大阪セメント株式会社 状態解析装置
GB0404269D0 (en) * 2004-02-26 2004-03-31 Leuven K U Res & Dev Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements of bodies
US7903849B2 (en) * 2005-04-15 2011-03-08 Kabushiki Kaisha Toshiba Medical image processing apparatus
US8504140B2 (en) * 2008-04-08 2013-08-06 Bruker Biospin Corporation Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
US8199970B2 (en) 2006-06-06 2012-06-12 Nec Corporation Moving amount calculation system and obstacle detection system
EP2231011A1 (en) * 2007-12-31 2010-09-29 Real Imaging Ltd. System and method for registration of imaging data
JP6818456B2 (ja) 2016-07-14 2021-01-20 株式会社竹中工務店 柱の接続構造

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1350466A1 (en) * 2000-12-07 2003-10-08 Keio University Monitor
WO2002075245A1 (en) * 2001-03-13 2002-09-26 Solutionix Co., Ltd. Apparatus and method for measuring three dimensional shape with multi-stripe patterns
EP1645841A1 (en) * 2003-06-09 2006-04-12 Sumitomo Osaka Cement Co., Ltd. Three-dimensional shape-measuring device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J.R.T.LEWIS,ET AL: "Measuring the human chest with structured lighting", 《PATTERN RECOGNITION LETTERS》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103750817A (zh) * 2012-10-20 2014-04-30 因美吉智能科技（济南）有限公司 非接触式儿科测量方法和测量设备
CN103750817B (zh) * 2012-10-20 2018-03-16 因美吉智能科技（济南）有限公司 非接触式儿科测量方法和测量设备
CN104902816A (zh) * 2012-11-27 2015-09-09 纽玛凯尔有限公司 呼吸数据的分析
CN104006751A (zh) * 2013-02-25 2014-08-27 西门子公司 用于借助于2d照片通过3d表面检测***进行物体标记的方法和***
CN103278141B (zh) * 2013-03-06 2016-05-18 北京工业大学 婴幼儿睡眠监控***及方法
CN103278141A (zh) * 2013-03-06 2013-09-04 北京工业大学 婴幼儿睡眠监控***及方法
CN105050502B (zh) * 2013-03-15 2018-05-29 皇家飞利浦有限公司 用于根据图像数据确定呼吸体积信号的装置和方法
CN105050502A (zh) * 2013-03-15 2015-11-11 皇家飞利浦有限公司 用于根据图像数据确定呼吸体积信号的装置和方法
CN105190229A (zh) * 2013-04-19 2015-12-23 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
CN105744882A (zh) * 2013-11-13 2016-07-06 丹麦科技大学 在医学成像中进行表面扫描的方法和相关设备
CN106061382A (zh) * 2014-01-24 2016-10-26 查佩尔格莱德有限公司 一种用于测量身体特征的***、设备和方法
CN106061382B (zh) * 2014-01-24 2020-02-18 查佩尔格莱德有限公司 一种用于测量身体特征的***、设备和方法
CN106605238A (zh) * 2015-08-10 2017-04-26 皇家飞利浦有限公司 占用监测
CN106605238B (zh) * 2015-08-10 2018-04-27 皇家飞利浦有限公司 占用监测
CN112702944A (zh) * 2018-07-16 2021-04-23 爱惜康有限责任公司 外科可视化平台
CN109211143A (zh) * 2018-09-21 2019-01-15 苏州佳世达光电有限公司 三维扫描***

Also Published As

Publication number Publication date
US9204825B2 (en) 2015-12-08
KR20110105789A (ko) 2011-09-27
US20130002832A1 (en) 2013-01-03
US9204824B2 (en) 2015-12-08
CA2746483A1 (en) 2010-06-17
US20140140592A1 (en) 2014-05-22
GB0822605D0 (en) 2009-01-21
EP2384420B1 (en) 2016-03-30
AU2009324342A1 (en) 2011-07-07
EP2384420A2 (en) 2011-11-09
DK2384420T3 (en) 2016-06-27
WO2010066824A3 (en) 2010-10-07
WO2010066824A2 (en) 2010-06-17
JP2012511707A (ja) 2012-05-24
CN102301202B (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN102301202A (zh) 用于监测物体的方法和设备
Clark et al. Three-dimensional cameras and skeleton pose tracking for physical function assessment: A review of uses, validity, current developments and Kinect alternatives
Pöhlmann et al. Evaluation of Kinect 3D sensor for healthcare imaging
US10506952B2 (en) Motion monitor
JP2019141620A (ja) 三次元物体上の注視点決定方法及び装置
EP1718206B1 (en) Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements
US10292619B2 (en) Patient breathing modeling
Rehouma et al. 3D imaging system for respiratory monitoring in pediatric intensive care environment
CN105392423A (zh) 生物医学成像中的实时适应性运动补偿的运动追踪***
US6789044B2 (en) Method and apparatus for determining a neck movement pattern
Auvinet et al. Lower limb movement asymmetry measurement with a depth camera
Rehouma et al. Quantitative assessment of spontaneous breathing in children: evaluation of a depth camera system
Tokarczyk et al. Photogrammetry–principles of operation and application in rehabilitation
US20220378321A1 (en) Methods and systems for assessing severity of respiratory distress of a patient
Peacock et al. Optical mapping of the thoracoabdominal wall.
Zalud et al. Breath Analysis Using a Time‐of‐Flight Camera and Pressure Belts
Jawaid et al. Advancements in medical imaging through Kinect: a review
Bastianini et al. Accuracy evaluation of dynamic volume measurements performed by opto-electronic plethysmograph, by using a pulmonary simulator
Price et al. 4D cone beam CT phase sorting using high frequency optical surface measurement during image guided radiotherapy
Vital et al. Fatoxtract a suit that may be useful in rehabilitation
Lorenz et al. Suitability of fringe projection profilometry to monitor human respiration rate
Novo et al. Spatial characterization of the accuracies in “Vicon” Motion Analysis Laboratory.
Janda et al. Contactless head posture measurement
Wilson Real-time close-range 3D non-contact volume and motion measurements
Watson Development of an interactive image-guided neurosurgical system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant