CN105473060B - 用于从远程检测到的电磁辐射中提取生理信息的***和方法 - Google Patents

用于从远程检测到的电磁辐射中提取生理信息的***和方法 Download PDF

Info

Publication number
CN105473060B
CN105473060B CN201480044583.6A CN201480044583A CN105473060B CN 105473060 B CN105473060 B CN 105473060B CN 201480044583 A CN201480044583 A CN 201480044583A CN 105473060 B CN105473060 B CN 105473060B
Authority
CN
China
Prior art keywords
color
signal strength
channel signal
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480044583.6A
Other languages
English (en)
Other versions
CN105473060A (zh
Inventor
G·德哈恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN105473060A publication Critical patent/CN105473060A/zh
Application granted granted Critical
Publication of CN105473060B publication Critical patent/CN105473060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • A61B2503/045Newborns, e.g. premature baby monitoring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的设备和方法。所述设备包括:接口(20),其用于,接收包括远程检测到的图像数据的数据流,所述远程检测到的图像数据表示包括至少一个感兴趣对象(12)的观察区域,其中,所述图像数据包括波长相关的图像信息,其中,所述波长相关的图像信息由表示各自波长部分的至少两个颜色通道(96、98、100)组成;图像处理器(22),其用于,检测所述至少两个颜色通道(96、98、100)中的至少两个的通道信号强度信息;以及,数据比较单元(24),其用于,将检测的通道信号强度与各自的参考值进行比较。

Description

用于从远程检测到的电磁辐射中提取生理信息的***和方法
技术领域
本发明涉及一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的***和方法。更具体地,本发明可以有助于,对指示生命参数、生理参数或更一般的健康参数的生命体征信息进行分析。所述电磁辐射可以被看作由感兴趣对象重新发射的可见波长带中的放射。当在本文中使用时,可见放射可以涉及对人眼或至少对感测设备可见的特定波长范围内的放射。甚至更具体地,本发明可以涉及用于检测和监测指示生命体征参数和/或症状的信息的(可见)图像捕获和处理***及对应的方法,期例如可以在的远程监测的领域中应用,诸如远程光体积描记监测。
本发明还涉及一种对应的计算机程序。
背景技术
WO 2011/148280 A1公开了一种用于对对象的分析物进行测量的设备和方法,所述设备包括:
-一些窄带光源,每个窄带光源被构造为发射覆盖一些波长的光谱;以及
-一些检测器组件,其被配置为,接收从对象反射的光,所述检测器组件的每个包括滤波器和光学检测器,每个滤波器被构造为,发射主发射带和一个或多个发射边带,其中,对于每个窄带光源,其谱包括落在所述滤波器的任一个的一个或多个发射边带内的一个或多个波长。
该文献进一步公开了所述方法和设备的几个改进。例如,建议使用各自的发光二极管(LED)作为所述窄带光源。此外,还设想将所述窄带光源和检测器组件集成到单一***中,并且,将所集成的***定位为靠近于被监测的对象的测量表面。最终,该文献在确定经皮胆红素之后并且基于此,寻求对血清胆红素水平的估计。
尽管基本上避免血液采样以对对象的生理情况或健康情况进行评估,WO 2011/148280 A1的设备和方法仍然可以被看作至少特定程度上用于对象监测或患者监测的突出的方法。WO 2011/148280 A1的教导属于接触测量和/或接触监测的领域,其基本上需要将传感器、发射器、换能器和其他设备紧密附着到被监测的对象。这可以被经历为相当令人不愉快的。特别地,这适用于新生儿监测或更一般说来婴儿监测的领域。
US 2012/195486 A1公开了一种便于对第一信号进行分析以表征其至少一个周期分量的方法,所述方法包括:获得至少两个第二信号,每个对应于各自的不同辐射频率范围,第一信号至少可从可通过向第二信号施加变换获得的输出信号导出,使得输出信号的任意值都基于来自对应时间点处的每个各自第二信号的值;获得至少一个变量的至少一个值,当对应于第二信号的信号被捕获并且变换被施加时,所述至少一个变量确定各自的第二信号的至少分量对输出信号的影响。
WO 2013/038326 A1公开了一种用于提取信息的方法,包括:接收数据流,所述数据流包括连续或离散的基于时间的特征信号,所述特征信号包括生理信息和干扰信号部分,所述特征信号与信号空间相关联,所述信号空间包括用于表示特征信号的补偿通道,所述特征信号的分量与信号空间的各自的补偿通道相关;对所述数据流进行预处理,这是通过将其相关频带拆分为至少两个经定义的子带,所述至少两个经定义的子带包括特征信号的经确定部分,所述至少两个经定义的子带的每个表示潜在感兴趣的经定义的时间频率部分;对所述子带进行优化,以便根据所述至少两个子带导出各自的经优化的子带,所述经优化的子带至少部分指示生命体征信号的出现;以及,对经优化的子带进行组合,以便组成经优化的处理信号。
US 2012/197137 A1公开了一种光体积描记的方法,包括:基于来自至少一个传感器的至少一个信号对信号进行处理,所述至少一个传感器被布置为捕获来自生物对象的光以提取关于周期性生物现象的特征的信息,其中,通过使用被放置在至少一个传感器前面的被调谐到水的吸收谱的峰值的光源和滤波器中的至少一个,获得来自至少一个传感器的信号中的至少一个。
US 2011/157340 A1公开了荧光成像设备,包括:照射部分,其利用激发光和参考光对将被检查的物体进行照射;图像收集部分,其收集基于激发光图像和反射光图像的荧光图像,所述反射光图像包括基于参考光的至少预定波长区域的第一反射光图像;图像信号生成部分,其生成组成诊断荧光图像的多个图像信号,所述多个图像信号包括对应于所述荧光图像的荧光图像的图像信号,反射光图像的图像信号包括对应于来自所述反射光图像的第一反射光图像的第一反射光图像;比较部分,其将荧光图像的强度和乘以预定值的第一反射光图像的强度、或对荧光图像与第一反射光图像之间的相对强度进行比较;以及,选择部分,其基于由比较部分得到的比较结果选择性地输出第一反射光图像和荧光图像中的一个作为组成诊断荧光图像的一个图像信号。
DE 197 41 982 A1公开了一种用于对人类肢体上的测量区域中的真皮血液灌注进行无创检测的装置,包括:至少一个光源,其向测量区域施加光,其中,所述光从测量区域和从底层被反射;光检测器***,其接收反射光;以及,控制和估计单元,光检测器***的输出信号被发射到所述控制和估计单元,其中,提供成像***,所述成像***选择性地选择测量光的空间和光谱部分,从而对光检测***上的测量区域的部分进行成像,所述光检测***利用空间分辨率和时间分辨率检测入射光,其中,成像***进一步对成像信号进行分析,检测血液体积改变并将其可视化。
最近,已经描述和演示了用于获得患者信息或者一般说来生物的生理信息的基于远程数字图像的监测***。
当在本文中使用时,术语“远程检测到的电磁辐射”可以指,被从放射源(例如远程放置的光源)发送到感兴趣对象并被该感兴趣对象的皮肤部分或真皮部分“反射”的辐射分量。同样地,对象的皮肤上表面底下的组织在入射辐射的反射、偏转和/或吸收中起作用。由于对象的皮肤中的反射机制相当复杂,并且多依赖于诸如波长、穿透、深度、皮肤组成、血管***结构和其他影响参数的因素,诸如“被发送”、“被发射”和“被反射”的术语不应当以限制的方式理解。通常,入射辐射的一部分可以在皮肤的(上)表面处被反射。此外,入射辐射的一部分可以穿透皮肤并穿过皮肤层。最终,入射穿透辐射的至少一部分可以在皮肤中被吸收,而入射穿透辐射的至少另一部分可以在皮肤中被散射(而非在皮肤的表面处被反射)。因此,能够被传感器特别是图像传感器捕获的表示感兴趣对象的辐射分量在本上下文中能够称为重新发射的辐射。
对于远程监测和测量方法,已经演示了照相机的使用。照相机可以特别涉及能够捕获图像帧的序列的视频照相机。优选地,能够使用能够捕获可见光的照相机。这些照相机可以包括覆盖电磁频谱的可见光范围的至少一个相当大部分的特定响应度(或:灵敏度)特征。当在本文中使用时,可见光应当理解为,在没有进一步的技术辅助的情况下能够被人眼感知的电磁频谱的部分。
远程对象监测(例如患者监测)被认为是有益的,因为以这种方式能够实施不显眼的非接触测量。相反,非远程(接触)测量通常需要将传感器以及甚至标记器施加于要被监测的感兴趣对象的皮肤部分。在许多情况下,这被看作不令人愉快的,特别是对于长期监测。
因此,提供一种用于远程监测的***和方法将是有益的,其进一步有助于克服对显眼的(接触)测量的需要。
光体积描记(PPG)是光学测量技术,其估计感兴趣的区域或体积的光反射或发射的时变改变。PPG基于这一原理:血液比周围组织更强地吸收光,因此,伴随每个心跳的血液体积的变化相应地影响发射或反射。除关于心率的信息之外,PPG波形能够包括显著的其他生理现象的信息,诸如呼吸。
就此而论,Verkruysse等人的“Remote plethysmographic imaging usingambient light”(Optics Express,16(26),2008年12月22日,第21434-21445页)证实能够利用正常环境光和相当常规的消费级视频照相机远程地测量光体积描记信号。
诸如用于测量对象的心率和(动脉)血氧饱和度(也称为SpO2)的脉搏氧饱和度仪的常规PPG设备将被附着到对象的皮肤,例如被附着到指尖、耳垂或额头。因此,将它们称为“接触”PPG设备。
发明内容
因此,本发明的目的是寻求PPG***和相应方法的附加应用。特别地,本发明的目的是提供一种用于提取生理信息的***和方法,所述生理信息能够辅助评估健康症状,并且有助于诊断例程。
更具体地,提供一种能够在不需要多个信号变换步骤的情况下对远程PPG信息进行充分处理的设备和相应的方法将是有利的。换言之,提供一种用于提取特别适于远程检测到的图像数据的生理信息的方法和***将是有益的,其中,所述远程检测到的图像数据一般可以包括巨大的干扰和噪声影响的部分。
在本发明的第一方面中,提出一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的远程光体积描记监测***,所述***包括:
-接口,其用于接收包括远程检测到的视频数据的数据流,所述远程检测到的视频数据表示包括至少一个感兴趣对象的观察区域,其中,所述视频数据包括波长相关图像信息,其中,所述波长相关图像信息由表示各自的波长部分的至少两个颜色通道组成;
-图像处理器,其用于检测针对所述至少两个颜色通道中的至少两个的相对通道信号强度信息;
-数据比较单元,其用于将检测到的相对通道信号强度与从通过监测健康对象生成的参考数据中获得各自的参考值进行比较,其中,所述数据比较单元还被配置用于确定所述至少两个颜色通道中的至少两个的检测到的相对通道信号强度的比率,并且用于将相对通道信号强度的比率与参考比率进行比较;以及
-症状分析器,其用于根据实际相对通道信号强度与所述参考值的比较导出血液组成指示信息。
本发明是基于这样的洞察:在诸如患者或更一般说来生物或人类的感兴趣对象中出现的若干个(健康)症状通常涉及所述对象的皮肤处或在所述对象的组织或循环血液中的反射和/或吸收属性的对应特征改变。因此,当对所述感兴趣对象进行监测并生成基于通道的(颜色)图像信息时,所述至少两个通道中的至少一个中的颜色强度或相对颜色强度的微小改变可以高度地指示各自的健康情况或症状。
特别地,所述***可以关注于相对通道信号强度信息。通常,接收到的数据流可以包括PPG信号,所述PPG信号具有稳定的DC分量和相对较小的脉动分量(AC部分),所述脉动分量可以归因于所述对象中的(血液)循环***。血液脉动导致当监测和捕获各自的图像信息时所述对象的组织和/或皮肤中可以被检测到的微小颜色改变。换言之,表示所述至少两个颜色通道的脉动分量的信号可以由索引元素(或者:向量)在向量空间中呈现,所述索引元素具有可归因于所述至少两个颜色通道的每个中的实际相对信号强度值的定义的长度和取向。由于血液脉动,这样的索引元素或向量可以经历所述向量空间中的两个端位置之间的或多或少周期的“往复”运动。所述索引元素或向量的往复运动的路径或曲线可以被用作对特征健康症状的出现的指示符。当在本文中使用时,术语“相对信号强度”可以涉及AC信号部分关于相同颜色通道的(相对恒定或平均的)DC信号部分的信号强度。因此,“绝对信号强度”可以涉及包含“恒定的”DC和“脉动的”AC部分的信号的绝对信号强度。本发明利用了这一事实:若干个特定症状可以涉及所述颜色通道的至少一个的脉动(AC)信号关于剩余颜色通道的至少一个的特征变化。假设针对该往复路径或更一般说来针对所述至少两个颜色通道中的至少两个的通道信号强度的参考值(例如,表示健康的对象)是可获得的,则与这些参考值的特征偏差(在取向和/或长度上)可以高度地指示具体健康症状、综合症和/或更一般说来疾病模式。
如在本文中使用的,电磁辐射具体涉及能够从其中获得可见图像信息的可见辐射。换言之,主要解决了被配置用于捕获(可见)图像数据的成像***。如上面提到的,可见辐射是指可以被人眼感测到的辐射部分。然而,在一些实施例中,邻近可见辐射带的波长部分也可以被各自的感测设备或捕获设备利用并检测到。例如,也可以利用近红外辐射、红外辐射和/或紫外辐射。如在本文中使用时,术语通道信号强度基本上可以涉及在指派给各自(颜色)通道的各自波长部分中检测到的辐射的强度和/或幅度。所述数据流可以包括这样的信息,所述信息涉及血液流动发生所在的对象的皮肤和/或对象的组织处的血液流动相关的颜色变化。如上面指示的,可以主要对归因于所述血液流动的检测到的图像信息的脉动(AC)部分感兴趣。如在本文中使用时,“远程检测”和/或“远程检测到的”可以涉及监测方法或监测布置,其中,诸如照相机或视频照相机的感测设备被布置在要被监测的对象的相当远距离处。例如,所述对象与所述感测设备之间的距离可以涉及至少几厘米,但也可以涉及几分米或甚至几米。这样的远程布置允许进行相当不显眼的测量。另一方面,这样的布置通常还涉及巨大的干扰和/或失真,所述干扰和/或失真是由于不稳定的照明情况和/或与要被监测的对象和所述感测设备之间的相对运动相关的运动伪影。
以上提出的方法特别适于临床健康监测,优选适于新生儿监测和/或婴儿监测。特别地,新生儿和婴儿遭受显眼的接触测量,其中,所述显眼的接触测量涉及固定地附着的传感器和/或标记器。根据上面的方法,诸如新生儿的感兴趣对象可以在仍然确保有效且充分的监测的同时享受某种自由度。
所述数据比较单元可以被配置用于执行对实际值和参考值的“极性”比较(结果:大于/小于),确定实际值与参考值之间的比例,和/或,确定实际值与参考值之间的绝对或相对差值。实际值可以由检测到的通道信号强度表示。例如,参考值可以由预定义和/或预检测的通道信号强度表示。
所述症状分析器利用这一事实:许多疾病和/或健康畸变通常可以影响所述对象的血液组成。所述对象的血液组成的改变可以通过将实际颜色信息与归因于健康对象的各自参考颜色信息进行比较而被检测到。
根据另一方面,所述至少两个颜色通道与颜色模型相关联,所述颜色模型基于将各自波长部分分配给所述至少两个颜色通道的颜色模型范本。基本上,颜色模型可以提供允许对初始模拟的图像信息进行数字化的足够信息。换言之,在考虑所述颜色模型的情况下,真实颜色可以被转换为“位和字节”。
根据又一方面,所述颜色模型是基于颜色空间映射范本的颜色空间,其中,各自的波长部分被指派给所述颜色空间的各自的轴。基本上,所述颜色模型可以提供描述颜色的数字表示的数学模型。然而,所述颜色空间可以被看作基于所述各自颜色模型的适当的颜色表示。这样的手段可以是有益的,因为以这样的方式颜色属性可以由诸如向量的几何实体来呈现,所述几何实体可以便于操作和处理各自的数据。
根据又一方面,所述颜色空间是由三个颜色通道组成的加法颜色空间。以这种方式,基于仅三个不同的基本颜色,可以(再)产生大量的颜色细微变化。然而,在备选方案中,基本上也可以利用减法颜色空间。为了进行图示,而不是以限制的方式,所述颜色空间可以是RGB颜色空间。减法颜色空间可以是CMY和/或CMYK颜色空间。在下文中,主要提及了RGB颜色模型和/或RGB颜色空间。然而,这不应当理解为限制。本领域的技术人员可以想到若干备选和/或替代的颜色模型或颜色空间。此外,不同颜色模型和不同颜色空间可以被彼此转换。
作为示例,假设示例性RGB颜色空间实施例,蓝对红比率(B/R)或红对绿和蓝比率(R/(G+B))可以指示各自的健康症状。将这样的比率与各自的参考比率进行比较可以揭示显著偏差。在偏差表示值超过预定义的阈值的情况下,可以提供对症状的出现的明确指示。根据进一步的实施例,所述症状分析器被配置用于在考虑检测到的通道强度波动的情况下检测所述对象的循环血液中的血清胆红素水平。升高的血清胆红素水平可以被看作对黄疸的强烈指示符。新生儿黄疸是新出生的婴儿的皮肤和其它组织发黄。黄疸也可以在成人中出现。所述颜色改变归因于升高的胆红素水平。对患黄疸的对象的管理和处置通常需要评估和监测血清胆红素水平。根据以上方面,所述***可以提供长期的不显眼的胆红素测量。以这种方式,至少在很大程度上能够避免血液采样和进一步的显眼的测量方法。
根据又一方面,所述症状分析器被配置用于在考虑检测到的恒定或准恒定通道信号强度的情况下检测所述对象的真皮中累积的胆红素水平,优选地,所述症状分析器还被配置用于,相比于皮肤胆红素水平,导出对血清胆红素水平的估计。该实施例利用这一事实:所述对象的真皮中累积的胆红素基本上改变所述PPG信号的DC分量。
在患黄疸的对象中,升高的胆红素水平可以出现在对象的循环血液中。然而,由于扩散,胆红素也可以在所述对象的皮肤组织中累积。所述血液和皮肤中的胆红素浓度这两者可以影响可以从其中获得期望的健康信息的图像数据。由此,确定并评估所述对象的血液中的胆红素水平升高和皮肤组织中的胆红素水平升高可以是有益的。还进一步观察到,在黄疸处置期间,皮肤组织中的胆红素水平可以比血液中的胆红素水平更快地被降低。因此,检测血液中的胆红素水平和皮肤组织中的胆红素水平的能力允许确定其他健康指示值,例如,所述健康指示值可以用于对黄疸处置进行管理和控制
根据仍然另一方面,所述症状分析器被配置用于检测指示即将发生的窒息的相对通道信号强度信息。特别对于新生儿和婴儿,窒息是可以导致严重永久损伤以及甚至死亡的重大危险。对即将发生的窒息的指示可以是血红蛋白或脱氧血红蛋白(HB)对氧合血红蛋白(HBO2)的比率(HB/HBO2)。当窒息很可能发生时,HB/HBO2比率被增高。这可以导致轻微的颜色改变,所述颜色改变可以由RGB颜色空间中R通道相比于G通道和B通道的较大幅度来表征。因此,特征取向改变可以被检测到,并被用于启动窒息报警。假设提前获得了参考值,则可以预定义合适的阈值。
就此而论,如果所述症状分析器被配置用于以下操作则是进一步优选的:在考虑检测到的通道信号强度的比率的情况下,对氧合信息进行评估,所述氧合信息指示所述对象的血液中的血红蛋白和氧合血红蛋白的比率;并且当所述比率超过参考阈值时,输出报警信号。
根据优选实施例,所述***还包括用于远程记录视频数据的图像传感器,所述图像传感器包括适于捕获对应于所述至少两个颜色通道的至少两个波长部分中的电磁辐射的响应度(或:灵敏度)。以这种方式,可以确保一致的图像数据编码和处理。当所述***也并入诸如RGB照相机的所述图像传感器时,可以实现高水平的信号集成。如上面指示的,可以利用相当常规的消费级视频照相机。甚至进一步优选地,所述照相机、图像处理器和所述***的其他部件基本上应用相同的颜色模型。所述图像传感器的灵敏度可以覆盖至少可见辐射的相当大部分。然而,在一些实施例中,所述图像传感器的灵敏度可以进一步覆盖红外辐射和/或紫外辐射的至少一部分。
根据又一方面,所述***还包括模式检测器,所述模式检测器用于检测至少一个感兴趣对象的至少一个指示性皮肤部分。
根据仍然另一实施例,所述***还包括处置辐射源,所述处置辐射源用于发射特定波长范围内的辐射,其中的,以这样方式来布置所述处置辐射源:所发射的辐射被定向到所述感兴趣对象,优选地,所述***还包括处置控制器,所述处置控制器用于在考虑由所述数据比较单元生成的医疗情况指示数据的情况下操作所述处置辐射源。
换言之,所述***还可以包括光治疗功能。光治疗可以用于处置黄疸。特别地,所述处置辐射源可以被体现为能够发射大约400nm到500nm波长范围内的光的光源。以这种方式,可以降低感兴趣对象中的升高的胆红素水平。如上面指示的,就此而论特别有益地,所述症状分析器可以被配置用于检测所述对象的血液中的血清胆红素水平和所述对象的皮肤组织中累积的胆红素水平。可以在对光治疗处置进行管理和控制时使用该信息,该信息优选是血清胆红素水平对皮肤胆红素水平的比率。
在本发明的又一方面中,提出一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的远程光体积描记监测方法,所述方法包括以下步骤:
-接收包括视频数据的数据流,所述视频数据表示包括至少一个感兴趣对象的观察区域,其中,所述视频数据包括波长相关的图像信息,其中,所述波长相关的图像信息包括表示各自的波长部分的至少两个颜色通道;
-检测针对所述至少两个颜色通道中的至少两个的相对通道信号强度信息;
-将检测到的相对通道信号强度与各自的参考值进行比较,所述参考值从通过监测健康的对象生成的参考数据中获得,其中,所述比较步骤包括:确定所述至少两个颜色通道中至少两个的检测到的相对通道信号强度的比率,并且,将所述相对通道信号强度的比率与参考比率进行比较;以及
-根据实际相对通道信号强度与所述参考值的比较结果来导出血液组成指示信息。
在本发明的又一方面中,提供一种包括程序代码单元的计算机程序,当所述计算机在计算机上被实施时,所述程序代码单元令所述计算机执行所述方法的步骤。
所述程序代码(或:逻辑)能够被编码在一个或多个非瞬态的有形介质中,以便被诸如计算机的计算机器执行。在一些示例性实施例中,所述程序代码可以通过计算机可读信号介质从另一设备或数据处理***通过网络被下载到永久存储器单元或存储器中,以便在所述***内使用。例如,被存储在服务器数据处理***中的计算机可读存储器单元或存储介质中的程序代码可以通过网络从所述服务器被下载到所述***。提供程序代码的数据处理设备可以是服务器计算机、客户端计算机或能够存储和发射程序代码的一些其他设备。
当在本文中使用时,术语“计算机”可以代表多种处理设备。换言之,具有相当大计算能力的移动设备也可以称为计算设备,即使它们提供比标准“计算机”少的处理能力资源。当然,这样的“计算机”能够是医疗设备和/或***的部分。此外,术语“计算机”也可以是指可以涉及或利用云环境中提供的计算能力的分布式计算设备。术语“计算机”也可以涉及医疗技术设备、健身器材设备以及一般说来能够处理数据的监测设备。
本公开的优选实施例在从属权利要求中被定义。应当理解,所要求权利的方法和所要求权利的计算机程序能够具有与所要求权利的***和如在从属***权利要求中定义的类似的优选实施例。
附图说明
本发明的这些和其它方面从下文中描述的实施例中将是显而易见的,并且将参考下文中描述的实施例进行阐述。在以下附图中
图1示出了根据本公开的实施例的***的简化示意图示;
图2示出了针对血红蛋白和氧合血红蛋白的示例性吸收谱图表;
图3示出了胆红素的示例性吸收谱图表;
图4示出了指示三通道照相机的谱灵敏度特征的示例性示图;
图5图示了由相当恒定的(DC)部分和覆盖的交替脉动(AC)部分组成的脉动PPG信号的示意图示;
图6图示了其中出现颜色向量的示例性(三维)颜色空间的示意表示;
图7图示了根据图6的颜色空间的另一表示,其中,出现具有不同取向和长度的另一颜色向量;
图8举出了在其中呈现了两个颜色向量的(二维)颜色空间的示例,其中,还指示了脉动颜色向量的交替运动的示例性路径或曲线;
图9图示了根据图8的颜色空间,其中,图示了当与图8中所图示的路径或曲线相比较时具有不同的长度和取向的、脉动颜色向量的交替运动的另一路径或曲线;
图10图示了三个各自的波长部分或颜色通道中针对参考对象的集合的相对血液脉动相关幅度;
图11图示了要被监测的对象,其中,突出了可以从其中获得平均PPG综合的指示性皮肤部分;
图12示出了根据本公开的一个备选实施例的***的简化示意图示;以及
图13示出了表示根据本公开的方法的实施例的若干个步骤的图示性框图。
具体实施方式
图1示出了根据本发明的实施例的***10的建立的示意图示。通过示例方式,但不以限制的方式来理解,***10可以在新生儿护理室中用于对诸如新生儿或婴儿的对象12进行监测。通常,***10可以被配置用于监测对象12,诸如患者,或更一般地,人类或生物。特别地,新生儿可以被放置在横卧表面14上,其中,横卧表面14可以是病床的部分,或者是专门适于接纳和支持新生婴儿的装置,诸如恒温箱。
新生儿黄疸(也称为高胆红素血症)通常在新生儿中出现,因为新生儿的肝脏一开始可能未充分发育,并且因此不能分泌,并且由此降低胆红素水平。作为旧血红细胞消灭期间的降解副产品,可以形成所谓的非结合胆红素。由于新生儿的有机体可以不能高效地吸收和降低胆红素,非结合胆红素水平通常在新生儿中上升。当非结合胆红素水平上升得超过给定结合能力时,非结合胆红素可以扩散出循环***,并且进入相邻组织。通常,自由胆红素向对象12的皮肤组织中的扩散可以导致肤色的特征性发黄。特别地,对于早产新生儿,升高的胆红素水平甚至可以导致严重的脑机能障碍,例如导致核黄疸。由于肝脏功能和循环***在早产新生儿中通常未发育完全,因此他们面临严重遭受升高的胆红素水平的更高风险。
由于用于测量和监测对象12中的胆红素水平的常规方法通常已被认为是令人不愉快和显眼的,本发明的一些实施例寻求提供可靠并且不显眼的监测技术,甚至能够进行长期监测。为此,***10可以包括数据处理设备16,数据处理设备16可以与传感器或照相机18耦合或包含传感器或照相机18。由于***10被配置用于对诸如视频数据的图像数据进行处理,因此传感器18可以例如由相当常规的视频照相机来体现。由于照相机18可以被布置在距要被监测的对象12一定距离处,因此可以实现相当不显眼的测量。换言之,根据本公开的优选实施例,传感器18并不必由将被附着到对象的皮肤的接触传感器来体现。例如,传感器18可以包含用于对图像信息进行感测和数字化的CCD阵列或CMOS阵列,所述图像信息例如是可见辐射,以及在某些实施例中的红外辐射和/或紫外辐射。在此上下文中,术语可见辐射也可以是指主要对传感器18“可见”的辐射部分。照相机18可以经由接口20与图像处理器22连接。经由接口20,图像数据可以被发送至图像处理器22。优选地,照相机18被配置用于将模拟图像信息分解和转换为包括至少两个颜色通道的数字图像信息。
例如,照相机18可以被布置为能够捕获并生成RGB图像数据的视频照相机。可以由图像处理器22相应地对诸如RGB图像数据的图像数据进行处理。例如,图像处理器22能够被配置用于检测(相对)通道信号强度信息,对于颜色通道的至少一些,优选为颜色通道的全部,所述图像数据包括(相对)通道信号强度信息。如上面指示的,特征通道信号强度或通道信号强度比率可以高度地指示对象12的物理情况或特别是健康情况。数据处理设备16可以进一步包括模式检测器23,模式检测器23用于检测至少一个感兴趣对象12的至少一个指示性皮肤部分。如本领域中已知的,模式检测器23可以利用皮肤检测算法来在(指示性)皮肤部分与也可以出现在图像数据中的(非指示性)周围部分之间进行区分。
图像处理器22被基本地配置用于将数字图像信息压缩为降维的(相对)强度信息。为此,图像处理器22可以能够将多个图像实体(或者:像素)转换为表示各自模式的单一实体,其中,所述单一实体基本包括指示各自的颜色通道信号强度的两个或多个值。换言之,包含在二维(着色的)像素模式中的期望的信息可以被聚集并转换为由长度和取向来表征的单一索引元素或颜色向量。所述颜色向量的长度和取向归因于所述颜色通道的至少一些处的各自的信号强度。
优选地,图像处理器22还被配置用于提供图像数据归一化。例如,基于时间的归一化能够被应用于所捕获的图像数据。假设实施R(红色)、G(绿色)和B(蓝色)通道的示例性实施例,图像处理器22可以被配置用于将它们的实际值除以各自的时间平均值。针对所述通道中的每个的时间平均值可以基于在具有预定义尺寸的窗口上运行平均。备选地,时间平均值可以基于在时间间隔上的平均,其中,可以将指定时间间隔中的全部采样(每个实际值)除以在该间隔上的相同平均。以这种方式,对对象12进行照明的任何照明设备的强度和/或颜色的改变可以被足够地衰减,以避免和/或降低干扰影响。
包括由图像处理器22检测到的通道信号强度信息的数据流可以被递送至数据比较单元24,以便将检测到的通道信号强度与各自的参考值进行比较。换言之,数据比较单元24可以被配置用于对通道信号强度关于参考值的特征偏差(例如,在长度和/或取向方面)进行评估。如上面指示的,长度和/或取向上的特征偏差可以高度地指示特定健康症状。为了比较数据和/或为了评估偏差,数据比较单元24可以被提供具有可以从中获得参考值的参考数据。例如当监测健康的对象12时可以生成参考数据。
基于特征偏差,可以对特征症状的出现进行评估。然而,备选地或额外地,数据处理设备16可以还包括症状分析器26,症状分析器26用于根据实际(相对)信号强度与参考值的比较结果来导出血液组成指示信息。因此,症状分析器26能够利用这一事实:许多特征症状可以涉及对象12的血液组成的变化或改变,所述变化或改变可以在可以由***10检测到的PPG信号的AC部分的轻微颜色改变和/或偏差中找到表述。如上面指示的,出现在患者的血液和/或皮肤组织中的轻微颜色改变可以例如归因于升高的胆红素水平,和/或可以是对即将发生的窒息事件的强烈指示符。数据比较单元24和症状分析器26中的至少一个还可以被配置为提供输出数据,所述输出数据可以用于进一步的分析和/或显示措施。
所述输出数据可以被提供在输出接口26处。此外,数据比较单元24或症状分析器26中的至少一个能够适于生成报警信号,所述报警信号可以被提交给各自的报警信号接口30,所述报警信号接口30可以与报警单元32耦合。特别当检测到严重症状时,报警单元32可以被触发以便生成报警信号,用于向对象12、医疗人员或更一般说来护理人员发出关于由***10检测到的严重偏离报警。因此,可以相应地采取应对措施。
数据处理设备16还可以与监测辐射源38耦合。监测辐射源38可以由光源来体现,所述光源被布置用于对要被监测的对象12中被照相机18观察的的部分进行照明。因此,可以实现相对稳定的照明状况,有助于噪声降低和/或干扰最小化。监测辐射源38可以由常规光源来体现,所述常规光源发射优选适于照相机18的灵敏度的特定宽波长范围内的光。监测辐射源38也可以由数据处理设备16控制和/或管理。为此,监测辐射源38可以经由接口36被连接到监测光控制器34。监测光控制器34可以与图像处理器22、数据比较单元24和症状分析器26中的至少一个耦合。在此情况下,数据处理设备16可以被提供具有便于(图像)数据处理的照明信息。
根据一些示例性实施例,数据处理设备16还可以与处置辐射源44耦合。这特别在***10被进一步配置用于提供光治疗时适用。光治疗可以是对于对象12、特别是新生儿的升高的胆红素浓度的适当处置。光治疗处置通常可以涉及能够发射大约400nm到大约500nm波长范围内的光的至少一个光源44。被定向到对象12的皮肤处的光可以与对象12的皮肤组织中累积的胆红素相互作用。以这种方式,可以随时间充分地降低胆红素水平。优选地,处置辐射源44也被连接到数据处理设备16。例如,处置辐射源44可以经由接口42被连接到处置控制器40。处置控制器40可以被连接到图像处理器22、数据比较单元24或症状分析器26中的至少一个。假设由数据处理设备16检测到升高的胆红素水平,则处置辐射源44可以被控制以选择性地向要被处置的对象12发射辐射。另一方面,在知道实际光治疗处置的情况下,数据处理设备16可以在处理各自的数据时考虑该信息。如上面指示的,光治疗可以高效地降低对象12的皮肤组织中的胆红素水平。然而,通常不可以同时相应地降低对象的血液中的血清胆红素水平。具备光治疗处置发生的知识允许更精确地评估血清胆红素浓度。
图像处理器22、数据比较单元24(以及,如果提供的话,症状分析器26、监测光控制器34和处置控制器40中的任一个)可以由诸如数据处理设备16的公共处理单元来实施,所述公共处理单元能够被看作由各自的逻辑命令(程序代码)驱动以提供期望的数据处理的计算设备或至少计算设备的部分。数据处理设备16可以还包括可以在下面被提及的若干部件或单元。应当理解,数据处理设备16的每个部件或单元可以包括许多处理器,诸如多核处理器或单核处理器。至少一个处理器能够由数据处理设备16使用。所述处理器中的每个能够被配置为标准处理器(例如中央处理单元)或专用处理器(例如图型处理器)。因此,数据处理设备16能够合适地***作以将数据处理的若干个任务分布到适当的处理器。
数据处理设备16以及接口20、28、30、36、42中的至少一个可以被体现在公共的处理装置或外壳中。基本上,成像单元或照相机18和监测辐射源38(以及,如果有的话,处置辐射源44)一般是外部单元,但也可以与数据处理设备16被集成到公共外壳中。此外,图像处理器22、数据比较单元24以及症状分析器26、监测光控制器34和处置控制器40中的每个可以由硬件单元或由软件单元来实施。也可以设想包括硬件和软件部件的混合实施方案。
图2和图3图示了针对血液(包括血红蛋白和氧合血红蛋白)和针对胆红素的示例性吸收谱图表。在所述图表中的每个,由附图标记52指示的横坐标的轴表示覆盖大约250nm与750nm之间的范围的各自波长间隔。纵坐标轴50表示各自材料的(定性)吸收行为。在图2中,表示针对氧合血红蛋白(HBO2)的吸收谱的图由附图标记54指示。表示(脱氧)血红蛋白(HB)的吸收谱的图由附图标记56指示。如能够清楚看到的,具有氧的血红蛋白的增多将各自的吸收峰值稍微移位。基于该现象,例如,由于当氧合血红蛋白水平降低时相应地基本上(脱氧)血红蛋白水平升高,因此可以检测到即将发生的窒息。相比于健康的对象,这可以导致轻微的颜色变化。假设***10被配置用于基于RGB颜色空间进行操作,则上面的变化可以导致当相比于G和B通道时R通道中的更大脉动。因此,可以检测到RGB颜色空间中的颜色向量的对应轻微取向改变。
图3图示了胆红素的吸收谱,其中,各自的示图由附图标记58指示。当被监测的对象12中的胆红素水平增高时,特征胆红素吸收模式可以相应地影响检测到的通道信号强度。例如,各自的RGB信号可以被移位到B颜色通道中的升高的脉动幅度以及G通道中的中等升高的脉动幅度,而R通道中的脉动幅度可以被降低。该变化还可以导致颜色空间中的颜色向量的特征取向改变。
换言之,根据以上方面,本公开的目的在于对异常健康情况的“间接”定性检测。假设能够提前获得表征健康对象的参考数据,则诸如黄疸和/或开始窒息的潜在危险健康情况可以在长期监测期间被可靠地检测。
图4图示了指示示例性传感器或照相机18的谱响应度特征的图表。横坐标的轴64可以代表特定波长,而纵坐标轴62表示对应的灵敏度。图66表示R通道。图68表示G通道。图70表示B通道。总之,图66、68、70可以覆盖对人眼可见的可见光谱部分。假设,对于通道R、G、B中的每个,各自的输入信号由照相机18单独地捕获和存储,则各自的对应数据值或实体允许RGB颜色空间中的颜色表示。因此,多通道颜色信息可以由各自的多维颜色空间中的颜色向量来表示。
图5图示了随时间的由附图标记78指示的示例性PPG信号的表示。横坐标的轴76表示时间。纵坐标轴74基本上表示信号强度。通常,PPG信号78由称为附图标记80的、较大的恒定部分或DC部分组成。此外,PPG信号78被表征为相对较小的脉动或交替部分82。交替部分或AC部分82中的脉动可以归因于对象12中的血液脉动。然而,能够根据AC部分82来获得进一步的信息。图5中所图示的整体PPG信号78可以包括多个颜色通道。因此,为了进行图示,图5中提供的表示可以涉及维度降低。换言之,PPG图78的每个值或实体可以包括例如各自R值、G值和B值的两个或多个分量。
图6和图7图示了多通道颜色空间86的三维表示。颜色空间86中的每个可以表示绝对PPG信号(包括DC和AC部分)或相对PPG信号(包括AC部分)。为简单起见,颜色空间86被称为由R通道(附图标记88)、G通道(附图标记90)和B通道(附图标记92)组成的RGB颜色空间。图6还图示了索引元素或颜色向量94。颜色向量94可以是具有三个各自的分量的三维向量。例如,颜色向量94可以包括被指派给各自的轴或通道88、90、92的分量向量96、98、100。PPG信号78(图5中的附图标记82)的脉动或交替变化可以涉及颜色向量94的随时间的对应交替特征变化(就取向和长度而言)。就此而言,图7图示了另一颜色向量102。为简单起见,颜色向量94和102可以表示图5中的PPG信号78的交替脉动部分82的相对极值(最小和最大)。随着时间,由于血液脉动,实际颜色向量可以沿“边界颜色”颜色向量94和104之间的路径被交替移动。
这样的相对颜色变化在图8中由附图标记104指示。图8和图9表示简化的二维颜色空间86a。特别地,为了图示目的,颜色空间86a仅由两个颜色通道88、90组成。在图8中,出现可以表示脉动PPG信号分量的极值的两个颜色向量94a、94b。附图标记104指示得到的相对颜色路径或曲线。相对颜色路径104通常可以具有曲线的形状。然而,为简单起见,图8中的相对颜色路径104基本包括直线。例如,相对颜色路径104可以表示健康对象12的血液流动引起的脉动的参考颜色路径。颜色路径104可以通过给定的取向和长度来表征。相对颜色路径104还可以由指示在第一颜色通道88和第二颜色通道90处的各自信号强度的各自值对98a、96a和98b、96b来描述。
表示健康对象的相对颜色路径104在图9中由虚线双箭头指示。此外,在图9中呈现了偏离的相对颜色路径或曲线106。相对颜色路径106可以表示正遭受黄疸或即将发生的窒息的对象12。进一步的症状可以在监测和研究被监测的对象12中的当前相对颜色路径的特征偏移时被检测到。当然,期望的将被检测到的偏移同样还可以通过监测颜色向量94a、94b来获得。对至少两个颜色通道88、90中的至少一些的信号强度或相对信号强度的比较还可以导致产生高度指示性的值。
图10示出了图示性图表,所述图表指示针对基于具有不同皮肤类型的105个示例性(健康的)对象的数据集的血液脉动指示性PPG信号的分量。在横坐标的轴112上,表示出了个人的各自号码,其中,对象的肤色的范围从左侧的非常亮到右侧的非常暗。纵坐标轴110指示各自通道R、G、B中的定性相对信号强度。附图标记115指示红色通道(R),附图标记118指示蓝色通道(B),并且附图标记116指示绿色通道(G)。尽管有几个离群值,但也被称为血液容积脉搏(或者:Pbv)的检测到的信号非常稳定。
健康人的皮肤中具有400与950nm之间的波长的光的主要发色团(或:着色剂)是黑色素和血液。血液被包含在血管***中,并且,仅动脉部分展现出导致随时间的颜色变化的脉动。黑色素集中在表皮中,其于是充当包括血管的真皮与任何照相机和光源之间的过滤器。由于血液容积脉搏可以在归一化颜色空间(例如,实际值除以时间平均值)中被测量,过滤的效果可以在归一化数据中被移除,并且因此,皮肤类型对血液容积脉搏或各自颜色向量的取向没有任何重大影响。
因此,推断出,PPG信号向量(见图6到图9中的颜色向量94、102)的对应取向可以被用作,对可以影响皮肤颜色(或者:皮肤组织颜色)或脉动血液的颜色中的至少一个的若干疾病和/或健康情况的症状的稳定健康指示符。通常,皮肤颜色和血液颜色这两者都可以被影响。再次参考图10,推断出,对于具有暗色皮肤的对象,蓝色通道中的相对信号强度可以被降低,而红色通道中的相对信号强度可以被增加。该效果可以归因于很可能在具有暗色皮肤的对象中出现的镜面反射。然而,该影响可以被观察到并相应地进行补偿。为进一步改善监测准确度,各自的参考值可以被选取,以在个人的级别上反映对象12的先决条件。这可以甚至涉及提供描述要被监测的对象12的进一步背景信息。例如,所述背景信息可以涉及被观察的肤色,以及,如果有的话,光治疗的持续时间和/或强度。此外,可以提前提供对象12正在面对的已知健康问题,以便进一步改善所述***的响应准确度或检测准确度。
参考图11,提供要被监测的对象12的另一示例性图示。当监测对象12时,传感器或视频照相机18(图1)可以被控制和/或调整,以便基本上监测对象12的指示性皮肤部分120。***10,特别是数据处理设备16可以进一步被配置用于将基于像素模式的运动补偿或更一般说来空间信号归一化施加到所检测和捕获的视频数据。使用示例性像素模式122来遮掩图11中的对象12的感兴趣区域。像素模式122可以覆盖对象12的基本上指示性部分和基本上非指示性部分这两者。当聚集像素模式122的各个信号像素值时,能够导出平均像素值,该平均像素值由图11中的附图标记124表示。以这种方式,多维视频信号可以被转换为基本由单一实体组成的颜色表示信号。以这种方式,不期望的对象12的运动在得到的平均颜色信号124中能够被补偿或至少被衰减。
图12示出了***10a的备选布置,用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息。特别地,在图12中示意地图示了备选的数据处理设备16a。关于它们的基本建立,图1中所图示的数据处理设备16和图12中所图示的数据处理设备16b这两者可以被类似地配置。数据处理设备16a可以进一步包括存储器单元或贮存器126,存储器单元或贮存器126也可以称为参考存储器单元或贮存器。参考存储器单元或贮存器126可以被配置用于存储表示颜色通道中的预期通道信号强度的参考值,输入视频数据基本由归因于健康的对象12的那些组成。以这种方式,参考值的集合可以被提供,基于所述集合,出现的偏离(包括取向和/或长度改变)可以相应地被检测和评估。参考存储器单元或贮存器126可以被连接到数据比较单元24或症状分析器26中的至少一个。参考存储器单元或贮存器126还可以被连接到各自的接口128,其中,输入数据可以在各自的接口128处被接收。
数据处理设备16a还可以包括校准输入存储器单元或贮存器130。校准输入存储器单元或贮存器130可以被配置用于存储预期在要被监测的对象12的个人级使用的其他校准信息。为此,例如,可以经由接口132提供背景信息。于是,参考存储器单元或贮存器126可以包括整体基本参考信息,而校准输入存储器单元或贮存器130可以包括其他个人校准信息。校准输入存储器单元或贮存器130也可以被连接到数据比较单元24和症状分析器26中的至少一个。所述存储器或贮存器126、130可以采用(真实)硬件存储器或(虚拟)软件存储器的形式。特别地,存储器或贮存器126、130能够由相同存储器元件来体现。
图13示意地图示了一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的方法。在第一步骤150处,可以启动所述方法和相关的过程。步骤152可以跟随在后面,其包括远程地捕获包括图像数据的图像数据流,所述图像数据表示包括至少一个要被监测的感兴趣对象的观察区域。在进一步的步骤154中,图像数据流可以由数据处理设备接收。图像数据流可以基本包括多通道图像数据,诸如三通道颜色图像数据。例如,RGB图像数据可以被传输给数据处理设备。在又一步骤156中,针对多个颜色通道中的每个,可以检测通道信号强度信息。步骤156还可以包括对相对通道信号强度信息的检测。进一步的步骤158可以跟随在后面,包括将检测到的通道信号强度或相对通道信号强度与各自的参考值进行比较。另一步骤160可以跟随在后面,其可以包括,分析检测到的变化和/或偏离,以便最终将特征偏离指派给或归于对应的健康症状。在进一步的步骤162处,所述方法可以终止。当然,所述方法可以用于连续监测过程中,诸如长期监测过程。当然,也可以设想短期或抽查监测。
作为示例,本发明能够应用于健康护理领域,例如不显眼的远程患者监测、一般监护、安全监测以及所谓生活方式环境,诸如健身器材等。应用可以包括对氧饱和度(脉搏血氧测定法)、心率、血压、心输出量、血液灌注改变、自主功能评估和***血管疾病检测的监测。当然,在根据本发明的方法的实施例中,能够以改变的顺序或甚至同时实施文本中描述的步骤中的几个。进一步地,当不脱离本发明的范围的情况下,也可以跳过所述步骤中的一些。
在权利要求中,术语“包括”并不排除其它单元或步骤,并且,不定冠词“一个(a)”或“一个(an)”并不排除复数。单一元件或其它单元可以实现在权利要求中详述的几个项的功能。事实上,在相互不同的从属权利要求中详述特定措施并不指示,不能使用这些措施的组合以获利。
计算机程序可以存储/分布在与其它硬件一起或作为其它硬件的部分来提供的合适(非瞬态)介质中,例如光存储介质或固态介质,但也可以用其它形式来分发,例如经由互联网或者其它有线或无线电信***。此外,不同实施例可以采用可从计算机可用或计算机可读介质访问的计算机程序产品的形式,所述计算机可用或计算机可读介质提供程序代码,所述程序代码用于经由或结合计算机或者任何执行指令的设备或***来使用。为了本公开,计算机可用或计算机可读介质可以一般地是任何可以包含、存储、通信、传播或传输程序的有形装置,所述程序用于经由或结合指令执行设备来使用。
此外,不同实施例可以采用可从计算机可用或计算机可读介质访问的计算机程序产品的形式,所述计算机可用或计算机可读介质提供程序代码,所述程序代码用于经由或结合计算机或者任何执行指令的设备或***来使用。为了本公开,计算机可用或计算机可读介质可以一般地是任何可以包含、存储、通信、传播或传输程序的有形设备或装置,所述程序用于经由或结合指令执行设备来使用。
就本公开的实施例已被描述为至少部分上由软件控制的数据处理设备来实施而言,应当认识到,诸如光盘、磁盘、半导体存储器等的承载所述软件的非瞬态机器可读介质也被认为表示本公开的实施例。
计算机可用或计算机可读介质可以例如但不限于是电子、磁、光、电磁、红外或半导体***或者传播介质。计算机可读介质的非限制性示例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机访问存储器(RAM)、只读存储器(ROM)、硬盘和光盘。光盘可以包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。
进一步地,计算机可用或计算机可读介质可以包含或存储计算机可读或可用程序代码,使得,当所述计算机可读或可用程序代码在计算机上被执行时,该计算机可读或可用程序代码的执行导致该计算机基于通信链路发射另一计算机可读或可用程序代码。该通信链路可以使用这样的介质,所述介质例如但不限于是物理或无线的。
适于存储和/或执行计算机可读或计算机可用程序代码的数据处理***或设备将包括,通过诸如***总线的通信结构直接或间接地耦合到存储器单元的一个或多个处理器。存储器单元可以包括:在程序代码的实际执行期间使用的本地存储器,大容量贮存器,以及高速缓冲存储器,所述高速缓冲存储器提供对至少某些计算机可读或计算机可用程序代码的临时存储,以减少在代码执行期间可以从大容量贮存器检索该代码的次数。
输入/输出或I/O设备可以直接地或通过中介I/O控制器耦合到所述***。这些设备可以例如但不限于包括键盘、触摸屏显示器和指点设备。不同通信适配器也可以耦合到所述***,以便使所述数据处理***能够变得通过中介的私有或公共网络耦合到其它数据处理***、远程打印机或贮存器设备。非限制性示例为调制解调器和网络适配器,并且仅是当前可用类型的通信适配器中的一些。
为了图示和描述,已经提出对不同图示性实施例的描述,并且不旨在是详尽的或限于采用所公开的形式的实施例。许多修改和变化对于本领域的技术人员将显而易见。进一步地,不同图示性实施例可以提供相比于其它图示性实施例的不同优点。选取和描述了所选的一个或多个实施例,用以最好地阐述实施例的原理和实践应用,并且,用以使本领域的其他技术人员能够,针对带有适于所设想的特定使用的各种修改的各种实施例而理解本公开。通过研究附图、本公开和所附权利要求,本领域的技术人员在实践所要求权利的发明时可以理解和实现所公开的实施例的其它变化。
权利要求中的任何参考符号不应当理解为限制范围。

Claims (16)

1.一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的远程光体积描记监测***,包括:
-接口(20),其用于接收包括远程检测到的视频数据的数据流,所述远程检测到的视频数据表示包括至少一个感兴趣对象(12)的观察区域,其中,所述视频数据包括波长相关的图像信息,其中,所述波长相关的图像信息包括表示各自的波长部分的至少两个颜色通道(96、98、100);
-图像处理器(22),其用于检测针对所述至少两个颜色通道(96、98、100)中的至少两个的相对通道信号强度信息,其中,所述相对通道信号强度信息涉及AC信号部分关于相同颜色通道的DC信号部分的信号强度;以及
-数据比较单元(24),其用于将检测到的相对通道信号强度与各自的参考值进行比较,所述参考值是从通过监测健康的对象生成的参考数据中获得的,其中,所述数据比较单元(24)还被配置用于确定所述至少两个颜色通道(96、98、100)中的至少两个的检测到的相对通道信号强度的比率,并且被配置用于将所述检测到的相对通道信号强度的所述比率与参考比率进行比较;以及
-症状分析器(26),其用于根据所述检测到的相对通道信号强度与所述参考值的比较结果来导出血液组成指示性信息。
2.根据权利要求1所述的***,其中,所述至少两个颜色通道(96、98、100)与颜色模型相关联,所述颜色模型是基于将各自的波长部分分配给所述至少两个颜色通道(96、98、100)的颜色模型范本的。
3.根据权利要求2所述的***,其中,所述颜色模型是基于颜色空间映射范本的颜色空间(86),其中,各自的波长部分被指派给所述颜色空间(86)的各自的轴。
4.根据权利要求3所述的***,其中,所述颜色空间(86)是包括三个颜色通道(96、98、100)的加法颜色空间。
5.根据权利要求1所述的***,其中,所述症状分析器(26)被配置用于在考虑检测到的信号强度波动的情况下检测所述对象(12)的循环血液中的血清胆红素的水平。
6.根据权利要求1所述的***,其中,所述症状分析器(26)被配置用于在考虑检测到的恒定通道信号强度或准恒定通道信号强度的情况下检测在所述对象(12)的真皮中累积的胆红素的水平。
7.根据权利要求1所述的***,其中,所述症状分析器(26)还被配置用于相比于皮肤胆红素水平导出对血清胆红素水平的估计结果。
8.根据权利要求1所述的***,其中,所述症状分析器(26)被配置用于检测指示即将发生的窒息的相对通道信号强度信息。
9.根据权利要求8所述的***,其中,所述症状分析器(26)还被配置用于在考虑所述检测到的相对通道信号强度的比率的情况下评估氧合作用信息,所述氧合作用信息指示所述对象(12)的血液中的血红蛋白与氧合血红蛋白的比率;并且所述症状分析器(26)还被配置用于当所述比率超过参考阈值时输出报警信号。
10.根据权利要求1所述的***,还包括:
图像传感器(18),其用于远程地记录视频数据,所述图像传感器(18)包括响应度,所述响应度适于捕获对应于所述至少两个颜色通道(96、98、100)的至少两个波长部分(66、68、70)中的电磁辐射。
11.根据权利要求1所述的***,还包括:
-模式检测器(23),其用于检测所述至少一个感兴趣对象(12)的至少一个指示性皮肤部分(120)。
12.根据权利要求1所述的***,还包括:
-处置辐射源(44),其用于发射特定波长范围内的辐射,其中,以这样的方式来布置所述处置辐射源(44),使得所发射的辐射被定向到所述感兴趣对象(12)。
13.根据权利要求12所述的***,还包括处置控制器(40),所述处置控制器(40)用于在考虑由所述数据比较单元(24)生成的医学状况指示性数据的情况下操作所述处置辐射源(44)。
14.一种用于从远程检测到的电磁辐射中提取指示至少一个健康症状的生理信息的远程光体积描记监测装置,包括处理器和用于存储机器可执行指令的存储器,其中,所述机器可执行指令的运行令所述处理器:
-接收包括视频数据的数据流,所述视频数据表示包括至少一个感兴趣对象(12)的观察区域,其中,所述视频数据包括波长相关的图像信息,其中,所述波长相关的图像信息包括表示各自的波长部分的至少两个颜色通道(96、98、100);
-检测针对所述至少两个颜色通道(96、98、100)中的至少两个的相对通道信号强度信息,其中,所述相对通道信号强度信息涉及AC信号部分关于相同颜色通道的DC信号部分的信号强度;并且
-将检测到的相对通道信号强度与各自的参考值进行比较,所述参考值是从通过监测健康的对象生成的参考数据中获得的,其中,所述比较包括:确定所述至少两个颜色通道(96、98、100)中的至少两个的检测到的相对通道信号强度的比率,并且,将所述检测到的相对通道信号强度的比率与参考比率进行比较;并且
-根据所述检测到的相对通道信号强度与参考值的比较结果来导出血液组成指示性信息。
15.一种用于从远程检测到的电磁辐射中提取生理信息的远程光体积描记监测装置,包括:
-用于接收包括视频数据的数据流的单元,所述视频数据表示包括至少一个感兴趣对象(12)的观察区域,其中,所述视频数据包括波长相关的图像信息,其中,所述波长相关的图像信息包括表示各自的波长部分的至少两个颜色通道(96、98、100);
-用于检测针对所述至少两个颜色通道(96、98、100)中的至少两个的相对通道信号强度信息的单元,其中,所述相对通道信号强度信息涉及AC信号部分关于相同颜色通道的DC信号部分的信号强度;以及
-用于将检测到的相对通道信号强度与各自的参考值进行比较的单元,所述参考值是从通过监测健康的对象生成的参考数据中获得的,其中,所述比较的步骤包括:确定所述至少两个颜色通道(96、98、100)中的至少两个的检测到的相对通道信号强度的比率,并且,将所述检测到的相对通道信号强度的比率与参考比率进行比较;以及
-用于根据所述检测到的相对通道信号强度与参考值的比较结果来导出血液组成指示性信息的单元。
16.一种存储包括程序代码单元的计算机程序的非暂态计算机可读介质,当所述计算机程序在计算机上被执行时,所述程序代码单元令所述计算机执行以下步骤:
-接收包括视频数据的数据流,所述视频数据表示包括至少一个感兴趣对象(12)的观察区域,其中,所述视频数据包括波长相关的图像信息,其中,所述波长相关的图像信息包括表示各自的波长部分的至少两个颜色通道(96、98、100);
-检测针对所述至少两个颜色通道(96、98、100)中的至少两个的相对通道信号强度信息,其中,所述相对通道信号强度信息涉及AC信号部分关于相同颜色通道的DC信号部分的信号强度;并且
-将检测到的相对通道信号强度与各自的参考值进行比较,所述参考值是从通过监测健康的对象生成的参考数据中获得的,其中,所述比较包括:确定所述至少两个颜色通道(96、98、100)中的至少两个的检测到的相对通道信号强度的比率,并且,将所述检测到的相对通道信号强度的比率与参考比率进行比较;并且
-根据所述检测到的相对通道信号强度与参考值的比较结果来导出血液组成指示性信息。
CN201480044583.6A 2013-08-06 2014-07-25 用于从远程检测到的电磁辐射中提取生理信息的***和方法 Active CN105473060B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361862565P 2013-08-06 2013-08-06
US61/862,565 2013-08-06
EP13179563.5 2013-08-07
EP13179563 2013-08-07
PCT/EP2014/065997 WO2015018657A1 (en) 2013-08-06 2014-07-25 System and method for extracting physiological information from remotely detected electromagnetic radiation

Publications (2)

Publication Number Publication Date
CN105473060A CN105473060A (zh) 2016-04-06
CN105473060B true CN105473060B (zh) 2019-12-03

Family

ID=48948290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480044583.6A Active CN105473060B (zh) 2013-08-06 2014-07-25 用于从远程检测到的电磁辐射中提取生理信息的***和方法

Country Status (7)

Country Link
US (2) US20160157761A1 (zh)
EP (1) EP3030137B1 (zh)
JP (1) JP6467417B2 (zh)
CN (1) CN105473060B (zh)
BR (1) BR112016002546A2 (zh)
RU (1) RU2016107770A (zh)
WO (1) WO2015018657A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948592A1 (en) * 2014-05-09 2015-11-12 Rensselaer Polytechnic Institute Luminous roof for nicu incubators for regulating circadian rhythms in infants and for providing high visibility of infant anatomy for healthcare staff
EP3087915B1 (en) * 2015-04-27 2022-02-09 Tata Consultancy Services Limited Method and system for noise cleaning of photoplethysmogram signals for estimating blood pressure
CN105380664A (zh) * 2015-11-05 2016-03-09 宋彤云 智能化血细胞分析仪
CN105433956A (zh) * 2015-11-06 2016-03-30 邢丽丽 全自动生化分析仪
CN105310656A (zh) * 2015-12-02 2016-02-10 王芳 血氧供给检测仪
CN105266825B (zh) * 2015-12-02 2017-10-31 薛光玉 一种血氧供给检测方法
US11191489B2 (en) * 2016-01-15 2021-12-07 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CN105942984B (zh) * 2016-05-26 2018-08-28 中国科学院苏州生物医学工程技术研究所 黄疸检测方法及其装置
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US11361411B2 (en) * 2016-09-16 2022-06-14 Qiagen Gmbh Neighbor influence compensation
CN107928630A (zh) * 2017-12-05 2018-04-20 河北医科大学第三医院 一种基于颜色比对的便携式多功能黄疸测量仪
WO2019126470A1 (en) * 2017-12-22 2019-06-27 Google Llc Non-invasive detection of infant bilirubin levels in a smart home environment
US11259710B2 (en) * 2018-05-16 2022-03-01 Mitsubishi Electric Research Laboratories, Inc. System and method for remote measurements of vital signs
WO2020020915A1 (en) * 2018-07-26 2020-01-30 Koninklijke Philips N.V. Device, system and method for detection of pulse of a subject
WO2020113466A1 (en) * 2018-12-05 2020-06-11 Boe Technology Group Co., Ltd. Method and apparatus for determining physiological parameters of a subject, and computer-program product thereof
CN110464308A (zh) * 2019-08-22 2019-11-19 南京医尔仁医疗科技有限公司 智能罐印检测仪及其检测方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4029085A (en) 1976-03-26 1977-06-14 Purdue Research Foundation Method for determining bilirubin concentration from skin reflectance
US5353790A (en) 1992-01-17 1994-10-11 Board Of Regents, The University Of Texas System Method and apparatus for optical measurement of bilirubin in tissue
CA2175178A1 (en) * 1995-06-06 1996-12-07 Anthony D. Buttitta Non-invasive bilirubin monitor
US6882873B2 (en) 1996-01-17 2005-04-19 Respironics, Inc. Method and system for determining bilirubin concentration
DE19741982A1 (de) 1996-09-23 1998-10-08 Blazek Vladimir Prof Dr Ing Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion
US6064898A (en) * 1998-09-21 2000-05-16 Essential Medical Devices Non-invasive blood component analyzer
JP3303831B2 (ja) * 1999-03-31 2002-07-22 ミノルタ株式会社 経皮的ビリルビン濃度測定装置およびこの測定装置に用いる測定データ検査板
EP2142095A1 (en) 2007-05-02 2010-01-13 Earlysense Ltd. Monitoring, predicting and treating clinical episodes
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
JP2012502671A (ja) * 2008-05-12 2012-02-02 アーリーセンス エルティディ 臨床症状のモニタリング、予測及び治療
EP2384686B8 (en) 2009-04-21 2013-01-16 Olympus Medical Systems Corp. Fluorescence image device and fluorescence image acquiring method
JP5715132B2 (ja) * 2009-08-20 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ 画像解析に関する方法及びシステム
EP2485639B1 (en) 2009-10-06 2019-08-14 Koninklijke Philips N.V. Method and system for carrying out photoplethysmography
US8666116B2 (en) 2009-10-06 2014-03-04 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
WO2011106792A2 (en) * 2010-02-26 2011-09-01 Myskin, Inc. Analytic methods of tissue evaluation
WO2011148280A1 (en) 2010-05-27 2011-12-01 Koninklijke Philips Electronics N.V. Apparatus and method for measuring an analyte such as bilirubin, using light
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei
GB201114406D0 (en) * 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
MX2014002199A (es) * 2011-09-02 2014-05-30 Koninkl Philips Nv Camara para generar una señal biometrica de un ser vivo.
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
WO2013038326A1 (en) 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
CN102861379B (zh) * 2012-09-04 2015-05-06 北京天助基业科技发展有限公司 新生儿黄疸治疗***
WO2014087310A1 (en) * 2012-12-04 2014-06-12 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being

Also Published As

Publication number Publication date
US20160157761A1 (en) 2016-06-09
WO2015018657A1 (en) 2015-02-12
JP2016528980A (ja) 2016-09-23
BR112016002546A2 (pt) 2017-08-01
US20170360340A1 (en) 2017-12-21
CN105473060A (zh) 2016-04-06
EP3030137B1 (en) 2023-09-13
JP6467417B2 (ja) 2019-02-13
RU2016107770A (ru) 2017-09-14
RU2016107770A3 (zh) 2018-05-29
US10575764B2 (en) 2020-03-03
EP3030137A1 (en) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105473060B (zh) 用于从远程检测到的电磁辐射中提取生理信息的***和方法
CN105009173B (zh) 用于确定对象的动脉血氧饱和度的设备和方法
CN105377126B (zh) 用于筛查对象的氧合状态的***
CN105792734B (zh) 用于获得远程光体积描记波形的改进的信号选择
CN104968259B (zh) 用于确定对象的生命体征信息的***和方法
CN105050492B (zh) 用于确定对象的生命体征的设备和方法
JP6615176B2 (ja) 非干渉的な皮膚組織ハイドレーション測定デバイス及び関連方法
CN108471989A (zh) 用于生成承载对象的生命体征信息的光体积描记图像的设备、***和方法
CN108471962A (zh) 用于确定对象的生命体征信息的设备、***和方法
CN106999116A (zh) 用于皮肤检测的设备和方法
Hu et al. Opto‐Physiological Modeling Applied to Photoplethysmographic Cardiovascular Assessment
Bousefsaf et al. Peripheral vasomotor activity assessment using a continuous wavelet analysis on webcam photoplethysmographic signals
CN106170242A (zh) 用于肿瘤检测和/或监测的设备、***和方法
US11712185B2 (en) Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
JP6970840B2 (ja) 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム
CN108778109A (zh) 用于确定对象的生命体征的设备、***和方法
Nowara et al. Seeing beneath the skin with computational photography
Peris et al. Validation of a Monte Carlo platform for the optical modelling of pulse oximetry
Amelard Widefield Computational Biophotonic Imaging for Spatiotemporal Cardiovascular Hemodynamic Monitoring
Sun Imaging photoplethysmography: Towards effective physiological measurements
Norvell Spectral Detection of Acute Mental Stress with VIS-SWIR Hyperspectral Imagery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant