CN112752541A - 从视频帧序列导出关于人的睡眠状态和清醒状态的信息 - Google Patents
从视频帧序列导出关于人的睡眠状态和清醒状态的信息 Download PDFInfo
- Publication number
- CN112752541A CN112752541A CN201980062885.9A CN201980062885A CN112752541A CN 112752541 A CN112752541 A CN 112752541A CN 201980062885 A CN201980062885 A CN 201980062885A CN 112752541 A CN112752541 A CN 112752541A
- Authority
- CN
- China
- Prior art keywords
- epochs
- algorithm
- motion
- state
- sleep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 7
- 206010062519 Poor quality sleep Diseases 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000002618 waking effect Effects 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 description 15
- 238000010606 normalization Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002028 premature Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008667 sleep stage Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009610 ballistocardiography Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000036630 mental development Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/04—Babies, e.g. for SIDS detection
- A61B2503/045—Newborns, e.g. premature baby monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Anesthesiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Power Engineering (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
为了获得关于人的睡眠状态和清醒状态的信息，使用了一种装置(100)，其包括摄像机(10)和处理单元(20)。摄像机(10)用于在时间段期间捕获视频帧序列，并且处理单元(20)被配置为处理摄像机(10)所提供的视频帧并且提供输出，该输出代表人在时间段期间的睡眠状态和清醒状态。特别地，处理单元(20)被配置为执行算法，根据该算法来确定以下各项：(i)运动值‑时间关系；(ii)在运动值‑时间关系中与相应时期有关的特征集合；以及(iii)相应时期的分类器，其中算法还被配置为将依据相应时期的运动值针对特定人所确定的自适应先验概率应用于分类器。
Description
技术领域
本发明涉及一种装置，其被设计为从视频帧序列导出关于人的睡眠状态和清醒状态的信息，该装置包括摄像机，该摄像机用于在时间段期间捕获视频帧序列；以及处理单元，该处理单元被配置为通过执行算法来处理摄像机所提供的视频帧并且提供代表人在该时间段期间的睡眠状态和清醒状态的输出。
本发明还涉及一种计算机程序产品，该计算机程序产品包括计算机程序的程序代码，该程序代码用于当计算机程序被加载在计算机上时，使得计算机执行所提及的装置的算法。
背景技术
在新生儿(足月婴儿和早产婴儿两者)的发育中，睡眠起着重要作用。对于解释婴儿的身心发育以及睡眠质量，监测婴儿的睡眠至关重要。这种监测通常基于在代表性时间段期间对清醒-睡眠模式的评估。为了获得关于清醒-睡眠模式的可靠信息，推荐具有多天的延长监测。
附着在婴儿脆弱的皮肤上的传感器可能导致刺激并损害皮肤。因此，期望使用不显眼的(非接触式)监测技术。已经开发出了许多不显眼的设备或***或最不显眼的设备或***，并且将其用于进行客观的婴儿睡眠监测。这样的设备或***的运转基于使用各种感测技术和各种工具，诸如体动记录法、心冲击描记法、电容心电图、电感式传感器、光电容积描记法、以及近红外摄像机或热摄像机。尤其地，基于相机的婴儿监测器已经在市场上得到了很好的商业化，这是因为它们的优点是监测完全不显眼。
关于摄像机的使用，应当指出，试图识别婴儿的面部和/或身体以及对应运动的用于人类跟踪的高级图像处理算法有望在标识婴儿的睡眠状态时发挥良好作用。然而，由于这些算法需要处置大量视频帧，所以在计算上代价较大，从而可能需要使用难以集成到相机中且成本高昂的高性能计算单元。
US 2016/364617 A1涉及远程生物特征监测***，其可以包括数字相机，该数字相机具有数字传感器、处理器和存储器。相机的处理器可以本地执行一种或多种算法，以对正在睡眠的受试者的所捕获的图像执行计算机视觉分析，从而确定受试者的活动状态。活动状态可以包括睡眠状态。
例如，可以应用体动记录分析算法，其包括步骤或操作，这些步骤或操作被配置为根据数字相机所捕获的一系列图像确定受试者是否正在移动。这种算法可以包括以下步骤：(i)对图像应用光流算法；(ii)确定选定时间事件的平均运动水平；(iii)通过比较平均运动与选定阈值确定受试者是否正在移动；(iv)将每个事件的结果累加到时期中；(v)根据需要对基于时期的移动确定进行平滑和过滤；以及(vi)基于阈值分析来确定受试者的活动状态。
Gunnarsdottir Kristin M等人的文章“A Novel Sleep Stage Scoring System：Combining Expert-Based Rules with a Decision Tree Classifier”(2018年第40届IEEE医学与生物工程学会国际年会，EMBC)，IEEE，2018年7月18日，第3240页至第3243页)公开了一种算法，该算法利用似然比决策树分类器，并且基于美国睡眠医学学会手册的预先定义的规则来从EEG信号、EMG信号和EOG信号中提取特征。特征在信号的时域和频域中按30秒时期计算，并且用作分类器的输入，该分类器将每个时期指派给五个可能阶段中的一个可能阶段。
JP 2012000375 A涉及一种睡眠状态确定设备，该设备能够确定人的睡眠状态，并且包括(i)身体运动量计算装置，其用于基于数据来计算身体运动量的时间系列波形数据，该数据通过摄像机检测受试者在睡眠期间的身体运动来获得；(ii)身体运动提取装置，其用于从所计算的身体运动的时间系列波形数据中提取在预先确定的时间或更长时间内连续进行的大身体运动，并且消除其中大身体运动受到约束的身体运动约束段中的身体运动；以及(iii)确定装置，其用于计算每个身体运动约束段中的大运动身体的静止持续时间，以提取大身体运动的时间间隔，并且基于大身体运动的时间间隔和大身体运动的身体运动量来确定受试者的睡眠状态被分类至多个睡眠深度阶段中的哪个深度睡眠阶段。
WO 2016/193030 A1涉及一种基于传感器数据来确定受试者的睡眠状态的方法和***，所述传感器数据从监测受试者的麦克风和相机和从感测受试者的身体移动的身体移动传感器获得。对音频数据、视频数据和身体移动数据进行分析，以将受试者的睡眠状态确定为以下各项中的一项：觉醒发声状态、觉醒非发声状态、REM睡眠状态、以及深度睡眠状态或轻度睡眠状态。
WO 2017/196695 A2涉及一种视频监测***，该视频监测***包括相机头部，该相机头部包括红外照明源和图像传感器。相机头部保持处于婴儿床上方的固定位置和方位，以使图像传感器从固定视角捕获婴儿床和与婴儿床相邻的介入区域的图像。该***可以包括服务器，其中相机头部被配置为向服务器传输流式视频信号，并且服务器被配置为分析视频信号，以便提取并提供关于婴儿床中婴儿的睡眠模式的行为信息。服务器还可以被配置为分析视频信号，以便检测护理人员在介入区域中所采取的动作。
发明内容
本发明的目的是提供一种无需应用昂贵装备即可监测人的睡眠状态和清醒状态的可靠方式。就这点而言，应当指出，在对婴儿的睡眠分析的情境中呈现并解释本发明的事实不应被理解为暗示本发明局限于这种情境。事实如下：本发明同样可适用于监测年龄较大的儿童和成人的睡眠状态和清醒状态。
根据本发明，提供了一种装置，该装置被设计为从视频帧序列导出关于人的睡眠状态和清醒状态的信息。该装置包括摄像机，其用于在时间段期间捕获视频帧序列；以及处理单元，其被配置为处理摄像机所提供的视频帧并且提供输出，该输出代表人在该时间段期间的睡眠状态和清醒状态，其中处理单元被配置为执行算法，根据该算法，(i)从视频帧确定运动值-时间关系；(ii)通过从相应时期中的每个时期中的运动值提取若干个不同特征，确定与运动值-时间关系中的相应时期有关的特征集合；以及(iii)通过将与相应时期有关的相应特征集合分类为代表人的睡眠状态或清醒状态，确定相应时期的分类器。该算法还被配置为将依据相应时期的运动值针对特定人所确定的自适应先验概率应用于分类器。
当把本发明付诸于实践时，在以下对本发明的各方面的进一步说明中，形式为摄像机的非接触设备用于捕获被假定为婴儿的人的视频流。提供了用于执行算法的处理单元，该算法被配置为量化来自视频流的身体运动，作为可靠睡眠/清醒标识过程中的步骤。可以应用用于从视频帧确定运动值-时间关系的任何合适技术。例如，该算法可以被配置为应用被称为3D递归搜索运动估计的技术，以便标识随时间的视频体动记录。
摄像机可以是任何合适的类型，并且可以例如使用RGB相机或红外相机。当涉及到相机相对于可能存在婴儿的区域(诸如床或保育箱)的位置时，所需要做的一切如下：相机被定位为使得它可以看到婴儿身体的至少一部分。除此之外，关于摄像机放置没有具体要求。
从总时间段(记录)中相应时期内的运动值-时间关系中提取表示身体运动以及也可能是处于睡眠的相对可能性的特征集合。为了减少婴儿之间和/或记录之间的可变性，可能有利的是使每个记录的特征归一化。与相应时期有关的相应特征集合被分类为代表人的睡眠状态或清醒状态，以使针对相应时期中的每个时期确定分类器。例如，该算法可以被配置为应用基于贝叶斯的线性判别分析来确定相应时期的分类器，这不会更改以下事实：在本发明的框架内，还可以应用其他类型的分析。
把本发明付诸实践还包括：执行个性化方法，以针对每个记录调整分类器的先验概率，以便在每个特定记录中找到针对每个特定人的先验概率。关于进一步调整分类器的方式的信息可以用于机器学习。
如可以根据运动值在相应时期内的分布和/或整个记录上的总运动百分比导出的任何信息都可以用于确定先验概率(priors)。例如，该算法可以被配置为依据具有非零运动值或运动值大于某个最小值的时期的数目值(即，运动值大于参考运动值的时期的数目值，该参考运动值等于或高于零)来确定自适应先验概率。就这点而言，该算法可以被特别配置为：当运动值大于参考运动值的时期的数目值等于或高于阈值时，指派高先验清醒概率，该阈值可能是经实验选取的阈值；并且当运动值大于参考运动值的时期的数目值低于阈值时，指派低先验清醒概率。可替代地，该算法可以被配置为确定运动值大于参考运动值的时期的数目值与先验清醒概率之间的最佳关系。运动值大于参考运动值的时期的数目值的示例包括百分比或诸如均值、中值、标准偏差、四分位数间距和熵之类的其他统计。最佳关系的实际示例包括如可以通过应用线性回归确定的最佳线性关系。其他示例包括预先定义的相关系数、非线性关系、以及分段线性/非线性关系。
进一步地，诸如中值过滤器之类的过滤器可以用于分类器以通过关于连续时期将短时段偏差从总体分类器模式移除，来使睡眠分类结果和清醒分类结果平滑并且生成最终分类结果。为了具有如所提及的过滤器，该算法可以被配置为评估两个时期序列是否被一个时期或数目有限的时期所中断，该两个时期序列均表示最小时间长度并且涉及要被分类为代表该人的睡眠状态或清醒状态中的仅一者的特征集合的，一个时期或数目有限的时期涉及要被分类为代表人的睡眠状态或清醒状态中的另一者的一个或多个特征集合；并且如果确实如此，则将一个时期或数目有限的时期的一个或多个分类器设置为与两个时期序列的分类器相同。这样，获得了平滑效果的结果，其中从长睡眠时段中移除暗示短清醒状态的分类器，并且其中从长清醒时段中移除暗示短睡眠状态的分类器。例如，不大于2或3的时期数目可以被认为是有限数目的时期。
要从相应时期中的每个时期中的运动值中提取的特征可以是任何合适类型的特征，诸如表示运动方面的特征。例如，这些特征包括以下各项中的至少一项：(i)相应时期中的每个时期中的运动值的均值；以及(ii)相应时期中的每个时期中的非零运动值或大于某个最小值的运动值(即，大于参考运动值的运动值，该参考运动值等于或高于零)的数目。附加地，要从相应时期中的每个时期中的运动值中提取的特征可以包括相对睡眠可能性，其中算法可以被配置为包括在确定相对睡眠可能性的过程中，确定相应时期中的每个时期与具有高活动水平的最近时期相距的时间距离的步骤。就这方面而言，应当指出，依赖于相应时期中的每个时期中的运动值的均值和大于相应时期中的每个时期中的参考运动值的运动值的数目中的至少一者，要从相应时期中的每个时期中的运动值中提取的特征还可以包括以下各项中的至少一项：(i)相对睡眠可能性，其中该算法被配置为包括在确定相对睡眠可能性的过程中，确定相应时期中的每个时期与具有高活动水平的最近时期相距的时间距离的步骤，并且其中该算法被配置为通过获取具有运动值的最高均值的时期来标识具有高活动水平的时期，具有该最高均值的时期达到全部数目的时期的预先确定的最大百分比；以及(ii)相对睡眠可能性，其中该算法被配置为包括在确定相对睡眠可能性的过程中，确定相应时期中的每个时期与具有高活动水平的最近时期相距的时间距离的步骤，并且其中该算法被配置为通过获取具有最高数目的运动值的时期来标识具有高活动水平的时期，这些运动值大于参考运动值，具有该最高数目的时期达到全部数目的时期的预先确定的最大百分比。应当理解，在标识睡眠装置/清醒状态的过程中包括相对睡眠可能性有助于该过程的最终输出的准确性。
如之前所提及的，该算法可以被配置为使特征归一化，以使可以减小诸如婴儿之间的变化和/或记录之间的变化之类的变化的影响。可以使用任何归一化过程，其包括Z分数、最大-最小、分位数、百分位数、以及单位标准偏差。
有利地，处理单元被设计为用于机器学习，从而甚至还可以改善分析结果，即，可以在装置的寿命期间提供对实际情形的甚至更好的检测。例如，该算法可以被配置为：在(i)基于特征所确定的初始分类器集合与(ii)通过至少应用自适应先验概率所确定的最终分类器集合之间的差异的基础上，确定机器学习分类器；以及就确定相应时期的分类器而言，使用机器学习分类器，以用于对算法进行调整。
尤其是在婴儿护理的情境中，可能期望把以下事实考虑在内：运动可能由于婴儿受到照料动作产生。鉴于此，被特别设计为用于婴儿护理的本发明的装置是可行的，并且涉及以下的一种特殊算法，该特殊算法被配置为将与相应时期有关的相应特征集合分类为代表除了婴儿的睡眠状态或清醒状态之外的婴儿的护理状态。在那种情况下，该算法可以被配置为当时期是活动水平高于阈值的时期时，将该时期的分类器设置为护理状态分类器，该阈值被选择用于区分清醒状态与护理状态。
在本发明的实际实施例中，可以提供一种计算机程序产品，其包括计算机程序的程序代码，以使得当计算机程序被加载在计算机上时，使得计算机执行该算法。
参考以下对本发明的理论背景的各项的详细描述以及把本发明付诸于实践的实际方式，本发明的上述和其他方面将变得显而易见并得以阐明。
附图说明
现在参考附图对本发明进行更详细的解释，在附图中，相同或相似的部分由相同的附图标记表示，并且其中：
图1图解地示出了根据本发明的装置的摄像机和处理单元，该装置用于监测婴儿在保育箱中的睡眠状态和清醒状态；
图2是处理单元要执行以用于在记录期间提供代表婴儿的睡眠状态和清醒状态的输出的算法的各个步骤的示意图；
图3示出了运动值-时间关系以及与其相关联的监测结果的图表的第一示例；
图4示出了运动值-时间关系以及与其相关联的监测结果的图表的第二示例；以及
图5示出了散点图以及具有非零运动值的时期百分比与若干个记录的清醒百分比之间的线性拟合。
具体实施方式
如先前所解释的，本发明是关于以非显眼的方式获得关于人的睡眠的可靠信息，其特别地通过捕获视频帧序列并且在分析视频帧时使用被编程为遵循某种算法的处理单元来进行。在许多情况下，当考虑某个时间段时，期望得知该人在该时间段的哪些时期处于睡眠状态以及该人在哪些时期处于清醒状态。根据本发明，人的运动的视频检测是要被执行以便获取所期望知识的分析的基础。
图1图解地示出了根据本发明的装置100的摄像机100和处理单元20，其用于监测婴儿30在保育箱40中的睡眠状态和清醒状态。由于实际上唯一要求是将摄像机10布置在摄像机10能够记录婴儿的身体的至少一部分的运动的位置处，所以摄像机10相对于保育箱40的定位并不是非常关键。为了使装置100的成本尽可能低，有利的是仅使用一个摄像机10，但这不会更改本发明也涵盖使用两个或甚至更多个摄像机10的事实。
处理单元20可以以各种方式提供。实际示例包括作为摄像机10的组成部分的处理单元20的布置以及与摄像机10分开定位的计算机***中的处理单元20的布置。在任何情况下，处理单元20被布置和配置为以便能够从摄像机10接收信息。进一步地，诸如屏幕(未示出)之类的任何类型的显示设备可以用于向用户显示从处理单元20输出的信息。出于传达信息的目的，装置100的一个或多个部件之间的通信可以通过有线***或以无线方式进行，其中如果需要，则可以使用互联网。
图2是处理单元20为了提供代表婴儿在记录期间的睡眠状态和清醒状态的输出所要执行的算法的各个步骤的图。以下描述是指各个步骤并且提供关于那些步骤中的每个步骤的其他信息，其中假设本发明应用于如图1所图示的情境，即，期望获得关于婴儿30在保育箱40中的清醒-睡眠模式的信息的情境。然而，应当理解，本发明还可应用于其他情境，包括其中婴儿(或老年人)在躺在床上的同时能够得到监控的家庭情境。
运动或视频体动记录(即，根据视频记录所估计的运动)主要由身体运动、父母的活动/照料或(例如，来自其他运动对象的)其他干扰引起。这是很重要的信息，该信息可以分辨婴儿30是否存在于保育箱40中，从而使得能够进一步自动分析婴儿的睡眠。主要构思如下：假设婴儿30通常在清醒状态期间所具有的身体运动程度比在睡眠状态期间的身体运动程度要高，则婴儿30的身体运动与婴儿的睡眠状态和清醒状态高度相关联。
在对视频帧的分析的第一步骤中，采用运动估计技术以将运动量化为视频体动记录(VA)。在所示的示例中，运动估计技术被假设为被称为3D递归搜索(3DRS)的技术。已经证实，该特定技术对于场景改变(尤其是光线改变)具有鲁棒性，从而意味着可以消除白天光线的影响。视频记录类型可以是处于灰度级的RGB。视频记录类型的另一可行示例是NIR，其中应当指出，RGB的应用可能最为适用于早产婴儿的情境，而NIR的应用可能最为适用于足月婴儿的情境。依据所采用的摄像机10，与视频记录相对应的原始3DRS运动估计可以具有大约15Hz的帧频，而且还可以具有诸如8Hz之类的另一帧频。
图3示出了与早产婴儿30有关的VA值的示例，该VA值通过运行用于处理以约15Hz的频率拍摄的具有约2小时记录的视频帧的3DRS算法而获得。图4示出了与健康足月婴儿30有关的VA值的示例，该VA值通过运行用于处理以约15Hz的相同频率拍摄的具有约24小时记录的视频帧的3DRS算法而获得。较大的VA估计值通常与大身体运动或更多的身体运动相对应。
在对视频帧的分析的第二步骤2中，从原始估计运动数据中提取特征。根据美国睡眠医学学会(AASM)的指南，应当对30秒的连续非重叠时期的睡眠状态进行分类。鉴于此，假设特征在30秒的基础上提取。在下文中，解释了如何提取每个时期的四个特征，那些特征中的两个特征基于VA值在相应时期内的均值来计算，而那些特征中的另外两个特征通过对相应时期内的非零VA值进行计数来计算。以这种方式获得的针对每个时期的四个特征的集合总结如下：
(i)视频体动活动记录均数(VAM)＝30秒内VA值(运动估计)的均值，其基于3DRS运动估计之后的原始VA数据而计算的；
(ii)视频体动记录计数(VAC)＝30秒内非零VA值(运动估计)的(平均)计数，其基于3DRS运动估计之后的原始VA数据而计算的；
(iii)基于VAM的相对睡眠可能性(PSVAM)＝相对睡眠可能性，其通过距具有高活动水平的最近时期的时间距离来量测，该高活动水平基于VAM而计算；以及
(iv)基于VAC的相对睡眠可能性(PSVAC)＝相对睡眠可能性，其通过距具有高活动水平的最近时期的时间距离来量测，该高活动水平基于VAC而计算。
在下文中，提供了各种特征的更多细节以及它们得以被确定的方式。
VAM旨在捕获身体移动的平均幅度，而VAC表征每个时期的移动频率，即，移动数目。假设30秒时期内的原始VA数据为u＝{u1，u2，...，uk}，其中当视频帧的频率为15Hz时，k为450，则通过以下等式计算VA数据在该时期内的均值：
并且通过以下等式计算非零VA数据在该时期内的(平均)计数：
其中
在身体移动减少的情形下，例如，在安静清醒期间，仅使用VAM或VAC标识清醒具有挑战性。通过在非常高的活动水平之前/之后提取用以表征处于睡眠状态的可能性PSVAM和PSVAC的特征，可以实现进一步的准确性。这可以通过量化每个时期和与其最接近的具有大量身体移动的时期之间的时间差的对数来完成，所述最接近的具有大量身体移动的时期与大VAM值或大VAC值相对应。通过利用10分钟的经实验优化的窗口进行移动平均操作，可以使结果平滑。对于每个记录，出于计算PSVAM值或PSVAC值的目的，考虑整个记录中具有VAM值或VAC值高于95百分位的VAM值或VAC值的时期具有高活动水平。假定与活动程度较高的时期较为接近的、并且因此具有较小时间差的时期更可能与清醒状态相对应，尽管其可能具有较少的身体移动。假设整个记录中存在一系列n个基于时期的VAM特征值或VAC特征值a＝{a1，a2，...，an}，则aT是其中特征值大于阈值T的a的子集，其中所关联的时期索引是eT＝{e1，e2，...，em}。相应地，有b＝{b1，b2，...，bn}是来自同一系列的PSVAM特征值或PSVAC特征值的集合。然后，可以计算时期x(x＝1，2，...，n)处的值bx，使得：
bx＝ln(min{|x-e1|，|x-e2|，...，|x-em|})
T可以被实验地选取为整个记录中例如95百分位的特征值。在任何情况下，根据前述内容可以得出，对视频帧进行分析的第二步骤2可能涉及：在对两个主要特征VAM和VAC进行计算之后，获得两个新的、次级特征PSVAM和PSVAC。
在对视频帧进行分析的第三步骤3中，为了减少VA所传递的天之间以及受试者之间的全局变化性，针对每个记录对特征进行归一化。对于PSVAM和PSVAC，可以使特征值归一化为整个记录的零均值和单位标准偏差(Z分数归一化)，同时对于VAM和VAC，将特征值归一化在0与1之间(最大-最小归一化)可能具有实用性。在本发明的框架之内，可以应用任何合适类型的归一化方法，其中应当指出，对于不同特征，归一化方法可能不同。
在对视频帧进行分析的第四步骤4中，在相应时期的特征集合的基础上，进行分类。特别地，对于每个时期，该特定时期的特征集合被分类为代表清醒状态或睡眠状态，可能还代表离开床(out-of-bed)状态。在图3和图4中，在相应图上方表示分类过程的结果。可以按任何合适方式确定相应时期的分类器。例如，在该过程中使用基于贝叶斯的线性判别分析可能具有实用性。
处理单元20被配置为把分类器的先验概率考虑在内。对视频帧进行分析的这一步骤是一个并行步骤，其由图2中的附图标记4a指示。一般而言，当做出决策时，分类器的先验概率通常被设置为优选至一个类别。基于身体移动指示清醒状态的假设，直观上而言，具有身体移动的越多时期的记录应当具有越多的清醒时期，从而导致清醒时期概率较高而睡眠时期概率较低。这由图5所示的显著相关性所证实，在图5中，图示了非零运动时期的百分比与清醒时期的百分比之间的关系。因此，本发明提出了一种依赖于非零运动的百分比的个性化自适应先验概率(adaptive priors)，其可以例如基于VAM或VAC来计算。当假设先验概率对于清醒而言为PriW而对于睡眠而言为1-PriW，并且假设具有非零运动的时期的百分比是PE时，对PE与阈值S进行比较。如果看起来PE大于S，则应当指派较高的PriW(PriW_high)，否则应当指派较低的PriW(PriW_low)，使得：
在涉及经实验选取的值的一个示例中，S为0.14，较高的PriW为0.5，而较低的PriW为0.1。还可以使用线性回归方法确定个性化先验概率，其中建立PE与PriW之间的最佳线性关系。
图5示出了散点图并且图示了非零运动时期的百分比与清醒时期的百分比之间的线性拟合。散点图从针对健康足月婴儿的45个记录中导出。在p＜0.0001时，皮尔森(Pearson)的相关系数为0.66。
在对视频帧进行分析的第五步骤5中，把持续时间“很短”的可疑分段的清醒状态或睡眠状态“过滤”掉，同时保留相对较长的清醒时段和睡眠时段以进行注释。因此，有利的是应用“低通过滤器”以使检测结果平滑，因为这样做，有可能纠正某个单个或非常短的误分类的清醒时段和睡眠时期。可以通过实验选取窗口大小以优化分类性能。
最后，处理单元20输出可以传达给用户并由用户解释的标识输出，以便向用户提供关于在记录时间内所记录的婴儿30的清醒-睡眠行为的知识。
在本发明的情境中，执行实验，以验证上文所描述的算法，并且检查本发明是否适合用于获得关于健康足月婴儿和早产婴儿两者的清醒-睡眠行为的可靠信息。对于早产婴儿，包括来自平均胎龄为29.9周的7个婴儿的45个视频记录(738×480像素或768×576像素)。对于健康足月婴儿，包括平均年龄为6个月的8个婴儿的29个小时(1280×720像素)的视频数据。纳入准则如下：足月婴儿(大部分时间)需要在自己的床上和卧室中睡觉。人工注释者在持续30秒的非重叠时期内对睡眠状态和清醒状态进行评分。这些注释用作自动分类的黄金标准。对于早产婴儿，照料也会被注释并且被认为是清醒的，但是清醒时期少得多。
为了演示所提出的分类算法的有效性，应用(与受试者无关的)留一受试者(leave-one-subject-out)交叉检验(LOOCV)。使用整体准确性和机会补偿度量Cohen’sKappa系数来评估分类性能。下表分别针对早产婴儿和健康足月婴儿使用不同特征集合和设置/方法对睡眠分类结果和清醒分类结果进行了比较和呈现。可以看出，对各个婴儿使用自适应先验概率并进行结果过滤可以改善早产婴儿和足月婴儿两者的分类性能。
睡眠分类结果和清醒分类结果可以用于更高水平的解释，例如，婴儿躺在床上的总时间、总睡眠时间、总清醒时间、觉醒次数、以及其他婴儿睡眠/清醒统计。如先前所提及的，出于监测年长于婴儿的人的清醒-睡眠行为的目的，本发明还涵盖了所提出的算法的应用。根据本发明的装置100可以用于家庭、医院和其他环境。应用本发明的原因可能多种多样，其包括获得人的睡眠质量信息的期望以及尽可能多地制定在清醒状态期间的照料行动的期望。
对于本领域技术人员而言，将会清楚的是，本发明的范围不限于上文所讨论的示例，但是在没有背离如所附权利要求所限定的本发明的范围的情况下，其若干修改和变型均是可能的。意图将本发明解释为包括所有这样的修改和变型，只要它们落入权利要求或其等同物的范围之内即可。虽然已经在附图和说明书中对本发明进行了详细说明和描述，但是这种说明和描述应当被认为仅是说明性或示例性的，而非限制性的。本发明不限于所公开的实施例。附图是示意性的，其中可能已经省略了理解本发明所不需要的细节，并且它们不一定按比例绘制。
通过研究附图、说明书和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解并实施所公开的实施例的变型。在权利要求中，词语“包括”不排除其他步骤或元件，并且不定冠词“一”或“一个”不排除多个。权利要求中的任何附图标记都不应被解释为限制本发明的范围。
除非另有明确指出，否则针对特定实施例或与之相关讨论的元件和方面可以与其他实施例的元件和方面适当地组合。因此，在互不相同的从属权利要求中记载某些措施的仅有事实并不指示不能有利地使用这些措施的组合。
如本文中所使用的术语“包括”将被本领域技术人员理解为涵盖术语“由......组成”。因此，就一个实施例而言，术语“包括”可能意指“由......组成”，但是在另一实施例中，可能意指“至少包含/包括所定义的种类以及可选地一个或多个其他种类”。
本发明的可能概述如下。为了从视频帧序列导出关于人的睡眠状态和清醒状态的信息，使用了一种装置，其包括摄像机10和处理单元20。摄像机10用于在时间段期间捕获视频帧序列，并且处理单元20被配置为处理摄像机10所提供的视频帧并且提供表示人在该时间段期间的睡眠状态和清醒状态的输出。特别地，处理单元20被配置为执行算法，根据该算法来确定以下各项：(i)运动值-时间关系；(ii)在运动值-时间关系中与相应时期有关的特征集合；以及(iii)相应时期的分类器，其中算法还被配置为将个性化自适应先验概率(即，依据相应时期的运动值针对特定人所确定的自适应先验概率)应用于分类器。
Claims (15)
1.一种装置(100)，被设计为从视频帧序列导出关于人的睡眠状态和清醒状态的信息，所述装置(100)包括：
-摄像机(10)，用于在时间段期间捕获视频帧序列，以及
-处理单元(20)，被配置为处理所述摄像机(10)所提供的视频帧并且提供输出，所述输出表示所述人在所述时间段期间的睡眠状态和清醒状态，其中所述处理单元(20)被配置为执行算法，根据所述算法，
-从所述视频帧确定运动值-时间关系，
-通过从相应时期中的每个时期中的所述运动值提取若干个不同特征，确定在所述运动值-时间关系中与所述相应时期有关的特征集合，
-通过将与所述相应时期有关的相应特征集合分类为表示所述人的睡眠状态或清醒状态，来确定所述相应时期的分类器，以及
-向所述分类器应用自适应先验概率，所述自适应先验概率针对所述特定人依据所述相应时期的所述运动值而被确定。
2.根据权利要求1所述的装置(100)，其中所述算法被配置为依据所述运动值在所述相应时期内的分布来确定所述自适应先验概率。
3.根据权利要求2所述的装置(100)，其中所述算法被配置为依据全部时期中具有大于参考运动值的运动值的时期的数目值来确定所述自适应先验概率，所述参考运动值等于或高于零。
4.根据权利要求3所述的装置(100)，其中所述算法被配置为：当具有大于所述参考运动值的运动值的时期的所述数目值等于或高于阈值(S)时，指派高先验清醒概率(PriW_high)；并且当具有大于所述参考运动值的运动值的时期的所述数目值低于所述阈值(S)时，指派低先验清醒概率(PriW_low)。
5.根据权利要求3所述的装置(100)，其中所述算法被配置为确定具有大于所述参考运动值的运动值的时期的所述数目值与先验清醒概率之间的最佳关系。
6.根据权利要求1至5中任一项所述的装置(100)，其中所述算法还被配置为将平滑过滤器应用于所述分类器，所述平滑过滤器关于连续时期将短时段偏差从总体分类器模式中移除。
7.根据权利要求6所述的装置(100)，其中为了具有所述平滑过滤器，所述算法被配置为：评估两个时期序列是否被一个时期或有限数目的时期所中断，所述两个时期序列均表示最小时间长度并且涉及要被分类为仅表示所述人的睡眠状态或清醒状态中的一者的特征集合，所述一个时期或有限数目的时期涉及要被分类为表示所述人的睡眠状态或清醒状态中的另一者的一个或多个特征集合；并且如果确实如此，则将所述一个时期或所述有限数目的时期的一个或多个所述分类器设置为与所述两个时期序列的所述分类器相同。
8.根据权利要求1至7中任一项所述的装置(100)，其中要从所述相应时期中的每个时期中的所述运动值中提取的所述特征包括以下至少一项：(i)所述相应时期中的每个时期中的所述运动值的均值；以及(ii)所述相应时期中的每个时期中大于参考运动值的运动值的数目，所述参考运动值等于或高于零。
9.根据权利要求8所述的装置(100)，其中要从所述相应时期中的每个时期中的所述运动值中提取的所述特征包括相对睡眠可能性，并且其中所述算法被配置为包括在确定所述相对睡眠可能性的过程中，确定所述相应时期中的每个时期距具有高活动水平的最近时期的时间距离的步骤。
10.根据权利要求8所述的装置(100)，其中要从所述相应时期中的每个时期中的所述运动值中提取的所述特征包括以下至少一项：(i)相对睡眠可能性，其中所述算法被配置为包括在确定所述相对睡眠可能性的过程中，确定所述相应时期中的每个时期距具有高活动水平的最近时期的时间距离的步骤，并且其中所述算法被配置为通过获取达到全部数目的时期的预先确定的最大百分比的、具有所述运动值的最高均值的时期，来标识具有高活动水平的时期；以及(ii)相对睡眠可能性，其中所述算法被配置为包括在确定所述相对睡眠可能性的过程中，确定所述相应时期中的每个时期距具有高活动水平的最近时期的时间距离的步骤，并且其中所述算法被配置为通过获取达到全部数目的时期的预先确定的最大百分比的、具有大于所述参考运动值的最高数目的运动值的时期，来标识具有高活动水平的时期。
11.根据权利要求1至10中任一项所述的装置(100)，其中所述算法被配置为使所述特征归一化。
12.根据权利要求1至11中任一项所述的装置(100)，其中所述算法被配置为：基于(i)在所述特征的基础上所确定的初始分类器集合与(ii)通过至少应用所述自适应先验概率所确定的最终分类器集合之间的差异，确定机器学习分类器；以及就所关心的确定所述相应时期的所述分类器而言，使用所述机器学习分类器，用以对所述算法进行调整。
13.根据权利要求1至12中任一项所述的装置(100)，其中所述算法被配置为应用3D递归搜索运动估计，以从所述视频帧确定所述运动值-时间关系，和/或应用基于贝叶斯的线性判别分析，以确定所述相应时期的所述分类器。
14.根据权利要求1至13中任一项所述的装置(100)，被设计为用于婴儿护理，其中所述算法被配置为将与所述相应时期有关的相应特征集合分类为表示除了所述婴儿的睡眠状态或清醒状态之外的所述婴儿(30)的护理状态，并且其中所述算法被配置为当时期是活动水平高于所选择的阈值的时期时，将所述时期的所述分类器设置为护理状态分类器，所选择的阈值用于区分所述清醒状态与所述护理状态。
15.一种计算机程序产品，包括计算机程序的程序代码，以当所述计算机程序被加载在计算机上时，使得所述计算机执行根据权利要求1至14中任一项所述的装置(100)的所述算法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18196574.0 | 2018-09-25 | ||
| EP18196574.0A EP3628213A1 (en) | 2018-09-25 | 2018-09-25 | Deriving information about a person's sleep and wake states from a sequence of video frames |
| PCT/EP2019/075442 WO2020064580A1 (en) | 2018-09-25 | 2019-09-23 | Deriving information about a person's sleep and wake states from a sequence of video frames |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112752541A true CN112752541A (zh) | 2021-05-04 |
Family
ID=63798795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980062885.9A Pending CN112752541A (zh) | 2018-09-25 | 2019-09-23 | 从视频帧序列导出关于人的睡眠状态和清醒状态的信息 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210275089A1 (zh) |
| EP (2) | EP3628213A1 (zh) |
| CN (1) | CN112752541A (zh) |
| WO (1) | WO2020064580A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220358645A1 (en) * | 2021-05-04 | 2022-11-10 | Bsolutions, Inc. | Systems and methods for developmental monitoring of children |
| WO2023278319A1 (en) * | 2021-06-27 | 2023-01-05 | The Jackson Laboratory | Visual determination of sleep states |
| WO2023195473A1 (ja) * | 2022-04-06 | 2023-10-12 | 株式会社島津製作所 | 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000189389A (ja) * | 1998-12-25 | 2000-07-11 | Matsushita Electric Works Ltd | 睡眠状態監視装置 |
| JP2003299636A (ja) * | 2002-04-12 | 2003-10-21 | Matsushita Electric Works Ltd | 睡眠時体動検出装置 |
| US20070156060A1 (en) * | 2005-12-29 | 2007-07-05 | Cervantes Miguel A | Real-time video based automated mobile sleep monitoring using state inference |
| CN104083160A (zh) * | 2014-06-30 | 2014-10-08 | 天津大学 | 一种基于机器视觉的睡眠状态监测方法及装置 |
| US20140371547A1 (en) * | 2013-06-12 | 2014-12-18 | Daniel Gartenberg | Sleep Monitoring and Stimulation |
| US20150190086A1 (en) * | 2014-01-03 | 2015-07-09 | Vital Connect, Inc. | Automated sleep staging using wearable sensors |
| CN104834946A (zh) * | 2015-04-09 | 2015-08-12 | 清华大学 | 一种非接触式睡眠监测方法及*** |
| CN105792733A (zh) * | 2013-11-28 | 2016-07-20 | 皇家飞利浦有限公司 | 睡眠监测装置 |
| CN106028915A (zh) * | 2013-12-19 | 2016-10-12 | 皇家飞利浦有限公司 | 婴儿监测装置 |
| US20160364617A1 (en) * | 2015-06-15 | 2016-12-15 | Knit Health, Inc. | Remote biometric monitoring system |
| EP3245943A1 (de) * | 2016-05-18 | 2017-11-22 | Motognosis UG (haftungsbeschränkt) | Verfahren zur berührungslosen ermittlung und aufbereitung von schlafbewegungsdaten |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2349174T3 (es) * | 2003-10-13 | 2010-12-28 | Novo Nordisk A/S | Aparato y método para la determinación de una condición fisiológica. |
| EP2380493A1 (en) * | 2010-04-21 | 2011-10-26 | Koninklijke Philips Electronics N.V. | Respiratory motion detection apparatus |
| JP2012000375A (ja) * | 2010-06-21 | 2012-01-05 | Ritsumeikan | 睡眠状態判定装置 |
| US9477909B2 (en) * | 2013-01-09 | 2016-10-25 | SynTouch, LLC | Object investigation and classification |
| US20160192218A1 (en) * | 2014-07-14 | 2016-06-30 | Under Armour, Inc. | Techniques for classifying sleep sessions |
| WO2016179651A1 (en) * | 2015-05-13 | 2016-11-17 | Resmed Limited | Systems and methods for screening, diagnosis, and monitoring of sleep-disordered breathing |
| WO2016193030A1 (en) * | 2015-06-03 | 2016-12-08 | Koninklijke Philips N.V. | Sleep monitoring method and system |
| JP6439729B2 (ja) * | 2016-03-24 | 2018-12-19 | トヨタ自動車株式会社 | 睡眠状態推定装置 |
| WO2017190085A1 (en) * | 2016-04-29 | 2017-11-02 | Fitbit, Inc. | Sleep monitoring system with optional alarm functionality |
| CN109074717B (zh) * | 2016-05-08 | 2020-12-11 | 乌迪森斯公司 | 监控摄像机和支架 |
| US11529104B2 (en) * | 2017-11-13 | 2022-12-20 | Ai Care Corporation | Method of blood pressure estimation using trend analysis |
| US11185281B2 (en) * | 2018-02-20 | 2021-11-30 | Koninklijke Philips N.V. | System and method for delivering sensory stimulation to a user based on a sleep architecture model |
| US11219405B2 (en) * | 2018-05-01 | 2022-01-11 | International Business Machines Corporation | Epilepsy seizure detection and prediction using techniques such as deep learning methods |
| US11456079B2 (en) * | 2018-08-16 | 2022-09-27 | Reciprocal Labs Corporation | Identification of asthma triggering conditions based on medicament device monitoring for a patient |
-
2018
- 2018-09-25 EP EP18196574.0A patent/EP3628213A1/en not_active Withdrawn
-
2019
- 2019-09-23 EP EP19770100.6A patent/EP3856010A1/en active Pending
- 2019-09-23 CN CN201980062885.9A patent/CN112752541A/zh active Pending
- 2019-09-23 US US17/272,959 patent/US20210275089A1/en active Pending
- 2019-09-23 WO PCT/EP2019/075442 patent/WO2020064580A1/en unknown
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000189389A (ja) * | 1998-12-25 | 2000-07-11 | Matsushita Electric Works Ltd | 睡眠状態監視装置 |
| JP2003299636A (ja) * | 2002-04-12 | 2003-10-21 | Matsushita Electric Works Ltd | 睡眠時体動検出装置 |
| US20070156060A1 (en) * | 2005-12-29 | 2007-07-05 | Cervantes Miguel A | Real-time video based automated mobile sleep monitoring using state inference |
| US20140371547A1 (en) * | 2013-06-12 | 2014-12-18 | Daniel Gartenberg | Sleep Monitoring and Stimulation |
| CN105792733A (zh) * | 2013-11-28 | 2016-07-20 | 皇家飞利浦有限公司 | 睡眠监测装置 |
| CN106028915A (zh) * | 2013-12-19 | 2016-10-12 | 皇家飞利浦有限公司 | 婴儿监测装置 |
| US20160310067A1 (en) * | 2013-12-19 | 2016-10-27 | Koninklijke Philips N.V. | A baby monitoring device |
| US20150190086A1 (en) * | 2014-01-03 | 2015-07-09 | Vital Connect, Inc. | Automated sleep staging using wearable sensors |
| CN104083160A (zh) * | 2014-06-30 | 2014-10-08 | 天津大学 | 一种基于机器视觉的睡眠状态监测方法及装置 |
| CN104834946A (zh) * | 2015-04-09 | 2015-08-12 | 清华大学 | 一种非接触式睡眠监测方法及*** |
| US20160364617A1 (en) * | 2015-06-15 | 2016-12-15 | Knit Health, Inc. | Remote biometric monitoring system |
| EP3245943A1 (de) * | 2016-05-18 | 2017-11-22 | Motognosis UG (haftungsbeschränkt) | Verfahren zur berührungslosen ermittlung und aufbereitung von schlafbewegungsdaten |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020064580A1 (en) | 2020-04-02 |
| EP3856010A1 (en) | 2021-08-04 |
| EP3628213A1 (en) | 2020-04-01 |
| US20210275089A1 (en) | 2021-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6588978B2 (ja) | 人の向き及び／又は位置の自動検出のための装置、システム、及び方法 | |
| Sathyanarayana et al. | Vision-based patient monitoring: a comprehensive review of algorithms and technologies | |
| Liao et al. | Video-based activity and movement pattern analysis in overnight sleep studies | |
| Li et al. | Noncontact vision-based cardiopulmonary monitoring in different sleeping positions | |
| CN112752541A (zh) | 从视频帧序列导出关于人的睡眠状态和清醒状态的信息 | |
| WO2013165550A9 (en) | Methods and systems for measuring dynamic changes in the physiological parameters of a subject | |
| CN112806966B (zh) | 一种非干扰式睡眠中呼吸暂停预警*** | |
| WO2017098265A1 (en) | Method and apparatus for monitoring | |
| WO2019003859A1 (ja) | 見守り支援システム及びその制御方法、及びプログラム | |
| Bennett et al. | Comparison of motion-based analysis to thermal-based analysis of thermal video in the extraction of respiration patterns | |
| CA3093173A1 (en) | System and method for processing multiple signals | |
| TİMUŞ et al. | k-NN-based classification of sleep apnea types using ECG | |
| Heinrich et al. | Video based actigraphy and breathing monitoring from the bedside table of shared beds | |
| KR101796871B1 (ko) | 영상 및 호흡 음향을 이용하여 수면 무호흡증을 진단하는 장치 | |
| EP2962282A1 (en) | Apparatus and method for detecting subjects on the basis of vital signs | |
| KR102150635B1 (ko) | 비전 기반 심박수 측정 방법 | |
| Murashov et al. | A technique for detecting diagnostic events in video channel of synchronous video and electroencephalographic monitoring data | |
| Siedel et al. | Contactless interactive fall detection and sleep quality estimation for supporting elderly with incipient dementia | |
| KR20150101323A (ko) | 영상처리 기반 생체신호 해석 장치 | |
| Carter et al. | Deep learning-enabled sleep staging from vital signs and activity measured using a near-infrared video camera | |
| JP7279812B2 (ja) | ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム | |
| EP3500167B1 (en) | Detection of caloric intake due to digestion | |
| Liao et al. | iWakeUp: A video‐based alarm clock for smart bedrooms | |
| Walsh et al. | Non-contact under-mattress sleep monitoring | |
| Zarándy et al. | Multi-Level Optimization for Enabling Life Critical Visual Inspections of Infants in Resource Limited Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |