CN112384135A - 心搏检测装置、心搏检测方法以及程序 - Google Patents

心搏检测装置、心搏检测方法以及程序 Download PDF

Info

Publication number
CN112384135A
CN112384135A CN201980043332.9A CN201980043332A CN112384135A CN 112384135 A CN112384135 A CN 112384135A CN 201980043332 A CN201980043332 A CN 201980043332A CN 112384135 A CN112384135 A CN 112384135A
Authority
CN
China
Prior art keywords
vibration wave
heart rate
heart beat
delay
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980043332.9A
Other languages
English (en)
Inventor
速水淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Enlightened Hall Co ltd
Murakami Corp
Original Assignee
Murakami Enlightened Hall Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Enlightened Hall Co ltd filed Critical Murakami Enlightened Hall Co ltd
Publication of CN112384135A publication Critical patent/CN112384135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明提高心率的检测精度并且缩短心率的检测时间。心搏检测装置(1)具备心搏检测部(16)，该心搏检测部(16)使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率，该摄影图像是用户的一部分身体表面的摄影图像，所述心搏检测部(16)运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。

Description

心搏检测装置、心搏检测方法以及程序
技术领域
本发明涉及一种心搏检测装置、心搏检测方法以及程序。
背景技术
以往，存在以下技术：根据用户的摄影图像检测心率来评价压力。由于能够在不与用户的身体表面接触的情况下测量心率，因此能够简便地进行压力评价。
作为心率的检测方法，提出了以下方法：例如根据进行了色素成分分离后的摄影图像的像素平均值的时间变化来求出心搏间隔数据，对求出的心搏间隔数据进行频率变换，由此，检测脉搏(例如，参照专利文献1。)。
现有技术文献
专利文献
专利文献1：日本特开2017-29318号公报
发明内容
发明要解决的问题
然而，即使用户只是稍微活动，摄影图像的亮度也会较大地发生改变。频率变换容易受到用户的活动那样的长周期成分的影响，因此，心率的检测精度容易降低。为了获得充分的检测精度，必须增加摄影图像的帧数，导致数据量和运算量增加，从而心率的检测时间拖长。
本发明的目的在于提高心率的检测精度并且缩短心率的检测时间。
用于解决问题的方案
根据方案1所述的发明，提供一种心搏检测装置，具备心搏检测部，该心搏检测部使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率，该摄影图像是用户的一部分身体表面的摄影图像，
所述心搏检测部运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
根据上述心搏检测装置，根据延迟前与延迟后的各振动波之间的差，求出心搏的具有周期性的振动波成分，因此即使在振动波中包含因用户的活动引起的长周期的振动波成分的情况下，也能够高精度地检测心率。另外，能够通过亮度的加法运算和各振动波的减法运算的简易的运算来运算心率，因此能够以较少的运算量检测心率。因而，也能够缩短心率的检测时间。
根据方案2所述的发明，提供根据方案1所述的心搏检测装置，其中，
所述心搏检测部将从所述差的波形开始的时间点起到最初的所述峰出现的时间点为止作为一个周期，来运算所述心率。
由此，能够减少心搏以外的振动波的影响地求出心搏的周期，心率的检测精度进一步提高。
根据方案3所述的发明，提供根据方案1或2所述的心搏检测装置，其中，
具备判定部，该判定部判定由所述心搏检测部检测出的心率的可靠性，将所述可靠性与所述心率一起输出。
由此，能够与心率一起提供心率的可靠性。
根据方案4所述的发明，提供根据方案1～3中的任一项所述的心搏检测装置，其中，
所述亮度是绿的亮度。
由此，对由于搏动而量发生变动的血红蛋白的灵敏度提高，心率的检测精度进一步提高。
根据方案5所述的发明，提供根据方案1～4中的任一项所述的心搏检测装置，其中，
具备ROI设定部，该ROI设定部对所述摄影图像设定ROI，
所述心搏检测部运算所述ROI内的亮度的总和。
由此，能够减少亮度的总和的运算量，能够进一步缩短心率的检测时间。
根据方案6所述的发明，提供根据方案1～5中的任一项所述的心搏检测装置，其中，
所述摄影图像是所述用户的脸的摄影图像，
所述心搏检测装置具备：
特征点提取部，其在各帧所述摄影图像中提取所述脸的特征点；以及
追随部，其利用所述特征点将各帧所述摄影图像的脸的位置对准。
由此，能够减少因用户的活动引起的噪声成分，心率的检测精度进一步提高。
根据方案7所述的发明，提供一种心搏检测方法，包括使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率的步骤，该摄影图像是用户的一部分身体表面的摄影图像，
在检测心率的所述步骤中，运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
根据上述心搏检测方法，根据延迟前与延迟后的各振动波之间的差，求出心搏的具有周期性的振动波成分，因此即使在振动波中包含因用户的活动引起的长周期的振动波成分的情况下，也能够高精度地检测心率。另外，能够通过亮度的加法运算和各振动波的减法运算的简易的运算来运算心率，因此能够以较少的运算量检测心率。因而，也能够缩短心率的检测时间。
根据方案8所述的发明，提供一种程序，用于使计算机执行使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率的步骤，该摄影图像是用户的一部分身体表面的摄影图像，
在检测心率的所述步骤中，运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
根据上述程序，根据延迟前与延迟后的各振动波之间的差，求出心搏的具有周期性的振动波成分，因此即使在振动波中包含因用户的活动引起的长周期的振动波成分的情况下，也能够高精度地检测心率。另外，能够通过亮度的加法运算和各振动波的减法运算的简易的运算来运算心率，因此能够以较少的运算量检测心率。因而，也能够缩短心率的检测时间。
发明的效果
根据本发明，能够提高心率的检测精度并且缩短心率的检测时间。
附图说明
图1是按照每个功能示出本发明的实施方式的心搏检测装置的结构的框图。
图2是示出从脸图像提取出的特征量的一例的图。
图3是示出表示亮度的总和在时间上的变化的振动波的一例的曲线图。
图4是示出校正后的振动波的曲线图。
图5A是示出延迟前的振动波和延迟后的各振动波的一例的曲线图。
图5B是示出延迟前的振动波与延迟后的各振动波之间的差的波形的一例的曲线图。
图6是示出延迟前的振动波与延迟后的振动波之间的差的波形的曲线图。
图7是示出心率的显示例的曲线图。
图8是示出心搏检测装置检测心率时的处理过程的流程图。
具体实施方式
下面，参照附图来说明本发明的心搏检测装置、心搏检测方法以及程序的实施方式。
图1是按照每个功能示出作为本发明的一个实施方式的心搏检测装置1的结构的框图。
如图1所示，心搏检测装置1与摄影装置2连接，根据从摄影装置2输入的用户的摄影图像检测心率。另外，心搏检测装置1与显示装置3连接，将检测出的心率向显示装置3输出。
(摄影装置)
摄影装置2生成按时间序列拍摄出的多帧摄影图像，该摄影图像是用户的一部分身体表面的摄影图像。在本实施方式中，摄影图像是各像素具有R(红)、G(绿)和B(蓝)的亮度的位图图像。另外，摄影图像是用户的脸的摄影图像。当摄影图像中包含脸时，容易基于脸的特征点的位置来在各帧间进行摄影图像的位置对准。
(显示装置)
显示装置3显示从心搏检测装置1输出的心率。作为显示装置3，例如能够使用LCD(Liquid Crystal Display：液晶显示器)、触摸面板等。
(心搏检测装置)
如图1所示，心搏检测装置1被构成为具备脸提取部11、特征点提取部12、追随部13、ROI设定部14、亮度提取部15、心搏检测部16以及判定部17。
心搏检测装置1的各结构部的处理内容能够由FPGA(Field-Programmable GateArray：现场可编程门阵列)、LSI(Large Scale Integration：大规模集成电路)等硬件实现。另外，各结构部的处理内容也能够通过由计算机从存储记述有其处理过程的程序的存储介质中读取并执行该程序的软件处理来实现。作为计算机，例如能够使用CPU(CentralProcessing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)等处理器。作为存储介质，能够使用硬盘、ROM(Read Only Memory：只读存储器)等。
脸提取部11从自摄影装置2输入的摄影图像中提取用户的脸的区域。作为脸提取部11对脸的识别方法，没有特别限定，例如能够使用模板匹配等公知的方法。
特征点提取部12从由脸提取部11提取出的脸的区域中提取多个特征点，运算各特征点的特征量。作为能够使用的特征点的提取方法，没有特别限定，例如能够列举出FAST、Harris等角点特征量、SURF、KAZE等局部特征量、梯度直方图等。
追随部13基于由特征点提取部12提取出的特征点的位置，将各帧摄影图像的脸的位置对准。具体地说，追随部13以使在从摄影装置2输入的当前帧与稍前帧中特征量的相似度最高的特征点彼此的位置一致的方式，对当前帧的摄影图像进行投影变换。由此，能够使当前帧的脸的位置追随稍前帧的脸的位置。
ROI设定部14对由追随部13对准了脸的位置的摄影图像设定ROI(Region OfInterest：感兴趣区域)。ROI设定部14能够任意设定ROI的位置和尺寸，但是，优选将包括口周边或鼻周边的区域设定为ROI。在口周边或鼻周边的区域中，血中的血红蛋白量的变化容易呈现在身体表面，从而容易检测心率。摄影图像中的口和鼻的位置能够通过模板匹配等来检测。
图2示出了摄影图像的一例。
如图2所示，从摄影图像50中提取了脸的区域51，并提取了特征点。在图2中，特征点用十字形的标记表示。在脸的区域51中包括鼻和口的区域52被设定为ROI。
亮度提取部15提取摄影图像的R、G和B的亮度中的、用于心率的检测的亮度。通过哪一个颜色的亮度都能够检测心搏，但是，亮度提取部15优选提取G的亮度。G的亮度对由于搏动而量发生变化的血红蛋白的灵敏度较高，容易提高心率的检测精度。
心搏检测部16运算各帧摄影图像的亮度的总和，使表示亮度的总和在时间上的变化的振动波每次延迟固定时间。心搏检测部16根据延迟前的振动波与延迟后的各振动波之间的差来运算心率。
如图1所示，心搏检测部16具备积分运算部161、校正部162以及相关运算部163。
积分运算部161运算各帧摄影图像的亮度的总和。积分运算部161也能够运算摄影图像的全部区域的亮度的总和，但是优选运算由ROI设定部14设定出的ROI内的亮度的总和。由此，能够减少运算量，能够缩短心率的检测时间。
与各帧摄影图像的摄影时间相对地标绘根据各帧摄影图像运算出的亮度的总和，由此，获得表示亮度在时间上的变化的振动波。血中的血红蛋白的量由于搏动而发生变化，摄影图像的亮度由于该血红蛋白的量而发生变化。因此，获得的振动波包含心搏的振动波。
图3示出了表示ROI的亮度的总和在时间上的变化的振动波的一例。
如图3所示，振动波中包含周期性的振动波成分。
校正部162对由积分运算部161获得的振动波进行校正。作为校正之一，校正部162对振动波进行滤波处理，来去除对心搏没有影响的振动波成分。虽然存在个体差异，但是，一般地说，心搏的振动波的频率在1Hz附近，根据身体状态而在0.7Hz～2.0Hz左右的范围内变动。校正部162提取该范围附近的频率的振动波成分、例如处于0.1Hz～2.8Hz的频带的振动波成分，由此能够去除对心搏没有影响的噪声成分。作为能够用于滤波处理的滤波器，能够列举出带通滤波器、高通滤波器、低通滤波器等。
另外，作为校正之一，校正部162进行自动增益控制(AGC：Auto Gain Control)，由此，将振动波的振幅调整为固定。
图4示出了对图3所示的振动波进行校正而获得的振动波。
如图4所示，通过校正来去除了作为噪声成分的振动波，获得了对心搏的振动波成分进行了强调的振动波。
相关运算部163使由校正部162获得的振动波每次延迟固定时间，运算延迟前的振动波与延迟后的各振动波之间的差。具体地说，相关运算部163将由校正部162获得的振动波保持于缓冲存储器等存储器，并将延迟固定时间后的各振动波保持于环形缓冲存储器等存储器。相关运算部163运算所保持的延迟前的振动波与延迟后的各振动波之间的差。
图5A示出了延迟前的振动波与延迟后的各振动波的一例。
如图5A所示，从原本的振动波W0起延迟将固定时间t分别乘以i(i为1以上的整数)而得到的时间，来获得各振动波Wi。例如，振动波W1是从振动波W0起延迟固定时间t后得到的振动波，振动波W2是从振动波W1起进一步延迟固定时间t后得到的振动波、即从振动波W0起延迟了时间2t后得到的振动波。
相关运算部163在运算期间Tc内分别将延迟前的振动波W0与延迟后的各振动波Wi进行比较，计算它们之间的差。
运算期间Tc能够根据作为检测对象的心搏的周期来决定。例如，在检测心率为30BPM以上的心搏的情况下，一个周期为约2秒，因此，优选将运算期间Tc决定为至少两个周期以上的4秒以上。
具体地说，相关运算部163在运算期间Tc内以固定的采样间隔对延迟前的振动波W0和延迟后的各振动波Wi进行采样。采样间隔是与各振动波Wi的延迟量相同的时间。相关运算部163如下述式子所示那样计算采样得到的延迟前的振动波W0j与延迟后的各振动波Wij之间的差的绝对值的总和Sj。此外，j表示采样的次数，j＝0～i。
Sj＝∑{abs(W0j-Wij)}
在上述式子中，abs()表示用于输出()内的运算结果的绝对值的函数。W0j表示采样得到的延迟前的振动波W0的振幅值。Wij表示采样得到的延迟后的各振动波Wi的振幅值。
图5B示出差的绝对值的总和Sj的波形。
例如，根据图5A所示的振动波W0～Wi，如以下那样计算图5B中的S0、S1、S2...Si。
S0＝abs(W00-W00)+abs(W01-W01)+···+abs(W0i-W0i)
S1＝abs(W00-W10)+abs(W01-W11)+···+abs(W0i-W1i)
S2＝abs(W00-W20)+abs(W01-W21)+···+abs(W0i-W2i)
···
Si＝abs(W00-Wi0)+abs(W01-Wi1)+···+abs(W0i-Wii)
如心搏那样具有周期性的振动波当延迟固定时间时，与原本的振动波之间的差变大，但是，当进一步延迟而周期与自身振动波的周期一致时，该差为小。因此，如图5B所示，当以与延迟时间相同的采样间隔输出Sj时，能够获得如下振动波Wc：该振动波Wc是以原本的振动波W0即心搏的振动波的周期作为基本周期的重复的波。振动波Wc表示原本的振动波W0的自相关性，值越小，自相关性越高。
原本的振动波W0彼此之间的差为0，因此，其总和S0也为0。例如，当设为从振动波W0偏离心搏的一个周期后得到的波形是振动波Wi时，振动波W0与振动波Wi的波形相同或类似，因此，差的绝对值的总和Si为0或接近0的值。如图5B所示，接着S0下一个总和为小的是Si，S0与Si之间相当于心搏的一个周期。
此外，由相关运算部163在运算期间Tc的期间输出延迟后的振动波Wi。
例如，在振动波W0的延迟时间为1/32秒、运算期间Tc为8秒的情况下，相关运算部163输出振动波W1～W255。采样间隔为与延迟时间相同的1/32秒，因此，在运算期间Tc的期间进行了256次采样。
相关运算部163根据延迟前的振动波与延迟后的各振动波之间的差的波形中差为小时的峰的周期来运算心率。具体地说，相关运算部163将从差的波形开始的时间起到差为小时的最初的峰的时间为止决定为心搏的周期。相关运算部163根据决定出的心搏的周期来运算并输出心率。此外，由于在差的波形中出现差为小时的多个峰，因此相关运算部163也可以根据各峰之间的周期运算心率，但是，如上述那样根据最初的峰运算心率的话，心率的可靠性高，是优选的。
图6示出了延迟前的振动波与延迟后的各振动波之间的差的波形。
如图6所示，从差的波形开始的时间t1起到差为小时的最初的峰的时间t2为止是心搏的一个周期。在图6的例子中，根据时间差(t2-t1)而获得心率为65.74(BPM)这样的运算结果。
判定部17判定由心搏检测部16检测出的心率的可靠性。例如，判定部17计算由心搏检测部16检测出的最近5个心率的方差值。能够是，如果方差值小于阈值，则判定部17将心率的可靠性决定为高可靠性，如果方差值为阈值以上，则判定部17将心率的可靠性决定为低可靠性。可靠性也可以被分成多个等级。例如，判定部17也能够对方差值使用多个阈值，以三个等级判定可靠性。
另外，能够是，如果心率处于固定范围内、例如30～150(BPM)的范围内，则判定部17将心率的可靠性决定为高可靠性，如果心率处于固定范围外，则判定部17将心率的可靠性决定为低可靠性。判定部17也能够运算或获取用户的平均心率，根据检测出的心率是否处于距平均心率固定范围内来决定可靠性。
在延迟前的振动波与延迟后的各振动波之间的差的波形中，用于决定心搏的周期的峰的顶点的值越小，则差的波形越接近心搏的振动波。因此，也能够是，在用于决定心搏的周期的峰的顶点的值低于固定值的情况下，判定部17将心率的可靠性决定为高可靠性，在用于决定心搏的周期的峰的顶点的值为固定值以上的情况下，判定部17将心率的可靠性决定为低可靠性。
判定部17将判定出的可靠性与由心搏检测部16检测出的心率一起输出。在显示装置3中显示心率时，能够将心率与可靠性一起显示。也可以以与可靠性相应的显示方式显示心率。例如，能够是，在显示心率时，可靠性高的心率用黑色显示，可靠性低的心率用红色显示。
图7示出了心率的显示例。
如图7所示，按时间序列显示着由心搏检测装置1每隔固定时间检测出的心率的标绘。各心率中判定为可靠性高的心率用圆标记显示，判定为可靠性低的心率用三角标记显示。
图8是示出在上述心搏检测装置1中检测心搏时的处理过程的流程图。
如图8所示，在心搏检测装置1中，脸提取部11从自摄影装置2输入的用户的身体表面的摄影图像中提取脸的区域(步骤S1)。特征点提取部12从检测出的脸的区域中提取特征点(步骤S2)。在其结果是未提取到多个特征点的情况下(步骤S3：“否”)，返回到步骤S1的处理。
在提取到多个特征点的情况下(步骤S3：“是”)，追随部13判定在当前帧的摄影图像中提取出的各特征点与稍前帧的摄影图像中提取出的各特征点之间的相似度。追随部13以使相似度最高的特征点的位置一致的方式，对当前帧的摄影图像进行投影变换，来使当前帧的脸的位置追随稍前帧的脸的位置(步骤S4)。通过追随，能够从表示摄影图像中的亮度在时间上的变化的振动波中减去用户的活动造成的噪声成分。
ROI设定部14对追随了脸的位置后的当前帧的摄影图像设定ROI(步骤S5)。另一方面，亮度提取部15从自摄影装置2输入的摄影图像中提取G的亮度(步骤S6)。
在心搏检测部16中，积分运算部161求出在所设定的ROI中G的亮度的总和并将其保存到存储器中。积分运算部161从存储器中读出固定期间内的G的亮度的总和，运算表示所读出的各亮度的总和在时间上的变化的振动波(步骤S7)。校正部162对该振动波进行校正(步骤S8)。在此，在被运算了振动波的摄影图像的帧数未达到固定数量、还未获得与运算期间Ts对应的振动波的情况下(步骤S9：“否”)，返回到步骤S2的处理。
另一方面，在被运算了振动波的摄影图像的帧数达到固定数量从而获得了与运算期间Ts对应的振动波的情况下(步骤S9：“是”)，相关运算部163使校正处理后的振动波每次延迟固定时间，求出延迟前的振动波与延迟后的各振动波之间的差的波形。相关运算部163将差的波形中从波形开始的时间点起到差变小的最初的峰出现的时间点为止作为心搏的一个周期，来运算心率(步骤S10)。
判定部17判定由心搏检测部16运算出的心率的可靠性(步骤S11)。使由心搏检测部16运算出的心率与由判定部17判定出的可靠性一起向显示装置3输出。在显示装置3中，所输出的心率用数值、曲线图等显示方式显示。心率的显示方式能够根据可靠性而不同。
如果没有心率的测定结束的指示(步骤S12：“否”)，则返回到步骤S2。在被指示了测定结束的情况下(步骤S12：“是”)，结束本处理。
如上面那样，本实施方式的心搏检测装置1具备心搏检测部16，该心搏检测部16使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率，该摄影图像是用户的一部分身体表面的摄影图像。心搏检测部16运算各帧摄影图像的亮度的总和，使表示亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中差为小时的峰的周期，运算心率。
根据上述实施方式，根据延迟前与延迟后的各振动波之间的差，求出心搏的具有周期性的振动波成分，因此，即使在振动波中包含因用户的活动引起的长周期的振动波成分的情况下，也能够高精度地检测心率。另外，能够通过亮度的加法运算和各振动波的减法运算的简易的运算来运算心率，因此，能够以较少的运算量检测心率。因而，也能够缩短心率的检测时间。
在通过对表示亮度在时间上的变化的振动波进行傅立叶变换、小波变换等频率变换来运算心率的情况下，难以如本实施方式那样以256点左右的采样数求出心搏的周期。为了获得心率的充分的检测精度，需要更多的采样数。另外，频率变换容易受到与心搏相比长周期的振动波成分的影响，分辨率变低，因此，难以高精度地提取心搏的振动波成分。
在对表示亮度在时间上的变化的振动波使用自相关函数运算心率的情况下，也受到与心搏相比长周期的振动波成分的影响，难以高精度地提取心搏的振动波。此外，自相关函数一般用R(t,s)＝E[(Xt-μ)(Xs-μ)]/σ2(Xt和Xs分别表示时刻t和s时的值，μ表示Xt的平均，σ2表示方差，E表示期望值。)的式子表示。
另一方面，根据本实施方式，利用延迟后的各振动波的差求出心搏的周期，因此，长周期的振动波成分的影响较少，能够高精度地运算心搏的周期。另外，与需要乘法运算、除法运算、使用函数的复杂的运算的频率变换、自相关函数等相比，根据本实施方式，能够仅通过加法运算和减法运算来检测心率，由于运算量较少，因此能够缩短检测时间。
上述实施方式是本发明优选的一例，并不限定于此。能够在本发明的技术思想的范围内适当变更。
例如，能够用于心率的检测的摄影图像不限于上述的具有R、G和B的亮度的摄影图像，也可以是具有L*、a*和b*等R、G和B以外的色彩空间的亮度的摄影图像。另外，亮度提取部15也可以提取对R、G和B的各亮度进行加权平均而获得的亮度、表示明亮度的亮度等，来作为用于心率的检测的亮度。根据本发明，即使是G以外的亮度，也能够高精度地检测心率。
另外，用于心率的检测的摄影图像只要是用户的一部分身体表面的摄影图像即可，也可以不是脸的摄影图像而是例如手腕或手背、脖子等脸以外的其它部位的身体表面的摄影图像。
本申请主张基于在2018年6月28日申请的作为日本专利申请的日本特愿2018-122754号的优先权，引用该日本专利申请的全部记载内容。
附图标记说明
1：心搏检测装置；11：脸提取部；12：特征点提取部；13：追随部；14：ROI设定部；16：心搏检测部；161：积分运算部；162：校正部；163：相关运算部；17：判定部。

Claims (8)

1.一种心搏检测装置，具备心搏检测部，该心搏检测部使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率，该摄影图像是用户的一部分身体表面的摄影图像，
所述心搏检测部运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
2.根据权利要求1所述的心搏检测装置，其中，
所述心搏检测部将从所述差的波形开始的时间点起到最初的所述峰出现的时间点为止作为一个周期，来运算所述心率。
3.根据权利要求1或2所述的心搏检测装置，其中，
具备判定部，该判定部判定由所述心搏检测部检测出的心率的可靠性，将所述可靠性与所述心率一起输出。
4.根据权利要求1～3中的任一项所述的心搏检测装置，其中，
所述亮度是绿的亮度。
5.根据权利要求1～4中的任一项所述的心搏检测装置，其中，
具备感兴趣区域设定部，该感兴趣区域设定部对所述摄影图像设定感兴趣区域，
所述心搏检测部运算所述感兴趣区域内的亮度的总和。
6.根据权利要求1～5中的任一项所述的心搏检测装置，其中，
所述摄影图像是所述用户的脸的摄影图像，
所述心搏检测装置具备：
特征点提取部，其在各帧所述摄影图像中提取所述脸的特征点；以及
追随部，其利用所述特征点将各帧所述摄影图像的脸的位置对准。
7.一种心搏检测方法，包括使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率的步骤，该摄影图像是用户的一部分身体表面的摄影图像，
在检测心率的所述步骤中，运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
8.一种程序，用于使计算机执行使用按时间序列拍摄出的多帧摄影图像的亮度来检测心率的步骤，该摄影图像是用户的一部分身体表面的摄影图像，
在检测心率的所述步骤中，运算各帧所述摄影图像的亮度的总和，使表示所述亮度的总和在时间上的变化的振动波每次延迟固定时间，根据延迟前的振动波与延迟后的各振动波之间的差的波形中所述差为小时的峰的周期，运算所述心率。
CN201980043332.9A 2018-06-28 2019-06-03 心搏检测装置、心搏检测方法以及程序 Pending CN112384135A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018122754 2018-06-28
JP2018-122754 2018-06-28
PCT/JP2019/021961 WO2020003910A1 (ja) 2018-06-28 2019-06-03 心拍検出装置、心拍検出方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112384135A true CN112384135A (zh) 2021-02-19

Family

ID=68986477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043332.9A Pending CN112384135A (zh) 2018-06-28 2019-06-03 心搏检测装置、心搏检测方法以及程序

Country Status (5)

Country Link
US (1) US20210244287A1 (zh)
JP (1) JPWO2020003910A1 (zh)
CN (1) CN112384135A (zh)
DE (1) DE112019003225T5 (zh)
WO (1) WO2020003910A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022201505A1 (zh) * 2021-03-26 2022-09-29

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007809A (zh) * 2013-02-26 2015-10-28 株式会社村田制作所 脉搏波传播时间测量装置
CN105979861A (zh) * 2014-02-12 2016-09-28 皇家飞利浦有限公司 用于基于反射和透射的光来确定对象的生命体征的设备、***和方法
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
JP2017029318A (ja) * 2015-07-30 2017-02-09 国立大学法人 千葉大学 ストレスモニタリング用画像処理方法及びそのプログラム
CN106618542A (zh) * 2015-10-28 2017-05-10 中国科学院上海高等研究院 一种去噪心率信号检测装置及方法
US20170156632A1 (en) * 2015-08-14 2017-06-08 Albert Joseph Swiston Ingestible devices and methods for physiological status monitoring
TW201801671A (zh) * 2016-07-11 2018-01-16 義明科技股份有限公司 心率偵測方法
CN108135487A (zh) * 2015-10-08 2018-06-08 皇家飞利浦有限公司 用于获得对象的生命体征信息的设备、***和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140073969A1 (en) * 2012-09-12 2014-03-13 Neurosky, Inc. Mobile cardiac health monitoring
CN105025805B (zh) * 2013-03-04 2018-04-13 皇家飞利浦有限公司 对快速移动的结构的超声成像
JP6191517B2 (ja) * 2014-03-14 2017-09-06 富士通株式会社 検出装置、検出プログラム、及び検出方法
JPWO2016006027A1 (ja) * 2014-07-07 2017-04-27 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
KR101779018B1 (ko) * 2015-11-11 2017-09-26 (주)비스토스 초음파 도플러 태아감시 장치의 심박 검출 신호처리 방법
JP6531834B2 (ja) * 2015-11-20 2019-06-19 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2017199597A1 (ja) * 2016-05-20 2017-11-23 ソニー株式会社 生体情報処理装置、生体情報処理方法、及び情報処理装置
US20180085014A1 (en) * 2016-09-23 2018-03-29 Panasonic Intellectual Property Management Co., Ltd. Pulse wave measuring apparatus, method for measuring pulse waves, and recording medium
CN107960989B (zh) * 2016-10-20 2022-02-08 松下知识产权经营株式会社 脉搏波计测装置以及脉搏波计测方法
JP2018114266A (ja) * 2017-01-19 2018-07-26 パナソニックＩｐマネジメント株式会社 脈波計測装置、制御方法、及び、プログラム
WO2019028247A1 (en) * 2017-08-04 2019-02-07 Bendfeldt Hannes ADAPTIVE INTERFACE FOR SCREEN-BASED INTERACTIONS
TWI646941B (zh) * 2017-08-09 2019-01-11 緯創資通股份有限公司 生理訊號量測系統及其量測生理訊號之方法
CN112070067B (zh) * 2020-10-12 2023-11-21 乐普（北京）医疗器械股份有限公司 一种光体积描计信号的散点图分类方法和装置
EP4236986A1 (en) * 2020-10-30 2023-09-06 Gemini Therapeutics Sub, Inc. Methods for treating inflammatory ocular diseases with complement factor h

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007809A (zh) * 2013-02-26 2015-10-28 株式会社村田制作所 脉搏波传播时间测量装置
CN105979861A (zh) * 2014-02-12 2016-09-28 皇家飞利浦有限公司 用于基于反射和透射的光来确定对象的生命体征的设备、***和方法
JP2017029318A (ja) * 2015-07-30 2017-02-09 国立大学法人 千葉大学 ストレスモニタリング用画像処理方法及びそのプログラム
US20170156632A1 (en) * 2015-08-14 2017-06-08 Albert Joseph Swiston Ingestible devices and methods for physiological status monitoring
CN108135487A (zh) * 2015-10-08 2018-06-08 皇家飞利浦有限公司 用于获得对象的生命体征信息的设备、***和方法
CN106618542A (zh) * 2015-10-28 2017-05-10 中国科学院上海高等研究院 一种去噪心率信号检测装置及方法
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
TW201801671A (zh) * 2016-07-11 2018-01-16 義明科技股份有限公司 心率偵測方法

Also Published As

Publication number Publication date
DE112019003225T5 (de) 2021-03-11
WO2020003910A1 (ja) 2020-01-02
US20210244287A1 (en) 2021-08-12
JPWO2020003910A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
US9795306B2 (en) Method of estimating blood pressure based on image
US10292602B2 (en) Blood flow index calculating method, blood flow index calculating apparatus, and recording medium
JP6349075B2 (ja) 心拍数測定装置及び心拍数測定方法
US20170112382A1 (en) Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium
EP2777485B1 (en) Signal processor, signal processing method, and signal processing program
US11701026B2 (en) Respiratory state estimating device, portable device, wearable device, medium, respiratory state estimating method and respiratory state estimator
US10478079B2 (en) Pulse estimation device, pulse estimation system, and pulse estimation method
US9986923B2 (en) Selecting a region of interest for extracting physiological parameters from a video of a subject
Rumiński Reliability of pulse measurements in videoplethysmography
WO2019102535A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
US20210186346A1 (en) Information processing device, non-transitory computer-readable medium, and information processing method
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
CN112384135A (zh) 心搏检测装置、心搏检测方法以及程序
US10980485B2 (en) Measuring apparatus, measuring method and non-transitory computer readable medium
JP2009297234A (ja) 脈拍計測装置、脈拍計測プログラムおよび脈拍計測方法
JP7237768B2 (ja) 生体情報検出装置
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP7282897B2 (ja) 脈拍数推定方法、装置およびシステム
KR102459183B1 (ko) 컬러영상을 이용한 심박 측정방법 및 장치
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム
JP2023075384A (ja) 脈波検出システム、脈波検出方法及びプログラム
CN117137454A (zh) 生物信息估算装置以及生物信息估算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210219