CN109124613A - 基于语音交互的非接触式心率监测装置及方法 - Google Patents

基于语音交互的非接触式心率监测装置及方法 Download PDF

Info

Publication number
CN109124613A
CN109124613A CN201810941471.0A CN201810941471A CN109124613A CN 109124613 A CN109124613 A CN 109124613A CN 201810941471 A CN201810941471 A CN 201810941471A CN 109124613 A CN109124613 A CN 109124613A
Authority
CN
China
Prior art keywords
module
heart rate
video
voice
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810941471.0A
Other languages
English (en)
Other versions
CN109124613B (zh
Inventor
郑春红
杨刚
米悦丰
陈怡然
于占胜
骆天翔
刘衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810941471.0A priority Critical patent/CN109124613B/zh
Publication of CN109124613A publication Critical patent/CN109124613A/zh
Application granted granted Critical
Publication of CN109124613B publication Critical patent/CN109124613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749—Voice-controlled interfaces

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Nursing (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

一种基于语音交互的非接触式心率监测装置及方法，装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块。方法步骤为：接收使用者发出的语音指令，语音识别模块将其转换为文字指令，然后文字数据分析模块分析文字指令是否为心率测量、心率检测、信息查询、远程通话指令，若是的话，运行文字数据分析模块分析完成的模块，执行对应的心率测量、心率检测、信息查询、远程通话功能。本发明将语音技术与非接触式心率测量技术相结合，通过放大视频中的微小运动变化，实现了全天的心率监测，提供了一种更稳定的心率测量方法和更便捷的心率监测装置。

Description

基于语音交互的非接触式心率监测装置及方法
技术领域
本发明属于物理技术领域，更进一步涉及电子设备技术领域的一种基于语音交互的非接触式心率监测装置及方法。本装置可用于在非接触式的情况下对人体进行心率测量，为使用者提供心率监测。
背景技术
作为人体最重要的生理参数之一的心率是人们关注的焦点，心率往往通过一些装置来监测数值变化。非接触式心率监测的理论依据是心脏的跳动会引起人体跟随心跳产生微小的周期性运动，人们使用数字图像处理技术能够放大这种微小的周期性运动，对放大的数据进行分析就能提取出心率值。
天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量***及测量方法”(专利申请号：CN201310172275.9，公开号：CN104138254A)中提出了一种非接触式自动心率测量***。该***的视频采集模块用来采集一段彩***。该***的分帧提取感兴趣区域ROI模块使用人脸自动跟踪技术跟踪视频中每一帧图像的人脸区域。该***的基色分量分离模块对提取的人脸区域进行红绿蓝RGB基色分离，提取时域信号。该***的盲源分离模块对获取的时域信号进行盲源分离滤波操作。该***的信号筛选模块筛选出相关性最大的时域信号，然后使用心率分析模块找出指定频带内的峰值频率，将最大的峰值频率作为心率对应的频率，最终计算得到心率值。该***使用人脸自动跟踪和盲源分离技术虽然消除了视频中运动伪影的影响，对运动具有容错性，能同时测量多人的心率，但是，该***仍然存在的不足之处是：由于该***需要使用基色分离模块分离人脸区域的红绿蓝RGB分量，而人脸区域的红绿蓝RGB值会受光照的影响而变化，所以在光照不稳定的情况下，放大视频中的颜色变化计算得到心率值会有误差，在夜间没有光照的情况下无法采集红绿蓝RGB彩***，无法测量心率。
京东方科技集团股份有限公司,高创(苏州)电子有限公司在其申请的专利文献“具有心率检测功能的显示装置及心率检测方法”中提出了一种具有心率检测功能的显示装置及心率检测方法。该方法将心率检测装置安装于显示器的边框中，首先需要将手指放到心率检测装置前面，使用心率检测装置中的红外光源发射特定频段的红外光照射手指皮肤，使用光电感应模块接收照射到皮肤上的反射光，然后根据反射光确定皮肤中的血液容积的变化数据，最后根据血液容积的变化数据计算得到心率，最后将结果显示到显示器中。该方法使用红外的非接触式心率测量方法，能够不受外部光照的影响，但是，该方法仍然存在的不足之处是：该方法使用显示器和鼠标实现与用户的交互，行动不便的特殊人群使用心率测量设备有障碍。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于语音交互的非接触式心率监测装置及方法，通过语音的交互方式控制设备测量心率，克服了卧床患者等行动不便的特殊人群操作不方便的问题；通过微小运动放大算法，克服了在夜间非接触测量方式无法测量心率的问题，实现了全天的心率监测。
实现本发明目的的思路是：使用语音识别技术将使用者发出的语音指令转换为文字指令，然后分析文字指令是否分为心率测量、心率检测、信息查询、远程通话中，然后运行对应的心率测量、心率检测、信息查询、远程通话的模块，完成对应的功能。
本发明的装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块，其特征在于，还包括文字数据分析模块、心率计算模块、心率监测模块。其中：
所述的语音输入模块，用于接收使用者发出的语音指令。
所述的语音识别模块，用于将语音指令转换为文字指令，将文字指令发送给文字数据分析模块。
所述的语音播报模块，用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音。
所述的文字数据分析模块，用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令。
所述的视频输入模块，用于开启摄像头，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块。
所述的心率计算模块，用于向语音播报模块发送开始测量心率的信息；将开启摄像头指令发送给视频输入模块；使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；使用时域信号分析法，分析微小运动放大后的视频，得到心率值；将心率值传递给语音播报模块。
所述的心率监测模块，用于向语音播报模块发送开始心率监测的信息；将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息。
所述的信息查询模块，用于向语音播报模块发送开始信息查询的信息；将使用者拟查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块；将接收到的搜索结果发送给语音播报模块。
所述的远程通话模块，用于向语音播报模块发送开始远程通话的信息；向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。
本发明的方法的具体步骤包括如下：
(1)输入语音指令：
语音输入模块接收使用者发出的语音指令；
(2)将语音指令转换为文字指令：
语音识别模块将接收的语音指令转换为文字指令后，将文字指令发送给文字数据分析模块；
(3)文字数据分析模块判断文字指令是否为心率测量指令，若是，则执行步骤(4)，否则，执行步骤(5)；
(4)心率测量：
(4a)心率计算模块向语音播报模块发送开始测量心率的信息，语音播报模块播报“开始测量心率”的语音；
(4b)心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，在白天和夜间都能测量心率，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块；
(4c)心率计算模块使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；
(4d)心率计算模块使用时域信号分析法，分析微小运动放大后的视频，得到心率值；
(4e)心率计算模块将心率值传递给语音播报模块，语音播报模块播报心率值后，结束；
(5)文字数据分析模块判断文字指令是否为心率监测指令，若是，则执行步骤(6)，否则，执行步骤(8)；
(6)心率监测：
(6a)心率监测模块向语音播报模块发送开始监测心率的信息，语音播报模块播报“开始循环监测心率”的语音；
(6b)心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，在白天和夜间都能测量心率，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块；
(6c)心率计算模块使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；
(6d)心率计算模块使用时域信号分析法，分析微小运动放大后的视频，得到当前心率值；
(6e)心率监测模块将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息；
(7)判断语音输入模块是否接收到新的语音指令，若是，结束，否则，执行步骤(6)；
(8)文字数据分析模块判断文字指令是否为信息查询指令，若是，则执行步骤(9)，否则，执行步骤(10)；
(9)查询信息：
(9a)信息查询模块向语音播报模块发送开始信息查询的信息，语音播报模块播报“开始查询信息”的语音；
(9b)信息查询模块将使用者拟查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块；
(9c)信息查询模块将接收到的搜索结果发送给语音播报模块，语音播报模块播报搜索结果后结束；
(10)文字数据分析模块判断文字指令是否为远程通话指令，若是，则执行步骤(11)，否则，结束；
(11)远程通话：
(11a)远程通话模块向语音播报模块发送开始远程通话的信息，语音播报模块播报“开始远程通话”的语音；
(11b)远程通话模块向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。
本发明与现有技术相比具有以下优点：
第一，由于本发明的装置使用的心率监测模块，在白天将输入的红绿蓝RGB视频转换为灰度视频，在夜间直接采集灰度视频，克服了在夜间没有光照的情况下无法采集红绿蓝RGB视频，无法监测心率的问题，使得本发明能够实现全天的心率监测。
第二，由于本发明的方法将使用者发出的语音指令转换为文字指令，通过分析得到的文字指令，控制装置实现使用者指令发出的使用功能，克服了行动不便的特殊人群使用心率测量设备有障碍的问题，提供了一种更便捷的心率监测方法。
第三，由于本发明的方法放大视频中的微小运动变化，从放大的微小运动信号中提取出心率值，克服了在光照不稳定的情况下，放大视频中的颜色变化计算得到心率值会有误差的问题，提供了一种更稳定的非接触式心率测量方法。
附图说明
图1为本发明装置的方框图。
图2为本发明方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的装置做进一步的详细描述。
本发明的装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块，其特征在于，还包括文字数据分析模块、心率计算模块、心率监测模块。其中：
所述的语音输入模块，用于接收使用者发出的语音指令。
所述的语音识别模块，用于将语音指令转换为文字指令，将文字指令发送给文字数据分析模块。
所述的语音播报模块，用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音。
所述的文字数据分析模块，用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令。
所述的视频输入模块，用于开启摄像头，如果是白天录入一段包含人脸的红绿蓝RGB视频，如果是夜晚录入一段包含人脸的灰度视频。
所述的心率计算模块，用于向语音播报模块发送开始测量心率的信息；接收视频输入模块发送的包含人脸的视频；使用相位差分放大算法，放大视频中的微小运动变化，得到微小运动放大后的视频；使用时域信号分析法分析微小运动放大后的视频，计算得到心率值；将心率值传递给语音播报模块。
所述的心率监测模块，用于向语音播报模块发送开始监测心率的信息；将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息。
所述的信息查询模块，用于向语音播报模块发送开始信息查询的信息；将使用者要查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块；将接收到的搜索结果发送给语音播报模块。
所述的远程通话模块，用于向语音播报模块发送开始远程通话的信息；向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。
下面参照附图2，对本发明的方法做进一步的详细描述。
步骤1，输入语音指令。
语音输入模块等待接收使用者发出的语音指令。
步骤2，将语音指令转换为文字指令。
语音识别模块将接收的语音指令，将语音指令转换为文字指令后，将文字指令发送给文字数据分析模块。
步骤3，文字数据分析模块判断文字指令是否为心率测量指令，若是，则执行步骤4，否则，执行步骤5。
步骤4，执行心率测量。
心率计算模块向语音播报模块发送开始测量心率的信息，语音播报模块播报“开始测量心率”的语音。
心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，如果是白天录入一段包含人脸的红绿蓝RGB视频，如果是夜晚录入一段包含人脸的灰度视频，发送给心率计算模块。
心率计算模块使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频。
所述的相位差分运动放大算法步骤如下：
第1步，判断输入的视频是红绿蓝RGB视频还是红外视频，如果是红外视频，由于红外视频本身就是灰度图像，所以不做处理，如果是RGB视频，按照下式，将红绿蓝RGB视频中的每一帧图像的红绿蓝RGB图像转换为灰度图像：
Grayt＝0.299rt+0.587gt+0.114bt
其中，Garyt表示第t帧图像的灰度图像的灰度值，rt表示第t帧图像红绿蓝RGB颜色空间的红色分量，gt表示第t帧图像红绿蓝RGB颜色空间的绿色分量，bt表示第t帧图像红绿蓝RGB颜色空间的蓝色分量。
第2步，使用傅里叶变换，将每帧灰度图像视频时域信号转换为频域信号，在频域中通过带通滤波，得到频带为1Hz到1.66Hz的频域信号。
第3步，计算第二帧之后每一帧图像频域信号相位值与第一帧图像频域信号的相位值的差值，将差值乘上放大因子，得到各帧图像相位差值放大值，所述放大因子在***的调试过程中根据放大后的视频选取合适的数值，其最大值不超过频域信号空间波长的八分之一。
第4步，将第二帧之后每一帧图像频域信号的相位值与相位差值放大值相加，作为各帧图像频域信号相位值。
第5步，利用离散傅立叶逆变换IDFT，将每帧图像的频域信号转换为时域信号，完成视频中微小运动的放大操作。
心率计算模块使用时域信号分析法分析微小运动放大后的视频，得到心率值。
所述的时域信号分析法如下：
第1步，使用开源机器视觉库OpenCV中的光流法获取视频中特征点的位置，跟踪第二帧之后每一帧图像的特征点与第一帧图像的中的特征点的位移，得到所有特征点的位移矩阵。
第2步，使用主成分分析法，得到位移矩阵中的能代表主要成分的五个数组，使用时域带通滤波对五个数组进行滤波操作。
第3步，使用自适应阈值法检测五个数组中峰值的个数，五个数组的峰值个数的平均值就是视频中的心跳次数。
第4步，用视频中的心跳次数除以视频的时间长度，得到单位时间内的心跳次数，再乘以60，得到心率值。
心率计算模块将心率值传递给语音播报模块，语音播报模块播报心率值后，结束。
步骤5，文字数据分析模块判断文字指令是否为心率监测指令，若是，则执行步骤6，否则，执行步骤8。
步骤6，执行心率监测。
心率监测模块向语音播报模块发送开始心率监测的信息，语音播报模块播报“开始循环监测心率”的语音。
心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，录入一段包含人脸的视频，发送给心率计算模块。
心率计算模块接收到视频输入模块发送的包含人脸的视频，使用微小运动放大算法，放大视频中的微小运动变化，得到微小运动放大后的视频。
心率计算模块使用时域信号分析法分析微小运动放大后的视频，得到当前心率值。
心率监测模块将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息。
所述的阈值是指，查找使用者账户的当前数据库中心率值的最大值和最小值，求取最大值与最小值的差值的二分之一再加上10。
步骤7，判断语音输入模块是否接收到新的语音指令，若是，结束，否则，执行步骤6。
步骤8，文字数据分析模块判断文字指令是否为信息查询指令，若是，则执行步骤9，否则，执行步骤10。
步骤9，执行信息查询。
信息查询模块向语音播报模块发送开始信息查询的信息，语音播报模块播报“开始查询信息”的语音。
信息查询模块将使用者拟查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块。
信息查询模块将接收到的搜索结果发送给语音播报模块，语音播报模块播报搜索结果后，结束。
步骤10，文字数据分析模块判断文字指令是否为远程通话指令，若是，则执行步骤11，否则，结束。
步骤11，执行远程通话。
远程通话模块向语音播报模块发送开始远程通话的信息，语音播报模块播报“开始远程通话”的语音。
远程通话模块向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。

Claims (5)

1.一种基于语音交互的非接触式心率监测装置，包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块，其特征在于，还包括文字数据分析模块、心率计算模块、心率监测模块；其中：
所述的语音输入模块，用于接收使用者发出的语音指令；
所述的语音识别模块，用于将语音指令转换为文字指令，将文字指令发送给文字数据分析模块；
所述的语音播报模块，用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音；
所述的文字数据分析模块，用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令；
所述的视频输入模块，用于开启摄像头，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块；
所述的心率计算模块，用于向语音播报模块发送开始测量心率的信息；将开启摄像头指令发送给视频输入模块；使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；使用时域信号分析法，分析微小运动放大后的视频，计算得到心率值；将心率值传递给语音播报模块；
所述的心率监测模块，用于向语音播报模块发送开始监测心率的信息；将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息；
所述的信息查询模块，用于向语音播报模块发送开始信息查询的信息；将使用者拟查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块；将接收到的搜索结果发送给语音播报模块；
所述的远程通话模块，用于向语音播报模块发送开始远程通话的信息；向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。
2.一种基于语音交互的非接触式心率监测方法，其特征在于，用语音指令控制心率监测装置，放大视频中的微小运动变化，在白天和夜间都能测量心率，该方法的具体步骤包括如下：
(1)输入语音指令：
语音输入模块接收使用者发出的语音指令；
(2)将语音指令转换为文字指令：
语音识别模块将接收的语音指令转换为文字指令后，将文字指令发送给文字数据分析模块；
(3)文字数据分析模块判断文字指令是否为心率测量指令，若是，则执行步骤(4)，否则，执行步骤(5)；
(4)心率测量：
(4a)心率计算模块向语音播报模块发送开始测量心率的信息，语音播报模块播报“开始测量心率”的语音；
(4b)心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，在白天和夜间都能测量心率，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块；
(4c)心率计算模块使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；
(4d)心率计算模块使用时域信号分析法，分析微小运动放大后的视频，得到心率值；
(4e)心率计算模块将心率值传递给语音播报模块，语音播报模块播报心率值后，结束；
(5)文字数据分析模块判断文字指令是否为心率监测指令，若是，则执行步骤(6)，否则，执行步骤(8)；
(6)心率监测：
(6a)心率监测模块向语音播报模块发送开始监测心率的信息，语音播报模块播报“开始循环监测心率”的语音；
(6b)心率计算模块将开启摄像头指令发送给视频输入模块，视频输入模块开启摄像头，在白天和夜间都能测量心率，在白天录入一段包含人脸的红绿蓝RGB视频，在夜晚录入一段包含人脸的灰度视频，发送给心率计算模块；
(6c)心率计算模块使用相位差分运动放大算法，放大接收到的包含人脸的视频中的微小运动变化，得到微小运动放大后的视频；
(6d)心率计算模块使用时域信号分析法，分析微小运动放大后的视频，得到当前心率值；
(6e)心率监测模块将当前心率值保存到使用者账户的数据库中，并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值，当差值超过阈值时，向预设的亲属手机号发送使用者心率异常的信息；
(7)判断语音输入模块是否接收到新的语音指令，若是，结束，否则，执行步骤(6)；
(8)文字数据分析模块判断文字指令是否为信息查询指令，若是，则执行步骤(9)，否则，执行步骤(10)；
(9)查询信息：
(9a)信息查询模块向语音播报模块发送开始信息查询的信息，语音播报模块播报“开始查询信息”的语音；
(9b)信息查询模块将使用者拟查询的信息发送到搜索引擎上，搜索引擎将搜索结果发送给信息查询模块；
(9c)信息查询模块将接收到的搜索结果发送给语音播报模块，语音播报模块播报搜索结果后结束；
(10)文字数据分析模块判断文字指令是否为远程通话指令，若是，则执行步骤(11)，否则，结束；
(11)远程通话：
(11a)远程通话模块向语音播报模块发送开始远程通话的信息，语音播报模块播报“开始远程通话”的语音；
(11b)远程通话模块向预设的亲属手机号码发送通话请求，等待亲属接听电话，亲属接听电话后使用者与亲属通话。
3.根据权利要求2所述的基于语音交互的非接触式心率监测方法，其特征在于，步骤(4c)中所述的相位差分运动放大算法的具体步骤如下：
第一步，判断输入的视频是红绿蓝RGB视频还是红外视频，如果是红外视频，由于红外视频本身就是灰度图像，所以不做处理，如果是RGB视频，按照下式，将红绿蓝RGB视频中的每一帧图像的红绿蓝RGB图像转换为灰度图像：
Grayt＝0.299rt+0.587gt+0.114bt
其中，Garyt表示第t帧图像的灰度图像的灰度值，rt表示第t帧图像红绿蓝RGB颜色空间的红色分量，gt表示第t帧图像红绿蓝RGB颜色空间的绿色分量，bt表示第t帧图像红绿蓝RGB颜色空间的蓝色分量；
第二步，使用傅里叶变换，将每帧灰度图像视频时域信号转换为频域信号，在频域中通过带通滤波，得到频带为1赫兹到2.5赫兹的频域信号；
第三步，计算第二帧之后每一帧图像频域信号相位值与第一帧图像频域信号的相位值的差值，将差值乘上放大因子，得到各帧图像相位差值放大值，所述放大因子在***的调试过程中根据放大后的视频选取合适的数值，其最大值不超过频域信号空间波长的八分之一；
第四步，将第二帧之后每一帧图像频域信号的相位值与相位差值放大值相加，作为各帧图像频域信号相位值；
第五步，利用离散傅立叶逆变换IDFT，将每帧图像的频域信号转换为时域信号，完成视频中微小运动的放大操作。
4.根据权利要求2所述的基于语音交互的非接触式心率监测方法，其特征在于，步骤(4d)中所述时域信号分析法的具体步骤如下：
第一步，使用开源机器视觉库中的光流法获取视频中特征点的位置，跟踪第二帧之后每一帧图像的特征点与第一帧图像的中的特征点的位移，得到所有特征点的位移矩阵；
第二步，使用主成分分析法，得到位移矩阵中的能代表主要成分的五个数组，使用时域带通滤波对五个数组进行滤波操作；
第三步，使用自适应阈值法检测五个数组中峰值的个数，五个数组的峰值个数的平均值就是视频中的心跳次数；
第四步，用视频中的心跳次数除以视频的时间长度，得到单位时间内的心跳次数，再乘以60，得到心率值。
5.根据权利要求2所述的基于语音交互的非接触式心率监测方法，其特征在于，步骤(6e)中所述的阈值是指，查找使用者账户的当前数据库中心率值的最大值和最小值，求取最大值与最小值的差值的二分之一再加上10。
CN201810941471.0A 2018-08-17 2018-08-17 基于语音交互的非接触式心率监测装置及方法 Active CN109124613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810941471.0A CN109124613B (zh) 2018-08-17 2018-08-17 基于语音交互的非接触式心率监测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810941471.0A CN109124613B (zh) 2018-08-17 2018-08-17 基于语音交互的非接触式心率监测装置及方法

Publications (2)

Publication Number Publication Date
CN109124613A true CN109124613A (zh) 2019-01-04
CN109124613B CN109124613B (zh) 2021-02-02

Family

ID=64789880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810941471.0A Active CN109124613B (zh) 2018-08-17 2018-08-17 基于语音交互的非接触式心率监测装置及方法

Country Status (1)

Country Link
CN (1) CN109124613B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110420019A (zh) * 2019-07-29 2019-11-08 西安电子科技大学 一种心冲击图信号的深度回归心率估计方法
CN111387957A (zh) * 2020-03-13 2020-07-10 智方达(天津)科技有限公司 一种非接触式的体温与呼吸率联合检测方法
CN111759292A (zh) * 2020-06-24 2020-10-13 中国科学院西安光学精密机械研究所 一种人体心率、呼吸及血氧综合测量装置与方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学***
CN102117317A (zh) * 2010-12-28 2011-07-06 北京航空航天大学 一种基于语音技术的盲人互联网***
CN202235355U (zh) * 2011-09-21 2012-05-30 刘元田 具有语音报读功能的心率表
AU2013100792A4 (en) * 2012-06-08 2013-07-11 Gregory Neumann An apparatus and method for recording and mapping activity or exercise training output and progress of a subject.
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及***
CN106037651A (zh) * 2016-06-14 2016-10-26 北京极客天下科技发展有限公司 一种心率检测方法及***
CN106901741A (zh) * 2017-03-13 2017-06-30 合肥工业大学 一种适用于昼夜环境的呼吸率检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学***
CN102117317A (zh) * 2010-12-28 2011-07-06 北京航空航天大学 一种基于语音技术的盲人互联网***
CN202235355U (zh) * 2011-09-21 2012-05-30 刘元田 具有语音报读功能的心率表
AU2013100792A4 (en) * 2012-06-08 2013-07-11 Gregory Neumann An apparatus and method for recording and mapping activity or exercise training output and progress of a subject.
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及***
CN106037651A (zh) * 2016-06-14 2016-10-26 北京极客天下科技发展有限公司 一种心率检测方法及***
CN106901741A (zh) * 2017-03-13 2017-06-30 合肥工业大学 一种适用于昼夜环境的呼吸率检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. LI，等: "A Review on Recent Progress of Portable Short-Range Noncontact Microwave Radar Systems", 《IN IEEE TRANSACTIONS ON MICROWAVE THEORY AND TECHNIQUES》 *
TARASSENKO L , 等: "Non-contact video-based vital sign monitoring using ambient light and auto-regressive models", 《PHYSIOLOGICAL MEASUREMENT》 *
张敏 等: "基于语音识别和STM32 的老年人健康状况监护***的设计", 《电子质量》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110420019A (zh) * 2019-07-29 2019-11-08 西安电子科技大学 一种心冲击图信号的深度回归心率估计方法
CN111387957A (zh) * 2020-03-13 2020-07-10 智方达(天津)科技有限公司 一种非接触式的体温与呼吸率联合检测方法
CN111759292A (zh) * 2020-06-24 2020-10-13 中国科学院西安光学精密机械研究所 一种人体心率、呼吸及血氧综合测量装置与方法
CN111759292B (zh) * 2020-06-24 2021-06-22 中国科学院西安光学精密机械研究所 一种人体心率、呼吸及血氧综合测量装置与方法

Also Published As

Publication number Publication date
CN109124613B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN106777954B (zh) 一种空巢老人健康的智能监护***及方法
KR102265934B1 (ko) 모바일 단말을 이용한 맥파 신호 및 스트레스 측정 방법 및 장치
CN102499664B (zh) 基于视频图像的非接触式生命体征的检测方法及检测***
CN108090474A (zh) 一种基于云语音沟通和情绪感知的酒店服务机器人***
CN109124613A (zh) 基于语音交互的非接触式心率监测装置及方法
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
EP3628215A1 (en) Method for extracting feature of bio-signal
CN106845395A (zh) 一种基于人脸识别进行活体检测的方法
CN110353725A (zh) 一种基于云架构的心音采集与分析***及方法
US20140200460A1 (en) Real-time physiological characteristic detection based on reflected components of light
CN111345803B (zh) 一种基于移动设备摄像头的心率变异性测量方法
EP2960862A1 (en) A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
CN106503651B (zh) 一种手势图像的提取方法及***
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
US20200311388A1 (en) Human body physiological parameter monitoring method based on face recognition for workstation
CN110013231B (zh) 睡眠环境光照条件辨识方法
CN112232256A (zh) 一种无接触式运动及体测数据采集***
CN104392201B (zh) 一种基于全向视觉的人体跌倒识别方法
US20180235464A1 (en) Method and system for detecting time domain cardiac parameters by using pupillary response
Amin et al. HMM based automatic Arabic sign language translator using Kinect
CN112270990A (zh) 一种具备生命体征记录功能的监狱人员远程点名***和方法
CN1581149A (zh) 运用人的情绪和情绪变化信息构建人机界面的方法
CN113040773A (zh) 一种数据采集处理方法
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
LU502768B1 (en) Intelligent blood pressure prediction method based on multi-scale residual network and ppg signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant