CN109124613B - 基于语音交互的非接触式心率监测装置及方法 - Google Patents
基于语音交互的非接触式心率监测装置及方法 Download PDFInfo
- Publication number
- CN109124613B CN109124613B CN201810941471.0A CN201810941471A CN109124613B CN 109124613 B CN109124613 B CN 109124613B CN 201810941471 A CN201810941471 A CN 201810941471A CN 109124613 B CN109124613 B CN 109124613B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- module
- video
- voice
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/749—Voice-controlled interfaces
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Cardiology (AREA)
- Nursing (AREA)
- Physiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
一种基于语音交互的非接触式心率监测装置及方法,装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块。方法步骤为:接收使用者发出的语音指令,语音识别模块将其转换为文字指令,然后文字数据分析模块分析文字指令是否为心率测量、心率检测、信息查询、远程通话指令,若是的话,运行文字数据分析模块分析完成的模块,执行对应的心率测量、心率检测、信息查询、远程通话功能。本发明将语音技术与非接触式心率测量技术相结合,通过放大视频中的微小运动变化,实现了全天的心率监测,提供了一种更稳定的心率测量方法和更便捷的心率监测装置。
Description
技术领域
本发明属于物理技术领域,更进一步涉及电子设备技术领域的一种基于语音交互的非接触式心率监测装置及方法。本装置可用于在非接触式的情况下对人体进行心率测量,为使用者提供心率监测。
背景技术
作为人体最重要的生理参数之一的心率是人们关注的焦点,心率往往通过一些装置来监测数值变化。非接触式心率监测的理论依据是心脏的跳动会引起人体跟随心跳产生微小的周期性运动,人们使用数字图像处理技术能够放大这种微小的周期性运动,对放大的数据进行分析就能提取出心率值。
天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量***及测量方法”(专利申请号:CN201310172275.9,公开号:CN104138254A)中提出了一种非接触式自动心率测量***。该***的视频采集模块用来采集一段彩***。该***的分帧提取感兴趣区域ROI模块使用人脸自动跟踪技术跟踪视频中每一帧图像的人脸区域。该***的基色分量分离模块对提取的人脸区域进行红绿蓝RGB基色分离,提取时域信号。该***的盲源分离模块对获取的时域信号进行盲源分离滤波操作。该***的信号筛选模块筛选出相关性最大的时域信号,然后使用心率分析模块找出指定频带内的峰值频率,将最大的峰值频率作为心率对应的频率,最终计算得到心率值。该***使用人脸自动跟踪和盲源分离技术虽然消除了视频中运动伪影的影响,对运动具有容错性,能同时测量多人的心率,但是,该***仍然存在的不足之处是:由于该***需要使用基色分离模块分离人脸区域的红绿蓝RGB分量,而人脸区域的红绿蓝RGB值会受光照的影响而变化,所以在光照不稳定的情况下,放大视频中的颜色变化计算得到心率值会有误差,在夜间没有光照的情况下无法采集红绿蓝RGB彩***,无法测量心率。
京东方科技集团股份有限公司,高创(苏州)电子有限公司在其申请的专利文献“具有心率检测功能的显示装置及心率检测方法”中提出了一种具有心率检测功能的显示装置及心率检测方法。该方法将心率检测装置安装于显示器的边框中,首先需要将手指放到心率检测装置前面,使用心率检测装置中的红外光源发射特定频段的红外光照射手指皮肤,使用光电感应模块接收照射到皮肤上的反射光,然后根据反射光确定皮肤中的血液容积的变化数据,最后根据血液容积的变化数据计算得到心率,最后将结果显示到显示器中。该方法使用红外的非接触式心率测量方法,能够不受外部光照的影响,但是,该方法仍然存在的不足之处是:该方法使用显示器和鼠标实现与用户的交互,行动不便的特殊人群使用心率测量设备有障碍。
发明内容
本发明的目的在于针对上述现有技术的不足,提出了一种基于语音交互的非接触式心率监测装置及方法,通过语音的交互方式控制设备测量心率,克服了卧床患者等行动不便的特殊人群操作不方便的问题;通过微小运动放大算法,克服了在夜间非接触测量方式无法测量心率的问题,实现了全天的心率监测。
实现本发明目的的思路是:使用语音识别技术将使用者发出的语音指令转换为文字指令,然后分析文字指令是否分为心率测量、心率检测、信息查询、远程通话中,然后运行对应的心率测量、心率检测、信息查询、远程通话的模块,完成对应的功能。
本发明的装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块,其特征在于,还包括文字数据分析模块、心率计算模块、心率监测模块。其中:
所述的语音输入模块,用于接收使用者发出的语音指令。
所述的语音识别模块,用于将语音指令转换为文字指令,将文字指令发送给文字数据分析模块。
所述的语音播报模块,用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音。
所述的文字数据分析模块,用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令。
所述的视频输入模块,用于开启摄像头,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块。
所述的心率计算模块,用于向语音播报模块发送开始测量心率的信息;将开启摄像头指令发送给视频输入模块;使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;使用时域信号分析法,分析微小运动放大后的视频,得到心率值;将心率值传递给语音播报模块。
所述的心率监测模块,用于向语音播报模块发送开始心率监测的信息;将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息。
所述的信息查询模块,用于向语音播报模块发送开始信息查询的信息;将使用者拟查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块;将接收到的搜索结果发送给语音播报模块。
所述的远程通话模块,用于向语音播报模块发送开始远程通话的信息;向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
本发明的方法的具体步骤包括如下:
(1)输入语音指令:
语音输入模块接收使用者发出的语音指令;
(2)将语音指令转换为文字指令:
语音识别模块将接收的语音指令转换为文字指令后,将文字指令发送给文字数据分析模块;
(3)文字数据分析模块判断文字指令是否为心率测量指令,若是,则执行步骤(4),否则,执行步骤(5);
(4)心率测量:
(4a)心率计算模块向语音播报模块发送开始测量心率的信息,语音播报模块播报“开始测量心率”的语音;
(4b)心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,在白天和夜间都能测量心率,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块;
(4c)心率计算模块使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;
(4d)心率计算模块使用时域信号分析法,分析微小运动放大后的视频,得到心率值;
(4e)心率计算模块将心率值传递给语音播报模块,语音播报模块播报心率值后,结束;
(5)文字数据分析模块判断文字指令是否为心率监测指令,若是,则执行步骤(6),否则,执行步骤(8);
(6)心率监测:
(6a)心率监测模块向语音播报模块发送开始监测心率的信息,语音播报模块播报“开始循环监测心率”的语音;
(6b)心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,在白天和夜间都能测量心率,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块;
(6c)心率计算模块使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;
(6d)心率计算模块使用时域信号分析法,分析微小运动放大后的视频,得到当前心率值;
(6e)心率监测模块将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息;
(7)判断语音输入模块是否接收到新的语音指令,若是,结束,否则,执行步骤(6);
(8)文字数据分析模块判断文字指令是否为信息查询指令,若是,则执行步骤(9),否则,执行步骤(10);
(9)查询信息:
(9a)信息查询模块向语音播报模块发送开始信息查询的信息,语音播报模块播报“开始查询信息”的语音;
(9b)信息查询模块将使用者拟查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块;
(9c)信息查询模块将接收到的搜索结果发送给语音播报模块,语音播报模块播报搜索结果后结束;
(10)文字数据分析模块判断文字指令是否为远程通话指令,若是,则执行步骤(11),否则,结束;
(11)远程通话:
(11a)远程通话模块向语音播报模块发送开始远程通话的信息,语音播报模块播报“开始远程通话”的语音;
(11b)远程通话模块向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
本发明与现有技术相比具有以下优点:
第一,由于本发明的装置使用的心率监测模块,在白天将输入的红绿蓝RGB视频转换为灰度视频,在夜间直接采集灰度视频,克服了在夜间没有光照的情况下无法采集红绿蓝RGB视频,无法监测心率的问题,使得本发明能够实现全天的心率监测。
第二,由于本发明的方法将使用者发出的语音指令转换为文字指令,通过分析得到的文字指令,控制装置实现使用者指令发出的使用功能,克服了行动不便的特殊人群使用心率测量设备有障碍的问题,提供了一种更便捷的心率监测方法。
第三,由于本发明的方法放大视频中的微小运动变化,从放大的微小运动信号中提取出心率值,克服了在光照不稳定的情况下,放大视频中的颜色变化计算得到心率值会有误差的问题,提供了一种更稳定的非接触式心率测量方法。
附图说明
图1为本发明装置的方框图。
图2为本发明方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1,对本发明的装置做进一步的详细描述。
本发明的装置包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块,其特征在于,还包括文字数据分析模块、心率计算模块、心率监测模块。其中:
所述的语音输入模块,用于接收使用者发出的语音指令。
所述的语音识别模块,用于将语音指令转换为文字指令,将文字指令发送给文字数据分析模块。
所述的语音播报模块,用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音。
所述的文字数据分析模块,用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令。
所述的视频输入模块,用于开启摄像头,如果是白天录入一段包含人脸的红绿蓝RGB视频,如果是夜晚录入一段包含人脸的灰度视频。
所述的心率计算模块,用于向语音播报模块发送开始测量心率的信息;接收视频输入模块发送的包含人脸的视频;使用相位差分放大算法,放大视频中的微小运动变化,得到微小运动放大后的视频;使用时域信号分析法分析微小运动放大后的视频,计算得到心率值;将心率值传递给语音播报模块。
所述的心率监测模块,用于向语音播报模块发送开始监测心率的信息;将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息。
所述的信息查询模块,用于向语音播报模块发送开始信息查询的信息;将使用者要查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块;将接收到的搜索结果发送给语音播报模块。
所述的远程通话模块,用于向语音播报模块发送开始远程通话的信息;向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
下面参照附图2,对本发明的方法做进一步的详细描述。
步骤1,输入语音指令。
语音输入模块等待接收使用者发出的语音指令。
步骤2,将语音指令转换为文字指令。
语音识别模块将接收的语音指令,将语音指令转换为文字指令后,将文字指令发送给文字数据分析模块。
步骤3,文字数据分析模块判断文字指令是否为心率测量指令,若是,则执行步骤4,否则,执行步骤5。
步骤4,执行心率测量。
心率计算模块向语音播报模块发送开始测量心率的信息,语音播报模块播报“开始测量心率”的语音。
心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,如果是白天录入一段包含人脸的红绿蓝RGB视频,如果是夜晚录入一段包含人脸的灰度视频,发送给心率计算模块。
心率计算模块使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频。
所述的相位差分运动放大算法步骤如下:
第1步,判断输入的视频是红绿蓝RGB视频还是红外视频,如果是红外视频,由于红外视频本身就是灰度图像,所以不做处理,如果是RGB视频,按照下式,将红绿蓝RGB视频中的每一帧图像的红绿蓝RGB图像转换为灰度图像:
Grayt=0.299rt+0.587gt+0.114bt
其中,Garyt表示第t帧图像的灰度图像的灰度值,rt表示第t帧图像红绿蓝RGB颜色空间的红色分量,gt表示第t帧图像红绿蓝RGB颜色空间的绿色分量,bt表示第t帧图像红绿蓝RGB颜色空间的蓝色分量。
第2步,使用傅里叶变换,将每帧灰度图像视频时域信号转换为频域信号,在频域中通过带通滤波,得到频带为1Hz到1.66Hz的频域信号。
第3步,计算第二帧之后每一帧图像频域信号相位值与第一帧图像频域信号的相位值的差值,将差值乘上放大因子,得到各帧图像相位差值放大值,所述放大因子在***的调试过程中根据放大后的视频选取合适的数值,其最大值不超过频域信号空间波长的八分之一。
第4步,将第二帧之后每一帧图像频域信号的相位值与相位差值放大值相加,作为各帧图像频域信号相位值。
第5步,利用离散傅立叶逆变换IDFT,将每帧图像的频域信号转换为时域信号,完成视频中微小运动的放大操作。
心率计算模块使用时域信号分析法分析微小运动放大后的视频,得到心率值。
所述的时域信号分析法如下:
第1步,使用开源机器视觉库OpenCV中的光流法获取视频中特征点的位置,跟踪第二帧之后每一帧图像的特征点与第一帧图像的中的特征点的位移,得到所有特征点的位移矩阵。
第2步,使用主成分分析法,得到位移矩阵中的能代表主要成分的五个数组,使用时域带通滤波对五个数组进行滤波操作。
第3步,使用自适应阈值法检测五个数组中峰值的个数,五个数组的峰值个数的平均值就是视频中的心跳次数。
第4步,用视频中的心跳次数除以视频的时间长度,得到单位时间内的心跳次数,再乘以60,得到心率值。
心率计算模块将心率值传递给语音播报模块,语音播报模块播报心率值后,结束。
步骤5,文字数据分析模块判断文字指令是否为心率监测指令,若是,则执行步骤6,否则,执行步骤8。
步骤6,执行心率监测。
心率监测模块向语音播报模块发送开始心率监测的信息,语音播报模块播报“开始循环监测心率”的语音。
心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,录入一段包含人脸的视频,发送给心率计算模块。
心率计算模块接收到视频输入模块发送的包含人脸的视频,使用微小运动放大算法,放大视频中的微小运动变化,得到微小运动放大后的视频。
心率计算模块使用时域信号分析法分析微小运动放大后的视频,得到当前心率值。
心率监测模块将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息。
所述的阈值是指,查找使用者账户的当前数据库中心率值的最大值和最小值,求取最大值与最小值的差值的二分之一再加上10。
步骤7,判断语音输入模块是否接收到新的语音指令,若是,结束,否则,执行步骤6。
步骤8,文字数据分析模块判断文字指令是否为信息查询指令,若是,则执行步骤9,否则,执行步骤10。
步骤9,执行信息查询。
信息查询模块向语音播报模块发送开始信息查询的信息,语音播报模块播报“开始查询信息”的语音。
信息查询模块将使用者拟查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块。
信息查询模块将接收到的搜索结果发送给语音播报模块,语音播报模块播报搜索结果后,结束。
步骤10,文字数据分析模块判断文字指令是否为远程通话指令,若是,则执行步骤11,否则,结束。
步骤11,执行远程通话。
远程通话模块向语音播报模块发送开始远程通话的信息,语音播报模块播报“开始远程通话”的语音。
远程通话模块向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
Claims (4)
1.一种基于语音交互的非接触式心率监测装置,包括语音输入模块、语音识别模块、语音播报模块、视频输入模块、信息查询模块、远程通话模块,其特征在于,还包括文字数据分析模块、心率计算模块、心率监测模块;其中:
所述的语音输入模块,用于接收使用者发出的语音指令;
所述的语音识别模块,用于将语音指令转换为文字指令,将文字指令发送给文字数据分析模块;
所述的语音播报模块,用于播报“开始测量心率”的语音,播报“开始循环监测心率”的语音,播报“开始查询信息”的语音,播报“开始远程通话”的语音;
所述的文字数据分析模块,用于判断文字指令是否为心率测量指令、心率监测指令、信息查询指令;
所述的视频输入模块,用于开启摄像头,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块;
所述的心率计算模块,用于向语音播报模块发送开始测量心率的信息;将开启摄像头指令发送给视频输入模块;使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;使用时域信号分析法,分析微小运动放大后的视频,计算得到心率值;将心率值传递给语音播报模块;
所述的心率监测模块,用于向语音播报模块发送开始监测心率的信息;将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息;
所述的信息查询模块,用于向语音播报模块发送开始信息查询的信息;将使用者拟查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块;将接收到的搜索结果发送给语音播报模块;
所述的远程通话模块,用于向语音播报模块发送开始远程通话的信息;向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
2.一种基于语音交互的非接触式心率监测方法,其特征在于,用语音指令控制心率监测装置,放大视频中的微小运动变化,在白天和夜间都能测量心率,该方法的具体步骤包括如下:
(1)输入语音指令:
语音输入模块接收使用者发出的语音指令;
(2)将语音指令转换为文字指令:
语音识别模块将接收的语音指令转换为文字指令后,将文字指令发送给文字数据分析模块;
(3)文字数据分析模块判断文字指令是否为心率测量指令,若是,则执行步骤(4),否则,执行步骤(5);
(4)心率测量:
(4a)心率计算模块向语音播报模块发送开始测量心率的信息,语音播报模块播报“开始测量心率”的语音;
(4b)心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,在白天和夜间都能测量心率,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块;
(4c)心率计算模块使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;
所述的相位差分运动放大算法的具体步骤如下:
第一步,判断输入的视频是红绿蓝RGB视频还是红外视频,如果是红外视频,由于红外视频本身就是灰度图像,所以不做处理,如果是RGB视频,按照下式,将红绿蓝RGB视频中的每一帧图像的红绿蓝RGB图像转换为灰度图像:
Grayt=0.299rt+0.587gt+0.114bt
其中,Garyt表示第t帧图像的灰度图像的灰度值,rt表示第t帧图像红绿蓝RGB颜色空间的红色分量,gt表示第t帧图像红绿蓝RGB颜色空间的绿色分量,bt表示第t帧图像红绿蓝RGB颜色空间的蓝色分量;
第二步,使用傅里叶变换,将每帧灰度图像视频时域信号转换为频域信号,在频域中通过带通滤波,得到频带为1赫兹到2.5赫兹的频域信号;
第三步,计算第二帧之后每一帧图像频域信号相位值与第一帧图像频域信号的相位值的差值,将差值乘上放大因子,得到各帧图像相位差值放大值,所述放大因子在***的调试过程中根据放大后的视频选取合适的数值,其最大值不超过频域信号空间波长的八分之一;
第四步,将第二帧之后每一帧图像频域信号的相位值与相位差值放大值相加,作为各帧图像频域信号相位值;
第五步,利用离散傅立叶逆变换IDFT,将每帧图像的频域信号转换为时域信号,完成视频中微小运动的放大操作;
(4d)心率计算模块使用时域信号分析法,分析微小运动放大后的视频,得到心率值;
(4e)心率计算模块将心率值传递给语音播报模块,语音播报模块播报心率值后,结束;
(5)文字数据分析模块判断文字指令是否为心率监测指令,若是,则执行步骤(6),否则,执行步骤(8);
(6)心率监测:
(6a)心率监测模块向语音播报模块发送开始监测心率的信息,语音播报模块播报“开始循环监测心率”的语音;
(6b)心率计算模块将开启摄像头指令发送给视频输入模块,视频输入模块开启摄像头,在白天和夜间都能测量心率,在白天录入一段包含人脸的红绿蓝RGB视频,在夜晚录入一段包含人脸的灰度视频,发送给心率计算模块;
(6c)心率计算模块使用相位差分运动放大算法,放大接收到的包含人脸的视频中的微小运动变化,得到微小运动放大后的视频;
(6d)心率计算模块使用时域信号分析法,分析微小运动放大后的视频,得到当前心率值;
(6e)心率监测模块将当前心率值保存到使用者账户的数据库中,并计算当前心率值与使用者账户的数据库中的历史数据平均值的差值,当差值超过阈值时,向预设的亲属手机号发送使用者心率异常的信息;
(7)判断语音输入模块是否接收到新的语音指令,若是,结束,否则,执行步骤(6);
(8)文字数据分析模块判断文字指令是否为信息查询指令,若是,则执行步骤(9),否则,执行步骤(10);
(9)查询信息:
(9a)信息查询模块向语音播报模块发送开始信息查询的信息,语音播报模块播报“开始查询信息”的语音;
(9b)信息查询模块将使用者拟查询的信息发送到搜索引擎上,搜索引擎将搜索结果发送给信息查询模块;
(9c)信息查询模块将接收到的搜索结果发送给语音播报模块,语音播报模块播报搜索结果后结束;
(10)文字数据分析模块判断文字指令是否为远程通话指令,若是,则执行步骤(11),否则,结束;
(11)远程通话:
(11a)远程通话模块向语音播报模块发送开始远程通话的信息,语音播报模块播报“开始远程通话”的语音;
(11b)远程通话模块向预设的亲属手机号码发送通话请求,等待亲属接听电话,亲属接听电话后使用者与亲属通话。
3.根据权利要求2所述的基于语音交互的非接触式心率监测方法,其特征在于,步骤(4d)中所述时域信号分析法的具体步骤如下:
第一步,使用开源机器视觉库中的光流法获取视频中特征点的位置,跟踪第二帧之后每一帧图像的特征点与第一帧图像的中的特征点的位移,得到所有特征点的位移矩阵;
第二步,使用主成分分析法,得到位移矩阵中的能代表主要成分的五个数组,使用时域带通滤波对五个数组进行滤波操作;
第三步,使用自适应阈值法检测五个数组中峰值的个数,五个数组的峰值个数的平均值就是视频中的心跳次数;
第四步,用视频中的心跳次数除以视频的时间长度,得到单位时间内的心跳次数,再乘以60,得到心率值。
4.根据权利要求2所述的基于语音交互的非接触式心率监测方法,其特征在于,步骤(6e)中所述的阈值是指,查找使用者账户的当前数据库中心率值的最大值和最小值,求取最大值与最小值的差值的二分之一再加上10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810941471.0A CN109124613B (zh) | 2018-08-17 | 2018-08-17 | 基于语音交互的非接触式心率监测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810941471.0A CN109124613B (zh) | 2018-08-17 | 2018-08-17 | 基于语音交互的非接触式心率监测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109124613A CN109124613A (zh) | 2019-01-04 |
CN109124613B true CN109124613B (zh) | 2021-02-02 |
Family
ID=64789880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810941471.0A Active CN109124613B (zh) | 2018-08-17 | 2018-08-17 | 基于语音交互的非接触式心率监测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109124613B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110420019B (zh) * | 2019-07-29 | 2021-04-20 | 西安电子科技大学 | 一种心冲击图信号的深度回归心率估计方法 |
CN111387957B (zh) * | 2020-03-13 | 2023-03-24 | 智方达(天津)科技有限公司 | 一种非接触式的体温与呼吸率联合检测方法 |
CN111759292B (zh) * | 2020-06-24 | 2021-06-22 | 中国科学院西安光学精密机械研究所 | 一种人体心率、呼吸及血氧综合测量装置与方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117317A (zh) * | 2010-12-28 | 2011-07-06 | 北京航空航天大学 | 一种基于语音技术的盲人互联网*** |
CN202235355U (zh) * | 2011-09-21 | 2012-05-30 | 刘元田 | 具有语音报读功能的心率表 |
AU2013100792A4 (en) * | 2012-06-08 | 2013-07-11 | Gregory Neumann | An apparatus and method for recording and mapping activity or exercise training output and progress of a subject. |
CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610355B (zh) * | 2009-05-05 | 2011-03-16 | 张日和 | 日夜两用摄像装置 |
CN106037651B (zh) * | 2016-06-14 | 2019-03-08 | 临海楠竹电子科技有限公司 | 一种心率检测方法及*** |
CN106901741A (zh) * | 2017-03-13 | 2017-06-30 | 合肥工业大学 | 一种适用于昼夜环境的呼吸率检测方法 |
-
2018
- 2018-08-17 CN CN201810941471.0A patent/CN109124613B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117317A (zh) * | 2010-12-28 | 2011-07-06 | 北京航空航天大学 | 一种基于语音技术的盲人互联网*** |
CN202235355U (zh) * | 2011-09-21 | 2012-05-30 | 刘元田 | 具有语音报读功能的心率表 |
AU2013100792A4 (en) * | 2012-06-08 | 2013-07-11 | Gregory Neumann | An apparatus and method for recording and mapping activity or exercise training output and progress of a subject. |
CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及*** |
Non-Patent Citations (1)
Title |
---|
基于语音识别和STM32 的老年人健康状况监护***的设计;张敏 等;《电子质量》;20171231(第362期);第2-3节,图2、5 * |
Also Published As
Publication number | Publication date |
---|---|
CN109124613A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109124613B (zh) | 基于语音交互的非接触式心率监测装置及方法 | |
EP2994880B1 (en) | Device for obtaining a vital sign of a subject | |
EP3142067B1 (en) | Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof | |
CN102499664B (zh) | 基于视频图像的非接触式生命体征的检测方法及检测*** | |
US20140037163A1 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
CN112949349B (zh) | 基于人脸视频实时显示脉象波形的方法和*** | |
CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
KR20200007312A (ko) | 신호 측정 장치 및 방법과, 생체정보 측정 장치 | |
JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
US9741113B2 (en) | Image processing device, imaging device, image processing method, and computer-readable recording medium | |
US20200311388A1 (en) | Human body physiological parameter monitoring method based on face recognition for workstation | |
Dosso et al. | Eulerian magnification of multi-modal RGB-D video for heart rate estimation | |
US20180242898A1 (en) | Viewing state detection device, viewing state detection system and viewing state detection method | |
CA2882080A1 (en) | Real-time physiological characteristic detection based on reflected components of light | |
KR20080018642A (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
KR101798228B1 (ko) | 영상을 이용한 맥박 측정 방법 | |
Przybyło et al. | Distant measurement of plethysmographic signal in various lighting conditions using configurable frame-rate camera | |
US20240138692A1 (en) | Method and system for heart rate extraction from rgb images | |
CN109276233A (zh) | 一种面向视频流的分布式人脸及生理特征识别方法 | |
CN113591769A (zh) | 基于光电容积脉搏描记法的非接触式心率检测方法 | |
US20180271390A1 (en) | Heart rate estimation from face videos using quality based fusion | |
CN112669954A (zh) | 一种远程心率检测***及其方法 | |
CN110321781B (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
CN109259748B (zh) | 手机处理人脸视频提取心率信号的***及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |