CN104077881A - 一种基于机器视觉的婴幼儿监测方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的婴幼儿监测方法及装置，方法包括：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴幼儿的视觉行为特征和生理参数特征：将上述参数进行融合判断，得出婴幼儿的睡眠状态检测结果。装置包括：嵌入式***用于提取婴幼儿的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当婴幼儿的睡眠状态发现异常时，输出报警信号至报警器，同时输出异常信号给家长或相关监护人员。本发明只采用单一摄像头获取上述信息，获得了包含婴、幼儿的生理参数在内的更多信息，大幅度提高了对婴、幼儿的健康状态监测的可靠性。

Description

一种基于机器视觉的婴幼儿监测方法及装置

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的婴幼儿监测方法及装置。

背景技术

对婴幼儿的监护是许多父母所揪心的事情。然后，现有技术存在诸多的不足：

张炎提出的中国发明专利(公开号：CN103700215A)《一种低辐射可穿戴式婴儿监测器》，只能监测温、湿度和声音；J·P·小蒂潘提出的中国发明专利(公开号：CN103220967A)《用于检测婴儿心肺不适的超宽带(UWB)婴儿监测器》，采用微波监测婴儿的状态，不易被家长接受；徐晶提出的中国发明专利(公开号：CN101564302)《基于多源信息融合的婴儿睡眠躁动监测方法及检测***》，监测温、湿度并由此推测婴儿的躁动，不能监测重要的生命指征；沈云明提出的中国发明专利(公开号：CN202614402U)《基于ZigBee的婴儿培养箱温度监测与报警***》，仅能监测婴儿培养箱温度；韩猛提出的中国发明专利(公开号：CN103156617A)《胸腹部呼吸运动波形传感器》，利用非晶丝巨应力阻抗效应研制的测量人体胸腹部呼吸运动波形，既需要裹覆在婴幼儿的身体，又仅仅能够监测婴幼儿的呼吸；宁新宝提出的中国发明专利(公开号：CN1377628)《婴儿保温床的智能监护装置》，采用多种传感器采集被监护婴儿的体温和心电等参数，属于接触测量，测量时间一长就容易对婴儿皮肤造成伤害；孙萍提出的中国发明专利(公开号：CN1564213)《婴儿睡眠监控装置》，仅能监测婴儿的声音；丁永生提出的中国发明专利(公开号：CN1961829)《一种婴儿睡眠姿势监测绑带》，依靠婴儿睡眠时穿着的绑带监测婴儿的睡眠姿势，既不可靠，获得的信息太少；崔伶玲提出的中国发明专利(公开号：CN102968753A)《基于RFID技术的新生婴儿看护***》，采用接触式的传感器和有源RFID标签，属于接触测量，测量时间一长就容易对婴儿皮肤造成伤害，还有长期近距离的无线辐射，不易被家长接受。

总而言之，现有监测婴、幼儿的技术，要么不能监测婴、幼儿的心率、呼吸等重要的生理参数，要么只能有接触的传感器进行测量，或者是采用微波具有辐射的技术来实现。

发明内容

本发明提供了一种基于机器视觉的婴幼儿监测方法及装置，本发明获得了包含婴、幼儿的生理参数在内的更多信息，大幅度提高了对婴、幼儿的健康状态监测的可靠性，详见下文描述：

一种基于机器视觉的婴幼儿监测方法，所述方法包括以下步骤：

通过设置在婴幼儿枕头部位上方的摄像头获取婴幼儿脸部的视频图像；

对视频图像进行清洗，获取清洗后的视频图像；

对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴幼儿的视觉行为特征和生理参数特征：

将上述参数进行融合判断，得出婴幼儿的睡眠状态检测结果。

所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴幼儿的视觉行为特征和生理参数特征的步骤具体为：

1)通过所述唇部视频图像检测婴、幼儿的嘴巴张合的频度、通过所述眼部视频图像检测婴、幼儿的头部位置及其维持的时间、换位频度的视觉特征；

2)通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值。

当摄像头为彩色摄像头时，所述通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值的步骤具体为：

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)将数据保存成3个通道，每个通道N个数据；

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(e)通过单一通道的婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值，进而通过对多个通道的计算获取心率变异值。

当摄像头为红外摄像头时，所述通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值的步骤具体为：

(a)对脸颊部区域的IR通道的像素点求平均值，IR通道内有N个数据；

(b)对IR通道内数据依次进行归一化、白化处理以及独立成分分析；

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(d)通过婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值。

一种基于机器视觉的婴幼儿监测装置，所述婴幼儿监测装置包括：摄像头、编码器、显示器、嵌入式***、报警器，

所述摄像头用于实时摄录婴幼儿头脸部的影像并输入到所述编码器；

所述编码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式***；

所述嵌入式***用于提取婴幼儿的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当婴幼儿的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员；

所述报警器用于发出报警声响；

所述显示器用于显示婴幼儿的生理参数。

所述摄像头为：

红外摄像头和/或彩色摄像头。

为了获取到较高精度的视频图像，所述彩色摄像头为：ANC酷睿HD1080P，所述红外摄像头为三星SCO-2080RP。

进一步地，为了提高处理速度，所述嵌入式***为：i.MX6处理器、OMAP处理器和TigerSHARC处理器中的一种。

本发明提供的技术方案的有益效果是：本发明既检测了婴、幼儿的生理参数特征，又检测了婴、幼儿的头脸部的视觉特征，且只采用单一摄像头获取上述信息，既保留了非接触测量所具备的不影响婴、幼儿的行为和增加婴、幼儿的佩戴负担，又获得包含婴、幼儿的生理参数在内的更多信息，大幅度提高了对婴、幼儿的健康状态监测的可靠性。

附图说明

图1为本发明提供的一种基于机器视觉的婴幼儿监测方法的流程图；

图2为本发明提供的的基于图像处理提取脉率和呼吸等婴幼儿的生理参数特征的流程图；

图3为本发明提供的一种基于机器视觉的婴幼儿监测方法的另一流程图；

图4为本发明提供的的基于图像处理提取脉率和呼吸等婴幼儿的生理参数特征的另一流程图；

图5为本发明提供的一种基于机器视觉的婴幼儿监测装置的结构图。

附图中，各标号所代表的部件列表如下：

1：摄像头；          2：编码器；

3：显示器；          4：嵌入式***；

5：报警器。

其中，摄像头1在两个装置实施例中分别为彩色摄像头和红外摄像头。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于机器视觉的婴幼儿监测方法，获取视频图像时采用1个彩色摄像头，参见图1和图2，该方法包括以下步骤：

101：通过设置在婴、幼儿枕头部位上方的彩色摄像头获取婴、幼儿脸部的视频图像；

其中，为了提高获取到的视频图像的精度，该步骤中所用的彩色摄像采用ANC酷睿，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。

102：对视频图像进行清洗，获取清洗后的视频图像；

其中，该清洗方法根据采集到的视频图像的不同，可以用图像剪裁筛选、图像灰度化和直方图均衡、图像归一化、视频帧间匹配、图像白化处理、去除奇异图像来优化数据集等处理方法。例如：可以通过直方图均衡和提取图像特征点并归一化等预处理步骤可以去除环境光强变化的影响。该步骤的详细操作为本领域技术人员所公知，本发明实施例对此不做赘述。

103：对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

其中，对清洗后的视频图像进行分割的方法为：根据检测到的人脸部的视频图像，按照人脸结构的“三庭五眼”准则对人脸的区域进行划分，以此分割出眼部视频图像、唇部视频图像和面颊部的视频图像。“三庭五眼”准则为本领域技术人员所公知，本发明实施例对此不做赘述。

104：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴、幼儿的视觉行为特征和生理参数特征：

1)通过唇部视频图像检测婴、幼儿的嘴巴张合的频度、通过眼部视频图像检测婴、幼儿的头部位置及其维持的时间、换位频度的视觉特征；

例如：如果婴、幼儿的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为婴、幼儿在打瞌睡。

2)通过对面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值(示于图2中)。

该步骤2)具体为：

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)将数据保存成3个通道，每个通道N个数据；

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

其中，通过白化处理来消除三个通道之间的相关性，防止了通道间的干扰。步骤(c)的处理中采用的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(e)通过单一通道的婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值，进而通过对多个通道的计算获取心率变异值；

其中，该步骤采用了本领域中的Lomb periodogram原理，具体实现时本发明实施例对此不作赘述。

105：将上述参数进行融合判断，得出婴、幼儿的状态检测结果。

其中，该步骤中所述的融合判断可以为：

1)通过表征婴、幼儿的视觉行为特征可以直接得出婴、幼儿的检测结果；或，

2)通过心率变异值可以直接得出婴、幼儿的检测结果；或，

3)通过表征婴、幼儿的视觉行为特征和心率变异值的加权和来得出婴、幼儿的检测结果。

即将表征婴、幼儿的视觉行为特征和心率变异值的加权和预设的阈值进行比较，若大于阈值，则直接判断得出婴、幼儿的检测结果。其中，权重系数和阈值根据实际应用中的需要进行设定，本发明实施例对此不做限制。

实施例2

一种基于机器视觉的婴幼儿监测方法，获取视频图像时采用1个红外摄像头，参见图3和图4，该方法包括以下步骤：

201：通过设置在婴、幼儿枕头部位上方的红外摄像头获取婴、幼儿脸部的视频图像；

其中，为了提高获取到的视频图像的精度，该步骤中所用的红外摄像头采用三星SCO-2080RP，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。

202：对视频图像进行清洗，获取清洗后的视频图像；

203：对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

其中，步骤202和步骤203的操作步骤和实施例1相同，本发明实施例对此不做赘述。

204：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴、幼儿的视觉行为特征和生理参数特征：

1)通过唇部视频图像检测婴、幼儿的嘴巴张合的频度、通过眼部视频图像检测婴、幼儿的头部位置及其维持的时间、换位频度的视觉特征；

例如：如果婴、幼儿的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为婴、幼儿在打瞌睡。

2)通过对面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值(示于图4中)。

该步骤2)具体为：

(a)对脸颊部区域的IR通道的像素点求平均值，IR通道内有N个数据；

(b)对IR通道内数据依次进行归一化、白化处理以及独立成分分析；

其中，步骤(b)的处理中采用的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(d)通过婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值。

其中，该步骤采用了本领域中的Lomb periodogram原理，具体实现时本发明实施例对此不作赘述。

205：将上述参数进行融合判断，得出婴、幼儿的状态检测结果。

其中，步骤205的操作步骤和实施例1相同，本发明实施例对此不做赘述。

实际应用中，也可以将彩色摄像头和红外摄像头结合使用，处理过程类似实施例1和2，本发明实施例不再赘述。

实施例3

一种基于机器视觉的婴幼儿监测装置，和实施例1中的方法所对应，参见图5，该监测装置包括：彩色摄像头1、编码器2、显示器3、嵌入式***4、报警器5，

处于婴、幼儿枕头部位上方的彩色摄像头1实时摄录婴、幼儿头脸部的影像并输入到编码器2，编码器2将彩色摄像头1的影像信息编码成数字图像信号送入嵌入式***4，在嵌入式***4中提取婴、幼儿的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当婴、幼儿的睡眠状态发现异常时，报警器5发出报警声响，嵌入式***4同时输出异常信号给家长或相关监护人员。

其中，该彩色摄像头1采用ANC酷睿HD1080P，嵌入式***采用TI公司生产的OMAP，显示器3可以为LCD显示器等。

实施例4：

一种基于机器视觉的婴幼儿监测装置，和实施例2中的方法所对应，参见图5，该监测装置包括：红外摄像头1、编码器2、显示器3、嵌入式***4、报警器5，

处于婴、幼儿枕头部位上方的红外摄像头1实时摄录婴、幼儿头脸部的影像并输入到编码器2，编码器2将红外摄像头1的影像信息编码成数字图像信号送入嵌入式***4，在嵌入式***4中提取婴、幼儿的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当婴、幼儿的睡眠状态发现异常时，报警器5发出报警声响，嵌入式***4同时输出异常信号给家长或相关监护人员。

其中，该红外摄像头1采用三星SCO-2080RP；嵌入式***采用TI公司生产的OMAP，显示器3可以为LCD显示器等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的婴幼儿监测方法，其特征在于，所述方法包括以下步骤：

通过设置在婴幼儿枕头部位上方的摄像头获取婴幼儿脸部的视频图像；

对视频图像进行清洗，获取清洗后的视频图像；

对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴幼儿的视觉行为特征和生理参数特征：

将上述参数进行融合判断，得出婴幼儿的睡眠状态检测结果。

2.根据权利要求1所述的一种基于机器视觉的婴幼儿监测方法，其特征在于，所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征婴幼儿的视觉行为特征和生理参数特征的步骤具体为：

1)通过所述唇部视频图像检测婴、幼儿的嘴巴张合的频度、通过所述眼部视频图像检测婴、幼儿的头部位置及其维持的时间、换位频度的视觉特征；

2)通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值。

3.根据权利要求2所述的一种基于机器视觉的婴幼儿监测方法，其特征在于，当摄像头为彩色摄像头时，所述通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值的步骤具体为：

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)将数据保存成3个通道，每个通道N个数据；

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(e)通过单一通道的婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值，进而通过对多个通道的计算获取心率变异值。

4.根据权利要求2所述的一种基于机器视觉的婴幼儿监测方法，其特征在于，当摄像头为红外摄像头时，所述通过对所述面颊部视频图像分析得到婴、幼儿的心率、呼吸次数及其心率变异值、呼吸次数变异值的步骤具体为：

(a)对脸颊部区域的IR通道的像素点求平均值，IR通道内有N个数据；

(b)对IR通道内数据依次进行归一化、白化处理以及独立成分分析；

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即婴、幼儿的心率，另得到功率谱次最大幅值所对应的频率，即婴、幼儿的呼吸次数；

(d)通过婴、幼儿的心率和呼吸次数计算婴、幼儿的心率变异值和呼吸次数变异值。

5.一种基于机器视觉的婴幼儿监测装置，所述婴幼儿监测装置包括：摄像头、编码器、显示器、嵌入式***、报警器，其特征在于，

所述摄像头用于实时摄录婴幼儿头脸部的影像并输入到所述编码器；

所述编码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式***；

所述嵌入式***用于提取婴幼儿的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当婴幼儿的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员；

所述报警器用于发出报警声响；

所述显示器用于显示婴幼儿的生理参数。

6.根据权利要求5所述的一种基于机器视觉的婴幼儿监测装置，其特征在于，所述摄像头为：

红外摄像头和/或彩色摄像头。

7.根据权利要求6所述的一种基于机器视觉的婴幼儿监测装置，其特征在于，

所述彩色摄像头为：ANC酷睿HD1080P，

所述红外摄像头为三星SCO-2080RP。

8.根据权利要求5所述的一种基于机器视觉的婴幼儿监测装置，其特征在于，所述嵌入式***为：

i.MX6处理器、OMAP处理器和TigerSHARC处理器中的一种。