CN104083160A - 一种基于机器视觉的睡眠状态监测方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的睡眠状态监测方法及装置，方法包括：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征：将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。装置包括：嵌入式***用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员。本发明不影响被测试者的行为，获得包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性。

Description

一种基于机器视觉的睡眠状态监测方法及装置

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的睡眠状态监测方法及装置。

背景技术

充足和深度的睡眠是身心健康的基本保证，但导致睡眠质量不高的因素很多。为了诊断睡眠质量不高的原因，很多研究者提出了各种各样的睡眠监测装置。然后，现有技术存在诸多的不足：如俞梦孙提出的中国发明专利(公开号：CN1584529)《无电极睡眠状态和呼吸障碍事件传感装置》，利用床垫中的气囊监测心动、体动和呼吸变化，可靠性低；汤一平提出的中国发明专利(公开号：CN1803089)《无拘束、非察觉性的睡眠障碍测量装置及其方法》，将拾音器和微处理器等安置在枕头中，对被检测者在入眠后发出鼾声进行记录和判断，同样可靠性差；杨福生提出的中国发明专利(公开号：CN1923132)《检测睡眠中呼吸用力的方法、装置及其应用》，通过压力微动传感装置获取被监测者睡眠中心脏跳动、呼吸、体动的微动信号，还是存在可靠性差的问题；周常安提出的中国发明专利(公开号：CN101044981)《睡眠呼吸状态检测装置》，也是对被检测者在入眠后发出鼾声进行记录和判断，同样可靠性差；张开逊提出的中国发明专利(公开号：CN102188233A)《一种监测睡眠呼吸暂停的装置》，利用非晶丝巨应力阻抗效应研制的测量人体胸腹部呼吸运动波形，既需要裹覆在婴幼儿的身体，又仅仅能够监测婴幼儿的呼吸；孟濬提出的中国发明专利(公开号：CN102274022)《一种基于脑电信号的睡眠状态监测方法》，采集脑电必将影响本监测者的睡眠，而且难以长期使用；杜艳提出的中国发明专利(公开号：CN102415879A)《一种基于压电薄膜传感器的睡眠监测装置》，利用压电薄膜传感器测量床垫中的气囊压力监测心动、体动和呼吸变化，可靠性低；张开生提出的中国发明专利(公开号：CN102499656A)《一种腕带式睡眠监控装置》，通过腕带的传感器采集睡眠者的脉搏信号和温度信号，可靠性低且容易影响佩戴者的睡眠；沈劲鹏提出的中国发明专利(公开号：CN102648845A)《一种睡眠中心跳、呼吸无线自动监测与预警***》，需要给被测试者安放电极来测量心电和呼吸信号，对被测试者的睡眠影响很大。刘鑫提出的中国发明专利(公开号：CN102835951A)《一种移动腕带设备及其工作方法》，通过腕带中的加速度传感器和陀螺仪、红外检查电路和血氧检查电路监测及记录使用者每日活动运动数据及睡眠信息，其可靠性低、对被测试者的睡眠影响很大。焦腾提出的中国发明专利(公开号：CN102973273A)《一种基于红外辐射检测的睡眠呼吸功能监测***》，具有非接触测量的优点，但仅能测量呼吸信号，且可靠性不够高。M.扬斯提出的中国发明专利(公开号：CN103167849A)《睡眠呼吸暂停和相关机能失调的诊断和/或治疗的方法及装置》，通过施加到胸部和/或腹部的外表面的可充气器具(背心)测量被测试者的呼吸参数，被测试者需要穿戴特殊的背心，对被测试者的睡眠影响很大，且仅能测量呼吸信号，且可靠性不够高。吕晓东提出的中国发明专利(公开号：CN1751652)《一种腕部心动和呼吸周期检测方法和装置》，受被检测者睡眠中的动作影响极大。沈政提出的中国发明专利(公开号：CN1860987)《睡眠与梦的监测和干预***及其处理方法》，需要给被测试者安放电极来测量脑电信号，对被测试者的睡眠影响很大。宋军等提出的中国发明专利(公开号：CN103263260A)《使用梳状滤波器的生理参数检测***和睡眠深度监测***》，实质是通过空气床垫传递信号，在被监测者的睡眠姿态将严重影响信号检测的可靠性。林上港提出的中国发明专利(公开号：CN102648845A)《无线传输的睡眠呼吸信息腹式监测与预警***》，采用腹式传感带、呼吸传感器等接触式测量，对被测试者的睡眠影响很大。路国华等提出的中国发明专利(公开号：CN103006223A)《一种家用非接触睡眠监测装置及方法》，采用微波技术，被测试者长期处于微波的辐射之中。夏历提出的中国发明专利(公开号：CN103271741A)《一种睡眠姿势监测仪》，仅能监测被测试者的睡姿。胡文东等提出的中国发明专利(公开号：CN103445777A)《睡眠与疲劳监测类手表装置以及常态化小装置的监测方法》，采用皮阻传感器、温度传感器、大气压传感器、加速度传感器且仅能放置在手腕部，难以测到评估睡眠质量的信息。

总而言之，现有监测被测试者的技术，要么不能监测被测试者的心率、呼吸等重要的生理参数，要么只能有接触的传感器进行测量，或者是采用微波具有辐射的技术来实现。

发明内容

本发明提供了一种基于机器视觉的睡眠状态监测方法及装置，本发明获得包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性，详见下文描述：

一种基于机器视觉的睡眠状态监测方法，所述方法包括以下步骤：

通过设置在被测试者枕头部位的左、右上方两个摄像头获取被测试者脸部的视频图像；

对视频图像进行清洗，获取清洗后的视频图像；

对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征：

将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。

所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征的步骤具体为：

1)通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；

2)通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列。

当两个摄像头都为红外摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为：

(a)对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据；

(b)对R通道内数据依次进行归一化、白化处理以及独立成分分析；

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(d)通过被测试者的心率和呼吸次数计算被测试者的心率变异值。

当两个摄像头都为彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为：

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)将数据保存成3个通道，每个通道N个数据；

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(e)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。

当两个摄像头分别为红外摄像头和彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为：

(a)对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值；

(c)对四个通道内数据依次进行归一化、白化处理以及独立成分分析；

(d)将数据保存成4个通道，每个通道N个数据；

(e)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

(f)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(g)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列；

一种基于机器视觉的睡眠状态监测装置，所述睡眠状态监测装置包括：2个摄像头、编码器、显示器、嵌入式***、报警器，

所述摄像头用于实时摄录被测试者头脸部的影像并输入到所述编码器；

所述编码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式***；

所述嵌入式***用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员；

所述报警器用于发出报警声响；

所述显示器用于显示被测试者的生理参数。

所述摄像头为：红外摄像头和/或彩色摄像头。

为了获取到较高精度的视频图像，所述彩色摄像头为：ANC酷睿HD1080P，所述红外摄像头为三星SCO-2080RP。

进一步地，为了提高处理速度，所述嵌入式***为：i.MX6处理器、OMAP处理器和TigerSHARC处理器中的一种。

本发明提供的技术方案的有益效果是：本发明为了保障被测试者的安全而提供一种安全、实时的监测方法和装置，本发明既检测了被测试者的生理参数特征，又检测了被测试者的头脸部的视觉特征，且只采用摄像头获取上述信息，既保留了非接触测量所具备的不影响被测试者的行为和增加被测试者的佩戴负担，又获得了包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性。

附图说明

图1为本发明提供的一种基于机器视觉的睡眠状态监测方法的流程图；

图2为本发明提供的的基于图像处理提取脉率和呼吸等被测试者的生理参数特征的流程图；

图3为本发明提供的一种基于机器视觉的睡眠状态监测方法的另一流程图；

图4为本发明提供的的基于图像处理提取脉率和呼吸等被测试者的生理参数特征的另一流程图；

图5为本发明提供的一种基于机器视觉的睡眠状态监测方法的另一流程图；

图6为本发明提供的的基于图像处理提取脉率和呼吸等被测试者的生理参数特征的另一流程图；

图7为本发明提供的一种基于机器视觉的睡眠状态监测装置的结构图。

附图中，各标号所代表的部件列表如下：

1：摄像头；      2：编码器；

3：显示器；      4：嵌入式***；

5：报警器。

其中，摄像头1在三个装置实施例中分别为红外摄像头、彩色摄像头、以及红外摄像头与彩色摄像头的组合。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用2个红外摄像头，参见图1和图2，该方法包括以下步骤：

101：通过设置在被测试者枕头部位的左、右上方两个红外摄像头获取被测试者脸部的视频图像；

其中，为了提高获取到的视频图像的精度，该步骤中所用的红外摄像头采用三星SCO-2080RP，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。

102：对视频图像进行清洗，获取清洗后的视频图像；

其中，该清洗方法根据采集到的视频图像的不同，可以用图像剪裁筛选、图像灰度化和直方图均衡、图像归一化、视频帧间匹配、图像白化处理、去除奇异图像来优化数据集等处理方法。例如：可以通过直方图均衡和提取图像特征点并归一化等预处理步骤可以去除环境光强变化的影响。该步骤的详细操作为本领域技术人员所公知，本发明实施例对此不做赘述。

103：对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

其中，对清洗后的视频图像进行分割的方法为：根据检测到的人脸部的视频图像，按照人脸结构的“三庭五眼”准则对人脸的区域进行划分，以此分割出眼部视频图像、唇部视频图像和面颊部的视频图像。“三庭五眼”准则为本领域技术人员所公知，本发明实施例对此不做赘述。

104：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征：

1)通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；

例如：如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。

2)通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列(示于图2中)。

该步骤2)具体为：

(a)对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据；

(b)对R通道内数据依次进行归一化、白化处理以及独立成分分析；

其中，步骤(b)的处理中采用的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(d)通过被测试者的心率和呼吸次数计算被测试者的心率变异值。

其中，该步骤采用了本领域中的Lomb periodogram原理，具体实现时本发明实施例对此不作赘述。

105：将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。

其中，该步骤中所述的融合判断可以为：

1)通过表征被测试者的视觉行为特征可以直接得出被测试者的睡眠检测结果；或，

2)通过心率变异序列可以直接得出被测试者的睡眠状态检测结果；或，

3)通过表征被测试者的视觉行为特征和心率变异序列的加权和来得出被测试者是否进入睡眠状态的检测结果。

即将表征被测试者的视觉行为特征和心率变异序列的加权和预设的阈值进行比较，若大于阈值，则直接判断得出被测试者进入睡眠状态的检测结果。其中，权重系数和阈值根据实际应用中的需要进行设定，本发明实施例对此不做限制。

实施例2

一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用2个彩色摄像头，参见图3和图4，该方法包括以下步骤：

201：通过设置在被测试者枕头部位的左、右上方两个彩色摄像头获取被测试者脸部的视频图像；

其中，为了提高获取到的视频图像的精度，该步骤中所用的彩色摄像采用ANC酷睿，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。

202：对视频图像进行清洗，获取清洗后的视频图像；

203：对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；

其中，步骤202和步骤203的操作步骤和实施例1相同，本发明实施例对此不做赘述。

204：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征：

1)通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；

例如：如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。

2)通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列(参见图4)该步骤2)具体为：

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)将数据保存成3个通道，每个通道N个数据；

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

其中，通过白化处理来消除三个通道之间的相关性，防止了通道间的干扰。步骤(c)的处理中采用的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(e)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。

其中，该步骤采用了本领域中的Lomb periodogram原理，具体实现时本发明实施例对此不作赘述。

205：将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。

其中，步骤205的的操作步骤和实施例1相同，本发明实施例对此不做赘述。

实施例3

一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用1个红外摄像头和1个彩色摄像头，参见图5和图6，该方法包括以下步骤：

301：通过设置在被测试者枕头部位的左、右上方的红外摄像头和彩色摄像头获取被测试者脸部的视频图像；

其中，为了提高获取到的视频图像的精度，该步骤中所用的红外摄像头采用三星SCO-2080RP，彩色摄像采用ANC酷睿，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。即该步骤中获取到了一个还有RGB三通道的视频图像，以及只包含R通道的视频图像。

302：对2个视频图像分别进行清洗，获取清洗后的2个视频图像；

303：对清洗后的2个视频图像进行分割，分别获取眼部视频图像、唇部视频图像和面颊部视频图像；

其中，步骤302和步骤303的操作步骤和实施例1相同，本发明实施例对此不做赘述。

304：通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征：

1)通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；

例如：如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。

2)通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列，

参见图6，该步骤2)具体为：

(a)对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；

(b)对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值；

(c)对四个通道(2个R通道，1个G通道以及1个B通道)内数据依次进行归一化、白化处理以及独立成分分析；

(d)将数据保存成4个通道，每个通道N个数据；

(e)对每个通道数据依次进行归一化、白化处理以及独立成分分析；

其中，通过白化处理来消除四个通道之间的相关性，防止了通道间的干扰。步骤(e)的处理中采用的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。

(f)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；

(g)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。

其中，该步骤采用了本领域中的Lomb periodogram原理，具体实现时本发明实施例对此不作赘述。

305：将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。

其中，步骤305的的操作步骤和实施例1相同，本发明实施例对此不做赘述。

实施例4：

一种基于机器视觉的睡眠状态监测装置，和实施例1中的方法所对应，参见图7，该监测装置包括：2个红外摄像头1、编码器2、显示器3、嵌入式***4、报警器5，

处于被测试者正前上方的2个红外摄像头1实时摄录被测试者头脸部的影像并输入到编码器2，编码器2将红外摄像头1的影像信息编码成数字图像信号送入嵌入式***4，在嵌入式***4中提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，报警器5发出报警声响，嵌入式***4同时输出异常信号给家长或相关监护人员。

其中，该红外摄像头1采用三星SCO-2080RP；嵌入式***采用TI公司生产的OMAP，显示器3可以为LCD显示器等。

实施例5

一种基于机器视觉的睡眠状态监测装置，和实施例2中的方法所对应，参见图7，该监测装置包括：2个彩色摄像头1、编码器2、显示器3、嵌入式***4、报警器5，

处于被测试者正前上方的2个彩色摄像头1实时摄录被测试者头脸部的影像并输入到编码器2，编码器2将彩色摄像头1的影像信息编码成数字图像信号送入嵌入式***4，在嵌入式***4中提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，报警器5发出报警声响，嵌入式***4同时输出异常信号给家长或相关监护人员。

其中，该彩色摄像头1采用ANC酷睿HD1080P，嵌入式***采用TI公司生产的OMAP，显示器3可以为LCD显示器等。

实施例6：

一种基于机器视觉的睡眠状态监测装置，和实施例3中的方法所对应，参见图7，该监测装置包括：红外摄像头和彩色摄像头1、编码器2、显示器3、嵌入式***4、报警器5，

处于被测试者正前上方的红外摄像头和彩色摄像头1分别实时摄录被测试者头脸部的影像并输入到编码器2，编码器2将红外摄像头和彩色摄像头1的影像信息编码成数字图像信号送入嵌入式***4，在嵌入式***4中提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，报警器5发出报警声响，嵌入式***4同时输出异常信号给家长或相关监护人员。

其中，该彩色摄像头采用ANC酷睿HD1080P，红外摄像头采用三星SCO-2080RP；嵌入式***采用ADI公司生产的TigerSHARC，显示器3可以为LCD显示器等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器视觉的睡眠状态监测方法，其特征在于，所述方法包括以下步骤： 

通过设置在被测试者枕头部位的左、右上方两个摄像头获取被测试者脸部的视频图像； 

对视频图像进行清洗，获取清洗后的视频图像； 

对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像； 

通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征： 

将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。 

2.根据权利要求1所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征的步骤具体为： 

1)通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征； 

2)通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列。 

3.根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头都为红外摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为： 

(a)对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据； 

(b)对R通道内数据依次进行归一化、白化处理以及独立成分分析； 

(c)对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数； 

(d)通过被测试者的心率和呼吸次数计算被测试者的心率变异值。 

4.根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头都为彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为： 

(a)分离脸颊部区域的RGB通道，对每个通道的像素点求平均值； 

(b)将数据保存成3个通道，每个通道N个数据； 

(c)对每个通道数据依次进行归一化、白化处理以及独立成分分析； 

(d)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即 被测试者的呼吸次数； 

(e)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。 

5.根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头分别为红外摄像头和彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为： 

(a)对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道的像素点求平均值； 

(b)对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值； 

(c)对四个通道内数据依次进行归一化、白化处理以及独立成分分析； 

(d)将数据保存成4个通道，每个通道N个数据； 

(e)对每个通道数据依次进行归一化、白化处理以及独立成分分析； 

(f)对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数； 

(g)通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。

6.一种基于机器视觉的睡眠状态监测装置，所述睡眠状态监测装置包括：2个摄像头、编码器、显示器、嵌入式***、报警器，其特征在于， 

所述摄像头用于实时摄录被测试者头脸部的影像并输入到所述编码器； 

所述编码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式***； 

所述嵌入式***用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员； 

所述报警器用于发出报警声响； 

所述显示器用于显示被测试者的生理参数。 

7.根据权利要求6所述的一种基于机器视觉的睡眠状态监测装置，其特征在于，所述摄像头为： 

红外摄像头和/或彩色摄像头。 

8.根据权利要求7所述的一种基于机器视觉的睡眠状态监测装置，其特征在于， 

所述彩色摄像头为：ANC酷睿HD1080P， 

所述红外摄像头为三星SCO-2080RP。 

9.根据权利要求6所述的一种基于机器视觉的睡眠状态监测装置，其特征在于，所述嵌入式***为： 

i.MX6处理器、OMAP处理器和TigerSHARC处理器中的一种。