CN113657319A - 一种基于图像识别技术的无干扰睡眠动作行为的识别方法 - Google Patents
一种基于图像识别技术的无干扰睡眠动作行为的识别方法 Download PDFInfo
- Publication number
- CN113657319A CN113657319A CN202110969526.0A CN202110969526A CN113657319A CN 113657319 A CN113657319 A CN 113657319A CN 202110969526 A CN202110969526 A CN 202110969526A CN 113657319 A CN113657319 A CN 113657319A
- Authority
- CN
- China
- Prior art keywords
- sleep
- action
- image
- behavior
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 121
- 230000006399 behavior Effects 0.000 title claims abstract description 120
- 230000009471 action Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 239000000203 mixture Substances 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000008030 elimination Effects 0.000 claims abstract description 12
- 238000003379 elimination reaction Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 64
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 230000003860 sleep quality Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 206010062519 Poor quality sleep Diseases 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 1
- 208000004210 Pressure Ulcer Diseases 0.000 description 1
- 208000034972 Sudden Infant Death Diseases 0.000 description 1
- 206010042440 Sudden infant death syndrome Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007830 nerve conduction Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于图像识别技术的无干扰睡眠动作行为的识别方法，包括以下步骤：人体睡眠行为监测数据采集：受试者躺倒在床具上，采用红外摄像***或红外热像仪***采集睡眠动作行为；睡眠动作行为图像处理：在频域和空域两个范围内对红外图像或热图像进行噪声消除以及对比度增强；睡眠动作行为的识别：将混合高斯模型和帧差法相结合，利用混合高斯模型准确地建立背景模型，然后利用帧差法清晰地提取出前景轮廓，以此完成睡眠动作的精确识别。本发明在不影响受试者睡眠舒适度的前提下，通过用非接触式手段精确识别睡眠动作行为，为评价人体睡眠质量，实现床具或床垫***的智能化设计、定制化生产提供技术支持。
Description
技术领域
本发明涉及智能家居技术领域，特别涉及一种基于图像识别技术的无干扰睡眠动作行为的识别方法。
背景技术
良好的睡眠是人精力和体力恢复的重要保障，睡眠质量对人的社会交往、工作生活有着重要影响。在睡眠中，人的身体并非保持不动，平均每晚大约翻身20次，大大小小的睡眠动作行为可达上百次，这些姿势调节和动作行为不仅有利于血液循环、神经传导和营养供给，还有利于避免肌肉、软组织长时间受压，防止肌肉僵硬。但是动作行为过于频繁，又会造成睡眠时断时续，影响睡眠质量。因此，良好的睡眠需要适当频次的睡眠行为。监测识别人的睡眠行为能在一定程度上反映其睡眠质量，对于评价睡眠舒适性、诊断睡眠问题具有重要意义。同时，克服现有床具不能对人的睡眠情况变化自主做出反应的不足，根据人的睡眠行为自适应调节支撑性能，动态改善睡眠舒适性，是床具智能化发展的方向。在不干扰睡眠的前提下，监测识别睡眠行为，对智能床具自适应调节功能的实现有着重要的意义。尤其对于老人、婴儿等翻身困难的人群而言，床具自适应调节有利于减小其发生褥疮以及婴儿猝死综合症的风险，意义更加重大。此外，由于人体不同部位的温度不同，采用红外热像仪可以采集人体温度分布图像，通过热图像监测并识别人体睡眠行为的同时，还能在一定程度上反映出温度对睡眠行为的影响，对床具温湿度环境自适应调节的实现有着重要意义。目前，睡眠行为的监测识别方法主要有PSG(Polysomnography，多导睡眠图)检测法、压力传感器检测法等。其中PSG法需要将脑电极和血氧、呼吸、脉搏传感器等数个监测设备直接与人体接触，不仅操作复杂，而且束缚性强，严重干扰使用者的睡眠行为，不适用于日常使用。压力传感器检测法则需要床垫内置压力感应元件，造价昂贵，还会影响床垫舒适性，从而影响睡眠行为。
发明内容
为解决上述问题，本发明旨在提出一种基于图像识别技术的无干扰睡眠动作行为的识别方法，在不影响受试者睡眠舒适度的前提下，通过用非接触式手段精确识别睡眠动作行为，为评价人体睡眠质量，实现床具或床垫***的智能化设计、定制化生产提供技术支持。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于图像识别技术的无干扰睡眠动作行为的识别方法，所述识别方法包括以下步骤：
S1、人体睡眠行为监测数据采集：受试者躺倒在床具上，采用红外摄像***或红外热像仪***采集睡眠动作行为；
S2、睡眠动作行为图像处理：在频域和空域两个范围内对红外图像或热图像进行噪声消除以及对比度增强；
S3、睡眠动作行为的识别：将混合高斯模型和帧差法相结合，利用混合高斯模型准确地建立背景模型，然后利用帧差法清晰地提取出前景轮廓，以此完成睡眠动作的精确识别。
进一步的，所述S2睡眠动作行为图像处理的噪声消除采用中值滤波消除法，具体为：单向多级中值滤波器子窗口定义：设多级中值滤波器的滤波窗口大小为(2N+1)×(2N+1)，(i，j)表示位于滤波窗口中心点的图像像素；
定义如下子窗口：
水平方向子窗口：
W1(i，j)＝{(i+n，j)；-N≤n≤N} (1)
垂直方向子窗口：
W2(i，j)＝{(i，j+n)；-N≤n≤N} (2)
45°方向子窗口：
W3(i，j)＝{(i+n，j+n)；-N≤n≤N} (3)
135°方向子窗口：
W4(i，j)＝{(i+n，j-n)；-N≤n≤N} (4)
设前四个子窗口W1(i，j)，W2(i，j)，W3(i，j)，W4(i，j)的中值为：
Mk(i，j)＝mediam[f(m，n)，(m，n)∈Wk(i，j)，k＝1，2，3，4] (5)
下面两个式子分别表示中值的最大值和最小值：
Mmax(i，j)＝max1≤k≤4Mk(i，j) (6)
Mmin(i，j)＝max1≤k≤4Mk(i，j) (7)
单向多级中值滤波器的输出定义为：
MMLM(i，j)＝mediam[Mmax(i，j)，Mmin(i，j)，f(i，j)] (8)。
进一步的，所述S2睡眠动作行为图像处理中的对比度增强采用直方图均衡化技术增强图像，具体为：假设原图像为f(x，y)，其灰度分布在范围[rmax，rmin]上，g(x，y)表示均衡化后的图像，均衡化后其灰度分布在范围[smax，smin]上，均衡化前的灰度级为r，均衡化后的灰度级为s，直方图均衡前的灰度级概率分布是φ(r)，直方图均衡后的灰度级概率分布是φ(s)，s＝T(r)是灰度变换函数；首先，归一化原图像灰度，将原图像灰度范围[rmax，rmin]，压缩到范围[0，1]上，所以有：
灰度变换函数为：
其中，T(r)为r的密度分布，使用灰度变换函数求出新图像的灰度为s，当此时图像的灰度s均匀分布在区间[0，1]上，此时为直方图均衡化；通过以下的公式求出均衡后的像素的实际灰度值，因为
所以，
s′＝(s′max-s′min)×s+s′min (12)
式取离散化形式，令为灰度级k的频数，有
带入(11)中可得
(14)式即为最后求得的直方图均衡化公式，将其扩展到[0，255]灰度范围上，则有
进一步的，所述S3睡眠动作行为的识别中的混合高斯模型准确地建立背景模型的具体步骤如下：
(1)用K个高斯分布来描述当前像素点的像素值，每个像素用K个高斯分布分别建模；当前的像素点的概率为：
其中K为开始设定的高斯分布的个数；ωi，t是第i个高斯分布占的权重；μi，t是第i个高斯分布的期望，即均值；
是第i个高斯模型的协方差矩阵；
是第i个高斯分布的方差值。
(2)模型的更新：对当前帧图像中的每个像素点xt与已经存在的K个高斯分布模型进行匹配，假如某个高斯分布的期望值μi，t与当前像素点的像素值的差值小于3倍的标准差值，则视该像素点是属于背景模型中的像素点，即满足：
|xt-μi，t-1|＜3σi，t-1 (18)
假如满足上述条件的高斯分布模型按下式更新：
ωi，t＝(1-αi)ωi，t-1+αi (19)
μi，t＝(1-βi)μi，t-1+βixt (20)
式中αi为高斯模型学习速度，它的值由试验来确定，0≤αi≤1，βi为参数学习率，可用(αi/ωi，t)表示。
进一步的，所述S3睡眠动作行为的识别中利用帧差法清晰地提取出前景轮廓的具体步骤如下：
(1)首先检测出相邻两帧间的发生了变化的区域Ac，其中包含运动目标在前一帧所覆盖的区域Ai-1和当前帧的运动区域本身Ai，对相邻两帧图像进行帧差法处理，即计算相邻两帧间对应像素点灰度值之差的绝对值：
式中：Ri(x，y)为运动提取结果，fi(x，y)为输入的第i帧图像，2.6×σi，t-1为设定的阈值，2.6为置信参数，σi，t-1为第i个高斯分布在t-1时刻的标准差，Abg表示当前帧的背景区域；
(2)将(1)中分割出的区域Ac中各个像素点Xt(x，y)与归一化后按照
降序排列的前N个高斯分布进行匹配，则：
其中，0＜i≤N；μi，t-1为第i个高斯分布在t-1刻的均值；当匹配成功，则像素点Xt(x，y)属于当前帧的运动区域Ai。
进一步的，还包括步骤S4、睡眠动作行为的分类：依照动作行为持续时间Δt，将睡眠动作行为分为四类：
Δt＜5s为第I类，即持续时间小于5s的动作行为；
5s≤Δt＜10s为第II类，即持续时间在5s～10s的动作行为；
10s≤Δt＜15s为第III类，即持续时间在10s～15s之间的动作行为；
Δt≥15s为第IV类，即持续时间在15s以上的动作行为。
进一步的，还包括步骤S5、睡眠动作行为的评价：评价睡眠动作行为基于整晚睡眠动作行为的分类，对睡眠动作行为总次数、睡眠动作行为总持续时间、每类动作行为的持续时间、每类动作行为的发生次数、无动作的总时间与动作总次数的比值、超过30分钟的不动片段出现次数、第1小时动作总次数、第2小时动作总次数、第5小时动作总次数等睡眠动作行为的9项参量的数据进行统计，并运用指标来分析评价睡眠质量；动作行为过于频繁或不动片段过少均表明睡眠质量较差。
进一步的，所述床具包括床架以及床垫，所述受试者在设定的时间区间内在所述床垫上进行睡眠测试，所述红外摄像***或红外热像仪***包括红外摄像头或红外热像仪、录像机以及显示屏，所述红外摄像头或红外热像仪用于实时监控受试者在睡眠时的动作行为，所述录像机与红外摄像头相连用于对睡眠动作行为进行视频录像，所述录像机与红外热像仪相连用于对睡眠时人体温度分布以及睡眠动作行为进行视频录像，所述显示屏与录像机相连用于实时显示视频画面。
有益效果：(1)本发明所使用的图像识别技术不影响受试者舒适度，具有识别效率高、识别速度快等特点，克服了多导睡眠图检测法因张贴电极片和佩戴探头而引起的人体不适感；克服了压力传感器价格昂贵和实时性差的缺点。本发明所述使用红外热像仪采集界面温度分布的热图像，避免了识别睡眠行为时被褥地遮挡造成准确率下降的情况。
(2)本发明克服了现有睡眠行为测试技术不能有效判断睡眠动作行为的局限性，在不影响受试者睡眠舒适度的同时做到准确高效的识别睡眠行为，为评价人体睡眠质量，实现床具或床垫***的智能化设计、定制化生产提供技术支持。
(3)本发明结合了中值滤波和直方图均衡化技术对图像进行了噪声消除以及图像增强处理，消除干扰效果明显，从而保障图像识别的精准度。通过结合混合高斯模型和帧差法的方法，能有效辨别出缓慢微小的睡眠动作行为，大大提高了睡眠动作行为识别的效率和准确度，实现了快速、准确地识别睡眠动作行为，比其他算法更具有可行性。(4)本发明克服了现有睡眠行为测试技术仅能分析睡眠行为模式的局限性，不仅可以检测睡眠行为，同时还可以建立睡眠行为模式与床垫性能之间的量化关系，为进一步研究为自适应睡眠动作行为和智能床的设计提供理论依据；并为实现智能化的设计床具或床垫***提出新方法、新思路，对提高睡眠质量和人体健康有着重要的意义。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于图像识别技术的无干扰睡眠动作行为的识别方法中的床具以及红外摄像***或红外热像仪***的结构示意图；
图2为本发明实施例所述的基于图像识别技术的无干扰睡眠动作行为的识别方法中的图像处理前后对比效果图；
图3为本发明实施例所述的基于图像识别技术的无干扰睡眠动作行为的识别方法中的睡眠动作行为的识别示意图。
附图标记说明：
1-床垫，2-床架，3-红外摄像头或红外热像仪，4-显示屏，5-录像机。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例1
参见图1-3：一种基于图像识别技术的无干扰睡眠动作行为的识别方法，所述识别方法包括以下步骤：
S1、人体睡眠行为监测数据采集：受试者躺倒在床具上，采用红外摄像***或红外热像仪***采集睡眠动作行为；所述床具包括床架2以及床垫1，所述受试者在设定的时间区间内在所述床垫1上进行睡眠测试，所述红外摄像***或红外热像仪***包括红外摄像头或红外热像仪3、录像机5以及显示屏4，所述红外摄像头或红外热像仪3用于实时监控受试者在睡眠时的动作行为，所述录像机5与红外摄像头或红外热像仪3相连用于对睡眠动作行为进行视频录像，所述显示屏4与录像机5相连用于实时显示视频画面。
需要说明的是，考虑到夜间光线对人睡眠的影响，选定波长大于900nm，采样率50f/s的红外摄像头或红外热像仪。红外摄像头或红外热像仪的安装位置为床垫尾部的墙壁上，图像涵盖整个床垫，可视范围大，不易受障碍物遮挡，人的不规则活动不会超出摄像头的采集范围。睡眠动作行为采集时，要求室内温度(23±2)℃，相对湿度(50±5)％，环境安静；采集每天23:00至次日7:00的视频录像。
另外，在具体实现中，本实施例的红外摄像***或红外热像仪***在获取受试者的同意的情况下，也可以设置在受试者的家中卧室，受试者可以在家中完成睡眠行为监测数据采集，从而不受场地限制，适用范围广。
S2、睡眠动作行为图像处理：在频域和空域两个范围内对红外图像或热图像进行噪声消除以及对比度增强；
需要说明的是，红外摄像机或红外热成像仪采集到的红外图像存在灰度范围较小、对比度低、图像比可见光图像偏暗、存在光晕等现象。因此要选择适当的方法对图像进行综合预处理，以降低图像噪声，增强对比度，使图像更加清晰，便于后期图像处理。
在具体实现中，所述S2睡眠动作行为图像处理的噪声消除采用中值滤波消除法，单向多级中值滤波器子窗口定义：设多级中值滤波器的滤波窗口大小为(2N+1)×(2N+1)，(i，j)表示位于滤波窗口中心点的图像像素；
定义如下子窗口：
水平方向子窗口：
W1(i，j)＝{(i+n，j)；-N≤n≤N} (1)
垂直方向子窗口：
W2(i，j)＝{(i，j+n)；-N≤n≤N} (2)
45°方向子窗口：
W3(i，j)＝{(i+n，j+n)；-N≤n≤N} (3)
135°方向子窗口：
W4(i，j)＝{(i+n，j-n)；-N≤n≤N} (4)
设前四个子窗口W1(i，j)，W2(i，j)，W3(i，j)，W4(i，j)的中值为：
Mk(i，j)＝mediam[f(m，n)，(m，n)∈Wk(i，j)，k＝1，2，3，4] (5)
下面两个式子分别表示中值的最大值和最小值：
Mmax(i，j)＝max1≤k≤4Mk(i，j) (6)
Mmin(i，j)＝max1≤k≤4Mk(i，j) (7)
单向多级中值滤波器的输出定义为：
MMLM(i，j)＝mediam[Mmax(i，j)，Mmin(i，j)，f(i，j)] (8)。
需要说明的是，中值滤波属于非线性滤波器，它能够在滤波的同时还能较好的保护图像的细节信息。用一个方形的模板在图像中滑动，方形模版的中心点与当前的像素点对齐，对该方形模版内的所有像素点的灰度值进行从大到小的排序，也可以从小到大的排序，找出灰度值处于中间位置的像素点，将中间位置的像素点的灰度值代替当前像素的灰度值。由于环境、设备的影响以及在图像传输和转换的过程中的噪声污染，红外摄像机或红外热成像仪采集到的图像中混杂着各种各样的噪声，会造成图像质量退化。中值滤波善于滤除长尾叠加噪声以及叠加白噪声，对滤波脉冲产生的干扰以及图像扫描噪声最为有效，同时又能保护目标边界，不使其变得模糊，因为它能在有效削弱信号毛刺的同时不会破坏斜坡和阶跃信号。
在具体实现中，所述S2睡眠动作行为图像处理中的对比度增强采用直方图均衡化技术增强图像，具体为：假设原图像为f(x，y)，其灰度分布在范围[rmax，rmin]上，g(x，y)表示均衡化后的图像，均衡化后其灰度分布在范围[smax，smin]上，均衡化前的灰度级为r，均衡化后的灰度级为s，直方图均衡前的灰度级概率分布是φ(r)，直方图均衡后的灰度级概率分布是φ(s)，s＝T(r)是灰度变换函数；首先，归一化原图像灰度，将原图像灰度范围[rmax，rmin]，压缩到范围[0，1]上，所以有：
灰度变换函数为：
其中，T(r)为r的密度分布，使用灰度变换函数求出新图像的灰度为s，当此时图像的灰度s均匀分布在区间[0，1]上，此时为直方图均衡化；通过以下的公式求出均衡后的像素的实际灰度值，因为
所以，
s′＝(s′max-s′min)×s+s′min (12)
式取离散化形式，令为灰度级k的频数，有
带入(11)中可得
(14)式即为最后求得的直方图均衡化公式，将其扩展到[0，255]灰度范围上，则有
参见图2，本实施例采用直方图均衡化技术增强图像的对比度。直方图均衡化技术改变图像的灰度概率分布，使得图像的灰度分布在一个更大的范围区间上，它使灰度级上过于集中的像素点尽量分散到两边的灰度级上，同时使像素点较少的灰度级互相靠拢，因此整个图像的灰度分布更加均匀，从而增强了图像的对比度，使图像的辨识度更高。
S3、睡眠动作行为的识别：需要说明的是，当监控场景出现运动物体时，连续的两帧之间会出现较为明显的不同，所以用两帧相减，得到两帧图像亮度差的绝对值，然后再设定合适的阈值，将得到的两帧的亮度差与设定的阈值相比，如果大于阈值判定为运动像素点，如果小于阈值则视为背景像素点。根据这样分析图像序列的运动特性的方法，来确定图像序列中有无运动目标，进而分析睡眠动作行为。
采集睡眠动作行为时，摄像机固定不动，背景是静止不变的，但是当受到具有遮挡功能的物体晃动、移动等的影响时，导致某一时刻，背景图像上的某一个像素点不属于背景内容。混合高斯模型分析了同一个位置的像素点在时间序列上的分布，认为这种分布可以由有限个高斯分布来进行描述，对背景的多个状态分别建模，根据像素点属于那个状态来更新给状态的模型的参数，这样就可以解决非静止背景下的背景建模的问题。混合高斯模型一次读取N帧相邻的连续的图像，对于每一帧的每个像素点进行迭代的建模。
基于此，将混合高斯模型和帧差法相结合，利用混合高斯模型准确地建立背景模型，然后利用帧差法清晰地提取出前景轮廓，以此完成睡眠动作的精确识别；
所述S3睡眠动作行为的识别中的混合高斯模型准确地建立背景模型的具体步骤如下：
(1)用K个高斯分布来描述当前像素点的像素值，每个像素用K个高斯分布分别建模；当前的像素点的概率为：
其中K为开始设定的高斯分布的个数；ωi，t是第i个高斯分布占的权重；μi，t是第i个高斯分布的期望，即均值；
是第i个高斯模型的协方差矩阵；
是第i个高斯分布的方差值。
(2)模型的更新：对当前帧图像中的每个像素点xt与已经存在的K个高斯分布模型进行匹配，假如某个高斯分布的期望值μi，t与当前像素点的像素值的差值小于3倍的标准差值，则视该像素点是属于背景模型中的像素点，即满足：
|xt-μi，t-1|＜3σi，t-1 (18)
假如满足上述条件的高斯分布模型按下式更新：
ωi，t＝(1-αi)ωi，t-1+αi (19)
μi，t＝(1-βi)μi，t-1+βixt (20)
式中αi为高斯模型学习速度，它的值由试验来确定，0≤αi≤1，βi为参数学习率，可用(αi/ωi，t)表示。
所述S3睡眠动作行为的识别中利用帧差法清晰地提取出前景轮廓的具体步骤如下：
(1)首先检测出相邻两帧间的发生了变化的区域Ac，其中包含运动目标在前一帧所覆盖的区域Ai-1和当前帧的运动区域本身Ai，对相邻两帧图像进行帧差法处理，即计算相邻两帧间对应像素点灰度值之差的绝对值：
式中：Ri(x，y)为运动提取结果，fi(x，y)为输入的第i帧图像，2.6×σi，t-1为设定的阈值，2.6为置信参数，σi，t-1为第i个高斯分布在t-1时刻的标准差，Abg表示当前帧的背景区域；
(2)将(1)中分割出的区域Ac中各个像素点Xt(x，y)与归一化后按照
降序排列的前N个高斯分布进行匹配，则：
其中，0＜i≤N；μi，t-1为第i个高斯分布在t-1刻的均值；当匹配成功，则像素点Xt(x，y)属于当前帧的运动区域Ai。
参见图3：本实施例通过建立高效的混合高斯模型并结合帧差法能将睡眠动作行为完整地检测出来，能有效辨别出缓慢微小的睡眠动作行为。
可以理解的是，红外摄像头或红外热像仪采集到的睡眠动作行为图像运动明显、前景轮廓清晰且背景明确，帧差法是静态背景下运动目标检测较为有效且快速的方法。但运动目标在相邻帧之间的位置变化缓慢，帧差法很难检测，而混合高斯模型对图像的背景建立是非常有效的，混合高斯模型分析了同一个位置的像素点在时间序列上的分布，认为这种分布可以由有限个高斯分布来进行描述。因此，本实施例首先利用混合高斯模型准确地建立背景模型，然后利用帧差法清晰地提取出前景轮廓，本实施例对包括睡眠动作行为在内的运动目标检测效果良好。
在一具体的实例中，还包括步骤S4、睡眠动作行为的分类：依照动作行为持续时间Δt，将睡眠动作行为分为四类：
Δt＜5s为第I类，即持续时间小于5s的动作行为；
5s≤Δt＜10s为第II类，即持续时间在5s～10s的动作行为；
10s≤Δt＜15s为第III类，即持续时间在10s～15s之间的动作行为；
Δt≥15s为第IV类，即持续时间在15s以上的动作行为。
按时间序列获得睡眠动作行为事件的数据，如表1所示
在一具体的实例中，还包括步骤S5、睡眠动作行为的评价：评价睡眠动作行为基于整晚睡眠动作行为的分类，对睡眠动作行为总次数、睡眠动作行为总持续时间、每类动作行为的持续时间、每类动作行为的发生次数、无动作的总时间与动作总次数的比值、超过30分钟的不动片段出现次数、第1小时动作总次数、第2小时动作总次数、第5小时动作总次数等睡眠动作行为的9项参量的数据进行统计，并运用指标来分析评价睡眠质量；动作行为过于频繁或不动片段过少均表明睡眠质量较差。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述识别方法包括以下步骤：
S1、人体睡眠行为监测数据采集：受试者躺倒在床具上，采用红外摄像***或红外热像仪***采集睡眠动作行为；
S2、睡眠动作行为图像处理：在频域和空域两个范围内对红外图像或热图像进行噪声消除以及对比度增强；
S3、睡眠动作行为的识别：将混合高斯模型和帧差法相结合，利用混合高斯模型准确地建立背景模型，然后利用帧差法清晰地提取出前景轮廓，以此完成睡眠动作的精确识别。
2.根据权利要求1所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述S2睡眠动作行为图像处理的噪声消除采用中值滤波消除法，具体为：单向多级中值滤波器子窗口定义：设多级中值滤波器的滤波窗口大小为(2N+1)×(2N+1)，(i，j)表示位于滤波窗口中心点的图像像素；
定义如下子窗口：
水平方向子窗口：
W1(i，j)＝{(i+n，j)；-N≤n≤N} (1)
垂直方向子窗口：
W2(i，j)＝{(i，j+n)；-N≤n≤N} (2)
45°方向子窗口：
W3(i，j)＝{(i+n，j+n)；-N≤n≤N} (3)
135°方向子窗口：
W4(i，j)＝{(i+n，j-n)；-N≤n≤N} (4)
设前四个子窗口W1(i，j)，W2(i，j)，W3(i，j)，W4(i，j)的中值为：
Mk(i，j)＝mediam[f(m，n)，(m，n)∈Wk(i，j)，k＝1，2，3，4] (5)
下面两个式子分别表示中值的最大值和最小值：
Mmax(i，j)＝max1≤k≤4Mk(i，j) (6)
Mmin(i，j)＝max1≤k≤4Mk(i，j) (7)
单向多级中值滤波器的输出定义为：
MMLM(i，j)＝mediam[Mmax(i，j)，Mmin(i，j)，f(i，j)] (8)。
3.根据权利要求1所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述S2睡眠动作行为图像处理中的对比度增强采用直方图均衡化技术增强图像，具体为：假设原图像为f(x，y)，其灰度分布在范围[rmax，rmin]上，g(x，y)表示均衡化后的图像，均衡化后其灰度分布在范围[smax，smin]上，均衡化前的灰度级为r，均衡化后的灰度级为s，直方图均衡前的灰度级概率分布是φ(r)，直方图均衡后的灰度级概率分布是φ(s)，s＝T(r)是灰度变换函数；首先，归一化原图像灰度，将原图像灰度范围[rmax，rmin]，压缩到范围[0，1]上，所以有：
灰度变换函数为：
其中，T(r)为r的密度分布，使用灰度变换函数求出新图像的灰度为s，当此时图像的灰度s均匀分布在区间[0，1]上，此时为直方图均衡化；通过以下的公式求出均衡后的像素的实际灰度值，因为
所以，
s′＝(s′max-s′min)×s+s′min (12)
式取离散化形式，令为灰度级k的频数，有
带入(11)中可得
(14)式即为最后求得的直方图均衡化公式，将其扩展到[0，255]灰度范围上，则有
4.根据权利要求1所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述S3睡眠动作行为的识别中的混合高斯模型准确地建立背景模型的具体步骤如下：
(1)用K个高斯分布来描述当前像素点的像素值，每个像素用K个高斯分布分别建模；当前的像素点的概率为：
其中K为开始设定的高斯分布的个数；ωi，t是第i个高斯分布占的权重；μi，t是第i个高斯分布的期望，即均值；
是第i个高斯模型的协方差矩阵；
是第i个高斯分布的方差值。
(2)模型的更新：对当前帧图像中的每个像素点xt与已经存在的K个高斯分布模型进行匹配，假如某个高斯分布的期望值μi，t与当前像素点的像素值的差值小于3倍的标准差值，则视该像素点是属于背景模型中的像素点，即满足：
|xt-μi，t-1|＜3σi，t-1 (18)
假如满足上述条件的高斯分布模型按下式更新：
ωi，t＝(1-αi)ωi，t-1+αi (19)
μi，t＝(1-βi)μi，t-1+βixt (20)
式中αi为高斯模型学习速度，它的值由试验来确定，0≤αi≤1，βi为参数学习率，可用(αi/ωi，t)表示。
5.根据权利要求4所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述S3睡眠动作行为的识别中利用帧差法清晰地提取出前景轮廓的具体步骤如下：
(1)首先检测出相邻两帧间的发生了变化的区域Ac，其中包含运动目标在前一帧所覆盖的区域Ai-1和当前帧的运动区域本身Ai，对相邻两帧图像进行帧差法处理，即计算相邻两帧间对应像素点灰度值之差的绝对值：
式中：Ri(x，y)为运动提取结果，fi(x，y)为输入的第i帧图像，2.6×σi，t-1为设定的阈值，2.6为置信参数，σi，t-1为第i个高斯分布在t-1时刻的标准差，Abg表示当前帧的背景区域；
(2)将(1)中分割出的区域Ac中各个像素点Xt(x，y)与归一化后按照
降序排列的前N个高斯分布进行匹配，则：
其中，0＜i≤N；μi，t-1为第i个高斯分布在t-1刻的均值；当匹配成功，则像素点Xt(x，y)属于当前帧的运动区域Ai。
6.根据权利要求1所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，还包括步骤S4、睡眠动作行为的分类：依照动作行为持续时间Δt，将睡眠动作行为分为四类：
Δt＜5s为第I类，即持续时间小于5s的动作行为；
5s≤Δt＜10s为第II类，即持续时间在5s～10s的动作行为；
10s≤Δt＜15s为第III类，即持续时间在10s～15s之间的动作行为；
Δt≥15s为第1V类，即持续时间在15s以上的动作行为。
7.根据权利要求6所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，还包括步骤S5、睡眠动作行为的评价：评价睡眠动作行为基于整晚睡眠动作行为的分类，对睡眠动作行为总次数、睡眠动作行为总持续时间、每类动作行为的持续时间、每类动作行为的发生次数、无动作的总时间与动作总次数的比值、超过30分钟的不动片段出现次数、第1小时动作总次数、第2小时动作总次数、第5小时动作总次数等睡眠动作行为的9项参量的数据进行统计，并运用指标来分析评价睡眠质量；动作行为过于频繁或不动片段过少均表明睡眠质量较差。
8.根据权利要求1所述的基于图像识别技术的无干扰睡眠动作行为的识别方法，其特征在于，所述床具包括床架(2)以及床垫(1)，所述受试者在设定的时间区间内在所述床垫(1)上进行睡眠测试，所述红外摄像***或红外热像仪***包括红外摄像头或红外热像仪(3)、录像机(5)以及显示屏(4)，所述红外摄像头或红外热像仪(3)用于实时监控受试者在睡眠时的动作行为，所述录像机(5)与红外摄像头(3)相连用于对睡眠动作行为进行视频录像，所述录像机(5)与红外热像仪(3)相连用于对睡眠时人体温度分布以及睡眠动作行为进行视频录像，所述显示屏(4)与录像机(5)相连用于实时显示视频画面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969526.0A CN113657319A (zh) | 2021-08-23 | 2021-08-23 | 一种基于图像识别技术的无干扰睡眠动作行为的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969526.0A CN113657319A (zh) | 2021-08-23 | 2021-08-23 | 一种基于图像识别技术的无干扰睡眠动作行为的识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657319A true CN113657319A (zh) | 2021-11-16 |
Family
ID=78492064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110969526.0A Pending CN113657319A (zh) | 2021-08-23 | 2021-08-23 | 一种基于图像识别技术的无干扰睡眠动作行为的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657319A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114333065A (zh) * | 2021-12-31 | 2022-04-12 | 济南博观智能科技有限公司 | 一种应用于监控视频的行为识别方法、***及相关装置 |
| CN116386120A (zh) * | 2023-05-24 | 2023-07-04 | 杭州企智互联科技有限公司 | 一种无感监控管理*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895379A (zh) * | 2017-10-24 | 2018-04-10 | 天津大学 | 一种视频监控中前景提取的改进算法 |
| CN107967684A (zh) * | 2017-12-11 | 2018-04-27 | 深圳大学 | 非接触式睡眠呼吸检测方法和装置 |
| CN108765466A (zh) * | 2018-05-31 | 2018-11-06 | 重庆科技学院 | 一种基于网络摄像头的智能视频监控***及方法 |
-
2021
- 2021-08-23 CN CN202110969526.0A patent/CN113657319A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895379A (zh) * | 2017-10-24 | 2018-04-10 | 天津大学 | 一种视频监控中前景提取的改进算法 |
| CN107967684A (zh) * | 2017-12-11 | 2018-04-27 | 深圳大学 | 非接触式睡眠呼吸检测方法和装置 |
| CN108765466A (zh) * | 2018-05-31 | 2018-11-06 | 重庆科技学院 | 一种基于网络摄像头的智能视频监控***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 支一飞: "基于图像技术的可自动调节高度睡枕***研究", 中国优秀硕士学位论文全文数据库, 15 November 2014 (2014-11-15), pages 1 - 3 * |
| 潘广贞等: "基于混合高斯模型和帧差法的吸烟检测算法", 计算机工程与设计, 16 May 2015 (2015-05-16), pages 1 - 1 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114333065A (zh) * | 2021-12-31 | 2022-04-12 | 济南博观智能科技有限公司 | 一种应用于监控视频的行为识别方法、***及相关装置 |
| CN116386120A (zh) * | 2023-05-24 | 2023-07-04 | 杭州企智互联科技有限公司 | 一种无感监控管理*** |
| CN116386120B (zh) * | 2023-05-24 | 2023-08-18 | 杭州企智互联科技有限公司 | 一种用于智慧校园宿舍的无感监控管理*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| CN112528960B (zh) | 一种基于人体姿态估计和图像分类的吸烟行为检测方法 | |
| CN106778695B (zh) | 一种基于视频的多人快速心率检测方法 | |
| CN112587153B (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测***和方法 | |
| CN113657319A (zh) | 一种基于图像识别技术的无干扰睡眠动作行为的识别方法 | |
| CN112163564B (zh) | 基于人体关键点行为识别与lstm的跌倒预判方法 | |
| Chen et al. | Remote recognition of in-bed postures using a thermopile array sensor with machine learning | |
| CN111488850B (zh) | 一种基于神经网络的老年人跌倒检测方法 | |
| JP6952299B2 (ja) | 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| DE102015208144A1 (de) | Erhöhen der Genauigkeit eines physiologischen Signals, Erhalten von einem Video eines Patienten | |
| CN113111865B (zh) | 一种基于深度学习的跌倒行为检测方法和*** | |
| CN114596448A (zh) | 一种肉鸭健康管理方法及其管理*** | |
| CN111863232A (zh) | 基于区块链和医学影像的远程疾病智能诊断*** | |
| WO2021120007A1 (zh) | 一种基于红外图像序列的睡眠质量评估***和方法 | |
| CN111476196A (zh) | 一种基于面部动作的老年残障人士护理需求识别方法 | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和*** | |
| CN113392765A (zh) | 一种基于机器视觉的摔倒检测方法和*** | |
| CN114898261A (zh) | 一种基于视频和生理数据融合的睡眠质量评估方法及*** | |
| CN210956179U (zh) | 面向智慧医疗社区服务的监护*** | |
| Tao et al. | 3D convolutional neural network for home monitoring using low resolution thermal-sensor array | |
| CN117809379B (zh) | 一种基于监控摄像机的智能人形识别报警***及方法 | |
| CN112752541A (zh) | 从视频帧序列导出关于人的睡眠状态和清醒状态的信息 | |
| CN115857595B (zh) | 基于用户心境的功能环境调节方法、***和装置 | |
| CN115019233B (zh) | 一种基于姿态检测的精神发育迟滞判别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |