CN103278141B - 婴幼儿睡眠监控***及方法 - Google Patents
婴幼儿睡眠监控***及方法 Download PDFInfo
- Publication number
- CN103278141B CN103278141B CN201310071434.6A CN201310071434A CN103278141B CN 103278141 B CN103278141 B CN 103278141B CN 201310071434 A CN201310071434 A CN 201310071434A CN 103278141 B CN103278141 B CN 103278141B
- Authority
- CN
- China
- Prior art keywords
- laser
- image
- point
- coordinate
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 title abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000001105 regulatory effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Alarm Systems (AREA)
Abstract
婴幼儿睡眠监控***及方法,涉及计算机视觉监控领域。红外激光器和数字CCD摄像机组成视觉感知***,红外激光器通过传感器支架固定在CCD摄像机的下方;婴幼儿睡眠的床上置有被褥,红外激光器投射的线激光投射在被褥上,线激光位于婴幼儿下半身的位置,线激光的方向与婴幼儿躯干方向垂直;红外激光器投射到被褥上形成光带,光带被数字CCD摄像机采集成像;CCD摄像机在传感器支架上可调整俯仰角度,使得所述的狭长的光带出现在CCD摄像机的视场中央;CCD摄像机捕获的狭长的光带的数字图像通过1394图像采集卡由传输电缆传输至计算机,完成信息处理判别是否有婴幼儿蹬被的发生,即通过视觉测量软件检测光带并判别是否有婴幼儿蹬被的发生。
Description
技术领域
本发明涉及计算机视觉监控领域,设计了一种基于红外结构光视觉原理的婴幼儿睡眠监控***装置,并实现了基于该装置的监控方法。
背景技术
计算机视觉技术是用计算机实现人的视觉功能—对客观世界的三维场景的感知、识别和理解,在国民经济、科学研究及国防建设等领域都有着广泛的应用。视觉技术的最大优点是与被观测的对象无接触,因此对观测与被观测者都不会产生任何损伤;此外,借助红外线、微波、超声波等视觉方式,能检测到人眼观察不到的范围,因而极大地拓展了人类的视觉局限。
结构光视觉三维测量是一种基于三角摄影测量原理的,既利用图像作为信息载体又利用可控光源的主动式测量技术。测量***在硬件上由结构光发生源和摄像机两部分组成,而且被测三维物体、结构光源和摄像机三者之间形成三角结构。简单的结构光是一扇激光平面,与三维物体表面相交,交线为含有三维物体形状信息的曲线。该交线是比自然光照射下的物体其他部位亮得多的光条,所以在摄像机中成像为一条亮带。对于物体表面光条上的某一光点,一定位于摄像机光心和该点对应像点构成的空间直线上,同时,该点又位于光平面上,因此由直线和平面的相交,唯一地确定一个三维空间点。
对于夜晚黑暗状态下的视觉检测,人们不希望明亮的激光条纹产生环境光照,因此可以将可见光波段的激光源替换为红外波段的激光源。近年来,红外视觉技术在车辆辅助驾驶、高温构件的尺寸测量、军事目标跟踪、机器人及无人飞行器的导航定位等领域取得了一定的研究进展,且在军事和民用领域的应用范围仍在日益扩展。
完全缺乏自理能力的婴幼儿是需要监护人一直监视的对象。当今社会,随着生活节奏的加快和工作压力的增大,婴幼儿的监护人(如父母)很难做到夜间睡眠期间的全程监护,如监护婴幼儿的被褥是否盖好等;且夜间的监护工作使监护人长期得不到良好休息,导致身体逐渐趋于亚健康状态。婴幼儿睡眠过程中,由于翻身、暂时温度不适等原因导致的蹬被子动作,在不能及时发现的情况下,会使婴幼儿的躯体长时间暴露在空气中,容易致使其发生感冒,甚至更为严重的疾病。若能利用计算机视觉技术辅助人去完成或部分完成监护任务,则有助于将监护人从长期的疲劳状态解脱出来,因而具有十分重要的现实意义。
发明内容
针对婴幼儿睡眠过程中,由于翻身、暂时温度不舒适等原因导致的蹬被子的问题,本发明提出了一种基于红外结构光视觉的监控装置及监控方法,由于借助了主动红外光源,能够在夜间缺失可见光的条件下,有效地检测出婴幼儿的被褥是否覆盖良好。若未盖好,则向监护人及时发出报警声,提示监护人为婴幼儿盖好被褥。
本发明采用如下技术方案:
婴幼儿睡眠监控***,包括有CCD摄像机1、红外激光器2、激光器电源3,传感器支架4,传输电缆5,1394图像采集卡6,计算机7,由红外激光器2和数字CCD摄像机1安装于传感器支架4上,红外激光器2和数字CCD摄像机1组成视觉感知***,红外激光器2通过传感器支架4固定在CCD摄像机1的下方;婴幼儿睡眠的床上置有被褥,红外激光器2投射的线激光投射在被褥上,线激光位于婴幼儿下半身的位置,线激光的方向与婴幼儿躯干方向垂直;红外激光器2投射到被褥上形成狭长的光带,所述的狭长的光带被数字CCD摄像机采集成像;CCD摄像机1在传感器支架上可调整俯仰角度,使得所述的狭长的光带出现在CCD摄像机1的视场中央;CCD摄像机1捕获的狭长的光带的数字图像通过1394图像采集卡6由传输电缆5传输至计算机7,完成信息处理判别是否有婴幼儿蹬被的发生,即通过视觉测量软件检测光带并判别是否有婴幼儿蹬被的发生。
红外激光器投射的红外光线条频率为850nm,功率为50mw。
本发明提供了一种基于红外结构光视觉的婴幼儿睡眠监控方法,其特征在于,包括如下步骤:
S1:建立激光平面和床平面;
①在A3页面的白纸上打印黑白方格图案,粘贴于平整的木板上,做成一个平面靶标;
②将①中所述的靶标放置在CCD摄像机1前面,关闭激光器,使得靶标在CCD摄像机1中成清晰、完整的图像,采集该图像;在保持靶标不动的前提下,打开激光器,线激光投射在靶标平面上,此时采集投射有激光的靶标图像。
接下来,连续变换5次靶标的位置和方向,注意使其中一个位置在床平面上。该过程共采集6幅无激光投射的靶标图像(I1,I2,…I6)和6幅投射有激光的靶标图像(L1,L2,…L6);
③在6个不同位置的靶标上,建立局部世界坐标系Oi-xiyizi(i=1,2,…,6)。该坐标系的原点位于左上角黑色方块的左上角,xi轴沿靶标最上方的一条横向直线指向右,yi轴沿最左方的一条纵向直线指向下,根据右手螺旋法则确定zi轴的方向;在摄像机上建立摄像机坐标系Oc-xcyczc,其坐标原点位于镜头光心,xc轴平行于成像平面的横轴,yc轴平行于成像平面的纵轴,根据右手螺旋法则确定zc轴的方向;
④根据张正友提出的基于平面靶标的摄像机标定方法(该方法为业内所熟知)确定出CCD摄像机1的内部参数,包括归一化焦距(fx,fy),主点坐标(u0,v0),图像坐标轴倾斜因子γ,镜头的二阶径向畸变系数kd=(k1,k2)(这些符号的意义也为业内所共识);该标定过程能够确定出③中所述的每个局部世界坐标系相对于摄像机坐标系Oc-xcyczc的位置关系(Ri,Ti)(i=1,2,…,6),满足
Xc=RiX+Ti(1)
式(1)中,X表示空间一个点在局部世界坐标系下的坐标,Xc表示该点在摄像机坐标系Oc-xcyczc下的坐标,Ri为局部世界坐标系与摄像机坐标系之间的旋转矩阵,Ti为局部世界坐标系与摄像机坐标系之间的平移向量。由于其中一个靶标位置在床平面上,记录其相应的(Ri,Ti)(i=1,2,…,6)为(Rb,Tb),通过(Rb,Tb)可描述床平面的位置;
⑤利用一种基于交比不变的方法建立起激光平面的方程Ax+By+Cz+1=0(A,B,C为描述该平面位置与方向等几何信息的数学参数,该标定方法为业内所熟知)。
S2:采集图像;
连接硬件,***上电,利用CCD摄像机1的软件驱动程序采集当前图像;
S3:图像处理;
利用C.Steger提出的方法,在图像(L1,L2,…L6)上分别提取线激光的中心线,并根据如下步骤求取线点对应的三维坐标。
①利用内参矩阵将以像素为单位的图像点坐标(u,v)(图像坐标系的原点位于图像的左上角,u轴沿水平方向,v轴沿垂直方向)转化为以毫米为单位的规一化像点坐标(xnd,ynd)(规一化图像坐标系的原点位于CCD成像面的光学中心,x轴沿水平方向,y轴沿垂直方向):
②利用式(2)校正像点(xnd,ynd)的畸变,得到规一化图像坐标系下的校正后的像点坐标(xnu,ynu)
(k1,k2)标定出的镜头二阶径向畸变系数,r为像点到主点的距离。
③建立摄像机坐标系下三维激光点的坐标方程
xnu=Xc/Zcxnu=Xc/Zc(4)
④假定拟合得到的摄像机坐标系下的线结构光的平面方程为:
Ax+By+Cz+1=0(5)
则在摄像机中成像的空间激光点同时满足式(4)和(5)。因此,摄像机坐标系下的三维激光点坐标表示为:
Xc=xnu·Zc,Yc=ynu·Zc,
S4:将已经求取的三维坐标转换至世界坐标系,判定婴幼儿的被褥是否盖好;
上式(6)得到的三维坐标,带入(7),计算出世界坐标(Xw,Yw,Zw)。根据Zw的大小判定婴幼儿的被褥是否盖好;
S5:根据判定结果,选择是否报警。
如果出现一定量的点,满足Zw<10mm,且点的个数N>100,说明红外线激光打在了床平面上,婴幼儿被褥未盖好,计算机控制报警器报警,通知监护人照看婴幼儿。
本发明具有以下有益效果:
本发明所提供的视觉监控方法使得机器能够代替监护人去完成夜间婴幼儿睡眠状态的监控。实验结果表明,本监控方法能够准确判别婴幼儿蹬被子的状况,能够及时向监护人报警,具有一定的灵敏度和可靠性。
以下结合附图说明和具体实施方式对本发明作进一步详细说明。
附图说明
图1监控***装置硬件结构图;
图2监控原理图;
图3黑白方格图案;
图4红外图像处理结果图。
图中:1、CCD摄像机,2、红外激光器,3、激光器电源,4、传感器支架,5、传输电缆,6、1394图像采集卡,7、计算机,8、红外激光平面,9、报警器,10、世界坐标系,11、监护人,12、婴幼儿。
具体实施方式
本实施方式的具体装置结构,参见图1,包括CCD摄像机1、红外激光器2、激光器电源3,传感器支架4,传输电缆5,1394图像采集卡6,计算机7。利用传感器支架4上加工的螺孔,在床合适的位置固定传感器支架4;调整CCD摄像机1和红外激光器2的俯仰角度,使得线激光出现在图像中央的位置;1394图像采集卡6插在在计算机7中,***上电后,在计算机7中启动CCD摄像机1的驱动程序,采集图像并输入到计算机7中,在计算机7中完成图像的监视、处理和三维计算,并根据处理结果做出决策与控制。
整个过程如图2所示。图2中包括,摄像机1,红外激光器2,红外激光平面8,计算机7,报警器9,世界坐标系10,监护人11,婴幼儿12。世界坐标系10建立在床平面上,便于根据的Zw值做出决策判断,如果出现了婴幼儿12蹬被的现象,则计算机7控制报警器9发出响声,提醒监护人11照理婴幼儿12。
图4为红外图像处理结果图,其中(a)为红外图像(盖好),(b)为线条提取图;(c)为红外图像(未盖好),(d)为线条提取图。
Claims (1)
1.一种基于红外结构光视觉的婴幼儿睡眠监控方法,其特征在于,包括如下步骤:
S1:建立激光平面和床平面;
①在A3页面的白纸上打印黑白方格图案,粘贴于平整的木板上,做成一个平面靶标;
②将①中所述的靶标放置在CCD摄像机(1)前面,关闭激光器,使得靶标在CCD摄像机(1)中成清晰、完整的图像,采集该图像;在保持靶标不动的前提下,打开激光器,线激光投射在靶标平面上,此时采集投射有激光的靶标图像;
接下来,连续变换5次靶标的位置和方向,注意使其中一个位置在床平面上;该过程共采集6幅无激光投射的靶标图像(I1,I2,…I6)和6幅投射有激光的靶标图像(L1,L2,…L6);
③在6个不同位置的靶标上,建立局部世界坐标系Oi-xiyizi(i=1,2,…,6);该坐标系的原点位于左上角黑色方块的左上角,xi轴沿靶标最上方的一条横向直线指向右,yi轴沿最左方的一条纵向直线指向下,根据右手螺旋法则确定zi轴的方向;在摄像机上建立摄像机坐标系Oc-xcyczc,其坐标原点位于镜头光心,xc轴平行于成像平面的横轴,yc轴平行于成像平面的纵轴,根据右手螺旋法则确定zc轴的方向;
④根据张正友提出的基于平面靶标的摄像机标定方法确定出CCD摄像机(1)的内部参数,包括归一化焦距(fx,fy),主点坐标(u0,v0),图像坐标轴倾斜因子γ,镜头的二阶径向畸变系数kd=(k1,k2);该标定过程能够确定出③中所述的每个局部世界坐标系相对于摄像机坐标系Oc-xcyczc的位置关系(Ri,Ti)(i=1,2,…,6),满足
Xc=RiX+Ti(1)
式(1)中,X表示空间一个点在局部世界坐标系下的坐标,Xc表示该点在摄像机坐标系Oc-xcyczc下的坐标,Ri为局部世界坐标系与摄像机坐标系之间的旋转矩阵,Ti为局部世界坐标系与摄像机坐标系之间的平移向量;由于其中一个靶标位置在床平面上,记录其相应的(Ri,Ti)(i=1,2,…,6)为(Rb,Tb),通过(Rb,Tb)可描述床平面的位置;
⑤利用一种基于交比不变的方法建立起激光平面的方程Ax+By+Cz+1=0,A,B,C为描述该平面位置与方向几何信息的数学参数;
S2:采集图像;
连接硬件,***上电,利用CCD摄像机(1)的软件驱动程序采集当前图像;
S3:图像处理;
利用C.Steger提出的方法,在图像(L1,L2,…L6)上分别提取线激光的中心线,并根据如下步骤求取线点对应的三维坐标;
①利用内参矩阵将以像素为单位的图像点坐标(u,v),图像坐标系的原点位于图像的左上角,u轴沿水平方向,v轴沿垂直方向;转化为以毫米为单位的规一化像点坐标(xnd,ynd),规一化图像坐标系的原点位于CCD成像面的光学中心,x轴沿水平方向,y轴沿垂直方向:
②利用式(2)校正像点(xnd,ynd)的畸变,得到规一化图像坐标系下的校正后的像点坐标(xnu,ynu)
(k1,k2)标定出的镜头二阶径向畸变系数,r为像点到主点的距离;
③建立摄像机坐标系下三维激光点的坐标方程
xnu=Xc/Zcxnu=Xc/Zc(4)
④假定拟合得到的摄像机坐标系下的线结构光的平面方程为:
Ax+By+Cz+1=0(5)
则在摄像机中成像的空间激光点同时满足式(4)和(5);因此,摄像机坐标系下的三维激光点坐标表示为:
S4:将已经求取的三维坐标转换至世界坐标系,判定婴幼儿的被褥是否盖好;
上式(6)得到的三维坐标,带入(7),计算出世界坐标(Xw,Yw,Zw);根据Zw的大小判定婴幼儿的被褥是否盖好;
S5:根据判定结果,选择是否报警;
如果出现一定量的点,满足Zw<10mm,且点的个数N>100,说明红外线激光打在了床平面上,婴幼儿被褥未盖好,计算机控制报警器报警,通知监护人照看婴幼儿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310071434.6A CN103278141B (zh) | 2013-03-06 | 2013-03-06 | 婴幼儿睡眠监控***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310071434.6A CN103278141B (zh) | 2013-03-06 | 2013-03-06 | 婴幼儿睡眠监控***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103278141A CN103278141A (zh) | 2013-09-04 |
CN103278141B true CN103278141B (zh) | 2016-05-18 |
Family
ID=49060730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310071434.6A Expired - Fee Related CN103278141B (zh) | 2013-03-06 | 2013-03-06 | 婴幼儿睡眠监控***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103278141B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871194B (zh) * | 2014-03-17 | 2016-06-08 | 广东美的制冷设备有限公司 | 空调及其检测方法和*** |
CN105389943B (zh) * | 2015-11-18 | 2017-10-13 | 上海斐讯数据通信技术有限公司 | 防止跌落的安全装置、安全监控***及方法 |
CN107174239A (zh) * | 2017-07-05 | 2017-09-19 | 李震中 | 一种睡眠监测仪 |
CN107168339A (zh) * | 2017-07-10 | 2017-09-15 | 北京工业大学 | 一种基于视觉和超声波组合的智能轮椅床对接控制方法 |
CN111765974B (zh) * | 2020-07-07 | 2021-04-13 | 中国环境科学研究院 | 一种基于微型制冷红外热像仪的野生动物观测***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2067006U (zh) * | 1990-03-07 | 1990-12-05 | 林永立 | 幼儿蹬被报警器 |
US6377700B1 (en) * | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
CN102301202A (zh) * | 2008-12-11 | 2011-12-28 | 纽玛凯尔有限公司 | 用于监测物体的方法和设备 |
CN102467807A (zh) * | 2010-11-10 | 2012-05-23 | 汕头市炜达电子科技有限公司 | 儿童防着凉报警器 |
-
2013
- 2013-03-06 CN CN201310071434.6A patent/CN103278141B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2067006U (zh) * | 1990-03-07 | 1990-12-05 | 林永立 | 幼儿蹬被报警器 |
US6377700B1 (en) * | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
CN102301202A (zh) * | 2008-12-11 | 2011-12-28 | 纽玛凯尔有限公司 | 用于监测物体的方法和设备 |
CN102467807A (zh) * | 2010-11-10 | 2012-05-23 | 汕头市炜达电子科技有限公司 | 儿童防着凉报警器 |
Also Published As
Publication number | Publication date |
---|---|
CN103278141A (zh) | 2013-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103278141B (zh) | 婴幼儿睡眠监控***及方法 | |
WO2021068846A1 (zh) | 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人 | |
CN101999972B (zh) | 一种基于立体视觉的盲人辅助行走装置及其辅助方法 | |
CN105424006B (zh) | 基于双目视觉的无人机悬停精度测量方法 | |
CN103065519B (zh) | 坡道定点停车和起步检测***及其检测方法 | |
CN102445323B (zh) | 一种基于图像处理的定日镜故障诊断方法及*** | |
CN102589530B (zh) | 基于二维相机和三维相机融合的非合作目标位姿测量方法 | |
CN106203370B (zh) | 一种基于计算机视觉技术的视力测定*** | |
CN105547635A (zh) | 一种用于风洞试验的非接触式结构动力响应测量方法 | |
CN103099623A (zh) | 一种人体运动学参数的提取方法 | |
US20160150976A1 (en) | High-resolution thermal imaging system, apparatus, method and computer accessible medium | |
CN104034305A (zh) | 一种单目视觉实时定位的方法 | |
CN113793367B (zh) | 一种工程结构转角位移视觉测量及动力识别***及方法 | |
CN105354825A (zh) | 自动识别读写场景中读物位置的智能装置及其应用 | |
CN110879080A (zh) | 一种高温锻件高精度智能测量仪和测量方法 | |
CN103475827A (zh) | 基于红外热成像技术的检测***及其实现方法 | |
CN105354822A (zh) | 自动识别读写场景中读写元素位置的智能装置及应用 | |
CN105181109A (zh) | 一种导线脱冰跳跃轨迹双目测量方法 | |
CN106169076A (zh) | 一种基于透视变换的角度车牌图像库搭建方法 | |
CN104330048A (zh) | 一种基于图像的铁路雪深测量装置及方法 | |
CN106767450A (zh) | 一种基于函数标定的车辆超高超宽检测***及方法 | |
CN113340431A (zh) | 一种移动式非接触人脸测温装置 | |
CN101494772A (zh) | 一种图像检测的方法及装置 | |
CN101980292A (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
CN206378107U (zh) | 轮廓测量装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 |
|
CF01 | Termination of patent right due to non-payment of annual fee |