CN116311178A - 一种处理dms红外光反射导致亮斑的*** - Google Patents
一种处理dms红外光反射导致亮斑的*** Download PDFInfo
- Publication number
- CN116311178A CN116311178A CN202310101483.3A CN202310101483A CN116311178A CN 116311178 A CN116311178 A CN 116311178A CN 202310101483 A CN202310101483 A CN 202310101483A CN 116311178 A CN116311178 A CN 116311178A
- Authority
- CN
- China
- Prior art keywords
- contour
- image
- eye
- face
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000002911 Salvia sclarea Nutrition 0.000 claims abstract description 40
- 244000182022 Salvia sclarea Species 0.000 claims abstract description 40
- 230000001502 supplementing effect Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 210000005252 bulbus oculi Anatomy 0.000 claims description 223
- 210000001508 eye Anatomy 0.000 claims description 197
- 230000003068 static effect Effects 0.000 claims description 51
- 238000006073 displacement reaction Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000012886 linear function Methods 0.000 claims description 12
- 230000004424 eye movement Effects 0.000 claims description 11
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种处理DMS红外光反射导致亮斑的***，通过生成脸部图像的高光轮廓图像以及背景轮廓图像，在高光轮廓图像中确定红外补光光源的反射亮斑区域的位置，在每一张背景轮廓图像上定位所述驾驶员的眼部区域，在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置，在所述反射亮斑区域和所述眼球区域具有重叠区域且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，能够减小红外光源的反射亮斑对驾驶员监测功能的影响。
Description
技术领域
本发明涉及驾驶员监测技术领域，特别涉及一种处理DMS红外光反射导致亮斑的***。
背景技术
DMS(Drive Moniter System，驾驶员监测***)是通过拍摄驾驶员的图像特别是脸部图像以监测驾驶员是否具有疲劳驾驶、打电话或者未系安全带等危险行为，从而对驾驶员进行提示的***。由于汽车行驶过程中外部环境复杂多变，从而导致车内的光线环境频繁发生变化，特别是在夜间开车或者经过光线昏暗的地方如隧道或者高架底下时，环境光线的亮度不足以支撑DMS***获取清晰的驾驶员脸部图像，由于红外光源对驾驶员的视线影响较小，目前较为常见的是在暗光环境下通过打开红外补光光源照射驾驶员的脸部，拍摄红外图像的方式来解决上述问题。然而红外光源容易在拍摄得到的红外图像上的驾驶员的眼睛以及眼镜的镜面、边框等具有高反射率的位置产生反射亮斑，这些反射亮斑往往会降低驾驶员的眼球在红外图上的可辨识度，而DMS***对驾驶员的视线方向、疲劳度等的识别往往需要基于驾驶员的眼球的位置、运动方向和运动频率来实现，红外光源的反射亮斑的存在将导致DMS***的部分驾驶员监测功能无法正常工作。
发明内容
本发明正是基于上述问题，提出了一种处理DMS红外光反射导致亮斑的***，能够减小红外光源的反射亮斑对驾驶员监测功能的影响。
有鉴于此，本发明的第一方面提出了一种处理DMS红外光反射导致亮斑的***，包括：
环境光监测模块，用于实时监测环境光照条件；
红外光源控制模块，用于根据环境光照条件控制红外补光光源的关启或关闭；
图像采集模块，用于以预设的高采样率采集驾驶员的脸部图像；
亮斑识别模块，用于判断所述脸部图像上是否存在所述红外补光光源的反射亮斑；
分层图像生成模块，用于在所述脸部图像上存在所述红外补光光源的反射亮斑时，对所述脸部图像进行处理以生成对应所述脸部图像的高光层图像和背景层图像；
轮廓图像生成模块，用于以所述高光层图像为基础生成高光轮廓图像，以及以所述背景层图像为基础生成背景轮廓图像；
亮斑定位模块，用于在所述高光轮廓图像中确定所述红外补光光源的反射亮斑区域的位置；
眼部区域定位模块，用于在采集到的每一张所述脸部图像所生成的所述背景轮廓图像上定位所述驾驶员的眼部区域；
眼球区域跟踪模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，在所述背景轮廓图像上具有清晰的眼部轮廓具体为在所述背景轮廓图像上的两个所述眼部区域具有完整的封闭性的轮廓线；
眼球定位模块，用于根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置；
图像修复模块，用于在所述反射亮斑区域和所述眼球区域具有重叠区域，且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，在所述背景轮廓图像上没有清晰的眼球轮廓具体为在所述背景轮廓图像上的两个所述眼部区域中的眼球区域没有完整的封闭性的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述眼球区域跟踪模块包括：
对应关系确定模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓以及清晰的眼球轮廓时，确定眼部区域的轮廓线和眼球区域的轮廓线的对应关系；
中心坐标计算模块，用于计算每个眼球区域的轮廓线的中心点的坐标；
定位线函数确定模块，用于根据所述眼球区域的轮廓线的中心点的坐标确定经过所述中心点的水平线和第一垂直线的直线函数；
交点坐标计算模块，用于计算经过所述中心点的所述水平线和所述第一垂直线的直线函数分别与对应的所述眼部区域的轮廓线相交的四个第一交点的坐标；
相对位置参数计算模块，用于计算四个所述第一交点分别与所述眼球区域的轮廓线的中心点之间的距离，并将计算得到的四个距离确定为所述眼球区域在所述眼部区域中的第一相对位置参数。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述***还包括：
脸动速度记录模块，用于将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度，所述驾驶员的脸部的最大运动速度为预设的一段时间内在所述驾驶员的脸部的定位基点在所述背景轮廓图像上的最大位移速度；
眼动速动记录模块，用于将所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度记录为所述驾驶员的眼动速度，所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度为预设的一段时间内根据所述眼球区域的轮廓线的中心坐标在对应的所述眼部区域的轮廓线中的相对位置参数计算得到的最大相对位移速度。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述脸动速度记录模块包括：
定位基点确定模块，用于将所述驾驶员的脸部的眼角、双眼中心点连线的中点、眉心以及鼻尖中的一个或多个确定为所述定位基点；
基点坐标获取模块，用于在所述背景轮廓图像上确定所述定位基点的坐标。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述图像修复模块包括：
静态阈值获取模块，用于获取预先配置的脸动静态位移阈值和眼动静态位移阈值；
静态时间计算模块，用于根据所述驾驶员的脸动速度、眼动速度、所述脸动静态位移阈值以及所述眼动静态位移阈值计算所述驾驶员的最大眼球静态时间。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述图像修复模块还包括：
偏移帧数计算模块，用于根据所述最大眼球静态时间以及所述脸部图像的采集率计算第一帧数偏移量n；
图像获取模块，用于根据所述第一帧数偏移量n获取当前帧脸部图像的在先n帧脸部图像所生成的所述背景轮廓图像；
目标图像确定模块，用于在所述在先n帧背景轮廓图像中确定具有清晰的眼球轮廓且与当前帧脸部图像具有最小帧数偏移量的目标背景轮廓图像；
眼球轮廓修复模块，用于在当前帧的脸部图像生成的所述背景轮廓图像没有清晰的眼球轮廓时，使用所述目标背景轮廓图像的眼球区域的轮廓线修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述静态时间计算模块还用于当在所述在先n帧脸部图像所生成的所述背景轮廓图像中均没有清晰的眼球轮廓时，根据所述驾驶员的脸动速度以及所述脸动静态位移阈值计算所述驾驶员的最大脸部静态时间，所述偏移帧数计算模块还用于根据所述最大脸部静态时间以及所述脸部图像的采集率计算第二帧数偏移量m，所述图像获取模块还用于根据所述第二帧数偏移量m获取当前帧脸部图像的在先m帧脸部图像所生成的所述背景轮廓图像，所述图像修复模块还包括：
移动参数模块，用于当在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数大于预设值时，根据具有清晰的眼球轮廓的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置计算所述眼球区域在所述眼部区域中的移动参数，所述移动参数包括所述眼球区域在所述眼部区域中的移动路径及其移动速度；
相对位置计算模块，用于根据所述眼球区域在所述眼部区域中的移动参数计算当前帧的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置；
所述眼球轮廓修复模块还用于根据所述眼球区域在所述眼部区域中的相对位置修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述眼球区域跟踪模块还包括：
脸部区域定位模块，用于在采集到的每一张脸部图像所生成的背景轮廓图像上定位所述驾驶员的脸部区域；
所述图像修复模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述背景轮廓图像上所述驾驶员的脸部区域的轮廓修复所述驾驶员的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述中心坐标计算模块还用于计算每个眼部区域的轮廓线的中心点的坐标，所述定位线函数确定模块还用于根据所述眼部区域的轮廓线的中心点的坐标确定同时经过两个眼部区域的中心点的连线和与所述连线相交于两个眼部区域的中心点的中点的第二垂直线的直线函数，所述交点坐标计算模块还用于计算所述连线和所述驾驶员的脸部区域的轮廓线的两个第二交点的坐标、所述连线和所述垂直线的第三交点的坐标，以及所述第三交点与所述驾驶员的脸部区域的轮廓线的第四交点的坐标，所述相对位置参数计算模块还用于在所述背景轮廓图像上具有清晰的脸部轮廓和清晰的眼部轮廓时，计算所述脸部区域的轮廓线的形状参数、所述眼部区域的轮廓线的形状参数以及所述脸部轮廓和所述眼部轮廓的第二相对位置参数，所述所述脸部区域的轮廓线的形状参数包括所述脸部区域的轮廓线的宽度和高度，所述眼部区域的轮廓线的形状参数包括所述眼部区域的轮廓线的宽度，所述第二相对位置参数包括所述驾驶员的两个眼部区域的轮廓线的外侧眼角与所述驾驶员的脸部区域的轮廓线的最小距离、所述驾驶员的两个眼部区域的轮廓线的中心点分别与所述第二交点之间的最小距离，以及所述第三交点分别与所述第二交点、所述第四交点之间的距离，所述眼球区域跟踪模块还包括：
相对角度计算模块，用于根据所述第二相对位置参数计算所述驾驶员的脸部朝向和摄像装置的拍摄方向之间的相对角度；
对应关系记录模块，用于记录所述相对角度和所述第二相对位置参数的关联关系。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述相对角度计算模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
相对位置参数获取模块，用于获取与所述相对角度对应的第二相对位置参数；
眼部轮廓修复模块，用于根据所述第二相对参数修复所述背景轮廓图像中的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述相对角度计算模块还用于在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数小于预设值时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
转动方向确定模块，用于确定所述摄像装置的目标转动方向，所述目标转动方向为所述摄像装置在所述目标转动方向上转动最大可转动角度后与所述驾驶员的脸部朝向之间的所述相对角度大于在所述目标转动方向的反方向上转动最大可转动角度后的相对角度；
摄像装置控制模块，用于控制所述摄像装置往所述目标转动方向转动以使转动后的所述背景轮廓图像具有清晰的眼球轮廓。
本发明的第二方面提出了一种处理DMS红外光反射导致亮斑的方法，包括：
实时监测环境光照条件；
根据环境光照条件控制红外补光光源的关启或关闭；
以预设的高采样率采集驾驶员的脸部图像；
判断所述脸部图像上是否存在所述红外补光光源的反射亮斑；
在所述脸部图像上存在所述红外补光光源的反射亮斑时，对所述脸部图像进行处理以生成对应所述脸部图像的高光层图像和背景层图像；
以所述高光层图像为基础生成高光轮廓图像，以及以所述背景层图像为基础生成背景轮廓图像；
在所述高光轮廓图像中确定所述红外补光光源的反射亮斑区域的位置；
在采集到的每一张所述脸部图像所生成的所述背景轮廓图像上定位所述驾驶员的眼部区域；
在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，在所述背景轮廓图像上具有清晰的眼部轮廓具体为在所述背景轮廓图像上的两个所述眼部区域具有完整的封闭性的轮廓线；
根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置；
在所述反射亮斑区域和所述眼球区域具有重叠区域，且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，在所述背景轮廓图像上没有清晰的眼球轮廓具体为在所述背景轮廓图像上的两个所述眼部区域中的眼球区域没有完整的封闭性的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤具体包括：
在所述背景轮廓图像上具有清晰的眼部轮廓以及清晰的眼球轮廓时，确定眼部区域的轮廓线和眼球区域的轮廓线的对应关系；
计算每个眼球区域的轮廓线的中心点的坐标；
根据所述眼球区域的轮廓线的中心点的坐标确定经过所述中心点的水平线和第一垂直线的直线函数；
计算经过所述中心点的所述水平线和所述第一垂直线的直线函数分别与对应的所述眼部区域的轮廓线相交的四个第一交点的坐标；
计算四个所述第一交点分别与所述眼球区域的轮廓线的中心点之间的距离，并将计算得到的四个距离确定为所述眼球区域在所述眼部区域中的第一相对位置参数。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，还包括：
将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度，所述驾驶员的脸部的最大运动速度为预设的一段时间内在所述驾驶员的脸部的定位基点在所述背景轮廓图像上的最大位移速度；
将所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度记录为所述驾驶员的眼动速度，所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度为预设的一段时间内根据所述眼球区域的轮廓线的中心坐标在对应的所述眼部区域的轮廓线中的相对位置参数计算得到的最大相对位移速度。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度的步骤具体包括：
将所述驾驶员的脸部的眼角、双眼中心点连线的中点、眉心以及鼻尖中的一个或多个确定为所述定位基点；
在所述背景轮廓图像上确定所述定位基点的坐标。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤具体包括：
获取预先配置的脸动静态位移阈值和眼动静态位移阈值；
根据所述驾驶员的脸动速度、眼动速度、所述脸动静态位移阈值以及所述眼动静态位移阈值计算所述驾驶员的最大眼球静态时间。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
根据所述最大眼球静态时间以及所述脸部图像的采集率计算第一帧数偏移量n；
根据所述第一帧数偏移量n获取当前帧脸部图像的在先n帧脸部图像所生成的所述背景轮廓图像；
在所述在先n帧背景轮廓图像中确定具有清晰的眼球轮廓且与当前帧脸部图像具有最小帧数偏移量的目标背景轮廓图像；
在当前帧的脸部图像生成的所述背景轮廓图像没有清晰的眼球轮廓时，使用所述目标背景轮廓图像的眼球区域的轮廓线修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
当在所述在先n帧脸部图像所生成的所述背景轮廓图像中均没有清晰的眼球轮廓时，根据所述驾驶员的脸动速度以及所述脸动静态位移阈值计算所述驾驶员的最大脸部静态时间；
根据所述最大脸部静态时间以及所述脸部图像的采集率计算第二帧数偏移量m；
根据所述第二帧数偏移量m获取当前帧脸部图像的在先m帧脸部图像所生成的所述背景轮廓图像；
当在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数大于预设值时，根据具有清晰的眼球轮廓的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置计算所述眼球区域在所述眼部区域中的移动参数，所述移动参数包括所述眼球区域在所述眼部区域中的移动路径及其移动速度；
根据所述眼球区域在所述眼部区域中的移动参数计算当前帧的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置；
根据所述眼球区域在所述眼部区域中的相对位置修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤还包括：
在采集到的每一张脸部图像所生成的背景轮廓图像上定位所述驾驶员的脸部区域；
在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述背景轮廓图像上所述驾驶员的脸部区域的轮廓修复所述驾驶员的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤还包括：
计算每个眼部区域的轮廓线的中心点的坐标；
根据所述眼部区域的轮廓线的中心点的坐标确定同时经过两个眼部区域的中心点的连线和与所述连线相交于两个眼部区域的中心点的中点的第二垂直线的直线函数；
计算所述连线和所述驾驶员的脸部区域的轮廓线的两个第二交点的坐标、所述连线和所述垂直线的第三交点的坐标，以及所述第三交点与所述驾驶员的脸部区域的轮廓线的第四交点的坐标；
在所述背景轮廓图像上具有清晰的脸部轮廓和清晰的眼部轮廓时，计算所述脸部区域的轮廓线的形状参数、所述眼部区域的轮廓线的形状参数以及所述脸部轮廓和所述眼部轮廓的第二相对位置参数，所述所述脸部区域的轮廓线的形状参数包括所述脸部区域的轮廓线的宽度和高度，所述眼部区域的轮廓线的形状参数包括所述眼部区域的轮廓线的宽度，所述第二相对位置参数包括所述驾驶员的两个眼部区域的轮廓线的外侧眼角与所述驾驶员的脸部区域的轮廓线的最小距离、所述驾驶员的两个眼部区域的轮廓线的中心点分别与所述第二交点之间的最小距离，以及所述第三交点分别与所述第二交点、所述第四交点之间的距离；
根据所述第二相对位置参数计算所述驾驶员的脸部朝向和摄像装置的拍摄方向之间的相对角度；
记录所述相对角度和所述第二相对位置参数的关联关系。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度；
获取与所述相对角度对应的第二相对位置参数；
根据所述第二相对参数修复所述背景轮廓图像中的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数小于预设值时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度；
确定所述摄像装置的目标转动方向，所述目标转动方向为所述摄像装置在所述目标转动方向上转动最大可转动角度后与所述驾驶员的脸部朝向之间的所述相对角度大于在所述目标转动方向的反方向上转动最大可转动角度后的相对角度；
控制所述摄像装置往所述目标转动方向转动以使转动后的所述背景轮廓图像具有清晰的眼球轮廓。
本发明提出了一种处理DMS红外光反射导致亮斑的***，通过生成脸部图像的高光轮廓图像以及背景轮廓图像，在高光轮廓图像中确定红外补光光源的反射亮斑区域的位置，在每一张背景轮廓图像上定位所述驾驶员的眼部区域，在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置，在所述反射亮斑区域和所述眼球区域具有重叠区域且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，能够减小红外光源的反射亮斑对驾驶员监测功能的影响。
附图说明
图1是本发明一个实施例提供的一种处理DMS红外光反射导致亮斑的***的示意框图；
图2是本发明一个实施例提供的一种处理DMS红外光反射导致亮斑的方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本说明书的描述中，术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种处理DMS红外光反射导致亮斑的***。
如图1所示，本发明的第一方面提出了一种处理DMS红外光反射导致亮斑的***，包括：
环境光监测模块，用于实时监测环境光照条件；
红外光源控制模块，用于根据环境光照条件控制红外补光光源的关启或关闭；
图像采集模块，用于以预设的高采样率采集驾驶员的脸部图像；
亮斑识别模块，用于判断所述脸部图像上是否存在所述红外补光光源的反射亮斑；
分层图像生成模块，用于在所述脸部图像上存在所述红外补光光源的反射亮斑时，对所述脸部图像进行处理以生成对应所述脸部图像的高光层图像和背景层图像；
轮廓图像生成模块，用于以所述高光层图像为基础生成高光轮廓图像，以及以所述背景层图像为基础生成背景轮廓图像；
亮斑定位模块，用于在所述高光轮廓图像中确定所述红外补光光源的反射亮斑区域的位置；
眼部区域定位模块，用于在采集到的每一张所述脸部图像所生成的所述背景轮廓图像上定位所述驾驶员的眼部区域；
眼球区域跟踪模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，在所述背景轮廓图像上具有清晰的眼部轮廓具体为在所述背景轮廓图像上的两个所述眼部区域具有完整的封闭性的轮廓线；
眼球定位模块，用于根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置；
图像修复模块，用于在所述反射亮斑区域和所述眼球区域具有重叠区域，且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，在所述背景轮廓图像上没有清晰的眼球轮廓具体为在所述背景轮廓图像上的两个所述眼部区域中的眼球区域没有完整的封闭性的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述眼球区域跟踪模块包括：
对应关系确定模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓以及清晰的眼球轮廓时，确定眼部区域的轮廓线和眼球区域的轮廓线的对应关系；
中心坐标计算模块，用于计算每个眼球区域的轮廓线的中心点的坐标；
定位线函数确定模块，用于根据所述眼球区域的轮廓线的中心点的坐标确定经过所述中心点的水平线和第一垂直线的直线函数；
交点坐标计算模块，用于计算经过所述中心点的所述水平线和所述第一垂直线的直线函数分别与对应的所述眼部区域的轮廓线相交的四个第一交点的坐标；
相对位置参数计算模块，用于计算四个所述第一交点分别与所述眼球区域的轮廓线的中心点之间的距离，并将计算得到的四个距离确定为所述眼球区域在所述眼部区域中的第一相对位置参数。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述***还包括：
脸动速度记录模块，用于将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度，所述驾驶员的脸部的最大运动速度为预设的一段时间内在所述驾驶员的脸部的定位基点在所述背景轮廓图像上的最大位移速度；
眼动速动记录模块，用于将所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度记录为所述驾驶员的眼动速度，所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度为预设的一段时间内根据所述眼球区域的轮廓线的中心坐标在对应的所述眼部区域的轮廓线中的相对位置参数计算得到的最大相对位移速度。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述脸动速度记录模块包括：
定位基点确定模块，用于将所述驾驶员的脸部的眼角、双眼中心点连线的中点、眉心以及鼻尖中的一个或多个确定为所述定位基点；
基点坐标获取模块，用于在所述背景轮廓图像上确定所述定位基点的坐标。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述图像修复模块包括：
静态阈值获取模块，用于获取预先配置的脸动静态位移阈值和眼动静态位移阈值；
静态时间计算模块，用于根据所述驾驶员的脸动速度、眼动速度、所述脸动静态位移阈值以及所述眼动静态位移阈值计算所述驾驶员的最大眼球静态时间。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述图像修复模块还包括：
偏移帧数计算模块，用于根据所述最大眼球静态时间以及所述脸部图像的采集率计算第一帧数偏移量n；
图像获取模块，用于根据所述第一帧数偏移量n获取当前帧脸部图像的在先n帧脸部图像所生成的所述背景轮廓图像；
目标图像确定模块，用于在所述在先n帧背景轮廓图像中确定具有清晰的眼球轮廓且与当前帧脸部图像具有最小帧数偏移量的目标背景轮廓图像；
眼球轮廓修复模块，用于在当前帧的脸部图像生成的所述背景轮廓图像没有清晰的眼球轮廓时，使用所述目标背景轮廓图像的眼球区域的轮廓线修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述静态时间计算模块还用于当在所述在先n帧脸部图像所生成的所述背景轮廓图像中均没有清晰的眼球轮廓时，根据所述驾驶员的脸动速度以及所述脸动静态位移阈值计算所述驾驶员的最大脸部静态时间，所述偏移帧数计算模块还用于根据所述最大脸部静态时间以及所述脸部图像的采集率计算第二帧数偏移量m，所述图像获取模块还用于根据所述第二帧数偏移量m获取当前帧脸部图像的在先m帧脸部图像所生成的所述背景轮廓图像，所述图像修复模块还包括：
移动参数模块，用于当在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数大于预设值时，根据具有清晰的眼球轮廓的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置计算所述眼球区域在所述眼部区域中的移动参数，所述移动参数包括所述眼球区域在所述眼部区域中的移动路径及其移动速度；
相对位置计算模块，用于根据所述眼球区域在所述眼部区域中的移动参数计算当前帧的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置；
所述眼球轮廓修复模块还用于根据所述眼球区域在所述眼部区域中的相对位置修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述眼球区域跟踪模块还包括：
脸部区域定位模块，用于在采集到的每一张脸部图像所生成的背景轮廓图像上定位所述驾驶员的脸部区域；
所述图像修复模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述背景轮廓图像上所述驾驶员的脸部区域的轮廓修复所述驾驶员的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述中心坐标计算模块还用于计算每个眼部区域的轮廓线的中心点的坐标，所述定位线函数确定模块还用于根据所述眼部区域的轮廓线的中心点的坐标确定同时经过两个眼部区域的中心点的连线和与所述连线相交于两个眼部区域的中心点的中点的第二垂直线的直线函数，所述交点坐标计算模块还用于计算所述连线和所述驾驶员的脸部区域的轮廓线的两个第二交点的坐标、所述连线和所述垂直线的第三交点的坐标，以及所述第三交点与所述驾驶员的脸部区域的轮廓线的第四交点的坐标，所述相对位置参数计算模块还用于在所述背景轮廓图像上具有清晰的脸部轮廓和清晰的眼部轮廓时，计算所述脸部区域的轮廓线的形状参数、所述眼部区域的轮廓线的形状参数以及所述脸部轮廓和所述眼部轮廓的第二相对位置参数，所述所述脸部区域的轮廓线的形状参数包括所述脸部区域的轮廓线的宽度和高度，所述眼部区域的轮廓线的形状参数包括所述眼部区域的轮廓线的宽度，所述第二相对位置参数包括所述驾驶员的两个眼部区域的轮廓线的外侧眼角与所述驾驶员的脸部区域的轮廓线的最小距离、所述驾驶员的两个眼部区域的轮廓线的中心点分别与所述第二交点之间的最小距离，以及所述第三交点分别与所述第二交点、所述第四交点之间的距离，所述眼球区域跟踪模块还包括：
相对角度计算模块，用于根据所述第二相对位置参数计算所述驾驶员的脸部朝向和摄像装置的拍摄方向之间的相对角度；
对应关系记录模块，用于记录所述相对角度和所述第二相对位置参数的关联关系。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述相对角度计算模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
相对位置参数获取模块，用于获取与所述相对角度对应的第二相对位置参数；
眼部轮廓修复模块，用于根据所述第二相对参数修复所述背景轮廓图像中的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的***中，所述相对角度计算模块还用于在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数小于预设值时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
转动方向确定模块，用于确定所述摄像装置的目标转动方向，所述目标转动方向为所述摄像装置在所述目标转动方向上转动最大可转动角度后与所述驾驶员的脸部朝向之间的所述相对角度大于在所述目标转动方向的反方向上转动最大可转动角度后的相对角度；
摄像装置控制模块，用于控制所述摄像装置往所述目标转动方向转动以使转动后的所述背景轮廓图像具有清晰的眼球轮廓。
如图2所示，本发明的第二方面提出了一种处理DMS红外光反射导致亮斑的方法，包括：
实时监测环境光照条件；
根据环境光照条件控制红外补光光源的关启或关闭；
以预设的高采样率采集驾驶员的脸部图像；
判断所述脸部图像上是否存在所述红外补光光源的反射亮斑；
在所述脸部图像上存在所述红外补光光源的反射亮斑时，对所述脸部图像进行处理以生成对应所述脸部图像的高光层图像和背景层图像；
以所述高光层图像为基础生成高光轮廓图像，以及以所述背景层图像为基础生成背景轮廓图像；
在所述高光轮廓图像中确定所述红外补光光源的反射亮斑区域的位置；
在采集到的每一张所述脸部图像所生成的所述背景轮廓图像上定位所述驾驶员的眼部区域；
在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，在所述背景轮廓图像上具有清晰的眼部轮廓具体为在所述背景轮廓图像上的两个所述眼部区域具有完整的封闭性的轮廓线；
根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置；
在所述反射亮斑区域和所述眼球区域具有重叠区域，且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，在所述背景轮廓图像上没有清晰的眼球轮廓具体为在所述背景轮廓图像上的两个所述眼部区域中的眼球区域没有完整的封闭性的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤具体包括：
在所述背景轮廓图像上具有清晰的眼部轮廓以及清晰的眼球轮廓时，确定眼部区域的轮廓线和眼球区域的轮廓线的对应关系；
计算每个眼球区域的轮廓线的中心点的坐标；
根据所述眼球区域的轮廓线的中心点的坐标确定经过所述中心点的水平线和第一垂直线的直线函数；
计算经过所述中心点的所述水平线和所述第一垂直线的直线函数分别与对应的所述眼部区域的轮廓线相交的四个第一交点的坐标；
计算四个所述第一交点分别与所述眼球区域的轮廓线的中心点之间的距离，并将计算得到的四个距离确定为所述眼球区域在所述眼部区域中的第一相对位置参数。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，还包括：
将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度，所述驾驶员的脸部的最大运动速度为预设的一段时间内在所述驾驶员的脸部的定位基点在所述背景轮廓图像上的最大位移速度；
将所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度记录为所述驾驶员的眼动速度，所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度为预设的一段时间内根据所述眼球区域的轮廓线的中心坐标在对应的所述眼部区域的轮廓线中的相对位置参数计算得到的最大相对位移速度。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度的步骤具体包括：
将所述驾驶员的脸部的眼角、双眼中心点连线的中点、眉心以及鼻尖中的一个或多个确定为所述定位基点；
在所述背景轮廓图像上确定所述定位基点的坐标。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤具体包括：
获取预先配置的脸动静态位移阈值和眼动静态位移阈值；
根据所述驾驶员的脸动速度、眼动速度、所述脸动静态位移阈值以及所述眼动静态位移阈值计算所述驾驶员的最大眼球静态时间。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
根据所述最大眼球静态时间以及所述脸部图像的采集率计算第一帧数偏移量n；
根据所述第一帧数偏移量n获取当前帧脸部图像的在先n帧脸部图像所生成的所述背景轮廓图像；
在所述在先n帧背景轮廓图像中确定具有清晰的眼球轮廓且与当前帧脸部图像具有最小帧数偏移量的目标背景轮廓图像；
在当前帧的脸部图像生成的所述背景轮廓图像没有清晰的眼球轮廓时，使用所述目标背景轮廓图像的眼球区域的轮廓线修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
当在所述在先n帧脸部图像所生成的所述背景轮廓图像中均没有清晰的眼球轮廓时，根据所述驾驶员的脸动速度以及所述脸动静态位移阈值计算所述驾驶员的最大脸部静态时间；
根据所述最大脸部静态时间以及所述脸部图像的采集率计算第二帧数偏移量m；
根据所述第二帧数偏移量m获取当前帧脸部图像的在先m帧脸部图像所生成的所述背景轮廓图像；
当在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数大于预设值时，根据具有清晰的眼球轮廓的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置计算所述眼球区域在所述眼部区域中的移动参数，所述移动参数包括所述眼球区域在所述眼部区域中的移动路径及其移动速度；
根据所述眼球区域在所述眼部区域中的移动参数计算当前帧的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置；
根据所述眼球区域在所述眼部区域中的相对位置修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤还包括：
在采集到的每一张脸部图像所生成的背景轮廓图像上定位所述驾驶员的脸部区域；
在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述背景轮廓图像上所述驾驶员的脸部区域的轮廓修复所述驾驶员的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，跟踪所述眼球区域在所述眼部区域中的相对位置的步骤还包括：
计算每个眼部区域的轮廓线的中心点的坐标；
根据所述眼部区域的轮廓线的中心点的坐标确定同时经过两个眼部区域的中心点的连线和与所述连线相交于两个眼部区域的中心点的中点的第二垂直线的直线函数；
计算所述连线和所述驾驶员的脸部区域的轮廓线的两个第二交点的坐标、所述连线和所述垂直线的第三交点的坐标，以及所述第三交点与所述驾驶员的脸部区域的轮廓线的第四交点的坐标；
在所述背景轮廓图像上具有清晰的脸部轮廓和清晰的眼部轮廓时，计算所述脸部区域的轮廓线的形状参数、所述眼部区域的轮廓线的形状参数以及所述脸部轮廓和所述眼部轮廓的第二相对位置参数，所述所述脸部区域的轮廓线的形状参数包括所述脸部区域的轮廓线的宽度和高度，所述眼部区域的轮廓线的形状参数包括所述眼部区域的轮廓线的宽度，所述第二相对位置参数包括所述驾驶员的两个眼部区域的轮廓线的外侧眼角与所述驾驶员的脸部区域的轮廓线的最小距离、所述驾驶员的两个眼部区域的轮廓线的中心点分别与所述第二交点之间的最小距离，以及所述第三交点分别与所述第二交点、所述第四交点之间的距离；
根据所述第二相对位置参数计算所述驾驶员的脸部朝向和摄像装置的拍摄方向之间的相对角度；
记录所述相对角度和所述第二相对位置参数的关联关系。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度；
获取与所述相对角度对应的第二相对位置参数；
根据所述第二相对参数修复所述背景轮廓图像中的眼部区域的轮廓线。
进一步的，在上述的处理DMS红外光反射导致亮斑的方法中，执行修复所述背景轮廓图像的眼球区域的操作的步骤还包括：
在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数小于预设值时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度；
确定所述摄像装置的目标转动方向，所述目标转动方向为所述摄像装置在所述目标转动方向上转动最大可转动角度后与所述驾驶员的脸部朝向之间的所述相对角度大于在所述目标转动方向的反方向上转动最大可转动角度后的相对角度；
控制所述摄像装置往所述目标转动方向转动以使转动后的所述背景轮廓图像具有清晰的眼球轮廓。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (11)
1.一种处理DMS红外光反射导致亮斑的***，其特征在于，包括：
环境光监测模块，用于实时监测环境光照条件；
红外光源控制模块，用于根据环境光照条件控制红外补光光源的关启或关闭；
图像采集模块，用于以预设的高采样率采集驾驶员的脸部图像；
亮斑识别模块，用于判断所述脸部图像上是否存在所述红外补光光源的反射亮斑；
分层图像生成模块，用于在所述脸部图像上存在所述红外补光光源的反射亮斑时，对所述脸部图像进行处理以生成对应所述脸部图像的高光层图像和背景层图像；
轮廓图像生成模块，用于以所述高光层图像为基础生成高光轮廓图像，以及以所述背景层图像为基础生成背景轮廓图像；
亮斑定位模块，用于在所述高光轮廓图像中确定所述红外补光光源的反射亮斑区域的位置；
眼部区域定位模块，用于在采集到的每一张所述脸部图像所生成的所述背景轮廓图像上定位所述驾驶员的眼部区域；
眼球区域跟踪模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓时，跟踪所述眼球区域在所述眼部区域中的相对位置，在所述背景轮廓图像上具有清晰的眼部轮廓具体为在所述背景轮廓图像上的两个所述眼部区域具有完整的封闭性的轮廓线；
眼球定位模块，用于根据所述眼部区域在所述背景轮廓图像上的位置以及所述眼球区域在所述眼部区域中的相对位置确定所述驾驶员的眼球区域在所述背景轮廓图像中的位置；
图像修复模块，用于在所述反射亮斑区域和所述眼球区域具有重叠区域，且在所述背景轮廓图像上没有清晰的眼球轮廓时，执行修复所述背景轮廓图像的眼球区域的操作，在所述背景轮廓图像上没有清晰的眼球轮廓具体为在所述背景轮廓图像上的两个所述眼部区域中的眼球区域没有完整的封闭性的轮廓线。
2.根据权利要求1所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述眼球区域跟踪模块包括：
对应关系确定模块，用于在所述背景轮廓图像上具有清晰的眼部轮廓以及清晰的眼球轮廓时，确定眼部区域的轮廓线和眼球区域的轮廓线的对应关系；
中心坐标计算模块，用于计算每个眼球区域的轮廓线的中心点的坐标；
定位线函数确定模块，用于根据所述眼球区域的轮廓线的中心点的坐标确定经过所述中心点的水平线和第一垂直线的直线函数；
交点坐标计算模块，用于计算经过所述中心点的所述水平线和所述第一垂直线的直线函数分别与对应的所述眼部区域的轮廓线相交的四个第一交点的坐标；
相对位置参数计算模块，用于计算四个所述第一交点分别与所述眼球区域的轮廓线的中心点之间的距离，并将计算得到的四个距离确定为所述眼球区域在所述眼部区域中的第一相对位置参数。
3.根据权利要求2所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述***还包括：
脸动速度记录模块，用于将所述驾驶员的脸部的最大运动速度记录为所述驾驶员的脸动速度，所述驾驶员的脸部的最大运动速度为预设的一段时间内在所述驾驶员的脸部的定位基点在所述背景轮廓图像上的最大位移速度；
眼动速动记录模块，用于将所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度记录为所述驾驶员的眼动速度，所述驾驶员的眼球区域在所述眼部区域中的最大相对运动速度为预设的一段时间内根据所述眼球区域的轮廓线的中心坐标在对应的所述眼部区域的轮廓线中的相对位置参数计算得到的最大相对位移速度。
4.根据权利要求3所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述脸动速度记录模块包括：
定位基点确定模块，用于将所述驾驶员的脸部的眼角、双眼中心点连线的中点、眉心以及鼻尖中的一个或多个确定为所述定位基点；
基点坐标获取模块，用于在所述背景轮廓图像上确定所述定位基点的坐标。
5.根据权利要求3所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述图像修复模块包括：
静态阈值获取模块，用于获取预先配置的脸动静态位移阈值和眼动静态位移阈值；
静态时间计算模块，用于根据所述驾驶员的脸动速度、眼动速度、所述脸动静态位移阈值以及所述眼动静态位移阈值计算所述驾驶员的最大眼球静态时间。
6.根据权利要求5所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述图像修复模块还包括：
偏移帧数计算模块，用于根据所述最大眼球静态时间以及所述脸部图像的采集率计算第一帧数偏移量n；
图像获取模块，用于根据所述第一帧数偏移量n获取当前帧脸部图像的在先n帧脸部图像所生成的所述背景轮廓图像；
目标图像确定模块，用于在所述在先n帧背景轮廓图像中确定具有清晰的眼球轮廓且与当前帧脸部图像具有最小帧数偏移量的目标背景轮廓图像；
眼球轮廓修复模块，用于在当前帧的脸部图像生成的所述背景轮廓图像没有清晰的眼球轮廓时，使用所述目标背景轮廓图像的眼球区域的轮廓线修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
7.根据权利要求6所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述静态时间计算模块还用于当在所述在先n帧脸部图像所生成的所述背景轮廓图像中均没有清晰的眼球轮廓时，根据所述驾驶员的脸动速度以及所述脸动静态位移阈值计算所述驾驶员的最大脸部静态时间，所述偏移帧数计算模块还用于根据所述最大脸部静态时间以及所述脸部图像的采集率计算第二帧数偏移量m，所述图像获取模块还用于根据所述第二帧数偏移量m获取当前帧脸部图像的在先m帧脸部图像所生成的所述背景轮廓图像，所述图像修复模块还包括：
移动参数模块，用于当在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数大于预设值时，根据具有清晰的眼球轮廓的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置计算所述眼球区域在所述眼部区域中的移动参数，所述移动参数包括所述眼球区域在所述眼部区域中的移动路径及其移动速度；
相对位置计算模块，用于根据所述眼球区域在所述眼部区域中的移动参数计算当前帧的背景轮廓图像中的所述眼球区域在所述眼部区域中的相对位置；
所述眼球轮廓修复模块还用于根据所述眼球区域在所述眼部区域中的相对位置修复当前帧的背景轮廓图像中的眼球区域的轮廓线。
8.根据权利要求7所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述眼球区域跟踪模块还包括：
脸部区域定位模块，用于在采集到的每一张脸部图像所生成的背景轮廓图像上定位所述驾驶员的脸部区域；
所述图像修复模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述背景轮廓图像上所述驾驶员的脸部区域的轮廓修复所述驾驶员的眼部区域的轮廓线。
9.根据权利要求8所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述中心坐标计算模块还用于计算每个眼部区域的轮廓线的中心点的坐标，所述定位线函数确定模块还用于根据所述眼部区域的轮廓线的中心点的坐标确定同时经过两个眼部区域的中心点的连线和与所述连线相交于两个眼部区域的中心点的中点的第二垂直线的直线函数，所述交点坐标计算模块还用于计算所述连线和所述驾驶员的脸部区域的轮廓线的两个第二交点的坐标、所述连线和所述垂直线的第三交点的坐标，以及所述第三交点与所述驾驶员的脸部区域的轮廓线的第四交点的坐标，所述相对位置参数计算模块还用于在所述背景轮廓图像上具有清晰的脸部轮廓和清晰的眼部轮廓时，计算所述脸部区域的轮廓线的形状参数、所述眼部区域的轮廓线的形状参数以及所述脸部轮廓和所述眼部轮廓的第二相对位置参数，所述所述脸部区域的轮廓线的形状参数包括所述脸部区域的轮廓线的宽度和高度，所述眼部区域的轮廓线的形状参数包括所述眼部区域的轮廓线的宽度，所述第二相对位置参数包括所述驾驶员的两个眼部区域的轮廓线的外侧眼角与所述驾驶员的脸部区域的轮廓线的最小距离、所述驾驶员的两个眼部区域的轮廓线的中心点分别与所述第二交点之间的最小距离，以及所述第三交点分别与所述第二交点、所述第四交点之间的距离，所述眼球区域跟踪模块还包括：
相对角度计算模块，用于根据所述第二相对位置参数计算所述驾驶员的脸部朝向和摄像装置的拍摄方向之间的相对角度；
对应关系记录模块，用于记录所述相对角度和所述第二相对位置参数的关联关系。
10.根据权利要求9所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述相对角度计算模块还用于在所述背景轮廓图像上没有清晰的眼部轮廓时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
相对位置参数获取模块，用于获取与所述相对角度对应的第二相对位置参数；
眼部轮廓修复模块，用于根据所述第二相对参数修复所述背景轮廓图像中的眼部区域的轮廓线。
11.根据权利要求10所述的处理DMS红外光反射导致亮斑的***，其特征在于，所述相对角度计算模块还用于在所述在先m帧背景轮廓图像中存在具有清晰的眼球轮廓的背景轮廓图像帧数小于预设值时，根据所述脸部区域的轮廓线以及能够获取到的部分眼部区域的轮廓线计算所述驾驶员的脸部和摄像装置之间的相对角度，所述图像修复模块还包括：
转动方向确定模块，用于确定所述摄像装置的目标转动方向，所述目标转动方向为所述摄像装置在所述目标转动方向上转动最大可转动角度后与所述驾驶员的脸部朝向之间的所述相对角度大于在所述目标转动方向的反方向上转动最大可转动角度后的相对角度；
摄像装置控制模块，用于控制所述摄像装置往所述目标转动方向转动以使转动后的所述背景轮廓图像具有清晰的眼球轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310101483.3A CN116311178B (zh) | 2023-02-01 | 2023-02-01 | 一种处理dms红外光反射导致亮斑的*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310101483.3A CN116311178B (zh) | 2023-02-01 | 2023-02-01 | 一种处理dms红外光反射导致亮斑的*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311178A true CN116311178A (zh) | 2023-06-23 |
| CN116311178B CN116311178B (zh) | 2024-05-10 |
Family
ID=86821389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310101483.3A Active CN116311178B (zh) | 2023-02-01 | 2023-02-01 | 一种处理dms红外光反射导致亮斑的*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311178B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408984A (zh) * | 2008-10-07 | 2009-04-15 | 西北工业大学 | 一种协同运动目标检测方法 |
| JP2017038324A (ja) * | 2015-08-14 | 2017-02-16 | キヤノン電子株式会社 | 画像処理装置及び画像読取装置並びに画像処理システム |
| CN109767602A (zh) * | 2019-03-14 | 2019-05-17 | 钧捷智能（深圳）有限公司 | 一种全天候疲劳驾驶预警***用摄像头 |
| US20190353975A1 (en) * | 2017-02-08 | 2019-11-21 | Giant Leap Holdings, Llc | AGILE LIGHT CONTROL BY MEANS OF NOISE, IMPULSE, AND HARMONIC SIGNAL INDUCED DIELECTROPHORESIS PLUS OTHER PHORETIC FORCES TO CONTROL OPTICAL SHOCK WAVES, SCATTERING, AND THE REFRACTIVE INDEX OF COLLOIDS; APPLICATIONS INCLUDE: SOLAR ELECTRICITY, SOLAR SMELTING, SOLAR DESALINATION, AUGMENTED-REALITY, LiDAR, 3D-PRINTING, HIGH-POWER FIBER LASERS, ELECTRONIC LENSES, LIGHT BEAM STEERING, ROBOTIC VISION, SENSOR DRONES, DIFFRACTION-MINIMIZING LIGHT BEAMS, POWER BEAMING, AND SOFTWARE-CONFIGURABLE OPTICS |
| CN111708163A (zh) * | 2020-04-26 | 2020-09-25 | 北京理工大学 | 具有眼动跟踪功能的抬头显示***和方法 |
| CN111920377A (zh) * | 2020-09-17 | 2020-11-13 | 常熟理工学院 | 基于近红外光的高速功能性眼底三维检测*** |
-
2023
- 2023-02-01 CN CN202310101483.3A patent/CN116311178B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408984A (zh) * | 2008-10-07 | 2009-04-15 | 西北工业大学 | 一种协同运动目标检测方法 |
| JP2017038324A (ja) * | 2015-08-14 | 2017-02-16 | キヤノン電子株式会社 | 画像処理装置及び画像読取装置並びに画像処理システム |
| US20190353975A1 (en) * | 2017-02-08 | 2019-11-21 | Giant Leap Holdings, Llc | AGILE LIGHT CONTROL BY MEANS OF NOISE, IMPULSE, AND HARMONIC SIGNAL INDUCED DIELECTROPHORESIS PLUS OTHER PHORETIC FORCES TO CONTROL OPTICAL SHOCK WAVES, SCATTERING, AND THE REFRACTIVE INDEX OF COLLOIDS; APPLICATIONS INCLUDE: SOLAR ELECTRICITY, SOLAR SMELTING, SOLAR DESALINATION, AUGMENTED-REALITY, LiDAR, 3D-PRINTING, HIGH-POWER FIBER LASERS, ELECTRONIC LENSES, LIGHT BEAM STEERING, ROBOTIC VISION, SENSOR DRONES, DIFFRACTION-MINIMIZING LIGHT BEAMS, POWER BEAMING, AND SOFTWARE-CONFIGURABLE OPTICS |
| CN109767602A (zh) * | 2019-03-14 | 2019-05-17 | 钧捷智能（深圳）有限公司 | 一种全天候疲劳驾驶预警***用摄像头 |
| CN111708163A (zh) * | 2020-04-26 | 2020-09-25 | 北京理工大学 | 具有眼动跟踪功能的抬头显示***和方法 |
| CN111920377A (zh) * | 2020-09-17 | 2020-11-13 | 常熟理工学院 | 基于近红外光的高速功能性眼底三维检测*** |
Non-Patent Citations (5)
| Title |
|---|
| CIAN RYAN等: "Real-time face&eye tracking and blink detection using event cameras", 《NEURAL NETWORKS》, 30 September 2021 (2021-09-30), pages 87 - 97 * |
| 唐树威;高波;: "红外场景计算机生成方法研究", 光电技术应用, no. 03, 15 June 2018 (2018-06-15), pages 62 - 65 * |
| 杨根等: "红外运动目标的灰度分层检测算法", 《红外与激光工程》, 31 December 2007 (2007-12-31), pages 980 - 983 * |
| 汪同浩等: "平行式红外双目立体***各参数合理效益取值", 《 红外与激光工程》, 30 September 2017 (2017-09-30), pages 88 - 93 * |
| 王贺等: "一种基于图像分层的红外图像目标细节增强算法", 《计算机科学与应用》, 28 May 2020 (2020-05-28), pages 1051 - 1056 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311178B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11194154B2 (en) | Onboard display control apparatus | |
| CN101816547B (zh) | 基于瞳孔对称性的自动直视检测方法和*** | |
| US20190156100A1 (en) | Systems and methods for performing eye gaze tracking | |
| US20190019023A1 (en) | Gaze-tracking system and method | |
| CN110703904B (zh) | 一种基于视线跟踪的增强虚拟现实投影方法及*** | |
| US10521683B2 (en) | Glare reduction | |
| US7651220B1 (en) | Selective system for blocking glare in a specific location of a user's field of vision | |
| US7370970B2 (en) | Eyeglass detection method | |
| KR101684956B1 (ko) | 접촉 없이 조작될 수 있는 측정 장치 및 이와 같은 측정 장치를 위한 제어 방법 | |
| KR101706992B1 (ko) | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 | |
| US20160224852A1 (en) | Vehicle operator monitoring system and method | |
| KR102144040B1 (ko) | 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션 | |
| CN107687818B (zh) | 三维量测方法及三维量测装置 | |
| CN116311178B (zh) | 一种处理dms红外光反射导致亮斑的*** | |
| CN111417885A (zh) | 用于确定增强现实眼镜的姿态的***和方法、用于校准增强现实眼镜的***和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车 | |
| CN113963416A (zh) | 一种基于激光视觉反馈的眼动交互方法及*** | |
| EP4086734A1 (en) | A tracking method for image generation, a computer program product and a computer system | |
| JP2988235B2 (ja) | 車両用視線方向検出装置 | |
| JP3342810B2 (ja) | 虹彩画像取得装置 | |
| JP2982377B2 (ja) | 障害物表示装置 | |
| JPH0868630A (ja) | 車両用視線方向計測装置およびこれに用いる画像入力装置 | |
| Schroeter et al. | Autonomous robot cameraman-observation pose optimization for a mobile service robot in indoor living space | |
| MP et al. | Method for increasing the accuracy of tracking the center of attention of the gaze | |
| JPH08297019A (ja) | 車両用視線方向計測装置 | |
| Rho et al. | Automatic mirror adjustment system using a driver's pupils |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |