CN101877051A - 驾驶人注意力状态监测方法和装置 - Google Patents

Abstract

本发明公开了一种驾驶人注意力状态监测方法和装置，摄像头输出连接视频解码器输入，数字信号处理器分别外接视频解码器、存储器、电源和报警蜂鸣器；由摄像头获取驾驶人脸部视频检测图像，将检测到的驾驶人正常状态下双眼间的横向宽度和嘴巴到双眼连线中点之间的纵向距离作为定位人脸的标准距离，且每次定位人脸都要实现标准距离的重置；将驾驶过程中实际检测到的距离与所述标准距离进行比较；根据实际检测到的距离与标准距离相比较的变化，判断驾驶人是否注意力分散。本发明可监视驾驶人疲劳走神的整个形成过程，判断该驾驶人是否驾驶疲劳走神，及时捕捉驾驶人精神分散状态，对注意力不集中的危险驾驶行为进行警示，保障驾驶人行车安全。

Description

驾驶人注意力状态监测方法和装置

技术领域

本发明涉及交通运输工程技术领域，特指一种对驾驶人的注意力进行检测的方法和装置。

背景技术

驾驶人在疲劳驾驶、被周围事物吸引而走神、接听手机或者照顾车上的未成年人时，经常失去对车辆方向的控制，造成驾驶行为的不连续和无序性，显著特点是发生车道偏离、追尾碰撞等车辆行驶事故现象。根据这一特点，王荣本，郭烈等在山东交通学院学报第14卷第2期2006年7月发表的《基于机器视觉的行车安全综合保障***研究》中介绍了利用机器视觉技术监测驾驶人的眼部、嘴部、头部等器官的运动特征，建立了基于视觉信息检测的驾驶人疲劳与精神分散状态综合量化评价模型，实现实时有效的动态监测和预警，并***研究了驾驶时前方车辆探测方法和安全车距的评定准则，实现防追尾碰撞预警，分别对车辆偏离预警技术、车辆安全车距预警技术、驾驶人疲劳及精神分散状态监测技术、行人监测技术进行分析。在驾驶人疲劳检测方面主要是从眨眼频率，嘴部特征检测进行判断驾驶人是否由于疲劳而打哈欠。

目前关于驾驶人疲劳检测仅限于研究阶段，未提出具体的实施方案，因此，在实际应用中有很大的局限性。驾驶行为是一个需要时刻保持高度注意力集中的过程，一个小小的疏忽都有可能导致较大的致命事故，而驾驶人由驾驶走神的准清醒状态至精神不振、昏昏欲睡状态，再至打瞌睡状态的疲劳形成也是一个过程，当检测出驾驶人因疲劳打哈欠，甚至打瞌睡的时候，可能为时已晚，事故已经难以避免，难以有效地保障驾驶人的生命财产安全。

发明内容

本发明的目的是为克服现有技术的不足，为保障驾驶人的行车安全而提供一种安全、客观、实时的监测方法和装置，实现车载的、非接触式的、实时、全天候的驾驶注意力检测，实时判断驾驶人是否注意力分散，并对注意力不集中的危险驾驶行为进行实时警示。

本发明的方法依次采用如下步骤：

1)由摄像头获取驾驶人脸部视频检测图像，将检测到的驾驶人正常状态下双眼间的横向宽度和嘴巴到双眼连线中点之间的纵向距离作为定位人脸的标准距离，且每次定位人脸都要实现标准距离的重置；

2)通过数字信号处理器将驾驶过程中实际检测到的距离与所述标准距离进行比较；

3)根据实际检测到的距离与标准距离相比较的变化，判断驾驶人是否注意力分散。

本发明的装置采用的技术方案是：摄像头输出连接视频解码器输入，数字信号处理器分别外接视频解码器、存储器、电源和报警蜂鸣器。

本发明的有益效果是：本发明在分析驾驶注意力产生机理的基础上提出注意力检测方法和装置，分析驾驶人视觉认知过程，实时检测驾驶人脸部“T”型曲线，评价视觉注意力的分布，对驾驶安全性进行分析评价。通过对注意力的检测，监视驾驶人驾驶疲劳走神的整个形成过程，分析驾驶人驾驶行为、驾驶状态的安全性，判断该驾驶人是否驾驶疲劳、走神，及时捕捉驾驶人精神分散状态，对注意力不集中的危险驾驶行为进行警示，提请驾驶人注意，以保障驾驶人行车安全。

附图说明

以下结合附图和具体实施方式对本发明进一步详细说明。

图1是监测装置结构示意图。

图2是报警模块结构框图。

图3是监测方法流程图。

图4是驾驶人注意力特征参数图。

具体实施方式：

如图1，驾驶人注意力状态监测装置由摄像头1、视频解码器2、数字信号处理器3、存储器4、电源5和报警蜂鸣器6组成，摄像头1输出连接视频解码器2输入，数字信号处理器3分别外接视频解码器2、存储器4、电源5和报警蜂鸣器6。摄像头1为CCD摄像头，视频解码器2为TVP5150视频解码器，数字信号处理器3为TMS320DM642 DSP芯片，存储器4为flash程序存储器。

将摄像头1安装在驾驶室内驾驶员正面方向盘位置附近或在驾驶员头部前上方，采用摄像头1进行视频图像采集，实时获取驾驶人脸部状态信息。采集的视频信号输入视频解码器2，将NTSC、PAL视频信号转换成数字色差信号，视频图像采集过程中，选用PAL制式，每秒采集30帧图像，每帧图像大小为720×576像素，输出格式为ITU-R BT.656。

对输出的视频信号进行存储，先在数字信号处理器3中输入视频数据的存储管理，通过ICETEKDM642PCIBoardInit()函数实现对DM642硬件的初始化，包括缓冲区的偏移量设置及缓冲区变量初始化。为加载视频接口的驱动程序提供基础。FVID create()、FVID_control()、FVID_alloc()和FVID_exchange()，该FVID函数系列实现了应用缓冲区和驱动缓冲区之间的转换。在配置输入视频接口的设备驱动程序时设置视频缓冲区，设备驱动程序管理这些缓冲区用于实时视频数据的采集。提取视频帧，分配缓冲区、初始化视频驱动、配置编码器、视频捕捉及内存分配几个步骤，其实现函数如下：

EVMDM642_vCapParamsChan.segId＝EXTERNALHEAP；

EVMDM642_vCapParamsTVP5150A.hI2C＝EVMDM642_I2C_hI2C；

capChan＝FVID_create(″/VP0CAPTURE/A/0″，IOM_INPUT，&status，(Ptr)&EVMDM642_vCapParamsChan，NULL)；

FVID_control(capChan，VPORT_CMD_EDC_BASE+EDC_CONFIG，(Ptr)&EVMDM642_vCapParamsTVP5150A)；

FVID_control(disChan，VPORT_CMD_START，NULL)；

FVID_control(capChan，VPORT_CMD_START，NULL)；

FVID_alloc(disChan，&disFrameBuf)；

FVID_alloc(capChan，&capFrameBuf)；

再对视频进行处理，数字信号处理器3对视频等各种复杂的运算进行高速处理。DM642的程序/数据空间通过外部存贮器接口访问外存储器(Flash4：M*8位)。

一旦发现驾驶人发生注意力分散状态，立即启用报警蜂鸣器6进行报警。如图2，ARM模块与DM642之间的通讯联系使用LPC2214芯片的外部扩展总线和DM642的HPI接口来实现，使用DSP控制ARM的8个IO引脚实现对RS232用户口的控制，功能实现函数如下：

ARMInit()初始化程序，用于DSP与ARM连通，在任何使用ARM资源之前调用；

SndByte(int val)通过串口送数据，并经过ARM的UART0送出；

RcvByte(void)通过串口接受数据，经过ARM的UART0接受到的数据从arm中送到DSP；

IOCfg(int val)IO口配置程序，1为输出，2为输入；

IOWR(int val)向IO口写数据，写1为高电平，0为低电平；

IORD(void)从IO口读取数据。

如图3所示，本发明通过实时监控驾驶人的双眼间的横向宽度(瞳距)和嘴巴到双眼连线中点之间的纵向距离来获取驾驶人注意力状态信息，由摄像机1输入驾驶人脸部图像，在初始人脸定位时，检测驾驶人正常状态下脸部“T”型线距离预置为标准距离，所述的脸部“T”型线距离即是驾驶人的双眼间的横向宽度(瞳距)和嘴巴到双眼连线中点之间的纵向距离，每次定位人脸都要实现标准距离的重置。将驾驶过程中实际检测“T”型线距离与所述的标准距离进行比较，根据实时检测“T”型曲线距离与标准距离相比较的变化，判断驾驶人是否注意力分散，其具体方法如下：

用摄像机1获取视频检测图像，依次应用smooth()、highlow()和regionfind()函数实现视频序列的平滑滤波处理，基于阈值的区域分割后转化为二值图像的处理，以及进行眼睛、嘴巴区域查找的功能，再经过低通滤波器进行降噪处理得到驾驶人脸部检测图像。应用Adaboost算法对驾驶人脸部图像进行扩展选取特征，实现人脸轮廓检测，获取驾驶人人脸检测的数目和位置信息，同时采用光流法充分利用视频连续帧间的关联信息，对视频图像帧间的连续性进行估计，获取驾驶人人脸检测的数目和位置信息，在光流法检测结果中扣除Adaboost算法检测的结果，最终定位得到驾驶人人脸位置区域。在人脸区域确定的基础上，采用OTSU算法进行二值化分割，获取包含头发、眉毛、嘴巴等与肤色差异较大的特征圆，然后对二值化结果进行椭圆拟合，获得眼部区域椭圆和嘴部区域椭圆，根据眼部区域和嘴部区域的几何特征进行判别筛选，初步定位眼部区域和嘴部区域。基于归一化转动惯量NMI(normalized moment of inertia)特征方法和梯度分布的几何特征关系进行进一步验证，获得眼部区域和嘴部区域的最终定位结果，进而提取表征驾驶人注意力特征值，记录驾驶人检测特征参数，实时获取人脸“T”型特征曲线值。

将驾驶过程中实际检测“T”型线距离与所述的标准距离进行比较判断驾驶人是否注意力分散，驾驶人注意力是一个神经生理学的概念，它表示人在仔细观察一个物体时精神力集中的能力。本发明使用非接触式检测方式，在对驾驶人没有干扰的情况下进行检测，通过对驾驶人脸部静态特征、动态特征的分析和建模，检测出含有视觉注意力分布的重要信息，即“T”型曲线，产生人脸“T”型曲线显著性变化特征图，判定驾驶人注意力分散程度。

本发明采用的驾驶人注意力评价模型是根据驾驶人受意识支配、依赖于任务的四种注视行为：①自底向上的视觉注意；②自顶向下的视觉注意；③自左向右的视觉注意；④自右向左的视觉注意。与此对应的分别为驾驶人对左右后视镜、车内后视镜以及仪表盘的注视行为。除此之外的较长时间的注视行为均判定为驾驶人驾驶过程中的不安全注视行为。

以下提供本发明的一个实施例：

实施例

如图4，由瞳距Si、轴距Di组成人脸“T”型注意力表征曲线。在任意一段时间T内，处理的连续图片总数为：n＝f*T(f：视频获取的帧速率；T：检测时间)。在图片检测基础上，基于f(x，y)区域提取驾驶人的注意力特征参数：lefteye(x，y)(左眼坐标)，righteye(x，y)(右眼坐标)以及mouse(x，y)(嘴部坐标)，在驾驶人注意力状态监测过程中计算眼部、嘴部以及驾驶人头部横纵向变化的特征值：

①眼睛的瞳距Si为：

$S_i=\sqrt{{(\mathrm{leftey}{e}_i.x-{\mathrm{righteye}}_i.x)}^2+{({\mathrm{lefteye}}_i.y-{\mathrm{righteye}}_i.y)}^2}---\left(6\right)$

②眼部和嘴部的轴距Di为：

$D_i=\sqrt{{({\mathrm{mouse}}_i.x-({\mathrm{lefteye}}_i.x+{\mathrm{righteye}}_i.x)/2)}^2+{({\mathrm{mouse}}_i.y-({\mathrm{lefteye}}_i.y+{\mathrm{righteye}}_i.y)/2)}^2}---\left(7\right)$

由摄像头1输入驾驶人脸部图像，通过检测实时获取驾驶人瞳距Si，眼部和嘴部的轴距Di作为评价参数，利用瞳距规律来提取驾驶人左右摇头的特征，其实现功能函数为shakehead()。利用嘴巴到双眼连线中点之间的纵向距离规律来提取有驾驶人点头特征，其实现功能函数为nod()。提取了特征以后用动态模板更新和Kalman滤波相结合对特征进行跟踪，其功能实现函数为feature_track()。眼睛、嘴巴定位以后，在二者的周围定义了动态矩形框，在感兴趣区域指定的矩形内用模板匹配的方法直接提取二者状态，其实现函数分别为rectangle()、mouse_state()与eye_state()。定位眼睛、嘴巴以后进行距离提取，通过“T”型曲线进行驾驶人注意力的检测评价。在初始人脸定位时，将检测的驾驶人正常状态下脸部“T”型线距离预置为标准距离，且每次人脸定位之后都要实现标准距离的重置，因标准距离将随驾驶员的变化而定，同时在每次开始时设置，因人而异，并非是固定设置值。把驾驶过程中实际检测“T”型线距离与标准距离进行比较，依据实时检测“T”型曲线距离与标准距离相比较的结果，判断该驾驶人是否注意力分散。

当驾驶人头部左右晃动的时，实时检测的驾驶人瞳距Si发生变化，当检测到连续出现0.5秒以上变化的瞳距Si时，判定驾驶人注意力分散，认定此时的驾驶行为为危险行为，***发出警报。当驾驶人头部上下晃动时，实时检测的驾驶人嘴部到双眼连线之间的纵向垂直轴距Di发生变化，当检测到连续出现0.5秒以上变化的轴距Di的时候，判定驾驶人注意力分散，认定此时的驾驶行为为危险行为，***发出警报。当头部斜向上或者斜向下时，“T”型线的组成：瞳距以及嘴部到双眼连线之间的纵向垂直距离都变化，当检测到连续出现0.5秒以上变化的距离的时候，判定驾驶人注意力分散，认定此时的驾驶行为为危险行为，***发出警报。

根据驾驶人在驾驶室内环境活动的特征性，在进行注意力检测过程中做出如下假定：

(1)位置约定：在多次试验检测的基础上，借助统计分析手段，构建驾驶人的正常工作区域，即检测区域。驾驶人安全驾驶时，其活动区域在检测区域内，当在检测区域内T时间内持续检测不到驾驶人时认定驾驶异常，进入驾驶异常预警机制。

(2)干扰约定：在一定时间T内，在检测区域内检测到超过一幅驾驶人头像的事件是小概率事件，检测区域属于驾驶人正常工作的区域，如在区域内同时检测到超过一副驾驶人头像，且持续一段时间T，则判定干扰驾驶，需进入驾驶异常预警机制；同时注意力检测时只选择驾驶人头像，对于非驾驶人头像不进行监测。

(3)速度约定：驾驶人头部的移动速率在正常状态下不会过高。

在以上三个假定的基础上，检测驾驶人注意力表征特征值。

Claims (5)

1.一种驾驶人注意力状态监测方法，其特征是依次采用如下步骤：

1)由摄像头(1)获取驾驶人脸部视频检测图像，将检测到的驾驶人正常状态下双眼间的横向宽度和嘴巴到双眼连线中点之间的纵向距离作为定位人脸的标准距离，且每次定位人脸都要实现标准距离的重置；

2)通过数字信号处理器(3)将驾驶过程中实际检测到的距离与所述标准距离进行比较；

3)根据实际检测到的距离与标准距离相比较的变化，判断驾驶人是否注意力分散。

2.根据权利要求1所述的驾驶人注意力状态监测方法，其特征是：步骤1)具体为：将所述的视频检测图像进行平滑滤波处理，基于阈值的区域分割后转化为二值图像，并进行眼睛、嘴巴区域查找，再经过低通滤波器进行降噪处理，应用Adaboost算法对驾驶人脸部图像进行扩展选取特征，同时采用光流法对视频图像帧间的连续性进行估计，在光流法检测结果中扣除Adaboost算法检测的结果，采用OTSU算法进行二值化分割，获取特征圆，然后对二值化结果进行椭圆拟合，获得眼部区域椭圆和嘴部区域椭圆，根据眼部区域和嘴部区域的几何特征进行判别筛选，初步定位眼部区域和嘴部区域，最后采用基于归一化转动惯量特征方法和梯度分布的几何特征关系进行验证，获得眼部区域和嘴部区域的最终定位。

3.根据权利要求1所述的驾驶人注意力状态监测方法，其特征是：步骤3)的判断方法是：当检测到双眼间的横向宽度连续出现0.5秒以上变化时、或当检测到驾驶人嘴巴到双眼连线中点之间的纵向距离连续出现0.5秒以上变化时、或当双眼间的横向宽度和嘴巴到双眼连线中点之间的纵向距离都出现0.5秒以上变化时，装置发出警报。

4.一种驾驶人注意力状态监测装置，包括摄像头(1)和数字信号处理器(3)，其特征是：摄像头(1)输出连接视频解码器(2)输入，数字信号处理器(3)分别外接视频解码器(2)、存储器(4)、电源(5)和报警蜂鸣器(6)。

5.根据权利要求4所述的驾驶人注意力状态监测装置，其特征是：摄像头(1)为CCD摄像头，视频解码器(2)为TVP5150视频解码器，数字信号处理器(3)为TMS320DM642DSP芯片，存储器(4)为flash程序存储器。

Images