CN102263937B - 基于视频检测的驾驶员驾驶行为监控装置及监控方法 - Google Patents

Abstract

本发明提供基于视频检测的驾驶员驾驶行为监控装置及监控方法。监控装置包括图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡、电源模块及中央处理器。监控方法包括：设备自检及中央处理器配置图像数据采集与预处理模块的内部寄存器；图像采集与预处理模块负责采集图像数据及对图像模拟信号进行预处理；预处理后的数据经中央处理器格式转换；再进行基于视频检测的驾驶员驾驶行为识别；若判断为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡中，以便后期核对跟踪。本发明能够有效监控驾驶员在驾驶期间是否有违规行为，对违规行为发出警报，可以有效的避免因驾驶员违规操作而造成的交通事故。

Description

基于视频检测的驾驶员驾驶行为监控装置及监控方法

技术领域

本发明涉及汽车安全技术领域，具体涉及基于视频检测的驾驶员驾驶行为监控装置及监控方法。

背景技术

在人、车、路组成的驾驶***中，驾驶员是交通事故的最大诱因。2009年，我国道路交通事故近24万起，死亡近6.8万人。其中，绝大部分事故是由于驾驶员操作失误和疲劳驾驶造成的。由于年龄、生理或心理健康状况、情绪等方面的变化，即使优秀驾驶员也不一定能长久地保持其原有的良好驾驶状态，但驾驶员本人却很难意识到这种渐进性的衰减或消退。因此，监控驾驶员的驾驶行为并对违规行为给予警报，对提高驾驶员的驾驶能力并降低其驾驶负荷，协调好驾驶员与车辆以及交通环境之间的关系，从本质上减少交通事故状况的发生，具有重要意义。

目前，国内外在监控驾驶员驾驶行为方面已经取得了一些研究成果，大致可分为两种：一种是根据驾驶员的呼气中的酒精含量判断是否饮酒；根据驾驶员的眼皮和眼球的相对反射原理来判断驾驶员是否疲劳驾驶；根据驾驶员的脑电波或心电图来判断驾驶员是否疲劳等一些监控驾驶员在生理上是否处于正常状态的装置来对驾驶员的驾驶状态进行评价。另一种针对驾驶员的头部活动情况、面部特征（如眼睛，头部，脸部）变化等特征，运用计算机图像处理和模式识别技术进行分析，以判断驾驶员的驾驶行为和精神状态。然而，这些研究成果都是间接地对其驾驶行为进行判断监控，并没有对驾驶员的驾驶行为本身直接进行研究，存在测量误差和硬件成本较高等限制。

发明内容

为了解决上述现有技术所存在的问题，本发明提供了基于视频检测的驾驶员驾驶行为监控装置及监控方法，本发明通过摄像头采集包含驾驶员手部与方向盘的图像，再对图像的处理与识别来判断驾驶员在驾驶期间是否有违规行为，并根据相应违规动作做出警报提示驾驶员。本发明可以有效地避免因驾驶员违规操作而造成的交通事故。

本发明是通过以下的技术方案实现的：

本发明涉及一种基于视频检测的驾驶员驾驶行为监控装置，包括：电源模块、图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡及中央处理器。其中：电源模块的一个输出端与图像采集与预处理模块的电源输入端相连，电源模块的另一输出端与中央处理器的电源输入端相连；图像采集与预处理模块的图像输出接口与中央处理器的图像输入接口相连,且图像采集与预处理模块的总线接口与中央处理器的总线接口相连；功能按键模块的输出端与中央处理器的通用输入输出接口相连；警报器的输入端与中央处理器的PWM输出接口连接；显示屏的输入端与中央处理器的显示输出接口相连；外部存储卡通过外部存储卡插槽中央处理器相连。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的电源模块包括滤波电路、变压电路及后备电源；电源模块分别给摄像头和中央处理器提供工作电压；另外，当工作电压处于异常状态时（低于正常电压或者断电），后备电源给图像采集与预处理模块及中央处理器提供一段时间的工作电压，以防止异常电压的情况下设备产生数据丢失的现象。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的图像采集与预处理模块包括摄像头及视频处理芯片，摄像头的输出接口与视频处理芯片的输入端经视频电缆相连，中央处理器的总线接口与图像采集与预处理模块中视频处理芯片的总线接口相连；驾驶员手部和方向盘位于所述摄像头的视野内，以便后观察所述驾驶员的手部动作；中央处理器通过总线接口对视频处理芯片内部寄存器进行配置，从而图像采集与预处理模块具有了对输入模拟信号的预处理功能，预处理包括：色度和亮度的控制，输出数据格式及输出图像同步信号的选择控制等；预处理后的数据再通过视频处理芯片的图像输出接口传输到中央处理器。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的功能按键模块，可用于手动建立感兴趣区域和自动建立感兴趣区域的确认。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的警报器，主要用于当驾驶员发生不同的违规驾驶行为时，会产生相应的警报来提醒；还可用于设备自检。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的显示屏，主要用于显示预览处理后的图像。

上述的一种基于视频检测的驾驶员驾驶行为监控装置中，所述的中央处理器包括：图像输入接口、通用输入输出接口、PWM输出接口、显示屏输出接口、外部存储区插槽，电源输入接口及总线接口。其中：中央处理器的图像输入接口与图像采集与预处理模块的图像输出接口相连,且中央处理器的总线接口与图像采集与预处理模块的总线接口相连，中央处理器通用输入输出接口与功能按键模块输出端相连，中央处理器的PWM输出接口与警报器的输出端连接，中央处理器的显示输出接口与显示屏的输入端相连，中央处理器通过外部存储卡插槽与外部存储卡相连，中央处理器的电源输入接口与电源模块相连。中央处理器主要负责图像数据格式的转换、对基于视频检测的驾驶员驾驶行为的识别、功能按键模块和警报器的驱动、传输数据到显示屏及保存数据信息到外部存储卡中。

上述的中央处理器对基于视频检测的驾驶员驾驶行为的识别包括：读取经格式转换后的图像数据、定位方向盘、建立感兴趣区域、提取手部特征（对原图的感兴趣区域进行特征提取）、对提取的手部特征（0-1特征矩阵）依据驾驶员手部与方向盘的位置关系进行分类识别以及建立违规规则库，并依据规则库判断驾驶员操作是否违规。

上述的一种基于视频检测的驾驶员驾驶行为监控装置，其监控方法为：电源启动后，设备自检以及图像采集与预处理模块通过中央处理器的总线接口配置内部寄存器，从而具有对输入模拟信号经行预处理的功能。图像采集与预处理模块中的摄像头负责采集图像数据，图像采集与预处理模块中的视频处理芯片对图像模拟信号进行预处理，预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制；预处理后的数据经中央处理器格式转换，再进行一种基于视频检测的驾驶员驾驶行为识别，若判断为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡中，把违规记录写入记录文件，以便后期核对跟踪。违规记录文件内容包括:违规时间，违规动作，持续时间，对应违规图像的编号组成。

上述的基于视频检测的驾驶员驾驶行为识别方法，具体步骤如下：

步骤1，读取经格式转换后的图像数据，所读取的有效图像应该包含方向盘和驾驶员的手部姿态等信息（以下称原图）；

步骤2，定位方向盘。对读取的图像数据进行二次处理，包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤得到边缘图像。经二次处理可以消除图像噪声，增强方向盘的可检测性，从而提高特征提取和图像识别的可靠性；对经过二次处理得到的边缘图像，利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位；

步骤3，建立感兴趣区域。在原图依据已定位的方向盘建立感兴趣区域，感兴趣区域包含方向盘和驾驶员的手部信息的区域；

步骤4，对原图的感兴趣区域进行特征提取，主要是手部特征提取。该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵。

步骤5，对提取的0-1特征矩阵（代表手部特征）依据驾驶员手部与方向盘的位置关系进行分类识别，将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上。

步骤6，基于驾驶员驾驶动作的持续时间与频率建立违规规则库，并依据规则库判断驾驶员操作是否违规。

步骤2中，图像中的方向盘形状大部分为椭圆形或圆形，需要对图像进行椭圆检测来对方向盘进行定位。由于车载视频图像中方向盘轮廓具备最大的圆或椭圆外形轮廓，所以对经过二次处理得到的边缘图像，可以采用直接最小二乘椭圆拟合算法对方向盘的轮廓进行提取并检测出最大的椭圆形状来完成对方向盘区域的定位。

步骤3中，完成对方向盘区域的定位后，以方向盘为中心截取相应的感兴趣区域。感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时，通过从方向盘区域以设定比例系数向外延伸的方式完成截取。对于不同的车型，该比例系数由实验标定或根据经验确定。

步骤4中，该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵。选定简单高斯模型作为肤色模型，对各子区的手部肤色进行识别，建立0-1特征矩阵，其中1代表肤色像素值，0代表背景像素值。这种方法分两步走，首先选择合适的肤色模型并确定模型的参数，参数确定过程如下：选取大量符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。首先选取正常光照、强光、夜晚（弱光）下大量符合不同光照下人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型；然后利用不同光照下的模型来判别新的像素或区域是否为肤色；其中依据图像灰度分布判断处于何种光照条件。

步骤5中，在获得0-1特征矩阵（代表手部特征）后，采用神经网络和贝叶斯网络分类器对其进行分类识别，具体实现过程如下：1）根据不同的车型，按一定比例和数量选取各种驾驶行为的图片；2）运用前述方法对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数，组成训练实例集；3）用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器。通过分类器可识别不同手部基本动作，建立基本违规驾驶行为特征库，再根据这些基本违规动作建立基本违规驾驶行为特征库。

步骤6中，违规规则由一种或以上的基本违规动作，以及该动作的持续时间，发生频率来共同决定违规规则；结合感兴趣区和违规规则库，判断行为是否违规。

若按上述方法判断结果为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡中，把违规记录写入记录文件，以便后期核对跟踪。违规记录文件内容包括：违规时间，违规动作，持续时间，对应违规图像的编号组成。

由于采用了以上的方案，使本发明具有以下优点和效果：

1、本发明采用跟踪驾驶员手部动作来判断驾驶员是否违规，开辟了一条新的直接有效的监控途径，对预防由于违规驾驶行为导致的交通事故具有重要的意义。

2、本发明通过中央处理器对皮肤检测来提取手部特征，选择简单高斯模型作为肤色模型，考虑到了落入肤色模型范围内像素点的分布情况，应用概率密度公式判断像素点属于肤色的概率，而不是直接将所有落入模型范围内的像素点简单归类为肤色点，相对于区域模型能更好的表示肤色分布，对肤色检测效率也高的多，并且模型的参数也易于计算。因此本装置具有检测精度高和可靠性高的优点。

3、本发明通过中央处理器识别驾驶员驾驶行为，当驾驶员存在违规驾驶操作时，便产生相应的警报提醒驾驶员，同时将违规图片保存到外部存储卡中，以便后期跟踪查询，有图有据，可以有效减少驾驶员的不良驾驶行为。

4、本发明中的装置智能程度高、体积小、抗干扰性强，便于应用推广。

附图说明

图1 是基于视频检测的驾驶员驾驶行为监控装置的结构示意图。

图2 是基于视频检测的驾驶员违规驾驶行为识别方法的流程图。

具体实施方式

以下结合附图对本发明的具体实施作进一步说明，但本发明的实施和保护范围不限于此。

本实施方式中，摄像头采集包含驾驶员手部与方向盘的图像，通过对图像的处理与识别来判断驾驶员在驾驶期间是否有违规行为，并根据相应违规动作做出警报提示驾驶员。本发明可以有效地避免因驾驶员违规操作而造成的交通事故。如图1所示，一种基于视频检测的驾驶员驾驶行为监控装置，包括：电源模块1、图像采集与预处理模块2、功能按键模块3、警报器4、显示屏5、外部存储卡6及中央处理器7。其中：电源模块1的一个输出端与图像采集与预处理模块2的电源输入端相连，电源模块1的另一输出端与中央处理器7的电源输入端相连；图像采集与预处理模块2的图像输出接口与中央处理器7的图像输入接口相连,且图像采集与预处理模块2中的视频处理芯片的总线接口（I                                                

C总线接口）与中央处理器7的总线接口(I

C 总线接口)相连；功能按键模块3的输出端与中央处理器7的通用输入输出接口相连；警报器4的输入端与中央处理器7的PWM输出接口连接；显示屏5的输入端与中央处理器7的显示输出接口相连；外部存储卡6通过外部存储卡插槽中央处理器7相连。

所述的电源模块1，包括滤波电路、变压电路及后备电源；电源模块1分别给摄像头和中央处理器提供工作电压；另外，当工作电压处于异常状态时（低于正常电压或者断电），后备电源给图像采集与预处理模块2及中央处理器7提供一段时间的工作电压，以防止异常电压的情况下设备产生数据丢失的现象。

所述的图像采集与预处理模块2，包括摄像头及视频处理芯片，实施例中视频处理芯片选用SAA7113芯片，SAA7113芯片支持多种视频信号的输入及数据输出格式；摄像头的输出接口与视频处理芯片的输入端经视频电缆相连，中央处理器7通过总线接口（I

C总线接口）与预处理模块2中的视频处理芯片的IC总线接口相连；驾驶员手部和方向盘位于所述摄像头的视野内，以便观察所述驾驶员的手部动作；中央处理器7通过总线接口（I

C总线接口）对配置SAA7113芯片内部相应寄存器，从而图像采集与预处理模块2具有了对输入模拟信号的预处理功能，预处理包括：色度和亮度的控制，输出数据格式及输出图像同步信号的选择控制等；图像采集与预处理模块2的工作原理如下：摄像头感应环境变化，输出的PAL制式模拟信号经视频电缆传输到图像数据采集与预处理模块2，图像数据采集与预处理模块2中的SAA7113芯片（SAA7113芯片支持多种视频信号的输入及数据输出格式）开始采集PAL制式模拟信号（只对输入的一路复合视频信号采样），图像数据采集与预处理模块2中的SAA7113芯片的视频模拟输出信号经预处理后以ITU656协议的标准的4:2:2的数字输出，并作为中央处理器7（S3C2440）的图像输入输出（camera interface）接口的输入。

所述的功能按键模块3，可用于手动建立感兴趣区域以及对自动建立感兴趣区域的确认。

所述的警报器4，主要用于当驾驶员发生不同的违规驾驶时，会产生相应的警报器来提醒；还可用于设备自检。

所述的显示屏5，主要用于显示预览处理后的图像。

所述的中央处理器7，也称MCU，该实施例中选用三星S3C2440微处理器的ARM9芯片，主频400MHz，133MHz总线频率。中央处理器模块7包括：图像输入接口、通用输入输出接口、PWM输出接口、显示输出接口、外部存储卡插槽，电源输入接口及总线接口（I

C总线接口）。其中，中央处理器7的图像输入接口与图像采集与预处理模块2的图像输出接口相连,且中央处理器7的总线接口（I

C总线接口）与图像采集与预处理模块2的总线接口（I

C总线接口）相连；中央处理器7的通用输入输出接口与功能按键模块3输出端相连；中央处理器7的PWM输出接口与警报器4的输入端连接；中央处理器7的显示输出接口与显示屏5的输入端相连；中央处理器7通过外部存储卡与插槽外部存储卡6相连；中央处理器7的电源输入接口与电源模块1相连。中央处理器7主要负责图像数据格式的转换、对基于视频检测的驾驶员驾驶行为的识别、驱动功能按键模块3和警报器4、传输数据到显示屏5及数据信息保存到外部存储卡中。

上述的中央处理器对基于视频检测的驾驶员驾驶行为的识别包括：读取经格式转换后的图像数据、定位方向盘、建立感兴趣区域、手部特征提取（对原图的感兴趣区域进行特征提取）、对提取手部特征（0-1特征矩阵）依据驾驶员手部与方向盘的位置关系进行分类识别以及建立违规规则库，并依据规则库判断驾驶员操作是否违规。

上述的一种基于视频检测的驾驶员驾驶行为监控装置，其监控方法大致如下：电源模块1启动后，设备自检以及图像采集与预处理模块2通过中央处理器7的总线接口配置内部寄存器，从而图像采集与预处理模块2具有了对输入模拟信号的预处理功能。图像采集与预处理模块2中的摄像头负责采集图像数据，图像采集与预处理模块2中的视频处理芯片对图像模拟信号进行预处理，预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制；预处理后的数据经中央处理器7图像数据格式转换，再进行一种基于视频检测的驾驶员驾驶行为识别；若判断为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡6中，把违规记录写入记录文件，以便后期核对跟踪。违规记录文件内容包括:违规时间，违规动作，持续时间，对应违规图像的编号组成。

上述的一种基于视频检测的驾驶员驾驶行为识别方法如图2所示，具体步骤如下：

步骤1，读取经格式转换后的图像数据，所读取的有效图像应该包含方向盘和驾驶员的手部姿态等信息（以下称原图）；

步骤2，定位方向盘。对读取的图像数据进行二次处理，包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤，得到边缘图像。经二次处理可以消除图像噪声，增强方向盘的可检测性，从而提高特征提取和图像识别的可靠性；对经过二次处理得到的边缘图像，利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位；

步骤3，建立感兴趣区域。在原图依据已定位的方向盘建立感兴趣区域，感兴趣区域包含方向盘和驾驶员的手部信息的区域；

步骤4，对步骤1中所读取图像的感兴趣区域进行特征提取，主要是手部特征提取。该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵。

步骤5，对提取的0-1特征矩阵（代表手部特征）依据驾驶员手部与方向盘的位置关系进行分类识别，将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上。

步骤6，基于驾驶员驾驶动作的持续时间与频率建立违规规则库，并依据规则库判断驾驶员操作是否违规。

步骤2中,图像中的方向盘形状大部分为椭圆形或圆形，需要对图像进行椭圆检测来对方向盘进行定位。常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多，投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换，RANSAC都是采用映射的方法，将样本点投影到参数空间，用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性，能一次检测多个椭圆，但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法，遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高，不过无法直接用于多个椭圆的检测，对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓，即只需检测出一个最大的椭圆形状，所以本实施方式采用了直接最小二乘椭圆拟合算法提取方向盘轮廓并检测出最大的椭圆形状，再检测出该椭圆的外切矩形，来完成对方向盘区域的定位。

步骤3中，感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时，完成对方向盘区域定位后，通过从方向盘区域以一定比例系数向外延伸的方式完成截取。对于不同的车型，该比例系数由实验标定或可根据经验确定。

步骤4中，对截取的区域进行特征提取，主要是手部特征，可通过对皮肤的检测来提取手部特征。该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵。

为了检测出皮肤，需要选定合适的肤色模型，对截取区域的手部肤色进行识别，图像处理中常用肤色模型大致分为两类：简单阈值分割和概率模型。其中概率模型有直方图模型，简单高斯模型和混合高斯模型。简单高斯模型是假设肤色分布为单峰高斯分布的一种模型。简单高斯模型考虑到了落入肤色模型范围内像素点的分布情况，应用概率密度公式判断像素点属于肤色的概率，而不是直接将所有落入模型范围内的像素点简单归类为肤色点，相对于区域模型能更好的表示肤色分布，因此相对来说它的肤色检测效率也高的多，并且模型的参数也易于计算。本实施方式采用简单高斯模型作为肤色模型，对各子区的手部肤色进行识别。建立0-1特征矩阵，其中1代表肤色像素值，0代表背景像素值。这种方法分两步走，首先选择合适的肤色模型并确定模型的参数，参数确定过程如下：选取大量符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。首先选取正常光照、强光、夜晚（弱光）下大量符合不同光照下人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型；然后利用不同光照下的模型来判别新的像素或区域是否为肤色，从而建立0-1特征矩阵。其中依据图像灰度分布判断处于何种光照条件。

步骤5中，对提取的0-1特征矩阵（代表手部特征）进行分类识别。本发明方法采用的是神经网络和贝叶斯网络分类器对0-1特征矩阵进行分类识别，通过识别不同的特征矩阵，辨别是否属于违规驾驶行为。在获得0-1特征矩阵后，采用神经网络和贝叶斯网络分类器对其进行分类识别，具体实现过程如下：1）根据不同的车型，按一定比例和数量选取各种驾驶行为的图片；2）运用前述方法对选取的图像进行处理得到与各类驾驶行为对应状态参数，组成训练实例集；3）用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器。通过分类器即可识别不同的手部基本动作，建立基本违规驾驶行为特征库，该实施例中通过分类器可识别七种基本动作：正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上、双手交叉左手在上。

步骤6，基于驾驶员驾驶动作的持续时间与频率建立违规规则库，并依据规则库判断驾驶员操作是否违规。

若按上述方法判断结果为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡6中，把违规记录写入记录文件，以便后期核对跟踪。违规记录文件内容包括:违规时间，违规动作，持续时间，对应违规图像的编号组成。

本实施例能够自动识别驾驶员驾驶期间是否有手部违规动作，向驾驶员提供警报，并把违规记录写入记录文件，以便后期核对跟踪。本实施例的准确度高，能够有效避免驾驶员因违规操作而造成的交通事故的发生。

Claims (4)

1.基于视频检测的驾驶员驾驶行为监控方法，该方法采用的装置包括电源模块、图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡及中央处理器，其中：电源模块的一个输出端与图像采集与预处理模块的电源输入端相连，电源模块的另一输出端与中央处理器的电源输入端相连；图像采集与预处理模块的图像输出接口与中央处理器的图像输入接口相连,且图像采集与预处理模块的总线接口与中央处理器的总线接口相连；功能按键模块的输出端与中央处理器的通用输入输出接口相连；警报器的输入端与中央处理器的PWM输出接口连接；显示屏的输入端与中央处理器的显示输出接口相连；外部存储卡通过外部存储卡插槽中央处理器相连；所述的功能按键模块用于手动建立感兴趣区域和自动建立感兴趣区域的确认；所述的警报器，用于当驾驶员发生不同的违规驾驶行为时，产生相应的警报来提醒，还能用于设备自检提示；所述的显示屏，用于显示预览处理后的图像；

其特征在于电源启动后，设备自检，图像采集与预处理模块通过中央处理器的总线接口配置内部寄存器，从而具有对输入模拟信号经行预处理的功能；图像采集与预处理模块中的摄像头负责采集图像数据，图像采集与预处理模块中的视频处理芯片对图像模拟信号进行预处理，预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制；预处理后的数据经中央处理器格式转换，再进行基于视频检测的驾驶员驾驶行为识别，若判断为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡中，把违规记录写入记录文件，以便后期核对跟踪；违规记录文件内容包括违规时间、违规动作、持续时间和对应违规图像的编号；

所述基于视频检测的驾驶员驾驶行为识别包括如下步骤：

步骤1，读取经格式转换后的图像数据，所读取的有效图像应该包含方向盘和驾驶员的手部姿态信息；

步骤2，定位方向盘，对读取的图像数据进行二次处理，包括灰度变换、图像滤波、边缘提取和轮廓增强四个处理步骤，得到边缘图像；对经过二次处理得到的边缘图像，利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位；

步骤3，建立感兴趣区域，在原图依据已定位的方向盘建立感兴趣区域，感兴趣区域包含方向盘和驾驶员的手部信息的区域；

步骤4，对原图的感兴趣区域进行特征提取，主要包括手部特征提取，该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵；

步骤5，对提取的0-1特征矩阵依据驾驶员手部与方向盘的位置关系进行分类识别，将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上；

步骤6，基于驾驶员驾驶动作的持续时间与频率建立违规规则库，并依据规则库判断驾驶员操作是否违规。

2.根据权利要求1所述的监控方法，其特征在于步骤2中，图像中的方向盘形状大部分为椭圆形或圆形，采用最小二乘椭圆拟合算法对方向盘的轮廓进行提取并检测出最大的椭圆形状来完成对方向盘区域的定位。

3.根据权利要求1所述的监控方法，其特征在于步骤3中，完成对方向盘区域的定位后，以方向盘为中心截取相应的感兴趣区域；感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定；具体截取时，从方向盘区域以设定比例系数向外延伸的方式完成截取；对于不同的车型，该比例系数由实验标定或根据经验确定；

步骤4中，该步骤将感兴趣区域划分为M*N个子区，采用肤色模型判断各子区是否包含手部特征，建立0-1特征矩阵；选定简单高斯模型作为肤色模型，对各子区的手部肤色进行识别，建立0-1特征矩阵，其中1代表肤色像素值，0代表背景像素值；

步骤5中，在获得0-1特征矩阵后，采用神经网络和贝叶斯网络分类器对其进行分类识别，具体是：根据不同的车型，按一定比例和数量选取各种驾驶行为的图片；运用前述步骤对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数，组成训练实例集；用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器；通过分类器能识别不同手部基本动作，建立基本违规驾驶行为特征库，再根据这些基本违规动作建立基本违规驾驶行为特征库；

步骤6中，违规规则由一种以上的基本违规动作、违规动作的持续时间及发生频率来共同决定违规规则；结合感兴趣区和违规规则库，判断行为是否违规；若判断结果为违规行为，警报器产生相应的报警，并把对应的违规图片保存到外部存储卡中，把违规记录写入记录文件，以便后期核对跟踪。

4.根据权利要求1所述的监控方法，其特征在于步骤4中，选取符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型；然后利用该模型来判别新的像素或区域是否为肤色；首先选取正常光照、强光、夜晚下大量符合不同光照下人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型；然后利用不同光照下的模型来判别新的像素或区域是否为肤色；其中依据图像灰度分布判断处于何种光照条件。

Images