CN107301379A - 一种基于机器视觉的方向盘及操作手检测方法及*** - Google Patents

一种基于机器视觉的方向盘及操作手检测方法及*** Download PDF

Info

Publication number
CN107301379A
CN107301379A CN201710389936.1A CN201710389936A CN107301379A CN 107301379 A CN107301379 A CN 107301379A CN 201710389936 A CN201710389936 A CN 201710389936A CN 107301379 A CN107301379 A CN 107301379A
Authority
CN
China
Prior art keywords
interest
single area
manipulator
steering wheel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710389936.1A
Other languages
English (en)
Inventor
徐文平
韩守东
夏鑫鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Tianye Cloud Business Network Technology Co Ltd
Original Assignee
Hubei Tianye Cloud Business Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Tianye Cloud Business Network Technology Co Ltd filed Critical Hubei Tianye Cloud Business Network Technology Co Ltd
Priority to CN201710389936.1A priority Critical patent/CN107301379A/zh
Publication of CN107301379A publication Critical patent/CN107301379A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的方向盘及操作手检测方法及***,通过hough椭圆检测出方向盘位置,结合灰度信息和肤色信息准确检测方向盘上360个单一感兴趣区域是否存在手,从而判断单帧图像的全方向盘上是否存在操作手,并结合多帧检测和多帧判断,决定是否应该发出报警信号,提醒驾驶员,减少交通事故的发生;实时性高、准确率高、鲁棒性和稳定性高。

Description

一种基于机器视觉的方向盘及操作手检测方法及***
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于机器视觉的方向盘及操作手检测方法及***。
背景技术
交通事故的发生与驾驶员不正确的驾驶操作有密切关系,一些驾驶行为极易被驾驶员轻视,但却容易造成非常严重的后果,尤其是驾驶员双手离开方向盘。当遇到紧急情况,如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等,极易造成驾驶员无法对车辆进行快速有效的控制,从而造成极其严重的后果。
基于生理信号测量方向盘上操作手的方法受检测设备复杂程度和价格因素影响的同时,还需要驾驶员佩戴仪器,对驾驶员的驾驶操作有一定的影响,因此难以推广实现。
基于传感器检测车辆状态从而检测方向盘上操作手的方法测量结果易受驾驶操作存在个体差异因素的影响,同时还存在测量数据不够准确和硬件成本较高等问题的限制,导致误报警率较高,因此也未能取得较好的应用效果。
现有的方向盘上操作手检测算法操作简单,主要是先标定出图像中方向盘的位置,然后进行感兴趣区域的截取,最后在感兴趣区域上进行操作手检测。现有方法需要人工手动标出方向盘的位置,并且感兴趣区域的截取中采取倾斜的矩形,后期进行检测时需要将角度做归一化处理,增大了算法处理时间,并且感兴趣区域的尺寸固定,判断是否有操作手的比例阈值固定,不能自适应各种场景类型,若驾驶员手臂自然垂下放在腿上时,会产生误检。
发明内容
本发明的目的在于克服上述技术不足,提出一种基于机器视觉的方向盘及操作手检测方法及***,解决现有技术中的上述技术问题。
为达到上述技术目的,本发明的技术方案提供一种基于机器视觉的方向盘及操作手检测方法,包括:
S1、采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点;
S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片,第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
S3、获取一个单一感兴趣区域,所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
S4、获取S3中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1;
S5、对S3获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
S6、当L>第二阈值T2且N>第三阈值T3时,判断S3获取的单一感兴趣区域存在操作手,否则,判断S3获取的单一感兴趣区域不存在操作手;
S7、循环执行S3-S6步骤,以S3获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
S8、判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断S1中采集的一帧方向盘图像中存在操作手,否则,判断S1中采集的一帧方向盘图像中不存在操作手;
S9、循环执行步骤S1-S8,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
本发明还提供一种基于机器视觉的方向盘及操作手检测***,包括:
椭圆检测模块:采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点;
感兴趣区域获取模块:从方向盘图像中截取方向盘所在的外接矩形作为第一图片,第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
单一感兴趣区域获取模块:获取一个单一感兴趣区域,所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
第一检测模块:获取单一感兴趣区域获取模块中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1;
第二检测模块:对单一感兴趣区域获取模块获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
单一感兴趣区域判断模块:当L>第二阈值T2且N>第三阈值T3时,判断单一感兴趣区域获取模块获取的单一感兴趣区域存在操作手,否则,判断单一感兴趣区域获取模块获取的单一感兴趣区域不存在操作手;
第一循环模块:循环执行单一感兴趣区域获取模块至单一感兴趣区域判断模块的操作,以单一感兴趣区域获取模块获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
单帧判断模块:判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断椭圆检测模块中采集的一帧方向盘图像中存在操作手,否则,判断椭圆检测模块中采集的一帧方向盘图像中不存在操作手;
多帧判断模块:循环执行椭圆检测模块至单帧判断模块的操作,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
与现有技术相比,本发明的有益效果包括:本发明采取hough椭圆检测进行方向盘的定位,能够由算法自动定位出方向盘所在椭圆线,自动化程度高;采取旋转角度为0的单一感兴趣区域,方法简单,实时性高;现有技术中只通过判断单一感兴趣区域的二值化图像确定该区域是否存在类似手形,若存在驾驶员手臂自然垂下并且靠近方向盘,从成像的角度看类似手在方向盘上,容易造成误检的情况,而本发明添加一个约束条件,利用椭圆线在方向盘中央(方向盘形状可看做两个椭圆,椭圆线一定在两个椭圆中间),即使存在手臂自然垂下的情况,方向盘所在椭圆线上依然不会存在手部,只有当手真正覆盖在方向盘上,椭圆线才会被覆盖,提高了算法的准确率;现有技术中的多个阈值均采用固定阈值的方法,不能自适应各种场景和不同大小的图像,本发明根据感兴趣区域的尺寸大小自适应确定单一感兴趣区域尺寸,同时根据单一感兴趣尺寸自适应确定阈值T1、T2、T3,提高算法的鲁棒性;本发明采用多帧判断决定是否提醒驾驶员,提高准确性和稳定性以及算法速度。
附图说明
图1是本发明提供的一种基于机器视觉的方向盘及操作手检测方法流程图;
图2是本发明提供的一种基于机器视觉的方向盘及操作手检测***结构框图。
附图中:1、基于机器视觉的方向盘及操作手检测***,11、椭圆检测模块,12、感兴趣区域获取模块,13、单一感兴趣区域获取模块,14、第一检测模块,15、第二检测模块,16、单一感兴趣区域判断模块,17、第一循环模块,18、单帧判断模块,19、多帧判断模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种基于机器视觉的方向盘及操作手检测方法,包括:
S1、采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点;
S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片,第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
S3、获取一个单一感兴趣区域,所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
S4、获取S3中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1,T1根据size自适应变化;
S5、对S3获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
S6、当L>第二阈值T2且N>第三阈值T3时,判断S3获取的单一感兴趣区域存在操作手,否则,判断S3获取的单一感兴趣区域不存在操作手,T2、T3根据size自适应变化;
S7、循环执行S3-S6步骤,以S3获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
S8、判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断S1中采集的一帧方向盘图像中存在操作手,否则,判断S1中采集的一帧方向盘图像中不存在操作手;
S9、循环执行步骤S1-S8,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
本发明所述的基于机器视觉的方向盘及操作手检测方法,步骤S2中:
对感兴趣区域进行灰度化和边缘检测的预处理操作。
本发明所述的基于机器视觉的方向盘及操作手检测方法,步骤S4中:
对S3中获取的单一感兴趣区域进行二值化操作获取二值化图像的方法为:
利用肤色信息经验值对单一感兴趣区域进行肤色检测,得到二值化图像,二值化图像中肤色像素点灰度值为255,非肤色像素点灰度值为0或者计算单一感兴趣区域的平均灰度,将平均灰度作为阈值对单一感兴趣区域进行灰度二值化,得到二值化图像。
本发明所述的基于机器视觉的方向盘及操作手检测方法,步骤S8中:
单一感兴趣区域的中心点是椭圆线检测点,如果若干单一感兴趣区域的中心点是在椭圆线上连续的点,则判断各单一感兴趣区域连续。
本发明所述的基于机器视觉的方向盘及操作手检测方法,步骤S9中综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员的步骤为:
获取设定帧数的方向盘图像中不存在操作手的帧数C,如果C>第五阈值T5,则提醒驾驶员注意安全驾驶。
本发明还提供一种基于机器视觉的方向盘及操作手检测***1,包括:
椭圆检测模块11:采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点;
感兴趣区域获取模块12:从方向盘图像中截取方向盘所在的外接矩形作为第一图片,第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
单一感兴趣区域获取模块13:获取一个单一感兴趣区域,所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
第一检测模块14:获取单一感兴趣区域获取模块中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1,T1根据size自适应变化;
第二检测模块15:对单一感兴趣区域获取模块获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
单一感兴趣区域判断模块16:当L>第二阈值T2且N>第三阈值T3时,判断单一感兴趣区域获取模块获取的单一感兴趣区域存在操作手,否则,判断单一感兴趣区域获取模块获取的单一感兴趣区域不存在操作手,T2、T3根据size自适应变化;
第一循环模块17:循环执行单一感兴趣区域获取模块至单一感兴趣区域判断模块的操作,以单一感兴趣区域获取模块获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
单帧判断模块18:判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断椭圆检测模块中采集的一帧方向盘图像中存在操作手,否则,判断椭圆检测模块中采集的一帧方向盘图像中不存在操作手;
多帧判断模块19:循环执行椭圆检测模块至单帧判断模块的操作,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
本发明所述的基于机器视觉的方向盘及操作手检测***1,感兴趣区域获取模块12中:
对感兴趣区域进行灰度化和边缘检测的预处理操作。
本发明所述的基于机器视觉的方向盘及操作手检测***1,第一检测模块14中:
利用肤色信息经验值对单一感兴趣区域进行肤色检测,得到二值化图像,二值化图像中肤色像素点灰度值为255,非肤色像素点灰度值为0或者计算单一感兴趣区域的平均灰度,将平均灰度作为阈值对单一感兴趣区域进行灰度二值化,得到二值化图像。
本发明所述的基于机器视觉的方向盘及操作手检测***1,单帧判断模块18中:
单一感兴趣区域的中心点是椭圆线检测点,如果若干单一感兴趣区域的中心点是在椭圆线上连续的点,则判断各单一感兴趣区域连续。
本发明所述的基于机器视觉的方向盘及操作手检测***1,多帧判断模块19中:
获取设定帧数的方向盘图像中不存在操作手的帧数C,如果C>第五阈值T5,则提醒驾驶员注意安全驾驶。
与现有技术相比,本发明的有益效果包括:本发明采取hough椭圆检测进行方向盘的定位,能够由算法自动定位出方向盘所在椭圆线,不需要人工手动标出方向盘的位置;现有技术感兴趣区域存在旋转角度因此需要进行角度的归一化,而角度归一化耗时,并且内存占用大,本发明采取旋转角度为0的单一感兴趣区域,方法简单,实时性高;现有技术中只通过判断单一感兴趣区域的二值化图像确定该区域是否存在类似手形,若存在驾驶员手臂自然垂下并且靠近方向盘,从成像的角度看类似手在方向盘上,容易造成误检的情况,而本发明添加一个约束条件,利用椭圆线在方向盘中央(方向盘形状可看做两个椭圆,椭圆线一定在两个椭圆中间),即使存在手臂自然垂下的情况,方向盘所在椭圆线上依然不会存在手部,只有当手真正覆盖在方向盘上,椭圆线才会被覆盖,提高了算法的准确率;现有技术中的多个阈值均采用固定阈值的方法,不能自适应各种场景和不同大小的图像,本发明根据感兴趣区域的尺寸大小自适应确定单一感兴趣区域尺寸,同时根据单一感兴趣尺寸自适应确定阈值T1、T2、T3,提高算法的鲁棒性;本发明采用多帧判断决定是否提醒驾驶员,提高准确性和稳定性以及算法速度。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于机器视觉的方向盘及操作手检测方法,其特征在于,包括步骤:
S1、采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点;
S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片,所述第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
S3、获取一个单一感兴趣区域,所述单一感兴趣区域是先在所述第一图片上选取所述椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
S4、获取S3中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1,T1根据size自适应变化;
S5、对S3获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别所述椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
S6、当L>第二阈值T2且N>第三阈值T3时,判断S3获取的单一感兴趣区域存在操作手,否则,判断S3获取的单一感兴趣区域不存在操作手,T2、T3根据size自适应变化;
S7、循环执行S3-S6步骤,以S3获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以所述椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
S8、判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断S1中采集的一帧方向盘图像中存在操作手,否则,判断S1中采集的一帧方向盘图像中不存在操作手;
S9、循环执行步骤S1-S8,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
2.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法,其特征在于,步骤S2中:
对感兴趣区域进行灰度化和边缘检测的预处理操作。
3.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法,其特征在于,步骤S4中:
对S3中获取的单一感兴趣区域进行二值化操作获取二值化图像的方法为:
利用肤色信息经验值对单一感兴趣区域进行肤色检测,得到二值化图像,二值化图像中肤色像素点灰度值为255,非肤色像素点灰度值为0或者计算单一感兴趣区域的平均灰度,将平均灰度作为阈值对单一感兴趣区域进行灰度二值化,得到二值化图像。
4.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法,其特征在于,步骤S8中:
所述单一感兴趣区域的中心点是所述椭圆线检测点,如果若干单一感兴趣区域的中心点是在椭圆线上连续的点,则判断各单一感兴趣区域连续。
5.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法,其特征在于,步骤S9中综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员的步骤为:
获取设定帧数的方向盘图像中不存在操作手的帧数C,如果C>第五阈值T5,则提醒驾驶员注意安全驾驶。
6.一种基于机器视觉的方向盘及操作手检测***,其特征在于,包括:
椭圆检测模块:采集一帧方向盘图像,使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线,并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为所述椭圆线检测点;
感兴趣区域获取模块:从方向盘图像中截取方向盘所在的外接矩形作为所述第一图片,所述第一图片的全部范围为感兴趣区域,对感兴趣区域进行预处理;
单一感兴趣区域获取模块:获取一个单一感兴趣区域,所述单一感兴趣区域是先在所述第一图片上选取所述椭圆线检测点中的任一个点,然后以选取的点为中心,截取大小为size,角度为0的矩形作为单一感兴趣区域,size的大小根据感兴趣区域大小自适应变化;
第一检测模块:获取单一感兴趣区域获取模块中获取的单一感兴趣区域的二值化图像,将该二值化图像表示在二维坐标系中并向X轴方向投影,得到该二值化图像每一列的灰度值为255的像素点数A,寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L,该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1,T1根据size自适应变化;
第二检测模块:对单一感兴趣区域获取模块获取的单一感兴趣区域进行肤色检测,获取该单一感兴趣区域的二值化图像,二值化图像中手部肤色灰度值为255,识别所述椭圆线检测点落在该单一感兴趣区域的点集,检测点集中的点的灰度值为255的个数N;
单一感兴趣区域判断模块:当L>第二阈值T2且N>第三阈值T3时,判断单一感兴趣区域获取模块获取的单一感兴趣区域存在操作手,否则,判断单一感兴趣区域获取模块获取的单一感兴趣区域不存在操作手,T2、T3根据size自适应变化;
第一循环模块:循环执行单一感兴趣区域获取模块至单一感兴趣区域判断模块的操作,以单一感兴趣区域获取模块获取的单一感兴趣区域的中心点为起始点,以1°为步长按照顺时针方向逐个获取单一感兴趣区域,判断以所述椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手;
单帧判断模块:判断存在操作手的单一感兴趣区域是否连续,计算连续的存在操作手的单一感兴趣区域的个数B,当B>第四阈值T4时,判断椭圆检测模块中采集的一帧方向盘图像中存在操作手,否则,判断椭圆检测模块中采集的一帧方向盘图像中不存在操作手;
多帧判断模块:循环执行椭圆检测模块至单帧判断模块的操作,采集设定帧数的方向盘图像,综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。
7.如权利要求6所述的基于机器视觉的方向盘及操作手检测***,其特征在于,感兴趣区域获取模块中:
对所述感兴趣区域进行灰度化和边缘检测的预处理操作。
8.如权利要求6所述的基于机器视觉的方向盘及操作手检测***,其特征在于,第一检测模块中:
利用肤色信息经验值对单一感兴趣区域进行肤色检测,得到二值化图像,二值化图像中肤色像素点灰度值为255,非肤色像素点灰度值为0或者计算单一感兴趣区域的平均灰度,将平均灰度作为阈值对单一感兴趣区域进行灰度二值化,得到二值化图像。
9.如权利要求6所述的基于机器视觉的方向盘及操作手检测***,其特征在于,单帧判断模块中:
所述单一感兴趣区域的中心点是所述椭圆线检测点,如果若干单一感兴趣区域的中心点是在椭圆线上连续的点,则判断各单一感兴趣区域连续。
10.如权利要求6所述的基于机器视觉的方向盘及操作手检测***,其特征在于,多帧判断模块中:
获取设定帧数的方向盘图像中不存在操作手的帧数C,如果C>第五阈值T5,则提醒驾驶员注意安全驾驶。
CN201710389936.1A 2017-05-27 2017-05-27 一种基于机器视觉的方向盘及操作手检测方法及*** Pending CN107301379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710389936.1A CN107301379A (zh) 2017-05-27 2017-05-27 一种基于机器视觉的方向盘及操作手检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710389936.1A CN107301379A (zh) 2017-05-27 2017-05-27 一种基于机器视觉的方向盘及操作手检测方法及***

Publications (1)

Publication Number Publication Date
CN107301379A true CN107301379A (zh) 2017-10-27

Family

ID=60137201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710389936.1A Pending CN107301379A (zh) 2017-05-27 2017-05-27 一种基于机器视觉的方向盘及操作手检测方法及***

Country Status (1)

Country Link
CN (1) CN107301379A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108082080A (zh) * 2017-12-06 2018-05-29 东风商用车有限公司 一种车辆控制***及其控制方法
CN111797670A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于确定手是否与车辆的手动转向元件协作的方法和装置
CN113076874A (zh) * 2021-04-01 2021-07-06 安徽嘻哈网络技术有限公司 一种方向盘角度检测***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN104276080A (zh) * 2014-10-16 2015-01-14 北京航空航天大学 客车驾驶员手离方向盘检测预警***及预警方法
CN104899548A (zh) * 2015-04-09 2015-09-09 北京工商大学 一种方向盘上操作手数目视频检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN104276080A (zh) * 2014-10-16 2015-01-14 北京航空航天大学 客车驾驶员手离方向盘检测预警***及预警方法
CN104899548A (zh) * 2015-04-09 2015-09-09 北京工商大学 一种方向盘上操作手数目视频检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREY RESHETNEV等: "Automobile Driving Interface Based on Hand Trajectory Recognition", 《2006 INTERNATIONAL FORUM ON STRATEGIC TECHNOLOGY》 *
李良福等: "一种基于随机Hough变换的椭圆检测算法研究", 《模式识别与人工智能》 *
郭克友等: "一种方向盘上操作手数目检测算法", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108082080A (zh) * 2017-12-06 2018-05-29 东风商用车有限公司 一种车辆控制***及其控制方法
CN111797670A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于确定手是否与车辆的手动转向元件协作的方法和装置
CN113076874A (zh) * 2021-04-01 2021-07-06 安徽嘻哈网络技术有限公司 一种方向盘角度检测***

Similar Documents

Publication Publication Date Title
US9070023B2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
US8983123B2 (en) Target-object distance measuring device and vehicle mounted with the device
CN104408460B (zh) 一种车道线检测及跟踪检测方法
CN104129389B (zh) 一种有效判别车辆行驶状态的方法及其装置
JP3987048B2 (ja) 車両周辺監視装置
CN106598221A (zh) 基于眼部关键点检测的3d视线方向估计方法
US8810653B2 (en) Vehicle surroundings monitoring apparatus
CN106778737B (zh) 一种车牌矫正方法、装置和一种视频采集装置
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及***
CN110987189B (zh) 对目标对象进行温度检测的方法、***以及装置
US9158738B2 (en) Apparatus for monitoring vicinity of a vehicle
CN106846734A (zh) 一种疲劳驾驶检测装置及方法
CN107301379A (zh) 一种基于机器视觉的方向盘及操作手检测方法及***
CN104123532B (zh) 对目标对象进行检测、确定目标对象数量的方法和设备
CN109886205B (zh) 安全带实时监测方法和***
CN109145696B (zh) 一种基于深度学习的老人跌倒检测方法及***
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量***及方法
CN111079589B (zh) 基于深度摄像和身高阈值像素标定的自动身高检测方法
CN103308523B (zh) 多尺度瓶口缺陷检测方法及装置
JPWO2013008305A1 (ja) 瞼検出装置
US20140133705A1 (en) Red-eye determination device
US8174578B2 (en) Vehicle periphery monitoring device
CN111067530A (zh) 基于深度摄像的地铁乘客身高自动检测方法和***
WO2013008304A1 (ja) 瞼検出装置
CN105530404B (zh) 影像识别装置及影像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171027

RJ01 Rejection of invention patent application after publication