CN101804813B - 一种基于图像传感器的辅助驾驶装置及其工作方法 - Google Patents

一种基于图像传感器的辅助驾驶装置及其工作方法 Download PDF

Info

Publication number
CN101804813B
CN101804813B CN 201019026038 CN201019026038A CN101804813B CN 101804813 B CN101804813 B CN 101804813B CN 201019026038 CN201019026038 CN 201019026038 CN 201019026038 A CN201019026038 A CN 201019026038A CN 101804813 B CN101804813 B CN 101804813B
Authority
CN
China
Prior art keywords
image
processing systems
embedded processing
auxiliary driving
liquid crystal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201019026038
Other languages
English (en)
Other versions
CN101804813A (zh
Inventor
李舜酩
缪小冬
沈峘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN 201019026038 priority Critical patent/CN101804813B/zh
Publication of CN101804813A publication Critical patent/CN101804813A/zh
Application granted granted Critical
Publication of CN101804813B publication Critical patent/CN101804813B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于图像传感器的辅助驾驶装置以及工作方法,属于汽车主动安全领域。本发明由图像传感器(1)、风扇(2)、电源(3)、液晶驱动板(4)及液晶屏(5)、触摸屏(6)及触摸屏驱动板(7)、嵌入式处理***(8)、扩展设备(9)组成;该辅助驾驶***直接采用图像传感器作为信息感知部分,通过嵌入式***的图像处理算法,提取车道线和车辆障碍物信息,达到辅助驾驶的功能。该***结构紧凑、重量轻、能耗低、易于操作,具有良好的移动性、并且检测效果好、实时性好,性价比高,适用于车辆辅助驾驶以及智能车辆视觉导航领域。

Description

一种基于图像传感器的辅助驾驶装置及其工作方法
技术领域
本发明涉及一种基于图像传感器的辅助驾驶装置及其工作方法,属于汽车主动安全领域。
背景技术
车道线检测和障碍物检测是实现智能车辆辅助驾驶和自主避障的前提,主要的传感手段有雷达,激光等主动传感器和基于视觉的被动传感器。雷达和激光检测效果好,测距准确,但不能检测车道线,并且由于价格等原因尚未实现推广。而视觉是人类观察和认识世界的重要方式,驾驶员在驾驶车辆过程中所需信息的90%来自视觉。视觉图像传感器具有较高的性价比,在很多场合得到了应用,如车道线识别,路标识别等,并且作为被动式传感器,对环境几乎没有不利的影响。
目前研究车辆辅助驾驶***的国内外企业或者科研机构很多,但功能单一,成本高,不能同时实现车道线检测与障碍物检测,如宝马公司的车道偏离报警***;奔驰的夜视***;沃尔沃的辅助换道***等,一般运用了雷达,红外等传感器,***成本比较高,难以实现市场推广。
综合市场上存在的辅助驾驶方法与装置,利用图像处理技术和嵌入式***,设计一种低成本的图像处理与显示***,给予驾驶员有关车道线与障碍物的信息,从而实现辅助驾驶以及智能导航的目的。
发明内容
本发明的目的就是在前人研究的辅助驾驶方法与装置的基础上,克服其成本高,功能单一等缺点,设计一种具有良好的移动性能、较强的车辆适应性、效果可靠、重量较轻的图像辅助驾驶装置及其工作方法。
本发明的技术解决方案是这样实现的:
一种基于图像传感器的辅助驾驶装置,包括机箱和内部装置,所述内部装置包括图像传感器、电源、液晶驱动板及液晶屏、触摸屏、触摸屏驱动板、嵌入式处理***,其中电源分别输出电源至嵌入式处理***、液晶驱动板,图像传感器与嵌入式处理***的输入端连接,嵌入式处理***的第一输出端依次连接液晶驱动板、液晶屏,嵌入式处理***的第二输出端依次连接触摸屏驱动板、触摸屏。
本发明的基于图像传感器的辅助驾驶装置在所述机箱的一侧设置有用于对所述内部装置进行散热的风扇,电源给风扇供电。
本发明的基于图像传感器的辅助驾驶装置的内部装置还包括扩展设备与嵌入式处理***相连接,扩展设备为一块PCB电路板,该PCB电路板包括外部电源接入口、嵌入式处理***电源端口、显示***电源端口、冷却风扇电源端口、显示***转接信号端口、显示***控制信号端口、电路保护电容以及通讯端口。
本发明的辅助驾驶装置的工作方法,具体步骤为:
A、初始化程序,采用图像传感器进行图像采集;将采集到的图像信息缓存在嵌入式处理***的存储器中;
B、嵌入式处理***读取步骤A所述图像信息的单帧图片;
C、嵌入式处理***将步骤B所述图像信息进行灰度变换,将该图像信息转换成灰度图像;
D、嵌入式处理***进行车道线检测、障碍物检测处理,提取出车道线与障碍物信息;
E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息,一并在液晶屏上显示出来,给予驾驶员提示,然后读取下一帧图像并进行处理。
本发明的基于图像传感器的辅助驾驶装置的工作方法的步骤D中所述车道线检测的方法具体为:
F、对步骤B所述转换后灰度图像进行边缘检测;
G、设计一套3*3的模板,根据线段的方向性分别对左车道及右车道的灰度图像进行模板匹配;
H、对G步骤匹配后的图像进行Hough变换、滤波操作,滤除部分短线段;
I、进行点的聚类处理,连接长线段,检测出车道线信息,继续进行下一帧图像的处理。
本发明的基于图像传感器的辅助驾驶装置的工作方法的步骤D中所述车辆障碍物检测的方法具体为:
J、对步骤B所述转换后灰度图像进行边缘检测;
K、根据图像中的实际目标位置选择感兴趣区域;
L、根据道路背景与车底阴影在灰度图象中的灰度区别,选择合适的灰度阈值,在感兴趣区域内进行图像分割;车底阴影部分形成连通域,与图像的其余部分有明显的边界差别,由此认为该连通域即为检测到的车底阴影,标出水平线段;
M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性,在感兴趣区域内检测车辆的对称轴,结合步骤L的结果,确定障碍物目标的位置;
N、读入下一帧图像信息,根据上一帧检测到的目标位置,利用均值平移算法进行目标跟踪;
O、每隔一定的帧数以后,重新对当前图像中的障碍物进行检测,再进行目标跟踪。有益效果:
与现有技术相比,本发明提供的辅助驾驶装置以性价比较高的图像传感器作为图像传感器,安装简单,对车体无破坏,并且可以实现触摸屏的操控;内置电源设计可以提高***的移动性能;外置电源可以使用车载的电子点烟器。算法部分采用了传统的灰度变换,边缘检测,兴趣区域提取,曲线拟合等,计算量小,实时性好。因此,安装该***的车辆能够在复杂的道路环境下给予驾驶员危险提示,并可以给予无人驾驶***环境信息。
附图说明
图1是本发明实施例的硬件结构框架图。
图2是图1所示的安装层次示意图。
图3是图1所示的软件***示意图。
图4是图3所述的车道线检测方法示意图。
图5是图3所述的障碍物检测方法示意图。
图中标号名称:
1.图像传感器,2.风扇,3.电源***,4.液晶驱动板,5.液晶屏,6.触摸屏,7.触摸屏驱动板,8.嵌入式处理***,9.扩展设备。
具体实施方式
结合图1~图3所示,本发明一种基于图像传感器的辅助驾驶装置及其工作方法硬件结构如下:
一种基于图像传感器的辅助驾驶装置,由图像采集***、图像处理***、图像显示***等组成,其中图像传感器通过吸盘固定在车辆内部挡风玻璃上,或者将图像传感器固定在车内顶部,采集前方道路信息,辅助驾驶***机箱放置在驾驶员前方的仪表台上,两者通过数据线连接。图像传感器通过一块半刚性金属角铁与吸盘固定在一起,可以通过调节角铁的角度来改变图像传感器的俯仰角。嵌入式处理***与电源***固定在所述的机箱内,液晶驱动板及液晶屏粘接在一起、整体通过螺栓连接在机箱上,所述的相关电源接口以及通讯接口集成在PCB电路板上,电源开关固定在机箱上。
上述的辅助驾驶装置构成为:以机箱为载体,内部电源与嵌入式处理***固定在机箱上,其上端连接电路板,电路板上端通过螺栓固定显示***,触摸屏粘结在显示屏上,机箱预留下通讯接口,电源接口,开关接口,散热风扇口,以及一系列的散热口。
上述的电路板包括开关端口,输入电源端口,以及嵌入式处理***,显示***,散热***的电源端口,以及与它们相对应的电路保护电容,显示***需要的信号端口与显示控制端口,以及触摸屏驱动板用螺栓固定在该电路板上。相关的通讯端口固定在电路板上,可以实现与外接设备的通讯。
图像传感器采集到的图像存储在缓存空间,通过软件读取缓存空间的图片帧,然后通过车道线检测和障碍物检测,在原图上标记出来,显示到液晶屏上。
图像传感器通过吸盘固定在挡风玻璃上,处理***与显示***放置在仪表盘上,图像传感器采集车辆前方的道路图像,通过数据线传输到存储单元,用图像软件读取缓存,进行图像处理,处理结束后将结果显示在液晶屏上,继续读取下一帧。
电源***有两部分组成,内置锂电池和外置电源,外置电源可以接点烟器电源,通过三相开关的切换,实现不同环境下的使用。
***自上而下分为4层,第一层为触摸板和液晶屏部分,四线电阻式触摸板粘贴在液晶屏的表面,通过四点定位来对触摸板进行触点校准。第二层为液晶屏和触摸板的驱动电路板,第三层为图3所示的电路板,集成了相关电源端口与通讯端口,第四层为嵌入式CPU***以及电源***,固定在盒子上,同时在盒子的左端有一个冷却风扇,从电路板供电,给***冷却。
工作原理如下:
A、初始化程序,采用图像传感器进行图像采集;将采集到的图像信息缓存在嵌入式处理***的存储器中;
B、嵌入式处理***读取步骤A所述图像信息的单帧图片;
C、嵌入式处理***步骤B所述图像信息进行灰度变换,将该图像信息转换成灰度图像;
D、嵌入式处理***进行车道线检测、障碍物检测处理,提取出车道线与障碍物信息;
E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息,一起在液晶屏上显示出来,给予驾驶员提示,然后读取下一帧图像并进行处理。
步骤D中所述车道线检测的方法具体为:
F、对步骤B所述转换后灰度图像进行边缘检测;
G、设计一套3*3的模板,根据线段的方向性分别对左车道及右车道的灰度图像进行模板匹配;
H、对G步骤匹配后的图像进行Hough变换、滤波操作,滤除部分短线段;
I、进行点的聚类处理,连接长线段,检测出车道线信息,继续进行下一帧图像的处理。
步骤D中所述障碍物检测的方法具体为:
J、对步骤B所述转换后灰度图像进行边缘检测;
K、根据图像中的实际目标位置选择感兴趣区域;
L、根据道路背景与车底阴影在灰度图象中的灰度区别,选择合适的灰度阈值,在感兴趣区域内进行图像分割;车底阴影部分形成连通域,与图像的其余部分有明显的边界差别,由此认为该连通域即为检测到的车底阴影,标出水平线段;
M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性,在感兴趣区域内检测到车辆的对称轴,结合步骤L的结果,确定障碍物目标的位置;
N、读入下一帧图像信息,根据上一帧检测到的目标位置,利用均值平移算法进行目标跟踪;
O、每隔一定的帧数以后,重新对当前图像中的障碍物进行检测,再进行目标跟踪。

Claims (3)

1.一种基于图像传感器的辅助驾驶装置,包括机箱和内部装置,其特征在于:所述内部装置包括图像传感器(1)、电源(3)、液晶驱动板(4)及液晶屏(5)、触摸屏(6)、触摸屏驱动板(7)、嵌入式处理***(8),其中电源(3)分别输出电源至嵌入式处理***(8)、液晶驱动板(4),图像传感器(1)与嵌入式处理***(8)的输入端连接,嵌入式处理***(8)的第一输出端依次连接液晶驱动板(4)、液晶屏(5),嵌入式处理***(8)的第二输出端依次连接触摸屏驱动板(7)、触摸屏(6);具体工作步骤为:
A、初始化程序,采用图像传感器(1)进行图像采集;将采集到的图像信息缓存在嵌入式处理***(8)的存储器中;
B、嵌入式处理***(8)读取步骤A所述图像信息的单帧图片;
C、嵌入式处理***(8)将步骤B所述图像信息进行灰度变换,将该图像信息转换成灰度图像;
D、嵌入式处理***(8)进行车道线检测、障碍物检测处理,提取出车道线与障碍物信息;
E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息,一并在液晶屏上显示出来,给予驾驶员提示,然后读取下一帧图像并进行处理;
步骤D中所述车道线检测的方法具体为:
F、对步骤C所述转换后灰度图像进行边缘检测;
G、设计一套3*3的模板,根据线段的方向性分别对左车道及右车道的灰度图像进行模板匹配;
H、对G步骤匹配后的图像进行Hough变换、滤波操作,滤除部分短线段;
I、进行点的聚类处理,连接长线段,检测出车道线信息,继续进行下一帧图像的处理;
步骤D中所述车辆障碍物检测的方法具体为:
J、对步骤C所述转换后灰度图像进行边缘检测;
K、根据图像中的实际目标位置选择感兴趣区域;
L、根据道路背景与车底阴影在灰度图象中的灰度区别,选择合适的灰度阈值,在感兴趣区域内进行图像分割;车底阴影部分形成连通域,与图像的其余部分有明显的边界差别,由此认为该连通域即为检测到的车底阴影,标出水平线段;
M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性,在感兴趣区域内检测车辆的对称轴,结合步骤L的结果,确定障碍物目标的位置;
N、读入下一帧图像信息,根据上一帧检测到的目标位置,利用均值平移算法进行目标跟踪;
0、每隔一定的帧数以后,重新对当前图像中的障碍物进行检测,再进行目标跟踪。
2.根据权利要求1所述的基于图像传感器的辅助驾驶装置,其特征在于:在所述机箱的一侧设置有用于对所述内部装置进行散热的风扇(2),电源(3)给风扇(2)供电。
3.根据权利要求1所述的基于图像传感器的辅助驾驶装置,其特征在于:所述内部装置还包括扩展设备(9)与嵌入式处理***(8)相连接,扩展设备(9)为一块PCB电路板,该PCB电路板包括外部电源接入口、嵌入式处理***电源端口、显示***电源端口、冷却风扇电源端口、显示***转接信号端口、显示***控制信号端口、电路保护电容以及通讯端口。
CN 201019026038 2010-02-04 2010-02-04 一种基于图像传感器的辅助驾驶装置及其工作方法 Expired - Fee Related CN101804813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201019026038 CN101804813B (zh) 2010-02-04 2010-02-04 一种基于图像传感器的辅助驾驶装置及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201019026038 CN101804813B (zh) 2010-02-04 2010-02-04 一种基于图像传感器的辅助驾驶装置及其工作方法

Publications (2)

Publication Number Publication Date
CN101804813A CN101804813A (zh) 2010-08-18
CN101804813B true CN101804813B (zh) 2013-04-24

Family

ID=42606812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201019026038 Expired - Fee Related CN101804813B (zh) 2010-02-04 2010-02-04 一种基于图像传感器的辅助驾驶装置及其工作方法

Country Status (1)

Country Link
CN (1) CN101804813B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011018159A1 (de) * 2011-04-19 2012-10-25 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Vorrichtung und Verfahren zur Fahrerunterstützung
EP2610778A1 (en) * 2011-12-27 2013-07-03 Harman International (China) Holdings Co., Ltd. Method of detecting an obstacle and driver assist system
CN102729902B (zh) * 2012-07-19 2014-10-15 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
CN102897091A (zh) * 2012-09-22 2013-01-30 浙江中呼科技有限公司 车载图像显示器、手机车载显示装置及监测装置
CN103786726B (zh) * 2012-11-05 2017-04-12 财团法人车辆研究测试中心 直觉式节能驾驶辅助方法与***
JP2014191688A (ja) * 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
CN104483966B (zh) * 2014-11-17 2018-04-06 范良志 一种用于潜伏式agv的双目视觉导航控制方法
CN106855061A (zh) * 2016-06-27 2017-06-16 张宏 自动化风扇驱动***
CN106949083A (zh) * 2016-06-27 2017-07-14 朱桂苓 自动化风扇驱动***
CN106326850A (zh) * 2016-08-18 2017-01-11 宁波傲视智绘光电科技有限公司 快速车道线检测方法
CN106740471A (zh) * 2016-09-21 2017-05-31 同济大学 一种信息采集***及一种车辆
US20180246641A1 (en) * 2017-02-28 2018-08-30 GM Global Technology Operations LLC Triggering control of a zone using a zone image overlay on an in-vehicle display
CN109733409B (zh) * 2017-10-31 2022-04-19 奥迪股份公司 驾驶辅助***和方法
CN109753843A (zh) * 2017-11-02 2019-05-14 郭宇铮 基于视觉传感器的行车辅助驾驶***
CN108875657A (zh) * 2018-06-26 2018-11-23 北京茵沃汽车科技有限公司 一种车道线检测方法
CN108628320A (zh) * 2018-07-04 2018-10-09 广东猪兼强互联网科技有限公司 一种智能汽车无人驾驶***
CN110641366B (zh) * 2019-10-12 2021-10-19 爱驰汽车有限公司 行车时的障碍物追踪方法、***、电子设备和存储介质
CN110962847B (zh) * 2019-11-26 2021-10-08 清华大学苏州汽车研究院(吴江) 车道居中辅助自适应巡航的轨迹规划方法和***
JP2022039469A (ja) * 2020-08-28 2022-03-10 本田技研工業株式会社 車両走行制御装置
JP7304379B2 (ja) * 2021-03-30 2023-07-06 本田技研工業株式会社 運転支援システム、運転支援方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1787847A3 (de) * 2005-11-21 2007-07-11 Robert Bosch Gmbh Fahrerassistenzsystem mit Abstandserfassung
CN101470807A (zh) * 2007-12-26 2009-07-01 河海大学常州校区 公路车道标志线精确检测方法
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN201594886U (zh) * 2010-02-04 2010-09-29 南京航空航天大学 一种基于图像传感器的辅助驾驶装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1787847A3 (de) * 2005-11-21 2007-07-11 Robert Bosch Gmbh Fahrerassistenzsystem mit Abstandserfassung
CN101470807A (zh) * 2007-12-26 2009-07-01 河海大学常州校区 公路车道标志线精确检测方法
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN201594886U (zh) * 2010-02-04 2010-09-29 南京航空航天大学 一种基于图像传感器的辅助驾驶装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛建国,李舜酩等.《单目视觉车道线识别算法及其ARM实现》.《南京航空航天大学学报》.2008,第40卷(第2期),第200-213页. *

Also Published As

Publication number Publication date
CN101804813A (zh) 2010-08-18

Similar Documents

Publication Publication Date Title
CN101804813B (zh) 一种基于图像传感器的辅助驾驶装置及其工作方法
CN203318408U (zh) 自动泊车***
US8565958B1 (en) Removing extraneous objects from maps
US20120310466A1 (en) Sensor field selection
CN104266823A (zh) 基于安全视认的白天隧道入口段照明标准测算方法及其***
CN108021133A (zh) 一种多传感器融合高速无人车探测避障***
CN103413313A (zh) 基于电力机器人的双目视觉导航***及方法
CN110091875A (zh) 基于物联网的深度学习型智能驾驶环境感知***
CN205644275U (zh) 无人驾驶智能小车
CN101008566A (zh) 基于地面纹理的智能车视觉装置及其全局定位方法
CN102963300A (zh) 防止车辆转弯时与非机动车发生碰撞的提示装置及其方法
CN201804112U (zh) 车辆360度障碍无死角智能检测与预警***
CN203066007U (zh) 一种带监控装置的清扫车
CN105336217A (zh) 一种基于机器视觉和安卓平台的行车安全预警***
CN206885205U (zh) 基于嵌入式***的自主巡逻智能车
CN201594886U (zh) 一种基于图像传感器的辅助驾驶装置
CN111580515B (zh) 一种无人驾驶扫地机用避障***及其避障方法
CN206363317U (zh) 一种地下管廊内固有资产无人巡检***
CN202847557U (zh) 一种自主循迹的倒车辅助装置
CN203047039U (zh) 一种多自由度汽车前照灯控制装置
CN207737198U (zh) 一种具有路况显示功能的卡车
CN204228168U (zh) 一种田间导航图像采集设备
CN109857113A (zh) 一种基于视觉slam方法的自主导航小车
CN207937872U (zh) 一种避障小车
CN200947250Y (zh) 道路磁诱导辅助驾驶的信号采集***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20150204

EXPY Termination of patent right or utility model