发明内容
鉴于此,本发明提供了一种基于单目视觉原理的智能化汽车离道预警***及方法,本发明具有精确度高、智能化、预警及时准确等优点。
本发明采用的技术方案如下:
一种基于单目视觉原理的智能化汽车离道预警***,其特征在于,所述***包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。
所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。
采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。
所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。
采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。
所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测***中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。
一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:
步骤1:汽车启动,***初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;
步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;
步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;
步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。
采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。
所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报***处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报***重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报***也将处于未启用状态。
所述阈值边缘检测的方法包括以下步骤:
步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵;
步骤2:记图像 具有 个灰度级,图像大小为 ,模糊矩阵的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;
步骤3:对 进行非线性变换,得到:
;
步骤4:对 QUOTE 进行逆变换,得到模糊增强后的图像
步骤5:得到图像的边缘为:
。
采用以上技术方案,本发明产生了以下有益效果:
1、精确度高:本发明的预警***及方法加入三轴加速计对关于镜头倾斜后图像处理的矫正,突破由于广角摄像头的光学特性的非线性变换问题,提升了识别的精确度和准确度。此外,在原始图像上预处理为边缘二值图像后再采用Hough变换算法,鲁棒性和抗干扰性较高,代替现有的DSP视频处理芯片,更快速地实现实时视频处理。
2、智能化:本发明的预警***和预警方法中的无须人为进行操作,***自动识别运行状态,根据运行状态自动进行报警,智能化程度高。采用特别的定制算法,保证了最终结果的准确性。
3、预警及时准确:本发明的预警***和预警方法中的报警单元采用了独特的报警机制,分三个状态:未启用,启用,报警; 车辆刚启动时,警报***处于未启用状态,一旦满足预警启动条件(车辆正常行驶在两分道线中间并未打开转向灯)后,警报***切换到启用状态;在启用状态下,如果车偏离车道,图像处理运算得到分道线角度数据满足离道条件(图像分道夹角小于警报最小夹角),则进入报警状态,警报立即触发;警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报***重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态。如果最近所得分道线的角度数据处于安全范围内时,即使有小范围摆动,但认为车未偏离车道,警报不会触发;或者,车要转向,提前打开转向灯,那么警报***处于未启用状态。***自动进行报警状态识别,无须人工进行操作,具备高度的智能化。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明实施例1中提供了种基于单目视觉原理的智能化汽车离道预警***,***结构如图1所示:
一种基于单目视觉原理的智能化汽车离道预警***,其特征在于,所述***包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。
所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。
采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。
所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。
采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。
所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测***中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。
本发明实施例2中提供了种基于单目视觉原理的智能化汽车离道预警方法:
一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:
步骤1:汽车启动,***初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;
步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;
步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;
步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。
采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。
所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报***处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报***重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报***也将处于未启用状态。
所述阈值边缘检测的方法包括以下步骤:
步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵 ;
步骤2:记图像 具有 个灰度级,图像大小为 ,模糊矩阵 的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;
步骤3:对 进行非线性变换,得到:
;
步骤4:对进行逆变换,得到模糊增强后的图像
步骤5:得到图像的边缘为:
。
本发明实施例3中提供了种基于单目视觉原理的智能化汽车离道预警***及方法,***结构图如图1所示:
一种基于单目视觉原理的智能化汽车离道预警***,其特征在于,所述***包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。
所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。
采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。
所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。
采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。
所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测***中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。
一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:
步骤1:汽车启动,***初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;
步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;
步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;
步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。
采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。
所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报***处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报***重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报***也将处于未启用状态。
所述阈值边缘检测的方法包括以下步骤:
步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵 ;
步骤2:记图像具有 个灰度级,图像大小为 ,模糊矩阵 的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;
步骤3:对 进行非线性变换,得到:
;
步骤4:对 进行逆变换,得到模糊增强后的图像
步骤5:得到图像的边缘为:
。
本发明的预警***及方法加入三轴加速计对关于镜头倾斜后图像处理的矫正,突破由于广角摄像头的光学特性的非线性变换问题,提升了识别的精确度和准确度。此外,在原始图像上预处理为边缘二值图像后再采用Hough变换算法,鲁棒性和抗干扰性较高,代替现有的DSP视频处理芯片,更快速地实现实时视频处理。
本发明的预警***和预警方法中的无须人为进行操作,***自动识别运行状态,根据运行状态自动进行报警,智能化程度高。采用特别的定制算法,保证了最终结果的准确性。
本发明的预警***和预警方法中的报警单元采用了独特的报警机制,分三个状态:未启用,启用,报警; 车辆刚启动时,警报***处于未启用状态,一旦满足预警启动条件(车辆正常行驶在两分道线中间并未打开转向灯)后,警报***切换到启用状态;在启用状态下,如果车偏离车道,图像处理运算得到分道线角度数据满足离道条件(图像分道夹角小于警报最小夹角),则进入报警状态,警报立即触发;警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报***重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态。如果最近所得分道线的角度数据处于安全范围内时,即使有小范围摆动,但认为车未偏离车道,警报不会触发;或者,车要转向,提前打开转向灯,那么警报***处于未启用状态。***自动进行报警状态识别,无须人工进行操作,具备高度的智能化。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。