CN106203311A - 一种能够自主导航清洁车 - Google Patents
一种能够自主导航清洁车 Download PDFInfo
- Publication number
- CN106203311A CN106203311A CN201610514357.0A CN201610514357A CN106203311A CN 106203311 A CN106203311 A CN 106203311A CN 201610514357 A CN201610514357 A CN 201610514357A CN 106203311 A CN106203311 A CN 106203311A
- Authority
- CN
- China
- Prior art keywords
- road
- neutral net
- submodule
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明一种能够自主导航清洁车,包括清洁车和与清洁车相连的道路检测装置,其中,道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块,所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中,道路自适应检测模块包括直方图阈值粗分割子模块、道路识别子模块、网络训练子模块和车辆引导线提取子模块;本发明大大简化了图像分析和处理的工作量,可以得到比较完整的区域,且识别效率高,达到了对道路进行自适应检测的要求。
Description
技术领域
本发明涉及清洁车领域,具体涉及一种能够自主导航清洁车。
背景技术
汽车在给人们生活带来极大方便的同时也带来了很多社会问题:汽车造成的道路交通事故逐年大幅度增加、汽车造成的道路拥堵日益严重,造成大量的人员伤亡和财产损失。研究高效的车辆自主导航技术,是降低交通事故发生率的有效手段。在众多的可用于车辆导航的信息中,视觉信息作为道路及外部环境的感知来源具有其他信息无法比拟的优势,而对道路进行检测成为摆在其面前的第一大难题。
清洁车是指用于清洁卫生的多功能清洁手推车或用于搬运物料的手推车统称为清洁车,广泛应用于宾馆、商场、商业楼、房地产、酒店、医院、学校、办公室、图书馆、展览中心、俱乐部、会所等公共场所的清洁作业和物料的搬运。
发明内容
针对上述问题,本发明提供一种能够自主导航清洁车。
本发明的目的采用以下技术方案来实现:
一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(5)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(6)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(7)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本发明的有益效果为:
1、HSV空间把亮度分量单独分离出来,为色彩的处理和识别提供了方便,另外HSV空间主要是以对颜色的主观感受来描述颜色,所以比较符合人的视觉特征,建立HSV空间中颜色分量投影模型,把H分量投影到V平面,鲁棒性较好,而且比较稳定,能够准确的表达目标固有的颜色特征,经过处理后的彩色图像跟灰度图像一样,都是二维的,数据量较小,大大简化了图像分析和处理的工作量;
2、实际在道路图像中,包含多个目标,背景也较为复杂,在直方图中可能出现具有多个波峰和波谷的情况,用单阈值分割不能有效的分割出目标区域,直方图中波峰位置表示对应颜色的像素在图像中出现的频率较高,波谷位置表示对应的颜色像素出现的频率较小,因此把波谷点位置作为阈值进行分割,可以得到比较完整的区域;相近的波峰点或波谷点都将被选择出来,这种情况下添加了距离约束条件和概率差约束条件,选出其中合理的波谷点;
3、设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率;
4、在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明道路检测装置各模块的连接示意图。
图2是本发明清洁车示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1
参见图1,图2,本实施例一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(8)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,神经网络数目N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(9)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(10)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本实施例设置彩色图像预处理模块,大大简化了图像分析和处理的工作量;在直方图阈值粗分割子模块中,把波谷点位置作为阈值进行分割,可以得到比较完整的区域;设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率,同时在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求;本实施例参数n取值为4,N取值为3,检测效率相对提高了3%。
实施例2
参见图1,图2,本实施例一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(11)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,神经网络数目N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(12)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(13)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本实施例设置彩色图像预处理模块,大大简化了图像分析和处理的工作量;在直方图阈值粗分割子模块中,把波谷点位置作为阈值进行分割,可以得到比较完整的区域;设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率,同时在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求;本实施例参数n取值为5,N取值为3,检测效率相对提高了3.2%。
实施例3
参见图1,图2,本实施例一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(14)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,神经网络数目N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(15)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(16)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本实施例设置彩色图像预处理模块,大大简化了图像分析和处理的工作量;在直方图阈值粗分割子模块中,把波谷点位置作为阈值进行分割,可以得到比较完整的区域;设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率,同时在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求;本实施例参数n取值为6,N取值为4,检测效率相对提高了3.5%。
实施例4
参见图1,图2,本实施例一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(17)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,神经网络数目N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(18)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(19)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本实施例设置彩色图像预处理模块,大大简化了图像分析和处理的工作量;在直方图阈值粗分割子模块中,把波谷点位置作为阈值进行分割,可以得到比较完整的区域;设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率,同时在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求;本实施例参数n取值为7,N取值为4,检测效率相对提高了3.8%。
实施例5
参见图1,图2,本实施例一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
优选地,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
优选地,所述分支部的长度和/或相对于所述主体部的倾角不同。
优选地,所述道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(20)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,神经网络数目N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(21)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(22)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
所述彩色图像预处理模块中,进行目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
优选地,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
其中,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
本实施例设置彩色图像预处理模块,大大简化了图像分析和处理的工作量;在直方图阈值粗分割子模块中,把波谷点位置作为阈值进行分割,可以得到比较完整的区域;设置道路识别子模块,通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,选择合适的神经网络对道路区域进行合并,将剩余区域直接映射到非道路区域,并定义网络选取模型,提高了识别的效率,同时在车辆运动过程中每隔2s对神经网络进行训练,达到对道路进行自适应检测的要求;本实施例参数n取值为8,N取值为5,检测效率相对提高了3.4%。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (7)
1.一种能够自主导航清洁车,包括清洁车和道路检测装置,其中清洁车包括:两个侧部吸嘴,两个所述侧部吸嘴沿所述道路清洁车辆的行进方向错开,使得两个所述侧部吸嘴的清洁范围在所述道路清洁车辆的宽度方向的中部具有重叠区域。
2.根据权利要求1所述的一种能够自主导航清洁车,其特征是,每个所述侧部吸嘴包括吸嘴主体,所述吸嘴主体形成为Y形结构并包括主体部和从所述主体部水平向外斜伸的分支部。
3.根据权利要求2所述的一种能够自主导航清洁车,其特征是,所述分支部的长度和/或相对于所述主体部的倾角不同。
4.根据权利要求3所述的一种能够自主导航清洁车,其特征是,道路检测装置包括依次连接的图像采集模块、彩色图像预处理模块和道路自适应检测模块;
所述图像采集模块用于采集外界信息的彩色图像;
所述彩色图像预处理模块用于对彩色图像进行投影预处理,预处理时采用HSV模型,彩色图像的预处理结果根据亮度分量V的数值在色调分量H、饱和度分量S、亮度分量V三个分量之间选择,当存在饱和度过低或者亮度过低或者过高时,图像分割主要依靠亮度分量V的信息,其余情况下,采用色调分量H进行目标提取;
所述道路自适应检测模块用于检测、合并道路区域,并将剩余区域全部映射到非道路区域中;所述道路自适应检测模块包括:
(1)直方图阈值粗分割子模块,用于对由彩色图像预处理模块预处理后的图像进行粗分割,其对预处理后的图像进行直方图构造,并采用直方图多阈值法、以波谷点的位置作为阈值对预处理后的图像进行粗分割,采用如下算法对所述波谷点进行选择:
设Pi为灰度值为i的像素点在预处理后的图像中出现的频率,让Pi与其相邻的局部邻域Pt作比较,Pt={Pi-n,...,Pi-1,Pi+1,...Pi+n},参数n的取值范围为[4,8],表示Pt左右邻域像频范围,Pt中最小频率值为Ptmin,次最小频率值为Ptmins,若则i是波谷点,若则i不是波谷点,定义谷点函数v(i):
对选出的所有谷点v(i)=1,增加距离约束条件和概率约束条件,若相邻谷点i和j之间的距离表示为d=|i-j|,概率差表示为g=|Pi-Pj|,设定距离参数D来反映波谷点之间应保持的最小距离,且Dmin和Dmax分别为相邻波谷点最小距离和最大距离,定义距离约束函数d(i):
设定概率差参数G来反映波谷点间的阈值差,且Gmin和Gmax分别为相邻波谷点间的最小概率差和最大概率差,定义概率差约束函数g(i):
定义波谷点选择函数为:
x(i)=v(i)×d(i)×g(i)
式中,当x(i)=1时,表示波谷点被选中;
(2)道路识别子模块:用于通过多神经网络检测的方式对经直方图阈值粗分割子模块分割后的区域进行识别,进而在多神经网络中选择合适的神经网络对道路区域进行合并,并将剩余区域直接映射到非道路区域,所述多神经网络包括N个神经网络,N∈[3,5],其中每个神经网络的正负训练样本来自放置在不同区域的多个窗口,设所述多神经网络表示为{W1(μ1,δ1),W2(μ2,δ2),...,WN(μN,δN)},μ和δ分别表示对应于神经网络的正训练样本和负训练样本,则定义网络选取模型为:
W={Wk(μk,δk),f(μk)=1,f(δk)=0,k∈[1,N]}
其中,W为最终选取的合适网络,Wk(μk,δk)表示合适的神经网络,f(μk)表示神经网络Wk(μk,δk)的正训练样本窗口检测结果为1,f(δk)表示Wk(μk,δk)的负训练样本窗口检测结果为0;
(3)网络训练子模块,用于在道路识别子模块运作的同时使用合适网络的训练样本窗口提取的特征对神经网络进行训练;
(4)车辆引导线提取子模块:用于提取车辆引导线,所述车辆引导线定义为道路区域和非道路区域的分界线。
5.根据权利要求4所述的一种能够自主导航清洁车,其特征是,所述彩色图像预处理模块中,进行
目标提取时基于HSV空间中颜色分量投影模型,投影公式为:
式中,当不满足时,将色调分量H投影到V平面;V(x,y)表示亮度分量V上对应的点,H(x,y)为色调分量H上对应的点,σ表示用于避免色调分量H和亮度分量V重合的拉伸因子,ξ是投影以后数值的分段,ξ>σ,TS为设定的饱和度阈值,为设定的亮度阈值。
6.根据权利要求5所述的一种能够自主导航清洁车,其特征是,所述饱和度阈值和亮度阈值的取值分别为:Ts=20。
7.根据权利要求6所述的一种能够自主导航清洁车,其特征是,所述网络训练子模块包括:
(1)特征提取单元,其采用3个尺度和6个方向构成的18个小波滤波器进行Gabor小波变换,提取预处理后的图像的纹理特征,同时采用10窗口提取预处理后的图像的颜色特征,并量化为4级,以得到22维特征;
(2)神经网络构建单元,用于根据所述22维特征构建神经网络,神经网络包括输入层、中间层和输出层,输入层设置22个神经元,输出层设置1个神经元,输出为1时表示道路区域,输出为0时表示非道路区域;
(3)网络训练单元,用于在车辆运动过程中每隔2s对神经网络进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610514357.0A CN106203311A (zh) | 2016-07-01 | 2016-07-01 | 一种能够自主导航清洁车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610514357.0A CN106203311A (zh) | 2016-07-01 | 2016-07-01 | 一种能够自主导航清洁车 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106203311A true CN106203311A (zh) | 2016-12-07 |
Family
ID=57464366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610514357.0A Pending CN106203311A (zh) | 2016-07-01 | 2016-07-01 | 一种能够自主导航清洁车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106203311A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104674736A (zh) * | 2013-11-28 | 2015-06-03 | 长沙中联重科环卫机械有限公司 | 道路清洁车辆 |
CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
-
2016
- 2016-07-01 CN CN201610514357.0A patent/CN106203311A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104674736A (zh) * | 2013-11-28 | 2015-06-03 | 长沙中联重科环卫机械有限公司 | 道路清洁车辆 |
CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
Non-Patent Citations (1)
Title |
---|
张国权: "基于视觉导航的智能车辆目标检测关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097044B (zh) | 基于深度学习的一阶段车牌检测识别方法 | |
CN104881955B (zh) | 一种驾驶员疲劳驾驶检测方法及*** | |
CN105844257B (zh) | 基于机器视觉雾天行车错失道路标志牌的预警***及方法 | |
US20200089972A1 (en) | Automobile head-up display system and obstacle prompting method thereof | |
CN102043945B (zh) | 基于车辆实时跟踪和二进指数分类车牌字符识别的方法 | |
CN105005771B (zh) | 一种基于光流点轨迹统计的车道线实线的检测方法 | |
CN100361138C (zh) | 视频序列中人脸的实时检测与持续跟踪的方法及*** | |
CN109598891B (zh) | 一种利用深度学习分类模型实现烟雾检测的方法和*** | |
CN105930800A (zh) | 一种车道线检测方法及装置 | |
CN105931295A (zh) | 一种地质图专题信息提取方法 | |
CN106686280A (zh) | 影像修补***及其方法 | |
CN106127177A (zh) | 一种无人驾驶压路机 | |
CN103400122A (zh) | 一种活体人脸的快速识别方法 | |
CN103824081A (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
CN101447023B (zh) | 人头检测方法和*** | |
CN110188606A (zh) | 基于高光谱成像的车道识别方法、装置及电子设备 | |
CN106910187A (zh) | 一种用于桥梁裂缝检测的图像数据集人工扩增方法 | |
CN109886175A (zh) | 一种直线与圆弧相结合的车道线检测方法 | |
CN106407951A (zh) | 一种基于单目视觉的夜间前方车辆检测方法 | |
CN109784296A (zh) | 客车乘客数量统计方法、装置及计算机可读存储介质 | |
CN102142090B (zh) | 车辆检测方法和*** | |
CN106919939A (zh) | 一种交通标识牌跟踪识别方法及*** | |
CN106169068A (zh) | 一种能够自主导航轮式机器人移动车 | |
CN103661102A (zh) | 一种实时提示车辆周边路人的方法及装置 | |
CN106203310A (zh) | 一种无人驾驶货车 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161207 |