CN113554646A - 基于计算机视觉的智慧城市道路路面检测方法及*** - Google Patents
基于计算机视觉的智慧城市道路路面检测方法及*** Download PDFInfo
- Publication number
- CN113554646A CN113554646A CN202111093287.3A CN202111093287A CN113554646A CN 113554646 A CN113554646 A CN 113554646A CN 202111093287 A CN202111093287 A CN 202111093287A CN 113554646 A CN113554646 A CN 113554646A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- matching
- image
- reference image
- next pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000003708 edge detection Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 51
- 230000008859 change Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及道路路面检测领域,具体涉及一种基于计算机视觉的智慧城市道路路面检测方法及***。获取待检测路面区域的基准图像和对比图像,并对其进行预处理;对基准图像进行边缘检测,得到基准图像的各个边缘区域;基于基准图像的各个边缘区域,对基准图像和对比图像的像素点进行匹配,根据像素点的匹配结果可以确定待检测路面的平整度情况。本发明实现了对道路路面平整度的实时检测,提高了道路检测的准确性,同时也缩短了道路路面检测所使用的时间。
Description
技术领域
本申请涉及道路路面检测领域,具体涉及一种基于计算机视觉的智慧城市道路路面检测方法及***。
背景技术
随着社会的快速发展,城市中的车辆也随之增多,但是道路安全也逐渐成为一个值得关注的问题。其中,道路的平整度对车辆行驶的影响比较严重,特别是在夜晚期间,汽车在不平整的道路上面行驶时,会对驾驶员带来极大的困扰,甚至会导致交通事故的发生。目前,大多数小城市道路存在凹凸不平整的现象,这样就会导致车辆在行驶过程中出现颠簸等现象,严重时会对车辆底盘、保险杠等造成损害,浪费大量的时间和钱财。
目前对于道路检测通常为人为检测或是传感器检测,其局限性较大且准确度低,人为检测会浪费大量的人力物力,容易出现误检、漏检等现象,实时性低;传感器等硬件设备成本较高,且外界环境较为复杂,传感器等硬件设备在外界环境的影响下极易出现故障,导致检测不及时或者检测结果不准确等情况。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于计算机视觉的智慧城市道路路面检测方法及***,所采用的技术方案具体如下:
本发明提供了一种基于计算机视觉的智慧城市道路路面检测方法,具体步骤如下:
图像获取步骤:获取待检测路面区域的双目图像,将双目图像中的其中一个图像作为基准图像,将另外一个图像作为对比图像;
图像边缘检测步骤:对基准图像进行边缘检测,得到各个边缘区域;
像素点匹配步骤:获取基准图像中的当前像素点以及该当前像素点与其在对比图像中的匹配像素点之间的视差值;
判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;
根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配像素点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;
根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;
计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点;
路面检测步骤:计算基准图像中任意一个像素点与其在对比图像中的匹配像素点之间的视差值,根据基准图像中所有像素点对应的视差值,确定待检测路面区域的路面平整情况。
进一步的,根据判断结果来确定下一个像素点对应的视差梯度范围的步骤包括:
进一步的,确定下一个像素点在对比图像中的匹配搜索范围的步骤包括:
进一步的,根据判断结果来确定下一个像素点对应的匹配滑动窗口大小的步骤包括:
当基准图像中的当前像素点的下一个像素点位于任意一个边缘区域内时,则减小下一个像素点对应的原始匹配滑动窗口的大小;
当基准图像中的当前像素点的下一个像素点不位于任意一个边缘区域内时,则增加下一个像素点对应的原始匹配滑动窗口的大小。
进一步的,根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点的步骤如下:
按照下一个像素点对应的匹配滑动窗口大小,将匹配滑动窗口在下一个像素点在对比图像中的匹配搜索范围进行滑动,在匹配滑动窗口的滑动过程中,将基准图像中的当前像素点的下一个像素点与匹配滑动窗口内的各个像素点进行匹配,从而在对比图像中找到初拟的各个像素点;
将基准图像中的当前像素点的下一个像素点以及对比图像中初拟的一个像素点分别作为两个匹配滑动窗口的中心,将两个匹配滑动窗口的其他像素点进行一一对应匹配,根据匹配结果,从初拟的各个像素点中筛选出最佳的匹配像素点,并将该最佳的匹配像素点作为基准图像中的当前像素点的下一个像素点的匹配像素点。
进一步的,根据基准图像中所有像素点对应的视差值,确定该待检测路面区域的路面平整情况的步骤包括:
计算出基准图像中所有像素点对应的视差值的方差,并进行归一化处理,并将归一化处理后得到的方差作为最终的方差;
当最终的方差小于第一方差阈值时,则判定待检测路面为第一平整度等级;
当最终的方差大于等于第一方差阈值且小于等于第二方差阈值时,则判定待检测路面为第二平整度等级;
当最终的方差大于第二方差阈值时,则判定待检测路面为第三平整度等级,第一平整度等级、第二平整度等级、第三平整度等级所对应的路面平整度依次降低。
进一步的,所述图像获取步骤还包括对基准图像和对比图像进行预处理,该预处理过程包括:
对基准图像和对比图像分别进行去噪处理,并对去噪处理后的基准图像和对比图像分别进行锐化处理;
采用金字塔逐层滤波的方式,分别对锐化处理后的基准图像和对比图像进行滤波处理以降低图像的分辨率。
本发明还提供了一种基于计算机视觉的智慧城市道路路面检测***,包括:
图像获取模块,用于:获取待检测路面区域的双目图像,将双目图像中的其中一个图像作为基准图像,将另外一个图像作为对比图像;
图像边缘检测模块,用于:对基准图像进行边缘检测,得到各个边缘区域;
像素点匹配模块,用于,获取基准图像中的当前像素点以及该当前像素点与其在对比图像中的匹配点之间的视差值;
判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;
根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;
根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;
计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配模块中的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点;
路面检测模块,用于,计算基准图像中任意一个像素点与其在对比图像中的匹配像素点之间的视差值,根据基准图像中所有像素点对应的视差值,确定待检测路面区域的路面平整情况。
进一步的,根据判断结果来确定下一个像素点对应的视差梯度范围的步骤包括:
进一步的,确定下一个像素点在对比图像中的匹配搜索范围的步骤包括:
本发明具有如下有益效果:通过判断待匹配像素点即下一个像素点是否位于基准图像中的边缘区域内,并根据判断结果来确定合适的匹配滑动窗口大小以及视差梯度范围,并根据该视差梯度范围来确定下一个像素点在对比图像中的匹配搜索范围,最后根据匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,从而在对比图像中找到待匹配像素点的匹配像素点。由于本发明可以根据待匹配像素点的位置情况,来确定尺寸合适的匹配滑动窗口大小以及合理的匹配搜索范围,能够在保证找到该待匹配像素点的匹配像素点的同时,有效减小了匹配计算量,提高像素点匹配的准确度和快速性,避免对无关匹配像素点的检测分析,提高***检测的整体进度,缩短了检测耗费的时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的一种基于计算机视觉的智慧城市道路路面检测方法的流程图;
图2为本发明的一种基于计算机视觉的智慧城市道路路面检测方法及***的实施例的对极线图;
图3为本发明的一种基于计算机视觉的智慧城市道路路面检测方法及***的像素点匹配模块的详细匹配步骤;
其中,01为三维空间点;02为双目图像中的其中一个图像;03为待匹配像素点的匹配搜索范围;04为待测道路一侧的摄像头;05为双目图像中的另一个图像;06为待匹配像素点的匹配搜索范围;07为待测道路另一侧的摄像头;08为对极平面。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种结构件生产信息视觉测量方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图,具体的说明本发明所提供的一种基于计算机视觉的智慧城市道路路面检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例所提供的一种基于计算机视觉的智慧城市道路路面检测方法步骤的流程图,该方法包括以下步骤:
在道路旁安装数个摄像头以获取待检测道路路面的双目图像,并将双目图像中的其中一个图像作为基准图像,则另一个图像作为对比图像。道路摄像头的布置根据实际需求自行设定,但是需要保证双目图像是基于不同视角下的摄像头进行采集获取,并且采集到的图像是针对道路上同一路面区域的,也就是说待检测的同一路面区域需要同时出现在双目图像中。在本实施例中,为了获取双目图像,在道路的一侧等间隔设置多个摄像头,同时在每个摄像头的道路的正对面,相应的也设置一个摄像头。为了获取整个道路的所有路面区域的双目图像,道路一侧的多个摄像头的间隔不能够太大,需要使等间隔的相邻摄像头的拍摄会存在重合区域。
图像获取步骤还包括对基准图像和对比图像进行预处理,该预处理过程包括内容如下:首先,对图像进行去噪和锐化处理,消除在图像采集过程中外界噪声以及光照的影响,同时也可以增强图像边缘的纹理信息,便于后续排除掉在图像匹配过程中匹配效果差的区域。在本实施例中,图像去噪的处理方法采用的是中值滤波去噪算法,图像锐化的处理方法采用的是拉普拉斯锐化算子。当然,作为其他的实施例,图像去噪算法也可以采用高斯滤波算法、均值滤波算法等,图像锐化处理算法也可以采用索贝尔算子、梯度锐化、微分锐化算法等。需要说明的是,图像的去噪、锐化的处理方法以及算法的实现过程都为现有技术,不在本发明保护范围内,此处不再做相关阐述。
然后,为了突出图像匹配时的图像纹理信息,减小匹配过程中的搜索范围,提高检索速度,对去噪和锐化后的原图像进行低分辩处理。对去噪和锐化后的原图像采用金字塔逐层滤波的处理方式,原图像需逐层进行滤波,达到逐层降低原图像分辨率的目的,最终获取多层滤波之后的低分辨率图像。在此说明,选取多少滤波层数,可根据摄像头采集图像的质量自行设置,本实施例将滤波层数设置为3层。图像低分辩处理方法有很多,本实施例采用金字塔逐层滤波的方式时,其中的滤波算法采用高斯滤波算法。金字塔逐层滤波以及高斯滤波算法为现有技术,不在本发明保护范围内,此处不再做相关阐述。
步骤:图像边缘检测步骤,对基准图像进行边缘检测,得到各个边缘区域。对于边缘区域的提取,本发明采用了Sobel算子进行图像边缘的提取,获取基准图像中所有的边缘区域。Sobel算子边缘算法为公知技术,不在本发明保护范围内,此处不再进行阐述。
步骤:像素点匹配步骤,获取基准图像中的当前像素点以及该当前像素点与其在对比图像中的匹配像素点之间的视差值;判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配像素点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点。
如图3所示,该像素点匹配步骤的具体步骤流程如下:
步骤:首先,通过图像标记的方式,获取基准图像中的初始像素点以及该初始像素点在对比图像中的匹配像素点的位置,并根据该初始像素点在基准图像中的位置以及在对比图像中的匹配像素点的位置,从而得到该初始像素点与其在对比图像中的匹配像素点之间的视差值。为了便于后续描述,这里将基准图像中的该初始像素点称为当前像素点。
在路面图像像素点匹配的过程中,单个像素点的匹配会受到光照变化以及视角变化的影响,其鲁棒性较差,为了提高道路图像像素点的匹配精度,本实施例将采用滑动窗口的方式进行匹配。当采用固定窗口进行滑窗匹配时,将会出现大量错误的匹配结果,进一步导致路面平整度的误判,故本实施例路面图像像素点的匹配采用滑动窗口的匹配方式。
像素点位于基准图像的不同区域,像素点的视差变化会有所不同。像素点在图像的边缘区域时,视差变化较大,边界清晰;像素点在图像的非边缘区域时,视差变化较为平缓。根据像素点视差变化情况,动态地调整滑动窗口大小。对于图像中视差变化较大的边缘区域,应选取尺寸较小的滑动窗口,使边缘区域的细节更加丰富;对于图像中视差变化平缓的图像区域,选取尺寸较大的滑动窗口,增加窗口内部所包含图像的纹理特征。
当基准图像中的当前像素点的下一个像素点位于边缘区域内时,则减小下一个像素点对应的原始匹配滑动窗口的大小;
当基准图像中的当前像素点的下一个像素点位于非边缘区域内时,则增加下一个像素点对应的原始匹配滑动窗口的大小。
本实施例构建了视差梯度分析模型,用于检测图像中的当前像素点的下一个像素点的视差梯度。根据所得的视差梯度范围对匹配像素点的搜索范围进行分析,减少检测量,则视差梯度范围的确定过程如下所示:
首先,确定像素点在双目图像中对极线的位置。在图像像素点的匹配过程中,三维空间中的一个像素点在两个摄像头采集图像中的投影点一定处于对极线上,因此,可基于此在对极线上确定一个固定的最大匹配搜索范围。对极线是指对极平面与图纸平面的交线,对极平面是指一张包含基线的平面,基线是指两个摄像头的光点的连线。
为方便理解对极线,附图2所示,01为三维空间中的一个像素点,在由07摄像头和04摄像头形成的双目图像05和02中的投影点一定处于对极线上,所以待匹配像素点的匹配搜素范围可以为06和03。
然后,基于对极线的位置区域,确定下一个像素点在对比图像中的搜素范围。由于像素点之间的视差变化是相互关联的,所以在匹配搜索过程中不需要对最大的匹配搜索范围进行完全搜索、逐点匹配分析。基于当前像素点的下一个像素点的视差梯度范围、当前像素点的视差值以及基准图像中的当前像素点,确定当前像素点的下一个像素点的匹配搜索范围。根据步骤的视差梯度模型及,则搜索范围预测模型表示为:
根据在基准图像中的当前像素点,当前像素点的下一个像素点的视差梯度的取值范围,当前像素点的下一个像素点的所处的位置区域的判定以及当前像素点的下一个像素点的视差梯度,确定下一个像素点在对比图像中的匹配搜索范围,具体内容包括:
步骤33:根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点,具体的步骤如下:
首先,根据下一个像素点在对比图像中的匹配滑动窗口的大小,将匹配滑动窗口在下一个像素点的对比图像中的匹配搜索范围内进行滑动。在匹配滑动窗口滑动过程中,将基准图像中的当前像素点的下一个像素点与匹配滑动窗口上的各个像素点进行匹配。
然后,根据下一个像素点与匹配滑动窗口的各个像素点的匹配相似度进行筛选,确定匹配相似度合适的各个像素点,将各个像素点作为初拟的像素点。在匹配过程中,本实施例是采用距离测量匹配法作为检测匹配相似度的判断方法,即将下一个像素点与匹配滑动窗口上的各个像素点之间的灰度差值的绝对值的大小作为距离进行判断,距离不超过设置的相似度阈值的各个像素点为初拟的像素点。
当然,作为其他实施例也可以采用:归一化相关系数匹配法、距离测量方法、相关系数匹配法、平方差匹配法等。相似度度量的方法为公知技术,不在本发明保护的范围内,此处不再做相关阐述。
最后,将基准图像中的下一个像素点以及对比图像中初拟的像素点的其中一个像素点分别作为两个匹配滑动窗口的中心,将不包括两个匹配滑动窗口的中心像素点的其他像素点一一相应的进行匹配。
不断重复上述其他像素点的匹配步骤,从初拟的像素点中筛选出最佳的像素点,该最佳的像素点是指,以该最佳的像素点作为一个匹配滑动窗口的中心时,该匹配滑动窗口中的所有的像素点与以基准图像中的下一个像素点为中心的匹配滑动窗口中的所有像素点均一一对应,且每一对一一对应的像素点的匹配相似度均大于相似度阈值。该最佳的像素点即为基准图像中的下一个像素点在对比图像中的最佳匹配像素点。
根据基准图像中的下一个像素点的最佳匹配像素点,计算出基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值。然后,根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配模块的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值。最后确定基准图像中任意一个像素点在对比图像中匹配像素点,以及待检测道路路面的整数视差图像。
上述步骤3实际上是根据基准图像中的某个像素点在对比图像中的匹配像素点以及基准图像中的该像素点与其在对比图像之间的视差值,基于一种迭代方式,重复像素点匹配模块的步骤,得到基准图像中某个像素点的下一个像素点在对比图像中的匹配像素点以及基准图像中某个像素点的下一个像素点对应的视差值。由此,确定基准图像中任意一个像素点在对比图像中的匹配像素点与视差值。
第一平整度等级、第二平整度等级、第三平整度是根据具体的路面平整度信息而设置的阈值,并且每一个等级所对应的路面平整度依次降低。当检测到道路路面的平整度等级较高时,***将及时地对驾车司机或城市道路管理人员做出相应的告警提示,进行躲避或尽快对道路进行检修,防止因路面的不平整而造成交通事故现象。
本实施例还提供了一种基于计算机视觉的智慧城市道路路面检测***,包括:
图像获取模块,用于:获取待检测路面区域的双目图像,将双目图像中的其中一个图像作为基准图像,将另外一个图像作为对比图像;
图像边缘检测模块,用于:对基准图像进行边缘检测,得到各个边缘区域;
像素点匹配模块,用于,获取基准图像中的初始像素点以及该初始像素点与其在对比图像中的匹配点之间的视差值;
判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;
根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;
根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;
计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配模块中的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点;
路面检测模块,用于,计算基准图像中任意一个像素点与其在对比图像中的匹配像素点之间的视差值,根据基准图像中所有像素点对应的视差值,确定待检测路面区域的路面平整情况。
该***中的各个模块相互配合,其目的是实现一种基于计算机视觉的智慧城市道路路面检测方法,由于该方法已经在上述内容中进行了详细介绍,此处不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于计算机视觉的智慧城市道路路面检测方法,其特征在于,具体步骤如下:
图像获取步骤:获取待检测路面区域的双目图像,将双目图像中的其中一个图像作为基准图像,将另外一个图像作为对比图像;
图像边缘检测步骤:对基准图像进行边缘检测,得到各个边缘区域;
像素点匹配步骤:获取基准图像中的当前像素点以及该当前像素点与其在对比图像中的匹配像素点之间的视差值;
判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;
根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配像素点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;
根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;
计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点;
路面检测步骤:计算基准图像中任意一个像素点与其在对比图像中的匹配像素点之间的视差值,根据基准图像中所有像素点对应的视差值,确定待检测路面区域的路面平整情况。
4.根据权利要求1-3中任一项所述的基于计算机视觉的智慧城市道路路面检测方法,其特征在于,根据判断结果来确定下一个像素点对应的匹配滑动窗口大小的步骤包括:
当基准图像中的当前像素点的下一个像素点位于任意一个边缘区域内时,则减小下一个像素点对应的原始匹配滑动窗口的大小;
当基准图像中的当前像素点的下一个像素点不位于任意一个边缘区域内时,则增加下一个像素点对应的原始匹配滑动窗口的大小。
5.根据权利要求4所述的基于计算机视觉的智慧城市道路路面检测方法,其特征在于,根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点的步骤如下:
按照下一个像素点对应的匹配滑动窗口大小,将匹配滑动窗口在下一个像素点的对比图像中的匹配搜索范围内进行滑动,在匹配滑动窗口的滑动过程中,将基准图像中的当前像素点的下一个像素点与匹配滑动窗口内的各个像素点进行匹配,从而在对比图像中找到初拟的各个像素点;
将基准图像中的当前像素点的下一个像素点以及对比图像中初拟的一个像素点分别作为两个匹配滑动窗口的中心,将两个匹配滑动窗口的其他像素点进行一一对应匹配,根据匹配结果,从初拟的各个像素点中筛选出最佳的匹配像素点,并将该最佳的匹配像素点作为基准图像中的当前像素点的下一个像素点的匹配像素点。
6.根据权利要求1-3中任一项所述的基于计算机视觉的智慧城市道路路面检测方法,其特征在于,根据基准图像中所有像素点对应的视差值,确定该待检测路面区域的路面平整情况的步骤包括:
计算出基准图像中所有像素点对应的视差值的方差,并进行归一化处理,并将归一化处理后得到的方差作为最终的方差;
当最终的方差小于第一方差阈值时,则判定待检测路面为第一平整度等级;
当最终的方差大于等于第一方差阈值且小于等于第二方差阈值时,则判定待检测路面为第二平整度等级;
当最终的方差大于第二方差阈值时,则判定待检测路面为第三平整度等级,第一平整度等级、第二平整度等级、第三平整度等级所对应的路面平整度依次降低。
7.根据权利要求1-3中任一项所述的基于计算机视觉的智慧城市道路路面检测方法,其特征在于,所述图像获取步骤还包括对基准图像和对比图像进行预处理,该预处理过程包括:
对基准图像和对比图像分别进行去噪处理,并对去噪处理后的基准图像和对比图像分别进行锐化处理;
采用金字塔逐层滤波的方式,分别对锐化处理后的基准图像和对比图像进行滤波处理以降低图像的分辨率。
8.一种基于计算机视觉的智慧城市道路路面检测***,其特征在于,包括:
图像获取模块,用于:获取待检测路面区域的双目图像,将双目图像中的其中一个图像作为基准图像,将另外一个图像作为对比图像;
图像边缘检测模块,用于:对基准图像进行边缘检测,得到各个边缘区域;
像素点匹配模块,用于,获取基准图像中的初始像素点以及该初始像素点与其在对比图像中的匹配点之间的视差值;
判断基准图像中的当前像素点的下一个像素点是否位于任意一个边缘区域内,并根据判断结果来确定下一个像素点对应的匹配滑动窗口大小以及视差梯度范围;
根据基准图像中的当前像素点、该当前像素点在对比图像中的匹配点之间的视差值、下一个像素点对应的视差梯度范围,确定下一个像素点在对比图像中的匹配搜索范围;
根据下一个像素点对应的匹配滑动窗口大小以及下一个像素点在对比图像中的匹配搜索范围,在对比图像中匹配出该下一个像素点对应的匹配像素点;
计算基准图像中的下一个像素点与其在对比图像中的匹配像素点之间的视差值,并根据基准图像中的下一个像素点以及该下一个像素点与其在对比图像中的匹配像素点之间的视差值,重复上述像素点匹配模块中的步骤,得到基准图像中的下下一个像素点在对比图像中的匹配像素点以及基准图像中的下下一个像素点与其在对比图像中的匹配像素点之间的视差值,进而得到基准图像中任意一个像素点在对比图像中的匹配像素点;
路面检测模块,用于,计算基准图像中任意一个像素点与其在对比图像中的匹配像素点之间的视差值,根据基准图像中所有像素点对应的视差值,确定待检测路面区域的路面平整情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111093287.3A CN113554646B (zh) | 2021-09-17 | 2021-09-17 | 基于计算机视觉的智慧城市道路路面检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111093287.3A CN113554646B (zh) | 2021-09-17 | 2021-09-17 | 基于计算机视觉的智慧城市道路路面检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554646A true CN113554646A (zh) | 2021-10-26 |
CN113554646B CN113554646B (zh) | 2021-12-10 |
Family
ID=78134648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111093287.3A Active CN113554646B (zh) | 2021-09-17 | 2021-09-17 | 基于计算机视觉的智慧城市道路路面检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554646B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821512A (zh) * | 2022-06-22 | 2022-07-29 | 托伦斯半导体设备启东有限公司 | 一种基于计算机视觉的工作路面异常检测及路径优化方法 |
CN114913477A (zh) * | 2022-05-06 | 2022-08-16 | 广州市城市规划勘测设计研究院 | 城市管线防挖掘预警方法、装置、设备及介质 |
CN116010642A (zh) * | 2023-03-27 | 2023-04-25 | 北京滴普科技有限公司 | 一种基于hog特征的***快速查询方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
CN106228138A (zh) * | 2016-07-26 | 2016-12-14 | 国网重庆市电力公司电力科学研究院 | 一种融合区域和边缘信息的道路检测算法 |
CN106446785A (zh) * | 2016-08-30 | 2017-02-22 | 电子科技大学 | 基于双目视觉的可行道路检测方法 |
CN108197590A (zh) * | 2018-01-22 | 2018-06-22 | 海信集团有限公司 | 一种路面检测方法、装置、终端及存储介质 |
CN109522833A (zh) * | 2018-11-06 | 2019-03-26 | 深圳市爱培科技术股份有限公司 | 一种用于道路检测的双目视觉立体匹配方法及*** |
CN109753858A (zh) * | 2017-11-07 | 2019-05-14 | 北京中科慧眼科技有限公司 | 一种基于双目视觉的道路障碍物检测方法与装置 |
CN111243003A (zh) * | 2018-11-12 | 2020-06-05 | 海信集团有限公司 | 车载双目摄像机及其检测道路限高杆的方法、装置 |
-
2021
- 2021-09-17 CN CN202111093287.3A patent/CN113554646B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
CN106228138A (zh) * | 2016-07-26 | 2016-12-14 | 国网重庆市电力公司电力科学研究院 | 一种融合区域和边缘信息的道路检测算法 |
CN106446785A (zh) * | 2016-08-30 | 2017-02-22 | 电子科技大学 | 基于双目视觉的可行道路检测方法 |
CN109753858A (zh) * | 2017-11-07 | 2019-05-14 | 北京中科慧眼科技有限公司 | 一种基于双目视觉的道路障碍物检测方法与装置 |
CN108197590A (zh) * | 2018-01-22 | 2018-06-22 | 海信集团有限公司 | 一种路面检测方法、装置、终端及存储介质 |
CN109522833A (zh) * | 2018-11-06 | 2019-03-26 | 深圳市爱培科技术股份有限公司 | 一种用于道路检测的双目视觉立体匹配方法及*** |
CN111243003A (zh) * | 2018-11-12 | 2020-06-05 | 海信集团有限公司 | 车载双目摄像机及其检测道路限高杆的方法、装置 |
Non-Patent Citations (2)
Title |
---|
2 XIANG Y 等: "Data-Driven 3D Voxel Patterns for Object Category Recognition", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
白辰甲: "基于计算机视觉和深度学习的自动驾驶方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913477A (zh) * | 2022-05-06 | 2022-08-16 | 广州市城市规划勘测设计研究院 | 城市管线防挖掘预警方法、装置、设备及介质 |
CN114821512A (zh) * | 2022-06-22 | 2022-07-29 | 托伦斯半导体设备启东有限公司 | 一种基于计算机视觉的工作路面异常检测及路径优化方法 |
CN116010642A (zh) * | 2023-03-27 | 2023-04-25 | 北京滴普科技有限公司 | 一种基于hog特征的***快速查询方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113554646B (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113554646B (zh) | 基于计算机视觉的智慧城市道路路面检测方法及*** | |
CN107330376B (zh) | 一种车道线识别方法及*** | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
US11989951B2 (en) | Parking detection method, system, processing device and storage medium | |
CN105488454B (zh) | 基于单目视觉的前方车辆检测与测距 | |
CN107462223B (zh) | 一种公路转弯前行车视距自动测量装置及测量方法 | |
CN104916163B (zh) | 泊车位检测方法 | |
CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
CN106778551B (zh) | 一种高速路段及城市道路车道线识别方法 | |
CN112991369B (zh) | 基于双目视觉的行驶车辆外廓尺寸检测方法 | |
CN108399403B (zh) | 一种基于车牌尺寸计算的车距检测方法 | |
CN104236478A (zh) | 一种基于视觉的车辆外廓尺寸自动测量***及方法 | |
CN108645375B (zh) | 一种用于车载双目***快速车辆测距优化方法 | |
CN104574393A (zh) | 一种三维路面裂缝图像生成***和方法 | |
CN107832674B (zh) | 一种车道线检测方法 | |
CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控*** | |
CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN112149493B (zh) | 基于双目立体视觉的道路高程测量方法 | |
CN114758322B (zh) | 基于机器识别的道路质量检测*** | |
WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
CN116358449A (zh) | 一种基于双目面结构光的飞机铆钉凹凸量测量方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 226000 room 104, building 19, chengjiayuan, Qinghe Road, high tech Zone, Nantong City, Jiangsu Province Patentee after: Zhengjin Decoration Group Co.,Ltd. Country or region after: China Address before: 226000 room 104, building 19, chengjiayuan, Qinghe Road, high tech Zone, Nantong City, Jiangsu Province Patentee before: Jiangsu Zhengjin Architectural Decoration Engineering Co.,Ltd. Country or region before: China |
|
CP03 | Change of name, title or address |