CN104331878A - 基于机器视觉的道路跟踪方法 - Google Patents

基于机器视觉的道路跟踪方法 Download PDF

Info

Publication number
CN104331878A
CN104331878A CN201410538370.0A CN201410538370A CN104331878A CN 104331878 A CN104331878 A CN 104331878A CN 201410538370 A CN201410538370 A CN 201410538370A CN 104331878 A CN104331878 A CN 104331878A
Authority
CN
China
Prior art keywords
road
active contour
model
contour model
parallel active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410538370.0A
Other languages
English (en)
Inventor
李向阳
方向忠
王慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201410538370.0A priority Critical patent/CN104331878A/zh
Publication of CN104331878A publication Critical patent/CN104331878A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器视觉的道路跟踪方法，包括如下步骤：S1：获取图像；S2：使用逆透视映射恢复道路结构信息；S3：使用卡尔曼滤波器对道路模型参数进行预测；S4：在参数预测基础上，使用平行主动轮廓模型对道路边界进行检测；S5：使用卡尔曼滤波器对检测结果进行优。本发明即可用于结构化道路的边界检测也可以用于非结构化道路的边界检测。由于基于平行性约束的平行主动轮廓模型的引入，可以提高在存在遮挡或者道路破损等道路场景中道路检测的准确率。通过对视频序列t上的道路模型使用马尔科夫链进行建模，通过卡尔曼滤波器对道路的参数进行预测，并且使用卡尔曼滤波器对道路检测误差进行建模，从而可以提高道路跟踪的鲁棒性。

Description

基于机器视觉的道路跟踪方法
技术领域
本发明涉及图像模式识别领域，特别涉及一种基于机器视觉的道路跟踪方法。该方法使用平行主动轮廓模型进行道路检测，并使用卡尔曼滤波器对道路进行跟踪。
背景技术
基于机器视觉的道路跟踪是通过计算机视觉技术对含有道路场景的视频序列中道路区域进行跟踪。这些图像序列通常是通过安装在移动车辆上的摄像机获取。道路跟踪在智能交通、车辆安全辅助驾驶以及无人驾驶汽车等领域都具有重要的作用。
实际的道路可以分为结构化道路和非结构化道路。结构化道路是指那些具有完整道路边界标示线的高速公路或者普通公路。这些标示线可以简化道路的检测方法，并且使检测方法具有较高的检出度和准确率。而非机构化道路是指那些不具有道路标示线的普通公路和乡村道路。这类道路没有清晰的道路边界线，不利于检测方法的设计。但是在边界周围也存在明显的颜色或者纹理变化，这些信息为使用道路跟踪方法进行正确检测带来了可能。
道路跟踪方法利用道路视频序列中道路特征在前后相邻帧之间的相关性进行道路跟踪。道路跟踪方法可以提高道路检测的准确性，并且可以减少道路检测方法的时间消耗。道路跟踪属于物体跟踪的一个特例。基于视觉的物体跟踪方法是主要是选取不同的图像特征和似然函数，从而在前一帧的基础上搜寻下一帧中与其最相关的区域从而完成物体的跟踪。该方法常用的代表有：均值漂移方法、粒子滤波器等；该方法的基本流程如图2所示：1)获取视频图像；2)计算兴趣区域的图像特征；3)计算目标区域的图像特征；4)从目标区域中选取与兴趣区域相似度最高的目标作为跟踪结果；5)输出结果。
该类方法通过选取合适的图像特征及其对应的似然函数可以得到良好的跟踪结果，但是该类方法没有考虑检测结果在时间t上的分布以及检测噪声的分布，所以对噪声的抑制力比较差。而且传统的基于卡尔曼滤波器的道路跟踪方法，往往采用块检测等简单的方法，该类方法没有使用道路的结构信息，只是对道路的区域大小进行建模，因而不具有良好的鲁棒性。
其主要表现在：1)如果一帧中如果出现检测错误，则该错误会对后续帧的检测结果产生影响。2)不能对下一帧的目标出现的区域进行预测，用于提高检测效率。3)使用简单的道路检测方法，没有统一的道路模型，所以容易受噪声以及阴影的因素的影响，从而方法的鲁棒性较差。
发明内容
本发明针对现有技术存在的以上缺陷，提出了一种基于平行主动轮廓模型和卡尔曼滤波器的道路跟踪方法。该方法通过马尔科夫链对道路视频序列中的道路在时间t上的分布进行建模，通过平行主动轮廓模型来对每一帧中的道路进行建模，并且使用卡尔曼滤波器对道路模型的参数以及检测噪声进行建模，从而用于参数的预测和噪声的抑制。
根据本发明提供的一种基于机器视觉的道路跟踪方法，包括如下步骤：
步骤S1：通过成像设备获取道路场景图像；
步骤S2：使用逆透视映射恢复道路的结构信息；
步骤S3：使用卡尔曼滤波器对道路模型参数进行预测；
步骤S4：根据步骤S3得到的预测结果，使用平行主动轮廓模型对道路进行检测，得到检测结果；其中，所述平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型，该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线；
步骤S5：使用卡尔曼滤波器对检测结果进行优化；
步骤S6：输出道路跟踪结果。
优选地，在步骤S2中使用逆透视映射恢复道路左右边界的平行性结构。
优选地，在步骤S4中使用平行主动轮廓模型对道路进行检测，包含以下几个步骤：
步骤S41：初始化道路模型参数；
步骤S42：在步骤S2中获取的包含道路结构信息的图像Ipers中，分别计算(x,y)分量上的梯度场(Gx,Gy)，作为平行主动轮廓模型的外部能量函数；其中，x表示X轴方向，y表示Y轴方向，Gx表示x方向上的梯度场，Gy表示Y方向上的梯度场；
步骤S43：据步骤S42中的初始化得到的平行主动轮廓模型，计算利用该平行主动轮廓模型像素位置的一阶和二阶导数作为该平行主动轮廓模型的内部能量函数；其中，非循环矩阵被用于产生开环平行主动轮廓模型；
步骤S44：根据步骤S42得到的外部能量函数和步骤S43得到的内部能量函数，计算平行主动轮廓模型的移动矢量；
步骤S45：根据移动矢量计算平行主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合；
步骤S46：判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值k,则从步骤S41重新开始迭代过程，若相似度大于等于阈值，则结束迭代过程。其中k以像素为单位,通过实验获得，一般取值为10。
优选地，在步骤S43中，所述非循环矩阵被用于产生开环平行主动轮廓模型，具体为：
使用非循环矩阵用于移除传统主动轮廓模型中头尾的约束，从而生成开环的平行主动轮廓模型。
优选地，所述开环的平行主动轮廓模型使用平行性信息进行约束。
优选地，所述步骤S5，具体为：
使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
优选地，所述逆透视映射是齐次空间中不同投影平面之间线性变换。
优选地，其中，所述图像Ipers是俯视角为90度时获得道路平面的视角图像，该90度视角保持道路左右边界的平行性属性。
优选地，所述步骤S41具体为：使用拉伸力初始化道路模型参数；所述拉伸力是通过计算开环平行主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
与现有技术相比，本发明具有如下的有益效果：
本发明通过对视频序列中时间t上的道路分布使用马尔科夫链进行建模，使用平行主动轮廓模型每一帧中的道路进行检测，并使用卡尔曼滤波器对检测噪声进行建模。卡尔曼滤波器被用来对平行主动轮廓模型的参数进行预测，并且对检测结果进行优化，从而完成道路跟踪。卡尔曼滤波器对平行主动轮廓模型的检测噪声进行建模，可以抑制检测噪声，提高检测的准确性。平行主动轮廓模型采用具有平行性约束的开环主动轮廓模型用于道路左右边界的检测。由于平行性约束的引入，可以提高在存在遮挡或者道路破损等道路场景中道路检测的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于平行主动轮廓模型的道路跟踪方法流程图；
图2为基于视觉的道路跟踪方法流程图；
图3为基于平行主动轮廓模型的道路检测方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明即可用于结构化道路的边界检测也可以用于非结构化道路的边界检测。由于基于平行性约束的平行主动轮廓模型的引入，可以提高在存在遮挡或者道路破损等道路场景中道路检测的准确率。通过对视频序列t上的道路模型使用马尔科夫链进行建模，通过卡尔曼滤波器对道路的参数进行预测，并且使用卡尔曼滤波器对道路检测误差进行建模，从而可以提高道路跟踪的鲁棒性。
本发明实施方法所提供的道路跟踪方法流程图如图1所示，包括如下步骤：
步骤S1：通过摄像机获取道路场景图像序列；
步骤S2：使用逆透视映射恢复道路的结构信息；
步骤S3：使用卡尔曼滤波器对道路模型参数进行预测；
步骤S4：使用平行主动轮廓模型对道路进行检测；
步骤S5：使用卡尔曼滤波器对检测结果进行优化。
S6：输出结果。
其中，所述的步骤S1是指通过成像设备完成道路场景视频序列的采集。
所述的步骤S2是指通过使用逆透视映射恢复道路的结构信息。
所述的步骤S3是指使用卡尔曼滤波器对平行主动轮廓模型的参数进行预测，卡尔曼滤波器根据上一帧道路跟踪的结果来预测当前帧中道路模型的参数。
所述的步骤S4是指根据步骤S3中的预测结果使用平行主动轮廓模型对道路的边界进行检测。其中，使用平行主动轮廓模型进行道路检测又包含以下几个步骤，如图3所示：
步骤S41：使用拉伸力初始化道路模型参数。
步骤S42：分别恢复道路结构信息后的图像Ipers中(x,y)分量上的梯度场(Gx,Gy)，作为主动轮廓模型的外部能量函数。
步骤S43：根据步骤S42中的初始化得到的主动轮廓模型，计算利用其像素位置的一阶和二阶导数作为其内部能量函数。非循环矩阵被用于产生开环主动轮廓模型。
步骤S44：根据步骤S42的外部能量函数和步骤S33中的内部能量函数，计算主动轮廓模型的移动矢量。
步骤S45：根据移动矢量计算主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合。
步骤S46：判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值则从步骤S41重新开始迭代过程。
所述的步骤S5是使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
所述的步骤S6是输出道路跟踪结果。
进一步地，所述的逆透视映射是齐次空间中不同投影平面之间线性变换，可以通过一个3x3的单应性矩阵线性表示。
所述的图像Ipers是俯视角为90度时获得道路平面的视角图像。该视角保持道路左右边界的平行性属性。
所述的拉伸力是通过计算开环主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
所谓的平行抛物线是基于平行性约束的二次曲线，可以通过最小二乘法进行估计。
所谓的平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型。该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于机器视觉的道路跟踪方法，其特征在于，包括如下步骤：
步骤S1：通过成像设备获取道路场景图像；
步骤S2：使用逆透视映射恢复道路的结构信息；
步骤S3：使用卡尔曼滤波器对道路模型参数进行预测；
步骤S4：根据步骤S3得到的预测结果，使用平行主动轮廓模型对道路进行检测，得到检测结果；其中，所述平行主动轮廓模型是在两条独立的开环主动轮廓模型的基础上通过添加平行性约束得到的一组模型，该模型通过两条主动轮廓模型周边的内力和外力共同作用，并且由于平行性约束，最终得到两条平行的二次曲线；
步骤S5：使用卡尔曼滤波器对检测结果进行优化；
步骤S6：输出道路跟踪结果。
2.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S2中使用逆透视映射恢复道路左右边界的平行性结构。
3.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S4中使用平行主动轮廓模型对道路进行检测，包含以下几个步骤：
步骤S41：初始化道路模型参数；
步骤S42：在步骤S2中获取的包含道路结构信息的图像Ipers中，分别计算(x,y)分量上的梯度场(Gx,Gy)，作为平行主动轮廓模型的外部能量函数；其中，x表示X轴方向，y表示Y轴方向，Gx表示x方向上的梯度场，Gy表示Y方向上的梯度场；
步骤S43：据步骤S42中的初始化得到的平行主动轮廓模型，计算利用该平行主动轮廓模型像素位置的一阶和二阶导数作为该平行主动轮廓模型的内部能量函数；其中，非循环矩阵被用于产生开环平行主动轮廓模型；
步骤S44：根据步骤S42得到的外部能量函数和步骤S43得到的内部能量函数，计算平行主动轮廓模型的移动矢量；
步骤S45：根据移动矢量计算平行主动轮廓模型的当前位置，并使用最小二乘法对平行抛物线进行拟合；
步骤S46：判断步骤S45得到的结果与上次迭代结果的相似性，如果相似度小于阈值k,则从步骤S41重新开始迭代过程，若相似度大于等于阈值，则结束迭代过程；其中k以像素为单位，取值10。
4.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，在步骤S43中，所述非循环矩阵被用于产生开环平行主动轮廓模型，具体为：
使用非循环矩阵用于移除传统主动轮廓模型中头尾的约束，从而生成开环的平行主动轮廓模型。
5.根据权利要求4所述的基于机器视觉的道路跟踪方法，其特征在于，所述开环的平行主动轮廓模型使用平行性信息进行约束。
6.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，所述步骤S5，具体为：
使用卡尔曼滤波器对检测噪声进行建模，并且使用噪声模型对步骤S4中的检测结果进行优化。
7.根据权利要求1所述的基于机器视觉的道路跟踪方法，其特征在于，所述逆透视映射是齐次空间中不同投影平面之间线性变换。
8.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，其中，所述图像Ipers是俯视角为90度时获得道路平面的视角图像，该90度视角保持道路左右边界的平行性属性。
9.根据权利要求3所述的基于机器视觉的道路跟踪方法，其特征在于，所述步骤S41具体为：使用拉伸力初始化道路模型参数；所述拉伸力是通过计算开环平行主动轮廓模型的头尾两个顶点对在位置像素值与背景像素值的相似性，从而保证两个顶点收敛到梯度最小的区域。
CN201410538370.0A 2014-10-13 2014-10-13 基于机器视觉的道路跟踪方法 Pending CN104331878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410538370.0A CN104331878A (zh) 2014-10-13 2014-10-13 基于机器视觉的道路跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410538370.0A CN104331878A (zh) 2014-10-13 2014-10-13 基于机器视觉的道路跟踪方法

Publications (1)

Publication Number Publication Date
CN104331878A true CN104331878A (zh) 2015-02-04

Family

ID=52406598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410538370.0A Pending CN104331878A (zh) 2014-10-13 2014-10-13 基于机器视觉的道路跟踪方法

Country Status (1)

Country Link
CN (1) CN104331878A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700427A (zh) * 2015-04-03 2015-06-10 电子科技大学 一种基于sar图像的道路损毁信息提取方法
CN106842231A (zh) * 2016-11-08 2017-06-13 长安大学 一种道路边界检测及跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGYANG LI等: "《Lane Detection and Tracking Using a Parallel-snake Approach》", 《SPRINGERLINK》 *
XIANGYANG LI等: "《Parallel-Snake with Balloon Force for Lane Detection》", 《IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700427A (zh) * 2015-04-03 2015-06-10 电子科技大学 一种基于sar图像的道路损毁信息提取方法
CN104700427B (zh) * 2015-04-03 2018-03-09 电子科技大学 一种基于sar图像的道路损毁信息提取方法
CN106842231A (zh) * 2016-11-08 2017-06-13 长安大学 一种道路边界检测及跟踪方法
CN106842231B (zh) * 2016-11-08 2019-03-22 长安大学 一种道路边界检测及跟踪方法

Similar Documents

Publication Publication Date Title
Uhrig et al. Sparsity invariant cnns
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
Wang et al. A region based stereo matching algorithm using cooperative optimization
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
Chen et al. A real-time lane detection algorithm based on a hyperbola-pair model
CN103413308B (zh) 一种障碍物检测方法和装置
CN109118523A (zh) 一种基于yolo的图像目标跟踪方法
Satzoda et al. Vision-based lane analysis: Exploration of issues and approaches for embedded realization
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和***
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN112529065B (zh) 一种基于特征对齐和关键点辅助激励的目标检测方法
CN104200492A (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN111914756A (zh) 一种视频数据处理方法和装置
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Chougule et al. An efficient encoder-decoder CNN architecture for reliable multilane detection in real time
Qian et al. Medical image segmentation based on FCM and Level Set algorithm
CN104331878A (zh) 基于机器视觉的道路跟踪方法
CN104252701B (zh) 校正视差图的方法和***
CN115937825B (zh) 在线俯仰角估计的bev下鲁棒车道线生成方法及装置
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
Yuan et al. Structure flow-guided network for real depth super-resolution
CN104331879A (zh) 基于机器视觉的道路检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150204

RJ01 Rejection of invention patent application after publication