CN115082701B - 一种基于双摄像头的多水线交叉识别定位方法 - Google Patents

一种基于双摄像头的多水线交叉识别定位方法 Download PDF

Info

Publication number
CN115082701B
CN115082701B CN202210978997.2A CN202210978997A CN115082701B CN 115082701 B CN115082701 B CN 115082701B CN 202210978997 A CN202210978997 A CN 202210978997A CN 115082701 B CN115082701 B CN 115082701B
Authority
CN
China
Prior art keywords
waterline
image
target
straight line
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210978997.2A
Other languages
English (en)
Other versions
CN115082701A (zh
Inventor
龙关旭
辛公锋
石磊
潘为刚
靳华磊
尚志强
秦石铭
周骁腾
王书新
马鹏飞
胡朋
王目树
潘立平
康超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Research Institute Of Shandong Expressway Group Co ltd
Shandong Jiaotong University
Original Assignee
Innovation Research Institute Of Shandong Expressway Group Co ltd
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Research Institute Of Shandong Expressway Group Co ltd, Shandong Jiaotong University filed Critical Innovation Research Institute Of Shandong Expressway Group Co ltd
Priority to CN202210978997.2A priority Critical patent/CN115082701B/zh
Publication of CN115082701A publication Critical patent/CN115082701A/zh
Application granted granted Critical
Publication of CN115082701B publication Critical patent/CN115082701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双摄像头的多水线交叉识别定位方法，属于公路交通技术领域，解决水线交叉情况下难以判别水线，水线判别与划线距离远存在偏差的难题。方案包括步骤1：前置摄像头采集划线车前方的高速公路上的宽视角水线图像；步骤2：水线识别模块对宽视角水线图像进行水线的边缘图像的识别；步骤3：当水线边缘图像存在交叉时，通过标准水线识别模块进行标准水线的判别，并反馈给目标水线识别模块；步骤4：后置摄像头采集高速公路上的窄视角水线图像；步骤5：水线识别模块对窄视角水线图像进行水线的边缘图像的识别；步骤6：当水线的边缘图像存在交叉时，目标水线识别模块判别目标水线；步骤7：基于目标水线进行高速公路的划线作业。

Description

一种基于双摄像头的多水线交叉识别定位方法
技术领域
本发明具体涉及一种基于双摄像头的多水线交叉识别定位方法，属于公路交通技术领域。
背景技术
传统划车道线的方式是首先通过人工将水线绘制到高速路面上，然后划线人员使用手推设备沿水线，将车道线的标准材料（双组份、热融料等）均匀地刮涂到路面上，实现道路标线的喷涂施工。在以水线为导航目标的规划车技术中，水线的质量严重影响视觉导航的精度。尤其是多水线交叉情况下，即水线在绘制过程中不可避免的发生倾斜、弯曲、断续等情况，划线员会在原水线上进行补划，由此形成多水线在局部范围内交叉情形，无法自动判别用于划线的目标水线。
发明内容
本发明的目的在于针对现有技术不足，提出一种基于双摄像头的多水线交叉识别定位方法，首先通过前置摄像头，利用前置摄像头可视范围广的特点，使用图像处理技术检测出2条水线，根据全域水线长度判断标准水线并标记。然后将标记信息作为参数传递给后置摄像头。后置摄像头，同样使用图像处理技术检测出水线，并依据标记信息，选择目标水线。
为解决上述技术问题，本发明采用的技术方案为：
一种基于双摄像头的多水线交叉识别定位方法，包括如下步骤：
步骤1：前置摄像头采集划线车前方的高速公路上的宽视角水线图像；
步骤2：水线识别模块对宽视角水线图像进行水线的边缘图像的识别；
步骤3：当水线边缘图像存在交叉时，通过标准水线识别模块进行标准水线的判别，并将标准水线的判别结果反馈给目标水线识别模块；
步骤4：后置摄像头采集高速公路上的窄视角水线图像；
步骤5：水线识别模块对窄视角水线图像进行水线的边缘图像的识别；
步骤6：当水线的边缘图像存在交叉时，基于步骤3标准水线的判别结果，目标水线识别模块判别用于划线的目标水线；
步骤7：划线模块基于目标水线进行高速公路的划线作业；
其中，前置摄像头和后置摄像头均设置在划线车上，前置摄像头设置在划线车的侧前方，划线模块设置在划线车上与前置摄像头同一侧的中间位置，后置摄像头设置在与划线模块相邻的正前面，前置摄像头的离地高度高于后置摄像头的离地高度。
进一步的，水线识别模块识别水线的边缘图像的方法包括如下步骤：
步骤2.1：基于水线图像，读取水线的灰度图像，并对灰度图像进行中值滤波，中值滤波算法所参照的公式为：
Figure 58331DEST_PATH_IMAGE001
其中，G（x,y）表示滤波后的灰度图像，x和y分别表示图像的行和列，g(x-m,y-n)表示对模板覆盖区域的像素值，med表示对像素值按照大小进行排序，然后选择排序位置在中间的像素，m和n是±W之间的整数；
步骤2.2：对滤波后的灰度图像G（x,y）进行拉伸；
步骤2.3：通过形状模板对拉伸后的灰度图像的整张图像进行连续扫描，形状模板包括连续的三个一样的矩形区域，分别为：白色区域、过渡区域和黑色区域，白色区域和黑色区域大小一样，过渡区域的矩形宽度窄于白色区域和黑色区域的矩形宽度；
步骤2.4：采用积分图方法对形状模板所经过的白色区域和黑色区域进行图像像素增强，以提高计算效率，通过修正后的边缘特征图像对形状模板所经过的过渡区域进行像素替换以消除毛刺，得到积分优化图像；
步骤2.5：对积分优化图像进行拉伸以提高水线检测精度，并采用常规膨胀腐蚀算法对提取的水线图像进行形态学处理；
步骤2.6：利用自适应阈值法对完成形态学处理的图像再次进行二值化处理，得到二值化图像；
步骤2.7：基于二值化图像，通过检测水线边缘算法，获取水线的边缘图像：
Figure 930472DEST_PATH_IMAGE002
其中，E(x,y)表示水线的边缘图像第x行第y列的像素值，B(x,y)表示二值图像的第x行第y列的像素值;
步骤2.8：对于水线的边缘图像，采用霍夫变换方法检测边缘图像内的直线，获得直线法线斜率ρ、直线到原点的距离θ，以及直线的长度l，其中原点是x=0且y=0的点。
优选的，W=3或5，N=2，形状模板的高为50像素，白色区域和黑色区域的宽均为20像素。
进一步的，步骤2.4具体步骤如下：
首先，按照如下公式计算边缘特征图像的像素值：
Figure 360054DEST_PATH_IMAGE003
其中，S_h(x,y)表示边缘特征图像对应的积分像素值，S_w(x,y)表示白色矩形对应的积分像素值，S_b(x,y)表示黑色矩形对应的积分像素值，lw表示白色区域的宽，lh表示形状模板的高；
然后，通过下述公式进行边缘特征图像对应的积分图的修正：
Figure 193012DEST_PATH_IMAGE004
其中，f(x,y)表示修正后的边缘特征图像对应的积分像素值。
优选的，步骤3中标准水线为解交叉水线中长度最长的水线。
进一步的，标准水线的判别包括如下步骤：
步骤3.1：将具有直线法线斜率ρ和直线到原点的距离θ的分线段拟合连接成一条直线，消除断续线，减少候选线段数量，以解决图像中的水线是由离散的、断续的像素构成，不利于目标水线判断的问题；
步骤3.2：然后根据平面上两点间的距离公式，计算拟合后直线的长度；
步骤3.3：然后选择最长的2条直线，分别用left表示ρ较小的直线和right表示ρ较大的直线，根据如下公式求交点(a,b) ，用图像a行b列表示其位置:
Figure 133286DEST_PATH_IMAGE005
通过将两条直线的ρ和θ代入求解；
步骤3.4：根据前置和后置摄像头标定信息，计算交叉点到后置摄像头中心点的在世界坐标系中距离wy，两条直线的上端点分别记为Sleft，Sright，并分别计算两个端点到交叉点的距离，分别记为dleft，dright；
步骤3.5：判断标准水线并标记label，并将标记参数label和wy作为参数传递给目标水线识别模块，以便后置摄像头分析使用:
当交叉点存在且a＞h/2时，将label和wy反馈给目标水线识别模块，
Figure 764994DEST_PATH_IMAGE006
其他情况下，不进行反馈。
进一步的，步骤6包括如下步骤：
步骤6.1：根据如下公式迭代计算wy，更新交叉点到后置摄像头中心点的在世界坐标系中距离，便于***从世界坐标系下，定位多水线交叉点：
Figure 132521DEST_PATH_IMAGE007
其中，Si表示划线车每一帧时间内前进的距离；
步骤6.2：当wy≠0时，满足如下条件时，认为检测到的直线为有效的水线：
Figure 842988DEST_PATH_IMAGE008
其中，ρk和ρk-1分别表示当前帧和前一帧直线法线斜率，θk和θk-1分别表示当前帧和前一帧直线到原点的距离；
步骤6.3：当wy＝0时，根据label的值选择目标水线，即当label=left时，选择ρ较小的直线为目标水线，否则选择ρ较大的直线为目标水线；
步骤6.4：计算图像中心点到目标水线的距离，过图像中心点（w/2，h/2）作目标水线的法线，法线与水线的交点记为A，计算中心点到A的距离记为dA。
本发明与现有技术相比，具有如下有益效果：
本发明的目的在于针对现有技术不足，提出一种基于双摄像头的多水线交叉识别定位方法，首先通过前置摄像头，利用前置摄像头可视范围广的特点，使用图像处理技术检测出2条水线，根据全域水线长度判断标准水线并标记。然后将标记信息作为参数传递给后置摄像头。后置摄像头，同样使用图像处理技术检测出水线，并依据标记信息，选择目标水线。
附图说明
图1为本发明的的基于双摄像头的多水线交叉识别定位方法流程图；
图2为本发明的前摄像头实拍图；
图3为本发明的灰度图像；
图4为本发明的拉伸后的灰度图像；
图5为本发明的边缘特征模板图；
图6为本发明的积分特征图；
图7为本发明的积分优化图；
图8为本发明的二值化图像；
图9为本发明的边缘提取图像；
图10为本发明的交叉点图像；
图11为本发明的标准水线识别结果。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种基于双摄像头的多水线交叉识别定位方法。首先增加前置摄像头，利用前置（远地）摄像头可视范围广的特点，使用图像处理技术检测出2条水线，根据全域水线长度判断目标水线并标记（世界坐标系中位置，图像坐标系中相对于过交叉点垂线的偏差）。然后将标记信息作为参数传递给后置摄像头。后置摄像头，同样使用图像处理技术检测出水线，并依据标记信息，选择目标水线。最后计算水线法线方向的距离。后置摄像头位于规划车中部，在划线施工模块之间，离地高度34cm，镜头向下，与地面垂直方向的夹角小于2°。前置摄像头位于规划车最前端，离地高度134cm，与水平方向的倾角为25.5°，误差不超过2°，前后摄像头距离为92cm。后置摄像头型号为华腾威视HT-SUA630C-T，镜头型号为华腾威视HTF31518-5MP，前置摄像头型号为华腾威视HT-SUA630C-T，镜头型号为华腾威视MV-JT2812。单一摄像头无法实现水线的判别及自动划线，虽然前摄像头可视范围广，能够识别目标水线，但是通常划线需要位于车中部的位置，距离前摄像头距离较远，无法直接利用摄像头的判别结果进行划线，而如果将摄像头设置在划线模块附近，可视范围窄，又无法进行水线的识别。所以，必须同时设置双摄像头才可实现目标识别及划线作业。
具体的，如图1所示，一种基于双摄像头的多水线交叉识别定位方法，包括如下步骤：
步骤1：前置摄像头采集划线车前方的高速公路上的宽视角水线图像；
步骤2：水线识别模块对宽视角水线图像进行水线的边缘图像的识别；
步骤3：当水线边缘图像存在交叉时，通过标准水线识别模块进行标准水线的判别，并将标准水线的判别结果反馈给目标水线识别模块；
步骤4：后置摄像头采集高速公路上的窄视角水线图像；
步骤5：水线识别模块对窄视角水线图像进行水线的边缘图像的识别；
步骤6：当水线的边缘图像存在交叉时，基于步骤3标准水线的判别结果，目标水线识别模块判别用于划线的目标水线；
步骤7：划线模块基于目标水线进行高速公路的划线作业；
其中，前置摄像头和后置摄像头均设置在划线车上，前置摄像头设置在划线车的侧前方，划线模块(STHX-150)设置在划线车上与前置摄像头同一侧的中间位置，后置摄像头设置在与划线模块相邻的正前面，前置摄像头的离地高度高于后置摄像头的离地高度。如图2所示，为前摄像头实拍图。
进一步的，水线识别模块识别水线的边缘图像的方法包括如下步骤：
步骤2.1：基于水线图像，读取水线的灰度图像，灰度图像如图3所示，并对灰度图像进行中值滤波，中值滤波算法所参照的公式为：
Figure 819909DEST_PATH_IMAGE001
其中，G（x,y）表示滤波后的灰度图像，x和y分别表示图像的行和列，g(x-m,y-n)表示对模板覆盖区域的像素值，med表示对像素值按照大小进行排序，然后选择排序位置在中间的像素，m和n是±W之间的整数；
步骤2.2：对滤波后的灰度图像G（x,y）进行拉伸, 如图4所示为拉伸后的灰度图像，拉伸后的灰度图像为S（x,y）；
步骤2.3：通过形状模板对拉伸后的灰度图像的整张图像进行连续扫描，如图5所示，为边缘特征的模板图，边缘特征的形状模板图包括连续的三个一样的矩形区域，分别为：白色区域、过渡区域和黑色区域，白色区域和黑色区域大小一样，过渡区域的矩形宽度窄于白色区域和黑色区域的矩形宽度；
步骤2.4：采用积分图方法对形状模板所经过的白色区域和黑色区域进行图像像素增强，如图6所示为积分特征图，以提高计算效率，通过修正后的边缘特征图像对形状模板所经过的过渡区域进行像素替换以消除毛刺，得到积分优化图像，积分优化图像如图7所示；
步骤2.5：对积分优化图像进行拉伸以提高水线检测精度，并采用常规膨胀腐蚀算法对提取的水线图像进行形态学处理；
步骤2.6：利用自适应阈值法对完成形态学处理的图像再次进行二值化处理，得到二值化图像，二值化图像如图8所示；
步骤2.7：基于二值化图像，通过检测水线边缘算法，获取水线的边缘图像，水线的边缘提取图像如图9所示：
Figure 542009DEST_PATH_IMAGE002
其中，E(x,y)表示水线的边缘图像第x行第y列的像素值，B(x,y)表示二值图像的第x行第y列的像素值;
步骤2.8：对于水线的边缘图像，采用霍夫变换方法检测边缘图像内的直线，获得直线法线斜率ρ、直线到原点的距离θ，以及直线的长度l，其中原点是x=0且y=0的点。在该直线检测过程中，霍夫变换方法中的分辨率为40，角度的精度为0.8°，由于车辆行驶方向的限定，检测的直线角度为60°~120°。
优选的，W=3或5，N=2，形状模板的高为50像素，白色区域和黑色区域的宽均为20像素,过渡区域的宽为2像素。
进一步的，步骤2.4具体步骤如下：
首先，按照如下公式计算边缘特征图像的像素值：
Figure 346017DEST_PATH_IMAGE003
其中，S_h(x,y)表示边缘特征图像对应的积分像素值，S_w(x,y)表示白色矩形对应的积分像素值，S_b(x,y)表示黑色矩形对应的积分像素值，lw表示白色区域的宽，lh表示形状模板的高；
然后，通过下述公式进行边缘特征图像对应的积分图的修正：
Figure 935259DEST_PATH_IMAGE009
其中，f(x,y)表示修正后的边缘特征图像对应的积分像素值。
优选的，步骤3中标准水线为解交叉水线中长度最长的水线。
进一步的，标准水线的判别包括如下步骤：
步骤3.1：将具有直线法线斜率ρ和直线到原点的距离θ的分线段拟合连接成一条直线，消除断续线，减少候选线段数量，以解决图像中的水线是由离散的、断续的像素构成，不利于目标水线判断的问题；
步骤3.2：然后根据平面上两点间的距离公式，计算拟合后直线的长度；
步骤3.3：然后选择最长的2条直线，分别用left表示ρ较小的直线和right表示ρ较大的直线，根据如下公式求交点(a,b)，如图10所示为交叉点示意图像，用图像a行b列表示其位置:
Figure 217336DEST_PATH_IMAGE005
通过将两条直线的ρ和θ代入求解；
步骤3.4：根据前置和后置摄像头标定信息，计算交叉点到后置摄像头中心点的在世界坐标系中距离wy，两条直线的上端点分别记为Sleft，Sright，并分别计算两个端点到交叉点的距离，分别记为dleft，dright；
步骤3.5：判断标准水线并标记label，如图11所示为标准水线识别图像，并将标记参数label和wy作为参数传递给目标水线识别模块，以便后置摄像头分析使用:
当交叉点存在且a＞h/2时，将label和wy反馈给目标水线识别模块，
Figure 652996DEST_PATH_IMAGE006
其他情况下，不进行反馈。
进一步的，步骤6包括如下步骤：
步骤6.1：根据如下公式迭代计算wy，更新交叉点到后置摄像头中心点的在世界坐标系中距离，便于***从世界坐标系下，定位多水线交叉点：
Figure 392020DEST_PATH_IMAGE007
其中，Si表示划线车每一帧时间内前进的距离；
步骤6.2：当wy≠0时，满足如下条件时，认为检测到的直线为有效的水线：
Figure 421287DEST_PATH_IMAGE008
其中，ρk和ρk-1分别表示当前帧和前一帧直线法线斜率，θk和θk-1分别表示当前帧和前一帧直线到原点的距离，这里取l0为0.2m，θ0取2，ρ0取25；
步骤6.3：当wy＝0时，根据label的值选择目标水线，即当label=left时，选择ρ较小的直线为目标水线，否则选择ρ较大的直线为目标水线；
步骤6.4：计算图像中心点到目标水线的距离，过图像中心点（w/2，h/2）作目标水线的法线，法线与水线的交点记为A，计算中心点到A的距离记为dA。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (3)

1.一种基于双摄像头的多水线交叉识别定位方法，其特征在于，包括如下步骤：
步骤1：前置摄像头采集划线车前方的高速公路上的宽视角水线图像；
步骤2：水线识别模块对宽视角水线图像进行水线的边缘图像的识别；
步骤3：当水线边缘图像存在交叉时，通过标准水线识别模块进行标准水线的判别，并将标准水线的判别结果反馈给目标水线识别模块；
步骤4：后置摄像头采集高速公路上的窄视角水线图像；
步骤5：水线识别模块对窄视角水线图像进行水线的边缘图像的识别；
步骤6：当水线的边缘图像存在交叉时，基于步骤3标准水线的判别结果，目标水线识别模块判别用于划线的目标水线；
步骤7：划线模块基于目标水线进行高速公路的划线作业；
其中，前置摄像头和后置摄像头均设置在划线车上，前置摄像头设置在划线车的侧前方，划线模块设置在划线车上与前置摄像头同一侧的中间位置，后置摄像头设置在与划线模块相邻的正前面，前置摄像头的离地高度高于后置摄像头的离地高度；
水线识别模块识别水线的边缘图像的方法包括如下步骤：
步骤2.1：基于水线图像，读取水线的灰度图像，并对灰度图像进行中值滤波，中值滤波算法所参照的公式为：
Figure DEST_PATH_IMAGE002
其中，G（x,y）表示滤波后的灰度图像，x和y分别表示图像的行和列，g(x-m,y-n)表示对模板覆盖区域的像素值，med表示对像素值按照大小进行排序，然后选择排序位置在中间的像素，m和n是±W之间的整数；
步骤2.2：对滤波后的灰度图像G（x,y）进行拉伸；
步骤2.3：通过形状模板对拉伸后的灰度图像的整张图像进行连续扫描，形状模板包括连续的三个一样的矩形区域，分别为：白色区域、过渡区域和黑色区域，白色区域和黑色区域大小一样，过渡区域的矩形宽度窄于白色区域和黑色区域的矩形宽度；
步骤2.4：采用积分图方法对形状模板所经过的白色区域和黑色区域进行图像像素增强，以提高计算效率，通过修正后的边缘特征图像对形状模板所经过的过渡区域进行像素替换以消除毛刺；
步骤2.5：对积分优化图像进行拉伸以提高水线检测精度，并采用常规膨胀腐蚀算法对提取的水线图像进行形态学处理；
步骤2.6：利用自适应阈值法对完成形态学处理的图像再次进行二值化处理，得到二值化图像；
步骤2.7：基于二值化图像，通过检测水线边缘算法，获取水线的边缘图像：
Figure DEST_PATH_IMAGE004
其中，E(x,y)表示水线的边缘图像第x行第y列的像素值，B(x,y)表示二值图像的第x行第y列的像素值;
步骤2.8：对于水线的边缘图像，采用霍夫变换方法检测边缘图像内的直线，获得直线法线斜率ρ、直线到原点的距离θ，以及直线的长度l，其中原点是x=0且y=0的点；
步骤3中标准水线为解交叉水线中长度最长的水线；
标准水线的判别包括如下步骤：
步骤3.1：将具有直线法线斜率ρ和直线到原点的距离θ的分线段拟合连接成一条直线，消除断续线，减少候选线段数量，以解决图像中的水线是由离散的、断续的像素构成，不利于目标水线判断的问题；
步骤3.2：然后根据平面上两点间的距离公式，计算拟合后直线的长度；
步骤3.3：然后选择最长的2条直线，分别用left表示ρ较小的直线和right表示ρ较大的直线，根据如下公式求交点(a,b)，用图像a行b列表示其位置:
Figure DEST_PATH_IMAGE006
通过将两条直线的ρ和θ代入求解；
步骤3.4：根据前置和后置摄像头标定信息，计算交叉点到后置摄像头中心点的在世界坐标系中距离wy，两条直线的上端点分别记为Sleft，Sright，并分别计算两个端点到交叉点的距离，分别记为dleft，dright；
步骤3.5：判断标准水线并标记label，并将标记参数label和wy作为参数传递给目标水线识别模块，以便后置摄像头分析使用:
当交叉点存在且a＞h/2时，将label和wy反馈给目标水线识别模块，
Figure DEST_PATH_IMAGE008
其他情况下，不进行反馈；
步骤6包括如下步骤：
步骤6.1：根据如下公式迭代计算wy，更新交叉点到后置摄像头中心点的在世界坐标系中距离，便于***从世界坐标系下，定位多水线交叉点：
Figure DEST_PATH_IMAGE010
其中，Si表示划线车每一帧时间内前进的距离；
步骤6.2：当wy≠0时，满足如下条件时，认为检测到的直线为有效的水线：
Figure DEST_PATH_IMAGE012
其中，ρk和ρk-1分别表示当前帧和前一帧直线法线斜率，θk和θk-1分别表示当前帧和前一帧直线到原点的距离，l0是常数；
步骤6.3：当wy＝0时，根据label的值选择目标水线，即当label=left时，选择ρ较小的直线为目标水线，否则选择ρ较大的直线为目标水线；
步骤6.4：计算图像中心点到目标水线的距离，过图像中心点（w/2，h/2）作目标水线的法线，法线与水线的交点记为A，计算中心点到A的距离记为dA。
2.根据权利要求1所述一种基于双摄像头的多水线交叉识别定位方法，其特征在于：W=3或5，N=2，形状模板的高为50像素，白色区域和黑色区域的宽均为20像素。
3.根据权利要求1所述一种基于双摄像头的多水线交叉识别定位方法，其特征在于，步骤2.4具体步骤如下：
首先，按照如下公式计算边缘特征图像的像素值：
Figure DEST_PATH_IMAGE014
其中，S_h(x,y)表示边缘特征图像对应的积分像素值，S_w(x,y)表示白色矩形对应的积分像素值，S_b(x,y)表示黑色矩形对应的积分像素值，lw表示白色区域的宽，lh表示形状模板的高；
然后，通过下述公式进行边缘特征图像对应的积分图的修正：
Figure DEST_PATH_IMAGE016
其中，f(x,y)表示修正后的边缘特征图像对应的积分像素值。
CN202210978997.2A 2022-08-16 2022-08-16 一种基于双摄像头的多水线交叉识别定位方法 Active CN115082701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210978997.2A CN115082701B (zh) 2022-08-16 2022-08-16 一种基于双摄像头的多水线交叉识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210978997.2A CN115082701B (zh) 2022-08-16 2022-08-16 一种基于双摄像头的多水线交叉识别定位方法

Publications (2)

Publication Number Publication Date
CN115082701A CN115082701A (zh) 2022-09-20
CN115082701B true CN115082701B (zh) 2022-11-08

Family

ID=83244421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210978997.2A Active CN115082701B (zh) 2022-08-16 2022-08-16 一种基于双摄像头的多水线交叉识别定位方法

Country Status (1)

Country Link
CN (1) CN115082701B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115509122B (zh) * 2022-11-21 2023-03-21 山东高速集团有限公司创新研究院 基于机器视觉导航的无人划线车在线寻优控制方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170488A (ja) * 2009-01-26 2010-08-05 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
CN106960192A (zh) * 2017-03-23 2017-07-18 深圳智达机械技术有限公司 自动驾驶中基于前向摄像头的道路标线提取***
CN112706835A (zh) * 2021-01-07 2021-04-27 济南北方交通工程咨询监理有限公司 一种基于图像导航的高速路无人驾驶划线方法
CN213342426U (zh) * 2020-12-29 2021-06-01 山东交通学院 一种用于自动划线车上的放样水线图像采集装置
CN114072840A (zh) * 2020-05-26 2022-02-18 百度时代网络技术（北京）有限公司 自动驾驶的深度引导视频修复
CN114299247A (zh) * 2021-08-31 2022-04-08 武汉理工大学 道路交通标志标线快速检测与问题排查方法
CN114808649A (zh) * 2022-06-06 2022-07-29 仲恺农业工程学院 基于视觉***控制的公路划线方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582055B2 (ja) * 2015-10-22 2019-09-25 京セラ株式会社 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
CN112115778B (zh) * 2020-08-11 2023-07-21 华南理工大学 一种在环仿真条件下车道线智能识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170488A (ja) * 2009-01-26 2010-08-05 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
CN106960192A (zh) * 2017-03-23 2017-07-18 深圳智达机械技术有限公司 自动驾驶中基于前向摄像头的道路标线提取***
CN114072840A (zh) * 2020-05-26 2022-02-18 百度时代网络技术（北京）有限公司 自动驾驶的深度引导视频修复
CN213342426U (zh) * 2020-12-29 2021-06-01 山东交通学院 一种用于自动划线车上的放样水线图像采集装置
CN112706835A (zh) * 2021-01-07 2021-04-27 济南北方交通工程咨询监理有限公司 一种基于图像导航的高速路无人驾驶划线方法
CN114299247A (zh) * 2021-08-31 2022-04-08 武汉理工大学 道路交通标志标线快速检测与问题排查方法
CN114808649A (zh) * 2022-06-06 2022-07-29 仲恺农业工程学院 基于视觉***控制的公路划线方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Research on water hazard detection based on line structured light sensor for long-distance all day;Haiyan Shao等;《2015 IEEE International Conference on Mechatronics and Automation (ICMA)》;20150903;第1785-1789页 *
高速公路智能道路标线施工技术研究;王振庆等;《中国设备工程》;20220710;第200-202页 *

Also Published As

Publication number Publication date
CN115082701A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN109785291B (zh) 一种车道线自适应检测方法
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
JP4016735B2 (ja) レーンマーク認識方法
US9076046B2 (en) Lane recognition device
US8184859B2 (en) Road marking recognition apparatus and method
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN104700072B (zh) 基于车道线历史帧的识别方法
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
CN109784344A (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN109886175B (zh) 一种直线与圆弧相结合的车道线检测方法
CN107665327B (zh) 一种车道线检测方法及装置
CN109635737B (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN102419820A (zh) 一种快速检测视频与图像中汽车车标的方法
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN115082701B (zh) 一种基于双摄像头的多水线交叉识别定位方法
CN110334625A (zh) 一种面向自动泊车的停车位视觉识别***及其识别方法
CN111079541B (zh) 一种基于单目视觉的道路停止线检测方法
CN110889342A (zh) 一种减速带的识别方法
CN111881878A (zh) 一种环视复用的车道线识别方法
CN111178210A (zh) 一种十字标记的图像识别及对准方法
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN111079598B (zh) 一种基于图像纹理与机器学习的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant