CN111881752B - 一种护栏检测分类方法、装置、电子设备及存储介质 - Google Patents

一种护栏检测分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111881752B
CN111881752B CN202010593613.6A CN202010593613A CN111881752B CN 111881752 B CN111881752 B CN 111881752B CN 202010593613 A CN202010593613 A CN 202010593613A CN 111881752 B CN111881752 B CN 111881752B
Authority
CN
China
Prior art keywords
guardrail
image data
point cloud
cloud data
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010593613.6A
Other languages
English (en)
Other versions
CN111881752A (zh
Inventor
周智颖
刘春成
肖圣
罗跃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202010593613.6A priority Critical patent/CN111881752B/zh
Publication of CN111881752A publication Critical patent/CN111881752A/zh
Application granted granted Critical
Publication of CN111881752B publication Critical patent/CN111881752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种护栏检测分类方法、装置、电子设备及存储介质，该方法包括：根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；基于深度学习目标检测模型对图像数据中护栏进行检测；划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。通过该方案解决了现有的护栏检测方法存在适应性差、检测精度较低的问题，可以有效增强采集设备的适应性，并保障护栏检测精度。

Description

一种护栏检测分类方法、装置、电子设备及存储介质
技术领域
本发明涉及高精度地图制作领域，尤其涉及一种护栏检测分类方法、装置、电子设备及存储介质。
背景技术
道路可行驶区域的划定一般由车道边线、车道外侧线和护栏共同决定，护栏作为可行驶区域的最外层边界，确保车辆的行驶道路在可行驶区域内，并保障车辆的安全行驶。在制作高精度地图时，护栏作为重要的道路要素之一，通常会基于车载感知设备采集数据对护栏检测分类。
由于前视图景深较长，距离车越远的位置，护栏坐标变换精度越差。因此，为保障前视图对护栏检测的精度，需要反复测试，确定当前设备采集图像的有效值范围，从而导致基于图像的护栏检测适应性较差。当采用激光点云的护栏检测方法时，由于护栏形态多样、不同材质上反射率差异以及周边物体干扰，护栏检测精度较低。
因此，有必要提出一种适应好、检测精度高的护栏检测分类方法。
发明内容
有鉴于此，本发明实施例提供了一种护栏检测分类方法、装置、电子设备及存储介质，以解决现有护栏检测方法存在适应性差、检测精度较低的问题。
在本发明实施例的第一方面，提供了一种护栏检测分类方法，包括：
根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；
基于深度学习目标检测模型对图像数据中护栏进行检测；
划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；
根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
在本发明实施例的第二方面，提供了一种用于护栏检测分类的装置，包括：
关联模块，用于根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；
检测模块，用于基于深度学习目标检测模型对图像数据中护栏进行检测；
分割模块，用于划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；
结果对应模块，用于根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，确定图像数据与点云数据的对应关系后，分别通过图像检测和语义分割对图像数据及点云数据进行检测分割，再将护栏检测结果与点云数据边界分割结果进行对应，并进行单侧分类定义。基于车载相机和激光雷达的结合，分类检测，既可以保障护栏检测精度，同时能增强检测设备的适应性，从而解决了现有护栏检测方法适应性差、检测精度较低的问题，。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种护栏检测分类方法的流程示意图；
图2为本发明的一个实施例提供的一种用于护栏检测分类的装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。
请参阅图1，图1为本发明一个实施例提供的一种护栏检测分类方法的流程示意图，包括：
S101、根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；
一般图像景深越大，图像畸变越大，而图像数据会每间隔一定距离便采集一次，基于不同间隔采集的图像区别，结合采集车采集轨迹可以将图像数据和点云数据对应，所述图像数据由采集设备中的相机采集，所述点云数据由采集设备中的激光雷达采集。
优选的，对图像数据中景深一定程度大于图像采集间隔的部分进行标定，使护栏的边界检测精度处于预定范围内。由此可以确保在出现多种护栏时，点云数据与图像数据完成对应。
具体的，建立像素坐标系和世界坐标系的映射关系，标定采集车相机位置。
像素坐标系和世界坐标系下的坐标映射关系:
Figure BDA0002556688120000041
其中，u、v表示像素坐标系中的坐标，s表示尺度因子，fx、fy、u0、v0、γ表示相机内参，r,t表示相机外参，xw、yw、zw表示世界坐标系中的坐标。
单应性矩阵H定义为：
Figure BDA0002556688120000042
则坐标映射关系可写为：
Figure BDA0002556688120000043
S102、基于深度学习目标检测模型对图像数据中护栏进行检测；
所述深度学习目标检测模型为预先训练得到的一种可识别图像中护栏的深度学习模型，通过该深度学习目标检测模型可以对相机采集的图像进行识别，检测道路两旁的护栏。优选的，该深度学习目标检测模型还可以检测识别护栏的类型。
S103、划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；
对于预采集道路两侧的护栏，通过深度学习目标检测模型进行识别检测。由于一般道路可能两侧都有护栏，也可能只有一侧存在护栏，对两侧护栏划分可以方便与点云数据对应，避免干扰。
具体的，对车道两侧的护栏进行划分，以图像采集车为中心对图像的检测结果分类，并确定单侧护栏是否存在，若存在则获取存在的数量。
所述语义分割为计算机根据图像语义进行图像分割，对于采集的点云数据根据每个点标注的不同进行分割。基于语义分割既可以对点云数据进行分割处理，也可以对图像进行处理。
可选的，将点云数据投影成图像后，对图像进行语义分割；将语义分割得到的护栏边界反算至点云数据中。
S104、根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
基于左侧或右侧的划分结果，将精度允许范围内的图像数据中护栏检测结果和点云数据分割结果对应，确定单侧护栏的存在，将点云数据中单侧护栏的边界赋予分类属性。
通过本实施例提供的方法，对图像数据进行分类检测，同时基于激光雷达采集的点云数据，使护栏检测精度基本不受硬件设备的影响，适应性较强，并有效保障护栏检测精度。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图2为本发明实施例提供的一种用于护栏检测分类的装置的结构示意图，该装置包括：
关联模块210，用于根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；
优选的，所述根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系还包括：
对图像数据中景深一定程度大于图像采集间隔的部分进行标定，使护栏的边界检测精度处于预定范围内。
可选的，在确定图像数据与点云数据的对应关系过程中，建立像素坐标系和世界坐标系的映射关系，标定采集车相机位置。
检测模块220，用于基于深度学习目标检测模型对图像数据中护栏进行检测；
分割模块230，用于划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；
可选的，所述划分图像数据中的护栏在当前道路的左侧或右侧包括:
以图像采集车为中心对图像的检测结果进行划分，确定单侧护栏是否存在，若存在则获取存在的数量。
可选的，所述采用语义分割提取点云数据的护栏边界包括：
将点云数据投影成图像后，对图像进行语义分割；将语义分割得到的护栏边界反算至点云数据中。
结果对应模块240，用于根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序执行如实施例一中步骤S101～S105，处理器执行所述计算机程序时实现护栏的检测分类。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101～S105，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种护栏检测分类方法，其特征在于，包括：
根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系，其包括：建立像素坐标系和世界坐标系的映射关系，标定采集车相机位置；其中，像素坐标系和世界坐标系下的坐标映射关系:
Figure FDA0004095331700000011
其中，u、v表示像素坐标系中的坐标，s表示尺度因子，fx、fy、u0、v0、γ表示相机内参，r,t表示相机外参，xw、yw、zw表示世界坐标系中的坐标，单应性矩阵H定义为：
Figure FDA0004095331700000012
则坐标映射关系为：
Figure FDA0004095331700000013
所述根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系还包括：对图像数据中景深一定程度大于图像采集间隔的部分进行标定，使护栏的边界检测精度处于预定范围内；
基于深度学习目标检测模型对图像数据中护栏进行检测；
划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；其中，所述采用语义分割提取点云数据的护栏边界包括：将点云数据投影成图像后，对图像进行语义分割；将语义分割得到的护栏边界反算至点云数据中；
根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
2.根据权利要求1所述的方法，其特征在于，所述划分图像数据中的护栏在当前道路的左侧或右侧包括：
以图像采集车为中心对图像的检测结果进行划分，确定单侧护栏是否存在，若存在则获取存在的数量。
3.一种用于护栏检测分类的装置，所述用于护栏检测分类的装置实现如权利要求1至2中任一项所述护栏检测分类方法的步骤，其特征在于，包括：
关联模块，用于根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系；
检测模块，用于基于深度学习目标检测模型对图像数据中护栏进行检测；
分割模块，用于划分图像数据中的护栏在当前道路的左侧或右侧，并采用语义分割提取点云数据的护栏边界；
结果对应模块，用于根据护栏左右侧划分结果以及图像数据与点云数据的对应关系，将图像数据中护栏检测结果与点云数据边界分割结果进行对应，并定义单侧护栏分类属性。
4.根据权利要求3所述的装置，其特征在于，所述根据点云数据及图像数据的采集轨迹信息确定图像数据与点云数据的对应关系还包括：
对图像数据中景深一定程度大于图像采集间隔的部分进行标定，使护栏的边界检测精度处于预定范围内。
5.根据权利要求3所述的装置，其特征在于，所述划分图像数据中的护栏在当前道路的左侧或右侧包括：
以图像采集车为中心对图像的检测结果进行划分，确定单侧护栏是否存在，若存在则获取存在的数量。
6.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述护栏检测分类方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述护栏检测分类方法的步骤。
CN202010593613.6A 2020-06-27 2020-06-27 一种护栏检测分类方法、装置、电子设备及存储介质 Active CN111881752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010593613.6A CN111881752B (zh) 2020-06-27 2020-06-27 一种护栏检测分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010593613.6A CN111881752B (zh) 2020-06-27 2020-06-27 一种护栏检测分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111881752A CN111881752A (zh) 2020-11-03
CN111881752B true CN111881752B (zh) 2023-04-28

Family

ID=73158366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010593613.6A Active CN111881752B (zh) 2020-06-27 2020-06-27 一种护栏检测分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111881752B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536883B (zh) * 2021-03-23 2023-05-02 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN112883948B (zh) * 2021-05-06 2021-09-03 深圳市城市交通规划设计研究中心股份有限公司 一种语义分割与边缘检测模型建立及护栏异常监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779280A (zh) * 2012-06-19 2012-11-14 武汉大学 一种基于激光传感器的交通信息提取方法
CN106204572A (zh) * 2016-07-06 2016-12-07 合肥工业大学 基于场景深度映射的道路目标深度估计方法
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216202A (zh) * 2014-08-25 2014-12-17 太仓中科信息技术研究院 一种结合惯性陀螺仪的摄像机视觉实时定位***及定位方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN109443209B (zh) * 2018-12-04 2019-12-31 四川大学 一种基于单应性矩阵的线结构光***标定方法
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN111222417A (zh) * 2019-12-24 2020-06-02 武汉中海庭数据技术有限公司 一种用于提高基于车载图像车道线提取精度的方法及装置
CN111192311B (zh) * 2019-12-31 2022-05-17 武汉中海庭数据技术有限公司 一种高精度地图制作中纵向减速标线自动提取方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779280A (zh) * 2012-06-19 2012-11-14 武汉大学 一种基于激光传感器的交通信息提取方法
CN106204572A (zh) * 2016-07-06 2016-12-07 合肥工业大学 基于场景深度映射的道路目标深度估计方法
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data

Also Published As

Publication number Publication date
CN111881752A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN106203398B (zh) 一种检测车道边界的方法、装置和设备
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
CN111191570B (zh) 图像识别方法和装置
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及***
US10235576B2 (en) Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof
CN110246183A (zh) 车轮接地点检测方法、装置及存储介质
CN111881752B (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN107609483A (zh) 面向驾驶辅助***的危险目标检测方法、装置
CN108090459A (zh) 一种适用于车载视觉***的交通标志检测识别方法
CN112036385B (zh) 库位修正方法、装置、电子设备及可读存储介质
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN111507126B (zh) 一种驾驶辅助***的报警方法、装置及电子设备
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN108629225A (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN114022854A (zh) 一种车辆逆行检测方法和装置及计算机可读存储介质
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant