CN110163047B - 一种检测车道线的方法及装置 - Google Patents
一种检测车道线的方法及装置 Download PDFInfo
- Publication number
- CN110163047B CN110163047B CN201810732366.6A CN201810732366A CN110163047B CN 110163047 B CN110163047 B CN 110163047B CN 201810732366 A CN201810732366 A CN 201810732366A CN 110163047 B CN110163047 B CN 110163047B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- vehicle
- frames
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种检测车道线的方法及装置,涉及道路检测技术领域,该方法包括:获得车载激光设备通过发射激光信号确定的N帧点云图像。将N帧点云图像拼接成目标点云图像,然后根据目标点云图像确定目标点云图像对应的点云强度图像,之后再从目标点云图像对应的点云强度图像中确定出车道线。由于激光信号受光照的影响较小,故采用车载激光设备发射激光信号获取点云图像用于检测车道线,提高了检测车道线的实时性和稳定性。由于拼接后的点云图像包含更多的信息,故根据拼接后的点云图像进行车道线检测,提高了检测车道线的精度。采用点云图像对应的点云强度图像检测车道线,避免了直接在3D空间中分析点云图像,提高了检测车道线的效率。
Description
技术领域
本发明实施例涉及道路检测技术领域,尤其涉及一种检测车道线的方法及装置。
背景技术
在自动驾驶中一个核心的技术环节为车辆的定位,只有知道了车辆在道路上的相对位置信息之后,才知道自动驾驶车辆在环境以及地图中所处的位置,从而进行后续的各个环节,例如计算出环境中的其他车辆等对象和自车的相对位置。目前,可以通过检测车道线来定位车辆的位置。在检测车道线时,先采用车辆的前置摄像头或者后置摄像头拍摄图像,然后对拍摄的图像进行处理确定车道线。由于摄像头是一种被动光源的传感器***,故在夜晚等光照条件较差的情况下,采集的图像较模糊,从而检测车道线的精度较低。除自动驾驶的需要外,道路检测技术还可能用于其他领域。
发明内容
由于现有技术中通过摄像头拍摄道路图像检测车道线的方法的精度受光照的影响大的问题,本发明实施例提供了一种检测车道线的方法及装置,以提高检测车道线的精度。
第一方面,本发明实施例提供了一种检测车道线的方法,该方法包括:获得车载激光设备通过发射激光信号确定的N帧点云图像,N为正整数。将所述N帧点云图像拼接成目标点云图像,然后根据所述目标点云图像确定所述目标点云图像对应的点云强度图像,之后再从所述目标点云图像对应的点云强度图像中确定出车道线。由于车载激光设备通过发射激光信号获取点云图像的过程受外界的干扰较小,对光源、天气等因素的适应性较强,故采用车载激光设备发射激光信号获取点云图像,然后通过对点云图像进行处理确定车道线时,车道线的检测精度受光源、天气的影响也较小,从而提高检测车道线的实时性和稳定性。其次,由于拼接后的点云图像包含更多的车道信息,同时对点云图像进行了增强,故在根据点云图像检测车道线时,先将多帧点云图像进行拼接,根据拼接后的点云图像进行车道线检测,从而提高了检测车道线的精度。另外,通过拼接后的点云图像检测车道线时,将点云图像转换为点云强度图像,避免了直接在3D空间中分析点云图像,从而一方面简化了检测车道线的过程,另一方面提高了检测车道线的效率。
可选地,所述将所述N帧点云图像拼接为目标点云图像,包括:
根据所述车载激光设备发射激光信号时的位置信息确定所述N帧点云图像之间的相对位置信息;
根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定所述目标点云图像。由于车载激光设备的位置不同时,车载激光设备通过发射激光信号确定的点云图像也会不同,故在对N帧点云图像进行拼接之前,先需根据车载激光设备发射激光信号时位置信息确定N帧点云图像之间的相对位置信息,然后根据N帧点云图像之间的相对位置信息对N帧点云图像进行拼接,确定目标点云图像,从而提高目标点云图像的准确性。
可选地,所述根据所述车载激光设备发射激光信号时的位置信息确定所述N帧点云图像之间的相对位置信息,包括:
针对任意两帧点云图像,在所述车载激光设备发射其中一帧点云图像对应的第一激光信号时,通过车载惯导设备确定所述车载激光设备的第一位置信息;
在所述车载激光设备发射另一帧点云图像对应的第二激光信号时,通过所述车载惯导设备确定所述车载激光设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息;
将所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息确定为所述两帧点云图像的相对位置信息。
由于车载激光设备发射激光信号的位置不同时,根据激光信号确定的点云图像也不一样,故车载激光设备的相对位置信息决定了点云图像之间的相对位置信息。由于车载惯导设备可以实时确定车载激光设备的位置信息,故通过车载惯导设备确定车载激光设备发射各激光信号时的位置信息,然后进一步确定车载激光设备发射各激光信号时的相对位置信息,将车载激光设备发射各激光信号时的相对位置信息作为各点云图像之间的相对位置信息,为后续各点云图像的拼接带来便利。
可选地,所述根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定所述目标点云图像,包括:
根据所述N帧点云图像之间的相对位置信息将所述N帧点云图像统一在同一坐标系中;
将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像。
可选地,所述将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像,包括:
将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像;
依次将第M子拼接点云图像与第M+2帧点云图像进行拼接,直到所述第M+2帧点云图像为第N帧点云图像时,确定所述目标点云图像,所述M为大于等于1的整数,所述N为大于等于3的整数。
由于在对N帧点云图像进行拼接时,以第一帧点云图像为基准,其他点云图像依次与第一帧点云图像拼接,故在确定N帧点云图像之间的相对位置信息时,只需要确定第一帧点云图像分别与其他N-1帧点云图像之间的相对位置信息,然后进行点云图像拼接,从而简化了图像拼接过程。
可选地,所述将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像,包括:
第一拼接步骤:将第M帧点云图像与第M+1帧点云图像进行拼接,确定N/2帧第一级拼接点云图像,1≤M<N,M为奇数;
第二拼接步骤:将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定N/4帧第二级拼接点云图像,1≤L<N/2,L为奇数,N为大于等于4的偶数;
依次执行所述第一拼接步骤、所述第二拼接步骤,直到确定出的拼接点云图像为一帧,形成所述目标点云图像。
由于相邻两帧点云图像之间的相似度相较于非相邻的点云图像之间的相似度更高,故相邻两帧点云图像之间进行拼接相较于非相邻两帧点云图像进行拼接来说,拼接误差更小,故在拼接N帧点云图像时,先根据相邻两帧点云图像之间的相对位置信息进行拼接,确定多帧子拼接点云图像,然后再将相邻的子拼接点云图像进行拼接,直到确定目标点云图像,从而减少了N帧点云图像拼接时的拼接误差,提高目标点云图像的准确性。
可选地,所述从所述目标点云图像对应的点云强度图像中确定出车道线,包括:
根据所述点云强度图像的像素灰度值对所述点云强度图像进行分割,确定车道线。由于车道线一般为白色或黄色,而路面为黑色或灰色,故在采用车载激光设备发射激光信号获取的点云强度图像中,车道线的反射强度与路面的反射强度存在明显的区别,所以获取的点云强度图像中,车道线的像素灰度值与路面的像素灰度值也存在明显区别,根据点云强度图像的像素灰度值对点云图像进行分割能有效检测出车道线,提高检测车道线的检测精度。
第二方面,本发明实施例提供了一种检测车道线的装置,包括:
获取模块,用于获得车载激光设备通过发射激光信号确定的N帧点云图像,N为正整数;
拼接模块,用于将所述N帧点云图像拼接成目标点云图像;
处理模块,用于确定所述目标点云图像对应的点云强度图像;
检测模块,用于从所述目标点云图像对应的点云强度图像中确定出车道线。
可选地,所述拼接模块具体用于:
根据所述车载激光设备发射激光信号时的位置信息确定所述N帧点云图像之间的相对位置信息;
根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定所述目标点云图像。
可选地,所述拼接模块具体用于:
针对任意两帧点云图像,在所述车载激光设备发射其中一帧点云图像对应的第一激光信号时,通过车载惯导设备确定所述车载激光设备的第一位置信息;
在所述车载激光设备发射另一帧点云图像对应的第二激光信号时,通过所述车载惯导设备确定所述车载激光设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息;
将所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息确定为所述两帧点云图像的相对位置信息。
可选地,所述拼接模块具体用于:
根据所述N帧点云图像之间的相对位置信息将所述N帧点云图像统一在同一坐标系中;
将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像。
可选地,所述拼接模块具体用于:
将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像;
依次将第M子拼接点云图像与第M+2帧点云图像进行拼接,直到所述第M+2帧点云图像为第N帧点云图像时,确定所述目标点云图像,所述M为大于等于1的整数,所述N为大于等于3的整数。
可选地,所述拼接模块具体用于:
第一拼接步骤:将第M帧点云图像与第M+1帧点云图像进行拼接,确定N/2帧第一级拼接点云图像,1≤M<N,M为奇数;
第二拼接步骤:将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定N/4帧第二级拼接点云图像,1≤L<N/2,L为奇数;
依次执行所述第一拼接步骤、所述第二拼接步骤,直到确定出的拼接点云图像为一帧,形成所述目标点云图像,N为大于等于4的偶数。
可选地,所述检测模块具体用于:
根据所述点云强度图像的像素灰度值对所述点云强度图像进行分割,确定车道线。
第三方面,本发明实施例提供了一种自动驾驶控制方法,包括,检测车道线并根据车道线控制行驶路线,采用上述任一项所述的方法检测所述车道线。
第四方面,本发明实施例提供了一种自动驾驶控制***,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行上述任一项所述方法的步骤。
第五方面,本发明实施例提供了一种计算机可读介质,其存储有计算机程序,当所述程序运行时,执行上述任一所述方法的步骤。
本发明实施例中,由于车载激光设备通过发射激光信号获取点云图像的过程对光源、天气等因素的适应性较强,故采用车载激光设备发射激光信号获取点云图像,然后通过对点云图像进行处理确定车道线时,车道线的检测精度受光源、天气的影响较小,从而提高检测车道线的实时性和稳定性。其次,由于拼接后的点云图像包含更多的车道信息,同时对点云图像进行了增强,故在根据点云图像检测车道线时,先将多帧点云图像进行拼接,根据拼接后的点云图像进行车道线检测,从而提高了检测车道线的精度。在拼接点云图像时,由于车载激光设备的位置不同时,车载激光设备通过发射激光信号确定的点云图像也会不同,故在对N帧点云图像进行拼接之前,先根据车载激光设备发射激光信号时位置信息确定N帧点云图像之间的相对位置信息,然后根据N帧点云图像之间的相对位置信息对N帧点云图像进行拼接,确定目标点云图像,从而提高目标点云图像的准确性。另外,通过拼接后的点云图像检测车道线时,将点云图像转换为点云强度图像,避免了直接在3D空间中分析点云图像,从而一方面简化了检测车道线的过程,另一方面提高了检测车道线的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用场景图;
图2为本发明实施例提供的一种检测车道线的装置的结构示意图;
图3为本发明实施例提供的一种检测车道线的方法的流程示意图;
图4为本发明实施例提供的一种车道线的示意图;
图5为本发明实施例提供的一种确定点云图像的相对位置信息的流程示意图;
图6为本发明实施例提供的一种位置坐标的示意图;
图7为本发明实施例提供的一种角度坐标的示意图;
图8为本发明实施例提供的一种点云图像拼接的示意图;
图9为本发明实施例提供的一种点云图像拼接的示意图;
图10为本发明实施例提供的一种点云图像拼接的示意图;
图11a为本发明实施例提供的一种点云强度图像的示意图;
图11b为本发明实施例提供的一种点云强度图像的示意图;
图12为本发明实施例提供的一种车道线的示意图;
图13为本发明实施例提供的一种检测车道线的装置的结构示意图;
图14为本发明实施例提供的一种驾驶控制***的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本发明实施例中涉及的名词进行解释。
激光雷达:一种以发射激光束探测目标的位置、速度等特征量的雷达***。通过向目标发射探测信号(激光束),然后将接收到的从目标反射回来的回波信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对目标进行探测、跟踪和识别。
激光点云:通过测量仪器得到的产品外观表面的点数据集合称之为点云。当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云。
激光点云图像的拼接:在特定时刻,激光雷达采集的点云图像为某一瞬时的图像,在车辆或者车载激光设备中通常设有定位设备,比如车载惯导,利用车载惯导设备输出的位置信息可以将相邻时刻的点云图像拼接起来,这样就得到了在不同时刻的点云图像,多帧拼接后的点云图像更加丰富,特征更为明显,为环境感知提供了丰富的数据支撑。
点云强度信息:车载激光设备发射激光信号后采集到的反射强度信息,反射强度信息与目标的表面材质、粗糙度、入射角方向以及激光设备的发射能量,激光波长有关。
在具体实践过程中,本发明的发明人发现,无人驾驶车辆或辅助驾驶车辆在行驶过程中,可以根据车道线的位置来定位自车的位置。现有主要采用车辆的前置摄像头或者后置摄像头拍摄图像,然后根据拍摄的图像检测出车道线。然而在夜晚等光照条件较差的情况下,摄像头采集的图像很模糊,有时候从拍摄的图像中无法识别出车道线,从而影响检测车道线的精度以及实时性,因此需要一种对外界环境适应性较强的检测车道线的方法,以提高检测车道线的精度和实时性。
为此,本发明的发明人考虑到,激光雷达发射的激光信号受外界干扰相对较小,对光源、天气等因素适应性较强。激光雷达可以通过向目标发射激光信号,然后将接收的从目标反射回来的回波信号与发射信号进行比较,从而获得与目标有关的信息。故本发明实施例中,采用车载激光设备发射激光信号确定点云图像,然后根据点云图像检测车道线,从而提高检测车道线的实时性。其次,由于车载激光设备通过发射激光信号获取的点云至少包括三维坐标和反射强度,而车载激光设备(比如Velodyne 64线激光雷达)扫描获取一帧点云图像时,点云达到10万以上,数据量非常庞大。若直接对车载激光设备确定的原始点云数据进行处理,较难达到实时性需求。为此,本发明的发明人考虑到,车道线一般为白色或黄色,而路面为黑色或灰色,车道线对激光信号的反射强度与路面对激光信号的反射强度是不同的,在点云图像对应的点云强度图像中车道线与路面也会存在明显的区别。因此,直接将点云图像转换为点云强度图像,然后根据点云强度图像检测车道线,从而减少了检测车道线时需要处理的数据量,提高了车道线检测的实时性。由于在点云强度图像中,车道线的像素灰度值与路面的像素灰度值存在明显区别,因此,本发明实施例中,根据点云强度图像的像素灰度值对点云图像进行分割检测车道线,提高检测车道线的精度。另外,点云图像中点云的三维坐标与反射强度是对应的,故通过点云强度图像检测出车道线后,根据点云的三维坐标与反射强度的对应关系,可以确定出车道线对应的点云的三维坐标,然后根据点云的三维坐标确定出车道线的位置。再者,本发明的发明人发现,通过单帧点云强度图像检测车道线时,由于单帧点云强度图像包含的信息量较少,检测距离有限,故无法通过单帧点云强度图像判断当前检测到的车道线是实线还是虚线,另外单帧点云强度图像中车道线与地面之间分界也不是很明显,从而影响车道线的检测精度。因此,本发明实施例中,通过车载激光设备发射激光信号确定多帧点云图像,然后将多帧点云图像进行拼接,确定目标点云图像,然后再根据目标点云图像对应的点云强度图像检测车道线。由于多帧点云图像拼接后确定的目标点云图像包含更多的信息,检测的距离也更远,故能很好地判断出车道线是实线还是虚线,同时提高了对点云强度图像进行图像分割时的精度,从而进一步提高检测车道线的精度。
本发明实施例中的检测车道线的方法可以应用于如图1所示的应用场景,在该应用场景中包括车辆101和车载激光设备102。
车辆101可以无人驾驶车辆,也可以是辅助驾驶智能车。车辆101中包括自动驾驶控制***,在无人驾驶车辆中,自动驾驶控制***利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。在辅助驾驶智能车中,自动驾驶控制***利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,实现在碰撞不可避免时采取紧急刹车等措施,以保护驾驶人员安全。
车载激光设备102为装载在车辆上的激光雷达,是一种移动型三维激光扫描***。车载激光设备102可以位于车辆101的顶部、车头、车尾等等。车载激光设备102由激光发射机、光学接收机、转台和信息处理***等组成,激光发射机将电信号变成激光信号发射出去,光学接收机再把从目标反射回来的激光信号还原成电信号,送到信息处理***。激光发射机在发射激光信号时,转台转动实现激光扫描。信息处理***将光学接收机接收到的从目标反射回来的激光信号与激光发射机发射的激光信号进行比较,作适当处理后,就可获得点云图像,点云图像包括点云的三维坐标、点云的反射强度等等。
车辆101中还包括全球定位***(Global Positioning System,简称GPS)、车载惯导设备等定位设备,定位设备可以是位于车辆101内部,也可以位于车载激光设备102中。其中,惯导设备是一种不依赖于外部信息、也不向外部辐射能量的自主式导航***,其工作环境不仅包括空中、地面,还可以在水下。惯导设备的基本工作原理是以牛顿力学定律为基础,通过测量载体在惯性参考系的加速度,将它对时间进行积分,且把它变换到导航坐标系中,就能够得到在导航坐标系中的速度、偏航角和位置等信息。
进一步地,在图1所示的应用场景图中,车辆101中的自动驾驶控制***包括检测车道线的装置,该装置的结构示意图如图2所示,该装置包括获取模块1011、拼接模块1012、处理模块1013以及检测模块1014。获取模块1011从车载激光设备102中获取N帧点云图像,通过定位设备确定车载光设备发射N帧点云图像对应的激光信号时的位置信息。拼接模块1012根据车载光设备发射N帧点云图像对应的激光信号时的位置信息确定N帧点云图像之间的相对位置信息,然后根据N帧点云图像之间的相对位置信息将N帧点云图像拼接为目标点云图像,然后将目标点云图像发射至处理模块1003,由处理模块1003将目标点云图像转化为点云强度图像。检测模块1004根据点云图像的像素灰度值对点云强度图像进行分割确定车道线。
基于图1所示的应用场景图和图2所示的检测车道线的装置的结构示意图,本发明实施例提供了一种检测车道线的方法的流程,该方法的流程可以由检测车道线的装置执行,如图3所示,包括以下步骤:
步骤S301,获得车载激光设备通过发射激光信号确定的N帧点云图像,N为正整数。
车道线用来指示车辆在路口驶入段应按所指方向行驶。在车流大的交通路口一般画有此类标线,目的就是明确行车方向,各行其道,减缓交通压力,车道线包括白色虚线、白色实线、导向指示线、减速提示线等等,示例性地,如图4所示,图中包含的车道线为白色实线以及导向指示线。
车载激光设备以扫描的形式发射激光信号,每次发射激光信号的时间间隔根据实际情况进行设定,比如每隔0.1秒或0.2秒等等。车载激光设备发射激光信号后接收路面返回的回波信号,根据返回的回波信号确定点云图像。在检测车道线时,可以获取车载激光设备连续确定的N帧点云图像,也可以获取车载激光设备非连续确定的N帧点云图像。示例性地,车载激光设备每隔0.1秒发射一次激光信号,1秒内确定了10帧点云图像。设定N为5,检测车道线时,可以获取车载激光设备确定的前5帧点云图像,即第一帧点云图像至第五帧点云图像。也可以从车载激光设备确定的10帧点云图像中每隔一帧选取一帧点云图像,即第一帧、第三帧、第五帧、第七帧以及第九帧点云图像。还可以是其他选择点云图像的方法,此处不再一一赘述。
点云图像由多个点云组成,每个点云包括三维坐标、反射强度等信息。
步骤S302,将N帧点云图像拼接成目标点云图像。
具体地,可以根据车载激光设备发射N帧点云图像对应的激光信号时的位置信息确定N帧点云图像之间的相对位置信息。也可以根据车载激光设备接收N帧点云图像对应的回波信号时的位置信息确定N帧点云图像之间的相对位置信息。然后根据N帧点云图像之间的相对位置信息依次将N帧点云图像进行拼接,确定目标点云图像。
下面对确定N帧点云图像之间的相对位置信息的过程进行说明,针对N帧点云图像中任意两帧点云图像,设定其中一帧点云图像为基准点云图像,另一帧点云图像为待拼接点云图像,如图5所示,包括以下步骤:
步骤S501,车载激光设备发射基准点云图像对应的第一激光信号。
步骤S501,车载惯导设备确定车载激光设备发射第一激光信息时的第一位置信息。
步骤S503,车载激光设备发射待拼接点云图像对应的第二激光信号。
步骤S504,车载惯导设备确定车载激光设备发射第二激光信息时的第二位置信息。
位置信息包括位置坐标和角度坐标,车载惯导设备通过检测车辆在行驶过程中的加速度,然后对加速度进行积分确定速度,对速度进一步进行积分即可确定车辆的位置坐标。由于车载激光设备是固定在车辆上,故可以将车辆的位置坐标作为车载激光设备的位置坐标。示例性地,如图6所示,设定路面纵向为X轴、路面横向为Y轴,与路面垂直的方向为Z轴,建立导航坐标系。导航坐标系的原点坐标根据实际情况进行设定,比如原点坐标可以是车载激光设备在发射基准点云图像对应的激光信号时的位置坐标,即第一位置坐标。原点坐标也可以是车载激光设备在发射待拼接点云图像对应的激光信号时的位置坐标,即第二位置坐标。原点坐标还可以是除第一位置坐标和第二位置坐标之外的其他坐标。下面以第一位置坐标为导航坐标系的原点坐标为例进行说明,比如车辆从第一位置坐标(0,0,0)所在的位置出发,0.1秒后到达第二位置坐标所在的位置,车载激光设备在第二位置坐标所在的位置发射激光信号,车载惯导设备获取在该0.1秒内,车辆在X轴方向的加速度,对加速度进行两次积分后获取车辆在X轴方向的位置坐标为1。同样地,车载惯导设备获取在该0.1秒内,车辆在Y轴方向的加速度,对加速度进行两次积分后获取车辆在Y轴方向的位置坐标为1。由于车辆在Z轴方向的加速度为0,故车辆在Z轴方向的位置坐标为0,根据车辆在X轴、Y轴以及Z轴方向的位置坐标即可确定第二位置坐标为(1,1,0)。
角度坐标为车载激光设备相对于基准角度来说,绕X轴、Y轴以及Z轴旋转的角度。由于车载激光设备是固定在车辆上,故可以将车辆的角度坐标作为车载激光设备的角度坐标。在确定车载激光设备的角度坐标之前,先需设定基准角度坐标,比如基准角度坐标可以是车载激光设备在发射基准点云图像对应的激光信号时的角度坐标,即第一角度坐标。基准角度坐标也可以是车载激光设备在发射待拼接点云图像对应的激光信号时的角度坐标,即第二角度坐标。基准角度坐标还可以是除第一角度坐标和第二角度坐标之外的其他角度坐标。示例性地,如图7所示,设定基准角度坐标为第一角度坐标(0°,0°,0°),0.1秒后车载激光设备发射待拼接点云图像对应的激光信号,此时车辆相较于第一角度坐标来说,绕Z轴顺时针旋转了30度,故车载激光设备的第二角度坐标为绕Z轴顺时针旋转30度,即(0°,0°,30°)。
需要说明的是,在确定车载激光设备的位置信息时,不仅仅只能采用车载惯导设备,还可以采用车载GPS。
步骤S505,根据第一位置信息和第二位置信息确定车载激光设备发射第一激光信号时和发射第二激光信号时的相对位置信息。
相对位置信息包括位置偏移和角度偏移。比如第一位置坐标为(0,0,0),第二位置坐标为(1,1,0),那么第一位置坐标与第二位置坐标之间的位置偏移为沿X轴方向偏移了1,沿Y轴方向偏移了1。又比如,第一角度坐标为绕X轴、Y轴、Z轴顺时针旋转0度,即(0°,0°,0°)。第二角度坐标为绕Z轴顺时针旋转30度,即(0°,0°,30°)。那么,第一角度坐标与第二角度坐标之间的角度偏移为绕Z轴顺时针旋转30度。
步骤S506,将车载激光设备发射第一激光信号时和发射第二激光信号时的相对位置信息确定为基准点云图像和待拼接点云图像的相对位置信息。
可选地,在确定N帧点云图像之间的相对位置信息之后,根据N帧点云图像之间的相对位置信息将N帧点云图像统一在同一坐标系中,然后将统一坐标系后的N帧点云图像进行拼接确定目标点云图像。
下面对将N帧点云图像统一在同一坐标系中进行示例性说明,设定第一位置坐标为(0,0,0),第二位置坐标为(1,1,0),第一位置坐标与第二位置坐标之间的位置偏移为沿X轴方向偏移了1,沿Y轴方向偏移了1,那么待拼接点云图像相较于基准点云图像来说,沿X轴方向偏移了1,沿Y轴方向偏移了1。为了将待拼接点云图像中点云的位置坐标转换为基准点云图像的位置坐标,待拼接点云图像中每一个点云需将原有坐标中的X坐标值加1,将原有坐标中的Y坐标值加1。比如若待拼接点云图像中点云A的位置坐标为(0,1,0),将点云A的位置坐标转换至基准点云图像的位置坐标后为(1,2,0)。
示例性地,设定第一角度坐标与第二角度坐标之间的角度偏移为绕Z轴顺时针旋转30度,那么待拼接点云图像相较于基准点云图像来说,角度偏移为绕Z轴顺时针旋转30度。为了将待拼接点云图像中点云的角度坐标转换为基准点云图像的坐标系中的角度坐标,待拼接点云图像中每一个点云需将原有角度坐标绕Z轴顺时针再旋转30度。比如待拼接点云图像中点云A的角度坐标为(0°,0°,30°),将点云A的角度坐标转换至基准点云图像的坐标系后的角度坐标为(0°,0°,60°)。
由于车载激光设备通过发射激光信息确定点云图像时,点云图像中各点云的位置信息都是以车载激光设备发射激光时的位置信息为基准确定的,故在车载激光设备的位置发生变化时,点云图像的坐标系就会随着变化,同时各个点云图像不会在同一个坐标系,因此并不能直接拼接。本发明实施例中,先根据第一位置信息和第二位置信息确定车载激光设备发射第一激光信号时和发射第二激光信号时的相对位置信息,然后将车载激光设备发射第一激光信号时和发射第二激光信号时的相对位置信息作为基准点云图像和待拼接点云图像的相对位置信息,将基准点云图像和待拼接点云图像统一到一个坐标系下,之后再进行拼接,从而提高拼接后的目标点云图像的准确性。
在将统一坐标系后的N帧点云图像进行拼接确定目标点云图像的过程中,至少包括以下几种拼接方式:
在一种可能的拼接方式中,将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像,依次将第M子拼接点云图像与第M+2帧点云图像进行拼接,直到所述第M+2帧点云图像为第N帧点云图像时,确定所述目标点云图像,所述M为大于等于1的整数,所述N为大于等于3的整数。
示例性地,如图8所示,设定N等于4,将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像。将第一将子拼接点云图像与第三帧点云图像进行拼接,确定第二子拼接点云图像。将第二将子拼接点云图像与第四帧点云图像进行拼接,确定目标点云图像。由于在对N帧点云图像进行拼接时,以第一帧点云图像为基准,其他点云图像依次与第一帧点云图像拼接,故只需要确定第一帧点云图像分别与其他N-1帧点云图像之间的相对位置信息,从而简化了拼接过程。
在一种可能的拼接方式中,第一拼接步骤:将第M帧点云图像与第M+1帧点云图像进行拼接,确定N/2帧第一级拼接点云图像,1≤M<N,M为奇数,N为大于等于2的偶数。第二拼接步骤:将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定N/4帧第二级拼接点云图像,1≤L<N/2,L为奇数,依次执行第一拼接步骤、第二拼接步骤,直到确定出的拼接点云图像为一帧,形成所述目标点云图像,N为大于等于2的偶数。
示例性地,如图9所示,设定N为4,将第一帧点云图像与第二帧点云图像进行拼接,确定第一级拼接点云图像1。将第三帧点云图像与第四帧点云图像进行拼接,确定第一级拼接点云图像2。将第一级拼接点云图像1与第一级拼接点云图像2进行拼接确定目标点云图像。
在一种可能的拼接方式中,依次将第M帧点云图像与第M+1帧点云图像进行拼接,确定(N-1)/2帧第一级拼接点云图像,1≤M<N,M为奇数,N为大于等于3的奇数。依次将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定(N-1)/4帧第二级拼接点云图像,1≤L<(N-1)/2,L为奇数,依次类推,直到确定出的拼接点云图像为一帧,形成所述目标点云图像。可选地,由于N为奇数,故第N帧点云图像没有与其他点云图像进行拼接,确定第一级拼接点云图像。因此在进行点云图像拼接时,可以直接丢弃第N帧点云图像,也可以将第N帧点云图像直接作为第一级拼接点云图像与其他第一级拼接点云图像拼接,还可以将第N帧点云图像直接作为第二级拼接点云图像与第二级拼接点云图像拼接等等,对此,本发明实施例不做具体限定。
示例性地,如图10所示,设定N为5,将第一帧点云图像与第二帧点云图像进行拼接,确定第一级拼接点云图像1。将第三帧点云图像与第四帧点云图像进行拼接,确定第一级拼接点云图像2。将第一级拼接点云图像1与第一级拼接点云图像2进行拼接确定第二级拼接点云图像1。将第二级拼接点云图像1与第五帧点云图像进行拼接,确定目标点云图像。由于相邻两帧点云图像之间的相似度相较于非相邻的点云图像之间的相似度更高,故相邻两帧点云图像之间进行拼接相较于非相邻两帧点云图像进行拼接来说,拼接误差更小,故在拼接N帧点云图像时,先将N帧点云图像根据相邻两帧点云图像之间的相对位置信息进行拼接,确定多帧子拼接点云图像,然后再将相邻的子拼接点云图像进行拼接,直到确定目标点云图像,从而减少N帧点云图像拼接时的拼接误差,提高目标点云图像的准确性。
需要说明的是,上述几种拼接方式只是作为示例进行说明,本发明实施例中的点云图像的拼接方式并不仅限于上述几种。
步骤S303,确定目标点云图像对应的点云强度图像。
通过车载激光设备发射激光信号确定点云图像中,每个点云至少包括三维坐标和反射强度,三维坐标和反射强度之间存在映射关系。由于每帧点云图像包含点云数据量较大,直接对点云图像进行检测确定车道线的方法效率较低。为了提高从目标点云图像中检测出车道线的效率,可以将目标点云图像映射为对应的点云强度图像,然后根据点云强度图像检测车道线,省去了对点云的三维坐标进行处理。
示例性地,单帧点云图像映射为点云强度图像后如图11a所示,图中黑色竖线即为车道线。由于车载激光设备发射激光信号的距离较近,故单帧点云强度图像包含的信息量较少。在遇到检测车道线为虚线和实线时,由于检测距离有限,无法通过单帧点云强度图像判断当前检测到的车道线是实线还是虚线,比如图11a所示的点云强度图中,虽然检测出了车道线,但是并不确定该车道线是实线还是虚线,因此也无法进一步控制车辆变道。其次,由于单帧点云强度图像包含的信息量较少,故在点云强度图像中检测车道线时,会影响车道线的检测精度。为了解决单帧点云图像在检测车道线时出现的问题,本发明实施中,将N帧点云图像拼接为目标点云图像,然后再将目标点云图像转化为点云强度图像。
示例性地,设定通过车载激光设备发射激光信号连续获取三帧点云图像,分别为点云图像A、点云图像B以及点云图像C。获取车载激光设备发送这三帧点云图像对应的激光信号时的位置信息,分别为第一位置信息、第二位置信息和第三位置信息。
首先以点云图像A的坐标系为基准,将点云图像A与点云图像B进行拼接,具体为:根据第一位置信息和第二位置信息确定点云图像A和点云图像B的相对位置信息。然后根据点云图像A和点云图像B之的相对位置信息将点云图像B的坐标系转换至点云图像A的坐标系,之后再将点云图像A与点云图像B进行拼接,确定第一子拼接点云图像。
接着将第一子拼接点云图像与点云图像C进行拼接,具体为:由于以点云图像A的坐标系为基准,将点云图像B的坐标系转换至点云图像A的坐标系后再将点云图像A与点云图像B进行拼接,确定第一子拼接点云图像,故第一子拼接点云图像的坐标系为点云图像A的坐标系,因此可以根据第一位置信息和第三位置信息确定第一子拼接点云图像和点云图像C的相对位置信息。然后根据第一子拼接点云图像和点云图像C之的相对位置信息将点云图像C的坐标系转换至点第一子拼接点云图像的坐标系,之后再将第一子拼接点云图像与点云图像C进行拼接,确定目标点云图像。目标点云图像对应的点云强度图像如图11b所示,其中黑色竖线为车道线。由图11b可见,检测到的车道线为虚线,自动驾驶控制***可以以此为依据控制车辆变道。通过将多帧点云图像进行拼接后,能够获取更多的信息,能够测量更长的距离,故能检测出车道线为实线还是虚线,从而在提高车道线的检测精度。其次,由于点云强度图像中的反射强度与点云的三维坐标具备映射关系,故在根据点云强度图像检测出车道线之后,不必经过复杂且不稳定的坐标变换,而是直接根据反射强度与三维坐标之间的映射关系确定车道线的位置信息,从而提高自动驾驶车中利用车道线进行定位的精度。
步骤S304,从目标点云图像对应的点云强度图像中确定出车道线。
可选地,由于车道线的颜色与路面的颜色存在较大的区别,故在采用车载激光设备发射激光信号获取的点云强度图像中,车道线的反射强度与路面的反射强度会存在明显的区别,故可以根据点云强度图像的像素灰度值对点云强度图像进行分割,确定车道线。
在具体对点云强度图像进行分割时,至少包括以下几种实施方式:
在一种可能的实施方式中,采用阈值分割法对点云强度图像进行分割确定车道线。具体过程为:首先设置一个阈值T,该阈值可以为全局阈值、自适应阈值、最佳阈值等等。然后将阈值T与点云图像中各个像素点的灰度值逐个进行比较。将灰度值大于阈值的像素点置为1,将灰度值小于阈值的像素点置为0。然后将置为1的像素点组成的区域确定为点云强度图像中的车道线所在的区域。
在一种可能的实施方式中,采用区域分割法对点云强度图像进行分割确定车道线。具体过程为:首先从点云强度图像中选取种子像素,种子像素可以是点云强度图像中车道线区域的单个像素,也可以是包含若干个像素的小区域。然后根据点云强度图像中车道线区域的像素灰度值确定相似性规则,同时制定让生长停止的条件或准则。之后将种子像素周围邻域中与种子像素的灰度值相同或相近的像素合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程,直到没有满足条件的像素可被包括进来时,停止区域生长。停止区域生长后的种子像素所在的区域即为点云强度图像中的车道线。
在一种可能的实施方式中,采用边缘分割法对点云强度图像进行分割确定车道线。具体过程为:对点云强度图像进行边缘检测,通过边缘检测能确定点云强度图像中车道线的边缘,然后进一步根据车道线的边缘确定点云强度图像中车道线的位置。具体地,边缘检测即检测灰度级或者结构具有突变的地方,表明一个区域的终结,也是另一个区域开始的地方。图像中边缘处像素的灰度值不连续,这种不连续性可通过求导数来检测到。对于阶跃状边缘,其位置对应一阶导数的极值点,对应二阶导数的过零点。因此可以采用微分算子进行边缘检测,常用的一阶微分算子有Roberts算子、Prewitt算子和Sobel算子,二阶微分算子有Laplace算子和Kirsh算子等。
在一种可能的实施方式中,预先将多帧人工标记了车道线的点云强度图像作为训练样本输入卷积神经网络进行训练,确定出能从点云强度图像中检测出车道线的卷积神经网络模型。故在实时检测车道线时,将目标点云图像对应的点云强度图像输入至卷积神经网络进行特征提取,确定点云强度图像中的车道线。需要说明的是,对点云强度图像进行分割的方法并不仅限于上述四种,还可以是直方图法、水平集法等等,对此,本发明实施不做具体限定。
本发明实施例中,由于车载激光设备通过发射激光信号获取点云图像的过程受外界的干扰较小,对光源、天气等因素的适应性较强,故采用车载激光设备发射激光信号获取点云图像,然后通过对点云图像进行处理确定车道线时,车道线的检测精度受光源、天气的影响也较小,从而提高检测车道线的实时性和稳定性。其次,由于拼接后的点云图像包含更多的车道信息,同时对点云图像进行了增强,故在根据点云图像检测车道线时,先将多帧点云图像进行拼接,根据拼接后的点云图像进行车道线检测,从而提高了检测车道线的精度。另外,通过拼接后的点云图像检测车道线时,将点云图像转换为点云强度图像,避免了直接在3D空间中分析点云图像,从而一方面简化了检测车道线的过程,另一方面提高了检测车道线的效率。
本发明实施例还提供了一种自动驾驶控制方法,该方法包括以下步骤:检测车道线的装置获得车载激光设备通过发射激光信号确定的N帧点云图像,将N帧点云图像拼接成目标点云图像,然后根据目标点云图像确定目标点云图像对应的点云强度图像,之后再从目标点云图像对应的点云强度图像中确定出车道线。自动驾驶控制***通过检测车道线的装置检测出车道线后,可以根据车道线的位置以及车辆的当前位置确定车辆与车道线的相对位置,然后进一步根据车辆与车道线的相对位置调整车辆的位置。示例性地,设定检测出的车道线以及车辆的位置如图12所示,由图12可知,车辆当前位置靠近左侧车道线,故自动驾驶控制***可以在控制车辆向前行驶的过程中,同时控制车辆靠近右侧车道线,直到车辆的位置位于两侧车道线中间。自动驾驶控制***通过检测车道线的装置检测出车道线后,还可以根据车道线的类型调整车辆的行驶车道。示例性地,由图12可知,车辆当前位置的左右车道线为虚线,自动驾驶控制***可以在控制车辆从当前车道变换到左侧车道或右侧车道。通过车载激光设备检测出车道线,为自动驾驶提供了高精度的车道线位置信息,从而有效的提高自动驾驶的定位精度。
基于相同的技术构思,本发明实施例提供了一种检测车道线的装置,如图13所示,该装置1300包括:获取模块1301、拼接模块1302、处理模块1303以及检测模块1304。
获取模块1301,用于获得车载激光设备通过发射激光信号确定的N帧点云图像,N为正整数;
拼接模块1302,用于将所述N帧点云图像拼接成目标点云图像;
处理模块1303,用于确定所述目标点云图像对应的点云强度图像;
检测模块1304,用于从所述目标点云图像对应的点云强度图像中确定出车道线。
可选地,所述拼接模块1302具体用于:
根据所述车载激光设备发射激光信号时的位置信息确定所述N帧点云图像之间的相对位置信息;
根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定所述目标点云图像。
可选地,所述拼接模块1302具体用于:
针对任意两帧点云图像,在所述车载激光设备发射其中一帧点云图像对应的第一激光信号时,通过车载惯导设备确定所述车载激光设备的第一位置信息;
在所述车载激光设备发射另一帧点云图像对应的第二激光信号时,通过所述车载惯导设备确定所述车载激光设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息;
将所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息确定为所述两帧点云图像的相对位置信息。
可选地,所述拼接模块1302具体用于:
根据所述N帧点云图像之间的相对位置信息将所述N帧点云图像统一在同一坐标系中;
将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像。
可选地,所述拼接模块1302具体用于:
将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像;
依次将第M子拼接点云图像与第M+2帧点云图像进行拼接,直到所述第M+2帧点云图像为第N帧点云图像时,确定所述目标点云图像,所述M为大于等于1的整数,所述N为大于等于3的整数。
可选地,所述拼接模块1302具体用于:
第一拼接步骤:将第M帧点云图像与第M+1帧点云图像进行拼接,确定N/2帧第一级拼接点云图像,1≤M<N,M为奇数;
第二拼接步骤:将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定N/4帧第二级拼接点云图像,1≤L<N/2,L为奇数;
依次执行所述第一拼接步骤、所述第二拼接步骤,直到确定出的拼接点云图像为一帧,形成所述目标点云图像,N为大于等于4的偶数。
可选地,所述检测模块1304具体用于:
根据所述点云强度图像的像素灰度值对所述点云强度图像进行分割,确定车道线。
基于相同的技术构思,本发明实施例提供了一种自动驾驶控制***,如图14所示,包括至少一个处理器1401,以及与至少一个处理器连接的存储器1402,本发明实施例中不限定处理器1401与存储器1402之间的具体连接介质,图14中处理器1401和存储器1402之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中,存储器1402存储有可被至少一个处理器1401执行的指令,至少一个处理器1401通过执行存储器1402存储的指令,可以执行前述的检测车道线的方法中所包括的步骤。
其中,处理器1401是自动驾驶控制***的控制中心,可以利用各种接口和线路连接自动驾驶控制***的各个部分,通过运行或执行存储在存储器1402内的指令以及调用存储在存储器1402内的数据,从而检测车道线。可选的,处理器1401可包括一个或多个处理单元,处理器1401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1401中。在一些实施例中,处理器1401和存储器1402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器1402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本发明实施例提供了一种计算机可读介质,其存储有计算机程序,当所述程序运行时,执行如前述的检测车道线的方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器,使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种检测车道线的方法,其特征在于,所述方法应用于自动驾驶车辆,并且所述方法包括:
获得车载激光设备通过发射激光信号确定的N帧点云图像,N为大于1的正整数;
根据所述车载激光设备在发射所述N帧点云图像各自对应的激光信号时的位置信息,确定所述N帧点云图像之间的相对位置信息,所述位置信息包括位置坐标和角度坐标;
根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定目标点云图像;
将所述目标点云图像映射为对应的点云强度图像;
从所述目标点云图像对应的点云强度图像中确定出车道线;
根据点云的三维坐标与所述目标点云图像中的反射强度的映射关系,确定所述车道线的位置信息,所述车道线的位置信息用于对所述自动驾驶车辆进行定位。
2.如权利要求1所述的方法,其特征在于,所述根据所述车载激光设备发射激光信号时的位置信息确定所述N帧点云图像之间的相对位置信息,包括:
针对任意两帧点云图像,在所述车载激光设备发射其中一帧点云图像对应的第一激光信号时,通过车载惯导设备确定所述车载激光设备的第一位置信息;
在所述车载激光设备发射另一帧点云图像对应的第二激光信号时,通过所述车载惯导设备确定所述车载激光设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息;
将所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息确定为所述两帧点云图像的相对位置信息。
3.如权利要求2所述的方法,其特征在于,所述根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定所述目标点云图像,包括:
根据所述N帧点云图像之间的相对位置信息将所述N帧点云图像统一在同一坐标系中;
将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像。
4.如权利要求3所述的方法,其特征在于,所述将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像,包括:
将第一帧点云图像与第二帧点云图像进行拼接,确定第一子拼接点云图像;
依次将第M子拼接点云图像与第M+2帧点云图像进行拼接,直到所述第M+2帧点云图像为第N帧点云图像时,确定所述目标点云图像,所述M为大于等于1的整数,所述N为大于等于3的整数。
5.如权利要求3所述的方法,其特征在于,所述将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像,包括:
第一拼接步骤:将第M帧点云图像与第M+1帧点云图像进行拼接,确定N/2帧第一级拼接点云图像,1≤M<,M为奇数;
第二拼接步骤:将第L帧第一级拼接点云图像与第L+1帧第一级拼接点云图像进行拼接,确定N/4帧第二级拼接点云图像,1≤L</2,L为奇数,N为大于等于4的偶数;
依次执行所述第一拼接步骤、所述第二拼接步骤,直到确定出的拼接点云图像为一帧,形成所述目标点云图像。
6.如权利要求1至5任一所述的方法,其特征在于,所述从所述目标点云图像对应的点云强度图像中确定出车道线,包括:
根据所述点云强度图像的像素灰度值对所述点云强度图像进行分割,确定车道线。
7.一种检测车道线的装置,其特征在于,所述装置应用于自动驾驶车辆,包括:
获取模块,用于获得车载激光设备通过发射激光信号确定的N帧点云图像,N为大于1的正整数;
拼接模块,用于根据所述车载激光设备在发射所述N帧点云图像各自对应的激光信号时的位置信息,确定所述N帧点云图像之间的相对位置信息,所述位置信息包括位置坐标和角度坐标;根据所述N帧点云图像之间的相对位置信息依次将所述N帧点云图像进行拼接,确定目标点云图像;
处理模块,用于将所述目标点云图像映射为对应的点云强度图像;
检测模块,用于从所述目标点云图像对应的点云强度图像中确定出车道线;
确定模块,用于根据点云的三维坐标与所述目标点云图像中的反射强度的映射关系,确定所述车道线的位置信息,所述车道线的位置信息用于对所述自动驾驶车辆进行定位。
8.如权利要求7所述的装置,其特征在于,所述拼接模块具体用于:
针对任意两帧点云图像,在所述车载激光设备发射其中一帧点云图像对应的第一激光信号时,通过车载惯导设备确定所述车载激光设备的第一位置信息;
在所述车载激光设备发射另一帧点云图像对应的第二激光信号时,通过所述车载惯导设备确定所述车载激光设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息;
将所述车载激光设备发射所述第一激光信号时和发射所述第二激光信号时的相对位置信息确定为所述两帧点云图像的相对位置信息。
9.如权利要求8所述的装置,其特征在于,所述拼接模块具体用于:
根据所述N帧点云图像之间的相对位置信息将所述N帧点云图像统一在同一坐标系中;
将统一坐标系后的N帧点云图像进行拼接确定所述目标点云图像。
10.如权利要求7至9任一所述的装置,其特征在于,所述检测模块具体用于:
根据所述点云强度图像的像素灰度值对所述点云强度图像进行分割,确定车道线。
11.一种自动驾驶控制方法,包括检测车道线并根据车道线控制行驶路线,其特征在于,采用权利要求1~6任一所述的方法检测所述车道线。
12.一种自动驾驶控制***,其特征在于,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行权利要求1~6任一权利要求所述方法的步骤。
13.一种计算机可读介质,其特征在于,其存储有计算机程序,当所述程序运行时,执行权利要求1~6任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810732366.6A CN110163047B (zh) | 2018-07-05 | 2018-07-05 | 一种检测车道线的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810732366.6A CN110163047B (zh) | 2018-07-05 | 2018-07-05 | 一种检测车道线的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110163047A CN110163047A (zh) | 2019-08-23 |
CN110163047B true CN110163047B (zh) | 2023-04-07 |
Family
ID=67645038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810732366.6A Active CN110163047B (zh) | 2018-07-05 | 2018-07-05 | 一种检测车道线的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163047B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111175788B (zh) * | 2020-01-20 | 2022-07-08 | 北京主线科技有限公司 | 自动驾驶车辆横向定位方法及其定位*** |
CN111507340B (zh) * | 2020-04-16 | 2023-09-01 | 北京深测科技有限公司 | 一种基于三维点云数据的目标点云数据提取方法 |
CN113673274A (zh) * | 2020-05-13 | 2021-11-19 | 长沙智能驾驶研究院有限公司 | 道路边界检测方法、装置、计算机设备和存储介质 |
CN112712023B (zh) * | 2020-12-30 | 2024-04-05 | 武汉万集光电技术有限公司 | 车型识别方法、***及电子设备 |
CN113378636A (zh) * | 2021-04-28 | 2021-09-10 | 杭州电子科技大学 | 一种基于深度图匹配的车辆行人检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105115976B (zh) * | 2015-06-24 | 2018-03-20 | 上海图甲信息科技有限公司 | 一种铁轨磨耗缺陷检测***及方法 |
CN106570446B (zh) * | 2015-10-12 | 2019-02-01 | 腾讯科技(深圳)有限公司 | 车道线提取的方法和装置 |
CN105701449B (zh) * | 2015-12-31 | 2019-04-23 | 百度在线网络技术(北京)有限公司 | 路面上的车道线的检测方法和装置 |
CN107463918B (zh) * | 2017-08-17 | 2020-04-24 | 武汉大学 | 基于激光点云与影像数据融合的车道线提取方法 |
CN107796397B (zh) * | 2017-09-14 | 2020-05-15 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
CN108230379B (zh) * | 2017-12-29 | 2020-12-04 | 百度在线网络技术(北京)有限公司 | 用于融合点云数据的方法和装置 |
-
2018
- 2018-07-05 CN CN201810732366.6A patent/CN110163047B/zh active Active
Non-Patent Citations (2)
Title |
---|
邓超.区域分割.《数字图像处理与模式识别研究》.地质出版社,2018,第85~87页. * |
陆国栋等.图样的分块与拼接.《工程图样数字化转换与智能理解》.机械工业出版社,2001,第15-16页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110163047A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163047B (zh) | 一种检测车道线的方法及装置 | |
US11024055B2 (en) | Vehicle, vehicle positioning system, and vehicle positioning method | |
EP3742200B1 (en) | Detection apparatus and parameter adjustment method thereof | |
US11520349B2 (en) | Autonomous driving device | |
US11494979B2 (en) | Bounding box estimation and lane vehicle association | |
US9863775B2 (en) | Vehicle localization system | |
US11157751B2 (en) | Traffic guide object recognition device, traffic guide object recognition method, and storage medium | |
CN110531376A (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
US11200432B2 (en) | Method and apparatus for determining driving information | |
CN114442101B (zh) | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 | |
JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
CN110647801A (zh) | 设置感兴趣区域的方法、装置、存储介质及电子设备 | |
US11676403B2 (en) | Combining visible light camera and thermal camera information | |
CN112673280A (zh) | 用于装配有lidar传感器的机动车辆的道路检测方法 | |
US20190180117A1 (en) | Roadside object recognition apparatus | |
US20230111364A1 (en) | Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method | |
KR20210069816A (ko) | 부착형 농작업 경로 인식 장치 | |
WO2021245515A1 (en) | Detection of traffic safety mirrors and navigational response | |
CN112581771A (zh) | 自动驾驶车辆用的驾驶控制装置、停车用物标、驾驶控制*** | |
US11435191B2 (en) | Method and device for determining a highly precise position and for operating an automated vehicle | |
CN110727269A (zh) | 车辆控制方法及相关产品 | |
CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
CN114743179A (zh) | 一种基于语义分割的周视可行驶区域检测方法 | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及*** | |
US20240059288A1 (en) | Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |