CN118279468A - 车道线标注方法、电子设备及计算机存储介质 - Google Patents
车道线标注方法、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN118279468A CN118279468A CN202211735028.0A CN202211735028A CN118279468A CN 118279468 A CN118279468 A CN 118279468A CN 202211735028 A CN202211735028 A CN 202211735028A CN 118279468 A CN118279468 A CN 118279468A
- Authority
- CN
- China
- Prior art keywords
- target
- lane
- lane line
- camera
- marking method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005259 measurement Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及智能驾驶技术领域,提供一种车道线标注方法、电子设备及计算机存储介质,所述车道线标注方法包括:获取目标车道对应的目标图像;获取目标车辆在所述目标车道上行驶时的运动轨迹点;计算所述运动轨迹点在所述目标图像上的投影像素坐标;基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标;计算所述目标像素坐标对应的目标相机坐标;根据所述目标相机坐标对所述目标车道线进行标注。利用本申请实施例,可以提高对车道线进行三维标注的效率。
Description
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种车道线标注方法、电子设备及计算机存储介质。
背景技术
车道线作为结构化道路的一个主要特征,对驾驶以及自动驾驶都有很强的指导作用。车道线能够指导车辆在正确的区域进行行驶,为自动驾驶汽车的自动巡航、车道保持、车道超车等行为提供依据,当车辆偏离车道时可为驾驶员提供预警,有助于车辆安全驾驶。由于车辆行驶不一定都是平路行驶,传统的二维车道线在自动驾驶的跟踪规划和控制任务中性能较差。因此,获取三维车道线(3DLaneLines)布局是必要的,可以实现有效和安全的驾驶,如何获取三维车道线是自动驾驶重要的一环。
在实际应用中,需要使用人工进行标注获取三维车道线数据,是非常困难且耗费时间的,对车道线进行三维标注的效率十分的低下。
发明内容
有鉴于此,本申请的主要目的在于提供一种车道线标注方法、电子设备及计算机存储介质,以提高对车道线进行三维标注的效率。
本申请的第一方面提供一种车道线标注方法,应用于电子设备,所述车道线标注方法包括:获取目标车道对应的目标图像;获取目标车辆在所述目标车道上行驶时的运动轨迹点;计算所述运动轨迹点在所述目标图像上的投影像素坐标;基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标;计算所述目标像素坐标对应的目标相机坐标;根据所述目标相机坐标对所述目标车道线进行标注。
根据本申请的一个可选的实施例,所述计算所述运动轨迹点在所述目标图像上的投影像素坐标,包括:确定世界坐标系和相机坐标系之间的第一变换矩阵及相机坐标系和像素坐标系之间的第二变换矩阵;基于所述第一变换矩阵,确定所述运动轨迹点对应的投影相机坐标;基于所述第二变换矩阵,确定所述投影相机坐标在所述目标图像上对应的投影像素坐标。
根据本申请的一个可选的实施例,所述计算所述目标像素坐标对应的目标相机坐标包括:基于所述第二变换矩阵,确定所述目标像素坐标对应的目标相机坐标。
根据本申请的一个可选的实施例,所述方法还包括:基于全球定位***和所述目标车辆的惯性测量单元,确定所述运动轨迹点。
根据本申请的一个可选的实施例,基于全球定位***和所述目标车辆的惯性测量单元,确定所述运动轨迹点,包括:基于全球定位***和所述目标车辆的惯性测量单元,得到所述目标车辆的测量轨迹点;获取所述惯性测量单元安装在所述目标车辆上的位置信息;根据所述测量轨迹点和所述位置信息,确定所述运动轨迹点。
根据本申请的一个可选的实施例,所述方法还包括:基于预设的视觉辅助方式,识别所述目标图像中目标车道上的目标车道线。
根据本申请的一个可选的实施例,所述基于预设的视觉辅助方式,识别所述目标图像中目标车道上的目标车道线,包括:基于所述预设的视觉辅助方式,利用车道线与周围路况的图像特征的差异,从所述目标图像中识别出车道线;基于预设的车道线模型对识别出的车道线进行修复处理,得到所述目标车道上的目标车道线。
根据本申请的一个可选的实施例,所述车道线模型包括直线车道线模型、双曲线车道线模型、样条曲线车道线模型中的一种或多种。
本申请的第二方面提供一种电子设备,所述电子设备包括:存储器,用于存储至少一个指令;处理器,用于执行所述至少一个指令时实现如上所述的车道线标注方法。
本申请的第三方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被处理器执行时实现如上所述的车道线标注方法。
由以上技术方案可以看出,本申请实施例,通过获取目标车辆在所述目标车道上行驶时的运动轨迹点,并确定所述运动轨迹点在所述目标车道对应的目标图像上的投影像素坐标;从而可以基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标及目标相机坐标;最后根据所述目标相机坐标对所述目标车道线进行标注,实现了自动对车道线进行三维标注,无需人工标注,提高了对车道线标注的效率。
附图说明
图1为本申请实施例提供的一种车道线标注方法的使用场景示意图。
图2为本发明实施例提供的一种车道线标注方法的流程示意图。
图3为本申请实施例提供的一种运动轨迹点的场景示意图。
图4为本申请实施例提供的一种车体坐标系的场景示意图。
图5为本申请实施例提供的一种相机坐标系和像素坐标系的场景示意图。
图6为本申请实施例提供的一种基于投影像素坐标,确定车道线坐标的示意图。
图7为本发明实施例提供的一种电子设备的结构示意框图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,“示例性”、“或者”、“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性”、“或者”、“例如”等词旨在以具体方式呈现相关概念。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。应理解,本申请中除非另有说明,“/”表示或的意思。例如,A/B可以表示A或B。本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B三种情况。“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如,a、b或c中的至少一个,可以表示:a,b,c,a和b,a和c,b和c,a、b和c七种情况。应当理解的是,本文的流程图中所示步骤的顺序可以改变,某些也可以省略。
车道线作为结构化道路的一个主要特征,对驾驶以及自动驾驶都有很强的指导作用。车道线是指车道的标线,包括但不限于白色虚线和实线、黄色虚线和实线。车道线能够指导车辆在正确的区域进行行驶,为自动驾驶汽车的自动巡航、车道保持、车道超车等行为提供依据,当车辆偏离车道时可为驾驶员提供预警,有助于车辆安全驾驶。例如,在车辆行驶过程中,处于智能模式的车辆***基于车道线以及开启的功能,控制或辅助对车辆的驾驶。由于车辆行驶不一定都是平路行驶,如存在上坡行驶或下坡行驶等情况,导致传统的2D车道线在自动驾驶的跟踪规划和控制任务中性能较差,如无法准确地控制自动驾驶的速度。例如,车辆在下坡行驶时的速度相对于平路行驶的速度较慢。因此,获取三维车道线(3DLaneLines)布局是必要的,可以更好地控制或辅助对车辆的驾驶,实现有效和安全的驾驶,如何获取3D车道线是自动驾驶重要的一环。
在实际应用中,需要使用人工进行标注获取3D车道线数据,是非常困难且耗费时间的,对车道线进行三维标注的效率十分的低下。
为了提高对车道线进行三维标注的效率,本申请实施例提供一种车道线标注方法、电子设备及计算机可读存储介质。
为了使本申请实施例提供的车道线标注方法的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对该车道线标注方法进行详细描述。
请参照图1,图1为本申请实施例提供的一种车道线标注方法的使用场景示意图。如图1所示,目标车辆在目标车道上行驶。获取所述目标车道对应的目标图像和目标车辆在该目标车道上行驶时的运动轨迹,得到所述运动轨迹对应的运动轨迹点。其中,一个个连续的运动轨迹点组成运动轨迹。对所述车道线组成的车道进行拍摄得到目标图像,所述目标图像中包括车道线。计算所述运动轨迹点在所述目标图像上的投影像素坐标;并基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标;计算所述目标像素坐标对应的目标相机坐标,最后通过根据所述目标相机坐标对所述目标车道线进行标注。关于车道线标注方法的一些具体实施方式,可以参见下文中的相关描述。本申请实施例提供的车道线标注方法,可以提高三维车道线标注的效率。
本申请实施例中的车道线标注方法可应用于电子设备,该电子设备可以是车载装置,如车道线标注装置、手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、人工智能(artificialintelligence,AI)设备、可穿戴式设备、智能家居设备和/或智慧城市设备,如智能驾驶平台,等电子设备。本申请实施例对该电子设备的具体形态不作特殊限制。所述电子设备所处的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual PrivateNetwork,VPN)等。其中,该车道线标注装置可以搭载于可移动设备,并与可移动设备存在数据连接。其中,该可移动设备可以为一些能够行驶在公共交通道路上的移动装置,例如自动驾驶车辆。该车道线标注装置也可以为与可移动设备存在数据连接的辅助驾驶装置。该车道线标注装置可以内置于可移动设备,如车道线标注装置整合于可移动设备中的***等,也可以与可移动设备存在外部连接,如连接于可移动设备外部的辅助驾驶装置。智能驾驶平台可以通过收集各类路面、路况等信息,并对收集的信息进行识别和标注,如对收集到的车道线进行标注,从而利用标注后的车道线为不同的车辆提供路线规划、地图导航等功能。具体地,结合本案而言,所述智能驾驶平台可以对各类车道中的车道线进行三维标注,以得到三维车道线为车辆正确规划路径,提高了驾驶的安全性。
请参照图2,图2为本发明实施例提供的一种车道线标注方法的流程示意图。
如图1所示,该车道线标注方法包括步骤S101至S107。
S101、获取目标车道对应的目标图像。
车道由车道线组成。所述目标图像中至少包括两条车道线。
在本申请的一些实施例中,用于辅助标注车道线的目标车辆上还安置有一个或者多个传感器。目标车辆可以通过传感器获取目标车道的目标图像,并将获取到目标图像发送给电子设备,以使电子设备获取目标车道对应的目标图像。例如,传感器可以包括视觉传感器,用于获取目标车道的目标图像。其中,传感器可安置在目标车辆的前方、后方和/或车顶等位置,目标车辆中安置的一个或多个传感器可以安置在相同位置,也可安置在不同位置,在本发明实施例中不做限定。传感器可以实时或者按照预设周期采集目标车辆周围预设范围的环境图像,以得到目标车道的目标图像。通过传感器可以获取目标车辆前方的图像,或称为前视图,以得到目标车道对应的目标图像。
在本申请的一些实施例中,电子设备可以利用安装在目标车道附近的拍摄装置,获取目标车道对应的目标图像。所述拍摄装置可以是相机、摄相机和监控装置等具有拍摄功能的装置。拍摄装置可以安装在目标车道旁的固定位置上。电子设备通过与拍摄装置进行通信,以获取目标车道对应的目标图像。
S102、获取目标车辆在所述目标车道上行驶时的运动轨迹点。
电子设备可以基于目标车辆上传的运动轨迹,获取该目标车辆在所述目标车道上行驶时的运动轨迹点。运动轨迹由多个连续运动轨迹点组成。图3为本申请实施例提供的一种运动轨迹点的场景示意图。如图3所示,多个运动轨迹点组成运动轨迹。图3所示的运动轨迹中还包括多个未示出的运动轨迹点,如两个运动轨迹点中还包括多个未示出的运动轨迹点。通过分解运动轨迹,可以得到多个运动轨迹点。
在本申请的一些实施例中,可以基于全球定位***(Global NavigationSatellite System,GNSS)和所述目标车辆上安装的惯性测量单元(Inertial MeasurementUnit,IMU),确定所述目标车辆在所述目标车道上行驶时的运动轨迹,得到目标车辆的运动轨迹点。惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一个惯性测量单元中可以包括多个加速度计和陀螺仪,如三个单轴的加速度计和三个单轴的陀螺仪。其中,加速度计用于检测物体在车体坐标***独立三轴的加速度信号。车体坐标***为以目标车辆的车体建立的坐标系。陀螺仪用于检测车辆相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出目标车辆的姿态。导航坐标系可以为世界坐标系。目标车辆的运动轨迹点是以世界坐标系中的坐标进行表示。图4为本申请实施例提供的一种车体坐标系的场景示意图。如图4所示,车体坐标系是右手笛卡尔直角坐标系,以车载高精惯导中心为原点,车头方向为x轴正方向,车身左侧为y轴正方向。长度以米为单位。具体地,世界坐标系和车体坐标系均是右手笛卡尔直角坐标系,两个右手笛卡尔直角坐标系之间的转换可以通过一个旋转平移矩阵实现。
在本申请的一些实施例中,可以将基于全球定位***和所述目标车辆的惯性测量单元得到的运动轨迹点,直接确定为所述目标车辆在目标车道上运动的运动轨迹点。
由于惯性测量单元是安装在目标车辆的内部,不是直接贴合目标车道,所以基于惯性测量单元获取到的运动轨迹点不是在目标车道上运动的轨迹点,而是在与目标车道具有一定距离的平面上运动的轨迹点。基于在与目标车道具有一定距离的平面上运动的轨迹点,计算出的投影像素坐标与实际的像素坐标存在误差,导致对目标车道线的标注不准确。为了避免惯性测量单元的安装位置导致对目标车道线的标注不准确的情况发生,在本申请的一些实施例中,所述基于全球定位***和所述目标车辆的惯性测量单元,确定所述运动轨迹点,可以包括:
基于全球定位***和所述目标车辆的惯性测量单元,得到所述目标车辆的测量轨迹点;
获取所述惯性测量单元安装在所述目标车辆上的位置信息;
根据所述测量轨迹点和所述位置信息,确定所述运动轨迹点。
所述测量轨迹点为基于全球定位***和所述目标车辆的惯性测量单元得到的运动轨迹点。所述位置信息为所述惯性测量单元相对于车道的信息,可以以世界坐标系进行表示。可以将所述测量轨迹点减去所述位置信息,得到所述运动轨迹点。例如,一目标车辆的一个测量轨迹点为(40,50,25),该目标车辆的位置信息为(0,0,5),确定该测量轨迹点对应的运动轨迹点为(40,50,20)。
S103、计算所述运动轨迹点在所述目标图像上的投影像素坐标。
运动轨迹点是世界坐标系中的坐标,以三维坐标的形式进行表示。将运动轨迹点从三维坐标表示转换为二维坐标表示,确定运动轨迹点在所述目标图像上的投影像素坐标。例如,运动轨迹点可以经过两次坐标系转换后,得到该运动轨迹点在所述目标图像上的投影像素坐标,其中,第一次转换为从世界坐标系转换为相机坐标系,第二次转换为从相机坐标系转换为像素坐标系。图5为本申请实施例提供的一种相机坐标系和像素坐标系的场景示意图。如图5所示,相机坐标系o-x-y是三维坐标,像素坐标系o’-x’-y’是二维坐标。
在本申请的一些实施例中,所述计算所述运动轨迹点在所述目标图像上的投影像素坐标,可以包括:
确定世界坐标系和相机坐标系之间的第一变换矩阵及相机坐标系和像素坐标系之间的第二变换矩阵;
基于所述第一变换矩阵,确定所述运动轨迹点对应的投影相机坐标;
基于所述第二变换矩阵,确定所述投影相机坐标在所述目标图像上对应的投影像素坐标。
第一变换矩阵为将运动轨迹点从世界坐标系变换到相机坐标系的变换矩阵。第二变换矩阵为相机坐标系与像素坐标系之间的投影矩阵,用于实现相机坐标系到像素坐标系之间的变换。根据第一变换矩阵,将基于世界坐标系的运动轨迹点转换到相机坐标系上,得到投影到相机坐标系上的运动轨迹点的轨迹信息;以及根据第二变换矩阵,将投影到相机坐标系上的运动轨迹点的轨迹信息转换到像素坐标系上,得到投影到像素坐标系上的运动轨迹点的轨迹信息,即投影像素坐标。
在本申请的一些实施例中,可以使用拍摄所述目标图像的拍摄装置对应的相机内参和相机外参,完成世界坐标系、相机坐标系和像素坐标系之间的转换。相机成像原理是小孔成像。相机内参指相机凸透镜的焦距和像素坐标系下光心所在坐标。相机外参为相机坐标系和车体坐标系之间的旋转平移矩阵。相机坐标系为以相机光心为原点,相机上方、前方分别为y轴、z轴正方向的右手笛卡尔坐标系。根据人工标定数据预先标定相机内外参数以后,先通过相机外参将所述运动轨迹点旋转平移到相机坐标系,然后再根据小孔成像的缩放原理和相机内参将基于相机坐标系的运动轨迹点的轨迹信息投影到像素坐标系,得到所述运动轨迹点投影在所述目标图像上对应的投影像素坐标。
在本申请的一些实施例中,可以采用卷积神经网络(Convolutional NeuralNetworks,CNN)对目标图像进行车道线检测,确定目标车道上的目标车道线。
在本申请的一些实施例中,所述方法还包括:基于视觉辅助,识别所述目标车道上的目标车道线。
例如,通过安装在载体上的相机拍摄得到的载体周围的地面区域图像,经过筛选和图像拼接及调光、调色等预处理后,利用车道线的纹理、灰度、对比度的图像特征,设置合理阈值,初步识别所述目标车道上的目标车道线。所述目标车道线为待进行车道线标注的车道线。所述目标车道线可以是所述目标车道线上的所有车道线,也可以是组成所述目标车道的两条车道线,即所述目标车辆左右两边的两条车道线。
为了避免初步车道线识别的识别结果易收光照、遮挡、车道线中断等外界因素的影响,在本申请的一些实施例中,所述基于视觉辅助,识别所述目标车道上的目标车道线,包括:
基于视觉辅助,利用车道线与周围路况的图像特征的差异对识别所述目标图像进行识别,识别出车道线;
基于车道线模型对识别出的车道线进行修复处理,得到所述目标车道上的目标车道线。
可以根据车道线的结构化特征,建立车道线模型,并获取大量的车道线数据对建立的车道线模型进行训练,得到车道线模型对应的模型参数,以得到训练完成的车道线模型。
所述修复处理可以包括区域剔除处理和区域填补处理。区域剔除处理用于剔除识别出的车道线中的非车道线的区域。区域填补处理用于填补车道线识别出的车道线中的车道线缺失的区域。在本申请的一些实施例中,所述车道线模型包括直线、双曲线、样条曲线车道线模型。
S104、基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标。
由于运动轨迹点的投影像素坐标已知,基于运动轨迹点的投影像素坐标在目标图像中的位置,如坐标系中X轴方向上的位置和Y轴方向上的位置,可以确定目标车道线的目标像素坐标。
图6为本申请实施例提供的一种基于投影像素坐标,确定车道线坐标的示意图。如图6所示,可以基于运动轨迹点A的投影像素坐标,确定车道线1的目标像素坐标A1和车道线2的目标像素坐标A2;可以基于运动轨迹点B的投影像素坐标,确定车道线1的目标像素坐标B1和车道线2的目标像素坐标B2;可以基于运动轨迹点C的投影像素坐标,确定车道线1的目标像素坐标C1和车道线2的目标像素坐标C2;可以基于运动轨迹点D的投影像素坐标,确定车道线1的目标像素坐标D1和车道线2的目标像素坐标D2。在一些实施例中,也可以根据运动轨迹点A的投影像素坐标,得到车道线上其他点的目标像素坐标,如得到B1、B2、C1、C2、D1和D2的目标像素坐标。
S105、计算所述目标像素坐标对应的目标相机坐标。
将目标相机坐标从二维坐标表示转换为三维坐标表示,从像素坐标系转换为相机坐标系,以实现对目标车道线的三维标注。可以基于相机内参将目标像素坐标还原成相机坐标系下的相机坐标,得到目标相机坐标。所述目标相机坐标为车道线在相机坐标系中对应的坐标,用于对目标车道线中进行三维标注。
在本申请的一些实施例中,所述计算所述目标像素坐标对应的目标相机坐标包括:基于所述第二变换矩阵,确定所述目标像素坐标对应的目标相机坐标。
S106、根据所述目标相机坐标对所述目标车道线进行标注。
上述实施例提供的车道线标注方法,通过获取目标车辆在所述目标车道上行驶时的运动轨迹点,并确定所述运动轨迹点在所述目标车道对应的目标图像上的投影像素坐标;从而可以基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标及目标相机坐标;最后根据所述目标相机坐标对所述目标车道线进行标注,实现了自动对车道线进行三维标注,无需人工标注,提高了对车道线标注的效率。
请参阅图7,图7为本申请实施例提供的一种电子设备的结构示意性框图。该电子设备30可以为服务器或终端设备。
电子设备30所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
如图5所示,该电子设备30包括通过通信接口301、存储器302、处理器303、输入/输出(Input/Output,I/O)接口304及总线305。处理器303通过总线305分别耦合于通信接口301、存储器302、I/O接口304。
通信接口301用于进行通信。通信接口301可以为电子设备30上已有的接口,也可以为在电子设备30上新建的接口。通信接口301可以为网络接口,例如无线区域网络(Wireless Local Area Network,WLAN)接口,蜂窝网络通信接口或其组合等。
存储器302可用于可存储操作***和计算机程序。例如,存储器302存储了上述的车道线标注方法对应的程序。
应当理解的是,存储器302可包括存储程序区和存储数据区。其中,存储程序区可用于存储操作***、至少一个方法所需的应用程序(比如车道线标注方法等)等;存储数据区可存储根据电子装置30的使用所创建的数据等。此外,存储器302可以包括易失性存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
处理器303提供计算和控制能力,支撑整个计算机设备的运行。例如,处理器303用于执行存储器302内存储的计算机程序,以实现上述的车道线标注方法中的步骤。
应当理解的是,处理器303是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
I/O接口304用于提供用户输入或输出的通道,例如I/O接口304可用于连接各种输入输出设备(鼠标、键盘或3D触控装置等)、显示器,使得用户可以录入信息,或者使信息可视化。
总线305至少用于提供电子设备30中的通信接口301、存储器302、处理器303、I/O接口304之间相互通信的通道。
本领域技术人员可以理解,图7示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,在一个实施例中,处理器303执行存储器302内存储的计算机程序,以实现车道线标注方法时,实现以下步骤:
获取目标车道对应的目标图像;
获取目标车辆在所述目标车道上行驶时的运动轨迹点;
计算所述运动轨迹点在所述目标图像上的投影像素坐标;
基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标;
计算所述目标像素坐标对应的目标相机坐标;
根据所述目标相机坐标对所述目标车道线进行标注。
具体地,处理器303对上述指令的具体实现方法可参考前述车道线标注方法实施例中相关步骤的描述,在此不赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本申请车道线标注方法的各个实施例。
其中,所述计算机可读存储介质可以是前述实施例所述的电子设备的内部存储单元,例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备,例如所述电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据电子设备的使用所创建的数据等。
前述实施例提供的电子设备及计算机可读存储介质,通过获取目标车辆在所述目标车道上行驶时的运动轨迹点,并确定所述运动轨迹点在所述目标车道对应的目标图像上的投影像素坐标;从而可以基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标及目标相机坐标;最后根据所述目标相机坐标对所述目标车道线进行标注,实现了自动对车道线进行三维标注,无需人工标注,提高了对车道线标注的效率。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种车道线标注方法,其特征在于,所述方法包括:
获取目标车道对应的目标图像;
获取目标车辆在所述目标车道上行驶时的运动轨迹点;
计算所述运动轨迹点在所述目标图像上的投影像素坐标;
基于所述投影像素坐标,确定所述目标车道上的目标车道线对应的目标像素坐标;
计算所述目标像素坐标对应的目标相机坐标;
根据所述目标相机坐标对所述目标车道线进行标注。
2.根据权利要求1所述的车道线标注方法,其特征在于,所述计算所述运动轨迹点在所述目标图像上的投影像素坐标,包括:
确定世界坐标系和相机坐标系之间的第一变换矩阵及相机坐标系和像素坐标系之间的第二变换矩阵;
基于所述第一变换矩阵,确定所述运动轨迹点对应的投影相机坐标;
基于所述第二变换矩阵,确定所述投影相机坐标在所述目标图像上对应的投影像素坐标。
3.根据权利要求2所述的车道线标注方法,其特征在于,所述计算所述目标像素坐标对应的目标相机坐标包括:
基于所述第二变换矩阵,确定所述目标像素坐标对应的目标相机坐标。
4.根据权利要求1所述的车道线标注方法,其特征在于,所述方法还包括:
基于全球定位***和所述目标车辆的惯性测量单元,确定所述运动轨迹点。
5.根据权利要求4所述的车道线标注方法,其特征在于,基于全球定位***和所述目标车辆的惯性测量单元,确定所述运动轨迹点,包括:
基于全球定位***和所述目标车辆的惯性测量单元,得到所述目标车辆的测量轨迹点;
获取所述惯性测量单元安装在所述目标车辆上的位置信息;
根据所述测量轨迹点和所述位置信息,确定所述运动轨迹点。
6.根据权利要求1所述的车道线标注方法,其特征在于,所述方法还包括:
基于预设的视觉辅助方式,识别所述目标图像中目标车道上的目标车道线。
7.根据权利要求6所述的车道线标注方法,其特征在于,所述基于预设的视觉辅助方式,识别所述目标图像中目标车道上的目标车道线,包括:
基于所述预设的视觉辅助方式,利用车道线与周围路况的图像特征的差异,从所述目标图像中识别出车道线;
基于预设的车道线模型对识别出的车道线进行修复处理,得到所述目标车道上的目标车道线。
8.根据权利要求7所述的车道线标注方法,其特征在于,所述车道线模型包括直线车道线模型、双曲线车道线模型、样条曲线车道线模型中的一种或多种。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;
所述存储器用于存储至少一个指令;
所述处理器用于执行所述至少一个指令时实现如权利要求1至8中任意一项所述的车道线标注方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至8中任意一项所述的车道线标注方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211735028.0A CN118279468A (zh) | 2022-12-30 | 2022-12-30 | 车道线标注方法、电子设备及计算机存储介质 |
US18/123,875 US20240221390A1 (en) | 2022-12-30 | 2023-03-20 | Lane line labeling method, electronic device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211735028.0A CN118279468A (zh) | 2022-12-30 | 2022-12-30 | 车道线标注方法、电子设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118279468A true CN118279468A (zh) | 2024-07-02 |
Family
ID=91643182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211735028.0A Pending CN118279468A (zh) | 2022-12-30 | 2022-12-30 | 车道线标注方法、电子设备及计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240221390A1 (zh) |
CN (1) | CN118279468A (zh) |
-
2022
- 2022-12-30 CN CN202211735028.0A patent/CN118279468A/zh active Pending
-
2023
- 2023-03-20 US US18/123,875 patent/US20240221390A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240221390A1 (en) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
US11530924B2 (en) | Apparatus and method for updating high definition map for autonomous driving | |
US10384679B2 (en) | Travel control method and travel control apparatus | |
CN109470254B (zh) | 地图车道线的生成方法、装置、***及存储介质 | |
CN111856491B (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
RU2668459C1 (ru) | Устройство оценки положения и способ оценки положения | |
CN110388931A (zh) | 将对象的二维边界框转换成自动驾驶车辆的三维位置的方法 | |
CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
CN113870343B (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
CN110462343A (zh) | 基于地图的用于车辆的自动图像标记 | |
KR102627453B1 (ko) | 위치 추정 장치 및 방법 | |
WO2022041706A1 (zh) | 一种定位方法、定位***和车辆 | |
US11158065B2 (en) | Localization of a mobile unit by means of a multi hypothesis kalman filter method | |
CN110119138A (zh) | 用于自动驾驶车辆的自定位方法、***和机器可读介质 | |
CN112400193B (zh) | 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置 | |
US20230127230A1 (en) | Control loop for navigating a vehicle | |
JP2018077162A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
US20230341239A1 (en) | Systems and methods for road segment mapping | |
TW202020734A (zh) | 載具、載具定位系統及載具定位方法 | |
CN116997771A (zh) | 车辆及其定位方法、装置、设备、计算机可读存储介质 | |
CN115456898A (zh) | 停车场的建图方法、装置、车辆及存储介质 | |
Hara et al. | Vehicle localization based on the detection of line segments from multi-camera images | |
Deusch et al. | Improving localization in digital maps with grid maps | |
CN116481522A (zh) | 一种室内单目惯导slam方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |