CN112381876B - 一种交通标志标注方法、装置及计算机设备 - Google Patents

一种交通标志标注方法、装置及计算机设备 Download PDF

Info

Publication number
CN112381876B
CN112381876B CN202110060876.5A CN202110060876A CN112381876B CN 112381876 B CN112381876 B CN 112381876B CN 202110060876 A CN202110060876 A CN 202110060876A CN 112381876 B CN112381876 B CN 112381876B
Authority
CN
China
Prior art keywords
traffic sign
matrix
position information
pixel
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110060876.5A
Other languages
English (en)
Other versions
CN112381876A (zh
Inventor
乔倚松
王劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Transportation Technology Co.,Ltd.
Original Assignee
Ciic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ciic Technology Co ltd filed Critical Ciic Technology Co ltd
Priority to CN202110060876.5A priority Critical patent/CN112381876B/zh
Publication of CN112381876A publication Critical patent/CN112381876A/zh
Application granted granted Critical
Publication of CN112381876B publication Critical patent/CN112381876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及无人驾驶技术领域，以及提供一种交通标志标注方法、装置及计算机设备，该方法包括：获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；根据所述位置信息在三维地图中标注所述交通标志。本申请实施例能够有效降低交通标志的位置信息获取的复杂度以及节省时间。

Description

一种交通标志标注方法、装置及计算机设备
技术领域
本申请实施例涉及无人驾驶技术领域，尤其涉及一种交通标志标注方法、装置及计算机设备。
背景技术
目前，无人驾驶是汽车产业的最新发展方向，在无人驾驶***中，高精度地图是不可或缺的要素之一，在高精度地图的交通标志的标注过程中，需要获取交通标志在三维空间中的位置信息来作为其中的一个输入数据，因此需要准确确定交通标志在三维空间中的位置信息。
目前通常采用激光雷达等具有深度测量能力的装置对交通标志在三维空间中的位置信息进行测量，以获取位置信息。
但是上述获取位置信息的方式存在复杂度高以及耗时多的问题。
发明内容
本申请实施例提供了一种交通标志标注方法、装置及计算机设备，能够有效降低交通标志的位置信息获取的复杂度以及节省时间。
第一方面中，本申请实施例提供一种交通标志标注方法，包括：获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
根据所述位置信息在三维地图中标注所述交通标志。
可选地，在本申请一些可能的实现方式中，所述根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息的步骤，包括：
根据所述各像素位置信息，生成像素矩阵；
根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵；
根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵；
根据所述像素矩阵以及所述投影矩阵，生成目标矩阵；
对所述目标矩阵进行奇异值分解，得到分解结果；
根据所述分解结果计算得到所述交通标志在三维空间中的位置信息。
可选地，在本申请一些可能的实现方式中，所述根据所述分解结果计算得到所述交通标志在三维空间中的位置信息的步骤之后，还包括：
通过所述投影矩阵对所述位置信息对应的坐标点进行投影，得到所述坐标点的投影像素；
根据所述投影像素以及所述像素矩阵构造调整方程；
根据所述调整方程调整所述位置信息。
可选地，在本申请一些可能的实现方式中，所述根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵的步骤，包括：
获取所述像素矩阵的行数；
根据所述像素矩阵的行数、所述各相机位姿信息分别对应的相机位置和相机朝向，生成与所述像素矩阵关联的位姿矩阵；
其中，所述位姿矩阵的行数与所述像素矩阵的行数相同。
可选地，在本申请一些可能的实现方式中，所述根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵的步骤，包括：
获取所述位姿矩阵的逆矩阵；
将所述逆矩阵与获取到的相机内参进行相乘，得到投影矩阵。
可选地，在本申请一些可能的实现方式中，所述目标矩阵为m×n矩阵，所述根据所述分解结果计算得到所述交通标志在三维空间中的位置信息的步骤，包括：
确定所述分解结果中的m阶矩阵、m×n矩阵以及n阶矩阵；
将所述n阶矩阵的最后一列前n-1的每个元素除以所述n阶矩阵的最后一列的最后一个元素，得到所述交通标志在三维空间中的位置信息；
其中，m和n均为不小于2的正整数。
可选地，在本申请一些可能的实现方式中，所述获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息的步骤，包括：
对所述各交通标志图像中的所述交通标志进行标注，得到标注信息；
根据所述标注信息得到所述各交通标志图像中的所述交通标志的中心点的各像素位置信息。
可选地，在本申请一些可能的实现方式中，所述方法还包括：
获取所述标注信息中的颜色信息以及外接矩形信息；
将所述颜色信息以及外接矩形信息作为训练数据集，输入至交通标志检测模型，得到训练后的交通标志检测模型。
第二方面中，本申请实施例提供一种交通标志标注装置，包括：
第一获取单元，用于获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
第二获取单元，用于获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
计算单元，用于根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
标注单元，用于根据所述位置信息在三维地图中标注所述交通标志。
本申请实施例又一方面提供了一种计算机设备，其包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面所述的方法。
本申请实施例又一方面提供了一种存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
根据本申请的第一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面、第一方面中的各种实现方式中提供的方法。
相较于现有技术，本申请实施例提供的方案中，首先获取交通标志的各交通标志图像对应的各相机位姿信息，以及获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息，然后根据各相机位姿信息以及各像素位置信息计算得到交通标志在三维空间中的位置信息，最后根据位置信息在三维地图中标注交通标志。可见本方案是采用对交通标志图像进行自动化处理的方式得到交通标志在三维空间中的位置信息，而无需借助外部测量装置，相对于现有技术中需要借助激光雷达等具有深度测量能力的装置对交通标志在三维空间中的位置信息进行测量，以获取位置信息的方式，显然本方案能够有效降低交通标志的位置信息获取的复杂度以及节省时间。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种交通标志标注方法的原理示意图；
图2为本申请实施例提供的一种交通标志标注方法的流程图；
图3为本申请实施例提供的一种计算交通标志在三维空间中的位置信息的流程图；
图4为本申请实施例提供的一种交通标志标注装置的结构示意图；
图5为本申请实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例提供一种交通标志标注方法，主要应用于无人驾驶、高精度地图绘制等场景，通过交通标志标注装置执行。交通标志可以为红绿灯、固定的交通指示牌等。请参阅图1，图1为本申请实施例提供的一种交通标志标注方法的原理示意图，首先，通过相机等采集设备，在不同相机位姿下采集包含有交通标志的图像，得到多张交通标志图像，在采集过程中同时记录每张交通标志图像对应的相机在世界坐标系下的位姿信息，从而得到多个相机位姿信息，相机位姿信息可以通过全球定位***（Global Positioning System，GPS）、惯性导航***（Inertial Navigation System，INS）（简称惯导）等设备获取得到。然后，对每张交通标志图像中的交通标志进行二维（2D）标注，标注的信息包括交通标志的颜色、外接矩形（Bounding Box），基于该标注的信息可以获取交通标志的中心点在交通标志图像中的像素位置信息，比如该像素位置信息的像素坐标可以直接通过标注得到，或者通过计算外接矩形的角点中心得到，从而得到多个像素位置信息。基于上述多个相机位姿信息以及多个像素位置信息，计算得到交通标志在三维（3D）空间中的位置信息。最后将该交通标志在三维空间中的位置信息作为输入，在三维地图（高精度地图）中进行该交通标志的标注。需要说明的是，上述标注的信息还可以作为交通标志检测模型训练的数据集，供交通标志检测模型训练使用。
需要说明的是，图1所示的交通标志标注方法的原理示意图仅仅是一个示例，本申请描述的原理示意图是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。
结合上述原理示意图，下面将对本申请中的交通标志标注方法进行介绍，请参阅图2，图2为本申请实施例提供的一种交通标志标注方法的流程图，本申请实施例至少包括如下步骤：
201、获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
本实施例中，交通标志标注装置可以通过相机采集包含有交通标志的图像（交通标志图像），而为了得到不同相机位姿下的交通标志图像，可以通过不同相机在不同位姿下对交通标志的图像进行采集，比如相机A在位姿1下对交通标志a进行图像采集，相机B在位姿2下对交通标志a进行图像采集，相机C在位姿3下对交通标志a进行图像采集；也可以通过同一相机在不同位姿下对交通标志的图像进行采集，比如相机A分别在位姿1、位姿2以及位姿3下对交通标志a进行图像采集，此处不做限定。
交通标志包括但不限于交通信号灯、固定交通指示牌等，交通信号灯是指挥交通运行的信号灯，交通信号灯的类型不限，可选地，根据交通信号灯的作用划分交通信号灯的类型，交通信号灯的类型可以包括：机动车信号灯、非机动车信号灯、人行横道信号灯、方向指示指示灯（箭头信号灯）、车道信号灯、闪光警告信号灯、道路与铁路平面交叉道口信号灯。可选地，根据交通信号灯的表现形式划分交通信号灯的类型，交通信号灯的类型可以包括：颜色灯和倒计时灯。其中，颜色灯可以理解为主要通过不同的颜色表示不同交通信号的灯，该颜色灯的颜色可以包括红色、绿色和黄色等，可以理解的是，颜色灯的形状不限，可以是方形、圆形，也可以是类似于人形的形状。
相机位姿信息可以通过GPS或惯导等设备获取。
相机可以是单目相机、双目相机或者更多目相机，又或者是摄像头，本申请对其采集图像的方式没有特别限定，只要能够获得清晰的图像即可。
202、获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
本实施例中，针对每个交通标志图像，交通标志标注装置都会获取交通标志图像中的交通标志的中心点的像素位置信息，从而得到多个像素位置信息。需要说明的是，交通标志图像在包括交通标志的同时，也可能包括交通标志的周围环境，所以交通标志标注装置在获取各交通标志图像中的交通标志的中心点的各像素位置信息之前，交通标志标注装置需要从各交通标志图像中分别提取仅包括交通标志的区域（感兴趣区域），再从交通标志的区域中确定交通标志的中心点。
在一些可能的实施例中，步骤202获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息，包括：
对所述各交通标志图像中的所述交通标志进行标注，得到标注信息；
根据所述标注信息得到所述各交通标志图像中的所述交通标志的中心点的各像素位置信息。
具体地，交通标志标注装置对交通标志图像中的交通标志进行2D标注，得到标注信息，再根据该标注信息得到交通标志图像中的交通标志的中心点的像素位置信息。需要说明的是，交通标志图像中的交通标志的中心点的像素位置指的是交通标志在三维空间中的中心点投影到交通标志图像上的像素位置。
交通标志图像中的交通标志的中心点的像素位置可以通过直接标注的方式得到，也可以通过计算外接矩形的角点中心得到，此处不做限定。可以理解的是，如果交通标志图像中的交通标志为规则形状，且能直接确定中心点，则可以采用直接标志的方式得到，反之，则可以通过计算外接矩形的角点中心得到。
进一步地，在一些可能的实施例中，还包括：
获取所述标注信息中的颜色信息以及外接矩形信息；
将所述颜色信息以及外接矩形信息作为训练数据集，输入至交通标志检测模型，得到训练后的交通标志检测模型。
具体地，在得到标注信息后，交通标志标注装置可以获取该标注信息中的颜色信息（比如红绿灯的颜色）、外接矩形信息，然后将颜色信息以及外接矩形信息作为交通标志检测模型训练的数据集，供交通标志检测模型训练使用，其中，交通标志检测模型可以是基于深度神经网络的模型。可见，在得到标注信息的同时，交通标志标注装置还可以充分利用该标注信息进行模型训练，以提升交通标志检测模型的精度，也扩大了标注信息的利用范围。
203、根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
本实施例中，在得到各相机位姿信息以及各像素位置信息后，交通标志标注装置可以根据各相机位姿信息以及各像素位置信息计算得到交通标志在三维空间中的位置信息。
在一些可能的实施例中，步骤203根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息的具体方案，可以参阅图3，图3为本申请实施例提供的一种计算交通标志在三维空间中的位置信息的流程图，如图3所示，包括如下步骤：
301、根据各像素位置信息，生成像素矩阵；
具体地，在上述得到各交通标志图像中的交通标志的中心点的各像素位置信息之后，交通标志标注装置可以根据各像素位置信息，生成像素矩阵。
例如，各像素位置信息表示为
Figure 562969DEST_PATH_IMAGE001
， 则生成的像素矩阵
Figure 542427DEST_PATH_IMAGE002
为：
Figure 899328DEST_PATH_IMAGE003
；
可以理解的是，每张交通标志图像都包含一个交通标志的中心点，每个交通标志 的中心点都包含一个像素位置信息，像素位置信息可以认为是中心点的坐标信息，例如，上 述
Figure 560116DEST_PATH_IMAGE004
为横坐标，
Figure 905647DEST_PATH_IMAGE005
为纵坐标。上述像素矩阵
Figure 806738DEST_PATH_IMAGE002
的表达式中的
Figure 339350DEST_PATH_IMAGE006
指的是像素位置信息的个 数，像素矩阵
Figure 69409DEST_PATH_IMAGE002
为
Figure 312522DEST_PATH_IMAGE006
×2阶矩阵，
Figure 837044DEST_PATH_IMAGE006
为像素矩阵的行数，2为像素矩阵的列数。
302、根据各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵；
具体地，针对每个相机位姿信息，交通标志标注装置可以生成与像素矩阵关联的位姿矩阵。
例如，在一些可能的实施例中，步骤302根据各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵的步骤，包括：
获取所述像素矩阵的行数；
根据所述像素矩阵的行数、所述各相机位姿信息分别对应的相机位置和相机朝向，生成与所述像素矩阵关联的位姿矩阵；
其中，所述位姿矩阵的行数与所述像素矩阵的行数相同。
具体地，交通标志标注装置在得到像素矩阵的行数
Figure 856952DEST_PATH_IMAGE006
后，根据像素矩阵的行数
Figure 672593DEST_PATH_IMAGE006
、 各相机位姿信息中包括的相机位置以及相机朝向，生成与像素矩阵关联的位姿矩阵。例如， 位姿矩阵可以为如下矩阵
Figure 727137DEST_PATH_IMAGE007
：
Figure 422560DEST_PATH_IMAGE008
；
其中，
Figure 241349DEST_PATH_IMAGE009
可以组成三维坐标（
Figure 782052DEST_PATH_IMAGE009
），用于表示其中一个相 机位置，
Figure 956681DEST_PATH_IMAGE010
可以组成四维坐标（
Figure 370476DEST_PATH_IMAGE010
），用于表示 其中一个相机朝向（对应三维坐标（
Figure 364977DEST_PATH_IMAGE009
）表示的相机位置），位姿矩阵
Figure 974950DEST_PATH_IMAGE007
的行数 与上述像素矩阵的行数相同，位姿矩阵
Figure 53021DEST_PATH_IMAGE007
的每一行与上述像素矩阵中的每一行相对应。
303、根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵；
具体地，交通标志标注装置可以根据位姿矩阵以及获取到的相机内参，得到投影矩阵。
例如，在一些可能的实施例中，步骤303根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵的步骤，包括：
获取所述位姿矩阵的逆矩阵；
将所述逆矩阵与获取到的相机内参进行相乘，得到投影矩阵。
具体地，由于相机内参
Figure 355826DEST_PATH_IMAGE011
是已知的，针对位姿矩阵
Figure 572044DEST_PATH_IMAGE007
的每一行，获得每一个相机位 姿下，相机的投影矩阵
Figure 533178DEST_PATH_IMAGE012
，其中，
Figure 416820DEST_PATH_IMAGE013
表示位姿矩阵
Figure 624948DEST_PATH_IMAGE007
的第
Figure 640046DEST_PATH_IMAGE013
行，
Figure 591821DEST_PATH_IMAGE014
表示位姿矩阵的 逆矩阵。
304、根据所述像素矩阵以及所述投影矩阵，生成目标矩阵；
具体地，交通标志标注装置可以根据像素矩阵以及投影矩阵，生成目标矩阵。
具体地，交通标志标注装置生成目标矩阵的理念是借鉴了奇异值分解（SingularValue Decomposition，SVD）原理，SVD原理中可以通过对某个矩阵进行最小二乘，得到旋转矩阵和平移矩阵。本方案中交通标志标注装置是已知旋转矩阵和平移矩阵，反推出该矩阵。具体地，将像素矩阵表征为平移矩阵，投影矩阵表征为旋转矩阵，从而基于像素矩阵和投影矩阵反推得到目标矩阵。
例如，目标矩阵
Figure 329970DEST_PATH_IMAGE015
，其中
Figure 522048DEST_PATH_IMAGE017
。
305、对所述目标矩阵进行奇异值分解，得到分解结果；
具体地，交通标志标注装置可以对目标矩阵
Figure 509596DEST_PATH_IMAGE018
进行奇异值分解，即将目标矩阵
Figure 999483DEST_PATH_IMAGE018
分解得到
Figure 861914DEST_PATH_IMAGE019
、
Figure 474161DEST_PATH_IMAGE020
和
Figure 152267DEST_PATH_IMAGE021
，通过公式表示为
Figure 462157DEST_PATH_IMAGE022
，其中
Figure 971635DEST_PATH_IMAGE019
是m×m阶矩阵（m阶矩 阵），
Figure 426887DEST_PATH_IMAGE020
是m×n矩阵，
Figure 107136DEST_PATH_IMAGE021
是n×n阶矩阵（n阶矩阵）。应理解，目标矩阵
Figure 1143DEST_PATH_IMAGE018
经过奇异值分解得 到的
Figure 568391DEST_PATH_IMAGE019
、
Figure 210856DEST_PATH_IMAGE020
和
Figure 129133DEST_PATH_IMAGE021
是唯一确定的。
306、根据所述分解结果计算得到交通标志在三维空间中的位置信息。
具体地，在一些可能的实施例中，假设目标矩阵为m×n矩阵，步骤306根据所述分解结果计算得到交通标志在三维空间中的位置信息的步骤，包括：
确定所述分解结果中的m阶矩阵、m×n矩阵以及n阶矩阵；
将所述n阶矩阵的最后一列前n-1的每个元素除以所述n阶矩阵的最后一列的最后一个元素，得到所述交通标志在三维空间中的位置信息；
其中，m和n均为不小于2的正整数。
例如，交通标志标注装置获取分解结果中的
Figure 30093DEST_PATH_IMAGE021
，通过如下公式计算得到交通标志 在三维空间中的位置信息
Figure 500782DEST_PATH_IMAGE023
：
Figure 563416DEST_PATH_IMAGE024
；
该
Figure 500148DEST_PATH_IMAGE023
表示
Figure 955531DEST_PATH_IMAGE021
的最后一列前n-1的每一个元素
Figure 497371DEST_PATH_IMAGE025
除以最后一个元素
Figure 730906DEST_PATH_IMAGE026
。
进一步地，在一些可能的实施例中，步骤306根据所述分解结果计算得到交通标志在三维空间中的位置信息的步骤之后，还包括：
通过所述投影矩阵对所述位置信息对应的坐标点进行投影，得到所述坐标点的投影像素；
根据所述投影像素以及所述像素矩阵构造调整方程；
根据所述调整方程调整所述位置信息。
具体地，交通标志标注装置在得到交通标志在三维空间中的位置信息后，将位置信息的3D坐标的初始值通过上述投影矩阵投影回到每一个相机位姿下，以获得3D坐标的2D投影像素，即2D投影像素表示为：
Figure 404202DEST_PATH_IMAGE027
；
构造调整方程：
Figure 381385DEST_PATH_IMAGE028
，通常可以使用光束平差法（bundleadjustment），对位置信息进行调整，从而获得最终的交通标志的3D位置信息。调整方程可以理解为优化方程。
204、根据所述位置信息在三维地图中标注所述交通标志。
本实施例中，交通标志标注装置在得到交通标志在三维空间中的位置信息后，基于该位置信息可以在三维地图（高精度地图）中标注该交通标志，便于后续的无人驾驶车辆在行驶过程中，基于该高精度地图识别交通标志，保证行驶安全。
综上，本申请实施例提供的方案中，首先获取交通标志的各交通标志图像对应的各相机位姿信息，以及获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息，然后根据各相机位姿信息以及各像素位置信息计算得到交通标志在三维空间中的位置信息，最后根据位置信息在三维地图中标注交通标志。可见本方案是采用对交通标志图像进行自动化处理的方式得到交通标志在三维空间中的位置信息，而无需借助外部测量装置，相对于现有技术中需要借助激光雷达等具有深度测量能力的装置对交通标志在三维空间中的位置信息进行测量，以获取位置信息的方式，显然本方案能够有效降低交通标志的位置信息获取的复杂度以及节省时间。
为了更好地实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置，请参阅图4，图4为本申请实施例提供的一种交通标志标注装置的结构示意图，交通标志标注装置包括：
第一获取单元401，用于获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
第二获取单元402，用于获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
计算单元403，用于根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
标注单元404，用于根据所述位置信息在三维地图中标注所述交通标志。
本实施例中，首先获取交通标志的各交通标志图像对应的各相机位姿信息，以及获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息，然后根据各相机位姿信息以及各像素位置信息计算得到交通标志在三维空间中的位置信息，最后根据位置信息在三维地图中标注交通标志。可见本方案是采用对交通标志图像进行自动化处理的方式得到交通标志在三维空间中的位置信息，而无需借助外部测量装置，相对于现有技术中需要借助激光雷达等具有深度测量能力的装置对交通标志在三维空间中的位置信息进行测量，以获取位置信息的方式，显然本方案能够有效降低交通标志的位置信息获取的复杂度以及节省时间。
可选地，在本申请一些可能的实施例中，所述计算单元403，具体用于根据所述各像素位置信息，生成像素矩阵；
根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵；
根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵；
根据所述像素矩阵以及所述投影矩阵，生成目标矩阵；
对所述目标矩阵进行奇异值分解，得到分解结果；
根据所述分解结果计算得到所述交通标志在三维空间中的位置信息。
可选地，在本申请一些可能的实施例中，还包括：
投影单元，用于通过所述投影矩阵对所述位置信息对应的坐标点进行投影，得到所述坐标点的投影像素；
构造单元，用于根据所述投影像素以及所述像素矩阵构造调整方程；
调整单元，用于根据所述调整方程调整所述位置信息。
可选地，在本申请一些可能的实施例中，还包括：
第三获取单元，用于获取所述像素矩阵的行数；
生成单元，用于根据所述像素矩阵的行数、所述各相机位姿信息分别对应的相机位置和相机朝向，生成与所述像素矩阵关联的位姿矩阵；
其中，所述位姿矩阵的行数与所述像素矩阵的行数相同。
可选地，在本申请一些可能的实施例中，还包括：
第四获取单元，用于获取所述位姿矩阵的逆矩阵；
第五获取单元，用于将所述逆矩阵与获取到的相机内参进行相乘，得到投影矩阵。
可选地，在本申请一些可能的实施例中，所述目标矩阵为m×n矩阵，还包括：
确定单元，用于确定所述分解结果中的m阶矩阵、m×n矩阵以及n阶矩阵；
第六获取单元，用于将所述n阶矩阵的最后一列前n-1的每个元素除以所述n阶矩阵的最后一列的最后一个元素，得到所述交通标志在三维空间中的位置信息；
其中，m和n均为不小于2的正整数。
可选地，在本申请一些可能的实施例中，所述第二获取单元402，具体用于对所述各交通标志图像中的所述交通标志进行标注，得到标注信息；
根据所述标注信息得到所述各交通标志图像中的所述交通标志的中心点的各像素位置信息。
可选地，在本申请一些可能的实施例中，还包括：
第七获取单元，用于获取所述标注信息中的颜色信息以及外接矩形信息；
训练单元，用于将所述颜色信息以及外接矩形信息作为训练数据集，输入至交通标志检测模型，得到训练后的交通标志检测模型。
图5示例了一种计算机设备的实体结构示意图，如图5所示，该计算机设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；根据所述位置信息在三维地图中标注所述交通标志。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；根据所述位置信息在三维地图中标注所述交通标志。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种交通标志标注方法，其特征在于，所述方法包括：
获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
根据所述位置信息在三维地图中标注所述交通标志；
所述根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息的步骤，包括：
根据所述各像素位置信息，生成像素矩阵；
根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵；
根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵；
根据所述像素矩阵以及所述投影矩阵，生成目标矩阵，所述目标矩阵为m×n矩阵；
对所述目标矩阵进行奇异值分解，得到分解结果；
根据所述分解结果计算得到所述交通标志在三维空间中的位置信息；
所述根据所述分解结果计算得到所述交通标志在三维空间中的位置信息的步骤，包括：
确定所述分解结果中的m阶矩阵、m×n矩阵以及n阶矩阵；
将所述n阶矩阵的最后一列前n-1的每个元素除以所述n阶矩阵的最后一列的最后一个元素，得到所述交通标志在三维空间中的位置信息；
其中，m和n均为不小于2的正整数。
2.根据权利要求1所述的交通标志标注方法，其特征在于，所述根据所述分解结果计算得到所述交通标志在三维空间中的位置信息的步骤之后，还包括：
通过所述投影矩阵对所述位置信息对应的坐标点进行投影，得到所述坐标点的投影像素；
根据所述投影像素以及所述像素矩阵构造调整方程；
根据所述调整方程调整所述位置信息。
3.根据权利要求1所述的交通标志标注方法，其特征在于，所述根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵的步骤，包括：
获取所述像素矩阵的行数；
根据所述像素矩阵的行数、所述各相机位姿信息分别对应的相机位置和相机朝向，生成与所述像素矩阵关联的位姿矩阵；
其中，所述位姿矩阵的行数与所述像素矩阵的行数相同。
4.根据权利要求1所述的交通标志标注方法，其特征在于，所述根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵的步骤，包括：
获取所述位姿矩阵的逆矩阵；
将所述逆矩阵与获取到的相机内参进行相乘，得到投影矩阵。
5.根据权利要求1-4任一项所述的交通标志标注方法，其特征在于，所述获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息的步骤，包括：
对所述各交通标志图像中的所述交通标志进行标注，得到标注信息；
根据所述标注信息得到所述各交通标志图像中的所述交通标志的中心点的各像素位置信息。
6.根据权利要求5所述的交通标志标注方法，其特征在于，所述方法还包括：
获取所述标注信息中的颜色信息以及外接矩形信息；
将所述颜色信息以及外接矩形信息作为训练数据集，输入至交通标志检测模型，得到训练后的交通标志检测模型。
7.一种交通标志标注装置，其特征在于，包括：
第一获取单元，用于获取交通标志的各交通标志图像对应的各相机位姿信息，所述各交通标志图像为不同相机位姿下的所述交通标志的图像；
第二获取单元，用于获取所述各交通标志图像中的所述交通标志的中心点的各像素位置信息；
计算单元，用于根据所述各相机位姿信息以及所述各像素位置信息计算得到所述交通标志在三维空间中的位置信息；
标注单元，用于根据所述位置信息在三维地图中标注所述交通标志；
所述计算单元，具体用于根据所述各像素位置信息，生成像素矩阵；根据所述各相机位姿信息，生成与所述像素矩阵关联的位姿矩阵；根据所述位姿矩阵以及获取到的相机内参，得到投影矩阵；根据所述像素矩阵以及所述投影矩阵，生成目标矩阵；对所述目标矩阵进行奇异值分解，得到分解结果；根据所述分解结果计算得到所述交通标志在三维空间中的位置信息，所述目标矩阵为m×n矩阵；
所述计算单元，在执行所述根据所述分解结果计算得到所述交通标志在三维空间中的位置信息时，具体用于确定所述分解结果中的m阶矩阵、m×n矩阵以及n阶矩阵；将所述n阶矩阵的最后一列前n-1的每个元素除以所述n阶矩阵的最后一列的最后一个元素，得到所述交通标志在三维空间中的位置信息；其中，m和n均为不小于2的正整数。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6任一项所述的交通标志标注方法的步骤。
CN202110060876.5A 2021-01-18 2021-01-18 一种交通标志标注方法、装置及计算机设备 Active CN112381876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060876.5A CN112381876B (zh) 2021-01-18 2021-01-18 一种交通标志标注方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060876.5A CN112381876B (zh) 2021-01-18 2021-01-18 一种交通标志标注方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112381876A CN112381876A (zh) 2021-02-19
CN112381876B true CN112381876B (zh) 2021-04-16

Family

ID=74581990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060876.5A Active CN112381876B (zh) 2021-01-18 2021-01-18 一种交通标志标注方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112381876B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763572B (zh) * 2021-09-17 2023-06-27 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN113763573B (zh) * 2021-09-17 2023-07-11 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位***
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756466B (zh) * 2017-08-29 2022-03-01 美商艾維利 丹尼森公司 用於基於投影機的顯示系統的回射片
CN110766760B (zh) * 2019-10-21 2022-08-02 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位***
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置

Also Published As

Publication number Publication date
CN112381876A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
EP3407294B1 (en) Information processing method, device, and terminal
CN106980813B (zh) 机器学习的注视生成
CN110869974B (zh) 点云处理方法、设备及存储介质
CN108694882B (zh) 用于标注地图的方法、装置和设备
CN109858374B (zh) 高精度地图制作中箭头类标线自动提取方法和装置
EP4016457A1 (en) Positioning method and apparatus
CN111539484B (zh) 训练神经网络的方法及装置
CN112381876B (zh) 一种交通标志标注方法、装置及计算机设备
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
CN109840463B (zh) 一种车道线识别方法和装置
EP4198901A1 (en) Camera extrinsic parameter calibration method and apparatus
WO2020199057A1 (zh) 一种自动驾驶模拟***、方法、设备及存储介质
CN114295139A (zh) 一种协同感知定位方法及***
CN111695497B (zh) 基于运动信息的行人识别方法、介质、终端和装置
CN112115820A (zh) 车载辅助驾驶方法及装置、计算机装置及可读存储介质
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN112767412B (zh) 车辆部件级分割方法、装置以及电子设备
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
CN117079238A (zh) 道路边沿检测方法、装置、设备及存储介质
CN112639822A (zh) 一种数据处理方法及装置
CN116681965A (zh) 一种目标检测模型的训练方法及目标检测方法
CN112837365B (zh) 一种基于图像的车辆定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211209

Address after: 215000 room 808, 8 / F, building 9a, launch area of Yangtze River Delta International R & D community, No. 286, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Patentee after: Tianyi Transportation Technology Co.,Ltd.

Address before: 2nd floor, building A3, Hongfeng science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210033

Patentee before: CIIC Technology Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210219

Assignee: Zhongzhixing (Shanghai) Transportation Technology Co.,Ltd.

Assignor: Tianyi Transportation Technology Co.,Ltd.

Contract record no.: X2022980005387

Denomination of invention: A traffic sign marking method, device and computer equipment

Granted publication date: 20210416

License type: Common License

Record date: 20220518

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210219

Assignee: CIIC Technology Co.,Ltd.

Assignor: Tianyi Transportation Technology Co.,Ltd.

Contract record no.: X2022980005922

Denomination of invention: A traffic sign marking method, device and computer equipment

Granted publication date: 20210416

License type: Common License

Record date: 20220524

EE01 Entry into force of recordation of patent licensing contract