CN110148173B - 车路协同中目标定位的方法和装置、电子设备、介质 - Google Patents

车路协同中目标定位的方法和装置、电子设备、介质 Download PDF

Info

Publication number
CN110148173B
CN110148173B CN201910425915.XA CN201910425915A CN110148173B CN 110148173 B CN110148173 B CN 110148173B CN 201910425915 A CN201910425915 A CN 201910425915A CN 110148173 B CN110148173 B CN 110148173B
Authority
CN
China
Prior art keywords
target
point
acquisition unit
ground
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910425915.XA
Other languages
English (en)
Other versions
CN110148173A (zh
Inventor
舒茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910425915.XA priority Critical patent/CN110148173B/zh
Publication of CN110148173A publication Critical patent/CN110148173A/zh
Application granted granted Critical
Publication of CN110148173B publication Critical patent/CN110148173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标定位的方法,其包括:通过位置已知的图像采集单元采集二维图像;分析二维图像以确定其中待定位的目标,以及目标的尺寸和形态;确定二维图像中目标的一个对应地面的像素点为标定点,并根据目标的尺寸和形态,确定标定点相对目标的位置;将预设的地图点云中的地面点映射至二维图像中,以确定至少部分像素点对应的地面点;根据图像采集单元的位置确定地面点相对图像采集单元的位置,并确定标定点相对图像采集单元的位置;根据标定点相对图像采集单元的位置,以及标定点相对目标的位置,确定目标相对图像采集单元的位置。本公开还提供了一种目标定位的装置、电子设备、计算机可读介质。

Description

车路协同中目标定位的方法和装置、电子设备、介质
技术领域
本公开实施例涉及定位技术领域,特别涉及目标定位的方法和装置、电子设备、计算机可读介质。
背景技术
很多情况下,希望通过分析二维(2D)图像确定其中目标的三维(3D)空间位置,即确定目标在真实物理世界中的位置,该过程称为“2D回3D”。例如,在车路协同(V2X)、自动泊车技术等领域中,可通过2D回3D技术确定障碍物位置,以缓解堵塞、实现盲区避障等。
2D回3D技术的一种方式为“单目法”,即仅通过分析一个摄像头拍摄的二维图像确定其中目标的位置,这种方式的感知范围大、运算量小、对设备要求低。但由于只有一幅图像,故单目法主要通过“近大远小”的原则分析目标的位置,而这种方式的定位精度很低。
发明内容
本公开实施例提供一种目标定位的方法和装置、电子设备、计算机可读介质。
第一方面,本公开实施例提供一种目标定位的方法,所述方法包括:
通过位置已知的图像采集单元采集二维图像;
分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态;
确定所述二维图像中所述目标的一个对应地面的像素点为标定点,并根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置;
将预设的地图点云中的地面点映射至所述二维图像中,以确定至少部分所述像素点对应的所述地面点;
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置;
根据所述标定点相对所述图像采集单元的位置,以及所述标定点相对所述目标的位置,确定所述目标相对所述图像采集单元的位置。
在一些实施例中,所述分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态包括:
通过深度神经网处理所述二维图像,以确定其中待定位的目标,以及所述目标的尺寸和形态。
在一些实施例中,所述确定所述二维图像中所述目标的一个对应地面的像素点为标定点包括:
在所述二维图像中建立与所述目标对应的虚拟矩形,所述虚拟矩形为将所述目标包含在其中的最小矩形,且所述虚拟矩形具有两个垂直于所述二维图像的高度方向的第一边,所述高度方向为二维图像中垂直于地面的方向;
以在所述二维图像中靠近所述地面的所述第一边的中点为所述标定点。
在一些实施例中,所述根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置包括:
根据所述目标的尺寸和形态,确定所述目标在地面的正投影的中心点;
根据所述目标的尺寸和形态,确定所述中心点相对所述标定点的位置,以所述中心点的位置为所述目标的位置。
在一些实施例中,在所述将预设的地图点云中的地面点映射至所述二维图像中前,还包括:
从预设的地图点云中提取出地面点。
在一些实施例中,所述根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置包括:
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,以所述地面点相对所述图像采集单元的位置为与其对应的像素点相对所述图像采集单元的位置;
若所述标定点没有对应的地面点,则根据已知的所述像素点相对所述图像采集单元的位置,确定所述标定点相对所述图像采集单元的位置。
在一些实施例中,在所述确定所述目标相对所述图像采集单元的位置后,还包括:
确定所述目标在预设的地图中的位置。
第二方面,本公开实施例提供一种目标定位的目标定位的装置,其包括:
图像采集单元,用于采集二维图像;
分析单元,用于分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态;
标定点单元,用于确定所述二维图像中所述目标的一个对应地面的像素点为标定点,并根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置;
映射单元,用于将预设的地图点云中的地面点映射至所述二维图像中,以确定至少部分所述像素点对应的所述地面点;
标定点定位单元,用于根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置;
目标定位单元,用于根据所述标定点相对所述图像采集单元的位置,以及所述标定点相对所述目标的位置,确定所述目标相对所述图像采集单元的位置。
在一些实施例中,所述分析单元用于通过深度神经网处理所述二维图像,以确定其中待定位的目标,以及所述目标的尺寸和形态。
在一些实施例中,所述标定点单元用于:
在所述二维图像中建立与所述目标对应的虚拟矩形,所述虚拟矩形为将所述目标包含在其中的最小矩形,且所述虚拟矩形具有两个垂直于所述二维图像的高度方向的第一边,所述高度方向为二维图像中垂直于地面的方向;
以在所述二维图像中靠近所述地面的所述第一边的中点为所述标定点。
在一些实施例中,所述标定点单元用于:
根据所述目标的尺寸和形态,确定所述目标在地面的正投影的中心点;
根据所述目标的尺寸和形态,确定所述中心点相对所述标定点的位置,以所述中心点的位置为所述目标的位置。
在一些实施例中,所述装置还包括:
提取单元,用于从预设的地图点云中提取出地面点。
在一些实施例中,所述标定点定位单元用于:
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,以所述地面点相对所述图像采集单元的位置为与其对应的像素点相对所述图像采集单元的位置;
若所述标定点没有对应的地面点,则根据已知的所述像素点相对所述图像采集单元的位置,确定所述标定点相对所述图像采集单元的位置。
在一些实施例中,所述装置还包括:
地图定位单元,用于确定所述目标在预设的地图中的位置。
第三方面,本公开实施例提供一种电子设备,其包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任意一种目标定位的方法。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任意一种目标定位的方法。
可见,本公开实施例的方法仅利用一个图像采集单元采集的单幅图像即可实现对目标的定位,故其属于“单目法”,感知范围大、运算量小、效率高、对设备的要求低、成本低。
同时,本公开实施例的方法通过图像分析确定目标的实际尺寸和形态,并通过引入已有的地面点,实现对目标的准确定位,而不是仅仅通过简单的“近大远小”原则进行定位,故其定位精度远远超过现有的“单目法”定位技术。
附图说明
附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其它特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1为本公开实施例提供的一种目标定位的方法的流程图;
图2为本公开实施例提供的另一种目标定位的方法的流程图;
图3为本公开实施例提供的一种目标定位的方法中的地图点云的示意图;
图4为本公开实施例提供的一种目标定位的方法中的景深方向的示意图;
图5为本公开实施例提供的一种目标定位的方法中的确定标定点的示意图;
图6为本公开实施例提供的一种目标定位的方法中目标在地面的正投影的几何尺寸关系的示意图;
图7为本公开实施例提供的一种目标定位的方法中各像素点对应的景深图;
图8为本公开实施例提供的一种目标定位的装置的组成框图;
图9为本公开实施例提供的另一种目标定位的装置的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的目标定位的方法和装置、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本公开阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
如本公开所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本公开所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本公开所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。
当本公开中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
本公开所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此,可根据制造技术和/或容限来修改示例图示。
本公开的实施例不限于附图中所示的实施例,而是包括基于制造工艺而形成的配置的修改。因此,附图中例示的区具有示意性属性,并且图中所示区的形状例示了元件的区的具体形状,但并不旨在是限制性的。
除非另外限定,否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本公开明确如此限定。
本公开实施例属于基于图像的目标定位技术,即通过分析二维(2D)图像确定其中目标的三维(3D)空间位置,即确定目标在真实物理世界中的位置,以便进行对目标的统计、避让等,其也称为“2D回3D”。例如,本公开实施例可在车路协同(V2X)、自动泊车等领域中用于缓解堵塞、实现盲区避障等。
具体的,本公开实施例属于“单目法”的2D回3D技术,即仅通过分析由一个图像采集单元采集的一幅图像,确定其中目标的位置。
图1为本公开实施例的目标定位的方法的流程图。
第一方面,参照图1,本公开实施例提供一种目标定位的方法,其包括:
S101、通过位置已知的图像采集单元采集二维图像。
也就是说,通过摄像头、相机等具有采集图像能力的图像采集单元,采集二维图像。
其中,图像采集单元可设于固定位置(如固定在道路旁的特定结构上),也可为能移动的状态(如为车载的图像采集单元)。但不论图像采集单元具体形式如何,其进行采集时的位置(真实物理世界中的位置)都是已知的。例如,设于固定位置的图像采集单元的位置就是该固定位置;而对于能移动的图像采集单元,可通过GPS定位等实时的确定其位置。
当然,图像采集单元的采集方向(即进行拍摄的主轴的方向)也是已知的。
由此,图像采集单元采集的二维图像的大致位置(即对应的真实物理世界的位置)是已知的。
S102、分析二维图像以确定其中待定位的目标,以及目标的尺寸和形态。
通过图像分析技术,确定二维图像中要定位的对象(目标)以及其具体类型(如障碍物、车辆、人等)。
同时,通过分析二维图像,确定其中的目标的尺寸(在真实物理世界中的尺寸)、形态(在真实物理世界中形状、朝向等)。
在一些实施例中,本步骤(S102)包括:通过深度神经网处理二维图像,以确定其中待定位的目标,以及目标的尺寸和形态。
也就是说,通过预先训练的深度神经网,可较为准确的确定目标的尺寸和形态。
S103、确定二维图像中目标的一个对应地面的像素点为标定点,并根据目标的尺寸和形态,确定标定点相对目标的位置。
其中,像素点是二维图像中能独立表示特定内容(颜色和亮度)的最小单元,二维图像中的所有结构(包括目标)都是由一些像素点构成的,每个像素点在二维图像中有确定的位置(如二维坐标)。
二维图像中的部分像素点与目标相关,这些像素点中有又一部分是在地面上的,故可从这些地面上的像素点中选取一个为目标的标定点。具体的,标定点可以是目标上的与地面接触的点(如为汽车的轮子与地面的接触点),也可以是目标所占据的区域与地面接触的点(如为汽车的两个轮子与地面的两个接触点之间的连线上的点)。
总之,标定点是与目标相关的、位于地面上的、二维图像中的像素点。由此,该标定点必然是二维图像中直接可见的点。
由于目标的尺寸和形态是已知的,故通过几何关系的计算,即可确定目标整体与该标定点的相对位置关系,即确定标定点相对目标的位置。
S104、将预设的地图点云中的地面点映射至二维图像中,以确定至少部分像素点对应的地面点。
其中,地图点云是预设的地图中的信息,其是真实物理世界中的道路及其周围固定景物(如道路附属设备、植物、建筑物等)的表面点的集合,故地图点云可表示出其所对应的环境的立体结构;图3即示出了一个区域的地图点云的例子。在地图点云中,至少部分点是对应道路表面的“地面”的,即为地面点。当然,地图点云中通常不包括当前要定位的目标的点。
本步骤中,根据图像采集单元的位置和采集方向,可确定二维图像对应的是地图点云的那一部分,进而可通过投影的方式,将这部分中的地面点映射到二维图像中,即确定每个地面点与二维图像中的哪个像素点对应,也就是确定二维图像中的部分像素点在真实物理世界中对应的“地面位置”。当然,对于表示地面上的物体的像素点,以上“对应”仅代表该像素点在地面上的正投影点对应的地面位置,而不代表该像素点本身在地面上。
具体的,以上映射可通过以下公式实现:
a=K[R|t]A;
其中,A代表地面点在地图点云坐标系中的坐标(三维坐标);a表示与地面点对应的像素点在二维图像中的坐标(二维坐标);K是由图像采集单元的固有参数决定的3×3的矩阵,即图像采集单元的内参数矩阵;R是3×3的旋转矩阵,代表地图坐标系到以图像采集单元为基准的坐标系(即图像采集单元坐标系XYZ,其也是三维坐标系)的旋转变换;t是3×1的向量,代表地图坐标系到图像采集单元坐标系的平移变换;[R|t]为图像采集单元的外参数矩阵;以上图像采集单元的各参数矩阵可根据图像采集单元的结构、状态参数、位置、采集方向等确定。
S105、根据图像采集单元的位置确定地面点相对图像采集单元的位置,并确定标定点相对图像采集单元的位置。
图像采集单元的位置已知,而各地面点的位置(在真实物理世界中的位置)当然也是已知的,故每个地面点相对图像采集单元的位置也是可以求出的,由此,可得出二维图像中的定标定点相对图像采集单元的位置。
例如,以上相对位置可用景深表示。具体的,参照图4,定义平行于地面(图中即图像采集单元坐标系的Z轴方向)的景深方向,且景深方向和图像采集单元的采集方向(图中虚线)所在的平面与地面垂直;由此,任意点在景深方向上与图像采集单元的距离即为该点的景深,从而每个地面位置(地面点)都具有确定的景深,而二维图像中的每个像素点也有对应的景深(即其对应的地面位置的景深)。
S106、根据标定点相对图像采集单元的位置,以及标定点相对目标的位置,确定目标相对图像采集单元的位置。
如前,标定点相对图像采集单元的位置已知的,而标定点相对目标的位置也已知,由此,即可计算出目标相对图像采集单元的位置,也就是确定目标在真实物理世界中的位置,实现目标定位。
可见,本公开实施例的方法仅利用一个图像采集单元采集的单幅图像即可实现对目标的定位,故其属于“单目法”,感知范围大、运算量小、效率高、对设备的要求低、成本低。
同时,本公开实施例的方法通过图像分析确定目标的实际尺寸和形态,并通过引入已有的地面点,实现对目标的准确定位,而不是仅仅通过简单的“近大远小”原则进行定位,故其定位精度远远超过现有的“单目法”定位技术。
在一些实施例中,参照图2,在以上S104步骤之前,还包括:
S100、从预设的地图点云中提取出地面点。
参照图3,在地图点云中除地面点,还有固定景物等其它结构的点(相对地面点为噪声点),而本公开实施例中仅利用地面点,故需要预先确定地图点云中的哪些点是地面点。
具体的,以上提取地面点的算法是多样的,例如为随机采样一致性算法(RANSAC)。
在一些实施例中,参照图2,以上S103步骤中的“确定二维图像中目标的一个对应地面的像素点为标定点”包括:
S1031、在二维图像中建立与目标对应的虚拟矩形;虚拟矩形为将目标包含在其中的最小矩形,且虚拟矩形具有两个垂直于二维图像的高度方向的第一边,高度方向为二维图像中垂直于地面的方向。
不论目标在真实物理世界中的形状如何,也不论其在二维图像中的形状如何,均可认为其在二维图像中占据一个矩形区域(虚拟矩形)。该虚拟矩形将目标完全包括在其内部,且每个边均与目标的边缘有重合;同时,该虚拟矩形具有两个相对的第一边和两个相对的第二边,若定义二维图像中与地面垂直的方向为高度方向,则第二边平行于高度方向,第一边垂直于高度方向。
由于二维图像通常为矩形,且其中的地平线(逻辑上存在,但不一定可见)一般平行于二维图像的长边,故以上高度方向也可垂直于二维图像的长边。例如,图5为二维图像中的一辆汽车及其对应的虚拟矩形,图5的高度方向为上下方向,其中虚拟矩形的上下两边为第一边,左右两边为第二边。
S1032、以在二维图像中靠近地面的第一边的中点为标定点。
以虚拟矩形中“更靠下”的第一边(图5中虚拟矩形的下侧边)作为目标所占据区域的下边缘,并以该第一边的中点(图5中的P点)作为标定点。以上选取的中点通常比较近似于目标的最靠近地面的可见点,故用其进行计算准确性较好。
在一些实施例中,参照图2,以上S103步骤中的“根据目标的尺寸和形态,确定标定点相对目标的位置”包括:
S1033、根据目标的尺寸和形态,确定目标在地面的正投影的中心点。
S1034、根据目标的尺寸和形态,确定中心点相对标定点的位置,以中心点的位置为目标的位置。
根据目标的尺寸和形态,可确定其在地面的正投影的尺寸和形态,进而也可确定该正投影的中心点(几何中心),并以该中心点的位置作为目标的位置;而以上标定点在该正投影中的位置是可知的,故可进一步求出中心点相对标定点的位置,也就是求出目标相对标定点的位置。
例如,参照图6,通过图像分析,可认为图5中的汽车在地面上的正投影近似为矩形,故该正投影矩形的中心即为以上中心点(C点),而以上确定的标定点(P点)在景深方向上与中心点的位置差(景深差)d可通过以下公式求出:
θ=atan(w/l);
α=θ+rot;
r=(w2+l2)1/2
d=r*sinα;
其中,l和w分别为汽车的长和宽,rot为汽车的朝向与垂直于景深方向的方向(X轴)的夹角,这些均是通过对二维图像的分析获得的;由此,图中的θ、α和d均是可计算得到的。
建立如图6所示的图像采集单元坐标系XYZ,其中Z轴即为以上景深方向,X轴平行于地面且垂直于Z轴的方向,Y轴垂直于地面且垂直于Z轴的方向。由此可知,以上中心点C在图像采集单元坐标系XYZ中的Z坐标(景深)ZC符合以下公式:
ZC=ZP+d;
其中ZP为以上标定点在图像采集单元坐标系中的Z坐标,其也就是P点对应的景深,是已知的,故ZC是计算得到,从而标定点在Z轴上与中心点的相对位置即被确定了。
进一步的,可通过以下公式计算得到中心点C在图像采集单元坐标系中的Y坐标YC和X坐标XC
Figure DEST_PATH_IMAGE001
其中,xC和yC为目标在二维图像中的中心(即虚拟矩形的中心)的像素点的坐标(二维坐标),是已知的,K为以上图像采集单元的3×3的内参矩阵。当然,由于遮挡关系,故以上(xC,yC)像素点的实际内容通常是目标的表面某个点。
这样,即通过以上标定点的位置(相对图像采集单元的位置),以及标定点与中心点的位置关系,确定了中心点的位置,即确定了中心点在图像采集单元坐标系中的坐标(三维坐标),从而实现了目标定位。
在一些实施例中,参照图2,以上S105步骤包括:
S1051、根据图像采集单元的位置确定地面点相对图像采集单元的位置,以地面点相对图像采集单元的位置为与其对应的像素点相对图像采集单元的位置。
S1052、若标定点没有对应的地面点,则根据已知的像素点相对图像采集单元的位置,确定标定点相对图像采集单元的位置。
在确定像素点对应的地面点后,即可用地面点相对图像采集单元的位置(如景深)作为该像素点相对图像采集单元的位置。
但由于地图点云中的地面点通常比较稀疏,故二维图像中一般只有少量像素点具有对应的地面点,而以上标定点可能并无对应的地面点。
因此,可利用与图像采集单元相对位置已知的像素点,计算出包括标定点在内的更多像素点相对图像采集单元的位置。例如,可利用部分像素点的景深,通过线性插值法,算出更多像素点的景深,得到如图7所示的稠密的景深图,图7中的不同亮度代表了对应位置的像素点的不同景深。
当然,如果标定点本身直接具有对应的地面点,则可直接以其对应的地面点相对图像采集单元的位置作为标定点相对图像采集单元的位置,而不进行以上步骤。
在一些实施例中,参照图2,以上S106步骤后,还包括:
S107、确定目标在预设的地图中的位置。
从数据便于利用的角度考虑,在确定目标相对图像采集单元的位置后,还可进一步确定目标在预设的地图中的位置,即确定目标在真实物理世界(世界坐标)中的位置。
具体的,确定目标在预设的地图中的位置的方式是多样的,如可通过以下公式进行坐标变换实现:
Figure DEST_PATH_IMAGE002
其中,Xc、Yc、Zc分别为以上中心点C在采集单元坐标系中的X坐标、Y坐标、Z坐标;X1c、Y1c、Z1c分别为以上中心点C在预设的地图坐标系X1Y1Z1中的X1坐标、Y1坐标、Z1坐标;R和t分别为以上图像采集单元的外参数矩阵中表示旋转变换的矩阵和表示平移变换的向量;1是为实现齐次变换而引入的辅助参数。
当然,应当理解,根据标定点取法、代表目标的点(如中心点)的取法、坐标系建立方法等的不同,以上各步骤中的具体算法、具体公式等也都是不同的,但这些具体算法、具体公式必然是通过已知的几何关系可确定的,故在此不再详细描述。
当然,应当理解,以上各步骤虽然以一定的顺序描述,且具有一定的编号,但这些顺序和编号并不是对各步骤的实际执行顺序的限定;同时,每个步骤中包括的多个详细子步骤,也不一定必然连续进行。在逻辑上无矛盾的情况下,以上各步骤和各子步骤的实际执行顺序可根据需要调整,在此不再详细描述。
图8为本公开实施例的目标定位的装置的组成框图。
第二方面,参照图8,本公开实施例提供一种目标定位的目标定位的装置,其包括:
图像采集单元,用于采集二维图像;
分析单元,用于分析二维图像以确定其中待定位的目标,以及目标的尺寸和形态;
标定点单元,用于确定二维图像中目标的一个对应地面的像素点为标定点,并根据目标的尺寸和形态,确定标定点相对目标的位置;
映射单元,用于将预设的地图点云中的地面点映射至二维图像中,以确定至少部分像素点对应的地面点;
标定点定位单元,用于根据图像采集单元的位置确定地面点相对图像采集单元的位置,并确定标定点相对图像采集单元的位置;
目标定位单元,用于根据标定点相对图像采集单元的位置,以及标定点相对目标的位置,确定目标相对图像采集单元的位置。
在一些实施例中,分析单元用于通过深度神经网处理二维图像,以确定其中待定位的目标,以及目标的尺寸和形态。
在一些实施例中,标定点单元用于:
在二维图像中建立与目标对应的虚拟矩形,虚拟矩形为将目标包含在其中的最小矩形,且虚拟矩形具有两个垂直于二维图像的高度方向的第一边,高度方向为二维图像中垂直于地面的方向;
以在二维图像中靠近地面的第一边的中点为标定点。
在一些实施例中,标定点单元用于:
根据目标的尺寸和形态,确定目标在地面的正投影的中心点;
根据目标的尺寸和形态,确定中心点相对标定点的位置,以中心点的位置为目标的位置。
在一些实施例中,参照图9,装置还包括:
提取单元,用于从预设的地图点云中提取出地面点。
在一些实施例中,标定点定位单元用于:
根据图像采集单元的位置确定地面点相对图像采集单元的位置,以地面点相对图像采集单元的位置为与其对应的像素点相对图像采集单元的位置;
若标定点没有对应的地面点,则根据已知的像素点相对图像采集单元的位置,确定标定点相对图像采集单元的位置。
在一些实施例中,参照图9,装置还包括:
地图定位单元,用于确定目标在预设的地图中的位置。
第三方面,本公开实施例提供一种电子设备,其包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任意一种目标定位的方法。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现上述任意一种目标定位的方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据,并且可包括任何信息递送介质。
本公开已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。

Claims (16)

1.一种车路协同中目标定位的方法,其包括:
通过位置已知的图像采集单元采集二维图像;
分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态;
确定所述二维图像中所述目标的一个对应地面的像素点为标定点,并根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置;所述标定点是所述二维图像中的、与所述目标相关的、位于地面上的像素点;
将预设的地图点云中的地面点映射至所述二维图像中,以确定至少部分所述像素点对应的所述地面点;
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置;
根据所述标定点相对所述图像采集单元的位置,以及所述标定点相对所述目标的位置,确定所述目标相对所述图像采集单元的位置。
2.根据权利要求1所述的方法,其中,所述分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态包括:
通过深度神经网络处理所述二维图像,以确定其中待定位的目标,以及所述目标的尺寸和形态。
3.根据权利要求1所述的方法,其中,所述确定所述二维图像中所述目标的一个对应地面的像素点为标定点包括:
在所述二维图像中建立与所述目标对应的虚拟矩形,所述虚拟矩形为将所述目标包含在其中的最小矩形,且所述虚拟矩形具有两个垂直于所述二维图像的高度方向的第一边,所述高度方向为二维图像中垂直于地面的方向;
以在所述二维图像中靠近所述地面的所述第一边的中点为所述标定点。
4.根据权利要求1所述的方法,其中,所述根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置包括:
根据所述目标的尺寸和形态,确定所述目标在地面的正投影的中心点;
根据所述目标的尺寸和形态,确定所述中心点相对所述标定点的位置,以所述中心点的位置为所述目标的位置。
5.根据权利要求1所述的方法,其中,在所述将预设的地图点云中的地面点映射至所述二维图像中前,还包括:
从预设的地图点云中提取出地面点。
6.根据权利要求1所述的方法,其中,所述根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置包括:
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,以所述地面点相对所述图像采集单元的位置为与其对应的像素点相对所述图像采集单元的位置;
若所述标定点在所述地图点云中没有对应的地面点,则根据已知的所述像素点相对所述图像采集单元的位置,确定所述标定点相对所述图像采集单元的位置。
7.根据权利要求1所述的方法,其中,在所述确定所述目标相对所述图像采集单元的位置后,还包括:
确定所述目标在预设的地图中的位置。
8.一种车路协同中目标定位的装置,其包括:
图像采集单元,用于采集二维图像;
分析单元,用于分析所述二维图像以确定其中待定位的目标,以及所述目标的尺寸和形态;
标定点单元,用于确定所述二维图像中所述目标的一个对应地面的像素点为标定点,并根据所述目标的尺寸和形态,确定所述标定点相对所述目标的位置;所述标定点是所述二维图像中的、与所述目标相关的、位于地面上的像素点;
映射单元,用于将预设的地图点云中的地面点映射至所述二维图像中,以确定至少部分所述像素点对应的所述地面点;
标定点定位单元,用于根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,并确定所述标定点相对所述图像采集单元的位置;
目标定位单元,用于根据所述标定点相对所述图像采集单元的位置,以及所述标定点相对所述目标的位置,确定所述目标相对所述图像采集单元的位置。
9.根据权利要求8所述的装置,其中,
所述分析单元用于通过深度神经网络处理所述二维图像,以确定其中待定位的目标,以及所述目标的尺寸和形态。
10.根据权利要求8所述的装置,其中,所述标定点单元用于:
在所述二维图像中建立与所述目标对应的虚拟矩形,所述虚拟矩形为将所述目标包含在其中的最小矩形,且所述虚拟矩形具有两个垂直于所述二维图像的高度方向的第一边,所述高度方向为二维图像中垂直于地面的方向;
以在所述二维图像中靠近所述地面的所述第一边的中点为所述标定点。
11.根据权利要求8所述的装置,其中,所述标定点单元用于:
根据所述目标的尺寸和形态,确定所述目标在地面的正投影的中心点;
根据所述目标的尺寸和形态,确定所述中心点相对所述标定点的位置,以所述中心点的位置为所述目标的位置。
12.根据权利要求8所述的装置,其中,还包括:
提取单元,用于从预设的地图点云中提取出地面点。
13.根据权利要求8所述的装置,其中,所述标定点定位单元用于:
根据所述图像采集单元的位置确定所述地面点相对所述图像采集单元的位置,以所述地面点相对所述图像采集单元的位置为与其对应的像素点相对所述图像采集单元的位置;
若所述标定点在所述地图点云中没有对应的地面点,则根据已知的所述像素点相对所述图像采集单元的位置,确定所述标定点相对所述图像采集单元的位置。
14.根据权利要求8所述的装置,其中,还包括:
地图定位单元,用于确定所述目标在预设的地图中的位置。
15.一种电子设备,其包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据权利要求1至7中任意一项所述的目标定位的方法。
16.一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现根据权利要求1至7中任意一项所述的目标定位的方法。
CN201910425915.XA 2019-05-21 2019-05-21 车路协同中目标定位的方法和装置、电子设备、介质 Active CN110148173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425915.XA CN110148173B (zh) 2019-05-21 2019-05-21 车路协同中目标定位的方法和装置、电子设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425915.XA CN110148173B (zh) 2019-05-21 2019-05-21 车路协同中目标定位的方法和装置、电子设备、介质

Publications (2)

Publication Number Publication Date
CN110148173A CN110148173A (zh) 2019-08-20
CN110148173B true CN110148173B (zh) 2021-08-06

Family

ID=67592622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425915.XA Active CN110148173B (zh) 2019-05-21 2019-05-21 车路协同中目标定位的方法和装置、电子设备、介质

Country Status (1)

Country Link
CN (1) CN110148173B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037279B (zh) * 2020-09-04 2021-11-16 贝壳找房(北京)科技有限公司 物品位置识别方法和装置、存储介质、电子设备
CN112184813B (zh) * 2020-09-24 2023-02-03 华人运通(上海)自动驾驶科技有限公司 车辆定位方法、装置、设备和存储介质
CN113487669A (zh) * 2021-07-07 2021-10-08 广东博智林机器人有限公司 作业轨迹确定方法、装置、计算机设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964402B1 (ja) * 1998-08-28 1999-10-18 株式会社ゼンリン 三次元地図データベースの作成方法及び装置
CN103115613B (zh) * 2013-02-04 2015-04-08 安徽大学 一种空间三维定位方法
CN105809654B (zh) * 2014-12-29 2018-11-23 深圳超多维科技有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN106407947B (zh) * 2016-09-29 2019-10-22 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN108509820B (zh) * 2017-02-23 2021-12-24 百度在线网络技术(北京)有限公司 障碍物分割方法及装置、计算机设备及可读介质
CN108182706B (zh) * 2017-12-08 2021-09-28 重庆广睿达科技有限公司 一种焚烧物的监控方法及***
CN108986161B (zh) * 2018-06-19 2020-11-10 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN113486796B (zh) * 2018-09-07 2023-09-05 百度在线网络技术(北京)有限公司 无人车位置检测方法、装置、设备、存储介质及车辆
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距***及方法
CN109636713A (zh) * 2018-12-10 2019-04-16 百度在线网络技术(北京)有限公司 定位方法、装置、设备和介质

Also Published As

Publication number Publication date
CN110148173A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
CN112270713B (zh) 标定方法以及装置、存储介质、电子装置
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN110148173B (zh) 车路协同中目标定位的方法和装置、电子设备、介质
Li et al. Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space
CN111563921B (zh) 一种基于双目相机的水下点云获取方法
CN108230392A (zh) 一种基于imu的视觉障碍物检测虚警剔除方法
CN109727285B (zh) 使用边缘图像的位置和姿态确定方法和***
CN111932627B (zh) 一种标识物绘制方法及***
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN113034586B (zh) 道路倾角检测方法和检测***
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
CN112017238A (zh) 一种线状物体的空间位置信息确定方法及装置
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
Suhr et al. Dense stereo-based robust vertical road profile estimation using Hough transform and dynamic programming
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、***及存储介质
WO2020132965A1 (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN111260538A (zh) 基于长基线双目鱼眼相机的定位及车载终端
CN115718304A (zh) 目标对象检测方法、装置、车辆及存储介质
Pan et al. Virtual top-view camera calibration for accurate object representation
CN113256574B (zh) 一种三维目标检测方法
WO2022133986A1 (en) Accuracy estimation method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant