CN112419385A - 一种3d深度信息估计方法、装置及计算机设备 - Google Patents

一种3d深度信息估计方法、装置及计算机设备 Download PDF

Info

Publication number
CN112419385A
CN112419385A CN202110093028.4A CN202110093028A CN112419385A CN 112419385 A CN112419385 A CN 112419385A CN 202110093028 A CN202110093028 A CN 202110093028A CN 112419385 A CN112419385 A CN 112419385A
Authority
CN
China
Prior art keywords
coordinate system
target
coordinate
image
direction angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110093028.4A
Other languages
English (en)
Other versions
CN112419385B (zh
Inventor
尚进
马良慧
冉雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Intelligent Control Beijing Technology Co Ltd
Original Assignee
Guoqi Intelligent Control Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Intelligent Control Beijing Technology Co Ltd filed Critical Guoqi Intelligent Control Beijing Technology Co Ltd
Priority to CN202110093028.4A priority Critical patent/CN112419385B/zh
Publication of CN112419385A publication Critical patent/CN112419385A/zh
Application granted granted Critical
Publication of CN112419385B publication Critical patent/CN112419385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种3D深度信息估计方法、装置及计算机设备，该方法包括：获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定；根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。通过实施本发明，不需要训练3D目标检测深度学习网络，提高计算速度，而且图像坐标系和自车坐标系均通过相机坐标系标定，每次的标定过程同时考虑了相机的内参和外参，避免了当换一个相机，相机内参改变，而导致预测的深度信息不准确的问题。

Description

一种3D深度信息估计方法、装置及计算机设备
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种3D深度信息估计方法、装置及计算机设备。
背景技术
作为计算机视觉研究中的一个重要方向，深度信息估计的主要目标是测出图像中目标物体的深度，获取像素级别的深度图。相关技术中的深度信息估计通常为通过深度学习网络对得到的目标物体的热力图进行定位，得到目标的3D框的中心点坐标和3D框的长宽高。但是训练的深度学习网络通常都是使用固定的相机内参进行训练，例如Centernet3D，训练出来的模型只能在固定场景下使用，如果换一个相机拍摄一张照片或者录制一段视频，使用该模型预测出的深度信息是不准确的，模型适用性差。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中使用固定相机内参训练得到的深度学习网络模型适用性差的缺陷，从而提供一种3D深度信息估计方法、装置及计算机设备。
根据第一方面，本发明公开了一种3D深度信息估计方法，包括如下步骤：获取目标行驶物体的2D检测框的尺寸信息以及所述目标行驶物体的行驶方向角，所述尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，所述行驶方向角是在目标行驶物体的自车坐标系中形成的，所述图像坐标系和所述自车坐标系均通过拍摄所述目标行驶物体的相机对应的相机坐标系标定；根据所述尺寸信息和所述目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。
可选地，所述获取所述目标行驶物体的行驶方向角，包括：获取所述目标行驶物体沿所述自车坐标系的目标坐标轴的第一速度分量和第二速度分量，所述目标坐标轴与所述图像坐标系的坐标轴方向相同；根据所述第一速度分量和所述第二速度分量确定所述目标行驶物体的行驶方向角。
可选地，所述方法还包括：获取待识别图像；将所述待识别图像输入到预设识别模型中进行识别，得到目标行驶物体的2D检测框的尺寸信息。
可选地，所述图像坐标系下的行驶方向角通过如下步骤确定：获取所述2D检测框中的任一地面点的第一坐标；根据预设算法对所述第一坐标进行转换，得到所述任一地面点的坐标在所述自车坐标系对应的第二坐标；在所述自车坐标系中选取第三坐标；根据所述第二坐标、所述第三坐标以及所述目标行驶物体的行驶方向角，在所述自车坐标系中选取第四坐标；根据所述预设算法对所述第三坐标、所述第四坐标进行转换，得到所述第三坐标在图像坐标系中的第五坐标和所述第四坐标在图像坐标系中的第六坐标；根据所述第一坐标、所述第五坐标以及所述第六坐标，确定所述目标行驶物体在所述图像坐标系下的行驶方向角。
可选地，所述根据所述图像坐标系下的行驶方向角以及所述尺寸信息确定所述目标行驶物体的3D深度信息，包括：
Figure 227764DEST_PATH_IMAGE001
；或
Figure 941642DEST_PATH_IMAGE002
其中，
Figure 626439DEST_PATH_IMAGE003
表示目标行驶物体的3D深度信息；
Figure 756069DEST_PATH_IMAGE004
表示目标行驶物体的2D检测框的尺寸信 息中的长度信息；
Figure 101600DEST_PATH_IMAGE005
表示目标行驶物体的2D检测框的尺寸信息中的宽度信息；
Figure 330587DEST_PATH_IMAGE006
表示图像 坐标系下的行驶方向角；n为常数，根据目标行驶物体的2D检测框的尺寸信息中的长度信息 与目标行驶物体的3D长度信息确定。
可选地，所述预设算法为：
Figure 394358DEST_PATH_IMAGE007
其中，
Figure 999783DEST_PATH_IMAGE008
表示相机坐标系；
Figure 403083DEST_PATH_IMAGE009
是图像坐标系下的坐标；
Figure 927605DEST_PATH_IMAGE010
是自车坐 标系下的坐标；
Figure 88459DEST_PATH_IMAGE011
是相机的内参数，其中，
Figure 622208DEST_PATH_IMAGE012
，
Figure 880014DEST_PATH_IMAGE013
，表示在 焦距为F的成像平面上，每F的长度表示多少个像素；Sx和Sy的单位为像素/每毫米；u0，v0表 示图像的中心像素坐标和图像原点像素坐标之间相差的x向像素数和y向像素数；
Figure 214918DEST_PATH_IMAGE014
分别是相机的外参旋转矩阵和平移矩阵；其中，内参数、外参旋转矩阵和平移矩阵均通过标 定得到。
根据第二方面，本发明还公开了一种3D深度信息估计装置，包括：第一获取模块，用于获取目标行驶物体的2D检测框的尺寸信息以及所述目标行驶物体的行驶方向角，所述尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，所述行驶方向角是在目标行驶物体的自车坐标系中形成的，所述图像坐标系和所述自车坐标系均通过拍摄所述目标行驶物体的相机对应的相机坐标系标定；第一确定模块，用于根据所述尺寸信息和所述目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。
可选地，所述获取模块包括：第一获取子模块，用于获取所述目标行驶物体沿所述自车坐标系的目标坐标轴的第一速度分量和第二速度分量，所述目标坐标轴与所述图像坐标系的坐标轴方向相同；第一确定子模块，用于根据所述第一速度分量和所述第二速度分量确定所述目标行驶物体的行驶方向角。
根据第三方面，本发明还公开了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的3D深度信息估计方法的步骤。
根据第四方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的3D深度信息估计方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的3D深度信息估计方法及装置，通过获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定；根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。本发明通过图像坐标系中的目标行驶物体的2D检测框的尺寸信息以及自车坐标系中的目标行驶物体的行驶方向角确定3D深度信息，不需要训练3D目标检测深度学习网络，提高计算速度，而且图像坐标系和自车坐标系均通过相机坐标系标定，每次的标定过程考虑了相机的内参和外参，避免了当换一个相机，相机内参改变，而导致预测的深度信息不准确的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中3D深度信息估计方法的一个具体示例的流程图；
图2（a）为本发明实施例中3D检测框的一个具体示例图；
图2（b）为本发明实施例中2D检测框包围3D检测框的一个具体示例图；
图3为本发明实施例中目标行驶物体的行驶方向角的一个具体示例图；
图4为本发明实施例中3D深度信息估计装置的一个具体示例的原理框图；
图5为本发明实施例中计算机设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种3D深度信息估计方法，如图1所示，包括如下步骤：
S11：获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定。
示例性地，目标行驶物体可以包括：行人、动物、机动车辆以及非机动车辆等。本发明实施例对该目标行驶物体不作具体限定，本领域技术人员可以根据实际情况确定。2D检测框为长方形框，2D检测框的尺寸信息可以包括：2D检测框的长度信息和宽度信息。目标行驶物体所处图像是通过车载单目摄像头拍摄获取的，成本较低。
2D检测框的尺寸信息和目标行驶物体的行驶方向角可以通过有线网络或者无线网络从存储器获取。本发明实施例对2D检测框的尺寸信息和目标行驶物体的行驶方向角的获取方法不作具体限定，本领域技术人员可以根据实际情况确定。在本发明实施例中，相机标定指的是将图像坐标系和自车坐标系联系起来。图像坐标系的建立可以为以图像的任一顶点为原点、分别以该顶点引出来的2条边为X轴、Y轴建立的。相机坐标系是以相机的光心为原点、以相机光轴为Z轴、X轴、Y轴与图像坐标系的X轴、Y轴的方向一致的方向建立的；自车坐标系是以车辆重心为原点、X轴、Y轴与相机坐标系的X轴、Y轴的方向一致的方向建立的。
标定时，可以根据相机外参（旋转矩阵和平移矩阵）标定自车坐标系与相机坐标系，根据相机内参标定相机坐标和图像坐标系，具体的标定方法为现有技术，在此不再赘述。
S12：根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。
示例性地，如图2（a）和图2（b）所示，在三角形abc中，根据图像坐标系下的行驶方向角以及尺寸信息确定目标行驶物体的3D深度信息可以为根据尺寸信息中的长度信息和图像坐标系下的行驶方向角确定，即：
Figure 987702DEST_PATH_IMAGE015
或者根据尺寸信息中的宽度信息和图像坐标系下的行驶方向角确定，即：
Figure 669351DEST_PATH_IMAGE016
其中，
Figure 843980DEST_PATH_IMAGE017
表示目标行驶物体的3D深度信息；
Figure 851250DEST_PATH_IMAGE018
表示目标行驶物体的2D检测框的尺寸信 息中的长度信息；
Figure 111330DEST_PATH_IMAGE019
表示目标行驶物体的2D检测框的尺寸信息中的宽度信息；
Figure 924566DEST_PATH_IMAGE020
表示图像 坐标系下的行驶方向角；n为常数，根据目标行驶物体的2D检测框的尺寸信息中的长度信息 与目标行驶物体的3D长度信息确定。
本发明提供的3D深度信息估计方法，通过获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定；根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。本发明通过图像坐标系中的目标行驶物体的2D检测框的尺寸信息以及自车坐标系中的目标行驶物体的行驶方向角确定3D深度信息，不需要训练3D目标检测深度学习网络，提高计算速度，而且图像坐标系和自车坐标系均通过相机坐标系标定，每次的标定过程考虑了相机的内参和外参，避免了当换一个相机，相机内参改变，而导致预测的深度信息不准确的问题。
作为本发明实施例一个可选实施方式，上述步骤S11包括：
首先，获取目标行驶物体沿自车坐标系的目标坐标轴的第一速度分量和第二速度分量，目标坐标轴与图像坐标系的坐标轴方向相同。该第一速度分量和第二速度分量可以由车载毫米波雷达获取。相对于使用激光雷达大大降低了成本。
具体地，车载毫米波雷达通过天线向外发射一列连续调频毫米波，并接收目标的反射信号，发射波的频率随时间按调制电压的规律变化，一般调制信号为三角波信号。反射波与发射波的形状相同，只是在时间上有一个延迟，发射信号与反射信号在某一时刻的频率差即为混频输出的中频信号频率，且目标距离与中频信号频率成正比。如果反射信号来自一个相对运动的目标，则反射信号中包括一个由目标的相对运动所引起的多谱勒频移。根据多谱勒原理就可以计算出距离和相对运动速度。
其次，根据第一速度分量和第二速度分量确定目标行驶物体的行驶方向角。
示例性地，如图2所示，X1和Y1分别表示相机坐标系的横轴和纵轴，X2和Y2分别表 示自车坐标系的横轴和纵轴，射线P与横轴的夹角
Figure 94647DEST_PATH_IMAGE021
即为目标行驶物体的行驶方向角。
根据第一速度分量和第二速度分量确定目标行驶物体的行驶方向角具体可以为：
Figure 397452DEST_PATH_IMAGE022
其中，
Figure 253151DEST_PATH_IMAGE023
为第一速度分量；
Figure 870077DEST_PATH_IMAGE024
表示第二速度分量。
作为本发明实施例一个可选实施方式，该3D深度信息估计方法还包括：
首先，获取待识别图像。
示例性地，该待识别图像是由车载相机拍摄得到的。待识别图像可以直接通过协议从车载相机获取，也可以是从存储器调用提前存储好的图像。本发明实施例对该待识别图像的获取方法不作具体限定，本领域技术人员可以根据实际情况确定。
其次，将待识别图像输入到预设识别模型中进行识别，得到目标行驶物体的2D检测框的尺寸信息。
示例性地，该预设识别模型是提前训练好的，具体的训练过程如下：
获取多个训练图像，对多个训练图像作预处理和数据标注，将预处理后的训练图像输入到初始识别模型进行训练，将满足预设条件的模型作为预设识别模型。
其中，训练图像可以是该车道线训练图像可以为摄像头拍摄的真实的图像（例如，车载摄像头、路边的摄像头等），也可以是人工合成的图像。预处理可以包括：图像的旋转、缩放、模糊处理。数据标注可以是人工标注，也可以是自动标注。预设条件可以为深度信息估计准确率大于95%。本发明实施例对该训练图像、预处理内容、以及数据标注的方法均不作具体限定，本领域技术人员可以根据实际情况确定。
训练完成后，加载训练完成的预设识别模型权重，输入待识别图像，通过预设识别模型提取特征，将提取的特征分类和定位，最终得到目标的类别与在图像中的坐标位置。
作为本发明实施例一个可选实施方式，上述图像坐标系下的行驶方向角通过如下步骤确定：
首先，获取2D检测框中的任一地面点的第一坐标。
示例性地，由于目标行驶物体的行驶姿态，图像的2D检测框的边上的点可能不是 地面点。因此，在本发明实施例中，将图像右下顶点A的图像坐标
Figure 753719DEST_PATH_IMAGE025
作为第一坐标， 此坐标可以根据2D检测框以及图像坐标系获取。
其次，根据预设算法对第一坐标进行转换，得到任一地面点的坐标在自车坐标系对应的第二坐标。
示例性地，预设算法为：
Figure 368371DEST_PATH_IMAGE026
其中，
Figure 337464DEST_PATH_IMAGE027
表示相机坐标系；
Figure 492502DEST_PATH_IMAGE028
是图像坐标系下的坐标；
Figure 371596DEST_PATH_IMAGE029
是自车坐 标系下的坐标；
Figure 16204DEST_PATH_IMAGE030
是相机的内参数，其中，
Figure 613539DEST_PATH_IMAGE031
，
Figure 369005DEST_PATH_IMAGE032
，表示在 焦距为F的成像平面上，每F的长度表示多少个像素；Sx和Sy的单位为像素/每毫米；u0，v0表 示图像的中心像素坐标和图像原点像素坐标之间相差的x向像素数和y向像素数；
Figure 164923DEST_PATH_IMAGE033
分别是相机的外参旋转矩阵和平移矩阵；其中，内参数、外参旋转矩阵和平移矩阵均通过标 定得到。
根据上述预设算法对应的公式将图像坐标
Figure 354334DEST_PATH_IMAGE034
转换为到自车坐标中，得到 第二坐标
Figure 563598DEST_PATH_IMAGE035
。
再次，在自车坐标系中选取第三坐标。
示例性地，该第三坐标可以任意选择，为了简化计算过程，可以将第三坐标选为X 轴坐标和Z轴坐标与第二坐标相同、Y轴坐标与第二坐标不相同的点，也可以为将第三坐标 选为Y轴坐标和Z轴坐标与第二坐标相同、X轴坐标与第二坐标不相同的点。本发明实施例对 该第三坐标的选择不作具体限定，本领域技术人员可以根据实际情况确定。在本发明实施 例中，选取坐标为
Figure 998122DEST_PATH_IMAGE036
的B点作为第三坐标。
再次，根据第二坐标、第三坐标以及目标行驶物体的行驶方向角，在自车坐标系中选取第四坐标。
示例性地，结合毫米波雷达提供的自车坐标系中的行驶方向角
Figure 710863DEST_PATH_IMAGE037
，我们可以 得到一条过B点且与直线AB夹角为
Figure 634956DEST_PATH_IMAGE037
的射线，在该射线上任意选取一点C作为第四坐 标，为了简化计算，在本发明实施例中，C点的X坐标为AB两点的中点，根据已知行驶方向角
Figure 941304DEST_PATH_IMAGE037
，可以计算出C点的Y轴坐标，则第四坐标为
Figure 304152DEST_PATH_IMAGE038
，至此ABC三点的在自 车坐标系的坐标均获得。
再次，根据预设算法对第三坐标、第四坐标进行转换，得到第三坐标在图像坐标系 中的第五坐标和第四坐标在图像坐标系中的第六坐标。根据上述预设算法对应的公式将B、 C两点的在自车坐标系的坐标转换到图像坐标系中，得到图像坐标系中的第五坐标B
Figure 12345DEST_PATH_IMAGE039
和第六坐标C
Figure 904078DEST_PATH_IMAGE040
。
再次，根据第一坐标、第五坐标以及第六坐标，确定目标行驶物体在图像坐标系下 的行驶方向角。根据ABC三点的图像坐标及余弦定理，可以计算出像素坐标系下的
Figure 25617DEST_PATH_IMAGE041
角度。
本发明实施例还公开了一种3D深度信息估计装置，如图4所示，包括：
第一获取模块21，用于获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定；具体实现方式见上述实施例中步骤S11的相关描述，在此不再赘述。
第一确定模块22，用于根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。具体实现方式见上述实施例中步骤S12的相关描述，在此不再赘述。
本发明提供的3D深度信息估计装置，通过获取目标行驶物体的2D检测框的尺寸信息以及目标行驶物体的行驶方向角，尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，行驶方向角是在目标行驶物体的自车坐标系中形成的，图像坐标系和自车坐标系均通过拍摄目标行驶物体的相机对应的相机坐标系标定；根据尺寸信息和目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。本发明通过图像坐标系中的目标行驶物体的2D检测框的尺寸信息以及自车坐标系中的目标行驶物体的行驶方向角确定3D深度信息，不需要训练3D目标检测深度学习网络，提高计算速度，而且图像坐标系和自车坐标系均通过相机坐标系标定，每次的标定过程考虑了相机的内参和外参，避免了当换一个相机，相机内参改变，而导致预测的深度信息不准确的问题。
作为本发明实施例一个可选实施方式，上述获取模块21包括：
第一获取子模块，用于获取目标行驶物体沿自车坐标系的目标坐标轴的第一速度分量和第二速度分量，目标坐标轴与图像坐标系的坐标轴方向相同；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第一确定子模块，用于根据第一速度分量和第二速度分量确定目标行驶物体的行驶方向角。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，该3D深度信息估计装置还包括：
第二获取模块，用于获取待识别图像；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
识别模块，用于将待识别图像输入到预设识别模型中进行识别，得到目标行驶物体的2D检测框的尺寸信息。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，上述步骤确定模块22包括：
第三获取模块，用于获取2D检测框中的任一地面点的第一坐标；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第一转换模块，用于根据预设算法对第一坐标进行转换，得到任一地面点的坐标在自车坐标系对应的第二坐标；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第一选取模块，用于在自车坐标系中选取第三坐标；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第二选取模块，用于根据第二坐标、第三坐标以及目标行驶物体的行驶方向角，在自车坐标系中选取第四坐标；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第二转换模块，用于根据预设算法对第三坐标、第四坐标进行转换，得到第三坐标在图像坐标系中的第五坐标和第四坐标在图像坐标系中的第六坐标；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第二确定模块，用于根据第一坐标、第五坐标以及第六坐标，确定目标行驶物体在图像坐标系下的行驶方向角；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，上述第一确定模块22包括：
Figure 300479DEST_PATH_IMAGE042
；或
Figure 722233DEST_PATH_IMAGE043
其中，
Figure 191391DEST_PATH_IMAGE044
表示目标行驶物体的3D深度信息；
Figure 331386DEST_PATH_IMAGE045
表示目标行驶物体的2D检测框的尺寸 信息中的长度信息；
Figure 239299DEST_PATH_IMAGE046
表示目标行驶物体的2D检测框的尺寸信息中的宽度信息；
Figure 656505DEST_PATH_IMAGE047
表示图 像坐标系下的行驶方向角；n为常数，根据目标行驶物体的2D检测框的尺寸信息中的长度信 息与目标行驶物体的3D长度信息确定。具体实现方式见上述实施例中对应的步骤的相关描 述，在此不再赘述。
作为本发明实施例一个可选实施方式，上述预设算法为：
Figure 421198DEST_PATH_IMAGE048
其中，
Figure 923855DEST_PATH_IMAGE049
表示相机坐标系；
Figure 166618DEST_PATH_IMAGE050
是图像坐标系下的坐标；
Figure 766226DEST_PATH_IMAGE051
是自车坐 标系下的坐标；
Figure 810143DEST_PATH_IMAGE052
是相机的内参数，其中，
Figure 190309DEST_PATH_IMAGE053
，
Figure 580970DEST_PATH_IMAGE054
，表示在 焦距为F的成像平面上，每F的长度表示多少个像素；Sx和Sy的单位为像素/每毫米；u0，v0表 示图像的中心像素坐标和图像原点像素坐标之间相差的x向像素数和y向像素数；
Figure 97402DEST_PATH_IMAGE055
分别是相机的外参旋转矩阵和平移矩阵；其中，内参数、外参旋转矩阵和平移矩阵均通过标 定得到。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
本发明实施例还提供了一种计算机设备，如图5所示，该计算机设备可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器31可以为中央处理器（Central Processing Unit，CPU）。处理器31还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的3D深度信息估计方法对应的程序指令/模块（例如，图4所示的第一获取模块21和第一确定模块22）。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的3D深度信息估计方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的3D深度信息估计方法。
上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种3D深度信息估计方法，其特征在于，包括如下步骤：
获取目标行驶物体的2D检测框的尺寸信息以及所述目标行驶物体的行驶方向角，所述尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，所述行驶方向角是在目标行驶物体的自车坐标系中形成的，所述图像坐标系和所述自车坐标系均通过拍摄所述目标行驶物体的相机对应的相机坐标系标定；
根据所述尺寸信息和所述目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标行驶物体的行驶方向角，包括：
获取所述目标行驶物体沿所述自车坐标系的目标坐标轴的第一速度分量和第二速度分量，所述目标坐标轴与所述图像坐标系的坐标轴方向相同；
根据所述第一速度分量和所述第二速度分量确定所述目标行驶物体的行驶方向角。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待识别图像；
将所述待识别图像输入到预设识别模型中进行识别，得到目标行驶物体的2D检测框的尺寸信息。
4.根据权利要求1所述的方法，其特征在于，所述图像坐标系下的行驶方向角通过如下步骤确定：
获取所述2D检测框中的任一地面点的第一坐标；
根据预设算法对所述第一坐标进行转换，得到所述任一地面点的坐标在所述自车坐标系对应的第二坐标；
在所述自车坐标系中选取第三坐标；
根据所述第二坐标、所述第三坐标以及所述目标行驶物体的行驶方向角，在所述自车坐标系中选取第四坐标；
根据所述预设算法对所述第三坐标、所述第四坐标进行转换，得到所述第三坐标在图像坐标系中的第五坐标和所述第四坐标在图像坐标系中的第六坐标；
根据所述第一坐标、所述第五坐标以及所述第六坐标，确定所述目标行驶物体在所述图像坐标系下的行驶方向角。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像坐标系下的行驶方向角以及所述尺寸信息确定所述目标行驶物体的3D深度信息，包括：
Figure 396052DEST_PATH_IMAGE001
；或
Figure 371836DEST_PATH_IMAGE002
其中，
Figure 221981DEST_PATH_IMAGE003
表示目标行驶物体的3D深度信息；
Figure 796182DEST_PATH_IMAGE004
表示目标行驶物体的2D检测框的尺寸信息 中的长度信息；
Figure 683366DEST_PATH_IMAGE005
表示目标行驶物体的2D检测框的尺寸信息中的宽度信息；
Figure 772545DEST_PATH_IMAGE006
表示图像坐 标系下的行驶方向角；n为常数，根据目标行驶物体的2D检测框的尺寸信息中的长度信息与 目标行驶物体的3D长度信息确定。
6.根据权利要求4所述的方法，其特征在于，所述预设算法为：
Figure 36167DEST_PATH_IMAGE007
其中，
Figure 464874DEST_PATH_IMAGE008
表示相机坐标系；
Figure 647594DEST_PATH_IMAGE009
是图像坐标系下的坐标；
Figure 365014DEST_PATH_IMAGE010
是自车坐 标系下的坐标；
Figure 494644DEST_PATH_IMAGE011
是相机的内参数，其中，
Figure 574596DEST_PATH_IMAGE012
=F*Sx，
Figure 567697DEST_PATH_IMAGE013
= F*Sy，表示在焦距 为F的成像平面上，每F的长度表示多少个像素；Sx和Sy的单位为像素/每毫米；u0，v0表示图 像的中心像素坐标和图像原点像素坐标之间相差的x向像素数和y向像素数；
Figure 631468DEST_PATH_IMAGE014
分别 是相机的外参旋转矩阵和平移矩阵；其中，内参数、外参旋转矩阵和平移矩阵均通过标定得 到。
7.一种3D深度信息估计装置，其特征在于，包括：
第一获取模块，用于获取目标行驶物体的2D检测框的尺寸信息以及所述目标行驶物体的行驶方向角，所述尺寸信息是在目标行驶物体所处图像的图像坐标系中形成的，所述行驶方向角是在目标行驶物体的自车坐标系中形成的，所述图像坐标系和所述自车坐标系均通过拍摄所述目标行驶物体的相机对应的相机坐标系标定；
第一确定模块，用于根据所述尺寸信息和所述目标行驶物体的行驶方向角确定目标行驶物体的3D深度信息。
8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：
第一获取子模块，用于获取所述目标行驶物体沿所述自车坐标系的目标坐标轴的第一速度分量和第二速度分量，所述目标坐标轴与所述图像坐标系的坐标轴方向相同；
第一确定子模块，用于根据所述第一速度分量和所述第二速度分量确定所述目标行驶物体的行驶方向角。
9.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6任一所述的3D深度信息估计方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的3D深度信息估计方法的步骤。
CN202110093028.4A 2021-01-25 2021-01-25 一种3d深度信息估计方法、装置及计算机设备 Active CN112419385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110093028.4A CN112419385B (zh) 2021-01-25 2021-01-25 一种3d深度信息估计方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110093028.4A CN112419385B (zh) 2021-01-25 2021-01-25 一种3d深度信息估计方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112419385A true CN112419385A (zh) 2021-02-26
CN112419385B CN112419385B (zh) 2021-04-09

Family

ID=74782574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110093028.4A Active CN112419385B (zh) 2021-01-25 2021-01-25 一种3d深度信息估计方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112419385B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
CN113344998A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN114814758A (zh) * 2022-06-24 2022-07-29 国汽智控(北京)科技有限公司 相机-毫米波雷达-激光雷达的联合标定方法、设备
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
WO2022213729A1 (zh) * 2021-04-07 2022-10-13 地平线征程(杭州)人工智能科技有限公司 对目标的运动信息进行检测的方法和装置、设备和介质
CN115205365A (zh) * 2022-07-14 2022-10-18 小米汽车科技有限公司 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115965942A (zh) * 2023-03-03 2023-04-14 安徽蔚来智驾科技有限公司 位置估计方法、车辆控制方法、设备、介质及车辆
CN115861741B (zh) * 2023-03-01 2023-10-17 小米汽车科技有限公司 目标标定方法、装置、电子设备、存储介质及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479765A (zh) * 2006-06-23 2009-07-08 图象公司 对2d电影进行转换用于立体3d显示的方法和***
CN102771110A (zh) * 2010-02-25 2012-11-07 想象技术有限公司 运动估计***中使用图形引擎获取的矢量的对象跟踪
US9214025B2 (en) * 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
CN108597009A (zh) * 2018-04-10 2018-09-28 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN112132908A (zh) * 2020-09-23 2020-12-25 西安邮电大学 一种基于智能检测技术的相机外参数标定方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479765A (zh) * 2006-06-23 2009-07-08 图象公司 对2d电影进行转换用于立体3d显示的方法和***
CN102771110A (zh) * 2010-02-25 2012-11-07 想象技术有限公司 运动估计***中使用图形引擎获取的矢量的对象跟踪
US9214025B2 (en) * 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
CN108597009A (zh) * 2018-04-10 2018-09-28 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN112132908A (zh) * 2020-09-23 2020-12-25 西安邮电大学 一种基于智能检测技术的相机外参数标定方法及设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
WO2022213729A1 (zh) * 2021-04-07 2022-10-13 地平线征程(杭州)人工智能科技有限公司 对目标的运动信息进行检测的方法和装置、设备和介质
CN113344998A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN113344998B (zh) * 2021-06-25 2022-04-29 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN114266859A (zh) * 2021-12-02 2022-04-01 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN114814758A (zh) * 2022-06-24 2022-07-29 国汽智控(北京)科技有限公司 相机-毫米波雷达-激光雷达的联合标定方法、设备
CN114814758B (zh) * 2022-06-24 2022-09-06 国汽智控(北京)科技有限公司 相机-毫米波雷达-激光雷达的联合标定方法、设备
CN115205365A (zh) * 2022-07-14 2022-10-18 小米汽车科技有限公司 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115861741B (zh) * 2023-03-01 2023-10-17 小米汽车科技有限公司 目标标定方法、装置、电子设备、存储介质及车辆
CN115965942A (zh) * 2023-03-03 2023-04-14 安徽蔚来智驾科技有限公司 位置估计方法、车辆控制方法、设备、介质及车辆

Also Published As

Publication number Publication date
CN112419385B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CA3028653C (en) Methods and systems for color point cloud generation
US10937231B2 (en) Systems and methods for updating a high-resolution map based on binocular images
US10964054B2 (en) Method and device for positioning
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
US9197866B2 (en) Method for monitoring a traffic stream and a traffic monitoring device
US10996072B2 (en) Systems and methods for updating a high-definition map
JP6678605B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN113240813B (zh) 三维点云信息确定方法及装置
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
CN112255604B (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
JP6715205B2 (ja) 作業機械の周囲画像表示装置
CN114754779B (zh) 一种定位与建图方法、装置及电子设备
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、***及存储介质
CN116343165A (zh) 一种3d目标检测***、方法、终端设备及存储介质
WO2022133986A1 (en) Accuracy estimation method and system
CN115100290A (zh) 交通场景下的单目视觉定位方法及装置、设备、存储介质
AU2018102199A4 (en) Methods and systems for color point cloud generation
CN113874681B (zh) 点云地图质量的评估方法和***
CN113066100A (zh) 目标跟踪方法、装置、设备及存储介质
WO2024139375A1 (zh) 一种数据处理方法及计算机设备
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
EP3608832A1 (en) Image display apparatus, image display method, and carrier means

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant