CN110555407A - 路面车辆空间识别方法及电子设备 - Google Patents

路面车辆空间识别方法及电子设备 Download PDF

Info

Publication number
CN110555407A
CN110555407A CN201910824982.9A CN201910824982A CN110555407A CN 110555407 A CN110555407 A CN 110555407A CN 201910824982 A CN201910824982 A CN 201910824982A CN 110555407 A CN110555407 A CN 110555407A
Authority
CN
China
Prior art keywords
target vehicle
image
vehicle
determining
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910824982.9A
Other languages
English (en)
Other versions
CN110555407B (zh
Inventor
张昭
黄鸿彬
王舒
刘杰
杜超喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Co Ltd
Original Assignee
Dongfeng Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Co Ltd filed Critical Dongfeng Motor Co Ltd
Priority to CN201910824982.9A priority Critical patent/CN110555407B/zh
Publication of CN110555407A publication Critical patent/CN110555407A/zh
Application granted granted Critical
Publication of CN110555407B publication Critical patent/CN110555407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种路面车辆空间识别方法及电子设备,方法包括:通过摄像装置获取路面目标车辆的图像;根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;确定所述三维包络边框所包括的立面与摄像装置的距离;根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。本发明能够使用单目摄像头,通过识别目标车辆的3D模型并计算出其相对的空间位置信息。相比于双目摄像头,本发明成本低且计算精度高。而相比于现有的单目摄像头,本发明的识别效果更为准确。

Description

路面车辆空间识别方法及电子设备
技术领域
本发明涉及汽车相关技术领域,特别是一种路面车辆空间识别方法及电子设备。
背景技术
环境感知是自动驾驶及驾驶辅助技术的基础。车辆通过传感器得知路面上其他车辆的分布,并依次制定自身的运动规划,或向驾驶员发出危险预警。
常用的可用于感知周边目标车辆的传感器包括激光雷达、毫米波雷达、超声波雷达、车对外界的信息交换(vehicle to everything,V2X)、以及摄像头等。其中激光雷达对目标位置测量精准,但易受天气硬件,且价格高昂;毫米波雷达可探测目标的位置和相对速度,但分辨率较低,不适合用于目标分类识别;超声波雷达探测距离有限,只能用于低速场景;V2X技术受网络条件影响,在实时性和可靠性方面存在障碍。
摄像头具备成本低、分辨率高、目标细节丰富、分类识别准确等优势,适合用于目标车辆目标感知。但普通摄像头是将三维空间投影到成像平面上,丢失深度信息,无法直接确定目标位置和距离。红外飞行时间(Time of flight,TOF)摄像头测距范围近,且易受室外光照干扰。双目立体摄像头可根据双目视差计算目标距离,但图像特征点匹配需要耗费大量计算力,增加图像处理的难度和硬件成本。
另外,普通摄像头用于估算目标位置和距离,默认车辆和前方路面处于同一个平面上。如果前面道路的坡度发生变化,会对距离估算带来误差。
发明内容
基于此,有必要针对现有技术采用双目摄像头对于目标车辆信息识别成本过高,而采用单目摄像头时不能准确识别目标车辆信息的技术问题,提供一种路面车辆空间识别方法及电子设备。
本发明提供一种路面车辆空间识别方法,包括:
通过摄像装置获取路面目标车辆的图像;
根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
确定所述三维包络边框所包括的立面与摄像装置的距离;
根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
进一步地,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
更进一步地,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
进一步地,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
更进一步地,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
进一步地,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
本发明提供一种路面车辆空间识别电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过摄像装置获取路面目标车辆的图像;
根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
确定所述三维包络边框所包括的立面与摄像装置的距离;
根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
进一步地,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
更进一步地,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
进一步地,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
更进一步地,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
进一步地,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
本发明使用单目摄像头,通过识别目标车辆的3D模型并计算出其相对的空间位置信息。相比于双目摄像头,本发明成本低且计算精度高。而相比于现有的单目摄像头,本发明的识别效果更为准确。
附图说明
图1为本发明一种路面车辆空间识别方法的工作流程图;
图2为路面目标车辆的图像示意图;
图3为目标车辆的二维包络边框示意图;
图4为基于直线车道线确定画面消失点示意图;
图5为连接线示意图;
图6为目标车辆的三维包络边框示意图;
图7为距离确定示意图;
图8为摄像头标定示意图;
图9为本发明一种路面车辆空间识别电子设备的硬件结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种路面车辆空间识别方法的工作流程图,包括:
步骤S101,通过摄像装置获取路面目标车辆的图像;
步骤S102,根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
步骤S103,确定所述三维包络边框所包括的立面与摄像装置的距离;
步骤S104,根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
步骤S105,以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
具体来说,开发阶段所需的输入信息包括摄像头的相机投影矩阵、摄像头在车辆上的安装位置。相机投影矩阵在是摄像头的基本参数,在摄像头开发及标定过程中可以取得。摄像头在车辆上的安装位置是车辆设计过程中的基本信息。使用过程中所需的输入信息仅包括摄像头实时采集的图像。摄像装置可以安装在本车上,也可以安装在路面装置。步骤S101通过摄像装置获取路面目标车辆的图像,获取后的图像,在步骤S102中,对其分析,得出图像中目标车辆的三维包络边框。如图6所示,三维包络边框为包络目标车辆1的虚拟立方体2。可以通过三维包络边框表示目标车辆的立体形状。然后,步骤S103计算出立面与摄像装置的距离。优选地,所选取的立面至少包括前立面21和后立面22。然后在步骤S104中,确定立面的每个顶点相对于摄像装置的空间坐标,其中立面的每个顶点的空间坐标包括X轴、Y轴和Z轴坐标,其中顶点的Z轴坐标为立面相对于摄像装置的距离。X轴和Y轴坐标根据立面相对于摄像装置的距离以及该立面在图像中的形状大小确定。最后,在步骤S105中以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。例如,可在单目摄像头采集的图像上识别出目标车辆的3D模型,并输出其尺寸及相对本车的位置。更进一步的,结合连续一段时间内目标车辆的位置序列,还能计算目标车辆的速度,或者规划自动驾驶时的驾驶路径。例如,记录一段时间内,作为目标的目标车辆相对摄像装置所在的本车的位置,可以计算出目标车辆与本车的相对速度。结合本车的速度,可以计算出目标车辆的车速信息。又例如,通过确定目标车辆与摄像装置所在的本车的距离,来规划自动驾驶路线,以避免碰撞。
本发明能够使用单目摄像头,通过识别目标车辆的3D模型并计算出其相对的空间位置信息。相比于双目摄像头,本发明成本低且计算精度高。而相比于现有的单目摄像头,本发明的识别效果更为准确。
在其中一个实施例中,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
具体来说,对于如图2所示车辆,首先提取摄像头采集的图像中的目标车辆的最大2D包络边框和车头或车尾的2D包络边框。2D包络边框的识别可通过adaboost分类器或YOLO、SSD、RCNN等现有算法实现,在图像处理领域属于成熟技术。识别效果如图3所示,对目标车辆1提取出最大二维包络边框11和车尾的二维包络边框12。然后,如图4所示,确定所述图像的画面消失点13,并如图5所示,采用连接线14连接目标车辆1的车头或车尾对应的二维包络边框12的四个顶点和画面消失点13,连接线14与目标车辆最大二维包络边框11相交,如图5所示。根据立方体的透视成像原理对连接线和包络边框线进行裁剪,得到目标车辆1符合透视关系的3D包络边框2,如图6所示。
本实施例通过对目标车辆的图像进行处理,确定出目标车辆符合透视关系的三维包络边框。
在其中一个实施例中,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
具体来说,如图4所示,在图像上提取直线车道线15,直线车道线15在无限远处的交汇点定义为画面消失点13。直线车道线15可通过HOUGH变换等现有算法实现,在图像处理领域属于成熟技术。车道线及画面消失点的识别结果如图4所示。对于车道线不是直线,或车道线因破损、被遮挡等原因无法识别时,以摄像头光轴对应的成像点作为画面消失点。
本实施例根据车道线确定画面消失点,以便进一步确定目标车辆的三维包络边框。
在其中一个实施例中,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
具体来说,如图7所示,摄像头成像规律可用小孔成像光学模型描述。车载摄像头一般情况下拍摄不到目标车辆的顶面和底面,因此目标车辆的垂直棱边高度对应其在摄像头图像上的2D包络边框的高度。目标车辆高度为H,根据统计学结果,一般车辆的高度符合正态分布,可以简化为均值。目标图像2D包络边框高度h可以根据2D包络边框的像素高度和感光元件的像素间隔计算得到。F为成像焦点,f为感光元件到焦点的像距,是摄像头的硬件参数。由此可知目标物体距离摄像头的物距L为:
L=H*f/h。
本实施例通过摄像头成像规律确定目标车辆各立面与摄像头的距离。
在其中一个实施例中,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
具体来说,不同的车辆类型其车辆的高度由区别,同一类型的车辆的高度一般符合正态分布,可以简化为均值。
优选地,可以将车辆类型分为乘用车、大客车及大货车两个类型,对于不同类型预先设定车辆高度。
本实施例根据车辆类型确定车辆高度,进一步提高车辆高度的准确性。
在其中一个实施例中,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
具体来说,现有技术方案中,使用平面棋盘格进行摄像头标定,根据目标物体出现在棋盘格上的对应位置,查表计算其真实位置。然而,现有技术的方法在前方道路坡度有变化时,会造成目标距离计算误差。例如前方道路出现上坡,则坡道上的目标的识别距离会比实际距离更远。
本实施例采用与距离相关的棋盘格。各个棋盘格可以通过对摄像头预先进行3D标定获得。如图8所示,在摄像装置82前方不同距离处布置垂直的棋盘格81,记录棋盘格81中每个方格对应的像素位置的横向及垂向实际坐标。目标车辆的3D包络边框对应8个顶点。前后两个立面距离摄像头的纵向距离可通过图7中的光学模型计算得到。根据目标车辆前后两个立面的距离,分别调用摄像头3D标定时对应距离的棋盘格数据,查表得到每个立面4个顶点的横向及垂向实际坐标,然后加上距离则得到每个顶点的空间三维坐标。如果目标车辆距离和3D标定时的标准距离不符合,可调用临近的两个标准距离棋盘格数据,通过线性插值进行补偿。至此,目标车辆3D包络边框的8个顶点的三维空间坐标计算完毕,目标车辆的尺寸及相对本车的位置即可确定。
棋盘格用于标定三维空间坐标向摄像机图像坐标的投影关系。实际使用中,并不需要把目标图像置于棋盘格中,通过目标图像与棋盘格数据对应关系即可确定坐标。
对于车尾包络边框和车辆最大包络边框完全重合的现象,判定为目标车辆在本车的正前方。可按前述方法计算目标车辆3D包络边框后方4个顶点的三维空间坐标,并按一般车辆尺寸的长宽高比例估计其前方4个顶点的三维空间坐标。
本实施例采用与不同距离相关的棋盘格数据确定立面顶点的坐标,顶点的空间坐标更为准确。
如图9所示为本发明一种路面车辆空间识别电子设备的硬件结构示意图,包括:
至少一个处理器901;以及,
与所述至少一个处理器901通信连接的存储器902;其中,
所述存储器902存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过摄像装置获取路面目标车辆的图像;
根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
确定所述三维包络边框所包括的立面与摄像装置的距离;
根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
图9中以一个处理器902为例。
电子设备优选为电子控制单元(Electronic Control Unit,ECU)。电子设备还可以包括:输入装置903和显示装置904。
处理器901、存储器902、输入装置903及显示装置904可以通过总线或者其他方式连接,图中以通过总线连接为例。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的路面车辆空间识别方法对应的程序指令/模块,例如,图1、图2、图3所示的方法流程。处理器901通过运行存储在存储器902中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述实施例中的路面车辆空间识别方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据路面车辆空间识别方法的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至执行路面车辆空间识别方法的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置903可接收输入的用户点击,以及产生与路面车辆空间识别方法的用户设置以及功能控制有关的信号输入。显示装置904可包括显示屏等显示设备。
在所述一个或者多个模块存储在所述存储器902中,当被所述一个或者多个处理器901运行时,执行上述任意方法实施例中的路面车辆空间识别方法。
本发明能够使用单目摄像头,通过识别目标车辆的3D模型并计算出其相对的空间位置信息。相比于双目摄像头,本发明成本低且计算精度高。而相比于现有的单目摄像头,本发明的识别效果更为准确。
在其中一个实施例中,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
本实施例通过对目标车辆的图像进行处理,确定出目标车辆符合透视关系的三维包络边框。
在其中一个实施例中,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
本实施例根据车道线确定画面消失点,以便进一步确定目标车辆的三维包络边框。
在其中一个实施例中,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
本实施例通过摄像头成像规律确定目标车辆各立面与摄像头的距离。
在其中一个实施例中,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
本实施例根据车辆类型确定车辆高度,进一步提高车辆高度的准确性。
在其中一个实施例中,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
本实施例采用与不同距离相关的棋盘格数据确定立面顶点的坐标,顶点的空间坐标更为准确。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种路面车辆空间识别方法,其特征在于,包括:
通过摄像装置获取路面目标车辆的图像;
根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
确定所述三维包络边框所包括的立面与摄像装置的距离;
根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
2.根据权利要求1所述的路面车辆空间识别方法,其特征在于,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
3.根据权利要求2所述的路面车辆空间识别方法,其特征在于,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
4.根据权利要求1所述的路面车辆空间识别方法,其特征在于,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
5.根据权利要求4所述的路面车辆空间识别方法,其特征在于,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
6.根据权利要求1所述的路面车辆空间识别方法,其特征在于,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
7.一种路面车辆空间识别电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过摄像装置获取路面目标车辆的图像;
根据所述目标车辆的图像,确定所述目标车辆的三维包络边框;
确定所述三维包络边框所包括的立面与摄像装置的距离;
根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标;
以每个顶点的空间坐标确定所述目标车辆与摄像装置的相对空间位置关系。
8.根据权利要求7所述的路面车辆空间识别电子设备,其特征在于,所述根据所述目标车辆的图像,确定所述目标车辆的三维包络边框,具体包括:
从所述目标车辆的图像中提取目标车辆的最大二维包络边框;
从所述目标车辆的图像中提取目标车辆的车头或车尾的二维包络边框作为基准二维包络边框;
确定所述图像的画面消失点;
连接目标车辆的基准二维包络边框的顶点和画面消失点,得到多条连接线;
将所述连接线与目标车辆的最大二维包络边框相交,根据立方体的透视成像原理对所述连接线和所述基准包络边框线、所述最大二维包络边框线进行裁剪,得到目标车辆符合透视关系的三维包络边框。
9.根据权利要求8所述的路面车辆空间识别电子设备,其特征在于,所述确定所述图像的画面消失点,具体包括:
在图像上提取多条直线车道线,将多条车道线的交汇点作为画面消失点;或者
以摄像装置的光轴所对应的成像点作为画面消失点。
10.根据权利要求7所述的路面车辆空间识别电子设备,其特征在于,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体包括:
获取所述三维包络边框所包括的立面的包络边框高度;
根据L=H*f/h,计算得到立面与摄像装置的距离,其中H为车辆实际高度,f为摄像装置的感光元件到焦点的像距,h为立面的包络边框高度。
11.根据权利要求10所述的路面车辆空间识别电子设备,其特征在于,所述确定所述三维包络边框所包括的立面与摄像装置的距离,具体还包括:
根据目标车辆的图像,确定目标车辆的车辆类型;
根据所述车辆类型确定车辆实际高度。
12.根据权利要求7所述的路面车辆空间识别电子设备,其特征在于,所述根据所述距离,识别所述立面的每个顶点相对于摄像装置的空间坐标,具体包括:
获取关于所述距离的棋盘格,所述棋盘格包括多个方格,且每个方格对应一个在所述距离相对于摄像装置的空间坐标;
将所述立面每个顶点在所述棋盘格中所处的方格的空间坐标作为该顶点相对于摄像装置的空间坐标。
CN201910824982.9A 2019-09-02 2019-09-02 路面车辆空间识别方法及电子设备 Active CN110555407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910824982.9A CN110555407B (zh) 2019-09-02 2019-09-02 路面车辆空间识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910824982.9A CN110555407B (zh) 2019-09-02 2019-09-02 路面车辆空间识别方法及电子设备

Publications (2)

Publication Number Publication Date
CN110555407A true CN110555407A (zh) 2019-12-10
CN110555407B CN110555407B (zh) 2022-03-08

Family

ID=68738675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910824982.9A Active CN110555407B (zh) 2019-09-02 2019-09-02 路面车辆空间识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN110555407B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111413692A (zh) * 2020-03-18 2020-07-14 东风汽车集团有限公司 一种基于路旁静止物体的摄像头横向位置估测自标定方法
CN111695403A (zh) * 2020-04-19 2020-09-22 东风汽车股份有限公司 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法
CN112184792A (zh) * 2020-08-28 2021-01-05 辽宁石油化工大学 一种基于视觉的道路坡度计算方法及装置
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112633214A (zh) * 2020-12-30 2021-04-09 潍柴动力股份有限公司 一种车辆识别方法及装置
CN113470110A (zh) * 2020-03-30 2021-10-01 北京四维图新科技股份有限公司 测距方法和装置
CN113591518A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156718A (zh) * 2014-08-20 2014-11-19 电子科技大学 一种车牌图像垂直倾斜校正方法
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
CN106339530A (zh) * 2016-08-16 2017-01-18 中冶赛迪工程技术股份有限公司 一种基于包络空间的焊接件尺寸信息提取方法及***
US20170126309A1 (en) * 2015-10-30 2017-05-04 The Florida International University Board Of Trustees Cooperative clustering for enhancing mu-massive-miso-based uav communication
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN108510590A (zh) * 2017-02-24 2018-09-07 北京图森未来科技有限公司 一种生成三维边界框的方法及装置
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156718A (zh) * 2014-08-20 2014-11-19 电子科技大学 一种车牌图像垂直倾斜校正方法
CN104778716A (zh) * 2015-05-05 2015-07-15 西安电子科技大学 基于单幅图像的卡车车厢体积测量方法
US20170126309A1 (en) * 2015-10-30 2017-05-04 The Florida International University Board Of Trustees Cooperative clustering for enhancing mu-massive-miso-based uav communication
CN106339530A (zh) * 2016-08-16 2017-01-18 中冶赛迪工程技术股份有限公司 一种基于包络空间的焊接件尺寸信息提取方法及***
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN108510590A (zh) * 2017-02-24 2018-09-07 北京图森未来科技有限公司 一种生成三维边界框的方法及装置
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAHDI JAVANMARDI等: "3D building map reconstruction in dense urban areas by integrating airborne laser point cloud with 2D boundary map", 《2015 IEEE INTERNATIONAL CONFERENCE ON VEHICULAR ELECTRONICS AND SAFETY (ICVES)》 *
闻江: "基于图像处理的车辆外形测量技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111413692A (zh) * 2020-03-18 2020-07-14 东风汽车集团有限公司 一种基于路旁静止物体的摄像头横向位置估测自标定方法
CN111413692B (zh) * 2020-03-18 2022-03-18 东风汽车集团有限公司 一种基于路旁静止物体的摄像头横向位置估测自标定方法
CN113470110A (zh) * 2020-03-30 2021-10-01 北京四维图新科技股份有限公司 测距方法和装置
CN111695403A (zh) * 2020-04-19 2020-09-22 东风汽车股份有限公司 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法
CN111695403B (zh) * 2020-04-19 2024-03-22 东风汽车股份有限公司 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法
CN113591518A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
CN113591518B (zh) * 2020-04-30 2023-11-03 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
CN112184792A (zh) * 2020-08-28 2021-01-05 辽宁石油化工大学 一种基于视觉的道路坡度计算方法及装置
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112487979B (zh) * 2020-11-30 2023-08-04 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112633214A (zh) * 2020-12-30 2021-04-09 潍柴动力股份有限公司 一种车辆识别方法及装置

Also Published As

Publication number Publication date
CN110555407B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN110555407B (zh) 路面车辆空间识别方法及电子设备
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN108647638B (zh) 一种车辆位置检测方法及装置
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
CN106952308B (zh) 运动物体的位置确定方法及***
EP3637313A1 (en) Distance estimating method and apparatus
CN111815641A (zh) 相机和雷达融合
US9042639B2 (en) Method for representing surroundings
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
US20230215187A1 (en) Target detection method based on monocular image
CN110069990B (zh) 一种限高杆检测方法、装置以及自动驾驶***
CN109946703B (zh) 一种传感器姿态调整方法及装置
EP2293588A1 (en) Method for using a stereovision camera arrangement
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
Lion et al. Smart speed bump detection and estimation with kinect
JP2018073275A (ja) 画像認識装置
Leu et al. High speed stereo vision based automotive collision warning system
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant