CN111476798B - 一种基于轮廓约束的车辆空间形态识别方法及*** - Google Patents

一种基于轮廓约束的车辆空间形态识别方法及*** Download PDF

Info

Publication number
CN111476798B
CN111476798B CN202010199138.4A CN202010199138A CN111476798B CN 111476798 B CN111476798 B CN 111476798B CN 202010199138 A CN202010199138 A CN 202010199138A CN 111476798 B CN111476798 B CN 111476798B
Authority
CN
China
Prior art keywords
vehicle
contour
vehicle target
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010199138.4A
Other languages
English (en)
Other versions
CN111476798A (zh
Inventor
王伟
唐心瑶
宋焕生
张朝阳
梁浩翔
张文涛
戴喆
云旭
侯景严
刘莅辰
贾金明
李俊彦
武非凡
雷琪
杨露
余宵雨
靳静玺
王滢暄
赵锋
穆勃辰
李聪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aoyao Artificial Intelligence Technology Co ltd
Original Assignee
Shanghai Aoyao Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aoyao Artificial Intelligence Technology Co ltd filed Critical Shanghai Aoyao Artificial Intelligence Technology Co ltd
Priority to CN202010199138.4A priority Critical patent/CN111476798B/zh
Publication of CN111476798A publication Critical patent/CN111476798A/zh
Application granted granted Critical
Publication of CN111476798B publication Critical patent/CN111476798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轮廓约束的车辆空间形态识别方法及***，在连续的图像序列中，使用深度学***线信息，求取每个车辆目标在三维包络框模型下的凸包，构建针对特定车辆目标的轮廓约束，从而求解出车辆目标的空间形态信息。本发明可适应不同的道路交通场景，利用摄像机提取场景中大量车辆目标完成空间形态识别的过程。本发明能应用于各种道路场景下的车辆空间形态识别，结果准确，实现简单，通用性好。

Description

一种基于轮廓约束的车辆空间形态识别方法及***
技术领域
本发明属于智能交通技术领域，具体涉及一种基于轮廓约束的车辆空间形态识别方法及***。
背景技术
车辆空间形态识别在自动驾驶领域具有广泛的应用，通过对周围环境的感知，实时获取车辆的位姿状态信息(包括车辆三维尺寸、空间位置和运动方向等)，分析车辆行驶的安全状态，为车辆的路径规划和避障提供依据，使得自动驾驶车辆做出有效的决策，保证车辆安全到达目的地。
常用的车辆位姿估计方法主要是依靠传感器融合的方法，如：激光传感器、GPS、惯性导航***等，这些设备虽然能够取得较高的精度，但是成本高昂，不利于大范围部署。目前，视觉里程计作为成本低廉的自定位技术，被广泛用于车辆的位姿估计，视觉图像能够存储大量有意义的信息，常用的传感器有单目相机、双目相机和RGB-D相机，单目相机虽然无法直接获取图像的深度信息，但是其成本低、易于部署的优点，交通监控***广泛采用该类摄像头，在室外场景的应用效果较好。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种基于轮廓约束的车辆空间形态识别方法及***，克服现有车辆空间形态识别方法成本高以及无法进一步识别车辆三维信息等缺陷。
为达到上述目的，本发明采取如下的技术方案：
一种基于轮廓约束的车辆空间形态识别方法，该方法利用深度学***线信息，对车辆目标构建轮廓约束求解出其空间形态信息；具体包括如下步骤：
步骤1，输入交通视频，得到每一帧的视频图像，形成图像序列；
步骤2，从步骤1得到的视频图像提取消失点，建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，并结合消失点进行相机标定，得到相机标定参数和地平线信息；
步骤3，使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
步骤4，车辆目标轮廓约束的构建求解：
步骤4.1，根据步骤3中的分割结果，对分割图像求取轮廓，获取每个车辆目标的轮廓点集合；根据车辆目标轮廓点集合求取轮廓重心点的图像坐标，记为Pc＝(uc，vc)；
步骤4.2，根据步骤2中的相机标定参数和地平线信息与步骤3中的检测结果，计算车辆目标在三维包络框模型下的凸包，再结合步骤4.1得到的轮廓重心点构建车辆目标的轮廓约束并求解；
步骤5，将步骤4.2轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
本发明还包括如下技术特征：
具体的，所述步骤4.2中构建车辆目标的轮廓约束并求解包括如下过程：
步骤4.2.1通过步骤2中的相机标定参数计算出车辆目标在三维包络框模型下的三维坐标信息：P3di_0，P3di_1，P3di_2，P3di_3，P3di_4，P3di_5，P3di_6，P3di_7；车辆目标三维包络框模型的基准点选取为车辆目标二维包络框模型在图像坐标系下的右下角点，即Ptarget＝P2d_1；其中，车辆目标的二维包络框模型顶点序号为0到3，记4个顶点的图像坐标分别为P2d_0，P2d_1，P2d_2，P2d_3；车辆目标的三维包络框模型顶点序号为0到7，记8个顶点的世界坐标分别为P3d_0，P3d_1，P3d_2，P3d_3，P3d_4，P3d_5，P3d_6，P3d_7；
步骤4.2.2根据步骤3得到的车辆类别，确定车辆在三维包络框模型下的初始三维信息X0＝(length0，width0，height0)，其中，length0代表车辆初始物理长度，width0代表车辆初始物理宽度，height0代表车辆初始物理高度；
步骤4.2.3由相机标定参数计算出基准点在世界坐标系下的坐标：P3d_1＝(pwx1，pwy1，0)，再额外再选取三维包络框模型对应的0，1，3，5，6，7点，根据初始三维信息，确定对应的世界坐标为：P3d_0＝(pwx1-width，pwy1，0)，P3d_1＝(pwx1，pwy1，0)，P3d_3＝(pwx1-width，pwy1+length，0)，P3d_5＝(pwx1，pwy1，height)，P3d_6＝(pwx1，pwy1+length，height)，P3d_7＝(pwx1-width，pwy1+length，height)，通过相机标定参数将这六个点的世界坐标转换为图像坐标P3di_0，P3di_1，P3di_3，P3di_5，P3di_6，P3di_7；记步骤4.2中求取的凸包点集合为Ω＝{Pi|1≤i≤6}，P1＝P3di_1，P2＝P3di_5，P3＝P3di_6，P4＝P3di_7，P5＝P3di_3，P6＝P3di_0；
步骤4.2.4在凸包6个点构成的6个线段组上等距取点，设总共所取点数为n，求取这些点与步骤4.1中轮廓重心点连线之间的距离lhp和前述连线与轮廓交点与轮廓重心点之间的距离lcp，作为约束误差；
车辆空间形态识别等价于获取车辆三维信息X＝(length，width，height，pwx1，pwy1，u0)，length代表车辆物理长度，width代表车辆物理宽度，height代表车辆物理高度；pwx1，pwy1表示车辆目标在图像坐标系下基准点的横、纵坐标，u0为消失点在图像坐标系下的横坐标，构造车辆目标的几何约束如下：
Figure BDA0002418713760000031
将上述公式记为代价函数，
Figure BDA0002418713760000032
代表第i个凸包上的点与轮廓重心点连线之间的距离，
Figure BDA0002418713760000033
代表第i个凸包上的点与轮廓交点与轮廓重心点之间的距离，
Figure BDA0002418713760000034
表示求出使得公式(9)最小的待估计参数车辆三维信息X的值；初始三维信息
Figure BDA0002418713760000035
为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息；通过粒子群算法对X进行迭代，从而求解出最优解。
具体的，所述步骤3包括：车辆目标的检测与分割：使用深度学习的方法对图像序列中的车辆目标进行检测与分割，获取车辆目标在二维包络框模型下的二维坐标信息、车辆目标的车辆类别和分割图像，二维坐标信息包括车辆目标的中心点图像坐标及车辆目标的像素宽度w高度h信息。
本发明还提供一种基于轮廓约束的车辆空间形态识别***，该***包括：
数据输入模块，用于输入交通视频，得到每一帧的视频图像，形成图像序列；
相机标定模块，用于建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，进行相机标定，获取相机的内外参数和场景地平线信息；
车辆目标检测与分割模块，用于使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行目标检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
轮廓约束构建求解模块，用于将相机标定结果和检测分割结果结合，构建车辆目标的轮廓约束并求解；
结果输出模块，将轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
本发明与现有技术相比，有益的技术效果是：
本发明的方法实现简单，可以应用于各种道路场景下的车辆目标空间形态识别，保证道路监控环境下的通用性，满足智能交通监控***中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测与分割的方法，因为其稳定性和精度都很高，具有较为广泛的应用。
附图说明
图1为本发明提供的车辆空间形态识别方法流程图；
图2为本发明中摄像机模型的坐标系的示意图；其中，(a)为摄像机模型的世界坐标系的侧视图，(b)为摄像机模型的相机坐标系的俯视图；
图3为本发明中标定条件在坐标系下的表示示意图；其中，(a)为标定条件在世界坐标系下的表示示意图，(b)为标定条件在图像坐标系下的表示示意图；
图4为本发明实施例所采用的交通场景原始图像序列；
图5为本发明实施例中在原始图像中进行车辆二维目标检测与分割的图像；
图6为本发明车辆目标二维与三维包络框模型图；
图7为本发明车辆目标轮廓约束构建的示意图；
图8为本发明车辆目标空间形态识别的结果图；
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明利用深度学***线信息构建车辆目标的轮廓约束。这些参数在道路环境中很容易获取，这充分保证了此方法在此场景下的通用性。
实施例1：
如图1至图8所示，本发明公开了一种基于轮廓约束的车辆空间形态识别方法，详细步骤如下：
步骤1，输入交通视频，得到每一帧的视频图像，形成图像序列；
步骤2，从步骤1得到的视频图像提取消失点，建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，并结合消失点进行相机标定，得到相机标定参数和地平线信息；
参考论文《A Taxonomy and Analysis of Camera Calibration Methods forTraffic Monitoring Applications》的方法，如图2所示，建立摄像机模型、世界坐标系O-XYZ、相机坐标系O-XCYCZC、图像坐标系O-UV，摄像机模型简化为针孔模型，所建坐标系均为右手系，世界坐标系包含x,y,z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用
Figure BDA0002418713760000051
表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；相机坐标系包含xc,yc,zc，原点位于相机所处位置，xc轴与世界坐标系下的x轴平行，zc轴正向沿着相机的光轴指向地面，yc轴垂直于xcozc平面指向地面。图中的主点为r点，为zc轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0,h,0)；图像坐标系为图像平面坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。
相机标定参数为：设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。
由论文中的推导可知：
如图3所示，采用单个消失点标定的方法，设沿道路方向消失点坐标为(u0,v0)，垂直道路方向消失点坐标为(u1,v1)，l为道路中的一段物理距离，w为道路的物理宽度，有关于未知参量f的四次方程：
Figure BDA0002418713760000052
其中，为计算方便引入中间变量kV＝δτl/wv0，δ为道路物理宽度w在图像上对应的像素距离，τ＝(vf-v0)(vb-v0)/(vf-vb)，其中，vb和vf分别表示l的两个端点在图像坐标系中v轴对应的坐标值；
Figure BDA0002418713760000053
Figure BDA0002418713760000054
通过上述公式(1)至(3)计算得到相机标定参数。
地平线方程为：
Figure BDA0002418713760000055
设图像上任意一点的世界坐标为(x,y,z)，世界坐标系的点与图像坐标系的点的投影关系为：
Figure BDA0002418713760000061
Figure BDA0002418713760000062
Figure BDA0002418713760000063
Figure BDA0002418713760000064
其中，α为比例因子。
步骤3，车辆目标的检测与分割：使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行检测，获取车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，二维坐标信息包括车辆目标的中心点图像坐标及车辆目标的像素宽高信息；
如图5所示，采用深度学习的方法，读取预训练的模型对视频帧中的车辆目标进行检测，获取车辆目标在图像坐标系中的中心点坐标(x,y)、宽度w、高度h和车辆类型信息，在此基础上可以计算出车辆目标检测出的二维包络框模型的四个角点坐标
Figure BDA0002418713760000065
分别为P2d_0＝(x-w/2,y+h/2),P2d_1＝(x+w/2,y+h/2),P2d_2＝(x+w/2,y-h/2),P2d_3＝(x-w/2,y-h/2)，并且将这些信息显示在视频帧上。
步骤4，车辆目标轮廓约束的构建求解：
步骤4.1，根据步骤3中的车辆分割结果，对分割图像求取轮廓，获取每个车辆目标的轮廓点集合；根据车辆目标轮廓点集合求取轮廓重心点的图像坐标，记为Pc＝(uc,vc)；
步骤4.2，根据步骤3中的检测结果与步骤2中的相机标定得到的相机标定参数和地平线信息，计算车辆目标在三维包络框模型下的凸包，构建车辆目标的轮廓约束并求解；
步骤4.2中构建车辆目标的轮廓约束及求解包括如下过程：
车辆目标的二维包络框模型顶点序号为0到3，记4个顶点的图像坐标分别为P2d_0,P2d_1,P2d_2,P2d_3；车辆目标的三维包络框模型顶点序号为0到7，记8个顶点的世界坐标分别为P3d_0,P3d_1,P3d_2,P3d_3,P3d_4,P3d_5,P3d_6,P3d_7；
通过步骤2中的相机标定参数计算出车辆目标在三维包络框模型下的三维坐标信息：P3di_0，P3di_1，P3di_2，P3di_3，P3di_4，P3di_5，P3di_6，P3di_7；车辆目标三维包络框模型的基准点选取为车辆目标二维包络框模型在图像坐标系下的右下角点，即Ptarget＝P2d_1。
根据步骤3得到的车辆类别，确定车辆在三维包络框模型下的初始三维信息X0＝(length0，width0，height0)，length0代表车辆初始物理长度，width0代表车辆初始物理宽度，height0代表车辆初始物理高度；由相机标定参数计算出基准点在世界坐标系下的坐标：P3d_1＝(pwx1，pwy1，0)，再额外再选取三维包络框模型对应的0，1，3，5，6，7点，根据初始三维信息，确定对应的世界坐标为：P3d_0＝(pwx1-width，pwy1，0)，P3d_1＝(pwx1，pwy1，0)，P3d_3＝(pwx1-width，pwy1+length，0)，P3d_5＝(pwx1，pwy1，height)，P3d_6＝(pwx1，pwy1+length，height)，P3d_7＝(pwx1-width，pwy1+length，height)，通过相机标定参数将这六个点的世界坐标转换为图像坐标P3di_0，P3di_1，P3di_3，P3di_5，P3di_6，P3di_7；记步骤4.3中求取的凸包点集合为Ω＝{Pi|1≤i≤6}，P1＝P3di_1，P2＝P3di_5，P3＝P3di_6，P4＝P3di_7，P5＝P3di_3，P6＝P3di_0。
在凸包6个点构成的6个线段组上等距取点，设总共所取点数为n，求取这些点与轮廓重心点连线之间的距离lhp和前述连线与轮廓交点与轮廓重心点之间的距离lcp，作为约束误差。
车辆空间形态识别等价于获取车辆三维信息X＝(length，width，height，pwx1，pwy1，u0)，length代表车辆物理长度，width代表车辆物理宽度，height代表车辆物理高度；pwx1，pwy1表示车辆目标在图像坐标系下基准点的横、纵坐标，u0为消失点在图像坐标系下的横坐标，构造车辆目标的几何约束如下：
Figure BDA0002418713760000071
将上述公式记为代价函数，
Figure BDA0002418713760000072
代表第i个凸包上的点与轮廓重心点连线之间的距离，
Figure BDA0002418713760000073
代表第i个凸包上的点与轮廓交点与轮廓重心点之间的距离，
Figure BDA0002418713760000074
表示求出使得公式(9)最小的待估计参数车辆三维信息X的值；初始三维信息
Figure BDA0002418713760000075
为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息；通过粒子群算法对X进行迭代，从而求解出最优解。
步骤5，将步骤4.2轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
实施例2：
本实施例提供一种基于轮廓约束的车辆空间形态识别***，该***包括：
数据输入模块，用于输入交通视频，得到每一帧的视频图像，形成图像序列；
相机标定模块，用于建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，进行相机标定，获取相机的内外参数和场景地平线信息；
车辆目标检测与分割模块，用于使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行目标检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
轮廓约束构建求解模块，用于将相机标定结果和检测分割结果结合，构建车辆目标的轮廓约束并求解；
结果输出模块，将轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
实施例3：
为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图4所示的实际道路交通场景图像，在此实际交通场景中识别出沿道路方向的单个消失点，并且对摄像机进行了标定。如图6所示，在此基础上，通过深度学习Mask RCNN的方法对车辆目标进行检测与分割，获取车辆目标的三维包络基准点在图像坐标系中的坐标。如图7所示为构建轮廓约束的示意图，结合标定结果，构建轮廓约束并求解。如图8所示，为车辆空间形态识别的结果图。
实验结果表明，通过本方法识别出的二维车辆目标，结合标定条件，能够完成车辆目标空间形态识别。空间形态识别的结果如表1所示。实验结果说明本方法完全能够满足道路交通场景下车辆空间形态识别的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。
表1基于轮廓约束的车辆空间形态识别结果
序号 车辆三维宽/长/高(mm) 车辆图像位置 道路方向消失点横坐标 适应度
1 1700.00,3600.00,1150.00 801.68,653.00 162.49 82.00
2 1700.00,3600.00,1162.73 1047.00,874.00 138.98 201.00
3 1772.13,4258.47,1541.70 1164.75,766.01 130.43 531.00

Claims (4)

1.一种基于轮廓约束的车辆空间形态识别方法，其特征在于，该方法利用深度学***线信息，对车辆目标构建轮廓约束求解出其空间形态信息；具体包括如下步骤：
步骤1，输入交通视频，得到每一帧的视频图像，形成图像序列；
步骤2，从步骤1得到的视频图像提取消失点，建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，并结合消失点进行相机标定，得到相机标定参数和地平线信息；
步骤3，使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
步骤4，车辆目标轮廓约束的构建求解：
步骤4.1，根据步骤3中的分割结果，对分割图像求取轮廓，获取每个车辆目标的轮廓点集合；根据车辆目标轮廓点集合求取轮廓重心点的图像坐标，记为Pc＝(uc，vc)；
步骤4.2，根据步骤2中的相机标定参数和地平线信息与步骤3中的检测结果，计算车辆目标在三维包络框模型下的凸包，再结合步骤4.1得到的轮廓重心点构建车辆目标的轮廓约束并求解；
步骤5，将步骤4.2轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
2.如权利要求1所述的基于轮廓约束的车辆空间形态识别方法，其特征在于，所述步骤4.2中构建车辆目标的轮廓约束并求解包括如下过程：
步骤4.2.1通过步骤2中的相机标定参数计算出车辆目标在三维包络框模型下的三维坐标信息：P3di_0，P3di_1，P3di_2，P3di_3，P3di_4，P3di_5，P3di_6，P3di_7；车辆目标三维包络框模型的基准点选取为车辆目标二维包络框模型在图像坐标系下的右下角点，即Ptarget＝P2d_1；其中，车辆目标的二维包络框模型顶点序号为0到3，记4个顶点的图像坐标分别为P2d_0，P2d_1，P2d_2，P2d_3；车辆目标的三维包络框模型顶点序号为0到7，记8个顶点的世界坐标分别为P3d_0，P3d_1，P3d_2，P3d_3，P3d_4，P3d_5，P3d_6，P3d_7；
步骤4.2.2根据步骤3得到的车辆类别，确定车辆在三维包络框模型下的初始三维信息X0＝(length0，width0，height0)，其中，length0代表车辆初始物理长度，width0代表车辆初始物理宽度，height0代表车辆初始物理高度；
步骤4.2.3由相机标定参数计算出基准点在世界坐标系下的坐标：P3d_1＝(pwx1，pwy1，0)，再额外再选取三维包络框模型对应的0，1，3，5，6，7点，根据初始三维信息，确定对应的世界坐标为：P3d_0＝(pwx1-width，pwy1，0)，P3d_1＝(pwx1，pwy1，0)，P3d_3＝(pwx1-width，pwy1+length，0)，P3d_5＝(pwx1，pwy1，height)，P3d_6＝(pwx1，pwy1+length，height)，P3d_7＝(pwx1-width，pwy1+length，height)，通过相机标定参数将这六个点的世界坐标转换为图像坐标P3di_0，P3di_1，P3di_3，P3di_5，P3di_6，P3di_7；记步骤4.2中求取的凸包点集合为Ω＝{Pi|1≤i≤6}，P1＝P3di_1，P2＝P3di_5，P3＝P3di_6，P4＝P3di_7，P5＝P3di_3，P6＝P3di_0；
步骤4.2.4在凸包6个点构成的6个线段组上等距取点，设总共所取点数为n，求取这些点与步骤4.1中轮廓重心点连线之间的距离lhp和前述连线与轮廓交点与轮廓重心点之间的距离lcp，作为约束误差；
车辆空间形态识别等价于获取车辆三维信息X＝(length，width，height，pwx1，pwy1，u0)，length代表车辆物理长度，width代表车辆物理宽度，height代表车辆物理高度；pwx1，pwy1表示车辆目标在图像坐标系下基准点的横、纵坐标，u0为消失点在图像坐标系下的横坐标，构造车辆目标的几何约束如下：
Figure FDA0002418713750000021
将上述公式记为代价函数，
Figure FDA0002418713750000022
代表第i个凸包上的点与轮廓重心点连线之间的距离，
Figure FDA0002418713750000023
代表第i个凸包上的点与轮廓交点与轮廓重心点之间的距离，
Figure FDA0002418713750000024
表示求出使得公式(9)最小的待估计参数车辆三维信息X的值；初始三维信息
Figure FDA0002418713750000025
为利用车辆目标的类别根据国家标准设置的车辆的初始三维信息；通过粒子群算法对X进行迭代，从而求解出最优解。
3.如权利要求1所述的基于轮廓约束的车辆空间形态识别方法，其特征在于，所述步骤3包括：车辆目标的检测与分割：使用深度学习的方法对图像序列中的车辆目标进行检测与分割，获取车辆目标在二维包络框模型下的二维坐标信息、车辆目标的车辆类别和分割图像，二维坐标信息包括车辆目标的中心点图像坐标及车辆目标的像素宽度w高度h信息。
4.一种基于轮廓约束的车辆空间形态识别***，其特征在于，该***包括：
数据输入模块，用于输入交通视频，得到每一帧的视频图像，形成图像序列；
相机标定模块，用于建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，进行相机标定，获取相机的内外参数和场景地平线信息；
车辆目标检测与分割模块，用于使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行目标检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
轮廓约束构建求解模块，用于将相机标定结果和检测分割结果结合，构建车辆目标的轮廓约束并求解；
结果输出模块，将轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
CN202010199138.4A 2020-03-20 2020-03-20 一种基于轮廓约束的车辆空间形态识别方法及*** Active CN111476798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199138.4A CN111476798B (zh) 2020-03-20 2020-03-20 一种基于轮廓约束的车辆空间形态识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199138.4A CN111476798B (zh) 2020-03-20 2020-03-20 一种基于轮廓约束的车辆空间形态识别方法及***

Publications (2)

Publication Number Publication Date
CN111476798A CN111476798A (zh) 2020-07-31
CN111476798B true CN111476798B (zh) 2023-05-16

Family

ID=71748383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199138.4A Active CN111476798B (zh) 2020-03-20 2020-03-20 一种基于轮廓约束的车辆空间形态识别方法及***

Country Status (1)

Country Link
CN (1) CN111476798B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308962B (zh) * 2020-11-05 2023-10-17 山东产研信息与人工智能融合研究院有限公司 以实体目标为最小单元的实景模型构建方法及装置
CN113793413A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质
CN115100290B (zh) * 2022-06-20 2023-03-21 苏州天准软件有限公司 交通场景下的单目视觉定位方法及装置、设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109917359A (zh) * 2019-03-19 2019-06-21 福州大学 基于车载单目视觉的鲁棒车辆距离估计方法
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242903B (zh) * 2018-09-07 2020-08-07 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109917359A (zh) * 2019-03-19 2019-06-21 福州大学 基于车载单目视觉的鲁棒车辆距离估计方法
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单目序列图像的车辆三维信息的获取;徐晓娟等;《电子设计工程》;20150305(第05期);全文 *

Also Published As

Publication number Publication date
CN111476798A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及***
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及***
EP1242966B1 (en) Spherical rectification of image pairs
CN106156723B (zh) 一种基于视觉的路口精定位方法
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
CN109752701A (zh) 一种基于激光点云的道路边沿检测方法
CN106681353A (zh) 基于双目视觉与光流融合的无人机避障方法及***
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
JP2006053756A (ja) 物体検出装置
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN110930365B (zh) 一种交通场景下的正交消失点检测方法
CN111932627B (zh) 一种标识物绘制方法及***
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
KR101453143B1 (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
CN111462241B (zh) 一种基于单目视觉的目标定位方法
CN113327296A (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN111008557A (zh) 一种基于几何约束的车辆细粒度识别方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
Yuan et al. Estimation of vehicle pose and position with monocular camera at urban road intersections
CN107248171B (zh) 一种基于三角剖分的单目视觉里程计尺度恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230420

Address after: 201500 1st floor, No.1000 Tingwei Road, Jinshan District, Shanghai

Applicant after: Shanghai Aoyao Artificial Intelligence Technology Co.,Ltd.

Address before: 710064 No. 126 central section of South Ring Road, Yanta District, Xi'an, Shaanxi

Applicant before: CHANG'AN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant