CN110009765B - 一种自动驾驶车辆场景数据***的场景格式转化方法 - Google Patents

一种自动驾驶车辆场景数据***的场景格式转化方法 Download PDF

Info

Publication number
CN110009765B
CN110009765B CN201910299544.5A CN201910299544A CN110009765B CN 110009765 B CN110009765 B CN 110009765B CN 201910299544 A CN201910299544 A CN 201910299544A CN 110009765 B CN110009765 B CN 110009765B
Authority
CN
China
Prior art keywords
data
scene
laser radar
matrix
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910299544.5A
Other languages
English (en)
Other versions
CN110009765A (zh
Inventor
朱波
胡旭东
谈东奎
黄茂飞
顾家鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910299544.5A priority Critical patent/CN110009765B/zh
Publication of CN110009765A publication Critical patent/CN110009765A/zh
Application granted granted Critical
Publication of CN110009765B publication Critical patent/CN110009765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种自动驾驶车辆场景数据***，包括：传感器单元；数据融合工控机，对激光雷达与摄像头采集到的真实场景数据进行处理,提取出真实场景中对象的位置、速度、大小、类型信息,获得路况的道路范围、车道位置和车道类型信息；格式转换工控机，将数据融合工控机输出的对象信息和路况信息、环境信息、行为信息按预定义的格式填充到路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量中。本发明还公开了一种自动驾驶车辆场景数据***的场景格式转化方法。本发明为自动驾驶车辆真实场景的采集、场景格式的转化提供了一个平台；能自动从采集到的大量真实场景中提取出关键信息，将关键信息再重组成发明中定义的场景格式。

Description

一种自动驾驶车辆场景数据***的场景格式转化方法
技术领域
本发明涉及自动驾驶车辆技术领域，尤其是一种自动驾驶车辆场景数据***的场景格式转化方法。
背景技术
自动驾驶车辆的场景主要包括对象、路况、环境和行为四个方面，其中，对象是指影响行驶决策的或是所有可能自主运动的物体或动物，对象包含对象类型、速度、位置等；路况是指不会随环境变化而变动的道路特征以及交通管制特征，路况包含车道数量、车道线、是否限速等；环境是指所有的可能变化的环境因素，环境包含天气、光照、温度等；行为是指自动驾驶车本身的行为，行为包含驾驶方向、速度、加速度等。
现今各大自动驾驶车辆厂商和研发单位陆续开始对研发的自动驾驶车辆进行路测或采用专门的自动驾驶场景采集车上路采集场景，这一过程中会采集到大量场景数据。其中，美国Waymo公司的自动驾驶里程已经超过350,000英里，中国百度Apollo公司拥有300辆运行在中国的场景采集车，单纯依赖于人力难以完成对这些的大量场景数据处理，需要将采集到的数据转化为场景数据处理的相关算法便于处理的数据结构。场景数据处理的相关算法可以从转化好的场景数据中进行场景影响因素分类和特征要素提取，从而实现真实驾驶场景解构与虚拟场景自动重构，为自动驾驶车辆测试评价提供测试场景支撑。
自动驾驶车辆行驶时，各种传感器采集到的原始数据格式不同，不加处理的原始数据既不便于决策层对场景进行分析，也不便于场景的特征要素提取和影响因素分析。目前国际通用的场景数据格式为OpenScenario，这是一种基于XML的场景格式，XML类型场景数据便于存储和显示，但是不便于作为场景处理算法的数据输入格式。因此，需要构建一种数据规格大小固定的自动驾驶车辆场景数据格式，便于神经网络等算法处理。
发明内容
本发明的目的在于提供一种通过各个传感器采集大量原始传感器数据，同时通过两台工控机运行场景格式转化方法将原始传感器数据转化为矩阵向量结构的场景格式的自动驾驶车辆场景数据***的场景格式转化方法。
为实现上述目的，本发明采用了以下技术方案：一种自动驾驶车辆场景数据***的场景格式转化方法，该方法包括下列顺序的步骤：
(1)传感器的标定：包括摄像头的标定、摄像头与激光雷达的联合标定以及摄像头与激光雷达的同步；
(2)激光雷达数据聚类：激光雷达的点云数据按几何距离阈值D聚类出两兴趣区域，即对象区域和路况区域；
(3)针对对象区域，提取出各对象的位置、速度与大小；针对路况区域，提取出道路范围；
(4)将激光雷达的数据和摄像头的数据融合，将激光雷达的两兴趣区域透视变换到图像数据，得到图像数据的对象区域与路况区域；
(5)边缘检测：采用边缘检测算法对图像数据的路况区域进行边缘检测，提取车道线位置，按车道线对路况区域进行分割，得到图像数据的车道区域；
(6)图像分类：对图像数据的对象区域和车道区域进行分类，得到对象类型信息与车道类型信息；
(7)自动驾驶车辆场景数据格式转换，将处理完毕的各项数据按预定义的场景格式转换到各向量与矩阵层中；
所述自动驾驶车辆场景数据***包括：
传感器单元，包括用于采集路况的激光雷达、用于采集对象信息的摄像头、用于采集环境信息的车联网***V2X和全球定位***GPS，以及用于采集行为信息的CAN卡；
数据融合工控机，对激光雷达与摄像头采集到的真实场景数据进行处理,提取出真实场景中对象的位置、速度、大小、类型信息,获得路况的道路范围、车道位置和车道类型信息；
格式转换工控机，将数据融合工控机输出的对象信息和路况信息、车联网***V2X与全球定位***GPS采集到的环境信息、CAN卡采集到的行为信息按预定义的格式填充到路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量中；多个采样时刻的路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量在格式转换工控机中组合成自动驾驶车辆场景数据。
在步骤(1)中，所述摄像头标定的公式如下：
Figure GDA0002948501820000031
Figure GDA0002948501820000032
Figure GDA0002948501820000033
其中，[Xw Yw Zw]为汽车坐标系坐标，R为旋转矩阵，T为平移向量，Zc为物体离光学中心的距离，dx、dy为相机中感光器件每个像素的物力尺寸，f为焦距，[u0 v0]为图像中心的像素坐标，[u v]为像素坐标系坐标，[α β γ]为相机坐标系与汽车坐标系的夹角；
Figure GDA0002948501820000034
为相机坐标系原点在汽车坐标系中的坐标；
摄像头与激光雷达的联合标定的公式如下：
Figure GDA0002948501820000035
其中，ρ为激光雷达原点到物体的距离，θ为激光雷达扫过的角度，h为激光雷达的安装高度；
摄像头与激光雷达的同步的公式如下：
Figure GDA0002948501820000036
其中，(xa,ya),(xb,yb)分别为世界坐标系下时刻a、时刻b的汽车坐标；θa,θb分别为世界坐标系与汽车坐标系在时刻a、时刻b时的夹角；(xla,yla),(xlb,ylb)分别为汽车坐标系下时刻a、时刻b的物体坐标。
在步骤(2)中，所述几何距离阈值D的计算公式如下：
Figure GDA0002948501820000037
Figure GDA0002948501820000038
Figure GDA0002948501820000039
dmin＝min(di,di+1)
式中，C0,β均为激光雷达内部参数，其中，C0为激光雷达纵向误差补偿值，β为激光雷达束分割部分误差补偿值，
Figure GDA0002948501820000041
为激光雷达扫描时的角分辨率，di,di+1分别表示激光雷达距离第i、第i+1个点的距离，dmin为di,di+1的最小值，ρ为激光雷达两个相邻数据点di,di+1之间的几何距离。
在步骤(5)中，所采用的边缘检测算法为Canny边缘检测算法，边缘检测时依次进行灰度转化、高斯滤波、梯度计算、非极大值抑制、双阈值检测和抑制孤立低阈值像素点，其中，高斯滤波采用3×3的高斯卷积核为：
Figure GDA0002948501820000042
梯度计算时采用的x和y方向上的Sobel算子Sx,Sy分别为：
Figure GDA0002948501820000043
Figure GDA0002948501820000044
在步骤(6)中，所述图像分类采用SVM分类器进行分类，每个类别都对应一个SVM分类器，其中，采用图像到超平面的距离作为SVM分类器的代价函数，计算公式如下：
Figure GDA0002948501820000045
其中，y为图像到超平面的距离，w为权重，x为图像数据，b为偏差，‖w‖为w的2范数；T表示对矩阵的转置；
由于数据的非线性，引入松弛变量ε和惩罚系数C，同时，为减小过拟合，引入拉格朗日乘子a＝[a1,a2,……,aN]，N为图像个数，使用条件极值对最优超平面进行求解，构造得到的拉格朗日函数如下式所示：
Figure GDA0002948501820000046
约束条件为：
0≤a≤C
Figure GDA0002948501820000047
当上式最大时，得最优解a*，最优w*,b*如下式所示：
Figure GDA0002948501820000051
b*＝y-w*Tx
最后将数据代入分类决策函数f(x)进行分类，公式如下所示：
Figure GDA0002948501820000052
由上述技术方案可知，本发明的优点在于：第一，提供了一种自动驾驶车辆场景数据***，为自动驾驶车辆真实场景的采集、场景格式的转化提供了一个平台；第二，本方法能自动从采集到的大量真实场景中提取出关键信息，将关键信息再重组成发明中定义的场景格式；第三，本发明中定义的场景格式数据规格大小固定，便于神经网络等算法处理，即可用于后期的场景影响因素分类和特征要素提取，也可作为自动驾驶决策层的场景输入格式。
附图说明
图1是本***的结构框图；
图2是激光雷达和摄像头数据融合流程图；
图3是自动驾驶车辆场景数据格式转换流程图；
图4是航位示意图；
图5是激光雷达数据聚类流程图；
图6是图像分类流程图；
图7是示例性自动驾驶车辆真实场景；
图8是示例性自动驾驶车辆场景数据结构的对象层；
图9是示例性自动驾驶车辆场景数据结构的纵向速度层；
图10是示例性自动驾驶车辆场景数据结构的横向速度层；
图11是示例性自动驾驶车辆场景数据结构的路况层；
图12是示例性自动驾驶车辆场景数据结构的环境层；
图13是示例性自动驾驶车辆场景数据结构的行为层。
具体实施方式
如图1所示，一种自动驾驶车辆场景数据***，传感器单元，包括用于采集路况的激光雷达、用于采集对象信息的摄像头、用于采集环境信息的车联网***V2X和全球定位***GPS，以及用于采集行为信息的CAN卡；
数据融合工控机，对激光雷达与摄像头采集到的真实场景数据进行处理,提取出真实场景中对象的位置、速度、大小、类型信息,获得路况的道路范围、车道位置和车道类型信息；
格式转换工控机，将数据融合工控机输出的对象信息和路况信息、车联网***V2X与全球定位***GPS采集到的环境信息、CAN卡采集到的行为信息按预定义的格式填充到路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量中；多个采样时刻的路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量在格式转换工控机中组合成自动驾驶车辆场景数据。
为实现场景特征要素提取、影响因素分析和自动重构，存储的场景数据中应包含道路范围、车道线位置、车道类型；对象的类型、位置、速度、大小信息；环境的温度、天气、光照、经纬度、海拔和时间；本车的速度、纵向加速度、横摆角速度、大小信息。精度要求如下，位置：±0.1m；速度：±1km/h；大小：±0.1m；加速度：±0.1m/s^2；角速度：±1rad/s；温度：±1℃；经纬度：±1°；海拔：±1m；时间：±0.001s。
激光雷达和摄像头获取外部环境信息，分别形成点云数据与图像数据，两者输入数据融合工控机处理得到路况信息和对象信息。本车的整车ECU通过CAN与其他设备通讯，利用CAN卡读取行为信息。环境信息中的温度、天气、光照数据通过V2X技术获得，经纬度、海拔和时间数据通过GPS获得。路况信息、对象信息、环境信息和行为信息输入格式转化工控机，形成自动驾驶车辆场景数据。
如图2所示，在数据融合之前，需要进行摄像头标定、摄像头与激光雷达联合标定和传感器同步，标定完成后，可以将激光雷达数据映射到图像数据中，为两者的融合提供基础。首先，在激光雷达数据中快速得到兴趣区域，对兴趣区域进行聚类，划分出对象区域和路况区域。从对象区域中获得对象的位置、速度、大小信息，从路况区域中获得道路范围。然后，将兴趣区域的世界坐标透视变换到像素坐标上，对对象的兴趣区域图像数据进行分类，获得对象类型；对路况的兴趣区域图像数据进行边缘检测获得车道线信息，再按车道线对路况的兴趣区域图像数据进行分割，分类出不同的车道类型。
所述自动驾驶车辆场景数据结构的组织架构由四个矩阵和两个向量组成。四个矩阵nw*nh，大小相同，层层叠加，与两个向量1*nl共同构成一个nw*nh*4+2*nl大小的数据。第一个矩阵为对象层，对象所处位置和对象的大小决定了对象在矩阵中的位置，不同类型的对象由不同的数字表示。本车也作为一个对象，在对象层表示出来。第二个矩阵为纵向速度层，将第一个矩阵的对象投影到该层，并在矩阵的各对象位置中用不同数字表示各对象相对于地面的纵向速度。第三个矩阵为横向速度层，将第一个矩阵的对象投影到该层，并在矩阵的各对象位置中用不同数字表示各对象相对于地面的横向速度。第四个矩阵为路况层，用四种数字在矩阵中表示不同类型车道位置、车道外部位置、交叉路口位置。环境层为向量层，用来存储场景的环境信息，包括温度、天气、光照、经纬度、海拔和时间。行为层为向量层，用来存储场景的行为信息，包括本车纵向加速度、横摆角速度。向量层预留有一定空位，方便添加其他数据，同时长度可扩展。
如图3所示，首先，创建出路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量。路况矩阵中，程序接受传递来的路况信息，按其中的道路区域数据将矩阵划分为道路与非道路两部分，再根据车道线分割道路，按照不同的车道类型在矩阵中填充不同数字，形成路况矩阵。对象矩阵中，程序接受传递来的对象信息中的对象大小、位置数据和行为信息中的本车大小数据，按照比例和对象类型将不同的数字填充到矩阵不同的位置中，形成对象层。横向速度矩阵和纵向速度矩阵中，程序接受传递来的对象信息中的对象速度数据和行为信息中的本车速度数据，按世界坐标系将速度分解为横向速度和纵向速度，按照换算公式将不同大小的数字填充到矩阵中各个对象所在位置，形成横向速度层和纵向速度层。环境向量中，程序接受传递来的环境信息，将其按照预定格式填充入向量中，形成环境层。行为向量中，程序接受传递来的行为信息中的本车纵向加速度、横摆角速度数据，将其按照预定格式填充入向量中，形成行为层。
本方法包括下列顺序的步骤：
(1)传感器的标定：包括摄像头的标定、摄像头与激光雷达的联合标定以及摄像头与激光雷达的同步；
(2)激光雷达数据聚类：激光雷达的点云数据按几何距离阈值D聚类出两兴趣区域，即对象区域和路况区域；
(3)针对对象区域，提取出各对象的位置、速度与大小；针对路况区域，提取出道路范围；
(4)将激光雷达的数据和摄像头的数据融合，将激光雷达的两兴趣区域透视变换到图像数据，得到图像数据的对象区域与路况区域；
(5)边缘检测：采用边缘检测算法对图像数据的路况区域进行边缘检测，提取车道线位置，按车道线对路况区域进行分割，得到图像数据的车道区域；
(6)图像分类：对图像数据的对象区域和车道区域进行分类，得到对象类型信息与车道类型信息；
(7)自动驾驶车辆场景数据格式转换，将处理完毕的各项数据按预定义的场景格式转换到各向量与矩阵层中。
在步骤(1)中，首先需要进行传感器的标定。汽车坐标系以车辆后轴中心为原点，以垂直于地面的坐标轴作为Z轴，以车辆水平方向为X轴，以车辆纵向方向为Y轴。像素坐标系以图像左上角为原点，以图像上边界为u轴，以图像左边界为v轴。所述摄像头标定的公式如下：
Figure GDA0002948501820000081
Figure GDA0002948501820000082
Figure GDA0002948501820000083
其中，[Xw Yw Zw]为汽车坐标系坐标，R为旋转矩阵，T为平移向量，Zc为物体离光学中心的距离，dx、dy为相机中感光器件每个像素的物力尺寸，f为焦距，[u0 v0]为图像中心的像素坐标，[u v]为像素坐标系坐标，[α β γ]为相机坐标系与汽车坐标系的夹角；
Figure GDA0002948501820000084
为相机坐标系原点在汽车坐标系中的坐标；
摄像头与激光雷达的联合标定的公式如下：
Figure GDA0002948501820000085
其中，ρ为激光雷达原点到物体的距离，θ为激光雷达扫过的角度，h为激光雷达的安装高度；
将激光雷达坐标系坐标与汽车坐标的换算公式代入透视变换公式中，得到如下标定公式：
Figure GDA0002948501820000091
采用黑色等边三角形作为标定板，激光雷达对标定板进行扫描，将获得的点云数据投影出三角形的两条等边，选取两条投影边的交汇点作为激光雷达坐标系原点。同时，用边缘检测法识别出图像中三角形的顶点，作为像素坐标系的原点。采用等夹角的3个角度放置标定板，获得3对激光雷达坐标和像素坐标。将标定板离激光雷达的距离Zc和3对激光雷达坐标和像素坐标代入上式，可以求解出标定参数，实现激光雷达与摄像头的联合标定。
如图4所示，图中P为被测物体，XvOvYv为车辆坐标系，XuOuYu为世界坐标系。假设激光雷达采集数据时刻为a，摄像头采集数据时刻为b，下式为激光雷达采集数据时刻的物体坐标和摄像头采集数据时刻的物体坐标的关系。摄像头与激光雷达的同步的公式如下：
Figure GDA0002948501820000092
其中，(xa,ya),(xb,yb)分别为世界坐标系下时刻a、时刻b的汽车坐标；θa,θb分别为世界坐标系与汽车坐标系在时刻a、时刻b时的夹角；(xla,yla),(xlb,ylb)分别为汽车坐标系下时刻a、时刻b的物体坐标。
传感器标定工作完成之后，需要对采集到的激光雷达数据进行聚类，划分出兴趣区域。如图5所示，聚类之前需要对点云数据进行预处理，去除值为激光雷达测量上下限和单个的激光雷达数据点。激光雷达数据中相邻两点的几何距离小于一定阈值，则可判断这两点表示同一被测物体，在步骤(2)中，所述几何距离阈值D的计算公式
如下：
Figure GDA0002948501820000093
Figure GDA0002948501820000101
Figure GDA0002948501820000102
dmin＝min(di,di+1)
式中，C0,β均为激光雷达内部参数，其中，C0为激光雷达纵向误差补偿值，β为激光雷达束分割部分误差补偿值，
Figure GDA0002948501820000103
为激光雷达扫描时的角分辨率，di,di+1分别表示激光雷达距离第i、第i+1个点的距离，dmin为di,di+1的最小值，ρ为激光雷达两个相邻数据点di,di+1之间的几何距离。
激光雷达数据聚类出路况区域，将激光雷达坐标透视变换到像素坐标上，得到图像数据的兴趣区域，对其进行边缘检测，获取车道线。在步骤(5)中，所采用的边缘检测算法为Canny边缘检测算法，边缘检测时依次进行灰度转化、高斯滤波、梯度计算、非极大值抑制、双阈值检测和抑制孤立低阈值像素点，其中，高斯滤波采用3×3的高斯卷积核为：
Figure GDA0002948501820000104
梯度计算时采用的x和y方向上的Sobel算子Sx,Sy分别为：
Figure GDA0002948501820000105
Figure GDA0002948501820000106
如图6所示，预训练的CNN模型采用ResNet，选择层数为50层。ResNet直接把输入的图像数据传到输出，保护了图像数据的完整性，网络只需学习输入、输出差别部分，简化了学习目标和难度。ResNet结构中有两种残差模块，一种是将两个3*3的卷积网络串接在一起形成一个残差模块，另外一种是将一个1*1的卷积网络、一个3*3的卷积网络和一个1*1的卷积网络依次串接在一起形成一个残差模块。
在步骤(6)中，所述图像分类采用SVM分类器进行分类，每个类别都对应一个SVM分类器，其中，采用图像到超平面的距离作为SVM分类器的代价函数，计算公式如下：
Figure GDA0002948501820000107
其中，y为图像到超平面的距离，w为权重，x为图像数据，b为偏差，‖w‖为w的2范数；T表示对矩阵的转置；
由于数据的非线性，引入松弛变量ε和惩罚系数C，同时，为减小过拟合，引入拉格朗日乘子a＝[a1,a2,……,aN]，N为图像个数，使用条件极值对最优超平面进行求解，构造得到的拉格朗日函数如下式所示：
Figure GDA0002948501820000111
约束条件为：
0≤a≤C
Figure GDA0002948501820000112
当上式最大时，得最优解a*，最优w*,b*如下式所示：
Figure GDA0002948501820000113
b*＝y-w*Tx
最后将数据代入分类决策函数f(x)进行分类，公式如下所示：
Figure GDA0002948501820000114
如图7所示，为本发明示例性的自动驾驶车辆真实场景，场景中包含路况信息、对象信息、环境信息、行为信息。
真实场景中的路况信息：其中单条车道宽为3m，车道中包含单向单车道、双向单车道、双向三车道、交叉路口几种车道类型。
真实场景中的对象信息：对象为轨道车、汽车，轨道车长宽为13*2m，汽车长宽为4.5*1.7m。各障碍物相对于本车的纵向速度分别为0km/h、-60km/h、0km/h，定义远离本车为正，横向速度分别为-100km/h、0km/h、-60km/h，定义远离本车为正。
真实场景中的环境信息：气温为25℃，天气为晴天，光照强。车辆的经纬度为东经：116°，北纬：39°，海拔为44m。时间为北京时间2019年1月1日13时24分35.987秒。
真实场景中的行为信息：本车车速为0km/h，定义向前为正，本车纵向加速度为0m/s^2，定义向前为正，本车横摆角速度为0rad/s，定义顺时针为正。
将真实场景转化为自动驾驶车辆场景数据，需要先进行如下定义：
矩阵大小为301*351，矩阵中每格表示0.1m。向量大小为13*1，向量中多余的位数作为预留位。
在路况层矩阵中，与本车同向的车道用250,240,230,220,210表示，与本车反向的车道用150,140,130,120,110表示。交叉路口用50表示，车道外区域用0表示。
在对象层矩阵中，不同大小的对象在矩阵中占据相应大小的位置。本车所在位置用数字255表示。汽车所在位置用数字15x表示(x从0,1,2,3,4,5,6,7,8,9中选取，从内到外，顺时针依次编号)。轨道车用数字20x表示(x从0,1,2,3中选取，从内到外，顺时针依次编号)。行人用17x表示(x从0,1,2,3,4,5,6,7,8,9中选取，从内到外，顺时针依次编号)。路墩等其他障碍物用5x表示(x从0,1,2,3,4,5,6,7,8,9中选取，从内到外，顺时针依次编号)。其余空白区域用数字0表示。
纵向速度层、横向速度层中的对象相对于本车的速度用数字0-255来表示，其中1-127表示速度为负，129-255表示速度为正，128表示相对静止。0表示没有速度的其他区域。定义远离本车为正。换算公式为，计算结果取整：
V2＝[128+V1]
式中，V1表示真实场景中的速度，V2表示自动驾驶车辆场景数据中的速度，V1单位为km/h。
环境层中自左向右依次存储：气温、天气、光照、经度、纬度、海拔、年、月、日、时、分、秒。行为层中自左向右依次存储：本车纵向加速度、本车横摆角速度。
经度参数用数字0-360表示，其中0-179表示西经，181-360表示东经，180为本初子午线。纬度参数用数字0-180表示，其中0-89表示南纬，91-180表示北纬，90表示纬度为0。换算公式如下，计算结果取整：
W2＝[180+W1]
N2＝[90+N1]
式中，W1表示真实场景中的经度，东经用正数代入，西经用负数代入。W2表示自动驾驶车辆场景数据中的经度。N1表示真实场景中的纬度，北纬用正数代入，南纬用负数代入。N2表示自动驾驶车辆场景数据中的纬度。
天气参数用数字表示，其中0表示雨天，64表示雪天，128表示雾霾，192表示阴天，255表示晴天。
光照参数用数字表示，其中0表示无光照，85表示弱光照，170表示标准光照，255表示强光照。
如图8所示，本方法将真实场景中的对象类型、大小、位置信息与本车位置、大小信息转换到了对象层，以灰度值的大小表示对象的类型，其中灰度值255表示本车，各灰度值在对象层中所在位置、所占大小表示各对象和本车在真实场景中的位置、大小。
如图9所示，本方法将真实场景中各对象的纵向速度信息与本车纵向速度信息转换到了纵向速度层，以灰度值的大小表示纵向速度，各灰度值在纵向速度层中所在位置、所占大小与对象层中各对象和本车所在位置、所占大小对应。
如图10所示，本方法将真实场景中各对象的横向速度信息与本车横线速度信息转换到了横向速度层，以灰度值的大小表示横向速度，各灰度值在横向速度层中所在位置、所占大小与对象层中各对象和本车所在位置、所占大小对应。
如图11所示，本方法将真实场景数据中的路况信息转换到了路况层，以灰度值的大小表示道路类型，不同灰度值的区域交界线表示车道线，各灰度值在路况层中所在位置、所占大小表示各道路在真实场景中的位置、大小。
如图12所示，本方法将真实场景中的环境信息转换到了环境层，其中数字含义依次为：25表示气温为25℃，255表示天气为晴天，第二个255表示光照强，296表示本车的经度为东经116°，129表示本车的纬度为北纬39°，44表示本车的海拔为44m，其余数字2019,1,1,13,24,35.987表示本车所处时间为北京时间2019年1月1日13时24分35.987秒。环境层中在向量末尾留有若干预留位，以备后期的数据扩展。
如图13所示，本方法将真实场景中行为信息的本车纵向加速度、本车横摆角速度转换到了行为层，其中第一个0表示本车纵向加速度为0m/s^2，第二个0表示本车横摆角速度为0rad/s。行为层中在向量末尾留有若干预留位，以备后期的数据扩展。

Claims (5)

1.一种自动驾驶车辆场景数据***的场景格式转化方法，其特征在于：该方法包括下列顺序的步骤：
(1)传感器的标定：包括摄像头的标定、摄像头与激光雷达的联合标定以及摄像头与激光雷达的同步；
(2)激光雷达数据聚类：激光雷达的点云数据按几何距离阈值D聚类出两兴趣区域，即对象区域和路况区域；
(3)针对对象区域，提取出各对象的位置、速度与大小；针对路况区域，提取出道路范围；
(4)将激光雷达的数据和摄像头的数据融合，将激光雷达的两兴趣区域透视变换到图像数据，得到图像数据的对象区域与路况区域；
(5)边缘检测：采用边缘检测算法对图像数据的路况区域进行边缘检测，提取车道线位置，按车道线对路况区域进行分割，得到图像数据的车道区域；
(6)图像分类：对图像数据的对象区域和车道区域进行分类，得到对象类型信息与车道类型信息；
(7)自动驾驶车辆场景数据格式转换，将处理完毕的各项数据按预定义的场景格式转换到各向量与矩阵层中；
所述自动驾驶车辆场景数据***包括：
传感器单元，包括用于采集路况的激光雷达、用于采集对象信息的摄像头、用于采集环境信息的车联网***V2X和全球定位***GPS，以及用于采集行为信息的CAN卡；
数据融合工控机，对激光雷达与摄像头采集到的真实场景数据进行处理,提取出真实场景中对象的位置、速度、大小、类型信息,获得路况的道路范围、车道位置和车道类型信息；
格式转换工控机，将数据融合工控机输出的对象信息和路况信息、车联网***V2X与全球定位***GPS采集到的环境信息、CAN卡采集到的行为信息按预定义的格式填充到路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量中；多个采样时刻的路况矩阵、对象矩阵、横向速度矩阵、纵向速度矩阵、环境向量和行为向量在格式转换工控机中组合成自动驾驶车辆场景数据。
2.根据权利要求1所述的场景格式转化方法，其特征在于：在步骤(1)中，所述摄像头标定的公式如下：
Figure FDA0002948501810000021
Figure FDA0002948501810000022
Figure FDA0002948501810000023
其中，[Xw Yw Zw]为汽车坐标系坐标，R为旋转矩阵，T为平移向量，Zc为物体离光学中心的距离，dx、dy为相机中感光器件每个像素的物力尺寸，f为焦距，[u0 v0]为图像中心的像素坐标，[u v]为像素坐标系坐标，[α β γ]为相机坐标系与汽车坐标系的夹角；
Figure FDA0002948501810000024
为相机坐标系原点在汽车坐标系中的坐标；
摄像头与激光雷达的联合标定的公式如下：
Figure FDA0002948501810000025
其中，ρ为激光雷达原点到物体的距离，θ为激光雷达扫过的角度，h为激光雷达的安装高度；
摄像头与激光雷达的同步的公式如下：
Figure FDA0002948501810000026
其中，(xa,ya),(xb,yb)分别为世界坐标系下时刻a、时刻b的汽车坐标；θa,θb分别为世界坐标系与汽车坐标系在时刻a、时刻b时的夹角；(xla,yla),(xlb,ylb)分别为汽车坐标系下时刻a、时刻b的物体坐标。
3.根据权利要求1所述的场景格式转化方法，其特征在于：在步骤(2)中，所述几何距离阈值D的计算公式如下：
Figure FDA0002948501810000031
Figure FDA0002948501810000032
Figure FDA0002948501810000033
dmin＝min(di,di+1)
式中，C0,β均为激光雷达内部参数，其中，C0为激光雷达纵向误差补偿值，β为激光雷达束分割部分误差补偿值，
Figure FDA0002948501810000038
为激光雷达扫描时的角分辨率，di,di+1分别表示激光雷达距离第i、第i+1个点的距离，dmin为di,di+1的最小值，ρ为激光雷达两个相邻数据点di,di+1之间的几何距离。
4.根据权利要求1所述的场景格式转化方法，其特征在于：在步骤(5)中，所采用的边缘检测算法为Canny边缘检测算法，边缘检测时依次进行灰度转化、高斯滤波、梯度计算、非极大值抑制、双阈值检测和抑制孤立低阈值像素点，其中，高斯滤波采用3×3的高斯卷积核为：
Figure FDA0002948501810000034
梯度计算时采用的x和y方向上的Sobel算子Sx,Sy分别为：
Figure FDA0002948501810000035
Figure FDA0002948501810000036
5.根据权利要求1所述的场景格式转化方法，其特征在于：在步骤(6)中，所述图像分类采用SVM分类器进行分类，每个类别都对应一个SVM分类器，其中，采用图像到超平面的距离作为SVM分类器的代价函数，计算公式如下：
Figure FDA0002948501810000037
其中，y为图像到超平面的距离，w为权重，x为图像数据，b为偏差，‖w‖为w的2范数；T表示对矩阵的转置；
由于数据的非线性，引入松弛变量ε和惩罚系数C，同时，为减小过拟合，引入拉格朗日乘子a＝[a1,a2,……,aN]，N为图像个数，使用条件极值对最优超平面进行求解，构造得到的拉格朗日函数如下式所示：
Figure FDA0002948501810000041
约束条件为：
0≤a≤C
Figure FDA0002948501810000042
当上式最大时，得最优解a*，最优w*,b*如下式所示：
Figure FDA0002948501810000043
Figure FDA0002948501810000044
最后将数据代入分类决策函数f(x)进行分类，公式如下所示：
Figure FDA0002948501810000045
CN201910299544.5A 2019-04-15 2019-04-15 一种自动驾驶车辆场景数据***的场景格式转化方法 Active CN110009765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299544.5A CN110009765B (zh) 2019-04-15 2019-04-15 一种自动驾驶车辆场景数据***的场景格式转化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299544.5A CN110009765B (zh) 2019-04-15 2019-04-15 一种自动驾驶车辆场景数据***的场景格式转化方法

Publications (2)

Publication Number Publication Date
CN110009765A CN110009765A (zh) 2019-07-12
CN110009765B true CN110009765B (zh) 2021-05-07

Family

ID=67171803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299544.5A Active CN110009765B (zh) 2019-04-15 2019-04-15 一种自动驾驶车辆场景数据***的场景格式转化方法

Country Status (1)

Country Link
CN (1) CN110009765B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312106B (zh) * 2019-07-30 2021-05-18 广汽蔚来新能源汽车科技有限公司 图像的显示方法、装置、计算机设备和存储介质
CN110688943A (zh) * 2019-09-25 2020-01-14 武汉光庭信息技术股份有限公司 一种基于实际驾驶数据自动获取图像样本的方法和装置
CN110827358B (zh) * 2019-10-15 2023-10-31 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN111507203B (zh) * 2020-03-27 2023-09-26 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN111458154A (zh) * 2020-04-01 2020-07-28 清华大学苏州汽车研究院（吴江） 基于自动驾驶整车在环人车冲突场景的测试***和方法
CN111711935A (zh) * 2020-06-12 2020-09-25 深圳市元征科技股份有限公司 一种车辆数据处理方法、装置、设备及存储介质
CN111881121B (zh) * 2020-06-17 2022-06-17 武汉光庭信息技术股份有限公司 一种自动驾驶数据填充方法和装置
CN112036001B (zh) 2020-07-01 2024-04-23 长安大学 自动驾驶测试场景构建方法、装置、设备及可读存储介质
CN112102418B (zh) * 2020-09-16 2022-02-11 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112212872B (zh) * 2020-10-19 2022-03-11 合肥工业大学 基于激光雷达和导航地图的端到端自动驾驶方法及***
CN112487907B (zh) * 2020-11-23 2022-12-20 北京理工大学 一种基于图分类的危险场景识别方法及***
CN112634354B (zh) * 2020-12-21 2021-08-13 紫清智行科技(北京)有限公司 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
CN112947390B (zh) 2021-04-02 2022-09-06 清华大学 基于环境风险评估的智能网联汽车安全控制方法和***
CN113325767B (zh) * 2021-05-27 2022-10-11 深圳Tcl新技术有限公司 场景推荐方法、装置、存储介质及电子设备
CN113487874B (zh) * 2021-05-27 2022-07-01 中汽研（天津）汽车工程研究院有限公司 一种跟驰行为场景数据采集、识别、分类提取***及方法
CN113160454A (zh) * 2021-05-31 2021-07-23 重庆长安汽车股份有限公司 自动驾驶车辆历史传感器数据回灌方法及***
CN113191030A (zh) * 2021-07-01 2021-07-30 北京赛目科技有限公司 一种自动驾驶测试场景构建方法及装置
CN113506440B (zh) * 2021-09-08 2021-11-30 四川国蓝中天环境科技集团有限公司 一种拉格朗日坐标系下多源数据融合的交通状态估计方法
CN113771863B (zh) * 2021-09-30 2023-06-20 长安大学 一种基于实车数据驾驶员驾驶风格识别方法、介质及设备
CN113778108B (zh) * 2021-10-09 2023-07-21 招商局检测车辆技术研究院有限公司 一种基于路侧感知单元的数据采集***及数据处理方法
CN115145246B (zh) * 2022-06-27 2024-06-11 小米汽车科技有限公司 控制器的测试方法、装置、车辆、存储介质及芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
CN107284332A (zh) * 2017-06-30 2017-10-24 味俪仕机械贸易（上海）有限公司 一种无人驾驶自助售卖车
CN107351785A (zh) * 2017-07-12 2017-11-17 奇瑞汽车股份有限公司 车辆周围环境感知***
CN107544518A (zh) * 2017-10-17 2018-01-05 芜湖伯特利汽车安全***股份有限公司 基于拟人驾驶的acc/aeb***及车辆
CN108020825A (zh) * 2016-11-03 2018-05-11 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定***及方法
CN108052564A (zh) * 2017-12-06 2018-05-18 电子科技大学 一种建立无人驾驶数据库的方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6490747B2 (ja) * 2017-06-08 2019-03-27 三菱電機株式会社 物体認識装置、物体認識方法および車両制御システム
US10599931B2 (en) * 2017-08-21 2020-03-24 2236008 Ontario Inc. Automated driving system that merges heterogenous sensor data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
CN108020825A (zh) * 2016-11-03 2018-05-11 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定***及方法
CN107284332A (zh) * 2017-06-30 2017-10-24 味俪仕机械贸易（上海）有限公司 一种无人驾驶自助售卖车
CN107351785A (zh) * 2017-07-12 2017-11-17 奇瑞汽车股份有限公司 车辆周围环境感知***
CN107544518A (zh) * 2017-10-17 2018-01-05 芜湖伯特利汽车安全***股份有限公司 基于拟人驾驶的acc/aeb***及车辆
CN108052564A (zh) * 2017-12-06 2018-05-18 电子科技大学 一种建立无人驾驶数据库的方法及***

Also Published As

Publication number Publication date
CN110009765A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110009765B (zh) 一种自动驾驶车辆场景数据***的场景格式转化方法
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN107424116B (zh) 基于侧环视相机的泊车位检测方法
CN106919915B (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
WO2018020954A1 (ja) 機械学習用データベース作成システム
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及***
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN113673282A (zh) 目标检测方法和装置
CN112740225B (zh) 一种路面要素确定方法及装置
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN111323027A (zh) 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN115564865A (zh) 一种众包高精地图的构建方法、***、电子设备及车辆
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN114841188A (zh) 一种基于二维码的车辆融合定位方法及装置
CN116958763B (zh) 特征-结果级融合的车路协同感知方法、介质及电子设备
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及***
CN117249839A (zh) 一种车道线地图生成方法、装置、设备和存储介质
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及***
CN114503044A (zh) 用于在3d点云中自动标记对象的***和方法
CN115409965A (zh) 一种面向非结构化道路的矿区地图自动生成方法
CN116802581A (zh) 基于航测数据的自动驾驶感知***测试方法、***及存储介质
CN112020722B (zh) 基于三维传感器数据识别路肩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant