CN110188689A - 基于真实场景建模的虚拟驾驶目标碰撞检测方法 - Google Patents
基于真实场景建模的虚拟驾驶目标碰撞检测方法 Download PDFInfo
- Publication number
- CN110188689A CN110188689A CN201910463552.9A CN201910463552A CN110188689A CN 110188689 A CN110188689 A CN 110188689A CN 201910463552 A CN201910463552 A CN 201910463552A CN 110188689 A CN110188689 A CN 110188689A
- Authority
- CN
- China
- Prior art keywords
- target
- anchor
- collision
- virtual driving
- anchor frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 10
- 238000012417 linear regression Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于真实场景建模的虚拟驾驶目标碰撞检测方法，包括步骤：1)通过虚拟相机拍摄车辆前方的虚拟驾驶场景，并通过目标检测得到碰撞目标在成像平面上的坐标；2)根据碰撞目标的平面坐标获得碰撞目标的像平面垂直高度；3)根据像平面垂直高度对实际纵向距离的回归方程，计算得到操作车辆与碰撞目标的纵向距离；4)根据像平面侧向安全宽度与实际距离之间的回归方程，得到像平面侧向安全宽度，5)根据检测到的目标位置，判断目标是否将与虚拟驾驶车辆发生碰撞。本发明解决了在基于真实场景建模的虚拟驾驶场景中进行碰撞检测的技术难题。
Description
技术领域
本发明涉及汽车虚拟驾驶技术领域，特别涉及一种基于真实场景建模的虚拟驾驶目标碰撞检测方法。
背景技术
为了提高驾驶训练真实度和训练效果，模拟驾驶***中需要添加行人和车辆，在模拟驾驶中需要虚拟驾驶车辆躲避行人和车辆，而躲避的前提是模拟驾驶***能够检测碰撞目标，并对目标进行精确定位。
传统的虚拟驾驶场景是通过三维建模软件生成，因此场景内的人、车等碰撞目标的坐标位置是已知，可以方便的进行目标碰撞检测。但是对应基于真实场景建模的虚拟驾驶***，***中的人、车喷碰撞目标的位置坐标却是未知量，因此在基于真实场景建模的虚拟驾驶***中进行目标碰撞检测是一项技术难题。
发明内容
有鉴于此，本发明的目的是提供一种基于真实场景建模的虚拟驾驶目标碰撞检测方法，以解决在基于真实场景建模的虚拟驾驶场景中进行目标碰撞检测的技术难题。
本发明基于真实场景建模的虚拟驾驶目标碰撞检测方法，包括以下步骤：
1)通过设置在虚拟驾驶车辆驾驶位的虚拟相机拍摄车辆前方的虚拟驾驶场景，并通过目标检测得到碰撞目标在虚拟相机成像平面上的坐标[x1,y1,x2,y2]，坐标中(x1,y1)表示碰撞目标矩形框的左上角坐标，(x2,y2)表示碰撞目标矩形框的右下角坐标；所述的虚拟驾驶场景由球体模型和贴在球体模型内壁上的真实场景视频构成；
2)根据碰撞目标的平面坐标[x1,y1,x2,y2]获得碰撞目标的像平面垂直高度h，h＝y2；
3)根据像平面垂直高度h对实际纵向距离D的回归方程，计算得到操作车辆与碰撞目标的纵向距离D；
D＝2.908×10-7·h3-3.069×10-4·h2+0.08266·h+0.252 (1)
4)根据像平面侧向安全宽度w与实际距离D之间的回归方程，得到虚拟驾驶车辆的像平面侧向安全宽度w；
w＝-0.03093·D3+2.916·D2-85.9·D+832 (2)；
5)碰撞判断：
先判断虚拟驾驶车辆是否将与目标发生纵向碰撞，若纵向距离D小于该车的安全制动距离时，则判断可能会发生纵向碰撞，当纵向距离D大于该车的安全制动距离时，则判断不会发生纵向碰撞；
然后在虚拟驾驶车辆可能会与目标发生纵向碰撞的前提下，继续根据目标矩形框左右两边的横坐标x1和x2来判断是否将发生侧向碰撞，若且则判断虚拟驾驶车辆不会与目标发生侧向碰撞，否则，判断虚拟驾驶车辆会与目标发生侧向碰撞；前述中wt为虚拟相机所拍摄图片的像素总宽度。
进一步，所述步骤1)中，检测碰撞目标并获取其在虚拟相机成像平面上的坐标[x1,y1,x2,y2]的步骤如下：
a:提取虚拟相机拍摄的车辆前向虚拟驾驶场景图像作为原始图像；
b：对原始图像进行放缩后作为输入图像传入特征提取网络，通过特征提取网络输出得到特征图；
c：将特征图传入RPN网络，RPN网络将输入图像上与特征图上的每个像素点相对应的点作为锚点，以锚点为锚框的中心在输入图像上各锚点位置生成若干个锚框；
d：将带有锚框信息的特征图像输入卷积层，将卷积层输出图像输入Softmax分类器进行目标/背景的二分类计算，初步判断锚框内容属于目标或是背景，得到若干个目标；同时将特征图像输入另一个卷积层，对卷积层输出图像通过边框回归模型计算，得到修正锚框的平移量和变换尺度；
e：根据所得到的修正锚框的平移量和变换尺度对所有的锚框进行边框修改；
f：根据步骤d中Softmax分类器计算结果中的目标分类得分，按得分从高到低的方式排序，将锚在得分高的目标上的锚框排在前，将锚在得分低的目标上的锚框排在后，如此将所有的锚框依次排列，并提取靠前的若干个锚框；
g：将所提取的每个锚框中超出图像边界的部分去掉；
h：对所提取的锚框进行非极大值抑制处理，去除各目标的重复锚框；
i：再次根据Softmax分类器计算结果中目标分类得分由高到低排序剩余锚框，提取靠前的若干锚框作为候选目标输出，候选目标＝[x1,y1,x2,y2]，(x1,y1)为锚框左上角坐标，(x2,y2)为锚框右下角坐标；
j：将每一个候选目标对应的特征图区域划分为7*7的网格，并且对每一个网格都进行max pooling处理，输出尺寸为7*7的候选目标特征图；
k：通过全连接层与Softmax分类器计算候选目标特征图具体属于行人、车辆还是背景，输出各类的概率向量；同时再次利用边框回归获取每个候选目标特征图的位置偏移量，再次修正目标锚框，得到碰撞目标最终的坐标[x1,y1,x2,y2]。
进一步，所述步骤b中的特征提取网络为SRN网络，其表达式如下：
yn＝y0+y1+y2+...+yn-1+fn(yn-1) (3)
式中fn(·)表示以一定顺序排列的BN层、Relu激活函数和卷积层，卷积层即残差单元，y0为网络的输入，yn为网络的输出；
所述的SRN网络结构包括1个初始卷积层C1和3个稀疏残差单元集合C2、C3和C4，其中每个稀疏残差单元集合由m个稀疏残差单元堆叠而成；所述稀疏残差单元由多个以一定顺序排列的BN层、Relu激活函数和卷积层组成，其个数由长度因子l决定；所述长度因子l可用来控制初始特征y0对网络输出的影响，每个稀疏残差单元有相同的长度因子。
进一步，所述步骤c中，以锚点为锚框的中心，在每个锚点处定义边框边长分别为128、256、512以及边框长宽比分别为1:2、1:1、2:1的共计9个锚框。
进一步，所述步骤h中的非极大值抑制处理包括以下步骤：
①选出某一目标所属的多个锚框；
②根据步骤d中Softmax分类器计算结果，先将锚框中内容属于目标的概率小于0.5的锚框去掉，再将锚框中内容属于目标的概率最大的锚框与剩余的锚框一一进行重叠度判断，若阈值高于设定值，说明两个锚框属同一目标，保留最大概率锚框，去掉概率较小的那个锚框；否则，说明两个锚框属不同目标，两个锚框同时保留；
③选出下一个目标所属的多个锚框，继续步骤①-②的处理过程，直至完成全部目标所属锚框的筛选。
本发明的有益效果：
1、本发明基于真实场景建模的虚拟驾驶目标碰撞检测方法，在检测出碰撞目标后，通过目标在场景图像中的像素坐标和在三维空间中的距离坐标之间的转换公式，得到了虚拟驾驶车辆与碰撞目标之间的纵向距离D和车辆实际宽度在距离为D时的像平面侧向安全宽度w，从而解决了在基于真实场景建模的虚拟驾驶场景中获取碰撞目标坐标的技术难题；并且进一步通过D和w实现了在虚拟驾驶场景中，对虚拟驾驶车辆与碰撞目标之间是否会发生侧向碰撞和纵向碰撞的判断，能提高基于真实场景建模的虚拟驾驶训练真实度。
2、本发明基于真实场景建模的虚拟驾驶目标碰撞检测方法，其在目标检测中采用的基于稀疏残差神经网络的目标检测方法，削弱了最初的特征输入对整体网络模型的影响，同时也丰富了网络的输出特征，提高了预测精度高。
附图说明
图1为虚拟驾驶场景球体模型图；
图2为残差单元结构图，图中BN为输入层，RELU为激活函数，conv为卷积层；
图3为局部连接的SRN网络，图中长度因子l＝2，表示稀疏残差单元的个数为2；
图4为目标检测流程图；
图5为SRN网络的整体结构图；
图6为目标检测结果图；
图7为球面投影模型；
图8为相机的透视投影模型；
图9为侧向安全范围示意图，当有碰撞目标在w内时，则表示会发生侧向碰撞；
图10为距离与像素高度的映射曲线图；
图11为像素宽度与距离的映射曲线图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例基于真实场景建模的虚拟驾驶目标碰撞检测方法，包括以下步骤：
1)通过设置在虚拟驾驶车辆驾驶位的虚拟相机拍摄车辆前方的虚拟驾驶场景，并通过目标检测得到碰撞目标在虚拟相机成像平面上的坐标[x1,y1,x2,y2]，坐标中(x1,y1)表示碰撞目标矩形框的左上角坐标，(x2,y2)表示碰撞目标矩形框的右下角坐标；所述的虚拟驾驶场景由球体模型和贴在球体模型内壁上的真实场景视频构成；
2)根据碰撞目标的平面坐标[x1,y1,x2,y2]获得碰撞目标的像平面垂直高度h，h＝y2；
3)根据像平面垂直高度h对实际纵向距离D的回归方程，计算得到操作车辆与碰撞目标的纵向距离D；
D＝2.908×10-7·h3-3.069×10-4·h2+0.08266·h+0.252 (1)
4)根据像平面侧向安全宽度w与实际距离D之间的回归方程，得到虚拟驾驶车辆的像平面侧向安全宽度w；
w＝-0.03093·D3+2.916·D2-85.9·D+832 (2)；
5)碰撞判断：
先判断虚拟驾驶车辆是否将与目标发生纵向碰撞，若纵向距离D小于该车的安全制动距离时，则判断可能会发生纵向碰撞，当纵向距离D大于该车的安全制动距离时，则判断不会发生纵向碰撞；
然后在虚拟驾驶车辆可能会与目标发生纵向碰撞的前提下，继续根据目标矩形框左右两边的横坐标x1和x2来判断是否将发生侧向碰撞，若且则判断虚拟驾驶车辆不会与目标发生侧向碰撞，否则，判断虚拟驾驶车辆会与目标发生侧向碰撞；前述中wt为虚拟相机所拍摄图片的像素总宽度。
本实施例中，所述步骤1)中，检测碰撞目标并获取其在虚拟相机成像平面上的坐标[x1,y1,x2,y2]的步骤如下：
a:提取虚拟相机拍摄的车辆前向虚拟驾驶场景图像作为原始图像；本实施例中提取的原始图像分辨率为2706*1738。
b：对原始图像进行放缩后作为输入图像传入特征提取网络，通过特征提取网络输出得到特征图。所述的特征提取网络为SRN网络，SRN网络表达式如下：
yn＝y0+y1+y2+...+yn-1+fn(yn-1) (3)
式中fn(·)表示以一定顺序排列的BN层、Relu激活函数和卷积层，卷积层即残差单元，y0为网络的输入，yn为网络的输出。
本实施例中所述的SRN网络结构包括1个初始卷积层C1以及3个稀疏残差单元集合C2、C3和C4，其中每个稀疏残差单元集合中有m个稀疏残差单元。所述稀疏残差单元由多个以一定顺序排列的BN层、Relu激活函数和卷积层(即残差单元)组成，其个数由长度因子l决定；所述长度因子l可用来控制初始特征y0对网络输出的影响，每个稀疏残差单元有相同的长度因子。本实施例中C2、C3、C4集合中的稀疏残差单元个数m都为2，稀疏残差单元长度因子l都为2，网络宽度因子k都为1，每个稀疏残差单元卷积核尺寸都为3*3，卷积核权值使用MSRA方法进行初始化。本实施例中，原始图片被放缩成RGB 3通道、尺寸800*600的输入图片。输入图片首先传入C1进行卷积，C1包含有96个尺度为7*7的卷积核，卷积步长stride设置为2。同时，为了获取边缘特征信息，设置像素填充pad为3。经过C1进行卷积后，得到尺寸为400*300*96的特征图输入到C2。在C2中设置各卷积层卷积核个数为96，pad为1，对集合中第一个卷积层设置stride为2，其余各层stride为1。经过C2集合卷积后，输出200*150*96的特征图。C3中个卷积层包含有128个卷积核，pad和stride设置与C2相同。通过C3，特征图尺寸变为100*75*128。C4中个卷积层包含有256个卷积核，pad和stride设置与C2、C3相同。经过C4，最后SRN网络输出50*38*256的卷积特征图。
c：将特征图传入RPN网络，RPN网络将输入图像上与特征图上的每个像素点相对应的点作为锚点，以锚点为锚框的中心在输入图像上各锚点位置生成若干个锚框。本实施例在每个锚点处定义了边框边长分别为128、256、512以及边框长宽比分别为1:2、1:1、2:1的共计9个锚框，本实施例一共产生的锚框个数为50*38*9＝17100个。
d：将带有锚框信息的特征图像输入卷积层，将卷积层输出图像输入Softmax分类器进行目标/背景的二分类计算，初步判断锚框内容属于目标(行人或车辆)或是背景，得到若干个目标；具体是：将特征图送入一个卷积核尺寸为1*1、卷积核数量为18的卷积层，卷积核数量对应特征图每个点都有9个锚框，同时每个锚框内容有可能是目标或背景两种结果，因此输出尺寸为50*38*18。将输出图像送入Softmax分类器，具体为softmax分类器进行二分类，判断锚框内容是目标还是背景。
同时将特征图像输入另一个卷积层，对卷积层输出图像通过边框回归模型计算，得到修正锚框的平移量和变换尺度，具体是：将特征图送入一个卷积核尺寸为1*1、卷积核数量为36的卷积层，卷积核数量对应特征图每个点都有9个锚框，同时每个锚框通过锚点的坐标(Ax,Ay)和锚框的长宽Ah、Aw总共4个数据来表示，因此输出尺寸为50*39*36；输出图像通过边框回归模型计算，得到修正锚框的平移量和变换尺度。
e：根据所得到的修正锚框的平移量和变换尺度对所有的锚框进行边框修改。
f：根据步骤d中Softmax分类器计算结果中的目标分类得分，按得分从高到低的方式排序，将锚在得分高的目标上的锚框排在前，将锚在得分低的目标上的锚框排在后，如此将所有的锚框依次排列，并提取靠前的6000个锚框。
g：将所提取的每个锚框中超出图像边界的部分去掉；
h：对所提取的6000个锚框进行非极大值抑制处理，去除重复锚框，具体步骤如下：
①选出某一目标所属的多个锚框；
②根据步骤d中Softmax分类器计算结果，先将锚框中内容属于目标的概率小于0.5的锚框去掉，再将锚框中内容属于目标的概率最大的锚框与剩余的锚框一一进行重叠度判断，若阈值高于设定值，说明两个锚框属同一目标，保留最大概率锚框，去掉概率较小的那个锚框；否则，说明两个锚框属不同目标，两个锚框同时保留；
③选出下一个目标所属的多个锚框，继续步骤①-②的处理过程，直至完成全部目标所属锚框的筛选。
i：再次根据Softmax分类器计算结果中目标分类得分由高到低排序剩余锚框，提取前300个锚框作为候选目标输出，候选目标＝[x1,y1,x2,y2]，(x1,y1)为锚框左上角坐标，(x2,y2)为锚框右下角坐标。
j：将每一个候选目标对应的特征图区域划分为7*7的网格，并且对每一个网格都进行max pooling处理，输出尺寸为7*7的候选目标特征图；
k：通过全连接层与Softmax分类器计算候选目标特征图具体属于行人、车辆还是背景，输出各类的概率向量；同时再次利用边框回归获取每个候选目标特征图的位置偏移量，再次修正目标锚框，得到碰撞目标最终的坐标[x1,y1,x2,y2]。
本实施例中获得D＝2.908×10-7·h3-3.069×10-4·h2+0.08266·h+0.252和w＝-0.03093·D3+2.916·D2-85.9·D+832两个线性回归方程的方法如下：
因本实施例中搭建的虚拟驾驶场景将拍摄的真实环境成全景视频添加到球体模型中，而普通的录制拍摄动作是将三维的真实世界环境信息映射到二维图像平面上，失去了环境中物体的深度信息，造成了无法获取该物体在场景中的位置。为了实现虚拟驾驶***的碰撞判断功能，需要找出真实环境坐标系与场景画面坐标系的映射关系。
由于将全景视频贴到球体模型的内表面上，其本质是一种真实世界景物向球体模型表面的球面投影，即现实空间中的3D点向球面的正射投影，且球面图像的点与空间中的3D点是一一对应的。不同于普通的透视投影模型，球面投影模型如图7所示，图中球S原点为O，半径为r，球面为附着的全景图像，坐标系OXYZ为定义球面全景画面中目标对象的直角坐标系，同时点O也作为球形摄像机的光心。连接空间3D点Pc＝(Xc,Yc,Zc)与光心O，交球面S于点p＝(x,y,z)。为了便于计算，对于球面上全景图像的点，采用球面坐标的方式来表示，与直角坐标系的关系式为：
因为球心O，全景画面上坐标p，现实空间中的3D点Pc共线，可得p和Pc的关系：
其中令有：
p＝λPc (6)
在实际拍摄中，摄像机坐标与真实世界的参考坐标存在着旋转和平移的关系，设R为旋转矩阵，T为平移向量，则有：
Pc＝RPw+T (7)
由此，球形全景画面坐标与真实世界参考坐标之间的映射关系为：
p＝λ[R|T]Pw (8)
其中，旋转矩阵R和平移向量T是与拍摄所用相机属性决定。
本实施例中用来进行距离建模的图像，是通过***中放置于球体模型光心位置的虚拟摄像机，拍摄球体表面的场景画面所获得的平面图像，因此还存在有球形全景画面坐标与平面图像坐标之间的映射关系，此映射关系可以通过相机的透视投影模型进行说明，如图8所示，设相机坐标系为(XP,YP,ZP)，像平面坐标系为(w,h)，像素坐标系为(u,v)，根据相似三角形原理可得：
光在成像平面上形成一个模拟量，通过对该模拟量进行采样和量化，即可获取像在像素平面上的坐标值。像素平面与成像平面之间存在放缩和平移变换。设成像平面上的像映射到像素平面后，对应坐标在u轴上放大了α倍，在v轴上放大了β倍，原点平移cw，ch，即得到如下等式：
整理式(9)和(10)，即可得到相机坐标系与像素坐标系的映射关系如下式所示：
由式(11)可得，目标距离相机越远，ZP越大，则u、v越小，像的位置成像平面下边缘越远。因此，能通过平面图片中目标的垂直像素高度来判断空间中目标距离拍摄点的距离。
上述模型中R、T、α、β、cw和ch是由相机的外参和内参属性决定的，获取过程比较复杂，同时还存在光路畸变等因素也会造成准确的坐标映射关系难以求取。本实施例采用逆向思维，通过标定实验先统计真实坐标中的距离值与对应平面图像坐标中的像素值，然后使用数据回归的方法，找出两种数据之间的映射关系，建立场景距离模型。
因为判断车辆碰撞需要得到两个方向上的距离模型：一个是沿车道方向的纵向距离模型，一个是垂直于车道方向的侧向安全范围模型。纵向距离模型D＝f(h)主要获取的是场景画面中目标对象的垂直像素高度与该对象在真实环境中距离拍摄点的距离之间的关系。
侧向安全范围表示虚拟驾驶车辆在前方路段行驶时需要占用的路面宽度，即车辆在此范围内无障碍物才能正常行驶。该范围由车辆宽度和预留安全裕量确定。如图9所示，图中LD为实际道路宽度，LC为实际车辆宽度，LS为安全裕量，因此侧向实际安全范围LR＝LC+2·LS，D为待测点与相机间的实际距离，w为LR在距离为D时场景画面中所对应的侧向像素宽度。由图9可知，画面中像素宽度w由目标实际宽度和目标与相机的距离所决定，因此设侧向安全范围模型为w＝G(LR,D)。由于车辆宽度LC和安全裕量LS为固定值，LR为常量，因此侧向安全范围模型可转化为w＝g(D)。
先分析D＝f(h)。设因变量为D，若有关系式：
D＝b0+b1h1+b2h2+…+bmhm+ε (12)
其中，ε为零均值的随机变量，h1,h2,…,hm为可控制的变量，b0,b1,…,bm为未知参数，则称上式(12)为多元线性回归模型(m＞1)。假定对h1,h2,…,hm,D，进行n次随机试验，得观察值为hi1,hi2,…,him,Di，i＝1,2,…,n，则有Di＝b0+b1hi1+b2hi2+…+bnhin+εi，通常假定ε1,ε2,…,εn服从独立同分布N(0,σ2)。称
为m元线性回归方程，称为样本点(h1,h2,…,hm)处的回归值，其中分别是b0,b1,b2,…,bm的估计。
最后，对这样建立的回归方程进行检验，即(h1,h2,…,hm)对D是否有影响，且还是线性的，这就需要检验假设H0:b1＝b2＝…＝bm＝0。为此，作统计量：
其中，SSR为回归平方和，SSRe为残差平方和。数理统计学中证明了，若H0成立,则F服从自由度为(m,n-m-1)的F分布F(m,n-m-1)。给定显著性水平η,由p(F＞Fη)＝η，查表可得Fη。当F＞Fη时，拒绝H0，即在显著性水平η下，h1,h2,…,hm对D的线性影响显著，回归方程有意义；否则回归方程无意义。
本实施例中回归建模所需的观察数据来自于实际定标试验，标定实验的所有参数都依据身高1.7m的驾驶员和东风本田第9代思域轿车作为标准。经测量，驾驶员在驾驶位调整好驾驶位置后，眼睛离地面垂直高度为1.2m，车宽为1.8m。根据虚拟驾驶***碰撞判断的实际要求，针对行驶前方0m到50m之间的距离进行定标测量。从2m处开始测量，每隔1m测量一次，一直到50m处，一共测量49次。同时，考虑到车辆宽度的安全裕量，实验中将汽车参考宽度增加20cm，每次都在测量点位置横向放置固定长度2m的直杆，用以记录横向宽度。记录所得的观察数据如表1所示。
表1标定实验数据记录
同时，为了便于分析，画出了观察数据中观察数据之间的映射曲线图，如图10和11所示。
由图10和11可得，D与h、D与w之间呈光滑非线性关系，可以采用非线性回归对该模型进行拟合。
通过分析前文D＝f(h)的映射关系，由标定数据曲线图可看出，D和h两者之间呈三次曲线关系，因此选取如下回归模型进行非线性回归建模:
D＝b0+b1h+b2h2+b3h3+ε (15)
其中，h为像平面垂直像素高度，D为实际距离，ε为零均值的随机变量，(b0,b1,b2)为回归建模需要求得的未知参数。
为了便于进行建模分析，设h1＝h，h2＝h2，h3＝h3。将h1、h2、h3代入等式(15)可将其转化为二元线性回归模型如(16)所示：
D＝b0+b1h+b2h2+b3h3+ε (16)
其对应的二元线性回归方程为:
其中，是参数(b0,b1,b2,b3)的估计值，为点(h1,h2,h3)处的回归值。
采用最小二乘法对参数(b0,b1,b2,b3)进行估计，可求得像平面垂直高度h对实际纵向距离D的回归方程为:
D＝2.908×10-7·h3-3.069×10-4·h2+0.08266·h+0.252 (18)
最后，通过检验假设H0:b1＝b2＝b3＝0检验(18)是否有意义，易算得:
总平方和
残差平方和
回归平方和
SSR＝SST-SSRe＝6207
由式(14)作统计量F≈75.145，给定显著性水平η＝0.01，由p(F＞Fη)＝0.01，查F(m,n-m-1)＝F(3,45)分布表可知：Fη(3,45)＝4.31。由于：F＝75.145＞4.31，故所得回归方程式(18)有意义。
同理，对于像平面侧向安全宽度w与实际距离D之间的关系，代入其数据进行计算，得到：
w＝-0.03093·D3+2.916·D2-85.9·D+832 (19)
通过计算可得F≈177.6＞4.31，所以，回归方程式(19)有意义。
通过上述分析验证证明了本实施例中采用的纵向距离D和像平面侧向安全宽度w能够用来在基于真实场景建模的虚拟驾驶场景中做目标碰撞检测。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.基于真实场景建模的虚拟驾驶目标碰撞检测方法，其特征在于，包括以下步骤：
1)通过设置在虚拟驾驶车辆驾驶位的虚拟相机拍摄车辆前方的虚拟驾驶场景，并通过目标检测得到碰撞目标在虚拟相机成像平面上的坐标[x1,y1,x2,y2]，坐标中(x1,y1)表示碰撞目标矩形框的左上角坐标，(x2,y2)表示碰撞目标矩形框的右下角坐标；所述的虚拟驾驶场景由球体模型和贴在球体模型内壁上的真实场景视频构成；
2)根据碰撞目标的平面坐标[x1,y1,x2,y2]获得碰撞目标的像平面垂直高度h，h＝y2；
3)根据像平面垂直高度h对实际纵向距离D的回归方程，计算得到操作车辆与碰撞目标的纵向距离D；
D＝2.908×10-7·h3-3.069×10-4·h2+0.08266·h+0.252 (1)
4)根据像平面侧向安全宽度w与实际距离D之间的回归方程，得到虚拟驾驶车辆的像平面侧向安全宽度w；
w＝-0.03093·D3+2.916·D2-85.9·D+832 (2)；
5)碰撞判断：
先判断虚拟驾驶车辆是否将与目标发生纵向碰撞，若纵向距离D小于该车的安全制动距离时，则判断可能会发生纵向碰撞，当纵向距离D大于该车的安全制动距离时，则判断不会发生纵向碰撞.
然后在虚拟驾驶车辆可能会与目标发生纵向碰撞的前提下，继续根据目标矩形框左右两边的横坐标x1和x2来判断是否将发生侧向碰撞，若且则判断虚拟驾驶车辆不会与目标发生侧向碰撞，否则，判断虚拟驾驶车辆会与目标发生侧向碰撞；前述中wt为虚拟相机所拍摄图片的像素总宽度。
2.根据权利要求1中所述的基于真实场景建模的虚拟驾驶目标碰撞检测方法，其特征在于：所述步骤1)中，检测碰撞目标并获取其在虚拟相机成像平面上的坐标[x1,y1,x2,y2]的步骤如下：
a:提取虚拟相机拍摄的车辆前向虚拟驾驶场景图像作为原始图像；
b：对原始图像进行放缩后作为输入图像传入特征提取网络，通过特征提取网络输出得到特征图；
c：将特征图传入RPN网络，RPN网络将输入图像上与特征图上的每个像素点相对应的点作为锚点，以锚点为锚框的中心在输入图像上各锚点位置生成若干个锚框；
d：将带有锚框信息的特征图像输入卷积层，将卷积层输出图像输入Softmax分类器进行目标/背景的二分类计算，初步判断锚框内容属于目标或是背景，得到若干个目标；同时将特征图像输入另一个卷积层，对卷积层输出图像通过边框回归模型计算，得到修正锚框的平移量和变换尺度；
e：根据所得到的修正锚框的平移量和变换尺度对所有的锚框进行边框修改；
f：根据步骤d中Softmax分类器计算结果中的目标分类得分，按得分从高到低的方式排序，将锚在得分高的目标上的锚框排在前，将锚在得分低的目标上的锚框排在后，如此将所有的锚框依次排列，并提取靠前的若干个锚框；
g：将所提取的每个锚框中超出图像边界的部分去掉；
h：对所提取的锚框进行非极大值抑制处理，去除各目标的重复锚框；
i：再次根据Softmax分类器计算结果中目标分类得分由高到低排序剩余锚框，提取靠前的若干锚框作为候选目标输出，候选目标＝[x1,y1,x2,y2]，(x1,y1)为锚框左上角坐标，(x2,y2)为锚框右下角坐标；
j：将每一个候选目标对应的特征图区域划分为7*7的网格，并且对每一个网格都进行max pooling处理，输出尺寸为7*7的候选目标特征图；
k：通过全连接层与Softmax分类器计算候选目标特征图具体属于行人、车辆还是背景，输出各类的概率向量；同时再次利用边框回归获取每个候选目标特征图的位置偏移量，再次修正目标锚框，得到碰撞目标最终的坐标[x1,y1,x2,y2]。
3.根据权利要求2中所述的基于真实场景建模的虚拟驾驶目标碰撞检测方法，其特征在于：所述步骤b中的特征提取网络为SRN网络，其表达式如下：
yn＝y0+y1+y2+...+yn-1+fn(yn-1) (3)
式中fn(·)表示以一定顺序排列的BN层、Relu激活函数和卷积层，卷积层即残差单元，y0为网络的输入，yn为网络的输出；
所述的SRN网络结构包括1个初始卷积层C1和3个稀疏残差单元集合C2、C3和C4，其中每个稀疏残差单元集合由m个稀疏残差单元堆叠而成；所述稀疏残差单元由多个以一定顺序排列的BN层、Relu激活函数和卷积层组成，其个数由长度因子l决定；所述长度因子l可用来控制初始特征y0对网络输出的影响，每个稀疏残差单元有相同的长度因子。
4.根据权利要求2中所述的基于真实场景建模的虚拟驾驶目标碰撞检测方法，其特征在于：所述步骤c中，以锚点为锚框的中心，在每个锚点处定义边框边长分别为128、256、512以及边框长宽比分别为1:2、1:1、2:1的共计9个锚框。
5.根据权利要求2中所述的基于真实场景建模的虚拟驾驶目标碰撞检测方法，其特征在于：所述步骤h中的非极大值抑制处理包括以下步骤：
①选出某一目标所属的多个锚框；
②根据步骤d中Softmax分类器计算结果，先将锚框中内容属于目标的概率小于0.5的锚框去掉，再将锚框中内容属于目标的概率最大的锚框与剩余的锚框一一进行重叠度判断，若阈值高于设定值，说明两个锚框属同一目标，保留最大概率锚框，去掉概率较小的那个锚框；否则，说明两个锚框属不同目标，两个锚框同时保留；
③选出下一个目标所属的多个锚框，继续步骤①-②的处理过程，直至完成全部目标所属锚框的筛选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463552.9A CN110188689B (zh) | 2019-05-30 | 2019-05-30 | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463552.9A CN110188689B (zh) | 2019-05-30 | 2019-05-30 | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110188689A true CN110188689A (zh) | 2019-08-30 |
| CN110188689B CN110188689B (zh) | 2022-11-29 |
Family
ID=67718928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910463552.9A Active CN110188689B (zh) | 2019-05-30 | 2019-05-30 | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188689B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111123948A (zh) * | 2019-12-31 | 2020-05-08 | 北京新能源汽车技术创新中心有限公司 | 车辆多维感知融合控制方法、***及汽车 |
| CN111833598A (zh) * | 2020-05-14 | 2020-10-27 | 山东科技大学 | 一种高速公路无人机交通事件自动监测方法及*** |
| CN112183461A (zh) * | 2020-10-21 | 2021-01-05 | 广州市晶华精密光学股份有限公司 | 一种车辆内部监控方法、装置、设备及存储介质 |
| CN113552950A (zh) * | 2021-08-06 | 2021-10-26 | 上海炫伍科技股份有限公司 | 一种虚拟座舱虚实交互方法 |
| CN114155765A (zh) * | 2021-11-30 | 2022-03-08 | 延锋伟世通电子科技（南京）有限公司 | 一种基于人工智能的虚拟现实汽车驾驶交互方法 |
| CN114167892A (zh) * | 2021-12-02 | 2022-03-11 | 中国人民解放军国防科技大学 | 无人机感知规避***的传感器优化配置方法、设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030191568A1 (en) * | 2002-04-09 | 2003-10-09 | Breed David S. | Method and system for controlling a vehicle |
| JP2004164335A (ja) * | 2002-11-13 | 2004-06-10 | Mazda Motor Corp | 企画支援プログラム、方法、装置並びに記憶媒体 |
| US20060040239A1 (en) * | 2004-08-02 | 2006-02-23 | J. J. Keller & Associates, Inc. | Driving simulator having articial intelligence profiles, replay, hazards, and other features |
| US20150104757A1 (en) * | 2013-10-15 | 2015-04-16 | Mbfarr, Llc | Driving assessment and training method and apparatus |
| CN105015411A (zh) * | 2015-07-03 | 2015-11-04 | 河南工业技术研究院 | 一种基于视频融合的汽车微波雷达防撞预警方法及*** |
| JP2016085326A (ja) * | 2014-10-24 | 2016-05-19 | 三菱プレシジョン株式会社 | 車両運転模擬装置 |
| CN105898337A (zh) * | 2015-11-18 | 2016-08-24 | 乐视网信息技术（北京）股份有限公司 | 全景视频的显示方法和装置 |
| CN105966396A (zh) * | 2016-05-13 | 2016-09-28 | 江苏大学 | 一种基于驾驶员避撞行为的车辆避撞控制方法 |
| JP2017009717A (ja) * | 2015-06-19 | 2017-01-12 | 国立大学法人秋田大学 | 自転車運転シミュレータ |
| CN107888894A (zh) * | 2017-10-12 | 2018-04-06 | 浙江零跑科技有限公司 | 一种立体车载环视方法、***及车载中控装置 |
| US20180246515A1 (en) * | 2017-02-28 | 2018-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Vehicle Automated Parking System and Method |
| US20180286268A1 (en) * | 2017-03-28 | 2018-10-04 | Wichita State University | Virtual reality driver training and assessment system |
-
2019
- 2019-05-30 CN CN201910463552.9A patent/CN110188689B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030191568A1 (en) * | 2002-04-09 | 2003-10-09 | Breed David S. | Method and system for controlling a vehicle |
| JP2004164335A (ja) * | 2002-11-13 | 2004-06-10 | Mazda Motor Corp | 企画支援プログラム、方法、装置並びに記憶媒体 |
| US20060040239A1 (en) * | 2004-08-02 | 2006-02-23 | J. J. Keller & Associates, Inc. | Driving simulator having articial intelligence profiles, replay, hazards, and other features |
| US20150104757A1 (en) * | 2013-10-15 | 2015-04-16 | Mbfarr, Llc | Driving assessment and training method and apparatus |
| JP2016085326A (ja) * | 2014-10-24 | 2016-05-19 | 三菱プレシジョン株式会社 | 車両運転模擬装置 |
| JP2017009717A (ja) * | 2015-06-19 | 2017-01-12 | 国立大学法人秋田大学 | 自転車運転シミュレータ |
| CN105015411A (zh) * | 2015-07-03 | 2015-11-04 | 河南工业技术研究院 | 一种基于视频融合的汽车微波雷达防撞预警方法及*** |
| CN105898337A (zh) * | 2015-11-18 | 2016-08-24 | 乐视网信息技术（北京）股份有限公司 | 全景视频的显示方法和装置 |
| CN105966396A (zh) * | 2016-05-13 | 2016-09-28 | 江苏大学 | 一种基于驾驶员避撞行为的车辆避撞控制方法 |
| US20180246515A1 (en) * | 2017-02-28 | 2018-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Vehicle Automated Parking System and Method |
| US20180286268A1 (en) * | 2017-03-28 | 2018-10-04 | Wichita State University | Virtual reality driver training and assessment system |
| CN107888894A (zh) * | 2017-10-12 | 2018-04-06 | 浙江零跑科技有限公司 | 一种立体车载环视方法、***及车载中控装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘旭: "虚拟驾驶半物理仿真平台研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
| 谢振清: "基于Unity3D的虚拟装配技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111123948A (zh) * | 2019-12-31 | 2020-05-08 | 北京新能源汽车技术创新中心有限公司 | 车辆多维感知融合控制方法、***及汽车 |
| CN111123948B (zh) * | 2019-12-31 | 2023-04-28 | 北京国家新能源汽车技术创新中心有限公司 | 车辆多维感知融合控制方法、***及汽车 |
| CN111833598A (zh) * | 2020-05-14 | 2020-10-27 | 山东科技大学 | 一种高速公路无人机交通事件自动监测方法及*** |
| CN112183461A (zh) * | 2020-10-21 | 2021-01-05 | 广州市晶华精密光学股份有限公司 | 一种车辆内部监控方法、装置、设备及存储介质 |
| CN113552950A (zh) * | 2021-08-06 | 2021-10-26 | 上海炫伍科技股份有限公司 | 一种虚拟座舱虚实交互方法 |
| CN114155765A (zh) * | 2021-11-30 | 2022-03-08 | 延锋伟世通电子科技（南京）有限公司 | 一种基于人工智能的虚拟现实汽车驾驶交互方法 |
| CN114167892A (zh) * | 2021-12-02 | 2022-03-11 | 中国人民解放军国防科技大学 | 无人机感知规避***的传感器优化配置方法、设备及介质 |
| CN114167892B (zh) * | 2021-12-02 | 2024-05-31 | 中国人民解放军国防科技大学 | 无人机感知规避***的传感器优化配置方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110188689B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188689B (zh) | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 | |
| CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
| Ammar Abbas et al. | A geometric approach to obtain a bird's eye view from an image | |
| Strecha et al. | On benchmarking camera calibration and multi-view stereo for high resolution imagery | |
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| WO2020152437A1 (en) | Depth estimation | |
| CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
| CN112703532B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN109087325A (zh) | 一种基于单目视觉的直接法点云三维重建及尺度确定方法 | |
| CN103942786B (zh) | 无人机可见光和红外图像的自适应团块目标检测方法 | |
| CN107507263A (zh) | 一种基于图像的纹理生成方法及*** | |
| CN110007764B (zh) | 一种手势骨架识别方法、装置、***及存储介质 | |
| CN116310131A (zh) | 一种考虑多视图融合策略的三维重建方法 | |
| CN113281779B (zh) | 一种3d物体快速检测方法、装置、设备及介质 | |
| JPH0658716A (ja) | 画像上のエッジ検出方法 | |
| Saputra et al. | Sim-to-real learning for casualty detection from ground projected point cloud data | |
| WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| CN112924037A (zh) | 基于图像配准的红外体温检测***及检测方法 | |
| CN117475428A (zh) | 一种三维目标检测方法、***及设备 | |
| Hu et al. | R-CNN based 3D object detection for autonomous driving | |
| CN111738099A (zh) | 基于视频图像场景理解的人脸自动检测方法 | |
| CN116704307A (zh) | 基于图像虚拟点云与激光点云融合的目标检测方法及*** | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
| CN114972276A (zh) | 一种车辆自动驾驶距离判断算法 | |
| CN114140659A (zh) | 一种基于无人机视角下人体检测的社交距离监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |