CN115691134A - 一种基于对抗生成网络的智能汽车测试场景库构建方法 - Google Patents
一种基于对抗生成网络的智能汽车测试场景库构建方法 Download PDFInfo
- Publication number
- CN115691134A CN115691134A CN202211342209.7A CN202211342209A CN115691134A CN 115691134 A CN115691134 A CN 115691134A CN 202211342209 A CN202211342209 A CN 202211342209A CN 115691134 A CN115691134 A CN 115691134A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- hidden
- network
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 35
- 238000010276 construction Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000013178 mathematical model Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 41
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 230000008485 antagonism Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 208000028523 Hereditary Complement Deficiency disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000002388 complement deficiency Diseases 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于对抗生成网络的智能汽车测试场景库构建方法,包括车辆轨迹数据采集、车辆轨迹特征提取、数据预处理、建立轨迹特征数学模型和对抗生成网络训练等步骤,本发明利用对抗生成网络进行智能汽车测试场景生成,在隐空间进行变量的生成学习弱化了生成网络训练难度,削减网络较长的时序记忆能力以便生成更加真实的车辆轨迹测试场景库。本发明方法为解决实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求的难题提出创新的解决方案。本发明适用复杂多变的十字路口、交叉路口等道路交通环境,同样适用于快速路、高速公路等其他路段轨迹生成。
Description
技术领域
本发明涉及一种汽车测试场景库的构建方法,特别涉及一种基于对抗生成网络的智能汽车测试场景库构建方法。
背景技术
智能汽车行驶场景由于其不确定性与复杂性所要面对的种类和数量几乎是无穷尽的。基于传统里程测试手段,智能汽车需要数百亿公里的里程测试才能保证功能的完备性,需要大量时间与经济成本。其中一种有效的解决方案就是基于场景的测试方法,通过被测智能汽车在测试场景库中的行为反馈探究智能汽车功能边界,进而更新迭代智能汽车功能,该测试方法具有测试效率高、可重复性强以及可控性强等优势。然而为了得到测试场景,传统做法通过实车采集,并对数据进行人工打标签处理以获得主观评价的场景,该方法导致测试场景库建立需要大量人力消耗和较高的资金成本,同时考虑到有一些采集的数据可能会侵犯驾驶员的个人隐私。因此,本发明欲利用对抗生成网络进行智能汽车测试场景生成,但原始对抗生成网络直接生成全部的轨迹信息具有一定难度,另外,实际的交通环境复杂多变,不同的道路交通环境对智能汽车的安全和高级辅助驾驶功能具有不同的挑战,其中交叉路口是一种实际生活中及其常见的交通环境,按照交叉口的形状和连接道路数分类有十字型交叉路口、X形交叉路口、T字形交叉路口、错位交叉路口、Y形交叉路口、多路交叉路口等,而实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求。
发明内容
为了解决上述技术问题,本发明提供一种基于对抗生成网络的智能汽车测试场景库构建方法,包括如下步骤:
车辆轨迹数据采集:
通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息,在整个图像中建立绝对坐标系,Y轴向上为正,X轴向右为正,将车辆的最外端边缘抽象成相同的长方形,并将每一个时间戳的车辆位置图片信息进行记录;车辆轨迹信息包括车辆在图像中的位置(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑,通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物,其边长为h;在无人机拍摄的图片数据中,该正方形边长所占像素个数作为距离和像素间的转化度量,通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。
车辆轨迹特征提取:
车辆轨迹信息的提取方法取初始时间戳t=0、车辆所在位置(x1-0,y1-0)和第一个时间戳t=1、车辆所在位置(x1-1,y1-1);通过图像信息可以获得初始时间戳处的横摆角即车辆轴线和绝对坐标系X轴方向的夹角,利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息,获得该时刻沿着X轴方向的速度Sx1-0和沿着Y轴方向的速度Sy1-0,进而通过车辆的横摆角计算车辆的横向速度vx1-0和纵向速度vy1-0,以及横向加速度ax1-0和纵向加速度ay1-0,因此通过几何关系求得从初始位置时:
Δvx1-0:代表t=0时间戳与下一时间戳之间的横向速度变化量;Δvy1-0:代表以t=0为时间戳与下一时间戳之间的纵向速度变化量;Δt为图像采样时间。
通过上式依次计算出不同车辆所有的轨迹信息。采集到的图像场景中共有n台车辆,每台车辆在一个时间戳范围内可采集大小为7的轨迹数据,则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息,以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示:
数据预处理:
通过上一步骤获得的车辆轨迹信息属于原始数据,为保证数据的准确性以及作为生成对抗网络有效输入需要进行数据清洗和验证集随机抽取处理。
补充缺失值:由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同,这时需要用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性,进而满足后期生成算法输出的轨迹信息真实度要求;删除前后相邻时间戳所有车辆轨迹信息相同的数据,单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态,但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据。
为了验证本方法的准确性和生成数据的真实性,随机抽取所有获得的十字交叉路***通流轨迹的20%作为最后的验证集,通过计算生成网络生成的数据集和预留的验证集中横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay,等距采样获得直方图;最后通过计算数据集和测试数据集的轨迹特征的距离来验证本发明提出的方法的可靠性。
生成对抗网络经常会由于梯度消失而导致无法训练即参数不更新的情况,数据的归一化可以很好地解决这个问题,同时归一化的过程要关于后续网络框架使用的激活函数,sigmoid激活函数的输出范围为(0,1)之间,数据归一化需要对应该范围,数据归一化过程会将输入的数据归一化到[0,1]之间,反归一化是指将输出的数据映射回原始数据,归一化和反归一化公式分别为:
y=ynorm*(ymax-ymin)+ymin
x:代表输入变量,在本专利中指代位置信息、横向速度、纵向速度等;xmin:代表输入变量中的最小值;xmax:代表输入变量中的最大值;xnorm:代表归一化后的变量;ynorm:代表需要进行反归一化的变量,本专利指代隐空间参数变量;ymax:代表反归一化后的数据上限;ymin:代表反归一化后的数据下限。
将每辆车的位置信息(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角φ分别进行归一化;归一化会将所有的数据变化到固定的0与1之间。
建立轨迹特征数学模型:
门控循环单元网络(GatedRecurrent Unit,GRU)的输入有一个当前的输入xt,和上一个节点传递下来的隐状态Ht-1,这个隐状态包含了之前节点的相关信息,结合xt和Ht-1,GRU网络会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态Ht。
通过上一个节点传输下来的隐状态Ht-1和当前节点的输入xt来获取两个门控状态,其中Rt是控制重置的门控,简称重置门,Zt是控制更新的门控,简称更新门:
Rt=σ(xtWxr+ht-1Whr+br)
Zt=σ(xtWxz+ht-1Whz+bz)
Wxr、Whr:分别代表重置门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;br:代表重置门中可训练的偏置参数;Wxz、Whz:分别代表更新门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;bz:代表更新门中可训练的偏置参数;σ():代表sigmoid函数,通过这个函数将数据变换到0-1范围内的数值,从而来充当门控信号;得到门控信号后,先使用重置门Rt控来得到“重置”之后的数据ht-1′=Ht-1⊙Rt,再将ht-1′与xt进行拼接,并通过激活函数tanh将数据放缩到-1~1之间;⊙代表矩阵中的对应元素相乘,该计算只针对两个同型矩阵运算;输出结果为候选隐变量状态其中,具体表达式为:
Wxh、Whh:分别代表候选隐变量状态中对于当前时间戳输入xt和上一时间戳隐状态Ht-1进行重置后的可训练权重参数;bh:代表候选隐变量状态中可训练的偏置参数;最后使用Zt进行“更新记忆”阶段,输出当前时刻的隐空间变量Ht:
GRU网络相比于LSTM和传统RNN网络的优势在于使用一个门控Zt就可以同时选择记忆和遗忘数据,上述式子的含义就是通过(1-Zt)选择一些遗忘掉的数据,Zt是选择重要的数据。重置门Rt是一个0和1之间的数字,当重置门Rt接近0时代表候选隐藏层变量输出忘记上一个时间戳Ht-1的车辆轨迹信息特征,而当重置门Rt接近1时,说明此时完全将上一个时间戳的特征信息传给下一个时间戳,等价于原始的RNN计算隐藏状态;同理更新门Zt也是一个0和1之间的数字,当更新门Zt为1时,完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即Ht=Ht-1,而当更新门Zt为0时,输出的Ht完全取决于候选隐藏状态
yt=σ(WtHt)
wt:代表候输出对于当前时间戳的隐空间变量Ht的可训练权重参数。
时序数据的生成不仅应该考虑独立的时间单元的特征数据,而且应该考虑不同时间单元间隔之间的时序关系,假设整个时序数据X1:T遵循某个特定分布p,每一个时序数据的长度T是一个随机的变量。网络架构的目的就是通过训练数据去学习一个分布可以最大程度地近似p(X1:T),由于数据的高维度、长度变化和数据分布复杂性,这对于最原始的GAN网络是非常难实现的。因此需要利用其他的学习目标进行替代学习,本发明利用了自回归分解简化了学习目标:
p(X1:T)=Πtp(Xt|X1:t-1)
其中,Distance()是某一种衡量两种分布距离的方式,可以是JS散度、KL散度或W距离等;整体网络包括四部分网络结构:编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d;
对抗生成网络训练:
整个网络的训练过程通过编码和解码过程的训练,并伴随着对抗网络结构在隐空间上的生成进行的,该过程伴随着特征编码、表达生成以及随着时间进行循环进行。编码结构提供了隐空间,而生成对抗网络会在隐空间进行训练与生成。
编码结构和解码结构提供了时序特征和隐空间之间的映射关系,这允许对抗网络可以通过低维度时间序列数据之间的联系的特性表征学习进而近似学习高维度的时序数据特征;令h1:T代表动态特征的隐空间变量,x1:T代表原始分布,则通过编码结构e得到对应隐空间变量:
h1:T=e(x1:T)
相反,解码结构r将隐空间的动态特征解码回到对应的特征表达空间:
编码结构e和解码结构r,均选用GRU网络进行映射;对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别;
和分别代表向前和向后传播隐空间部分。是输出对应输入变量是真实数据的概率,例如在训练过程中h1:T作为输入时,d结构输出值为1,最理想的状态是鉴别器无法分辨输入变量的真实性即和h1:T输入后,d结构输出都为0.5。
综上所述,在每次训练过程中,都会获得真实的通过编码结构获得的下一时刻隐空间变量ht和生成器合成的下一时刻隐空间变量g(ht-1,zt)之间的距离;定义θe,θr,θg,θd分别代表编码、解码、生成器和鉴别器网络的参数,θe,θr通过重构损失LR和监督损失Ls进行更新迭代学习:
其中λ是一个用来平衡两个损失的且大于等于0的超参数,另一个损失函数是生成对抗网络的损失函数:
其中η是一个用来平衡两个损失的且大于等于0的超参数,其中生成器参数不仅要保证零和博弈中获得最小的损失,同时还要满足保证学习到时间内部序列之间内在关系。
训练好的生成器可以用于生成全新的测试场景用于智能汽车测试试验,利用随机噪声作为训练好的生成器的输入端,生成多条车辆轨迹;该车辆轨迹数据具有一定的多样性,随机选取一条轨迹信息作为被测车辆,利用已经嵌入提前设计好的被测对象功能的硬件在环测试平台对该车辆轨迹信息进行测试,并通过设计好的场景通过性指标例如是否发生碰撞或目标检测是否准确等评价准则进行评定,进而对测试通过性进行分析。
本发明的有益效果:
本发明提出一种基于对抗生成网络的智能汽车测试场景库构建方法,利用对抗生成网络进行智能汽车测试场景生成,同时考虑到原始对抗生成网络直接生成全部的轨迹信息具有一定难度,因此在隐空间进行变量的生成学习弱化了生成网络训练难度,由于车辆的轨迹属于马尔可夫过程,因此通过隐空间高维空间变量的表征学习生成更加真实的车辆轨迹测试场景库。本发明方法为解决实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求的难题提出创新的解决方案。本发明适用复杂多变的十字路口、交叉路口等道路交通环境,同样适用于快速路、高速公路等其他路段轨迹生成。
附图说明
图1为本发明整体流程示意图;
图2为本发明无人机悬停的方式获取车辆行驶轨迹信息的示意图;
图3为本发明抽象车辆行驶轨迹信息示意图;
图4为本发明车辆轨迹信息提取过程示意图;
图5为本发明GRU-门控循环单元示意图;
图6为本发明编码器和解码器自回归结构示意图;
图7为本发明生成式对抗网络结构示意图;
图8为本发明网络训练框架示意图;
图9为本发明生成轨迹测试流程示意图。
具体实施方式
参阅图1所示,本实施例选用十字交叉路口的车辆轨迹生成进行阐述。
通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息如图2所示,在整个图像的左下角建立绝对坐标系,Y轴向上为正,X轴向右为正,将车辆的最外端边缘抽象成相同的长方形,并将每一个时间戳的车辆位置图片信息记录下来如图3所示。车辆轨迹信息包括车辆在图像中的位置(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑,通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物,其边长为h。在无人机拍摄的图片数据中,该正方形边长所占像素个数作为距离和像素间的转化度量,通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。具体操作如下:
车辆轨迹信息的提取方法取初始时间戳t=0、车辆所在位置(x1-0,y1-0)和第一个时间戳t=1、车辆所在位置(x1-1,y1-1)。通过图像信息可以获得初始时间戳处的横摆角即车辆轴线和绝对坐标系X轴方向的夹角,利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息如图4所示,可以获得该时刻沿着X轴方向的速度Sx1-0和沿着Y轴方向的速度Sy1-0,进而通过车辆的横摆角计算车辆的横向速度vx1-0和纵向速度vy1-0,以及横向加速度ax1-0和纵向加速度ay1-0,因此通过几何关系可以求得从初始位置时:
Δvx1-0:代表t=0时间戳与下一时间戳之间的横向速度变化量;Δvy1-0:代表以t=0为时间戳与下一时间戳之间的纵向速度变化量;Δt为图像采样时间。
通过上式依次计算出不同车辆所有的轨迹信息。采集到的图像场景中共有n台车辆,每台车辆在一个时间戳范围内可采集大小为7的轨迹数据,则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息,以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示:
通过上一步骤获得的车辆轨迹信息属于原始数据,为保证数据的准确性以及作为生成对抗网络有效输入需要进行数据清洗和验证集随机抽取处理。
补充缺失值,由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同,这时需要用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性,进而满足后期生成算法输出的轨迹信息真实度要求。删除前后相邻时间戳所有车辆轨迹信息相同的数据,单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态,但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据。
为了验证本方法的准确性和生成数据的真实性,随机抽取所有获得的十字交叉路***通流轨迹的20%作为最后的验证集,通过计算生成网络生成的数据集和预留的验证集中横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay,等距采样获得直方图。最后通过计算数据集和测试数据集的轨迹特征的距离来验证本发明提出的方法的可靠性。
生成对抗网络经常会由于梯度消失而导致无法训练即参数不更新的情况,数据的归一化可以很好地解决这个问题,同时归一化的过程要关于后续网络框架使用的激活函数,sigmoid激活函数的输出范围为(0,1)之间,数据归一化需要对应该范围,数据归一化过程会将输入的数据归一化到[0,1]之间,反归一化是指将输出的数据映射回原始数据,归一化和反归一化公式分别为:
y=ynorm*(ymax-ymin)+ymin
x:代表输入变量,在本专利中指代位置信息、横向速度、纵向速度等;xmin:代表输入变量中的最小值;xmax:代表输入变量中的最大值;xnorm:代表归一化后的变量;ynorm:代表需要进行反归一化的变量,本专利指代隐空间参数变量;ymax:代表反归一化后的数据上限;ymin:代表反归一化后的数据下限。
将每辆车的位置信息(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角φ分别进行归一化;归一化会将所有的数据变化到固定的0与1之间。
门控循环单元网络(GatedRecurrentUnit,GRU)的输入有一个当前的输入xt,和上一个节点传递下来的隐状态Ht-1(h,这个隐状态包含了之前节点的相关信息,如图5所示。结合xt和Ht-1,GRU网络会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态Ht。
首先,通过上一个节点传输下来的隐状态Ht-1和当前节点的输入xt来获取两个门控状态,其中Rt是控制重置的门控,简称重置门,Zt是控制更新的门控,简称更新门:
Rt=σ(xtWxr+Ht-1Whr+br)
Zt=σ(xtWxz+Ht-1Whz+bz)
Wxr、Whr:分别代表重置门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;br:代表重置门中可训练的偏置参数;Wxz、Whz:分别代表更新门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;bz:代表更新门中可训练的偏置参数;σ():代表sigmoid函数,通过这个函数可以将数据变换到0-1范围内的数值,从而来充当门控信号;得到门控信号后,先使用重置门Rt控来得到“重置”之后的数据ht -1′=Ht-1⊙Rt,再将ht-1′与xt进行拼接,并通过激活函数tanh将数据放缩到-1~1之间;⊙代表矩阵中的对应元素相乘,该计算只针对两个同型矩阵运算;输出结果为候选隐变量状态其中,具体表达式为:
Wxh、Whh:分别代表候选隐变量状态中对于当前时间戳输入xt和上一时间戳隐状态Ht-1进行重置后的可训练权重参数;bh:代表候选隐变量状态中可训练的偏置参数;最后使用Zt进行“更新记忆”阶段,输出当前时刻的隐空间变量Ht:
GRU网络相比于LSTM和传统RNN网络的优势在于使用一个门控Zt就可以同时选择记忆和遗忘数据,上述式子的含义就是通过(1-Zt)选择一些遗忘掉的数据,Zt是选择重要的数据。重置门Rt是一个0和1之间的数字,当重置门Rt接近0时代表候选隐藏层变量输出忘记上一个时间戳Ht-1的车辆轨迹信息特征,而当重置门Rt接近1时,说明此时完全将上一个时间戳的特征信息传给下一个时间戳,等价于原始的RNN计算隐藏状态;同理更新门Zt也是一个0和1之间的数字,当更新门Zt为1时,完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即Ht=Ht-1,而当更新门Zt为0时,输出的Ht完全取决于候选隐藏状态
yt=σ(WtHt)
Wt:代表候输出对于当前时间戳的隐空间变量Ht的可训练权重参数。
时序数据的生成不仅应该考虑独立的时间单元的特征数据,而且应该考虑不同时间单元间隔之间的时序关系,假设整个时序数据X1:T遵循某个特定分布p,每一个时序数据的长度T是一个随机的变量。网络架构的目的就是通过训练数据去学习一个分布可以最大程度地近似p(X1:T),由于数据的高维度、长度变化和数据分布复杂性,这对于最原始的GAN网络是非常难实现的。因此需要利用其他的学习目标进行替代学习,本发明利用了自回归分解简化了学习目标:
p(X1:T)=Πtp(Xt|X1:t-1)
其中,Distance()是某一种衡量两种分布距离的方式,可以是JS散度、KL散度或W距离等;整体网络包括四部分网络结构:编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d;整个网络的训练过程通过编码和解码过程的训练,并伴随着对抗网络结构在隐空间上的生成进行的,该过程伴随着特征编码、表达生成以及随着时间进行循环进行。编码结构提供了隐空间,而生成对抗网络会在隐空间进行训练与生成。
编码结构和解码结构提供了时序特征和隐空间之间的映射关系,这允许对抗网络可以通过低维度时间序列数据之间的联系的特性表征学习进而近似学习高维度的时序数据特征;令h1:T代表动态特征的隐空间变量,x1:T代表原始分布,则通过编码结构e得到对应隐空间变量:
h1:T=e(x1:T)
相反,解码结构r将隐空间的动态特征解码回到对应的特征表达空间:
编码结构e和解码结构r,如图6所示,均选用GRU网络进行映射;对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别;
和分别代表向前和向后传播隐空间部分。是输出对应输入变量是真实数据的概率,例如在训练过程中h1:T作为输入时,d结构输出值为1,最理想的状态是鉴别器无法分辨输入变量的真实性即和h1:T输入后,d结构输出都为0.5。接下来介绍具体的网络的损失函数定义,如图8所示,首先第一个损失函数LR只是为了保证解码和编码之间的映射准确性,即需要保证原始分布x1:T经过对应的隐空间表达h1:T重构后得到的可以和原始分布接近,因此LR表达式为:
综上所述,在每次训练过程中,都会获得真实的通过编码结构获得的下一时刻隐空间变量ht和生成器合成的下一时刻隐空间变量g(ht-1,zt)之间的距离;定义θe,θr,θg,θd分别代表编码、解码、生成器和鉴别器网络的参数,θe,θr通过重构损失LR和监督损失Ls进行更新迭代学习:
其中λ是一个用来平衡两个损失的且大于等于0的超参数,另一个损失函数是生成对抗网络的损失函数:
其中η是一个用来平衡两个损失的且大于等于0的超参数,其中生成器参数不仅要保证零和博弈中获得最小的损失,同时还要满足保证学习到时间内部序列之间内在关系。
训练好的生成器可以用于生成全新的测试场景用于智能汽车测试试验,具体的流程如图9所示,利用随机噪声作为训练好的生成器的输入端,生成多条车辆轨迹;该车辆轨迹数据具有一定的多样性,随机选取一条轨迹信息作为被测车辆,利用已经嵌入提前设计好的被测对象功能的硬件在环测试平台对该车辆轨迹信息进行测试,并通过设计好的场景通过性指标例如是否发生碰撞或目标检测是否准确等评价准则进行评定,进而对测试通过性进行分析。
Claims (3)
1.一种基于对抗生成网络的智能汽车测试场景库构建方法,其特征在于:包括如下步骤:
车辆轨迹数据采集:
通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息,在整个图像中建立绝对坐标系,将车辆的最外端边缘抽象成相同的长方形,并将每一个时间戳的车辆位置图片信息进行记录;车辆轨迹信息包括车辆在图像中的位置(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角
车辆轨迹特征提取:
车辆轨迹信息的提取方法取初始时间戳t=0、车辆所在位置(x1-0,y1-0)和第一个时间戳t=1、车辆所在位置(x1-1,y1-1);通过图像信息获得初始时间戳处的横摆角即车辆轴线和绝对坐标系X轴方向的夹角,利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息,获得该时刻沿着X轴方向的速度Sx1-0和沿着γ轴方向的速度Sy1-0,进而通过车辆的横摆角计算车辆的横向速度vx1-0和纵向速度vy1-0,以及横向加速度ax1-0和纵向加速度ay1-0,因此通过几何关系求得从初始位置时:
Δvx1-0:代表t=0时间戳与下一时间戳之间的横向速度变化量;Δvy1-0:代表以t=0为时间戳与下一时间戳之间的纵向速度变化量;Δt为图像采样时间;
通过上式依次计算出不同车辆所有的轨迹信息;采集到的图像场景中共有n台车辆,每台车辆在一个时间戳范围内可采集大小为7的轨迹数据,则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息,以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示:
数据预处理:
对上一步骤获得的车辆轨迹信息进行补充缺失值、数据清洗、验证集随机抽取处理和归一化处理,以保证车辆轨迹矩阵的完整性,准确性和生成数据的真实性,并将所有的数据变化到固定的0与1之间;
建立轨迹特征数学模型:
基于门控循环单元网络GRU提取车辆轨迹特征:
GRU网络的输入有一个当前的输入xt,和上一个节点传递下来的隐状态Ht-1,这个隐状态包含了之前节点的相关信息,结合xt和Ht-1,GRU网络会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态Ht;
通过上一个节点传输下来的隐状态Ht-1和当前节点的输入xt来获取两个门控状态,其中Rt是控制重置的门控,简称重置门,Zt是控制更新的门控,简称更新门:
Rt=σ(xtWxr+Ht-1Whr+br)
Zt=σ(xtWxz+Ht-1Whz+bz)
Wxr、Whr:分别代表重置门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;br:代表重置门中可训练的偏置参数;Wxz、Whz:分别代表更新门中对于当前时间戳输入xt和上一时间戳隐状态Ht-1的可训练权重参数;bz:代表更新门中可训练的偏置参数;σ():代表sigmoid函数,通过这个函数将数据变换到0-1范围内的数值,从而来充当门控信号;得到门控信号后,先使用重置门Rt来得到“重置”之后的数据ht-1′=Ht-1⊙Rt,再将ht-1′与xt进行拼接,并通过激活函数tanh将数据放缩到-1~1之间;⊙代表矩阵中的对应元素相乘,该计算只针对两个同型矩阵运算;输出结果为候选隐变量状态其中,具体表达式为:
Wxh、Whh:分别代表候选隐变量状态中对于当前时间戳输入xt和上一时间戳隐状态Ht-1进行重置后的可训练权重参数;bh:代表候选隐变量状态中可训练的偏置参数;最后使用Zt进行“更新记忆”阶段,输出当前时刻的隐空间变量Ht:
重置门Rt是一个0和1之间的数字,当重置门Rt接近0时代表候选隐藏层变量输出忘记上一个时间戳Ht-1的车辆轨迹信息特征,而当重置门Rt接近1时,说明此时完全将上一个时间戳的特征信息传给下一个时间戳,等价于原始的RNN计算隐藏状态;同理更新门Zt也是一个0和1之间的数字,当更新门Zt为1时,完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即Ht=Ht-1,而当更新门Zt为0时,输出的Ht完全取决于候选隐藏状态
yt=σ(WtHt)
Wt:代表候输出对于当前时间戳的隐空间变量Ht的可训练权重参数;
利用自回归分解简化GRU网络学习目标:
p(X1:T)=∏tp(Xt|X1:t-1)
令X1:T代表整个时序数据,而p代表其遵循的分布,代表通过X1:T学习到的分布;对抗生成网络的学习目标变为学习一个分布以近似任意一个t时间点的p(Xt|X1:t-1);包括两个目标函数,分别限制网络学习时间序列整体的和局部的特征:
其中,Distance()是某一种衡量两种分布距离的方式,包括JS散度、KL散度或W距离;整体网络包括四部分网络结构:编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d;
对抗生成网络训练:
整个网络的训练过程通过编码和解码过程的训练,并伴随着对抗网络结构在隐空间上的生成进行的,该过程伴随着特征编码、表达生成以及随着时间进行循环进行;编码结构提供了隐空间,而生成对抗网络会在隐空间进行训练与生成;
编码结构和解码结构提供了时序特征和隐空间之间的映射关系,这允许对抗网络通过低维度时间序列数据之间的联系的特性表征学习进而学习高维度的时序数据特征;令h1:T代表动态特征的隐空间变量,x1:T代表原始分布,则通过编码结构e得到对应隐空间变量:
h1:T=e(x1:T)
相反,解码结构r将隐空间的动态特征解码回到对应的特征表达空间:
编码结构e和解码结构r,均选用GRU网络进行映射;对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别;
是鉴别器无法分辨输入变量的真实性即和h1:T输入后,d结构输出都为0.5;关于网络的损失函数:首先第一个损失函数LR为了保证解码和编码之间的映射准确性,即需要保证原始分布x1:T经过对应的隐空间表达h1:T重构后得到的和原始分布接近,因此LR表达式为:
综上所述,在每次训练过程中,都会获得真实的通过编码结构获得的下一时刻隐空间变量ht和生成器合成的下一时刻隐空间变量g(ht-1,zt)之间的距离;定义θe,θr,θg,θd分别代表编码、解码、生成器和鉴别器网络的参数,θe,θr通过重构损失LR和监督损失Ls进行更新迭代学习:
其中λ是一个用来平衡两个损失的且大于等于0的超参数,另一个损失函数是生成对抗网络的损失函数:
其中η是一个用来平衡两个损失的且大于等于0的超参数,其中生成器参数不仅要保证零和博弈中获得最小的损失,同时还要满足保证学习到时间内部序列之间内在关系;
利用训练好的生成器生成全新的测试场景用于智能汽车测试试验。
2.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法,其特征在于:车辆轨迹数据采集过程中,为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑,通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物,其边长为h;在无人机拍摄的图片数据中,该正方形边长所占像素个数作为距离和像素间的转化度量,通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。
3.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法,其特征在于:数据预处理程中,所述的补充缺失值:由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同,用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性,进而满足后期生成算法输出的轨迹信息真实度要求;
所述的数据清洗:删除前后相邻时间戳所有车辆轨迹信息相同的数据,单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态,但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据;
所述的验证集随机抽取处理:为了验证本方法的准确性和生成数据的真实性,随机抽取所有获得的十字交叉路***通流轨迹的20%作为最后的验证集,通过计算生成网络生成的数据集和预留的验证集中横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay,等距采样获得直方图;最后通过计算数据集和测试数据集的轨迹特征的距离来验证本方法的可靠性;
所述的归一化处理:利用数据的归一化解决生成对抗网络由于梯度消失而导致无法训练即参数不更新的问题,同时归一化的过程要关于后续网络框架使用的激活函数,sigmoid激活函数的输出范围为(0,1)之间,数据归一化需要对应该范围,数据归一化过程会将输入的数据归一化到[0,1]之间,反归一化是指将输出的数据映射回原始数据,归一化和反归一化公式分别为:
y=ynorm*(ynax-ymin)+ymin
x:代表输入变量,在本专利中指代位置信息、横向速度、纵向速度等;xmin:
代表输入变量中的最小值;xmax:代表输入变量中的最大值;xnorm:代表归一化后的变量;ynorm:代表需要进行反归一化的变量,本专利指代隐空间参数变量;ymax:代表反归一化后的数据上限;ymin:代表反归一化后的数据下限;
将每辆车的位置信息(x,y)、横向速度vx、纵向速度vy、横向加速度ax、纵向加速度ay和横摆角φ分别进行归一化;归一化会将所有的数据变化到固定的0与1之间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342209.7A CN115691134A (zh) | 2022-10-31 | 2022-10-31 | 一种基于对抗生成网络的智能汽车测试场景库构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342209.7A CN115691134A (zh) | 2022-10-31 | 2022-10-31 | 一种基于对抗生成网络的智能汽车测试场景库构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115691134A true CN115691134A (zh) | 2023-02-03 |
Family
ID=85045987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211342209.7A Pending CN115691134A (zh) | 2022-10-31 | 2022-10-31 | 一种基于对抗生成网络的智能汽车测试场景库构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115691134A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117196262A (zh) * | 2023-11-06 | 2023-12-08 | 中船凌久高科(武汉)有限公司 | 一种基于状态编码优化的测试场车辆与场景匹配调度方法 |
CN117371184A (zh) * | 2023-09-20 | 2024-01-09 | 广东省水利水电第三工程局有限公司 | 一种大型混凝土的水化反应结构强度变化仿真方法及*** |
-
2022
- 2022-10-31 CN CN202211342209.7A patent/CN115691134A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117371184A (zh) * | 2023-09-20 | 2024-01-09 | 广东省水利水电第三工程局有限公司 | 一种大型混凝土的水化反应结构强度变化仿真方法及*** |
CN117371184B (zh) * | 2023-09-20 | 2024-04-16 | 广东省水利水电第三工程局有限公司 | 一种大型混凝土的水化反应结构强度变化仿真方法及*** |
CN117196262A (zh) * | 2023-11-06 | 2023-12-08 | 中船凌久高科(武汉)有限公司 | 一种基于状态编码优化的测试场车辆与场景匹配调度方法 |
CN117196262B (zh) * | 2023-11-06 | 2024-02-13 | 中船凌久高科(武汉)有限公司 | 一种基于状态编码优化的测试场车辆与场景匹配调度方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Diehl et al. | Graph neural networks for modelling traffic participant interaction | |
CN110414432B (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
Sheng et al. | Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving | |
Lenz et al. | Deep neural networks for Markovian interactive scene prediction in highway scenarios | |
CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
Behbahani et al. | Learning from demonstration in the wild | |
CN115691134A (zh) | 一种基于对抗生成网络的智能汽车测试场景库构建方法 | |
Leibfried et al. | A deep learning approach for joint video frame and reward prediction in atari games | |
US7929730B2 (en) | Method and system for object detection and tracking | |
Xu et al. | Learning from naturalistic driving data for human-like autonomous highway driving | |
Fernando et al. | Going deeper: Autonomous steering with neural memory networks | |
Karim et al. | A dynamic spatial-temporal attention network for early anticipation of traffic accidents | |
Hu et al. | Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving | |
CN108961308B (zh) | 一种漂移检测的残差深度特征目标跟踪方法 | |
CN111931902A (zh) | 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法 | |
CN105957105A (zh) | 基于行为学习的多目标跟踪方法及*** | |
CN109191488B (zh) | 一种基于csk与tld融合算法的目标跟踪***及方法 | |
CN111832615A (zh) | 一种基于前景背景特征融合的样本扩充方法及*** | |
CN113313123B (zh) | 一种基于语义推断的扫视路径预测方法 | |
Zhang et al. | Lane detection model based on spatio-temporal network with double convolutional gated recurrent units | |
Xu et al. | Diffscene: Diffusion-based safety-critical scenario generation for autonomous vehicles | |
Vijay et al. | Detection of road accidents using synthetically generated multi-perspective accident videos | |
Bogdoll et al. | Exploring the potential of world models for anomaly detection in autonomous driving | |
CN116975781A (zh) | 一种自动驾驶车辆行为决策***和方法 | |
CN116523002A (zh) | 多源异构数据的动态图生成对抗网络轨迹预测方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |