CN115691134A - 一种基于对抗生成网络的智能汽车测试场景库构建方法 - Google Patents

Abstract

本发明涉及一种基于对抗生成网络的智能汽车测试场景库构建方法，包括车辆轨迹数据采集、车辆轨迹特征提取、数据预处理、建立轨迹特征数学模型和对抗生成网络训练等步骤，本发明利用对抗生成网络进行智能汽车测试场景生成，在隐空间进行变量的生成学习弱化了生成网络训练难度，削减网络较长的时序记忆能力以便生成更加真实的车辆轨迹测试场景库。本发明方法为解决实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求的难题提出创新的解决方案。本发明适用复杂多变的十字路口、交叉路口等道路交通环境，同样适用于快速路、高速公路等其他路段轨迹生成。

Description

一种基于对抗生成网络的智能汽车测试场景库构建方法

技术领域

本发明涉及一种汽车测试场景库的构建方法，特别涉及一种基于对抗生成网络的智能汽车测试场景库构建方法。

背景技术

智能汽车行驶场景由于其不确定性与复杂性所要面对的种类和数量几乎是无穷尽的。基于传统里程测试手段，智能汽车需要数百亿公里的里程测试才能保证功能的完备性，需要大量时间与经济成本。其中一种有效的解决方案就是基于场景的测试方法，通过被测智能汽车在测试场景库中的行为反馈探究智能汽车功能边界，进而更新迭代智能汽车功能，该测试方法具有测试效率高、可重复性强以及可控性强等优势。然而为了得到测试场景，传统做法通过实车采集，并对数据进行人工打标签处理以获得主观评价的场景，该方法导致测试场景库建立需要大量人力消耗和较高的资金成本，同时考虑到有一些采集的数据可能会侵犯驾驶员的个人隐私。因此，本发明欲利用对抗生成网络进行智能汽车测试场景生成，但原始对抗生成网络直接生成全部的轨迹信息具有一定难度，另外，实际的交通环境复杂多变，不同的道路交通环境对智能汽车的安全和高级辅助驾驶功能具有不同的挑战，其中交叉路口是一种实际生活中及其常见的交通环境，按照交叉口的形状和连接道路数分类有十字型交叉路口、X形交叉路口、T字形交叉路口、错位交叉路口、Y形交叉路口、多路交叉路口等，而实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求。

发明内容

为了解决上述技术问题，本发明提供一种基于对抗生成网络的智能汽车测试场景库构建方法，包括如下步骤：

车辆轨迹数据采集：

通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息，在整个图像中建立绝对坐标系，Y轴向上为正，X轴向右为正，将车辆的最外端边缘抽象成相同的长方形，并将每一个时间戳的车辆位置图片信息进行记录；车辆轨迹信息包括车辆在图像中的位置(x,y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角

为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑，通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物，其边长为h；在无人机拍摄的图片数据中，该正方形边长所占像素个数作为距离和像素间的转化度量，通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。

车辆轨迹特征提取：

车辆轨迹信息的提取方法取初始时间戳t＝0、车辆所在位置(x_1-0,y_1-0)和第一个时间戳t＝1、车辆所在位置(x_1-1,y_1-1)；通过图像信息可以获得初始时间戳处的横摆角

即车辆轴线和绝对坐标系X轴方向的夹角,利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息，获得该时刻沿着X轴方向的速度S_x1-0和沿着Y轴方向的速度S_y1-0，进而通过车辆的横摆角计算车辆的横向速度v_x1-0和纵向速度v_y1-0，以及横向加速度a_x1-0和纵向加速度a_y1-0，因此通过几何关系求得从初始位置时：

Δv_x1-0：代表t＝0时间戳与下一时间戳之间的横向速度变化量；Δv_y1-0：代表以t＝0为时间戳与下一时间戳之间的纵向速度变化量；Δt为图像采样时间。

通过上式依次计算出不同车辆所有的轨迹信息。采集到的图像场景中共有n台车辆，每台车辆在一个时间戳范围内可采集大小为7的轨迹数据，则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息,以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示：

数据预处理：

通过上一步骤获得的车辆轨迹信息属于原始数据，为保证数据的准确性以及作为生成对抗网络有效输入需要进行数据清洗和验证集随机抽取处理。

补充缺失值：由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同，这时需要用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性，进而满足后期生成算法输出的轨迹信息真实度要求；删除前后相邻时间戳所有车辆轨迹信息相同的数据，单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态，但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据。

为了验证本方法的准确性和生成数据的真实性，随机抽取所有获得的十字交叉路***通流轨迹的20％作为最后的验证集，通过计算生成网络生成的数据集和预留的验证集中横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y，等距采样获得直方图；最后通过计算数据集和测试数据集的轨迹特征的距离来验证本发明提出的方法的可靠性。

生成对抗网络经常会由于梯度消失而导致无法训练即参数不更新的情况，数据的归一化可以很好地解决这个问题，同时归一化的过程要关于后续网络框架使用的激活函数，sigmoid激活函数的输出范围为(0,1)之间，数据归一化需要对应该范围，数据归一化过程会将输入的数据归一化到[0,1]之间，反归一化是指将输出的数据映射回原始数据，归一化和反归一化公式分别为：

y＝y_norm*(y_max-y_min)+y_min

x：代表输入变量，在本专利中指代位置信息、横向速度、纵向速度等；x_min：代表输入变量中的最小值；x_max：代表输入变量中的最大值；x_norm：代表归一化后的变量；y_norm：代表需要进行反归一化的变量，本专利指代隐空间参数变量；y_max：代表反归一化后的数据上限；y_min：代表反归一化后的数据下限。

将每辆车的位置信息(x,y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角φ分别进行归一化；归一化会将所有的数据变化到固定的0与1之间。

建立轨迹特征数学模型：

门控循环单元网络(GatedRecurrent Unit,GRU)的输入有一个当前的输入x^t,和上一个节点传递下来的隐状态H_t-1，这个隐状态包含了之前节点的相关信息，结合x^t和H_t-1，GRU网络会得到当前隐藏节点的输出y^t和传递给下一个节点的隐状态H_t。

通过上一个节点传输下来的隐状态H_t-1和当前节点的输入x^t来获取两个门控状态，其中R_t是控制重置的门控，简称重置门，Z_t是控制更新的门控，简称更新门：

R_t＝σ(x_tW_xr+h^t-1W_hr+b_r)

Z_t＝σ(x_tW_xz+h^t-1W_hz+b_z)

W_xr、W_hr：分别代表重置门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_r：代表重置门中可训练的偏置参数；W_xz、W_hz：分别代表更新门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_z：代表更新门中可训练的偏置参数；σ()：代表sigmoid函数，

通过这个函数将数据变换到0-1范围内的数值，从而来充当门控信号；得到门控信号后，先使用重置门R_t控来得到“重置”之后的数据h^t-1′＝H_t-1⊙R_t，再将h^t-1′与x^t进行拼接，并通过激活函数tanh将数据放缩到-1～1之间；⊙代表矩阵中的对应元素相乘，该计算只针对两个同型矩阵运算；输出结果为候选隐变量状态

其中，

具体表达式为：

W_xh、W_hh：分别代表候选隐变量状态中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1进行重置后的可训练权重参数；b_h：代表候选隐变量状态中可训练的偏置参数；最后使用Z_t进行“更新记忆”阶段，输出当前时刻的隐空间变量H_t：

GRU网络相比于LSTM和传统RNN网络的优势在于使用一个门控Z_t就可以同时选择记忆和遗忘数据，上述式子的含义就是通过(1-Z_t)选择一些遗忘掉的数据，Z_t是选择重要的数据。重置门R_t是一个0和1之间的数字，当重置门R_t接近0时代表候选隐藏层变量输出忘记上一个时间戳H_t-1的车辆轨迹信息特征，而当重置门R_t接近1时，说明此时完全将上一个时间戳的特征信息传给下一个时间戳，等价于原始的RNN计算隐藏状态；同理更新门Z_t也是一个0和1之间的数字，当更新门Z_t为1时，完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即H_t＝H_t-1，而当更新门Z_t为0时，输出的H_t完全取决于候选隐藏状态

y^t＝σ(W_tH_t)

w_t：代表候输出对于当前时间戳的隐空间变量H_t的可训练权重参数。

时序数据的生成不仅应该考虑独立的时间单元的特征数据，而且应该考虑不同时间单元间隔之间的时序关系，假设整个时序数据X_1:T遵循某个特定分布p，每一个时序数据的长度T是一个随机的变量。网络架构的目的就是通过训练数据去学习一个分布

可以最大程度地近似p(X_1:T)，由于数据的高维度、长度变化和数据分布复杂性，这对于最原始的GAN网络是非常难实现的。因此需要利用其他的学习目标进行替代学习，本发明利用了自回归分解简化了学习目标：

p(X_1:T)＝Π_tp(X_t|X_1:t-1)

因此，对抗生成网络的学习目标变为学习一个分布

以近似任意一个t时间点的p(X_t|X_1:t-1)；本结构设计了两个目标函数，它们分别限制了网络学习时间序列整体的和局部的特征：

其中，Distance()是某一种衡量两种分布距离的方式，可以是JS散度、KL散度或W距离等；整体网络包括四部分网络结构：编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d；

对抗生成网络训练：

整个网络的训练过程通过编码和解码过程的训练，并伴随着对抗网络结构在隐空间上的生成进行的，该过程伴随着特征编码、表达生成以及随着时间进行循环进行。编码结构提供了隐空间，而生成对抗网络会在隐空间进行训练与生成。

编码结构和解码结构提供了时序特征和隐空间之间的映射关系，这允许对抗网络可以通过低维度时间序列数据之间的联系的特性表征学习进而近似学习高维度的时序数据特征；令h_1：T代表动态特征的隐空间变量，x_1：T代表原始分布，则通过编码结构e得到对应隐空间变量：

h_1：T＝e(x_1：T)

相反，解码结构r将隐空间的动态特征解码回到对应的特征表达空间：

编码结构e和解码结构r，均选用GRU网络进行映射；对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别；

其中z_t均是随机噪声输入，

是生成器g通过随机噪声z_t和前一时间戳的生成器输出

通过GRU网络生成的隐空间变量，在本发明选用高斯随机噪声；对于鉴别器而言，同样也作用于隐空间表达：

和分别代表向前和向后传播隐空间部分。

是输出对应输入变量是真实数据的概率，例如在训练过程中h_1：T作为输入时，d结构输出值为1，最理想的状态是鉴别器无法分辨输入变量的真实性即

和h_1：T输入后，d结构输出都为0.5。

关于网络的损失函数：首先第一个损失函数L_R只是为了保证解码和编码之间的映射准确性，即需要保证原始分布x_1：T经过对应的隐空间表达h_1：T重构后得到的

和原始分布接近，因此L_R表达式为：

其次，生成器会在训练的过程中受到两个因素的影响，在纯开环模式下，在t时刻接收到生成器之前的生成隐空间变量

以生成下一时刻的合成向量

梯度会计算在无监督损失L_U中：

y_t：代表真实数据x_1：T作为鉴别结构d输入时，输出的结果；

代表生成数据

作为鉴别结构d输入时，输出的结果。

此外，单独依靠鉴别器的二分类的结果进行反向传播是无法使生成器捕捉到局部数据的时序条件分布特征，因此，引入第三个监督损失函数L_s以捕捉分布p(H_t|H_1:t-1)和

因此监督损失函数L_s表达式为：

综上所述，在每次训练过程中，都会获得真实的通过编码结构获得的下一时刻隐空间变量h_t和生成器合成的下一时刻隐空间变量g(h_t-1,z_t)之间的距离；定义θ_e,θ_r,θ_g,θ_d分别代表编码、解码、生成器和鉴别器网络的参数，θ_e,θ_r通过重构损失L_R和监督损失L_s进行更新迭代学习：

其中λ是一个用来平衡两个损失的且大于等于0的超参数，另一个损失函数是生成对抗网络的损失函数：

其中η是一个用来平衡两个损失的且大于等于0的超参数，其中生成器参数不仅要保证零和博弈中获得最小的损失，同时还要满足保证学习到时间内部序列之间内在关系。

训练好的生成器可以用于生成全新的测试场景用于智能汽车测试试验，利用随机噪声作为训练好的生成器的输入端，生成多条车辆轨迹；该车辆轨迹数据具有一定的多样性，随机选取一条轨迹信息作为被测车辆，利用已经嵌入提前设计好的被测对象功能的硬件在环测试平台对该车辆轨迹信息进行测试，并通过设计好的场景通过性指标例如是否发生碰撞或目标检测是否准确等评价准则进行评定，进而对测试通过性进行分析。

本发明的有益效果：

本发明提出一种基于对抗生成网络的智能汽车测试场景库构建方法，利用对抗生成网络进行智能汽车测试场景生成，同时考虑到原始对抗生成网络直接生成全部的轨迹信息具有一定难度，因此在隐空间进行变量的生成学习弱化了生成网络训练难度，由于车辆的轨迹属于马尔可夫过程，因此通过隐空间高维空间变量的表征学习生成更加真实的车辆轨迹测试场景库。本发明方法为解决实际动态交通流中车辆运动轨迹场景数量较少无法满足智能汽车测试需求的难题提出创新的解决方案。本发明适用复杂多变的十字路口、交叉路口等道路交通环境，同样适用于快速路、高速公路等其他路段轨迹生成。

附图说明

图1为本发明整体流程示意图；

图2为本发明无人机悬停的方式获取车辆行驶轨迹信息的示意图；

图3为本发明抽象车辆行驶轨迹信息示意图；

图4为本发明车辆轨迹信息提取过程示意图；

图5为本发明GRU-门控循环单元示意图；

图6为本发明编码器和解码器自回归结构示意图；

图7为本发明生成式对抗网络结构示意图；

图8为本发明网络训练框架示意图；

图9为本发明生成轨迹测试流程示意图。

具体实施方式

参阅图1所示，本实施例选用十字交叉路口的车辆轨迹生成进行阐述。

通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息如图2所示，在整个图像的左下角建立绝对坐标系，Y轴向上为正，X轴向右为正，将车辆的最外端边缘抽象成相同的长方形，并将每一个时间戳的车辆位置图片信息记录下来如图3所示。车辆轨迹信息包括车辆在图像中的位置(x,y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角

为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑，通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物，其边长为h。在无人机拍摄的图片数据中，该正方形边长所占像素个数作为距离和像素间的转化度量，通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。具体操作如下：

车辆轨迹信息的提取方法取初始时间戳t＝0、车辆所在位置(x_1-0,y_1-0)和第一个时间戳t＝1、车辆所在位置(x_1-1,y_1-1)。通过图像信息可以获得初始时间戳处的横摆角

即车辆轴线和绝对坐标系X轴方向的夹角,利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息如图4所示，可以获得该时刻沿着X轴方向的速度S_x1-0和沿着Y轴方向的速度S_y1-0，进而通过车辆的横摆角计算车辆的横向速度v_x1-0和纵向速度v_y1-0，以及横向加速度a_x1-0和纵向加速度a_y1-0，因此通过几何关系可以求得从初始位置时：

Δv_x1-0：代表t＝0时间戳与下一时间戳之间的横向速度变化量；Δv_y1-0：代表以t＝0为时间戳与下一时间戳之间的纵向速度变化量；Δt为图像采样时间。

通过上式依次计算出不同车辆所有的轨迹信息。采集到的图像场景中共有n台车辆，每台车辆在一个时间戳范围内可采集大小为7的轨迹数据，则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息,以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示：

通过上一步骤获得的车辆轨迹信息属于原始数据，为保证数据的准确性以及作为生成对抗网络有效输入需要进行数据清洗和验证集随机抽取处理。

补充缺失值，由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同，这时需要用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性，进而满足后期生成算法输出的轨迹信息真实度要求。删除前后相邻时间戳所有车辆轨迹信息相同的数据，单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态，但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据。

为了验证本方法的准确性和生成数据的真实性，随机抽取所有获得的十字交叉路***通流轨迹的20％作为最后的验证集，通过计算生成网络生成的数据集和预留的验证集中横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y，等距采样获得直方图。最后通过计算数据集和测试数据集的轨迹特征的距离来验证本发明提出的方法的可靠性。

生成对抗网络经常会由于梯度消失而导致无法训练即参数不更新的情况，数据的归一化可以很好地解决这个问题，同时归一化的过程要关于后续网络框架使用的激活函数，sigmoid激活函数的输出范围为(0,1)之间，数据归一化需要对应该范围，数据归一化过程会将输入的数据归一化到[0,1]之间，反归一化是指将输出的数据映射回原始数据，归一化和反归一化公式分别为：

y＝y_norm*(y_max-y_min)+y_min

x：代表输入变量，在本专利中指代位置信息、横向速度、纵向速度等；x_min：代表输入变量中的最小值；x_max：代表输入变量中的最大值；x_norm：代表归一化后的变量；y_norm：代表需要进行反归一化的变量，本专利指代隐空间参数变量；y_max：代表反归一化后的数据上限；y_min：代表反归一化后的数据下限。

将每辆车的位置信息(x,y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角φ分别进行归一化；归一化会将所有的数据变化到固定的0与1之间。

门控循环单元网络(GatedRecurrentUnit,GRU)的输入有一个当前的输入x^t,和上一个节点传递下来的隐状态H_t-1(h，这个隐状态包含了之前节点的相关信息，如图5所示。结合x^t和H_t-1，GRU网络会得到当前隐藏节点的输出y^t和传递给下一个节点的隐状态H_t。

首先，通过上一个节点传输下来的隐状态H_t-1和当前节点的输入x^t来获取两个门控状态，其中R_t是控制重置的门控，简称重置门，Z_t是控制更新的门控，简称更新门：

R_t＝σ(x^tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(x^tW_xz+H_t-1W_hz+b_z)

W_xr、W_hr：分别代表重置门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_r：代表重置门中可训练的偏置参数；W_xz、W_hz：分别代表更新门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_z：代表更新门中可训练的偏置参数；σ()：代表sigmoid函数，

通过这个函数可以将数据变换到0-1范围内的数值，从而来充当门控信号；得到门控信号后，先使用重置门R_t控来得到“重置”之后的数据h^{t -1′}＝H_t-1⊙R_t，再将h^t-1′与x^t进行拼接，并通过激活函数tanh将数据放缩到-1～1之间；⊙代表矩阵中的对应元素相乘，该计算只针对两个同型矩阵运算；输出结果为候选隐变量状态

其中，

具体表达式为：

W_xh、W_hh：分别代表候选隐变量状态中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1进行重置后的可训练权重参数；b_h：代表候选隐变量状态中可训练的偏置参数；最后使用Z_t进行“更新记忆”阶段，输出当前时刻的隐空间变量H_t：

GRU网络相比于LSTM和传统RNN网络的优势在于使用一个门控Z_t就可以同时选择记忆和遗忘数据，上述式子的含义就是通过(1-Z_t)选择一些遗忘掉的数据，Z_t是选择重要的数据。重置门R_t是一个0和1之间的数字，当重置门R_t接近0时代表候选隐藏层变量输出忘记上一个时间戳H_t-1的车辆轨迹信息特征，而当重置门R_t接近1时，说明此时完全将上一个时间戳的特征信息传给下一个时间戳，等价于原始的RNN计算隐藏状态；同理更新门Z_t也是一个0和1之间的数字，当更新门Z_t为1时，完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即H_t＝H_t-1，而当更新门Z_t为0时，输出的H_t完全取决于候选隐藏状态

y^t＝σ(W_tH_t)

W_t：代表候输出对于当前时间戳的隐空间变量H_t的可训练权重参数。

时序数据的生成不仅应该考虑独立的时间单元的特征数据，而且应该考虑不同时间单元间隔之间的时序关系，假设整个时序数据X_1:T遵循某个特定分布p，每一个时序数据的长度T是一个随机的变量。网络架构的目的就是通过训练数据去学习一个分布

可以最大程度地近似p(X_1:T)，由于数据的高维度、长度变化和数据分布复杂性，这对于最原始的GAN网络是非常难实现的。因此需要利用其他的学习目标进行替代学习，本发明利用了自回归分解简化了学习目标：

p(X_1:T)＝Π_tp(X_t|X_1:t-1)

因此，对抗生成网络的学习目标变为学习一个分布

以近似任意一个t时间点的p(X_t|X_1:t-1)；本结构设计了两个目标函数，它们分别限制了网络学习时间序列整体的和局部的特征：

其中，Distance()是某一种衡量两种分布距离的方式，可以是JS散度、KL散度或W距离等；整体网络包括四部分网络结构：编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d；整个网络的训练过程通过编码和解码过程的训练，并伴随着对抗网络结构在隐空间上的生成进行的，该过程伴随着特征编码、表达生成以及随着时间进行循环进行。编码结构提供了隐空间，而生成对抗网络会在隐空间进行训练与生成。

编码结构和解码结构提供了时序特征和隐空间之间的映射关系，这允许对抗网络可以通过低维度时间序列数据之间的联系的特性表征学习进而近似学习高维度的时序数据特征；令h_1：T代表动态特征的隐空间变量，x_1：T代表原始分布，则通过编码结构e得到对应隐空间变量：

h_1：T＝e(x_1：T)

相反，解码结构r将隐空间的动态特征解码回到对应的特征表达空间：

编码结构e和解码结构r，如图6所示，均选用GRU网络进行映射；对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别；

其中z_t均是随机噪声输入，

是生成器g通过随机噪声z_t和前一时间戳的生成器输出

通过GRU网络生成的隐空间变量，在本发明选用高斯随机噪声；对于鉴别器而言，同样也作用于隐空间表达：

和分别代表向前和向后传播隐空间部分。

是输出对应输入变量是真实数据的概率，例如在训练过程中h_1：T作为输入时，d结构输出值为1，最理想的状态是鉴别器无法分辨输入变量的真实性即

和h_1：T输入后，d结构输出都为0.5。接下来介绍具体的网络的损失函数定义，如图8所示，首先第一个损失函数L_R只是为了保证解码和编码之间的映射准确性，即需要保证原始分布x_1：T经过对应的隐空间表达h_1：T重构后得到的

可以和原始分布接近，因此L_R表达式为：

其次，关于生成器，如图7所示，会在训练的过程中受到两个因素的影响，在纯开环模式下，在t时刻接收到生成器之前的生成隐空间变量

以生成下一时刻的合成向量

梯度会计算在无监督损失L_U中：

y_t：代表真实数据x_1：T作为鉴别结构d输入时，输出的结果；

代表生成数据

作为鉴别结构d输入时，输出的结果。

此外，单独依靠鉴别器的二分类的结果进行反向传播是无法使生成器捕捉到局部数据的时序条件分布特征，因此，引入第三个监督损失函数L_s以捕捉分布p(H_t|H_1:t-1)和

因此监督损失函数L_S表达式为：

综上所述，在每次训练过程中，都会获得真实的通过编码结构获得的下一时刻隐空间变量h_t和生成器合成的下一时刻隐空间变量g(h_t-1,z_t)之间的距离；定义θ_e,θ_r,θ_g,θ_d分别代表编码、解码、生成器和鉴别器网络的参数，θ_e,θ_r通过重构损失L_R和监督损失L_s进行更新迭代学习：

其中λ是一个用来平衡两个损失的且大于等于0的超参数，另一个损失函数是生成对抗网络的损失函数：

其中η是一个用来平衡两个损失的且大于等于0的超参数，其中生成器参数不仅要保证零和博弈中获得最小的损失，同时还要满足保证学习到时间内部序列之间内在关系。

训练好的生成器可以用于生成全新的测试场景用于智能汽车测试试验，具体的流程如图9所示，利用随机噪声作为训练好的生成器的输入端，生成多条车辆轨迹；该车辆轨迹数据具有一定的多样性，随机选取一条轨迹信息作为被测车辆，利用已经嵌入提前设计好的被测对象功能的硬件在环测试平台对该车辆轨迹信息进行测试，并通过设计好的场景通过性指标例如是否发生碰撞或目标检测是否准确等评价准则进行评定，进而对测试通过性进行分析。

Claims (3)

1.一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：包括如下步骤：

车辆轨迹数据采集：

通过无人机悬停的方式获取车辆在实际行驶环境中的图像信息，在整个图像中建立绝对坐标系，将车辆的最外端边缘抽象成相同的长方形，并将每一个时间戳的车辆位置图片信息进行记录；车辆轨迹信息包括车辆在图像中的位置(x，y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角

车辆轨迹特征提取：

车辆轨迹信息的提取方法取初始时间戳t＝0、车辆所在位置(x_1-0，y_1-0)和第一个时间戳t＝1、车辆所在位置(x_1-1，y_1-1)；通过图像信息获得初始时间戳处的横摆角

即车辆轴线和绝对坐标系X轴方向的夹角，利用较短时间间隔内的平均速度代替前一时间戳的瞬时速度作为轨迹信息，获得该时刻沿着X轴方向的速度S_x1-0和沿着γ轴方向的速度S_y1-0，进而通过车辆的横摆角计算车辆的横向速度v_x1-0和纵向速度v_y1-0，以及横向加速度a_x1-0和纵向加速度a_y1-0，因此通过几何关系求得从初始位置时：

Δv_x1-0：代表t＝0时间戳与下一时间戳之间的横向速度变化量；Δv_y1-0：代表以t＝0为时间戳与下一时间戳之间的纵向速度变化量；Δt为图像采样时间；

通过上式依次计算出不同车辆所有的轨迹信息；采集到的图像场景中共有n台车辆，每台车辆在一个时间戳范围内可采集大小为7的轨迹数据，则每一个时间戳会记录一个长度为7*n的列向量代表车辆轨迹信息，以及对应的时间戳数据共采集D个等时间间隔的车辆轨迹信息如下所示：

数据预处理：

对上一步骤获得的车辆轨迹信息进行补充缺失值、数据清洗、验证集随机抽取处理和归一化处理，以保证车辆轨迹矩阵的完整性，准确性和生成数据的真实性，并将所有的数据变化到固定的0与1之间；

建立轨迹特征数学模型：

基于门控循环单元网络GRU提取车辆轨迹特征：

GRU网络的输入有一个当前的输入x^t，和上一个节点传递下来的隐状态H_t-1，这个隐状态包含了之前节点的相关信息，结合x^t和H_t-1，GRU网络会得到当前隐藏节点的输出y^t和传递给下一个节点的隐状态H_t；

通过上一个节点传输下来的隐状态H_t-1和当前节点的输入x^t来获取两个门控状态，其中R_t是控制重置的门控，简称重置门，Z_t是控制更新的门控，简称更新门：

R_t＝σ(x^tW_xr+H_t-1W_hr+b_r)

Z_t＝σ(x^tW_xz+H_t-1W_hz+b_z)

W_xr、W_hr：分别代表重置门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_r：代表重置门中可训练的偏置参数；W_xz、W_hz：分别代表更新门中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1的可训练权重参数；b_z：代表更新门中可训练的偏置参数；σ()：代表sigmoid函数，

通过这个函数将数据变换到0-1范围内的数值，从而来充当门控信号；得到门控信号后，先使用重置门R_t来得到“重置”之后的数据h^t-1′＝H_t-1⊙R_t，再将h^t-1′与x^t进行拼接，并通过激活函数tanh将数据放缩到-1～1之间；⊙代表矩阵中的对应元素相乘，该计算只针对两个同型矩阵运算；输出结果为候选隐变量状态

其中，

具体表达式为：

W_xh、W_hh：分别代表候选隐变量状态中对于当前时间戳输入x^t和上一时间戳隐状态H_t-1进行重置后的可训练权重参数；b_h：代表候选隐变量状态中可训练的偏置参数；最后使用Z_t进行“更新记忆”阶段，输出当前时刻的隐空间变量H_t：

重置门R_t是一个0和1之间的数字，当重置门R_t接近0时代表候选隐藏层变量输出忘记上一个时间戳H_t-1的车辆轨迹信息特征，而当重置门R_t接近1时，说明此时完全将上一个时间戳的特征信息传给下一个时间戳，等价于原始的RNN计算隐藏状态；同理更新门Z_t也是一个0和1之间的数字，当更新门Z_t为1时，完全没有更新状态直接将上一个时间戳的车辆特征信息传给下一层作为输入即H_t＝H_t-1，而当更新门Z_t为0时，输出的H_t完全取决于候选隐藏状态

y^t＝σ(W_tH_t)

W_t：代表候输出对于当前时间戳的隐空间变量H_t的可训练权重参数；

利用自回归分解简化GRU网络学习目标：

p(X_1：T)＝∏_tp(X_t|X_1：t-1)

令X_1：T代表整个时序数据，而p代表其遵循的分布，

代表通过X_1：T学习到的分布；对抗生成网络的学习目标变为学习一个分布

以近似任意一个t时间点的p(X_t|X_1：t-1)；包括两个目标函数，分别限制网络学习时间序列整体的和局部的特征：

其中，Distance()是某一种衡量两种分布距离的方式，包括JS散度、KL散度或W距离；整体网络包括四部分网络结构：编码结构e、解码结构r、时间序列生成结构g和时间序列鉴别结构d；

对抗生成网络训练：

整个网络的训练过程通过编码和解码过程的训练，并伴随着对抗网络结构在隐空间上的生成进行的，该过程伴随着特征编码、表达生成以及随着时间进行循环进行；编码结构提供了隐空间，而生成对抗网络会在隐空间进行训练与生成；

编码结构和解码结构提供了时序特征和隐空间之间的映射关系，这允许对抗网络通过低维度时间序列数据之间的联系的特性表征学习进而学习高维度的时序数据特征；令h_1：T代表动态特征的隐空间变量，x_1：T代表原始分布，则通过编码结构e得到对应隐空间变量：

h_1：T＝e(x_1：T)

相反，解码结构r将隐空间的动态特征解码回到对应的特征表达空间：

编码结构e和解码结构r，均选用GRU网络进行映射；对于时间序列生成结构g和时间序列鉴别结构d都是针对隐空间变量进行生成和鉴别；

其中z_t均是随机噪声输入，

是生成器g通过随机噪声z_t和前一时间戳的生成器输出

通过GRU网络生成的隐空间变量，对于鉴别器而言，同样也作用于隐空间表达：

和分别代表向前和向后传播隐空间部分

是输出对应输入变量是真实数据的概率，例如在训练过程中h_1：T作为输入时，d结构输出值为1，最理想的状态

是鉴别器无法分辨输入变量的真实性即

和h_1：T输入后，d结构输出都为0.5；关于网络的损失函数：首先第一个损失函数L_R为了保证解码和编码之间的映射准确性，即需要保证原始分布x_1：T经过对应的隐空间表达h_1：T重构后得到的

和原始分布接近，因此L_R表达式为：

其次，生成器会在训练的过程中受到两个因素的影响，在纯开环模式下，在t时刻接收到生成器之前的生成隐空间变量

以生成下一时刻的合成向量

梯度会计算在无监督损失L_U中：

y_t：代表真实数据x_1：T作为鉴别结构d输入时，输出的结果；

代表生成数据

作为鉴别结构d输入时，输出的结果；

此外，单独依靠鉴别器的二分类的结果进行反向传播是无法使生成器捕捉到局部数据的时序条件分布特征，因此，引入第三个监督损失函数L_S以捕捉分布p(H_t|H_1：t-1)和

因此监督损失函数L_S表达式为：

综上所述，在每次训练过程中，都会获得真实的通过编码结构获得的下一时刻隐空间变量h_t和生成器合成的下一时刻隐空间变量g(h_t-1，z_t)之间的距离；定义θ_e，θ_r，θ_g，θ_d分别代表编码、解码、生成器和鉴别器网络的参数，θ_e，θ_r通过重构损失L_R和监督损失L_s进行更新迭代学习：

其中λ是一个用来平衡两个损失的且大于等于0的超参数，另一个损失函数是生成对抗网络的损失函数：

其中η是一个用来平衡两个损失的且大于等于0的超参数，其中生成器参数不仅要保证零和博弈中获得最小的损失，同时还要满足保证学习到时间内部序列之间内在关系；

利用训练好的生成器生成全新的测试场景用于智能汽车测试试验。

2.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：车辆轨迹数据采集过程中，为了提取无人机所拍摄的图像中物体距离与像素之间的对应关系并作为建立三维坐标系为后续计算速度、加速度物理量提供支撑，通过在无人机拍摄视野中摆放一个已知大小的正方体作为像素距离转化参考物，其边长为h；在无人机拍摄的图片数据中，该正方形边长所占像素个数作为距离和像素间的转化度量，通过每一个时间戳拍摄的图像与下一时间戳拍摄的图像像素变化计算得到车辆的轨迹信息。

3.根据权利要求1所述的一种基于对抗生成网络的智能汽车测试场景库构建方法，其特征在于：数据预处理程中，所述的补充缺失值：由于在有限的无人机摄像头视野范围内出现的车辆轨迹总长度各不相同，用0进行填充不完整的车辆轨迹以保证车辆轨迹矩阵的完整性，进而满足后期生成算法输出的轨迹信息真实度要求；

所述的数据清洗：删除前后相邻时间戳所有车辆轨迹信息相同的数据，单一车辆轨迹数据的前后两个时间戳轨迹数据相同代表车辆处于静止状态，但如果无人机获取的所有车辆轨迹数据都保持不变则选择删去相同的数据；

所述的验证集随机抽取处理：为了验证本方法的准确性和生成数据的真实性，随机抽取所有获得的十字交叉路***通流轨迹的20％作为最后的验证集，通过计算生成网络生成的数据集和预留的验证集中横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y，等距采样获得直方图；最后通过计算数据集和测试数据集的轨迹特征的距离来验证本方法的可靠性；

所述的归一化处理：利用数据的归一化解决生成对抗网络由于梯度消失而导致无法训练即参数不更新的问题，同时归一化的过程要关于后续网络框架使用的激活函数，sigmoid激活函数的输出范围为(0，1)之间，数据归一化需要对应该范围，数据归一化过程会将输入的数据归一化到[0，1]之间，反归一化是指将输出的数据映射回原始数据，归一化和反归一化公式分别为：

y＝y_norm*(y_nax-y_min)+y_min

x：代表输入变量，在本专利中指代位置信息、横向速度、纵向速度等；x_min：

代表输入变量中的最小值；x_max：代表输入变量中的最大值；x_norm：代表归一化后的变量；y_norm：代表需要进行反归一化的变量，本专利指代隐空间参数变量；y_max：代表反归一化后的数据上限；y_min：代表反归一化后的数据下限；

将每辆车的位置信息(x，y)、横向速度v_x、纵向速度v_y、横向加速度a_x、纵向加速度a_y和横摆角φ分别进行归一化；归一化会将所有的数据变化到固定的0与1之间。

Images