CN111882661A - 一种视频的立体场景重建方法 - Google Patents

Abstract

本发明提供了一种基于视频的立体场景重建方法，其中，该方法包括：步骤1.训练样本处理，把视频帧和激光雷达扫描到的稀疏深度图帧组合为一定长度的帧序列，用于训练；步骤2.模型训练，将预处理后的样本中的视频帧和稀疏深度图帧按顺序输入模型，与样本真实值计算损失后，使用反向传播更新模型参数；步骤3.将测试数据逐帧输入模型，得到每一帧对应的深度重建结果。本发明通过提取视频中的连续特征，可以得到更准确的重建结果。

Description

一种视频的立体场景重建方法

技术领域

本申请涉及立体场景重建的技术领域，具体而言，涉及一种基于视频的立体场景重建方法。

背景技术

近年来，自动驾驶、虚拟现实等技术被越来越多地应用在生活中，从传感器采集到的数据中重建出立体场景是实现这些技术的重要一步。现有的技术使用一些传统图形学方法、使用RGB图片导引或利用场景的结构信息来对立体场景进行重建。这些方法均把不同时刻的场景当作孤立的对象处理，没有考虑时间上的连续性这一现实场景的重要特性。通过利用视频这一数据模态中的连续性信息，可以提高场景的重建效果。

传统的利用视频的连续性的手段包括利用相邻帧梯度、特征点匹配、位姿估计等。神经网络则使用循环结构将历史特征编码在隐藏态中。对于图像序列，循环结构将带来较大的空间开销和较高的训练难度。

发明内容

本发明的目的是通过循环网络结构，提取视频中的时间连续特征，利用场景的连续性，得到更好的场景重建结果。

本发明的技术方案是提供了一种基于视频的立体场景重建方法，其特征在于包括如下步骤：

步骤1、训练样本处理，将视频帧和激光雷达帧扫描到的稀疏深度帧调整到合适的大小，将用作监督数据的稠密深度帧调整到合适的大小后取一个合适大小的子图；将预处理后的视频帧、稀疏深度帧和稠密深度帧划分为一定长度的帧序列，作为训练数据；

步骤2、进行模型训练，对于每一个预处理后的帧序列，将帧序列中的每一帧按照顺序输入模型，得到每一帧的预测结果；将每一帧的预测结果和每一帧的监督数据输入损失函数中，使用反向传播的方法对模型的权重参数进行更新；

步骤3、使用步骤2中训练好的模型进行预测。

进一步地，步骤1中，使用KITTI数据集中的480个帧序列，21000帧作为训练数据集，把这些帧序列切分为若干个长度为4的帧序列，然后将视频帧和激光雷达帧扫描到的稀疏深度帧调整到375*1242像素大小，将用作监督数据的稠密深度帧调整到375*1242像素大小后取上方370*1242像素的子图。

进一步地，步骤2中包括：

步骤2.1、随机选择一个未被选择过的训练序列输入模型；

步骤2.2、对于一个训练序列((I¹，d¹，g¹)，(I²，d²，g²)，...，(I⁴，d⁴，g⁴))，其中：I^k、d^k，和g^k分别是输入视频帧、输入稀疏深度帧和用于监督的半稠密深度帧，按顺序将每一帧输入模型，得到预测帧序列(p¹，p²，...，p⁴)。然后按照如下方式计算损失：

其中，L₁和L₂是范数损失函数，其中，L₁为平均绝对值误差，L₂为平均平方误差。

步骤2.3、使用步骤2.2中描述的损失函数计算梯度，并使用lr＝0.001，β₁＝0.9，β₂＝0.999的ADAM优化器更新网络参数，其中lr是优化器的学习率，β₁和β₂是权重衰减超参数；

步骤2.4、重复步骤2.1到步骤2.3直到所有序列都被选择过，然后将所有序列都标记为未被选择过；

步骤2.5、重复步骤2.1到步骤2.4直到模型收敛。

进一步地，步骤3中包括：

步骤3.1、将输入视图视频帧和稀疏深度帧处理成步骤1中的大小并按照时间顺序形成一个帧序列；

步骤3.2、对于帧序列中的每一帧，将其输入编码器中得到时间连续性的特征：

步骤3.3、将步骤3.2中得到的时间连续性特征输入稠密深度解码器，得到当前帧的重建结果。

本申请的有益效果是：使用循环神经网络结构，提取和维持视频的历史信息，通过场景的连续特征，得到更为准确的立体场景重建结果。

附图说明

图1是根据本申请的一个实施例的基于视频的立体场景重建方法的示意流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，该实施例提供了一种基于视频的立体场景重建方法，包括如下步骤：

步骤1、训练样本处理，将视频帧和激光雷达帧扫描到的稀疏深度帧调整到合适的大小，将用作监督数据的稠密深度帧调整到合适的大小后取一个合适大小的子图；将预处理后的视频帧、稀疏深度帧和稠密深度帧划分为一定长度的帧序列，作为训练数据；

该步骤中，使用KTTTI数据集中的480个帧序列，约21000帧作为训练数据集，把这些帧序列切分为若干个长度为4的帧序列，然后将视频帧和激光雷达帧扫描到的稀疏深度帧调整到375*1242大小，将用作监督数据的稠密深度帧调整到375*1242大小后取上方370*1242像素的子图。

步骤2、进行模型训练，对于每一个预处理后的帧序列，将帧序列中的每一帧按照顺序输入模型，得到每一帧的预测结果。将每一帧的预测结果和每一帧的监督数据输入损失函数中，使用反向传播的方法对模型的权重参数进行更新。

该步骤中，选择L₁和L₂损失权

重超参数λ₁＝0.2、λ₂＝0.8，以及一组序列损失权重(w¹，w²，w³，w⁴)＝(0.8，0.9，1.0，1.0)。然后进行如下步骤

步骤2.1、随机选择一个未被选择过的训练序列输入模型。

步骤2.2、对于一个训练序列((I¹，d¹，g¹)，(I²，d²，g²)，...，(I⁴，d⁴，g⁴))，其中I^k、d^k，和g^k分别是输入视频帧、输入稀疏深度帧和用于监督的半稠密深度帧，按顺序将每一帧输入模型，得到预测帧序列(p¹，p²，...，p⁴)。然后按照如下方式计算损失：

其中，其中，L₁和L₂是范数损失函数，其中，L₁为平均绝对值误差，L₂为平均平方误差。

步骤2.3、使用步骤2.2中描述的损失函数计算梯度，并使用lr＝0.001，β₁＝0.9，β₂＝0.999的ADAM优化器更新网络参数，其中lr是优化器的学习率，β₁和β₂是权重衰减超参数。

步骤2.4、重复步骤2.1到步骤2.3直到所有序列都被选择过，然后将所有序列都标记为未被选择过。

步骤2.5、重复步骤2.1到步骤2.4直到模型收敛。

步骤3、使用步骤2中训练好的模型进行预测

步骤3.1、将输入视图视频帧和稀疏深度帧处理成步骤1中的大小并按照时间顺序形成一个帧序列。

步骤3.2、对于帧序列中的每一帧，将其输入编码器中得到时间连续性的特征：

步骤3.2.1、对于视图视频帧，将其输入到视图特征编码器中，得到编码后的视图特征。具体地，视图特征编码器依次包括：：7*7卷积；2*2的平均池化；1*1卷积；两个Resblock；2*2的平均池化；一个Resblock；2*2的平均池化。

步骤3.2.2、对于稀疏深度帧，将其输入到稀疏深度特征编码器，得到连续稀疏深度特征，具体地，稀疏深度特征编码器依次包括：7*7卷积；2*2平均池化；1*1卷积；一个Resblock；一个CLSTM；一个Resblock；一个CLSTM；2*2的平均池化；一个Resblock；一个CLSTM；2*2的平均池化。其中，Resblock主要提取当前帧的特征，CLSTM主要融合当前帧和历史帧的特征，得到连续性特征，并对此特征进行维持。

步骤3.2.3、将步骤3.2.1得到的视图特征和步骤3.2.2.得到的连续稀疏深度特征连接，得到完整的编码后的时间连续性特征。

步骤3.3、将步骤3.2中得到的时间连续性特征输入稠密深度解码器，得到当前帧的重建结果，具体地，稠密深度解码器依次包括：1*1卷积；双线性上采样；残差连接；Resblock；上采样；残差连接；Resblock；残差连接；上采样；Resblock；批归一化；ReLU激活函数；1*1卷积；

步骤3中所提到的Resblock，依次包含：其中Resblock依次包括：批归一化；ReLU激活函数；3*3卷积；批归一化；ReLU激活函数；3*3卷积；与输入特征的残差连接；3*3卷积；

步骤3中所提到的CLSTM，采用如下方式计算：

r_t＝[x_t，h_t-1]

h_t＝o_t*tanh(C_t)

其中，x，o，h，C分别是输入特征、输出特征、网络隐藏状态和网络细胞状态；W_fr，W_fc，W_ir，W_ic，W_c，W_or，W_oc分别是卷积的可训练权重参数；b_f，b_i，b_c，b_o分别是卷积的可训练偏置参数；*和

分别代表哈达玛积和卷积。σ代表sigmoid函数，[]代表张量连接。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (4)

1.一种基于视频的立体场景重建方法，其特征在于包括如下步骤：

步骤1、训练样本处理，将视频帧和激光雷达帧扫描到的稀疏深度帧调整到合适的大小，将用作监督数据的稠密深度帧调整到合适的大小后取一个合适大小的子图；将预处理后的视频帧、稀疏深度帧和稠密深度帧划分为一定长度的帧序列，作为训练数据；

步骤2、进行模型训练，对于每一个预处理后的帧序列，将帧序列中的每一帧按照顺序输入模型，得到每一帧的预测结果；将每一帧的预测结果和每一帧的监督数据输入损失函数中，使用反向传播的方法对模型的权重参数进行更新；

步骤3、使用步骤2中训练好的模型进行预测。

2.根据权利要求1所述的基于视频的立体场景重建方法，其特征在于，步骤1中，使用KITTI数据集中的480个帧序列，21000帧作为训练数据集，把这些帧序列切分为若干个长度为4的帧序列，然后将视频帧和激光雷达帧扫描到的稀疏深度帧调整到375*1242像素大小，将用作监督数据的稠密深度帧调整到375*1242像素大小后取上方370*1242像素的子图。

3.根据权利要求1所述的基于视频的立体场景重建方法，其特征在于，步骤2中包括：

步骤2.1、随机选择一个未被选择过的训练序列输入模型；

步骤2.2、对于一个训练序列((I¹,d¹,g¹),(I²,d²,g²),…,(I⁴,d⁴,g⁴))，其中：I^k、d^k,和g^k分别是第k帧输入视频帧、输入稀疏深度帧和用于监督的半稠密深度帧，按顺序将每一帧输入模型，得到预测帧序列(p¹,p²,…,p⁴)。然后按照如下方式计算损失：

其中，L₁和L₂是范数损失函数，其中，L₁为平均绝对值误差，L₂为平均平方误差。

步骤2.3、使用步骤2.2中描述的损失函数计算梯度，并使用lr＝0.001,β₁＝0.9,β₂＝0.999的ADAM优化器更新网络参数，其中lr是优化器的学习率，β₁和β₂是权重衰减超参数；

步骤2.4、重复步骤2.1到步骤2.3直到所有序列都被选择过，然后将所有序列都标记为未被选择过；

步骤2.5、重复步骤2.1到步骤2.4直到模型收敛。

4.根据权利要求1所述的基于视频的立体场景重建方法，其特征在于，步骤3中包括：

步骤3.1、将输入视图视频帧和稀疏深度帧处理成步骤1中的大小并按照时间顺序形成一个帧序列；

步骤3.2、对于帧序列中的每一帧，将其输入编码器中得到时间连续性的特征：

步骤3.3、将步骤3.2中得到的时间连续性特征输入稠密深度解码器，得到当前帧的重建结果。

Images