CN108038893A

CN108038893A - 一种基于混合相机阵列的十亿像素视频的生成方法

Info

Publication number: CN108038893A
Application number: CN201711278764.7A
Authority: CN
Inventors: 方璐; 刘烨斌; 王好谦; 袁肖赟; 徐志伟
Original assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Priority date: 2017-12-06
Filing date: 2017-12-06
Publication date: 2018-05-15

Abstract

本发明公开了一种基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。本发明可以快速高质量地生成十亿像素视频。

Description

一种基于混合相机阵列的十亿像素视频的生成方法

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于混合相机阵列的十亿像素视频的生成方法。

背景技术

在图像视频技术高度发展的今天，随着人们对于视频质量要求的日益提高，十亿像素视频逐渐进入大众的视野，其超高像素，使得人们可以通过多尺度图像结构，观察到更局部更具体的信息，在大场景赛事直播、大场景安控等领域有着相当重要的作用。

十亿像素视频技术，作为一种高新的视频生成***，其生成方法一般如下：以大量的微型相机阵列形成大规模的相机阵列，相机所摄区域之间设置一定程度的重合，或是直接在局部相机之间进行物理上的位置关系设定，从而将局部相机所摄图像进行变换、融合，形成最后的十亿像素视频。这种方法，对于硬件设备的要求相当之高，导致价格昂贵，相机体积巨大等问题，加之算法复杂，实现实时生成有相当难度；因此需要寻找一种更轻便的方法生成十亿像素视频。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于混合相机阵列的十亿像素视频的生成方法，可以快速高质量地生成十亿像素视频。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：

S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；

S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；

S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。

优选地，所述混合相机阵列包括一个全局相机和多个局部相机，其中所述全局相机设置在多个所述局部相机的中间。

优选地，步骤S2具体为：采用跨像素一致性网络来查找各个所述局部图像在所述全局图像中的对应图像块，其中所述跨像素一致性网络包括两个膨胀卷积网络，每个所述膨胀卷积网络包括6个膨胀卷积层和1个1*1的总卷积层。

优选地，步骤S2中具体包括：采用双线性差值方法对多个所述局部图像和所述全局图像进行上采样后，将所述局部图像中的任意一个局部图像块选作标定过的真实数据，然后计算所述全局图像中的各个全局图像块的特征f以及特征映射g_i,j，再采用特征内积计算所述局部图像块和所述全局图像块的匹配程度s_i,j＝＜f,g_i,j＞，将定义为匹配概率，计算最终的损失函数为：

其中，q_i,j是真实数据的单热矩阵；

根据所述损失函数找到与所述局部图像块相对应的匹配程度最高的所述全局图像块，即为所述局部图像块在所述全局图像中的对应图像块。

优选地，步骤S3具体为：将步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，放入到超分辨图像生成网络中，进行多尺度融合，生成融合图像，得到十亿像素视频；其中所述超分辨图像生成网络包括全局图像特征提取模块、局部图像特征提取模块和将全局图像特征和局部图像特征融合进行超分辨的预测模块。

优选地，其中全局图像特征提取模块包括16个卷积残差层和1个上采样层。

优选地，其中局部图像特征提取模块包括一个卷积层和三个特征提取块，每个所述特征提取块由一个卷积层和一个2步长的池化层组成，依次输出{1，1/2，1/4，1/8}像素比的图像特征，各自又输入到预测模块中。

优选地，其中预测模块将不同像素比的全局图像特征与局部图像特征进行融合，其中对不同图片尺度i＝{0,1,2,3}图像的融合特征图像以下式进行定义：

其中，表示对局部图像特征图进行处理的卷积核，表示通过卷积核生成局部图像特征图的二维置信度，M⁽ⁱ⁾表示归一化的二维置信度，表示融合特征图像，表示生成融合特征图像时的卷积核，F_LR表示全局图像特征图，F⁽ⁱ⁺¹⁾表示从上一层网络输出的特征图，*表示卷积算法，⊙表示矩阵点乘，δ()表示sigmod函数，relu()表示修正线性函数，SP()表示一种2倍子像素上采样方法，表示最近邻2倍上采样方法。

优选地，所述的十亿像素视频的生成方法还包括步骤S4：对步骤S3中得到的图像进行校正处理，得到校正处理后的十亿像素视频。

优选地，其中校正处理包括颜色校正、暗角校正和重合部分的融合处理。

与现有技术相比，本发明的有益效果在于：本发明提出的基于混合相机阵列的十亿像素视频的生成方法，一方面以局部相机阵列搭配全局相机的方式组合混合相机阵列，以高像素局部图像超分辨全局图的方法形成高分辨视频，另一方面省去了一般全景视频生成中繁琐的标定和计算内外参过程；该十亿像素视频的生成方法，利用深度学习，利用局部相机的高分辨率，将全局图像的分辨率提高多倍，可以快速高质量地生成十亿像素视频。

在进一步的方案中，本发明采用跨像素一致性网络来查找各个局部图像在所述全局图像中的对应图像块，通过跨像素一致性网络进行网络的训练可以获取图像中的稠密的特征点，其精度为像素级，从而可以精准地查找到各个局部相机采集的局部图像在所述全局相机采集的全局图像中的对应图像块。

附图说明

图1是本发明优选实施例的基于混合相机阵列的十亿像素视频的生成方法的流程示意图；

图2a是采用本发明优选实施例的混合相机阵列拍摄的全局低分辨率的视频截图；

图2b是图2a中的A处的局部高分辨率的视频截图；

图2c是图2b中的B处的放大的局部高分辨率的视频截图；

图3是本发明优选实施例的超分辨图像生成网络的全局图像特征提取模块的示意图；

图4是本发明优选实施例的超分辨图像生成网络的局部图像特征提取模块和预测模块的示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例的基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：

S1：采用混合相机阵列进行图像采集；

在具体实施例中，混合相机阵列是由一个低像素广角全局相机和多个高像素局部相机组成的相机阵列，通过该混合相机阵列进行同步采集，使得所有相机采集、存储同一时刻下大场景的图像，其中由于所采集的内容是大视角、远距离的事物，各个相机之间可看作是同一视角，因此可以进行有依赖图像的图像超分辨过程。

其中，在本实施例中，混合相机阵列包括一个焦距为16mm的全局摄像头和14个焦距为135mm、分辨率为4000万像素的高清局部摄像头，帧率均未15fps，其中全局摄像头设置在14个局部摄像头的中间。如图2a是采用该混合相机阵列采集到的视频截图实例，图2b是图2a中的A处的放大示意图；图2c是图2b中的B处的放大示意图。

S2：查找各个局部相机采集的局部图像在所述全局相机采集的全局图像中的对应图像块；

在具体实施例中，将多个局部图像和全局图像的特征学习过程视为一个分类问题，因此设计了一个跨像素一致性网络(Cross-scale Correspondence Net，以下简称为CC-NET)来查找每个局部图像在全部图像中的对应图像块；通过CC-NET能给出多个局部图像和全局图像的特征匹配概率图，从而可以指导在全局图像中找到局部图像所对应的图像块。

具体地，CC-NET包括两个膨胀卷积网络，两个膨胀卷积网络的结构和参数均相同，包含6个膨胀卷积层和一个1*1的最终总卷积层，如表1所示。

表1膨胀卷积网络的结构参数

层次	卷积核	通道数	膨胀比	接受域
					卷积层1+批量归一化	3×3	16	1	3×3
卷积层2+批量归一化	3×3	32	1	5×5
					卷积层3+批量归一化	3×3	64	2	9×9
卷积层4+批量归一化	3×3	64	4	17×17
					卷积层5+批量归一化	3×3	64	8	33×33
卷积层6+批量归一化	3×3	128	16	65×65
					最终卷积层	1×1	256	1	65×65

利用双线性差值方法对多个局部图像和全局图像进行上采样后，采用CC-NET进行网络的训练；将一个192*192的局部图像块选作标定过的真实数据(GroundTruth)，然后计算全局图像块的特征f以及特征映射g_i,j，再用内积计算两者的匹配程度s_i,j＝＜f,g_i,j＞，将定义为匹配概率，并设计了一个柔性最大传输函数层(softmax layer)来计算它，得到最终的损失函数如下：

其中，q_i,j是一个代表真实数据的单热矩阵；上式表示p,q的交叉熵。

通过上述CC-NET进行训练后，找到192*192的局部图像块在全局图像中对应的128*128全局图像块，使得两者的特征内积s最大，也即匹配程度最高，从而找到各个局部图像块在全局图像中的对应关系。

本申请中通过采用CC-NET进行网络的训练去获取图像中的稠密的(大量的、足够的)特征点，其精度为像素级，从而可以精准地查找到各个局部相机采集的局部图像在所述全局相机采集的全局图像中的对应图像块；而现有技术中进行图像匹配通常采用块匹配算法来进行查找与匹配，使得平均端点误差指标最小或是二阶拉式距离最小，但是这种方法误差较大，因此不适用于该超分辨问题，因为随着块匹配误差的增大，局部高清图对于局部图超分辨所能提供的信息就大大减少，导致结果与实际差异很大。

S3：根据步骤S2中查找到的各个局部图像在全局图像中的对应图像块，将各个局部图像与全局图像进行多尺度融合，生成融合图像；

在具体实施例中，将通过CC-NET查找到的各个局部图像在全局图像中的对应图像块，放入到超分辨图像生成网络中(Super-resolution image Synthesis Net,以下简称为SS-NET)，进行多尺度融合，生成最终的高分辨率图像。

具体地：SS-NET的结构包括一个在ImageNet中预先训练好的低像素图特征提取模块(也即全局图像特征提取模块)(如图3所示)和一个高像素图特征提取模块(也即局部图像特征提取模块)以及核心的将低分辨图像特征和高分辨图像特征融合进行超分辨的预测模块(如图4所示)：

如图3所示，低像素图特征提取模块包括16个卷积残差层，配合越层连接方法，生成特征图，最后再加上一个利用最近邻方法的上采样层，这个网络在ImageNet数据集中进行了预训练；如图4的上半部分所示，高像素图特征提取模块由一个卷积层和三个特征提取块组成，其中特征提取块又由一个卷积层和一个2步长的池化层组成，依次输出{1，1/2，1/4，1/8}像素比的图像特征，各自又输入到预测模块中；如图4的下半部分所示，预测模块将不同像素比的高像素图特征与低像素图特征进行融合，最后输出预测图像；其中对不同图片尺度i＝{0,1,2,3}图像的融合特征图像以如下形式定义：

对图片尺度i(i＝{0,1,2,3})，其中，表示对高清图特征(局部图像特征图)进行处理的卷积核，表示通过卷积核生成高清图特征(局部图像特征图)的二维置信度(负无穷到正无穷之间)，而M⁽ⁱ⁾表示归一化的二维置信度，表示融合特征图像，表示生成融合特征图像时的卷积核，F_LR表示低像素图特征图(全局图像特征图)，F⁽ⁱ⁺¹⁾表示从上一层网络输出的特征图(与F_LR对应，是从上一层网络输入的特征和上一层网络融合后的特征的卷积)，*表示卷积算法，⊙表示矩阵点乘(elementwisemultiplication)，δ()表示sigmod函数，relu()表示修正线性函数，SP()表示一种2倍子像素上采样方法，表示最近邻2倍上采样方法。

其中，每个8*8的重合区域都会生成64*64的预测结果图，再使用滑窗平均法去进行融合。

S4：对步骤S3中得到的融合图像进行校正处理，其中校正处理包括颜色校正、暗角校正和重合部分的融合处理。

根据CC-NET和SS-NET，获得了低像素全局图像中针对每一个局部图像的超分辨图像序列；超分辨过程，由于局部相机所摄图像的颜色、光照等问题，不可避免地会使得最后得到的超分辨图像存在着一定程度的颜色差异以及图像暗角。针对颜色差异，由于低像素全局图像颜色是一致的，因此将每一个图以全局图像颜色模型进行映射，随后再加以暗角修正，以进行最终的图像融合。

另外，由于相机位置物理结构上的原因，局部图像不可避免地会产生一定程度的重合，对于重合部分，由于上述步骤是对原图局部图像块进行了超分辨，而并非是将局部图像进行变换，从根本上解决了局部图像块配准的难题，不会产生视差、鬼影等问题，因此最后十亿像素图像的融合，即使相邻图像融合问题，在具体实施例中，为了追求时间效率，采用滑动窗口融合的算法，能够使得重合区域平滑过渡，无明显缝合线。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种基于混合相机阵列的十亿像素视频的生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的十亿像素视频的生成方法，其特征在于，所述混合相机阵列包括一个全局相机和多个局部相机，其中所述全局相机设置在多个所述局部相机的中间。

3.根据权利要求1所述的十亿像素视频的生成方法，其特征在于，步骤S2具体为：采用跨像素一致性网络来查找各个所述局部图像在所述全局图像中的对应图像块，其中所述跨像素一致性网络包括两个膨胀卷积网络，每个所述膨胀卷积网络包括6个膨胀卷积层和1个1*1的总卷积层。

4.根据权利要求3所述的十亿像素视频的生成方法，其特征在于，步骤S2中具体包括：采用双线性差值方法对多个所述局部图像和所述全局图像进行上采样后，将所述局部图像中的任意一个局部图像块选作标定过的真实数据，然后计算所述全局图像中的各个全局图像块的特征f以及特征映射g_i,j，再采用特征内积计算所述局部图像块和所述全局图像块的匹配程度s_i,j＝＜f,g_i,j＞，将定义为匹配概率，计算最终的损失函数为：

<mrow> <mi>L</mi> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <msub> <mi>q</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>logp</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow>

其中，q_i,j是真实数据的单热矩阵；

5.根据权利要求1所述的十亿像素视频的生成方法，其特征在于，步骤S3具体为：将步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，放入到超分辨图像生成网络中，进行多尺度融合，生成融合图像，得到十亿像素视频；其中所述超分辨图像生成网络包括全局图像特征提取模块、局部图像特征提取模块和将全局图像特征和局部图像特征融合进行超分辨的预测模块。

6.根据权利要求5所述的十亿像素视频的生成方法，其特征在于，其中全局图像特征提取模块包括16个卷积残差层和1个上采样层。

7.根据权利要求5所述的十亿像素视频的生成方法，其特征在于，其中局部图像特征提取模块包括一个卷积层和三个特征提取块，每个所述特征提取块由一个卷积层和一个2步长的池化层组成，依次输出{1，1/2，1/4，1/8}像素比的图像特征，各自又输入到预测模块中。

8.根据权利要求5所述的十亿像素视频的生成方法，其特征在于，其中预测模块将不同像素比的全局图像特征与局部图像特征进行融合，其中对不同图片尺度i＝{0,1,2,3}图像的融合特征图像以下式进行定义：

其中，表示对局部图像特征图进行处理的卷积核，表示通过卷积核生成局部图像特征图的二维置信度，M⁽ⁱ⁾表示归一化的二维置信度，表示融合特征图像，表示生成融合特征图像时的卷积核，F_LR表示全局图像特征图，F⁽ⁱ⁺¹⁾表示从上一层网络输出的特征图，*表示卷积算法，表示矩阵点乘，δ()表示sigmod函数，relu()表示修正线性函数，SP()表示一种2倍子像素上采样方法，表示最近邻2倍上采样方法。

9.根据权利要求1至8任一项所述的十亿像素视频的生成方法，其特征在于，还包括步骤S4：对步骤S3中得到的图像进行校正处理，得到校正处理后的十亿像素视频。

10.根据权利要求9所述的十亿像素视频的生成方法，其特征在于，其中校正处理包括颜色校正、暗角校正和重合部分的融合处理。