CN118212132A - 一种基于阵列相机的亿级像素视频合成方法 - Google Patents

Abstract

本发明涉及图像处理和视频合成技术领域，公开了一种基于阵列相机的亿级像素视频合成方法，通过多台相机捕获图像；对多台相机捕获到的图像，在构建出的多维尺度空间上，进行特征点的关键点提取；进行特征点匹配；进行图像定位；进行尺度对齐；进行扭曲校正。本发明用于为每一个长焦相机找到其在短焦相机中的对应区域，并通过非均匀图像扭转算法将各长焦相机获取的视频与短焦相机获取到的视频中的对应区域对齐，再将扭曲后的较高分辨率的长焦视频嵌入到较低分辨率的短焦视频中，最终合成亿级像素分辨率视频。

Description

一种基于阵列相机的亿级像素视频合成方法

技术领域

本发明涉及图像处理和视频合成技术领域，尤其涉及一种基于阵列相机的亿级像素视频合成方法。

背景技术

近年来，计算机视觉方面的检测和识别算法在性能上取得了巨大的突破。然而，图像和视频的质量是影响计算机视觉算法准确率的重要因素；在现有的单目成像***下大视场和高分辨率细节之间存在难以调和的矛盾，计算机视觉算法难以兼顾检测识别的范围与检测识别的准确度。

对于传统的单目相机，图像传感器的像素数量决定了该相机能够捕获到的最大信息量。在固定的像素数量下，单目相机捕获图像的视野和像素密度呈现反比例关系，即扩大视场的同时必然会导致像素密度降低。例如鱼眼相机，视场角能够达到180°，具有宽广的视野范围，但鱼眼相机捕获的图像像素密度低，局部物体的清晰度较差，同时成像的边缘区域会出现图像畸变的问题。由于光线透过凸透镜时会出现光衍射、几何像差和色差等问题，因此图像传感器像素数量线性增长的同时，配套的镜头尺寸成指数倍率增长，单目相机在超高分辨率的发展道路上受到了光学成像的瓶颈限制。

包括人类在内的大多数肉食性哺乳动物使用双目视觉***感知外界信息，而昆虫和甲壳类等节肢动物则演化出了复眼***。多目视觉***相比于双目视觉***，能够捕获更宽广、更清晰的图像，一些特殊的复眼***还能够在强光或暗光条件下有效地捕获外界视觉信息。得益于生物学和医学等学科在生物视觉方面完善的研究，科研人员得以充分了解自然界生物视觉的多目采集的原理，基于仿生原理，科研人员提出使用多相机组合(阵列相机)的方法模拟生物的复眼***以实现更高质量的视频捕获和合成。

阵列相机是同时使用多台相机进行视频捕获，借助图像处理算法进行图像增强的一项技术。阵列相机技术能够用于提升视频的分辨率、扩大视频的视野、提升视频的帧率，提升图像的动态范围等，例如，使用多台高分辨相机分别捕获相邻视野范围内的视频，通过图像配准算法计算不同相机捕获图像的位置，基于图像的位置信息进行图像拼接，能够合成大视场超高分辨率视频。

现有的阵列相机一般用在手机等个人终端中，例如苹果、三星、华为等手机品牌通过三个或三个以上的镜头组合，来满足使用者日常生活或游玩的拍照或录像的需求；然而，若将阵列相机用于社会交通***等，进行安全监测、违章记录存证等，则一般阵列相机的画面清晰度和像素值无法满足正式且严肃的场合需求。

发明内容

为了克服现有技术的缺陷，本发明所要解决的技术问题是：如何使阵列相机的画面清晰度和像素值满足社会交通***等的、正式且严肃的场合需求。

为解决上述技术问题，本发明提供一种基于阵列相机的亿级像素视频合成方法，包括如下步骤：

S1：通过多台相机捕获图像；

S2：对多台相机捕获到的图像，在构建出的多维尺度空间上，进行特征点的关键点提取；

S3：进行特征点匹配；

S4：进行图像定位；

S5：进行尺度对齐；

S6：进行扭曲校正。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述多台相机至少包括：一台短焦相机和三台长焦相机，所述短焦相机用于捕获大视场图像，采集预定场景的低分辨率全局参考视频；所述长焦相机用于捕获局部高清图像，采集预定场景内的不同局部高分辨率视频。

优选地，所述短焦相机采用16mm焦距的镜头，所述长焦相机采用25-135mm可变焦距镜头；多台相机的图像传感器均以每秒30帧的速率拍摄分辨率为4000×3000、色深为10bit的图像。

优选地，多台相机均安装在可移动的万向云台上，便于实现视角的变换。

优选地，所述长焦相机沿长度为50cm的滑轨自由移动。

优选地，步骤S2包括：

S2.1：检测尺度空间极值点；使用盒式滤波器和积分图像实现高效的图像尺度空间构建，分别构建出短焦相机图像和长焦相机图像的Hessian矩阵；

S2.2：确定特征点方向；依次计算每个特征点邻接扇形区域内的Haar小波特征值，选取特征值最大的扇形区域中心方向为特征点的主方向；

S2.3：生成特征点描述子；在关键点邻域内划分d×d个子区域，每个子区域内计算Haar小波特征值在x方向和y方向上值的累加和绝对值的累加，共得到d×d×4个特征点描述子。

优选地，步骤S3包括：

S3.1：令K-D树中待划分的数据维度K＝d×d×4，对描述子进行排序，取中位数M作为K-D树的划分依据；所有小于M的描述子作为K-D树的左子树，大于等于M的描述子作为K-D树的右子树；

S3.2：对于描述子的每一个维度，使用相同的方法构建K-D树；

S3.3：K-D树构建完成后，进行查找操作。

优选地，步骤S4包括：

S4.1：根据透镜成像原理，记真实空间中一点P(X,Y,Z)投影到图像传感器上点p(x,y)的投影映射矩阵为R；

S4.2：通过选取真实空间中的某一特定平面来简化投影映射矩阵R；

S4.3：建立投影矩阵；

S4.4：将真实世界空间降维到平面，进而得到两个图像传感器平面之间的投影变换关系；

S4.5：通过图像投影映射矩阵将第一图像传感器所在平面变换到第二图像传感器所在平面。

优选地，步骤S5包括：

S5.1：使用变换后的凸四边形面积与全局图像的面积比例计算二者的尺度比例关系；

S5.2：运用双线性插值算法依次在水平方向和垂直方向上进行插值操作；

S5.3：找出所有的长焦相机与短焦相机尺度比例中的最大值；

S5.4：将短焦相机图像使用双线性插值算法放大。

优选地，步骤S6包括：

S6.1：运用透视变换来描述三维空间中视角的变化；

S6.2：对透视变换矩阵拆解分析；

S6.3：运用直方图匹配法进行亮度均衡。

综上所述，为了能够合成一个最优的大视场超高分辨率视频，首先将短焦相机调整到需要拍摄的视野区域，然后通过短焦相机捕获到的视频计算出当前大视场视野的时间熵图；在时间熵图中搜索到高信息价值的区域后，手动调整每台长焦相机云台的方向，使长焦相机的视角覆盖需要捕获高清视野的区域。

与现有技术相比，本发明能够产生有益的技术效果如下：

1.本发明能够自由组合、使用不同焦距的相机，用以合成超高分辨率视频；

2.本发明提出使用基于特征点匹配的跨尺度图像匹配方法定位长焦相机的位置并计算所有相机的尺度比例关系；

3.本发明使用插值放大算法将所有相机的图像调整到同一尺度；

4.本发明使用单应性变换解决不同相机位置和视角的差异导致的嵌入图像的断层问题，提高阵列相机图像嵌入的平滑性；

5.本发明利用亮度均衡算法解决不同相机捕获的图像亮度不一致的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于阵列相机的亿级像素视频合成方法的步骤流程图；

图2为多台相机的正面设置视图；

图3为多台相机的侧面设置视图；

图4(a)至(f)为本发明的亿级像素视频合成效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1所示，其为本发明的基于阵列相机的亿级像素视频合成方法的步骤流程图；所述合成方法包括如下步骤：

S1：通过多台相机捕获图像；其中，所述多台相机至少包括：一台短焦相机(亦称为“广角相机”)和三台长焦相机，但不以此为限；请参照图2和图3所示，其中，图2为多台相机的正面设置视图，图3为多台相机的侧面设置视图；具体地，所述短焦相机用于捕获大视场图像，采集预定场景的低分辨率全局参考视频；所述长焦相机用于捕获局部高清图像，采集预定场景内的不同局部高分辨率视频；

优选地，所述短焦相机采用16mm焦距的镜头；

优选地，所述长焦相机采用25-135mm可变焦距镜头；

优选地，多台相机的图像传感器均以每秒30帧的速率拍摄分辨率为4000×3000、色深为10bit的图像；

优选地，多台相机均安装在可移动的万向云台上，便于实现视角的变换；

优选地，所述长焦相机沿长度为50cm的滑轨自由移动。

S2：对多台相机捕获到的图像，在构建出的多维尺度空间上，进行特征点的关键点提取；其中，所述图像包括所述短焦相机捕获到的大视场图像，以及所述长焦相机捕获到的局部高清图像；具体包括如下步骤：

S2.1：检测尺度空间极值点；使用盒式滤波器和积分图像实现高效的图像尺度空间构建，分别构建出短焦相机图像和长焦相机图像的Hessian矩阵(黑塞矩阵)为：

S2.2：确定特征点方向；依次计算每个特征点邻接扇形区域内的Haar小波特征值，选取特征值最大的扇形区域中心方向为特征点的主方向；

S2.3：生成特征点描述子；在关键点邻域内划分d×d个子区域，每个子区域内计算Haar小波特征值在x方向和y方向上值的累加和绝对值的累加，共得到d×d×4个特征点描述子。

S3：进行特征点匹配；具体包括如下步骤：

S3.1：令K-D树中待划分的数据维度K＝d×d×4，对描述子进行排序，取中位数M作为K-D树的划分依据；所有小于M的描述子作为K-D树的左子树，大于等于M的描述子作为K-D树的右子树；

S3.2：对于描述子的每一个维度，使用相同的方法构建K-D树；

S3.3：K-D树构建完成后，进行查找操作；具体地，由根节点向叶子节点进行搜索，到叶子节点停止，在当前维度中搜索到的特征点不一定是距离最小的特征点；

优选地，使用BBF算法进行回溯操作；具体地，首先创建一个优先队列；然后在回溯搜索的过程中，将每个特征点在当前维度的距离存入队列，同时把该节点的子节点也存入队列；最后，在优先队列中按顺序进行回溯查询。

S4：进行图像定位；具体包括如下步骤：

S4.1：根据透镜成像原理，记真实空间中一点P(X,Y,Z)投影到图像传感器上点p(x,y)的投影映射矩阵为R，则点P、点p和投影映射矩阵R存在如下关系：

S4.2：真实空间中点P(X,Y,Z)与投影到图像传感器上点p(x,y)是满射关系，即以点p为起点，向点P方向做一条射线，真实空间中在这条射线上的所有点均会投影到图像传感器上的点p，故可以通过选取真实空间中的某一特定平面来简化投影映射矩阵R，选取真实世界坐标系中Z＝0这一平面，映射关系可以简化如下：

S4.3：真实世界空间被简化为平行于图像传感器的平面，该平面上的点与投影到图像传感器上的点是一一映射关系。使用H表示投影矩阵，即：

x＝HX

S4.4：将真实世界空间降维到平面，该平面与图像传感器平面的投影变换关系被称为单应性变换，矩阵H称为单应性矩阵；将单应性变换作进一步引申，可以得到两个图像传感器平面之间的投影变换关系。两台相机同时捕获同一真实世界平面图像时，有：

S4.5：以单应性矩阵H₂₁表示第一图像传感器所在平面变换到第二图像传感器所在平面的图像投影映射矩阵；

令H₂₁矩阵最后一个元素为1，可得：

S5：进行尺度对齐；具体包括如下步骤：

S5.1：使用变换后的凸四边形面积与全局图像的面积比例计算二者的尺度比例关系。基于凸四边形四顶点坐标的面积计算公式如下，其中，Area_L表示变换后长焦相机图像的面积，P[i].x和P[i].y表示变换后的长焦相机图像四个顶点的横坐标和纵坐标，n＝4；最终得到短焦相机图像与某长焦相机图像的尺度比例为：

S5.2：对要新增的像素点，其周围的四个像素点Q₁₁(x₁,y₁)、Q₁₂(x₁,y₂)、Q₂₁(x₂,y₁)、Q₂₂(x₂,y₂)的像素值分别为f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)；运用双线性插值算法首先在水平方向上进行两次插值操作：

然后在垂直方向上再进行一次插值操作：

S5.3：找出所有的长焦相机与短焦相机尺度比例中的最大值记为max_ratio：

max_ratio＝Max(scale_ratio)

S5.4：将短焦相机图像使用双线性插值算法放大max_ratio倍，不同长焦相机图像对应的放大比例记为resize_ratio，计算方法如下：

S6：进行扭曲校正；具体包括如下步骤：

S6.1：运用透视变换(Perspective transformation)来描述三维空间中视角的变化，其变换公式为：

x′＝Tx

S6.2：对透视变换矩阵拆解分析：

其中，T₁表示图像的线性变换，T₂表示图像的透视变换，T₃表示图像的平移变换：

T₂＝[a₁₃ a₂₃]^T

T₃＝[a₃₁ a₃₂]

S6.3：运用直方图匹配法进行亮度均衡，其中，输入长焦相机图像I_l及对应位置的短焦相机图像I_g，输出亮度均衡的长焦相机图像I″′_local；具体地，

1)I′_local←I_local-均值(I_local)；

3)I″′_local←I_local+(均值(I″_local)-均值(I_local))。

请参照图4(a)至(f)所示的亿级像素视频合成效果图，由此，本发明提供一种基于阵列相机的亿级像素视频合成方法，先对不同视角的相机捕获的图像进行特征匹配和定位，然后进行图像的嵌入和扭曲校正，最后对不同图像进行亮度均衡。

综上所述，本发明运用视觉信号非同分布性原理，使用一台短焦相机捕获大视场全局图像，使用多台长焦相机捕获局部高清图像；本发明运用非结构化嵌入算法，稀疏地分配长焦相机以适应不同场景的拍摄需求，实现低成本高信息量的大视场监控；本发明还运用仿生原理，模拟人眼视觉范围。由此，本发明用于为每一个长焦相机找到其在短焦相机中的对应区域，并通过非均匀图像扭转算法将各长焦相机获取的视频与短焦相机获取到的视频中的对应区域对齐，再将扭曲后的较高分辨率的长焦视频嵌入到较低分辨率的短焦视频中，最终合成亿级像素分辨率视频。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于阵列相机的亿级像素视频合成方法，其特征在于，包括如下步骤：

S1：通过多台相机捕获图像；

S2：对多台相机捕获到的图像，在构建出的多维尺度空间上，进行特征点的关键点提取；

S3：进行特征点匹配；

S4：进行图像定位；

S5：进行尺度对齐；

S6：进行扭曲校正。

2.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，所述多台相机至少包括：一台短焦相机和三台长焦相机，所述短焦相机用于捕获大视场图像，采集预定场景的低分辨率全局参考视频；所述长焦相机用于捕获局部高清图像，采集预定场景内的不同局部高分辨率视频。

3.根据权利要求2所述的基于阵列相机的亿级像素视频合成方法，其特征在于，所述短焦相机采用16mm焦距的镜头，所述长焦相机采用25-135mm可变焦距镜头；多台相机的图像传感器均以每秒30帧的速率拍摄分辨率为4000×3000、色深为10bit的图像。

4.根据权利要求1至3任一项所述的基于阵列相机的亿级像素视频合成方法，其特征在于，多台相机均安装在可移动的万向云台上，便于实现视角的变换。

5.根据权利要求2或3所述的基于阵列相机的亿级像素视频合成方法，其特征在于，所述长焦相机沿长度为50cm的滑轨自由移动。

6.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，步骤S2包括：

S2.1：检测尺度空间极值点；使用盒式滤波器和积分图像实现高效的图像尺度空间构建，分别构建出短焦相机图像和长焦相机图像的Hessian矩阵；

S2.2：确定特征点方向；依次计算每个特征点邻接扇形区域内的Haar小波特征值，选取特征值最大的扇形区域中心方向为特征点的主方向；

S2.3：生成特征点描述子；在关键点邻域内划分d×d个子区域，每个子区域内计算Haar小波特征值在x方向和y方向上值的累加和绝对值的累加，共得到d×d×4个特征点描述子。

7.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，步骤S3包括：

S3.1：令K-D树中待划分的数据维度K＝d×d×4，对描述子进行排序，取中位数M作为K-D树的划分依据；所有小于M的描述子作为K-D树的左子树，大于等于M的描述子作为K-D树的右子树；

S3.2：对于描述子的每一个维度，使用相同的方法构建K-D树；

S3.3：K-D树构建完成后，进行查找操作。

8.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，步骤S4包括：

S4.1：根据透镜成像原理，记真实空间中一点P(X,Y,Z)投影到图像传感器上点p(x,y)的投影映射矩阵为R；

S4.2：通过选取真实空间中的某一特定平面来简化投影映射矩阵R；

S4.3：建立投影矩阵；

S4.4：将真实世界空间降维到平面，进而得到两个图像传感器平面之间的投影变换关系；

S4.5：通过图像投影映射矩阵将第一图像传感器所在平面变换到第二图像传感器所在平面。

9.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，步骤S5包括：

S5.1：使用变换后的凸四边形面积与全局图像的面积比例计算二者的尺度比例关系；

S5.2：运用双线性插值算法依次在水平方向和垂直方向上进行插值操作；

S5.3：找出所有的长焦相机与短焦相机尺度比例中的最大值；

S5.4：将短焦相机图像使用双线性插值算法放大。

10.根据权利要求1所述的基于阵列相机的亿级像素视频合成方法，其特征在于，步骤S6包括：

S6.1：运用透视变换来描述三维空间中视角的变化；

S6.2：对透视变换矩阵拆解分析；

S6.3：运用直方图匹配法进行亮度均衡。