CN107580186B

CN107580186B - 一种基于缝合线时空优化的双摄像机全景视频拼接方法

Info

Publication number: CN107580186B
Application number: CN201710636048.5A
Authority: CN
Inventors: 张磊; 苏向阳; 黄华
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2020-07-07
Anticipated expiration: 2037-07-31
Also published as: CN107580186A

Abstract

本发明涉及一种基于缝合线时空优化的视频拼接方法，属于视频处理领域。包括以下步骤：通过SIFT算法检测特征点并对齐特征点，使用RANSAC优选特征点，计算特征点对在垂直方向上的平局距离，预对齐视频帧；基于图割算法，加上前景、边缘、视差等约束，计算最优的缝合线；使用前景检测和高斯滤波器平滑缝合线序列；对缝合线序列作质量评估；利用缝合线的质量，对缝合线两侧图像线性融合得到全景视频。与已有的方法相比，该方法减少全景视频的鬼影，保持了视频的帧间连续性，提高了视频的视觉质量。

Description

一种基于缝合线时空优化的双摄像机全景视频拼接方法

技术领域

本发明涉及一种视频拼接方法，特别涉及一种基于缝合线时空优化的双摄像机全景视频拼接方法，属于视频处理领域。

背景技术

由于摄像机视角的限制，传统的视频都是在一定视角范围内拍摄。观影者无法看到视角外的场景。不同于传统的视频，全景视频可以打破视角的限制，为观影者提供全方位的视觉体验。使用多台摄像机组成的全景相机拍摄实景，然后将多个视频拼接融合为一个全景视频。用户可以佩戴头盔显示器观看全景视频，通过头部、身体、手势等运动估计，与全景视频交互，观看不同视角的视频；也可以通过智能手机、平板电脑等智能终端产品观看全景视频。相比传统视频，全景视频会给用户带来更真实、更自由、全方位的观影体验。

对于图像/视频拼接这一具有较高应用价值问题，国内外的学者已经做了大量的基础研究。目前图像/视频拼接方法主要分为三种:变形的方法、缝合线的方法以及联合变形和缝合线的方法。基于变形的方法以基于APAP图像拼接(Zaragoza J,Chin T J,Brown MS,et al.As-projective-as-possible image stitching with moving DLT[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2013:2339-2346.)为代表，通过将图像网格化,对每个网格作单应变换,实现图像的拼接。但是该方法无法拼接较大视差下的场景，对于较大视差的图像拼接存在鬼影的现象。基于缝合线的方法已缝合线驱动(Gao J,Li Y,Chin T J,et al.Seam-DrivenImage Stitching[C]//Eurographics(Short Papers).2013:45-48.)为代表，使用图割算法，通过梯度和平滑的约束,实现更好效果的拼接.然而计算得到的缝合线会穿过物体,对于视差较大的图像,缝合线两侧物体形状有差异,拼接后图像的缝合线两侧会存在物体断裂的问题。联合变形和缝合线的方法以视差容忍的图像拼接(Zhang F,Liu F.Parallax-tolerant image stitching[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2014:3262-3269.)为代表，通过将图像网格化,对每个小网格单独变形,再使用缝合线拼接图像可以实现较好的拼接效果。但是对于视频的拼接,每帧的变换矩阵不同,变形后图像的形状差异较大,破坏视频帧间的连续性。并且由于缺少对边缘和前景的约束,这种算法计算的缝合线会穿过物体和前景,破坏图像的结构。

发明内容

本发明的目的是打破摄像机视角的限制，提出一种基于缝合线时空优化的双摄像机全景视频拼接方法，使用户获得全视角的观看感受。

本发明技术方案的思想是基于图割(Kwatra V,

A,Essa I,etal.Graphcut textures:image and video synthesis using Graph Cuts[J]//ACMTransactions on Graphics 2003,22(3):277-286)算法，增加边缘、边缘视差约束，联合时空优化，计算最优的缝合线；为了保持全景视频的时空连续性，使用前景检测算法和高斯滤波器平滑缝合线序列，再对计算的缝合线序列作质量评估，依据缝合线的质量对待拼接图像线性融合，获得鬼影更少，视觉质量更高的全景视频。

本发明的具体实现步骤如下：

一种基于缝合线时空优化的双摄像机全景视频拼接方法，该方法包括以下步骤：

步骤一、视频预对齐；

使用SIFT(Lowe D G.Object recognition from local scale-invariantfeatures[C]//Computer vision,1999.The proceedings of the seventh IEEEinternational conference on.Ieee,1999,2:1150-1157.)算法检测同一时刻两个视频帧的特征点，然后匹配特征点，再使用RANSAC筛选特征点对；计算对应特征点对之间垂直方向上的距离平均值，记为sh i ft；将两个视频在垂直方向上分别扩展sh i ft,即可得到预对齐的视频；

步骤二、通过求解区域项和边界项计算单帧缝合线；

对于第i个视频帧，通过最小化能量函数E使用图割算法求解得到该视频帧的缝合线，能量函数E如公式(1)所示，其中R和B如公式(2)和公式(3)所示：

R＝k₁*E_fg+k₂*E_e (2)

B＝k₃*Ep+k₄*E_c+k₅*E_d (3)

其中J＝[i-1,i+1]，N表示J中元素的个数；系数λ表示权值，参数范围是0.7到1.3；R是区域项，表示像素属于背景或者前景；B是边界项，表示像素的相似度；像素的相似度越大，B的值越大；否则越小；其中k₁、k₂、k₃、k₄和k₅表示权重；

步骤2.1构建由前景项E_fg和边缘项E_e组成的区域能量项R，R的定义如公式(2)所示，前景项E_fg和边缘项E_e的定义分别如公式(5)和公式(7)所示：

FG_st＝FG_s|FG_t (4)

C_st＝C_s|C_t (6)

其中，FG_s和FG_t分别表示待拼接图像的前景检测结果；前景图像像素点值为1属于前景；像素点值为0属于背景；|符号表示或运算，FG_st表示图像FG_s和FG_t前景的交集；C_s和C_t分别表示待拼接图像的边缘检测结果；边缘图像像素点值为1属于边缘；像素点值为0属于非边缘；|符号表示或运算，C_st表示图像C_s和C_t边缘图像的交集；value代表视频帧中前景区域和非边缘区域像素的能量值，取值范围是1000到1000000；公式(2)中k₁、k₂参数的范围是0.4到0.6；

步骤2.2构建由边缘视差项E_p、颜色项E_c和差异项E_d组成边界能量项B，B的定义如公式(3)所示，边缘视差项E_p、颜色项E_c和差异项E_d的定义分别如公式(8)、(9)和公式(10)所示：

E_p(p,q)＝coor(||p-q||) (8)

E_c(p,q)＝∑_r,g,bcolor(||p-q||) (9)

E_d(p,q)＝f_c(p)*D(p)+f_c(q)*D(q) (10)

D＝|G_s-G_t| (11)

其中，coor(||p-q||)表示两路待拼接视频第i个视频帧中在边缘上相对应像素p，q坐标的欧式距离；color(||p-q||)表示两路待拼接视频第i个视频帧中相对应像素p，q颜色的差值；G_s和G_t分别表示待拼接图像的灰度图，使用D表示G_s和G_t的差异图；f_c(p)表示像素p的差异值D(p)的权重；r、g和b表示视频帧的三个通道；公式(3)中k₃、k₄和k₅参数的范围是0.1到0.5；

构建由区域项R和边界项B组成的能量项E，如公式(1)所示；使用图割算法最小化能量项E，计算得到单帧缝合线；

步骤三、平滑缝合线序列，输出平滑后的缝合线；

步骤三具体通过前景检测和高斯滤波平滑缝合线来实现对步骤二输出的缝合线组成的序列进行平滑；先使用上一帧缝合线作为当前帧缝合线的模板，更新模板上穿过前景部分的缝合线，得到当前帧的缝合线；然后使用高斯滤波器平滑缝合线组成的序列；

步骤四、对经过步骤三平滑后的缝合线质量进行评估；

缝合线质量使用E_seam表示，定义如公式(13)所示：

E_seam＝w₁*ES_c+w₂*E_fg+w₃*E_e (13)

ES_c＝∑_r,g,b∑_y∈width color(||I_s(y,x)-I_t(y,x)||) (14)

其中，ES_c、E_fg和E_e分别表示缝合线的颜色项，前景项和边缘项,定义分别如公式(14)、(5)和(7)所示；w₁、w₂和w₃表示权重，参数范围分别是0.1到0.2、0.6到0.8、0.05到0.2；r、g和b分别表示视频帧的三个通道；width表示向缝合线两侧扩展一定的宽度，得到一个宽度为width的缝合线带；使用I_s和I_t分别表示缝合线带图像；I_s(i,x)和I_t(i,x)分别表示在第y行x列图像I_s和I_t中的像素；缝合线在某一像素点的质量等于在r、g、b三个通道上对I_s和I_t在x列所有行上像素在颜色上差值的和；

步骤五、线性融合，得到全景视频；

缝合线上每一像素点融合长度L的定义如公式(15)所示：

L＝b+v*w₄ (15)

其中，b表示融合长度的初始值,取值范围是5到20；v表示缝合线上一个像素的质量值,w₄表示权重，取值范围是0.8到1.5；

至此，从步骤一到步骤五，完成了一种基于缝合线时空优化的视频拼接方法。

有益效果

本发明一种基于缝合线时空优化的视频拼接方法，对比现有技术，具有以下特点：

(1)传统的全景视频采集需要用4个以上的摄像机，摄像机越少，采集视频间的视差就越小，全景视频的拼接就更容易；本方法使用两个摄像机采集全景视频，既减少全景拍摄需要传输的数据,也能降低成本；相比使用4个以上的摄像机采集的视频，虽然采集的视频的视差较大，但是本方法也能将较大视差的视频拼接全景视频，并且拼接的效果更好；

(2)传统的使用缝合线的方法拼接图像/视频，由于缺少边缘、视差和前景的约束，缝合线会穿过前景以及物体，造成缝合线两侧物体存在差异，出现明显的缝合痕迹，并且会出现物体断裂的问题；本方法加入边缘、视差和前景的约束，计算的缝合线绕过视频中的前景，沿着物体边缘，有效的避免了物体断裂的问题，减少鬼影问题。

附图说明

图1是本发明一种基于缝合线时空优化的双摄像机全景视频拼接方法及实施例1中的流程示意图；

图2是实施例1中两个竖直方向上背靠背摆放的摄像机示意图。

具体实施方式

下面结合附图和实施例对本发明所述方法的具体实施做详细说明。

实施例1

本实施例叙述了本发明一种基于缝合线时空优化的双摄像机全景视频拼接方法的具体实现过程。图1是本发明一种基于缝合线时空优化的双摄像机全景视频拼接方法及本实施例的实现流程示意图。

图2是两个竖直方向上背靠背摆放的摄像机示意图。

从图1中可以看出，本发明及本实施例的具体实现步骤如下：

步骤A、视频帧预对齐；

具体到本实施例是对输入的两路待拼接视频，使用SIFT算法检测在某一时刻相对应的两个视频帧的特征点，然后匹配特征点，再使用RANSAC筛选特征点对；计算对应特征点对之间垂直方向上的距离平均值，记为shift；对于上面摄像机拍摄得到的视频，在垂直方向上向下扩展shift；对于下面摄像机拍摄得到的视频，在垂直方向上向上扩展shift；即可得到预对齐的视频；

步骤B、计算单帧缝合线，具体通过下述过程实现；

对于第i个视频帧，通过最小化能量函数E求解得到该视频帧的缝合线：

R＝k₁*E_fg+k₂*E_e (17)

B＝k₃*E_p+k₄*E_c+k₅*E_d (18)

其中，J＝[i-1,i+1]，N表示J中元素的个数；系数λ表示权值，默认值是1；R是区域项，表示像素属于背景或者前景；B是边界项，表示像素的相似度；像素的相似度越大，B的值越大；否则越小；其中公式(17)和(18)中的参数k₁、k₂、k₃、k₄和k₅表示权重；

步骤B.1构建由前景项E_fg和边缘项E_e组成的区域能量项R，R的定义如公式(17)所示，前景项E_fg和边缘项E_e的定义分别如公式(20)和公式(22)所示：

FG_st＝FG_s|FG_t (19)

C_st＝C_s|C_t (21)

其中，FG_s和FG_t分别表示待拼接图像的前景检测结果；前景图像像素点值为1属于前景；像素点值为0属于背景；|符号表示或运算，FG_st表示图像FG_s和FG_t前景的交集；C_s和C_t分别表示待拼接图像的边缘检测结果；边缘图像像素点值为1属于边缘；像素点值为0属于非边缘；|符号表示或运算，C_st表示图像C_s和C_t边缘图像的交集；value代表视频帧中前景区域和非边缘区域像素的能量值，默认值是100000；公式(17)中参数k₁、k₂的默认值是0.5；

步骤B.2构建由边缘视差项E_p、颜色项E_c和差异项E_d组成边界能量项B，B的定义如公式(18)所示，边缘视差项E_p、颜色项E_c和差异项E_d的定义分别如公式(23)、(24)和公式(25)所示：

E_p(p,q)＝coor(||p-q||) (23)

E_c(p,q)＝∑_r,g,b color(||p-q||) (24)

E_d(p,q)＝f_c(p)*D(p)+f_c(q)*D(q) (25)

D＝|G_s-G_t| (26)

其中，coor(||p-q||)表示两路待拼接视频第i个视频帧在边缘上相对应像素p，q坐标的欧式距离；color(||p-q||)表示两路待拼接视频第i个视频帧中相对应像素p，q颜色的差值；G_s和G_t分别表示待拼接图像的灰度图，使用D表示G_s和G_t的差异图；f_c(p)表示像素p的差异值D(p)的权重；r、g和b表示视频帧的三个通道；公式(18)中k₃、k₄和k₅参数的默认值分别是是0.4、0.4和0.2；

构建由区域项R和边界项B组成的能量项E，如公式(16)所示；使用图割算法最小化能量项E，计算得到第i个视频帧的缝合线；

步骤C、平滑缝合线序列；

步骤C具体通过前景检测和高斯滤波平滑缝合线来实现对步骤B输出的缝合线组成的序列进行平滑；先使用上一帧缝合线作为当前帧缝合线的模板，更新模板上穿过前景区域的缝合线，得到当前帧的缝合线；使用高斯滤波器平滑缝合线序列；

步骤D、对经过步骤C平滑后的缝合线质量进行评估；

缝合线质量使用E_seam表示，定义如公式(28)所示：

E_seam＝w₁*ES_c+w₂*E_fg+w₃*E_e (28)

ES_c＝∑_r,g,b∑_y∈width color(||I_s(y,x)-I_t(y,x)||) (29)

其中，ES_c、E_fg和E_e分别表示缝合线的颜色项，前景项和边缘项,定义分别如公式(29)、(20)和(22)所示；w₁、w₂和w₃表示权重，默认值分别是0.15,0.75和0.1；r、g和b分别表示视频帧的三个通道；width表示向缝合线两侧扩展一定的宽度，得到一个宽度为width的缝合线带；使用I_s和I_t分别表示缝合线带图像；I_s(i,x)和I_t(i,x)分别表示在第y行x列图像I_s和I_t中的像素；缝合线上某一像素点的质量等于在r、g、b三个通道上对I_s和I_t在x列所有行上像素在颜色上差值的和；

步骤E、线性融合全景视频；

根据缝合线的质量确定缝合线上每一个像素点线性融合的长度，使用L表示,定义如公式(30)所示：

L＝b+v*w₄ (30)

其中，b表示融合长度的初始值,默认值是10；v表示缝合线上一点的质量值,w₄表示权重，默认值是1.2；

按照步骤一到步骤五中方法，可以将输入的两路视频拼接为一个全景视频；相比使用4个以上摄像机拍摄的视频,实施例中输入的视频的视差更大,拼接的难度更大；但是使用本发明方法仍然可以拼接为一个全景视频；由于本方法加入视差项和边缘视差项的约束，分别如公式(22)和(23)所示，计算得到的缝合线会绕过视频中的前景，避免穿过物体，因此拼接得到的全景视频可以有效避免出现物体断裂的现象，减少了鬼影的问题，提高了全景视频的视频质量。

为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims

1.一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：基于图割算法，增加边缘、边缘视差约束，联合时空优化，计算最优的缝合线；为了保持全景视频的时空连续性，使用前景检测算法和高斯滤波器平滑缝合线序列，再对计算的缝合线序列作质量评估，依据缝合线的质量对待拼接图像线性融合，获得鬼影更少，视觉质量更高的全景视频；具体实现步骤如下：

步骤一、视频预对齐；

步骤二、通过求解区域项和边界项计算单帧缝合线；

步骤三、平滑缝合线序列，输出平滑后的缝合线；

步骤四、对经过步骤三平滑后的缝合线质量进行评估；

步骤五、线性融合，得到全景视频；

至此，从步骤一到步骤五，完成了一种基于缝合线时空优化的视频拼接方法；

步骤二对于第i个视频帧，通过最小化能量函数E使用图割算法求解得到该视频帧的缝合线，能量函数E如公式(1)所示，其中R和B如公式(2)和公式(3)所示：

R＝k₁*E_fg+k₂*E_e (2)

B＝k₃*E_p+k₄*E_c+k₅*E_d (3)

其中J＝[i-1，i+1]，N表示J中元素的个数；系数λ表示权值，参数范围是0.7到1.3；R是区域项，表示像素属于背景或者前景；B是边界项，表示像素的相似度；像素的相似度越大，B的值越大；否则越小；其中k₁、k₂、k₃、k₄和k₅表示权重；

步骤2.1构建由前景项E_fg和边缘项E_e组成的区域项R，R的定义如公式(2)所示，前景项E_fg和边缘项E_e的定义分别如公式(5)和公式(7)所示：

FG_st＝FG_s|FG_t (4)

C_st＝C_s|C_t (6)

其中，FG_s和FG_t是指在待拼接的两幅图像中检测出的运动物体所占区域，它们构成前景检测结果；前景图像像素点值为1属于前景；像素点值为0属于背景；|符号表示和运算，FG_st表示图像FG_s和FG_t前景的并集；C_s和C_t是对待拼接图像进行边缘检测后，所有检测出的边缘集合；边缘图像像素点值为1属于边缘；像素点值为0属于非边缘；|符号表示和运算，C_st表示图像c_s和c_t边缘图像的并集；value代表视频帧中前景区域和非边缘区域像素的能量值，取值范围是1000到1000000；公式(2)中k₁、k₂参数的范围是0.4到0.6；

步骤2.2构建由边缘视差项E_p、颜色项E_c和差异项E_d组成边界项B，B的定义如公式(3)所示，边缘视差项E_p、颜色项E_c和差异项E_d的定义分别如公式(8)、(9)和公式(10)所示：

E_p(p，q)＝coor(||p-q||) (8)

E_c(p，q)＝∑_r，g，bcolor(||p-q||) (9)

E_d(p，q)＝f_c(p)*D(p)+f_c(q)*D(q) (10)

D＝|G_s-G_t| (11)

其中，coor(||p-q||)表示两路待拼接视频第i个视频帧中在边缘上相对应像素p，q坐标的欧式距离；color(||p-q||)表示两路待拼接视频第i个视频帧中相对应像素p，q颜色的差值；G_s和G_t是将输入的待拼接图像的红、绿、蓝三个通道的色彩值合并为一个通道的灰度值，所得到的灰度图，使用D表示G_s和G_t的差异图；f_c(p)表示像素p的差异值D(p)的权重；r、g和b表示视频帧的三个通道；p_i表示在第i帧上和像素p相对应的像素，δ表示所有帧的p_i的方差，g(coor(||p-p_i||))表示以coor(||p-p_i||)为均值的高斯函数；公式(3)中k₃、k₄和k₅参数的范围是0.1到0.5；

构建由区域项R和边界项B组成的能量项E，如公式(1)所示；使用图割算法最小化能量项E，计算得到单帧缝合线。

2.根据权利要求1所述的一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：步骤一使用SIFT算法；检测同一时刻两个视频帧的特征点，然后匹配特征点，再使用RANSAC筛选特征点对；计算对应特征点对之间垂直方向上的距离平均值，记为shift；将两个视频在垂直方向上分别扩展shift，即可得到预对齐的视频。

3.根据权利要求1所述的一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：步骤三具体通过前景检测和高斯滤波平滑缝合线来实现对步骤二输出的缝合线组成的序列进行平滑；先使用上一帧缝合线作为当前帧缝合线的模板，更新模板上穿过前景部分的缝合线，得到当前帧的缝合线；然后使用高斯滤波器平滑缝合线组成的序列。

4.根据权利要求1所述的一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：步骤四中缝合线质量使用E_seam表示，定义如公式(13)所示：

E_seam＝w₁*ES_c+w₂*E_fg+w₃*E_e (13)

ES_c＝∑_r，g，b∑_y∈widthcolor(||I_s(y，x)-I_t(y，x)||) (14)

其中，ES_c、E_fg和E_e分别表示缝合线的颜色项，前景项和边缘项，定义分别如公式(14)、(5)和(7)所示；w₁、w₂和w₃表示权重，参数范围分别是0.1到0.2、0.6到0.8、0.05到0.2；r、g和b分别表示视频帧的三个通道；width表示向缝合线两侧扩展一定的宽度，得到一个宽度为width的缝合线带；使用I_s和I_t分别表示缝合线带图像；I_s(y，x)和I_t(y，x)分别表示在第y行x列图像I_s和I_t中的像素；缝合线在某一像素点的质量等于在r、g、b三个通道上对I_s和I_t在x列所有行上像素在颜色上差值的和。

5.根据权利要求1所述的一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：步骤五缝合线上每一像素点融合长度L的定义如公式(15)所示：

L＝b+v*w₄ (15)

其中，b表示融合长度的初始值，取值范围是5到20；v表示缝合线上一个像素的质量值，w₄表示权重，取值范围是0.8到1.5。