CN101621634B - 动态前景分离的大幅面视频拼接方法 - Google Patents

Abstract

动态前景分离的大幅面视频拼接方法，涉及视频拼接、全景视频领域。该方法是采用多台位置和拍摄角相对固定且相同的摄像机拍摄获取视频数据，再由计算机***按顺序读入这些视频序列，并对这些视频序列依次进行几何校正、前景提取，然后分别对前景和背景视频序列进行匹配和变换，得到拼接后的前景和背景视频，最后将拼接后的前景和背景视频融合得到最终的视频拼接结果。在本发明中所使用的摄像机的摆放位置可根据拍摄环境而调整，摄像机的数目可为2个或2个以上。本发明所提供的方法通过分离前景并在重叠区域重新选择将要保留的单方数据，从而避免了鬼影的产生。实验证明该方法既保证了视频的质量同时也提高了拼接算法的速度。

Description

动态前景分离的大幅面视频拼接方法

技术领域

本发明涉及视频拼接、全景视频领域，设计和实现了一种基于多摄像机的前景分离的视频拼接方法。

背景技术

随着信息技术的不断发展，人们对摄像机所采集到的视频信息的要求也不断提高。全景视频拼接技术突破摄像机采集传感器的物理限制，通过拼接多摄像机同一时刻下拍摄的视频流，得到高分辨的全景视频，能够大大提高人们对事物和场景的动态感知、辨别与监控能力，为各个领域尤其是安保、军事、国防等领域降低风险，提高安全性做出贡献；全景视频拼接技术也应用于车载后视镜等工业领域；在视频后期编辑制作中，全景视频在体现视频感染力与真实感方面也发挥了重要作用。

目前，已公开的全景视频的获取主要有以下四种解决方案：一是常见于监控***的快球摄像头。通过快球的高速运动能够实现对360°空间的视频监控，但是该***在某一时刻下只能监控某一角度的画面，不可避免地会在监控时出现盲区；二是利用鱼眼镜头的宽广视角直接获取360°场景，经过变换得到全景视频，此方法所生成的全景视频分辨率较低，清晰度差；第三种方法，是借助二次凸面镜和一个摄像机组合，通过用摄像机拍摄凸面镜上的发射图像变换生成全景视频，此方法需要昂贵的专业视频采集设备，而且全景图是由一幅图像变换而得，不能达到高分辨率的要求；另外，有研究机构通过将摄像头以一定几何约束条件固定组成一摄像头群，达到了视频球型拼接***，但是此种***对摄像机的几何位置要求严格，制作工艺细致，不适用于普通应用，同时没有能够解决拼接中出现的鬼影现象。

发明内容

视频自身信息冗余庞大、实时捕捉场景中运动物体的特点给视频拼接技术的发展造成了很大障碍，主要体现于以下三点：(1)运动物体的存在将导致图像匹配产生致命性错误；(2)大量的待处理图像序列，需要更加高效的拼接算法；(3)复杂的运动物体的存在将导致拼接中鬼影的出现。

本发明的目的是提出一种基于多摄像机的动态前景分离视频拼接方法。使用这种方法效率较高，且能够得到理想的拼接效果。

本发明所提供的动态前景分离的大幅面视频拼接方法的技术方案参见1至图4，具体是采用多台相同且拍摄角度固定的摄像机获取视频数据，再由计算机***按顺序读入这些视频序列，并对这些视频序列依次进行几何校正、前景提取，然后分别对前景和背景视频序列进行匹配和变换，得到拼接后的前景和背景视频，最后将拼接后的前景和背景视频融合得到最终的视频拼接结果，其特征在于具体包括如下步骤：

(1)采用多台相同的摄像机拍摄获取视频数据，相邻摄像机的拍摄区域相互重叠，且相对位置和拍摄角度保持不变；

(2)计算机程序依自左到右的视场顺序从摄像机读入视频序列；

(3)当照相***的镜头或者照相装置没有正对着待拍摄的景物时候，拍摄到的景物图像会产生一定的变形。通常情况下，产生的畸变分为射线和切线两种方向。实际应用中，一般忽略切线方向上的畸变。如图6中(a)表示的是有畸变的网格图像，(b)是原始无畸变图像。依据摄像机的焦距对视频进行几何校正；假设没有畸变的图像由函数f_u(x_u，y_u)表示，有畸变的图像由函数f_d(x_d，y_d)表示；则两函数之间的关系可以由以下两式表示：

x_d＝x_u(1+k₁r²)

y_d＝y_u(1+k₂r²)

其中， $r^2=x_u^2+y_u^2,$ k₁，k₂为控制图像畸变程度的系数；图6中(c)是原始视频的帧图像，(d)为经校正后的结果图像。

(4)利用平均法建立视频的静态背景，其方法如下：

${\stackrel{\‾}{I}}_B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{I}_i(x,y)$

其中，I_B(x，y)为最终求得的背景图像，I_i(x，y)为视频帧图像，N为视频帧数；

(5)利用背景减除法提取前景，依据背景帧的平均灰度值I_B，设定两个自适应的阈值k₁，k₂：

k₁＝k₂/I_B

k₂＝0.2*(I_B-20)+10

对视频的每帧图像I_i(x，y)求其中的每个像素所对应的差值g₁，g₂值，

$g_1(x,y)=|\frac{{\stackrel{\‾}{I}}_B}{{\stackrel{\‾}{I}}_i}\frac{I_i(x,y)}{I_B(x,y)}-1|$

g₂(x，y)＝|I_i(x，y)-I_B(x，y)|

对于g₁＞k₁或g₂＞k₂者，在前景二值图像中标注为1，其他点为0，由此得到前景二值图像；

经图像形态学方法处理后，寻找连通区域并求取运动物体中心Centre：

$\mathrm{Centre}(x,y)=(\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{x}_i}{M},\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{y}_i}{M})$

其中，M是前景目标的像素个数，(x_i，y_i)是前景的坐标；

(6)对背景视频的配准处理，又具体包括以下三个步骤：

(a)使用Harris角点检测的方法提取图像中物体的角点作为特征点：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的一阶偏导数f_x和f_y，然后使用以下公式计算C矩阵：

$C=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

其中，G(σ)为高斯窗函数；

然后利用“角”函数R来判定图像中物体的特征点：

R＝Det(C)-αTr²(C)        0.04≤α≤0.06

其中，α为特征值修正系数，一般取0.04-0.06之间。当某像素点的R值大于设定的某一阈值T(T＞0)时，该点就是检测出的特征点；

(b)NCC(Normalized Cross Correlation)相关点匹配：使用NCC相关性算法计算图像间特征点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：

$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}(I_1(x-i,y-j)-\stackrel{\‾}{I_1})(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_1(x-i,y-j)-\stackrel{\‾}{I_1})}^2\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}^2}}$

其中：I₁和I₂为两幅同时刻视频帧的像素值； $\stackrel{\‾}{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{I}_1(x-i,y-j),$ $\stackrel{\‾}{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{I}_2(x-i,y-j)$ 分别为图像I₁和I₂以(x，y)为中心的2N×2N图像窗内的像素均值，(x-i，y-j)为图像I₁和I₂中像素坐标，N∈(3，11)；将NCC的相似度值归一化在[-1，1]范围内；

(c)RANSAC(RANdom SAmple Consensus)提纯处理：使用RANSAC方法采用抽样的方式提取四对相关的特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值，即两点间距离；如果小于门限值M，则认为这一对相关点是匹配的特征点，即线内点；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到N次则终止抽样；

(7)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹配位置拼合到同一图像空间中；变换公式如下：

$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$

其中，H是投影变换矩阵，它是自相关的，h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂、h₂₀、h₂₁为八个所求变量，X＝[x，y，1]^T为图像变换前原始输入图像的坐标， $\hat{X}={[\hat{x},\hat{y},1]}^T$ 为经投影变换后图像坐标；变换结果的自相关坐标

必须归一化以得到非相关的结果X′＝[x′y′1]^T：

$x^{\′}=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\′}=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$

其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；由此得出四对特征点对依据下公式可以求出变换矩阵H，但是在实际操作中利用所有匹配的特征点，使用L-M算法迭代求得精确的变换矩阵；

(8)背景图像变换至同一平面，达到背景的拼接；并在重叠区域进行亮度融合，其融合函数如下：

$C\left(x\right)=\frac{{\mathrm{\Σ}}_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\mathrm{\Σ}}_{k}w\left(d\left(x\right)\right)}$

其中，w是单调函数，一般取w(x)＝x，d(x)为图像I_k(k＝1，2，3…)中融合点(x，y)与融合范围边界在x轴上的距离，I_k(x)为融合点的像素值，C(x)为融合后的像素值；最终得到静态视频帧序列；

(9)利用步骤(7)中的投影变换矩阵H及步骤(5)的动态前景特征，匹配识别重叠区域内的动态前景，确定动态前景在相邻视频中的一致关系，将动态前景补回到静态背景视频中；

由前面所得到的变换矩阵确定重叠区域范围，进而根据前景的中心、左右极点判断前景是否在重叠区域内；若在重叠区域内，则要判断其与另一视频中相关帧的运动前景是否为同一物体，取一而避免因拍摄角度不同所产生的鬼影现象；判断依据如公式：利用两视频间的变换关系，将两运动前景变换至同一坐标下，判断其重叠面积大于较小目标面积大小的k倍；满足条件则确认为同一目标，保留面积较大者；判断规则如下：

S_c1∩S_c2＞k*S_min

其中，S_c1与S_c2分别代表两视频中前景目标的面积，S_min是S_c1、S_c2中较小的一个；

(10)融合前景和背景视频，并输出视频拼接结果。

本发明所提供的动态前景分离的大幅面视频拼接方法中，所使用的摄像机的摆放位置可根据拍摄环境而调整，摄像机光心之间距离由拍摄景物远近调整，景物距摄像机越近则要求摄像机间距离越小；对于室内拍摄，摄像机的光心相距5-10cm；对于室外拍摄，摄像机的光心距离为5-100cm，相邻摄像机拍摄区域的重叠面积在20％-50％；摄像机的数目为2个或2个以上。

采用本发明具有以下有益效果，首先，本发明在研究静态图像拼接技术之上，提出了一套匹配准确快速可重复性强的静态图像拼接算法，为视频拼接提供了精确的变换模板。第二，为了避免运动目标在拼接后产生的鬼影，本发明首次在视频拼接研究领域中提出前后景分离的方法，通过分离前景并在重叠区域重新选择将要保留的单方数据，从而避免了鬼影的产生。实验证明该算法既保证了视频的质量同时也提高了拼接算法的速度。

以下结合说明书附图和具体实施方式对本发明作进一步的说明：

附图说明

图1拼接方法简要流程图；

图2背景拼接流程图；

图3前景匹配流程图；

图4拼接方法详细流程图。

图5视频采集设备的摆放模型；

图6畸变图像示图与校正前后对比图；

图7视频背景图像获得与拼接结果；

图8视频的前景提取结果；

图9背景帧的Harris角点提取图；

图10视频拼接结果样帧；

具体实施方式

本发明所提供的动态前景分离的大幅面视频拼接方法中，所使用的摄像机的数目可以为2个或2个以上。在本实施例中采用两台相同的摄像机。摄像机的摆放位置可根据拍摄环境而调整，摄像机光心之间距离由拍摄景物远近调整，景物距摄像机越近则要求摄像机间距离越小；对于室内拍摄，摄像机的光心相距5-10cm；对于室外拍摄，摄像机的光心距离为5-100cm，相邻摄像机拍摄区域的重叠面积在20％-50％。本实施例是在室内拍摄，摄像机光心相距5cm，两台摄像机拍摄视频重叠区域为25％左右。具体摆放位置如图5所示。在计算机中完成以下步骤：

第一步：依左右视场排列顺序读入视频序列。

第二步：依据摄像机的焦距对视频进行几何校正。没有畸变的图像由函数f_u(x_u，y_u)表示，有畸变的图像由函数f_d(x_d，y_d)表示。则两函数之间的关系可以由以下两式表示：

x_d＝x_u(1+k₁r²)

y_d＝y_u(1+k₂r²)

其中，r²＝x_u ²+y_u ²，k₁，k₂为控制畸变程度的系数。它们是经多次试验获得的经验值，取值范围都在[-1，1]。此实例中，以图像的中心点作为坐标原点进行变换，且根据手持摄像机通常的焦距值通过大量试验得到对应的控制畸变系数k₁，k₂，如：当摄像机焦距f＝35mm时，k₁＝0.02，k₂＝0.075。

第三步：利用平均法建立视频的静态背景。

第四步：根据静态背景，利用自适应双阈值分别提取各个视频流的动态前景。设背景帧的平均灰度值I_B，设定两个自适应的阈值k₁，k₂：

k₁＝k₂/I_B

k₂＝0.2*(I_B-20)+10

当每帧图像I_i(x，y)入***中，求每个像素所对应的差值g₁，g₂值，

$g_1(x,y)=|\frac{{\stackrel{\‾}{I}}_B}{{\stackrel{\‾}{I}}_i}\frac{I_i(x,y)}{I_B(x,y)}-1|$

g₂(x，y)＝|I_i(x，y)-I_B(x，y)|

对于g₁＞k₁或g₂＞k₂者，在前景二值图像中标注为1，其他点为0，由此得到前景二值图像。

经图像的膨胀和腐蚀方法后，寻找连同区域并求取运动物体中心Centre：

$\mathrm{Centre}(x,y)=(\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{x}_i}{M},\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{y}_i}{M})$

其中，M是前景目标的像素个数，(x_i，y_i)是前景的坐标。

第五步：对静态背景进行图像配准，求相邻视频流间的变换矩阵，并将静态背景拼接为大幅面的静态全景视频。

1)对两视频的静态背景做Harris角点检测，提取图像中物体的角点作为特征点；其中，G(σ)设为5×5像素大小的高斯窗函数，角函数R的阈值取T＝10000，系数α＝0.06。

2)对特征点进行NCC相关性计算，得到相关的成对特征点。图像窗大小N取11。

3)使用RANSAC方法精确筛选出匹配的特征点，门限值M＝0.1，重复抽样次数上线设为10000次。

4)使用匹配的特征点求出图像间的八变量投影变换矩阵，把图像按照匹配位置变换到新开辟的拼接结果图像空间。

5)背景图像变换至同一平面，达到背景的拼接，并在重叠区域进行亮度融合。

第六步：进行前景的补回。由第五步所得到的变换矩阵确定重叠区域范围，进而根据前景的中心、左右极点判断前景是否在重叠区域内。若在重叠区域内，则要判断其与另一视频中相关帧的运动前景是否为同一物体，取一而避免因拍摄角度不同所产生的鬼影现象。判断依据如公式：利用两视频间的变换关系，将两运动前景变换至同一坐标下，判断其重叠面积大于较小目标面积大小的k倍。满足条件则确认为同一目标，保留面积较大者。判断规则如下：

S_c1∩S_c2＞k*S_min

其中，S_c1与S_c2分别代表两视频中前景目标的面积，S_min是S_c1、S_c2中较小的一个。

第十一步：显示拼接结果，如图10。

为验证本发明方法的实用性和实时效果，拍摄了4组室内室外视频做拼接试验。表1为四个样例视频的实验统计数据，对不同场景的试验最终统计平均处理帧率在15.93f/s，方法经进一步优化，基本能达到实时效果。

表1视频拼接的帧处理速度统计

	视频大小	帧处理速度(帧/秒)
			样例1	320*240	16.85
样例2	320*240	17.29
			样例3	320*240	15.73
样例4	480*270	13.86

Claims (2)

1.动态前景分离的大幅面视频拼接方法，是采用多台相同且拍摄角度固定的摄像机获取视频数据，再由计算机***按顺序读入这些视频序列，并对这些视频序列依次进行，几何校正、前景提取，然后分别对前景和背景视频序列进行匹配和变换，得到拼接后的前景和背景视频，最后将拼接后的前景和背景视频融合得到最终的视频拼接结果，其特征在于具体包括如下步骤：

(1)采用多台相同的摄像机拍摄获取视频数据，相邻摄像机的拍摄区域相互重叠，且相对位置和拍摄角度保持不变；

(2)计算机***依自左到右的视场顺序从摄像机读入视频序列；

(3)依据摄像机的焦距对视频进行几何校正；假设没有畸变的图像由函数f_u(x_u，y_u)表示，有畸变的图像由函数f_d(x_d，y_d)表示；则两函数之间的关系由以下两式表示：

x_d＝x_u(1+m₁r²)

y_d＝y_u(1+m₂r²)

其中，r²＝x_u ²+y_u ²，m₁，m₂为控制图像畸变程度的系数；

(4)利用平均法建立视频的静态背景，其方法如下：

${\stackrel{\‾}{I}}_B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{I}_i(x,y)$

其中，

为最终求得的背景图像，I_i(x，y)为视频帧图像，N为视频帧数；

(5)利用背景减除法提取前景，依据背景帧的平均灰度值

设定两个自适应的阈值k₁，k₂：

$k_1=k_2/{\stackrel{\‾}{I}}_B$

$k_2={0.2}^{*}({\stackrel{\‾}{I}}_B-20)+10$

对视频的每帧图像I_i(x，y)求其中的每个像素所对应的差值g₁，g₂值，

$g_1(x,y)=|\frac{{\stackrel{\‾}{I}}_B}{{\stackrel{\‾}{I}}_i}\frac{I_i(x,y)}{I_B(x,y)}-1|$

g₂(x，y)＝|I_i(x，y)-I_B(x，y)|

其中代表当前帧图像的平均灰度值；对于g₁＞k₁或g₂＞k₂者，在前景二值图像中标注为1，其他点为0，由此得到前景二值图像；

经图像形态学方法处理后，寻找连通区域并求取运动物体中心Centre：

$\mathrm{Centre}(x,y)=(\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{x}_i}{M},\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{y}_i}{M})$

其中，M是前景目标的像素个数，(x_i，y_i)是前景的坐标；

(6)对背景视频的配准处理，又具体包括以下三个步骤：

(a)使用Harris角点检测的方法提取图像中物体的角点作为特征点：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的一阶偏导数f_x和f_y，然后使用以下公式计算C矩阵：

$C=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

其中，G(σ)为高斯窗函数；

然后利用“角”函数R来判定图像中物体的特征点：

R＝Det(C)-αTr²(C)0.04≤α≤0.06

其中，α为特征值修正系数，取0.04-0.06之间；当某像素点的R值大于设定的某一阈值T，满足T＞0时，该点就是检测出的特征点；Det(C)是矩阵C的行列式，Tr(C)是矩阵C的迹；

(b)NCC相关点匹配：使用NCC相关性算法计算图像间特征点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：

$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}(I_1(x-i,y-j)-\stackrel{\‾}{I_1})(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_1(x-i,y-j)-\stackrel{\‾}{I_1})}^2\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}^2}}$

其中：I₁和I₂为两幅同时刻视频帧的像素值；

分别为图像I₁和I₂以(x，y)为中心的2N×2N图像窗内的像素均值，(x-i，y-j)为图像I₁和I₂中像素坐标，N∈(3，11)；将NCC的相似度值归一化在[-1，1]范围内；

(c)RANSAC提纯处理：使用RANSAC方法采用抽样的方式提取四对相关的特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值，即两点间距离；如果小于门限值M，则认为这一对相关点是匹配的特征点，即线内点；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到N次则终止抽样；

(7)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹配位置拼合到同一图像空间中；变换公式如下：

$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$

其中，H是投影变换矩阵，它是自相关的，h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂、h₂₀、h₂₁为八个所求变量，X＝[X，y，l]^T为图像变换前原始输入图像的坐标，

为经投影变换后图像坐标；变换结果的自相关坐标

必须归一化以得到非相关的结果X′＝[x′y′1]^T：

$x^{\′}=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\′}=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$

其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；由此得出四对特征点对依据下公式求出变换矩阵H，但是在实际操作中利用所有匹配的特征点，使用L-M算法迭代求得精确的变换矩阵；

(8)背景图像变换至同一平面，达到背景的拼接；并在重叠区域进行亮度融合，其融合函数如下：

$C\left(x\right)=\frac{{\mathrm{\Σ}}_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\mathrm{\Σ}}_{k}w\left(d\left(x\right)\right)}$

其中，w是单调函数，取w(x)＝x，d(x)为图像I_k中，k＝1，2，3…，融合点(x，y)与融合范围边界在x轴上的距离，I_k(x)为融合点的像素值，k代表像素点的个数，C(x)为融合后的像素值；最终得到静态视频帧序列；

(9)利用步骤(7)中的投影变换矩阵H及步骤(5)的动态前景特征，匹配识别重叠区域内的动态前景，确定动态前景在相邻视频中的一致关系，将动态前景补回到静态背景视频中；

由前面所得到的变换矩阵确定重叠区域范围，进而根据前景的中心、左右极点判断前景是否在重叠区域内；若在重叠区域内，则要判断其与另一视频中相关帧的运动前景是否为同一物体，取一而避免因拍摄角度不同所产生的鬼影现象；判断依据如公式：利用两视频间的变换关系，将两运动前景变换至同一坐标下，判断其重叠面积大于较小目标面积大小的k倍；满足条件则确认为同一目标，保留面积较大者；判断规则如下：

S_c1∩S_c2＞k*S_min

其中，S_c1与S_c2分别代表两视频中前景目标的面积，S_min是S_c1、S_c2中较小的一个；

(10)融合前景和背景视频，并输出视频拼接结果。

2.根据权利要求1所述的动态前景分离的大幅面视频拼接方法，其特征在于，所使用的摄像机的摆放位置根据拍摄环境而调整：对于室内拍摄，摄像机的光心相距5-10cm；对于室外拍摄，摄像机的光心距离为5-100cm，相邻摄像机拍摄区域的重叠面积在20％-50％；摄像机的数目为2个或2个以上。

Images