CN101427283A - 从视频序列中产生全景图像的方法和设备 - Google Patents

Abstract

本发明涉及一种从视频序列中产生全景图像(3)的方法和设备，所述视频序列包括多个连续图像(I₀，I₁，I_k－1，I_k)，所述方法包括以下连续步骤：－在输入(4)处接收具有第一和第二部分(40，42)的当前图像(I₁，I_k)；－如果当前图像的像素与源自多个图像的低于预定阈值(N)的分量的加权和而得到的分量相关联，则计算由与所述当前图像(I₁，I_k)的所标识像素相关联的分量和与所谓的先前混合图像的对应像素相关联的分量的加权和而得到的分量。

Description

从视频序列中产生全景图像的方法和设备

技术领域

本发明涉及一种从视频序列中产生全景图像的方法，以及实施所述产生方法的对应设备。

背景技术

通常，通过对从视频中提取的图像进行排列和融合，得到全景图像。为此，已经开发了马赛克(Mosaicing)方法，用于排列和融合图像。这些方法在计算机上离线工作。虽然非常有效，但是这些方法相当复杂并且对计算机要求很高。因此，这些方法很难在如移动电话、密钥环和PDA之类的移动设备上实现，这些设备具有较低的存储和能量容量。

因此，希望开发一种需要较低存储性能和能量的、用于产生全景图像的新方法。

发明内容

相应地，本发明的目的是提供一种从视频序列中产生全景图像的方法，所述视频序列包括多个连续图像(I₀，I₁，I_k-1，I_k)，每个图像(I₀，I₁，I_k-1，I_k)包括与亮度和色度分量相关联的至少一个像素，所述方法由包括全景结构的设备来执行，所述全景结构具有与等于零的分量相关联的像素，其中，所述方法包括以下连续步骤：

a)将初始化为零的分量分配给被称为先前混合图像的图像(P₀，P_k-1)的像素，并将所述先前混合图像(P₀，P_k-1)存储在所述全景结构中；

b)相对于所述先前混合图像(P₀，P_k-1)，将具有第一和第二部分的当前图像(I₁，I_k)放置入所述全景结构中，所述当前图像(I₁，I_k)的像素的第一区域与所述先前混合图像(P₀，P_k-1)的像素区域相对应，所述当前图像(I₁，I_k)的像素的第二区域与所述全景结构的像素区域相对应；

c)标识属于所述当前图像(I₁，I_k)的第一部分且属于第一区域的像素；

d)对于每个所标识的像素，如果所标识像素与源自多个图像的低于预定阈值(N)的分量的加权和而得到的分量相关联，则

-计算由与所述当前图像(I₁，I_k)的所标识像素相关联的分量和

与所述先前混合图像(P₀，P_k-1)的对应像素相关联的分量的加权和而得到的分量，

-将分量分配给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

e)对于属于所述当前图像(I₁，I_k)的第二部分且属于第二区域的每个像素，将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述全景结构的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

f)对于属于所述当前图像(I₁，I_k)的第二部分且属于第一区域的每个像素，将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

g)对于属于所述当前图像(I₁，I_k)的第一部分且属于第二区域的每个像素，将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述全景结构的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；以及

h)将所述当前混合图像(P₁，P_k)的像素视为先前混合图像(P₀，P_k-1)的像素，并重复步骤b)至h)直到满足停止条件为止。

所述方法的其他特征和优点在从属权利要求中叙述。

本发明的目的也在于，为了实施根据本发明的方法，提供一种用于从视频序列中产生全景图像的设备，所述视频序列包括多个连续图像(I₀，I₁，I_k-1，I_k)，每个图像(I₀，I₁，I_k-1，I_k)包括与亮度和色度分量相关联的至少一个像素，所述设备包括：

-全景结构，具有与初始化为零的分量相关联的像素；

-计算模块，将初始化为零的分量分配给被称为先前混合图像的图像(P₀，P_k-1)的像素，并将所述先前混合图像(P₀，P_k-1)存储在所述全景结构中；

-输入，用于接收具有第一和第二部分的当前图像(I₁，I_k)；

所述计算模块相对于所述先前混合图像(P₀，P_k-1)，将所述当前图像(I₁，I_k)放置入所述全景结构中，所述当前图像(I₁，I_k)的像素的第一区域与所述先前混合图像(P₀，P_k-1)的像素区域相对应，所述当前图像(I₁，I_k)的像素的第二区域与所述全景结构的像素区域相对应；

所述计算模块标识属于所述当前图像(I₁，I_k)的第一部分且属于第一区域的像素；

对于每个所标识的像素，所述计算模块检查所标识像素是否与源自多个图像的低于预定阈值(N)的分量的加权和而得到的分量相关联，

所述计算模块计算由与所述当前图像(I₁，I_k)的所标识像素相关联的分量和与所述先前混合图像(P₀，P_k-1)的对应像素相关联的分量的加权和而得到的分量，并将分量分配给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于所述当前图像(I₁，I_k)的第二部分且属于第二区域的每个像素，所述计算模块将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述全景结构的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于所述当前图像(I₁，I_k)的第二部分且属于第一区域的每个像素，所述计算模块将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于所述当前图像(I₁，I_k)的第一部分且属于第二区域的每个像素，所述计算模块将与所述当前图像(I₁，I_k)的像素相关联的分量分配给所述全景结构的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量，所述计算模块将所述当前混合图像(P₁，P_k)的像素视为先前混合图像(P₀，P_k-1)的像素。

附图说明

从以下描述、附图以及从权利要求中，本发明的这些和其他方面将变得显而易见。

-图1是根据本发明用于从视频序列中产生全景图像的设备的示意框图；

-图2是如在根据本发明的图1所示设备中实施的用于从视频序列中产生全景图像的方法的流程图；

-图3是示出了将图像放置入全景结构中的示意视图；

-图4是当前图像的示意视图；

-图5是针对每个像素存储视频序列中已经混合在全景结构中的图像的数目的年龄结构的示意视图；以及

-图6是融合并存储在全景结构中的第一和第二图像的示意视图。

具体实施方式

以从左至右方向进行拍摄的摄像机获得视频序列为例，描述根据本发明的方法和设备。然而，通过对以下定义的复制和混合区域进行简单的左/右镜像，根据本发明的解决方案也适用于从右至左方向获得的视频序列。

参照图1，示出了用于产生全景图像3的设备2。设备2包括输入4和输出6，输入4用于接收视频序列的连续图像I₀，I₁，...I_k-1，I_k，I_k+1等，输出6用于向例如摄像机或电视机的显示屏等呈现设备发送所产生的全景图像3。视频序列的图像I₀、I₁包括以列和行排列的像素矩阵。图像的每个像素由参考***R_x，R_y中的坐标x，y以及亮度分量和两个色度分量来定义。

例如由微处理器构成的设备2包括计算模块8和二值化(binarization)模块10，两者均与输入4连接，还包括与二值化模块10和计算模块8连接的运动估计模块12。设备2也包括与计算模块8链接的临时存储器14、与计算模块8连接的全景存储器17、以及与全景存储器17和输出6连接的剪切模块20。例如，临时存储器14和全景存储器17是RAM或EEPROM存储器。

临时存储器14适于存储由计算模块8产生的年龄(age)结构A_k。年龄结构A_k包括参考***R_x，R_y。位于年龄结构A_k的左上角的值位于该参考***的原点。

全景存储器17包括全景结构18。全景结构18能够将先前接收的图像存储至单个融合的全景图像中。如在以后的描述中将要解释的，在全景结构18中，通过逐步将新的输入图像和已经融合并存储在全景结构18中的图像进行融合，逐步创建全景图像3。

与年龄结构A_k的参考***R_x，R_y相同的参考***R_x，R_y与全景结构18相关联。位于年龄结构A_k的左上角的值也位于该参考***的原点。在这些参考***R_x，R_y中，年龄结构A_k的值表示在全景结构18中坐标与该年龄结构A_k的坐标相同的像素处融合的图像的数目。

年龄结构A_k反映了全景结构18中融合并存储的图像的数目和位置。由于全景结构18中融合的图像向右侧方向(摄像机移动的方向)移动，因此，所融合图像的数目是不均匀的，取决于全景结构18中的像素的位置。

如图2至6所示，用于产生全景图像3的设备2所实施的方法包括对视频序列的前两个图像I₀、I₁执行的第一组步骤22至28，以及对视频序列的每个后续图像I_k、I_k+1执行的第二组步骤30至60。对于视频序列的每个图像，迭代地执行这些第二步骤30至60，直到全景结构18中融合并存储的图像具有预定宽度为止，所述预定宽度与最终全景图像3所允许的最大宽度L相对应。

该方法开始于第一步骤22，该步骤接收视频序列的一组连续图像I_k、I_k+1中的初始图像I₀。当前图像I₁被认为由混合部分40和复制部分42组成。从图3可见，混合部分40位于图像的左侧，复制部分42位于图像的右侧。复制部分42是由具有预定宽度的条带(strip)组成，例如，该预定宽度等于当前图像I₁宽度的1/4。创建复制部分42，从而避免在产生全景图像时排他性地使用图像边界。当更新全景图像时，场景中最新消失的部分总是位于侧边，由于广角镜头或遭受到如晕影(vignetting)之类的亮度伪像，这些部分通常是失真的。

在步骤24，将从输入4接收到的初始图像I₀发送到二值化模块10并经由计算模块8发送到全景存储器17。在步骤24中，如图3中示意性示出的，将与初始图像I₀的每个像素相关联的分量存储在存储器17的全景结构18中，使得位于初始图像I₀的左上角的像素位于参考***R_x，R_y的原点。将全景结构18中存储的初始图像I₀视为先前混合图像P₀。

在步骤26，计算模块8产生年龄结构A₀并将其存储在临时存储器14中。年龄结构A₀包括对全景结构18中融合并存储的的图像的数目进行表示的值。一个值与全景结构18中存储的图像的一个像素相对应。与初始图像I₀的第一部分40的像素相对应的年龄结构A₀的值等于1。留下与初始图像I0的第二部分42的像素相对应的年龄结构A₀的值等于0。

在步骤28，二值化模块10根据所接收的第一图像I₀创建二值图像。此后，将所获得的二值图像发送至运动估计模块12。优选地，产生一比特图像，这是由于其显著降低了存储器限制。众所周知，为了创建二值化图像，使用异或(XOR)运算，在参考块与其他块之间计算绝对差值和(SAD)。

例如，按照以下方式来实现格雷编码的比特平面分解：

F(x，y)＝a_N-12^N-1+a_N-22^N-2+...+a_k2^k+...+a₁2¹+a₀2⁰   (1)

其中：-F(x，y)是位置(x，y)上的像素的亮度

-a_k是0或1，以及

-N是表示亮度分量的比特数目。

根据等式g₄＝a₄⊕a₅来计算第4个格雷比特码g₄，其中，⊕是异或运算，a_k是等式(1)给出的基2表示的第k个比特。

在步骤30，将从设备2的输入4接收到的第二图像I₁同时发送到二值化模块10和计算模块8。在以下的描述中，将该第二图像I₁称为当前图像。

在步骤32，二值化模块10对当前图像I₁进行二值化，并将所获得的图像发送至运动估计模块12。

在步骤34，运动估计模块12根据二值化的第一和当前图像，计算表示第一图像I₀和第二图像I₁之间的运动的全局运动向量U₀。此后，将该全局运动向量U₀发送至计算模块8。为了获得两个连续图像的全局运动向量U₀，可以使用不同的方法。

其中一种方法包括考虑图像I₀和后续图像I₁，并确定这些连续图像的宏块的运动向量集合。在每个宏块(典型地，每个宏块包括图像的16×16个像素)中，每个运动向量表示从一个图像I₀至后续图像I₁的该宏块的移动。

对运动向量进行分组，检查其内部一致性，并拒绝包含独立运动的区域(移动的人或物)。确定每对后续图像I₀、I₁的运动向量集合的中值。该中值向量是全局运动向量U₀，并表示图像I₀和I₁之间的摄像机实现的全局运动。因此，全局运动向量U₀包含要考虑在正确映射全景图像3时要考虑的有意运动(全景)和非有意运动(高频抖动)。

在步骤36，向先前估计的全局运动向量U-₁加上在步骤32计算的全局运动向量U₀，以获得当前全局运动向量U₁。该步骤由计算模块8执行。在本方法的第一次迭代之后，先前的全局运动向量U-₁等于零。由于图像I₀和I₁是视频序列的第一和第二图像，因此当前全局运动向量U₁等于全局运动向量U₀。

在本方法的下一次迭代过程中，向先前估计的全局运动向量U_i-1加上全局运动向量U_i，以获得当前全局运动向量U_i+1。在下一次迭代过程中，为了计算当前全局运动向量U_i+2，将迭代过程中计算的当前全局运动向量U_i+1视为先前的全局运动向量。

在步骤38，相对于先前混合图像P₀(即初始图像I₀)，将当前图像I₁放置入全景结构18，使其以与全局运动向量U₀相对应的量发生位移。在该位置，将第一区域41中的像素放置在先前混合图像P₀之前。将第二区域43中的像素放置在全景结构18之前。

考虑到在先前混合图像的像素之前的当前图像I₁的像素与该像素相对应，在全景结构的像素之前的当前图像I₁的像素与该像素相对应。因此，当前图像I₁的每个像素与先前混合图像P₀的像素或全景结构18中的像素相对应。如图4所示，定义当前图像I₁的第一区域41和第二区域43，使得第一区域41的像素由于先前混合图像的区域的像素相对应，第二区域43的像素与全景结构18的区域的像素相对应。

在步骤44，更新年龄结构A₀，将其变为年龄结构A₁。为此，将年龄结构A₀中在参考***R_x，R_y中具有与属于第一部分40的像素相同坐标的值递增1。

与叠加在先前混合图像P₀的第一部分40之上的当前图像I₁的第一部分40的像素相对应的值等于2。与叠加在空的全景结构18之上的当前图像I₁的第一部分40的像素相对应的值和与叠加在先前混合图像P₀的第二部分42之上的像素相对应的值等于1。如图5所示，更新的年龄结构A₁包括标记为46并且值等于1的一个部分、以及标记为48并且值等于2的一个部分。

在步骤50，计算模块8从左至右扫描年龄结构A₁中与当前图像I₁的第一部分40中的像素相对应的值，并检查这些值之一是否高于被称为混合值N的预定阈值N。如果年龄结构A₁中的一个值高于该混合值N，则计算模块8从与第一部分40相对应的位置开始，继续从左至右扫描年龄结构A₁，直到找到小于该混合值的定义的值。如果年龄结构A₁中的值之一小于或等于混合值N，则过程前进至步骤52。

在步骤52，计算模块8标识属于第一部分40且属于第一区域41、并且对应值小于或等于混合值N的像素。

在步骤54，计算模块8计算由与当前图像I₁的所标识像素相关联的分量和与先前混合图像P₀的对应像素相关联的分量的加权和而得到的分量。对于属于当前图像I₁的第一部分40且属于第一区域41的每个像素，由以下关系式来获得加权和：

$P_1(x,y)=\frac{(A_1(x,y)-1)\×P_0(x,y)+I_1(x,y)}{A_1}$

其中：

-P₁(x，y)是与当前混合图像的像素相关联的分量，该像素位于参考***中的坐标(x，y)处；

-P₀(x，y)是与先前混合图像的像素相关联的分量；

-A₁(x，y)是与年龄结构的参考***中坐标(x，y)处的像素相关联的值；以及

-I₁(x，y)是与当前图像的像素相关联的分量。

对于该方法的下一次迭代，上述关系式推广为如下式子：

$P_k(x,y)=\frac{(A_k(x,y)-1)\×P_{k-1}(x,y)+I_k(x,y)}{A_k(x,y)}$

其中：

-(x，y)是像素的坐标；

-P_k是分配给当前混合图像的像素的分量；

-P_k-1是分配给先前混合图像的像素的分量；

-A_k是分量已经被分配给先前混合图像的像素的次数；以及

-I_k是与当前图像的像素相关联的分量。

在步骤56，如图6所示，将在步骤54获得的分量分配给先前混合图像P₀的对应像素，以获得与当前混合图像的部分58中的像素相关联的分量。

在步骤60，对于属于当前图像I₁的第二部分42且属于第二区域43的每个像素，计算模块8将与当前图像I₁的像素相关联的分量分配给全景结构18的对应像素，以获得与当前混合图像P₁的部分62中的像素相关联的分量(图6)。

在步骤63，对于属于当前图像I₁的第二部分42且属于第一区域41的每个像素，计算模块8将与当前图像I₁的像素相关联的分量分配给先前混合图像P₀的对应像素，以获得与当前混合图像P₁的部分64中的像素相关联的分量(图6)。

在步骤65，对于属于当前图像I₁的第一部分40且属于第二区域43的每个像素，计算模块8将与当前图像I₁的像素相关联的分量分配给全景结构18的对应像素，以获得与当前混合图像P₁的部分66的像素相关联的分量(图6)。

在步骤67，在方法的每次迭代中，计算模块12检查全景结构18中融合并存储的所有图像的宽度是否等于或大于最终全景图像3的期望宽度L。如果所存储的图像的宽度不大于全景图像3的宽度L，则过程在步骤69中返回步骤30，否则该过程到达步骤70(如果没有更多的图像I_k则也可以到达该步骤)。

在步骤70，剪切模块20搜索与亮度和色度分量相关联的、并在参考***R_x，R_y中具有最低和最高坐标y的像素，剪切所产生的图像3中的上边界和下边界，以获得矩形画面。

当该过程返回步骤30进行新的迭代时，计算模块8在步骤68将计数器递增。在预定次数的迭代之后，根据预定函数来修改第一部分40和第二部分42的大小。例如，在创建了全景图像3的1/4的宽度之前，混合区域40与图像的左侧3/4部分相对应，并在创建了全景图像3的3/4的宽度之后，混合区域40逐渐减小至只有图像的左侧1/4部分(第二复制部分相应地增大)。在另一个实施例中，第一部分40和第二部分42的大小是常数。在一种变体中，年龄结构可以仅包括宽度为L个像素的一个行(全景图像的一列中的所有像素被认为具有相同的年龄)。在这种情况下，不考虑U向量的y坐标。这显著减小了所需的存储器，并只可能会在步骤70中剪切了的部分中、在全景图像的顶部和底部产生伪像。

显而易见，通过硬件或软件项目或两者结合，有许多方式来实现上述功能。关于这一点，附图是示意性的，仅表示本发明的一种可能的实施例。因此，虽然图1和2将不同的功能表示为不同的模块，但是，这绝不排除单个硬件或软件项目执行多种功能。也不排除硬件或软件或两者的组合来执行功能。

这里之前所做的描述表明，参照附图进行的详细描述是示意性的，而非限制了本发明。存在许多备选方案，这些备选方案落入所附权利要求的范围之内。权利要求中的任何参考标记不应解释为限制该权利要求。“包括”一词不排除出现除权利要求中所列之外的其他元件或步骤。在元件或步骤之前的“一”不排除出现多个这样的元件或步骤。

Claims (10)

1.一种从视频序列中产生全景图像(3)的方法，所述视频序列包括多个连续图像(I₀，I₁，I_k-1，I_k)，每个图像(I₀，I₁，I_k-1，I_k)包括与亮度和色度分量相关联的至少一个像素，所述方法由包括全景结构(18)的设备(2)执行，所述全景结构(18)具有与等于零的分量相关联的像素，其中，所述方法包括以下连续步骤：

a)将初始化为零的分量分配给被称为先前混合图像的图像(P₀P_k-1)的像素，并将所述先前混合图像(P₀，P_k-1)存储(24)在所述全景结构(18)中；

b)相对于所述先前混合图像(P₀，P_k-1)，将具有第一(40)和第二(42)部分的当前图像(I₁，I_k)放置(38)入所述全景结构(18)中，所述当前图像(I₁，I_k)的像素的第一区域(41)与所述先前混合图像(P₀，P_k-1)的像素区域相对应，所述当前图像(I₁，I_k)的像素的第二区域(43)与所述全景结构(18)的像素区域相对应；

c)标识(52)属于所述当前图像(I₁，I_k)的第一部分(40)且属于第一区域(41)的像素(58)；

d)对于每个所标识的像素(58)，如果所标识像素与源自多个图像的低于预定阈值(N)的分量的加权和而得到的分量相关联，则

-计算(54)由与所述当前图像(I₁，I_k)的所标识像素相关联的分量和与所述先前混合图像(P₀，P_k-1)的对应像素相关联的分量的加权和而得到的分量，

-将分量分配(56)给所述先前混合图像(P₀，P_k-1)的对应像素，

以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

e)对于属于所述当前图像(I₁，I_k)的第二部分(42)且属于第二区域(43)的每个像素(62)，将与所述当前图像(I₁，I_k)的像素相关联的分量分配(60)给所述全景结构(18)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

f)对于属于所述当前图像(I₁，I_k)的第二部分(42)且属于第一区域(41)的每个像素(64)，将与所述当前图像(I₁，I_k)的像素相关联的分量分配(63)给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

g)对于属于第一部分(40)且属于第二区域(43)的每个像素(66)，将与所述当前图像(I₁，I_k)的像素相关联的分量分配(65)给所述全景结构(18)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；以及

h)将所述当前混合图像(P₁，P_k)的像素视为先前混合图像(P₀，P_k-1)的像素，并重复步骤b)至h)，直到满足停止条件(67)为止。

2.如权利要求1所述的方法，其中，所述方法包括以下步骤：

i)考虑先前图像(I₀，I_k-1)；以及

j)计算表示先前图像(I₀，I_k-1)与当前图像(I₁，I_k)之间的运动的全局运动向量(U₀，U_k-1)，根据所述全局运动向量(U₀，U_k-1)，相对于所述先前混合图像(P₀，P_k-1)，将所述当前图像(I₁，I_k)放置入所述全景结构(18)中。

3.如权利要求1或2所述的方法，其中，在所述当前混合图像(P₁，Pk)中，使用相同的权值对与所述先前混合图像(P₀，P_k-1)的第一部分(40)中的像素以及所述当前图像(I₁，I_k)的第一部分(40)中的像素相关联的分量进行加权。

4.如权利要求1至3中任一项所述的方法，其中，在步骤e)由以下关系式来获得与所述当前混合图像(P₁，P_k)的像素相关联的分量：

$P_k(x,y)=\frac{(A_k(x,y)-1)\×P_{k-1}(x,y)+I_k(x,y)}{A_k(x,y)}$

其中：

-(x，y)是像素的坐标；

-P_k是分配给当前混合图像的像素的分量；

-P_k-1是分配给先前混合图像的像素的分量；

-A_k是分量已经被分配给先前混合图像的像素的次数；以及

-I_k是与当前图像的像素相关联的分量。

5.如权利要求1至4中任一项所述的方法，其中，所述方法包括以下步骤：

-产生(26，38)包括值的年龄结构(A₀，A_k)，年龄结构(A₀，A_k)的每个值与所述全景结构(18)或所述先前混合图像中的像素相对应，每个值表示分量已经被分配给所述全景结构(18)或所述先前混合图像中的像素的次数；

-在步骤h)之后，更新(38)所述年龄结构(A₀，A_k)；

-扫描(50)所述年龄结构(A₀，A_k)的值，值是否大于所述预定阈值(N)；

-重复步骤b)和c)，直到将所述当前图像(I₁，I_k)放置入所述全景结构(18)中像素与小于所述预定阈值(N)的值相对应的位置。

6.如之前任一权利要求所述的方法，其中，所述第一部分(40)与所述第二部分(42)之间的边界相对于将所述当前图像(I₁，I_k)放置(38)入所述全景结构(18)中的放置而变化。

7.如之前任一权利要求所述的方法，其中，对所述视频序列的所有图像(I₀，I₁，I_k-1，I_k)应用所述方法。

8.如权利要求2至7中任一项所述的方法，其中，所述方法包括对所述先前图像和当前图像(I₁，I_k)进行二值化的步骤(28，32)，其中，对二值化图像执行计算全局运动向量(U₀，U_i)的步骤(34)。

9.如之前任一权利要求所述的方法，其中，所述方法包括剪切所产生的全景图像(3)的上边界和下边界的步骤(70)。

10.一种用于从视频序列中产生全景图像的设备(2)，所述视频序列包括多个连续图像(I₀，I₁，I_k-1，I_k)，每个图像(I₀，I₁，I_k-1，I_k)包括与亮度和色度分量相关联的至少一个像素，所述设备(2)包括：

-全景结构(18)，具有与初始化为零的分量相关联的像素；

-计算模块(8)，将初始化为零的分量分配给被称为先前混合图像的图像(P₀，P_k-1)的像素，并将所述先前混合图像(P₀，P_k-1)存储(24)在所述全景结构(18)中；

-输入(4)，用于接收具有第一(40)和第二(42)部分的当前图像(I₁，I_k)；

所述计算模块(8)相对于所述先前混合图像(P₀，P_k-1)，将所述当前图像(I₁，I_k)放置(38)入所述全景结构(18)中，所述当前图像(I₁，I_k)的像素的第一区域(41)与所述先前混合图像(P₀，P_k-1)的像素区域相对应，所述当前图像(I₁，I_k)的像素的第二区域(43)与所述全景结构(18)的像素区域相对应；

所述计算模块(8)标识属于所述当前图像(I₁，I_k)的第一部分(40)且属于第一区域(41)的像素(58)；

对于每个所标识的像素(58)，所述计算模块(8)检查(50)所标识像素是否与源自多个图像的低于预定阈值(N)的分量的加权和而得到的分量相关联，

所述计算模块(8)计算(54)由与所述当前图像(I₁，I_k)的所标识像素相关联的分量和与所述先前混合图像(P₀，P_k-1)的对应像素相关联的分量的加权和而得到的分量，并将分量分配(56)给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于所述当前图像(I₁，I_k)的第二部分(42)且属于第二区域(43)的每个像素(63)，所述计算模块(8)将与所述当前图像(I₁，I_k)的像素相关联的分量分配(60)给所述全景结构(18)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于所述当前图像(I₁，I_k)的第二部分(42)且属于第一区域(41)的每个像素(64)，所述计算模块(8)将与所述当前图像(I₁，I_k)的像素相关联的分量分配(63)给所述先前混合图像(P₀，P_k-1)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量；

对于属于第一部分(40)且属于第二区域(43)的每个像素(66)，所述计算模块(8)将与所述当前图像(I₁，I_k)的像素相关联的分量分配(65)给所述全景结构(18)的对应像素，以获得与当前混合图像(P₁，P_k)的像素相关联的分量，所述计算模块将所述当前混合图像(P₁，P_k)的像素视为先前混合图像(P₀，P_k-1)的像素。

Images