CN1894724A - 在图像序列中追踪子图像 - Google Patents

Abstract

本发明提出一种在一连串所获取的图像中识别从在后获取的图像中提取的在后子图像的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，从该在后获取的图像中提取的该在后子图像对应于从先前获取的图像中提取的先前子图像。该方法包括以下步骤：－对于该先前子图像，计算形成该子图像的预定义分割的各块的每个像素的特征量的至少一个分布；－计算从该在后获取的图像中提取的根据第二格式的至少两个潜在子图像的相同的分布；－以及从所述潜在子图像中确定相应的在后子图像，其中，根据预定义的相关性法则，所确定的该在后子图像的所述计算的分布或者每一个计算的分布与对于该先前子图像计算的相同分布具有最高相关性。

Description

在图像序列中追踪子图像

发明领域

本发明涉及一种在一连串所获取的图像中识别从在后获取的图像中提取的在后子图像的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，从该在后获取的图像中提取的该在后子图像对应于从先前获取的图像中提取的先前子图像，所述各子图像是根据小于第一格式的第二格式由像素矩阵形成的。

发明背景

许多视频序列获取设备都配备有图像稳定装置，其能够使所记录的图像不受操作摄影机的操作者的不必要的以及无意识的运动的干扰。

为了稳定图像，一些设备配备有校正机制，其可以直接对摄影机的各光学元件起作用。这些设备较为复杂、体积较大、并且不适合于小件设备。

也有公知的视频信号处理方法通过对连续图像的分析来稳定所记录的图像。

这些方法使摄影机能够获取其格式比将要记录的图像格式更大的数字图像，而将要记录的图像则构成由摄影机获取的主图像的子图像。

为了稳定图像，已知如何根据从先前获取的图像中取得的先前子图像来确定在后获取的图像中的对应于该先前子图像的在后子图像。根据关于先前子图像和在后子图像的知识，可以确定发生在这两个对应图像之间的任何运动，同时也可以校正这种运动，以便消除操作者的无意识运动的影响。

在文献EP-1.117.251中特别描述了一种图像稳定方法。该方法提出将已获取的图像划分为覆盖该图像的一组块，同时为每一块确定表征这个块从一个图像到下一个图像的运动的运动矢量。为所有的块建立运动直方图。经过过滤后，该直方图的结果被平均，并且该运动矢量被选取为等于各个块的已过滤运动矢量的平均值。

这个方法消耗了大量的计算时间并且因此消耗了大量功率，这是因为对于每个所考虑的块必须确定在后图像中的对应的块。另外，没有提供任何用来从先前块识别在后块的算法。

本发明的一个目的是提出一种识别对应于一连串已获取图像的先前子图像的在后子图像的方法，所述一连串图像可以被用在一种确定图像运动的方法中，该确定图像运动的方法本身也可以用在一种图像稳定方法中，从而使得该图像稳定方法仅需要少量的计算操作并且因此仅仅消耗少量功率。

发明概述

为此目的，本发明的目的是一种识别方法，包括以下步骤：

-对于先前子图像，计算形成该子图像的预定义分割的各块的每个像素的特征量的至少一个分布；

-计算从在后获取的图像中提取的根据第二格式的至少两个潜在子图像的相同的分布；以及

-从所述潜在子图像中确定相应的在后子图像，其中，根据预定义的相关性法则，所确定的在后子图像的所述计算的分布或者每一个计算的分布与对于该先前子图像计算的相同分布具有最高相关性。

计算一个分布，以便确定相应的在后子图像在计算能力方面简单而经济，然而仍能够以令然满意的精度确定相应的在后子图像。

根据一个特定实施例，该方法包括一个或多个以下特征：

-该方法包括以下步骤：

·对于在后获取的图像的扩展范围计算扩展分布；

·计算先前子图像的已计算出来的分布与先前子图像关于在后获取图像的几个移位的扩展分布的对应部分之间的相关性；以及

·将相应的在后子图像确定为在后获取的图像的这样的子图像：其对应于先前子图像相对于在后获取的图像的移位，所述分布之间的计算出来的相关性对于该移位是最高的；

-形成用于计算至少一个分布的子图像的预定义分割的各块是该子图像的行和/或列；

-每个像素的所述特征量是从包括亮度、蓝色度、红色度、红色分量、绿色分量和蓝色分量的组中挑选出来的参数；以及

-所述相关性法则被定义成分隔两个分布的欧几里德距离的倒数。

本发明还涉及一种在一连串所获取的图像中确定从在后获取的图像中提取的在后子图像相对于从先前获取的图像中提取的相应的先前子图像的运动的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，所述各子图像是根据小于第一格式的第二格式由像素矩阵形成的，该方法包括以下步骤：

-通过利用所定义的方法，从在后获取的图像中识别对应于该先前子图像的该在后子图像；

-从所述先前和在后子图像在所述先前和在后获取的图像中的位置计算所述先前和在后子图像之间的任何运动。

本发明还具有一个目的，即提出一种在一连串所获取的图像中稳定图像的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，该方法包括以下步骤：

-通过使用上面定义的运动方法，在一连串所获取的图像中确定来自在后获取的图像的在后子图像相对于来自先前获取的图像的先前子图像的任何运动；

-校正所述确定的运动，以便考虑有意识运动的效果并且消除无意识运动的效果；以及

-采用从所述先前子图像移位了所述校正后的运动的在后获取的图像的子图像作为所述在后子图像。

本发明的目的还在于提出一种用于数据处理单元的计算机程序产品，其包括一组用于当所述程序由数据处理单元执行时执行如上面定义的方法的各步骤的指令。

最后，本发明的目的在于：

-一种设备，用于在一连串所获取的图像中识别从在后获取的图像中提取的在后子图像的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，从该在后获取的图像中提取的该在后子图像对应于从先前获取的图像中提取的先前子图像，所述各子图像是根据小于第一格式的第二格式由像素矩阵形成的，该设备包括：

·对于该先前子图像计算形成该子图像的预定义分割的各块的每个像素的特征量的至少一个分布的装置；

·用于计算从该在后获取的图像中提取的根据第二格式的至少两个潜在子图像的相同分布的装置；以及

·用于从所述潜在子图像中确定相应的在后子图像的装置，其中，根据预定义的相关性法则，所确定的在后子图像的所述计算的分布或者每一个计算的分布与对于该先前子图像计算的相同分布具有最高相关性；

-一种设备，用于在一连串所获取的图像中确定从在后获取的图像中提取的在后子图像相对于从先前获取的图像中提取的相应的先前子图像的运动，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，所述各子图像是根据小于第一格式的第二格式由像素矩阵形成的，该设备包括：

·如上所述的识别设备，用于从在后获取的图像中识别对应于该先前子图像的该在后子图像；以及

·用于从所述先前和在后子图像在所述先前和在后获取的图像中的位置计算所述先前和在后子图像之间的运动的装置；

-一种设备，用于在一连串所获取的图像中稳定各图像，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，包括：

·如上定义的用于确定运动的设备，其用于在一连串所获取的图像中确定来自在后获取的图像的在后子图像相对于来自先前获取的图像的先前子图像的运动；

·用于校正所述确定的运动的装置，以便考虑有意识运动的效果并且消除无意识运动的效果；以及

·用于采用从所述先前子图像移位了所述校正后的运动的所述在后获取的图像的子图像作为所述在后子图像的装置。

附图简述

下面将参考附图中所描述的实施例的示例来进一步描述本发明，然而，本发明并不受其限制。

-图1是视频压缩设备的示意图，该视频压缩设备利用了依照本发明的图像稳定设备；

-图2是一个流程图，其说明了依照本发明的图像稳定方法；

-图3是先前图像的示意图，其举例说明了在根据本发明的方法中使用的水平和垂直直方图的计算；

-图4是图3的图像的在后图像的示意图，其举例说明了在根据本发明的方法中使用的水平和垂直直方图的计算；

-图5是一个曲线图，其举例说明了对在实施根据本发明的方法期间获得的直方图进行相关的方法；

-图6是一个曲线图，其举例说明了通过实施根据本发明的方法来确定运动矢量；以及

-图7是便携式图像记录和显示设备的示意图。

优选实施例描述

根据本发明的图像稳定方法特别适用于在用于获取视频序列的便携式设备中使用，例如配备了集成摄影机以及用于发送压缩后的已获取视频序列的装置的移动电话。

图1示意性地描述了在便携式电话中使用的视频压缩设备的结构，该设备包括根据本发明的图像稳定级。

该视频压缩设备的处理链包括数字图像获取装置12，其例如由与传感器矩阵相关联的摄影机的透镜构成。所获取的数字图像由像素矩阵形成。每个像素构成一个由各种变量表征的图像单元，所述变量例如是亮度、蓝色度、红色度、红色分量、绿色分量或者蓝色分量。

所获取的图像具有第一格式。它们例如为700×500像素。

要被该设备编码和压缩的图像具有小于已获取图像的格式的第二格式。要被编码的图像因此由来自所获取图像的子图像构成。该第二格式例如为640×480像素。

由获取装置12提供的700×500像素的所获取图像由根据本发明的图像稳定装置14处理。这些装置将在后面描述中详细介绍。在该稳定装置的输出端获得的图像是具有640×480像素的第二格式的稳定后的子图像。

如本身已知的那样，如此获得的一连串子图像在被发送之前在移动电话中被压缩。

为此目的，由分解装置16将所述子图像分解为8×8像素的宏块。这些宏块都被发送到装置18，该装置用于估算该宏块相对于其在先前子图像中的位置的运动矢量。为此目的，所述压缩设备包括用于存储先前图像的装置20。该压缩设备还包括装置22，该装置用于对每个将被编码的宏块与它在先前图像中的前身之间的差异进行编码。

所述装置22接收由估计装置18产生的每个宏块的运动矢量、来自分解装置16的相应的宏块以及存储在存储装置20内的先前子图像的先前宏块作为输入。

由运动矢量和所述已编码差异构成的关于每个宏块的信息通过电话被发送到接收器，在那里对该信息进行解码并且重构图像序列。

图2描述了一种用于根据本发明的图像稳定装置14的算法的简化流程图。

有利地，以适当的硬连线电子电路的形式制造该图像稳定装置14，比如ASIC。

在一个变型中，由处理器(例如使用适当程序的DSP)执行不同的稳定化步骤。

根据本发明的方法，所获取的图像在它们被获取时被连续处理。这样，为每个新获取的图像确定对应于先前子图像的子图像。

因此，为每个新获取的图像执行图2中所示的方法的各步骤。

因此，假定已知所获取的先前图像被标记为A_t，并且已知从该先前获取的图像A_t中提取的稳定后的先前子图像被标记为SA_t。

当实施该方法时，在步骤28获取被标记A_t+1的在后图像。

在步骤30，该图像稳定装置首先提供对来自图像获取装置12的在后图像A_t+1的像素的特征量的垂直和水平直方图的计算。

对于每个像素在直方图中考虑的特征量例如是每一个像素的亮度，或者每一个像素的蓝色度、红色度、红色分量、绿色分量或蓝色分量。

为该在后获取的图像A_t+1的预定义的各块建立直方图。如前所述，所获取的该图像具有700×500像素的格式。

更严格地说，建立所有已定义块的每一个像素的特征量的分布。虽然该直方图是这个分布的图形表示，但是在说明书的剩余部分中将使用术语“直方图”来指代该分布，这一术语在所讨论的技术领域中更为常用。

例如，被标记为H_t+1 ^h的水平直方图由图像A_t+1的每一条行1的每个像素的特征量的被标记为H₁的总和构成。换句话说，根据以下公式为行1定义该直方图的每一点：

$H_1=\underset{i=1}{\overset{\mathrm{NCI}}{\mathrm{\Σ}}}{q}_i$

其中：

H₁为行1的各像素的特征量的总和；1是行号；这里1∈[1；500]；

q₁为行1中的像素i的特征量，并且NCI是图像内的列的数量；这里NCI＝700。

同样地，为图像A_t+1建立被标记为H_t+1 ^v的垂直直方图。对应于列c的直方图的每一点H_c被定义为：

$H_c=\underset{j=1}{\overset{\mathrm{NLI}}{\mathrm{\Σ}}}{q}_j$

其中：

H_c为列c中的各像素的特征量的和；

c为列号；这里c∈[1；700]；

q₁为列c的像素j的特征量，并且

NLI为图像中的行的数量。

对于所收集的图像的整个范围计算这些直方图H_t+1 ^h和H_t+1 ^v。

图3描述了这种直方图的一个例子，其中每个像素的特征量是该像素的光强度。

按照700×500像素的格式获取的图像在步骤32被临时地存储在FIFO(先入先出)型视频存储器中。

存储将被稳定化的图像序列的先前提取的子图像SA_t的直方图，以便随后在步骤34使用。

通过提取由装置30计算的已获取图像的某些较大的直方图来获得存储在装置32中的子图像的水平SH_t ^h和垂直SH_t ^v直方图，正如后面将在说明书中所揭示的那样。因此，这实质上是其范围被限制到第二格式的子图像SA_t的子直方图的情况，正如图4中所揭示的那样。

在步骤36，计算在后获取的图像A_t+1的直方图H_t+1 ^h和H_t+1 ^v与先前子图像SA_t的直方图SH_t ^h和SH_t ^v之间的距离。为此，使用已获取的图像的水平直方图和垂直直方图以及先前提取的子图像的水平和垂直直方图。

对于水平和垂直直方图执行类似的处理。下面仅详细描述对于水平直方图所执行的处理。

计算先前子图像SA_t的水平直方图SH_t ^h和在后获取的图像A_t+1的水平直方图H_t+1 ^h之间的一组距离。为从在后获取的图像A_t+1中提取的潜在图像(其具有子图像的格式，即640×480点)计算这些距离。在先前获取的图像的整个范围内，所考虑的各个潜在子图像彼此之间偏移一个像素，从而在所述潜在子图像与所述先前获取的图像A_t之间考虑了60个连续的潜在图像，如图5所示。

对应于d个像素的偏移量的每个被标记为D_d的距离是通过在直方图的范围内的每一块(这里是每一列)的各像素的特征量的和之间的差值定义的，即由下面的公式定义：

$D_d=\underset{i=1}{\overset{\mathrm{NCSI}}{\mathrm{\Σ}}}|y_{i+d}^I-y_1^{\mathrm{Si}}|$

其中

NCSI是潜在子图像内的列的数量；此处NCSI＝640；

y_i+d ^I是对应于在后图像A_t+1的列i+d的直方图的量；

y₁ ^Si是对应于潜在子图像的列i的直方图的量。

在步骤38，根据所述距离计算的结果确定先前子图像SA_t和相应的在后子图像SA_t+1之间的偏移量。为此目的，在所计算出的各距离中采用对应于最小距离D_d的偏移量m。

考虑到由各距离D_d形成的曲线上的其二阶导数最大的一点，优选地从该曲线中确定所述最小距离。图6示出了表示函数D_d的二阶导数的曲线。在这个例子中，该偏移量等于28个像素。

如此确定的偏移量m使得可以在所述在后获取的图像A_t+1内确定最佳地对应于先前子图像SA_t的子图像，并且特别可以确定这两个图像之间的水平偏移量。

考虑到垂直直方图，也可以对于垂直偏移量实施步骤36和38。

如此确定的在相应的子图像SA_t和SA_t+1之间的偏移量在步骤40被校正。该偏移被校正，以便不考虑任何无意识的振动。这种类型的校正算法本身是已知的，因此这里将不详细描述。

随后，根据在步骤40确立的经校正的偏移量，在步骤42从所存储的在后图像中提取出经校正的在后子图像SA_t+1。该相应的在后子图像然后被发送到分解模块16。

应当理解，利用这种稳定装置，对于确定两个连续的相应图像之间的偏移量所必要的计算量相对较小，从而使得可以利用有限的资源(特别是有限的功耗)来执行这些计算。

图7描述了根据本发明的通过直方图来实现图像稳定器的另一种设备。该设备是摄录一体机，其包括一组可以获取图像的传感器112以及如上所述的图像稳定模块114，该图像稳定模块使得可以产生经稳定化的子图像以作为其输出。这些子图像被发送到记录装置116并且同时被发送到例如液晶屏幕118的显示屏，从而使操作者能够显示所记录的图像序列。

Claims (11)

1、一种在一连串所获取的图像(A_t，A_t+1)中识别从在后获取的图像(A_t+1)中提取的在后子图像(SA_t+1)的方法，所述一连串图像(A_t，A_t+1)当中的每一个是根据第一格式由像素矩阵形成的，从该在后获取的图像(A_t+1)中提取的该在后子图像(SA_t+1)对应于从先前获取的图像(A_t)中提取的先前子图像(SA_t)，所述各子图像(SA_t，SA_t+1)是根据小于第一格式的第二格式由像素矩阵形成的，该方法包括以下步骤：

-对于该先前子图像(A_t)，计算形成该子图像的预定义分割的各块的每个像素的特征量的至少一个分布(SH_t ^h，SH_t ^v)；

-计算从该在后获取的图像(A_t+1)中提取的第二格式的至少两个潜在子图像的相同的分布；以及

-从所述潜在子图像中确定该相应的在后子图像(SA_t+1)，其中，根据预定义的相关性法则，所确定的在后子图像的所述计算的分布或者每一个所计算的分布与对于该先前子图像(SA_t)计算的相同分布具有最高相关性。

2、如权利要求1所述的方法，其特征在于，该方法包括以下步骤：

-对于所述在后获取的图像(A_t+1)的扩展范围计算扩展分布(H_t+1 ^h，H_t+1 ^v)；

-计算所述先前子图像(A_t)的所计算出来的分布与该先前子图像(SA_t)关于该在后获取的图像(A_t+1)的几个移位的扩展分布(H_t+1 ^h，H_t+1 ^v)的对应部分之间的相关性；以及

-将该相应的在后子图像(SA_t+1)确定为该在后获取的图像(A_t+1)的这样的子图像：其对应于该先前子图像(SA_t)相对于该在后获取的图像(A_t+1)的移位(m)，所述分布之间的所计算出来的相关性对于该移位是最高的。

3、如权利要求1或2所述的方法，其特征在于，形成用于计算至少一个分布的所述子图像的预定义分割的各块是该子图像的行和/或列。

4、如前述权利要求中的任何一个所述的方法，其特征在于，每个像素的所述特征量是从包括亮度、蓝色度、红色度、红色分量、绿色分量和蓝色分量的组中挑选出来的参数。

5、如前述权利要求中的任何一个所述的方法，其特征在于，所述相关性法则被定义成分隔两个分布的欧几里德距离的倒数。

6、一种在一连串所获取的图像中确定从在后获取的图像(A_t+1)中提取的在后子图像(SA_t+1)相对于从先前获取的图像(A_t)中提取的相应的先前子图像(SA_t)的运动的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，所述各子图像(SA_t，SA_t+1)是根据小于第一格式的第二格式由像素矩阵形成的，该方法包括以下步骤：

-通过利用在任一前述权利要求中所述的方法，从该在后获取的图像(A_t+1)中识别对应于该先前子图像(SA_t)的该在后子图像(SA_t+1)；以及

-从所述先前(SA_t)和在后(SA_t+1)子图像在所述先前(A_t)和在后获取的图像(A_t+1)中的位置计算所述先前和在后子图像之间的任何运动。

7、一种在一连串所获取的图像中稳定图像的方法，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，该方法包括以下步骤：

-通过利用如权利要求6所述的运动方法，在一连串所获取的图像中确定来自该在后获取的图像(A_t+1)的在后子图像(SA_t+1)相对于来自先前获取的图像(A_t)的相应的先前子图像(SAt)的任何运动；

-校正所述确定的运动，以便考虑有意识运动的效果并且消除无意识运动的效果；以及

-采用从所述先前子图像(SA_t)移位了所述校正后的运动的该在后获取的图像(A_t+1)的子图像作为所述在后子图像(SA_t+1)。

8、一种用于数据处理单元的计算机程序产品，其包括一组指令，当所述程序由数据处理单元执行时，该组指令用于执行如任一前述权利要求所述的方法的各步骤。

9、一种设备，用于在一连串所获取的图像(A_t，A_t+1)中识别从在后获取的图像(A_t+1)中提取的在后子图像(SA_t+1)的方法，所述一连串图像(A_t，A_t+1)当中的每一个是根据第一格式由像素矩阵形成的，从该在后获取的图像(A_t+1)中提取的该在后子图像(SA_t+1)对应于从先前获取的图像(A_t)中提取的先前子图像(SA_t)，所述各子图像(SA_t，SA_t+1)是根据小于第一格式的第二格式由像素矩阵形成的，该设备包括：

-对于该先前子图像(A_t)计算形成该子图像的预定义分割的各块的每个像素的特征量的至少一个分布(SH_t ^h，SH_t ^v)的装置；

-用于计算从该在后获取的图像(A_t+1)中提取的根据第二格式的至少两个潜在子图像的相同分布的装置；以及

-用于从所述潜在子图像中确定相应的在后子图像(SA_t+1)的装置，其中，根据预定义的相关性法则，所确定的在后子图像(SA_t+1)的所述计算的分布或者每一个计算的分布与对于该先前子图像(SA_t)计算的相同分布具有最高相关性。

10、一种设备，用于在一连串所获取的图像中确定从在后获取的图像(A_t+1)中提取的在后子图像(SA_t+1)相对于从先前获取的图像(A_t)中提取的相应的先前子图像(SA_t)的运动，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，所述各子图像(SA_t，SA_t+1)是根据小于第一格式的第二格式由像素矩阵形成的，该设备包括：

-如权利要求9所述的识别设备，用于从该在后获取的图像(A_t+1)中识别对应于该先前子图像(SA_t)的该在后子图像(SA_t+1)；以及

-用于从所述先前(SA_t)和在后(SA_t+1)子图像在所述先前(A_t)和在后(A_t+1)获取的图像中的位置计算所述先前和在后子图像之间的运动的装置。

11、一种设备，用于在一连串所获取的图像中稳定各图像，所述一连串图像当中的每一个是根据第一格式由像素矩阵形成的，该设备包括：

-如权利要求10所述的用于确定运动的设备，其用于在一连串所获取的图像中确定来自在后获取的图像(A_t+1)的在后子图像(SA_t+1)相对于来自先前获取的图像(A_t)的先前子图像(SA_t)的运动；

-用于校正所述确定的运动的装置，以便考虑有意识运动的效果并且消除无意识运动的效果；以及

-用于采用从所述先前子图像(SA_t)移位了所述校正后的运动的所述在后获取的图像(A_t+1)的子图像作为所述在后子图像(SA_t+1)的装置。

Images