CN103649999B - 用于确定光流的内容自适应***、方法和设备 - Google Patents

Abstract

实施例包含基于每一像素或像素群组的相应加权值确定帧之间的像素位移的方法和***。所述加权值提供关于哪些像素与光流计算较相关的指示。计算资源和努力可集中在具有较高权重的像素上，其通常与光流确定较相关。

Description

用于确定光流的内容自适应***、方法和设备

技术领域

本发明的实施例涉及机器视觉，且明确地说，涉及用于确定光流的内容自适应***、方法和设备。

背景技术

各种各样的电子装置(包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数字相机、数字记录装置等)使用机器视觉技术来提供通用成像能力。这些能力可包含辅助用户辨认地标、识别朋友和／或陌生人以及多种其它任务的功能。

增强现实功能还可识别图像内的一个或一个以上对象的运动。光流是用于运动跟踪的已知方法。光流确定并不首先尝试从原始图像像素数据辨认对象且接着跟踪所述对象在图像帧序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。然而，存在许多问题，例如计算复杂性，这使得在移动平台上实施已知的光流确定技术较困难。

发明内容

在所附权利要求书的范围内的***、方法和装置的各种实施例各自具有若干方面，其皆不单独负责本文所述的合意属性。在不限制所附权利要求书的范围的情况下，本文描述一些显著特征。在考虑此论述之后，且特别是在阅读标题为“具体实施方案”的部分之后，将理解如何将各种实施例的特征用来提供在至少一个计算机处理器上执行的从图像帧序列的光流确定。

本发明的一个方面是确定帧之间的像素位移的方法。所述方法包含为第一多个像素中的每一者确定相应的加权值。每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系。所述方法进一步包含至少部分地基于所述第一多个像素中的至少一个像素的所述加权值，确定两个帧之间的像素位移的光流指示符。

本发明的另一方面是一种用于确定帧之间的像素位移的计算机程序产品，其在被执行时致使设备为第一多个像素中的每一者确定相应的加权值。每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系。所述指令进一步致使所述设备至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符。

本发明的另一方面是一种经配置以确定帧之间的像素位移的设备，其包括：用于确定第一多个像素中的每一者的相应加权值的装置，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系；以及用于至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符的装置。

本发明的另一方面是一种经配置以确定帧之间的像素位移的设备，其包括：存储器；以及处理器，其经配置以：确定第一多个像素中的每一者的相应加权值，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系；以及至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符。

附图说明

为了可详细理解本发明的特征的方式，可参考若干方面进行上文简要概述的更特定描述，所述方面中的一些在附图中说明。然而，将注意，附图仅说明本发明的某些典型方面，且因此不被视为限制本发明的范围，因为所述描述可承认其它同等有效的方面。

图1是相对于服务器、数据库和网络发射***描绘移动装置的一般化框图，其中所述装置中的一者或一者以上实施本发明实施例中的某些实施例。

图2是与本发明实施例中的一些相关联的某些成像应用可使用的移动装置的各种组件的框图。

图3A说明6x6像素块的基于色调的量化等级的一个可能集合。

图3B说明6x6像素块的基于色调的量化等级的一个可能集合。

图4是确定光流的方法的实施方案的流程图。

图5是确定光流的方法的实施方案的流程图。

图6是确定光流的方法的实施方案的流程图。

图7是实例接入终端的框图。

根据惯例，图中所说明的各种特征可不按比例绘制。因此，为了清楚，各种特征的尺寸可任意扩大或减小。另外，图式中的一些图式可不描绘给定***、方法或装置的所有组件。最后，在说明书和图中，可始终使用相同参考标号来表示相同特征。

具体实施方式

本文所揭示的实施方案提供经配置以为移动平台上的增强现实和介导现实应用提供光流确定的***、方法和设备。通常，增强现实是表示对真实世界环境的现场直接和／或间接观察的术语，所述环境的元素由计算机产生的感觉输入(例如可听、视觉和／或触觉特征)补充。增强现实是介导现实的子集，其中通过使用基于计算机的技术增加和／或简化图像的元素来修改真实世界图像。为了方便且简明起见，在下文提供的描述中将互换使用术语“增强现实”和“介导现实”。在一些应用中，介导现实技术的使用允许用户可存取的关于环境的信息变为交互性的。

对象运动跟踪是用于增强现实应用的有用工具。光流是用于运动跟踪的已知方法。光流确定并不首先尝试从原始图像像素数据辨认对象且接着跟踪所述对象在图像帧序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。然而，使用光流确定技术的运动跟踪在计算上较昂贵，因此使得已知的光流确定技术对于在许多当前移动平台上实施来说不实际。本发明的实施例企图修改光流确定技术，以便提供内容自适应光流确定。

一些实施例涉及一种在至少一个计算机处理器上执行的用于提供从图像帧序列的光流确定的方法或***。根据所述方法的实例，可产生与图像的对应部分相关联的加权值。在一些实施方案中，每一加权值表示一个或一个以上像素的信息值。在光流计算中，不强调具有相对较低信息值的像素，且强调具有相对较高信息值的像素。

像素所提供的信息量可基于对像素在图像内相对于相邻像素而提供的上下文的确定。举例来说，在一个实施方案中，由高度结构化且／或组织的相邻像素环绕的像素可被视为具有相对较高信息值的像素。假定此像素属于可辨别特征，其运动可在图像帧序列内加以跟踪。另一方面，由相邻像素的均匀或伪随机群集环绕的像素可被视为具有相对较低信息值的像素。假定此像素不属于图像内可容易辨别的特征。

在另一实例中，加权值也可为色散的函数。色散通常指代图像区中类似像素的彼此分离。在类似像素驻存在彼此附近的情况下，色散较低。在许多介入的非类似像素分离类似像素的情况下，色散较高。当像素如此类似以致于可以说不存在可区分群组时，也可将色散定义为“高”。此些像素又可被分类为具有低信息值。注意，类似像素可作为整体而“色散”，即使个别类似像素在图像中分离较远的“丛”或群组中驻存在彼此旁边也是如此。“色散值”可指示色散的程度，且为确定一个或一个以上像素的信息值提供基础。

在一些实施方案中，在光流确定中，基于所确定的相应加权值来不强调低信息值像素。所属领域的技术人员将了解，所指的加权值是关于一个或一个以上像素所传达的信息的程度，且实际实施方案可以多种形式(例如倒数或范围)来表示阈值或范围。因此，如本文所述，“超过阈值”指示存在充足量的信息，而不管使用什么特定实施方案来描述所述条件。光流确定方法的各种实施方案可为有用的，例如在对所捕获的图像帧序列执行运动跟踪的蜂窝式电话中。通过适当地对图像的具有低信息值的部分进行加权，***可在光流确定进程中不强调那些部分。可强调其它区，例如具有相对较高信息值像素的区。此方法可通过减少与不可能提供有用信息的像素有关的光流计算的数目和／或复杂性来节省计算资源。

在以下描述中，给出具体细节以提供对实例的全面理解。然而，所属领域的普通技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，为了不以不必要细节模糊所述实例，可以框图展示电组件／装置。在其它例子中，可详细展示此些组件、其它结构和技术，以进一步阐释所述实例。

还注意，可将实例描述为描绘为流程表、流程图、有限状态图、结构图或框图的进程。尽管流程表可将操作描述为顺序进程，但可并行或同时执行许多操作，且进程可重复。另外，可重新布置操作的次序。进程在其操作完成时终止。进程可对应于方法、函数、过程、子例程、子程序等。当进程对应于软件函数时，其终止对应于函数返回到调用函数或主函数。

所属领域的技术人员将理解，可使用多种不同技术及技法中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。

下文描述在所附权利要求书的范围内的实施例的各种方面。应明白，本文所述的方面可以各种各样的形式体现，且本文所描述的任何特定结构和／或功能仅为说明性的。基于本发明，所属领域的技术人员将了解，可独立于任何其它方面来实施本文中所描述的方面，且可以各种方式来组合这些方面中的两者或两者以上。举例来说，可使用本文中陈述的任何数目的方面来实施一设备和／或实践一方法。另外，除本文中陈述的方面中的一者或一者以上之外或不同于本文中陈述的方面中的一者或一者以上，也可使用其它结构和／功能性来实施此设备和／或实践此方法。

如上文所述，光流是用于运动跟踪的已知方法。光流确定并不尝试首先从原始图像像素数据辨认对象且接着跟踪所述对象在图像序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。光流技术具有许多用途，例如确定3D成像中的立体视觉的视差。可实施称为具有L1范数正则化的总变分法(TV-L1)的光流确定方法，以使用现代桌上型图形处理器单元(GPU)提供实时性能。然而，存在许多使得难以在移动平台上实施TV-L1方法以及其它光流技术的问题。

根据以下成本函数来公式化TV-L1方法：

$\underset{u}{\min }\left\{{\∫}_{\mathrm{\Ω}}\right|\▿u|\mathrm{d\Ω}+\mathrm{\λ}{\∫}_{\mathrm{\Ω}}|I_1(x+u\left(x\right))-I_0\left(x\right)\left|\mathrm{d\Ω}\right\}---\left(1\right)$

项I₀和I₁分别是第一和第二连续图像帧。项u（x）=(u1(x)，u2(x))^T是二维位移场，且λ为成本函数中的第一与第二项之间的加权参数。等式(1)内的第一积分项为平滑项，其处罚u(x)中的高变化，以获得循序图像之间的平滑位移场。等式(1)内的第二积分项为保真度项。在假定第二图像中的强度值I₁(x+u(x）)与第一图像I₀(x）相比不显著变化的情况下公式化保真度项。通过额外的局部线性化和凸条件，可迭代地解等式(1)。

然而，TV-L1方法具有许多问题，其使得在具有有限处理资源的移动平台上实施起来不实际。首先，TV-L1方法较重地正则化运动不连续性，使得所述方法在处理相对较大运动场的方面具有困难。为了补偿重正则化，通常使用“粗到细”图像金字塔。尽管粗到细方法缓解了对相对较大运动的约束，但造成两个额外问题。第一，粗到细图像金字塔增加了显著的计算成本，因为计算必须在图像金字塔的每个等级上重复。第二，粗到细图像金字塔实际上将原始凸方法转换为非凸方法。所属领域的技术人员将了解，凸方法通常由将随迭代处理收敛的解定义。另一方面，对于非凸方法，虽然可发生收敛，在迭代处理之后发生收敛的确定性较低。

另外，TV-L1方法对于例如均匀或伪随机像素群集(其中无法可靠地执行匹配)等较差纹理化区表现不佳。举例来说，较难可靠地在帧之间匹配特征的像素，例如随风摇摆的树叶。常规解决方案依靠强正则化来将运动从结构化区传播到非结构化区中。最后，使用TV-L1方法计算的流的量值可收敛，而流向量的方向可不收敛，从而留下对对象分割有用但对运动跟踪或3D重构没用的结果。

图1相对于服务器102、数据库103和网络104(例如蜂窝式网络)描绘包括移动装置101的通信***100的高级框图。移动装置101可包括手机、膝上型计算机、个人数字助理等。移动装置101可与服务器102通信，服务器102本身与数据库103通信。服务器102可位于蜂窝式基站处，或可位于本地网络服务器或路由器上。数据库103可类似地位于服务器102内，或位于独立位置处。移动装置101可包括相机，或包含用于接收图像的其它装置，例如USB、WI-FI或蓝牙连接。用户可在移动装置101上使用多个应用程序。这些应用程序可包含消息接发服务、图像和视频捕获应用程序，以及所属领域的技术人员已知的其它常见应用程序。移动装置101上的应用程序中的一些可对从远程位置接收到的图像或视频操作，或对由移动装置101的相机在本地产生的图像操作。在一些实施例中，数据库103可包括图像／视频存储装置，且移动装置101可经由服务器102将图像发射到数据库103且／或从数据库103接收图像。这些图像可由在移动装置101上操作的应用程序产生或使用。

如上文所提到，可使用光流方法来跟踪图像序列内的运动。在一些实施例中，数据库103可包括用以识别图像内其运动可被跟踪的对象和／或特征的特征集合。当移动装置101上的应用程序试图跟踪图像序列内的运动时，移动装置101可从数据库103检索特征以应用所述特征作为运动跟踪进程的一部分。或者，特征和其它通常辨认的图案可本地存储在移动装置101上。服务器102还可与网络104通信，且从网络远程接收图像或特征。因此，移动装置101或数据库103可含有经存储以供辨认的图像或特征，其又可用来辅助运动跟踪方法。

尽管图1描绘大大简化的移动***，但所属领域的技术人员将容易认识到，本发明实施例还可应用于任何成像***。举例来说，包括本地图像存储装置的桌上型***也可实施本发明实施例中的许多实施例，作为本地运行光流确定进程的一部分。

图2描绘可在一些实施例的成像应用中使用的移动装置101的各种组件的框图。移动装置101可包括图像捕获***201，其经由镜头200捕获图像。这些图像可存储在图像缓冲器205中，图像缓冲器205可包括RAM、SRAM、动态或静态存储器，如此项技术中已知。或者，可经由连接器206接收图像或特征，连接器206可包括火线、USB、IR收发器、蓝牙接口等。举例来说，可在另一用户从另一装置发射这些图像或特征时，或在移动装置101的用户连接到本地网络或存储装置(例如桌上型计算机)时，接收这些图像或特征。

移动装置101还可包括调制解调器204，其用于经由天线208或连接器207发射或接收包含图像和光流数据的信息。天线208可为用于连接到WI-FI、蜂窝式网络等的无线天线。一旦已作出光流确定，用户就可经由调制解调器204将其上载到数据库103。或者，光流确定可被存储在本地，且在本地使用。

图像捕获***201可包括独立硬件、软件或固件模块。然而，在一些实施例中，如图2中所描绘，图像捕获***可集成到处理器202中，作为处理器中的组件，或在处理器202上运行的软件。图像捕获***操作镜头200以便产生图像。处理器202可为通用处理单元，或经特殊设计以用于成像应用的处理器。

处理器202可包括光流确定模块203，光流确定模块203可本身包括在处理器202上运行的软件、处理器内的专用组件，或独立硬件、软件或固件，和／或其组合。光流确定模块203可实施如下文所述的经修改的内容自适应TV-L1方法。光流确定模块203可包括经设计来执行一个或一个以上额外光流进程的软件、固件或硬件。由此，在给定特定的一组环境的情况下，光流确定模块203可能够在各种光流确定进程之中进行选择。所属领域的技术人员将容易认识到本发明的实施例在其它光流确定进程中的替代性应用。

本发明的实施方案包含内容自适应总变分(CA-TV)方法，其在一些实施方案中允许光流计算比包含“粗到细”图像金字塔技术的TV-L1方法的一些实施方案更高效且准确地收敛。更具体地说，本文所揭示的CA-TV方法在迭代进程中给予由高度结构化／组织的相邻像素环绕的像素较多权重，而不强调例如由均匀或伪随机群集环绕的像素等低信息像素。在一些实施方案中，对图像像素的此信息或内容自适应使用使所述方法能够以减少数目的迭代更准确地收敛，从而降低计算复杂性。换句话说，通过减少关于低信息像素群集的计算，计算速度可改进，使得所述方法可在具有有限计算资源的移动平台上实施。

因此，与先前可用的总变分方法(例如上文所述的TV-L1方法)相对照，根据本发明方面的方法的实施方案为每一像素或像素群组提供相应的加权值。所述加权值提供关于哪些像素与光流计算较相关的指示。这样一来，计算资源和努力集中在具有较高权重的像素上，所述像素与光流确定较相关。换句话说，加权值允许实现一种在与光流计算较相关的像素和与光流计算较不相关的像素之间进行区分的方案。

再次参考上文所提供的等式(1)，对于常规TV-L1方法中的保真度项，所有像素均具有相同的比例缩放因子λ(即，权重)，暗示所有像素在光流计算中对保真度项有相等的影响。然而，如由本文所揭示的实施例的方面所认识到，像素并非全在光流计算中具有相同重要性。事实上，具有几乎均匀或伪随机分布的像素群集的影响很少，因为此群集不能在循序图像帧之间可靠地匹配。根据本发明的方面，在光流计算中，优选地不强调低信息像素，而优选地强调有用像素。这样一来，以此方式强调和不强调各种像素可促进求解成本函数以便更高效且准确地收敛的方法。因为图像的信息等级或信号强度是重要因素，所以对保真度项的内容自适应加权有效地增加计算的信噪比，从而在求解等式(1)的迭代进程中导致潜在快速且可靠的解。

根据一些实施方案，可使用内容自适应加权项λ(x)来对保真度项进行加权，使得等式(1)变为如下的等式(2)：

$\underset{u}{\min }\left\{{\∫}_{\mathrm{\Ω}}\right|\▿u|\mathrm{d\Ω}+\mathrm{\λ}\left(x\right){\∫}_{\mathrm{\Ω}}|I_1(x+u\left(x\right))-I_0\left(x\right)\left|\mathrm{d\Ω}\right\}---\left(2\right)$

在等式(2)中，内容自适应加权值λ(x)为位置变量x=(x₁,x₂）的函数，位置变量测量所述位置处的像素的邻域中的信息内容。在非限制实例中，可将内容自适应加权值λ(x)定义为费歇(Fisher)判别函数，其测量环绕所述像素的像素带(patch)的信息／结构强度：

λ(x)=c*J(x) (3)

在等式(3)中，项c是比例缩放常数，且x为Z的元素，Z为像素的邻域的所有N个位置的集合。假设将Z分为C个类。在非限制实例中，类的数目C表示因色彩量化而获得的不同色彩的数目。在一个可能实施方案中，m_i表示类Z_i的N_i个数据点的均值，且可定义以下关系。

$m=\frac{1}{N}\underset{x\∈Z}{\mathrm{\Σ}}x---\left(4\right)$

$m_i=\frac{1}{N_i}\underset{x_i\∈Z_i}{\mathrm{\Σ}}x---\left(5\right)$

$S_T=\underset{x\∈Z}{\mathrm{\Σ}}{\left|\right|x-m\left|\right|}^2---\left(6\right)$

$S_W=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\underset{x\∈Z_i}{\mathrm{\Σ}}{\left|\right|x-m_i\left|\right|}^2---\left(7\right)$

$J\left(x\right)=\frac{S_T-S_W}{S_W}---\left(8\right)$

可使用等式(3)和(8)来在有序和分散本地像素模式之间进行区分。图3A和3B中展示一些实例。更具体地说，作为一个可能实例，图3A说明含有36个像素的6x6图像块301。在一个非限制实例中，落在可能色调的给定量化范围内的像素将被指派相关联的量化等级或类ID。所属领域的技术人员将了解，存在用于使像素与量化值关联的大量手段，例如经配置以将像素值与范围进行比较的软件代码。因此，例如，图3A的像素可分组为三个类，如由“X”、“O”和“+”指示，且分别表示红色、蓝色和绿色。在给定量化等级的像素趋向于驻存在彼此附近的意义上，这三个区相对“均质”，即，“X”在左上部，“O”在左下部，且“+”在右侧。与此相对照，图3B说明具有相同维度但构成“有色散”像素集合的像素块。此处，给定量化类的像素在所述块内不一定位于彼此附近。如所提到，尽管图3A和3B涉及色彩量化，但所属领域的技术人员将了解，存在可量化的大量替代性像素参数。

此外，所属领域的技术人员将了解，所进行的将等式(1)转换为等式(2)的内容自适应修改可应用于其它光流确定方法。举例来说，可使用内容自适应加权值λ(x)来修改具有L2正则化(TV-L2)的总变分法，以产生如下的等式(9)：

$\underset{u}{\min }\{\underset{\mathrm{\Ω}}{\∫}{|\▿\left(u\right)|}^2\mathrm{d\Ω}+\mathrm{\λ}\left(x\right)\underset{\mathrm{\Ω}}{\∫}{(I_1(x+u\left(x\right))-I_0\left(x\right))}^2\mathrm{d\Ω}\}---\left(9\right)$

图4是确定光流的方法的实施方案的流程图。在一些实施方案中，所述方法由包含于接入终端中的软件、硬件和／或固件的合适组合执行。如框4-1所表示，所述方法包含为第一图像帧I₀中的多个像素中的每一者确定相应的加权值λ(x)。在一个实施方案中，使用等式(3)到(8)来确定每一加权值。在另一实施方案中，所述方法包含为具有两个或两个以上像素的多个子组中的每一者确定相应的加权值，以便进一步降低所述方法的计算复杂性。如框4-2所表示，所述方法包含至少部分地基于所述相应加权值来确定光流指示符。在一些实施方案中，光流指示符用作第一帧I₀与第二帧I₁之间的像素位移的指示符。

图5是确定光流的方法的实施方案的流程图。在一些实施方案中，所述方法由包含于接入终端中的软件、硬件和／或固件的合适组合执行。如框5-1所表示，所述方法包含接收彩色图像。如框5-2所表示，所述方法包含对接收到的彩色图像执行色彩空间量化，以产生色彩类映射。如框5-3所表示，所述方法包含为图像中的每一像素计算相应的加权值λ(x)。在一个实施方案中，使用等式(3)到(8)来确定每一加权值。在另一实施方案中，所述方法包含为具有两个或两个以上像素的多个子组中的每一者确定相应的加权值，以便进一步降低所述方法的计算复杂性。如由框5-4所表示，所述方法包含执行后处理以平滑相应的加权值。在一个实施方案中，平滑包含过滤边远像素或表示由相邻像素定义的结构或特征的不连续性的像素。

图6是确定光流的方法的实施方案的流程图。在一些实施方案中，所述方法由包含于接入终端中的软件、硬件和／或固件的合适组合执行。如框6-1所表示，所述方法包含接收视频帧。如框6-2所表示，所述方法包含初始化第一图像帧和流场。如框6-3所表示，所述方法包含计算选定总变分法的流场和保真度项。作为非限制实例，可选择TV-L1或TV-L2方法来用于确定光流。如框6-4所表示，所述方法包含使用例如等式(2)或(9)来计算经加权成本，以确定光流。如框6-5所表示，所述方法包含确定成本函数是否已对于当前帧收敛。如果成本函数尚未收敛(来自6-5的否路径)，那么所述方法包含循环回到所述方法的由框6-3表示的部分，直到发生收敛为止。另一方面，如果成本函数已收敛(来自6-5的是路径)，如框6-6所表示，那么所述方法包含前进到下一帧。如框6-7所表示，所述方法包含为每一像素或子组或两个或两个以上像素计算加权值。

图7是根据本发明某些方面的实例接入终端700的框图。所属领域的技术人员将了解，接入终端可具有比图7中所说明的接入终端700更多的组件。接入终端700仅包含对描述所附权利要求书的范围内的实施方案的一些突出特征有用的那些组件。接入终端700包含处理器701、存储器702、光流确定电路703、缓冲器控制电路704、视频缓冲器705、发射电路706以及天线707。在一个实施方案中，处理器701经配置以处理存储在存储器中的一个或一个以上应用程序的计算机程序代码。在一个实施方案中，用于处理的装置包含处理器。在一个实施方案中，存储装置包含存储器。在一个实施方案中，光流确定电路703经配置以使用内容自适应光流确定方法来确定光流。在一个实施方案中，用于确定光流的装置包含光流确定电路703。在一个实施方案中，缓冲器控制电路704经配置以确定何时允许将视频缓冲器705的内容传递到光流确定电路703。在一个实施方案中，用于控制的装置包含缓冲器控制电路。在一个实施方案中，用于缓冲的装置包含缓冲器。在一个实施方案中，发射电路706经配置以经由天线707将包发射到接入点。在一个实施方案中，用于发射的装置包含发射器电路。

所属领域的技术人员将进一步了解，可将结合本文中所揭示的实施方案而描述的各种说明性逻辑区块、模块、电路和进程步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的这种互换性，上文已大致关于其功能性而描述了各种说明性组件、区块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决定不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到，一部分可包括少于或等于全部的某物。举例来说，像素集合的一部分可指代那些像素的子集合。

可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文中所描述的功能的任何组合来实施或执行在结合本文所揭示的实施方案而描述的各种说明性逻辑区块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。

结合本文中所揭示的实施方案而描述的方法或进程的步骤可直接体现于硬件中、由处理器执行的软件模块中或所述两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的非暂时存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到计算机可读存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻存于ASIC中。ASIC可驻存在用户终端、相机或其它装置中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端、相机或其它装置中。

本文包含标题以供参考且辅助定位各个章节。这些标题无意限制关于其描述的概念的范围。此些概念可适用于整个说明书中。

此外，词语“示范性的”在本文中表示“充当实例、个例或说明”。本文中被描述为“示范性的”任何实施例不一定被解释为比其它实施例优选或有利。

提供对所揭示实施方案的先前描述以使任何所属领域的技术人员能够进行或使用本发明。所属领域的技术人员将容易明白对这些实施方案的各种修改，且在不脱离本发明的精神或范围的情况下，本文中定义的一般原理可应用于其它实施方案。因此，本发明无意限于本文中所展示的实施方案，而是将赋予本发明与本文所揭示的原理和新颖特征一致的最广范围。

Claims (22)

1.一种确定帧之间的像素位移的方法，其包括：

为帧的第一多个像素中的每一者确定相应的加权值，其中每一加权值至少部分地基于所述像素中的特定像素的属性与所述特定像素附近的其它像素的对应属性的关系，所述属性和所述对应属性各自包含基于相关联的像素的值的量化的分类，其中所述加权值被用于区分有序的本地像素模式和分散的本地像素模式，其中所述特定像素为所述第一多个像素中的每一者；以及

至少部分地基于将所述第一多个像素中的至少一个像素的所述加权值应用到总变分中所包含的保真度项、基于所述帧与另一帧之间的所述总变分确定所述帧与所述另一帧之间的像素位移的光流指示符。

2.根据权利要求1所述的方法，其中为所述特定像素确定所述相应加权值包括考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组。

3.根据权利要求1所述的方法，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。

4.根据权利要求1所述的方法，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。

5.根据权利要求1所述的方法，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。

6.根据权利要求1所述的方法，其进一步包括执行色彩空间量化以产生色彩类映射，所述色彩类映射包含一个或一个以上像素分类，所述一个或一个以上像素分类包括所述相关联像素的所述分类。

7.根据权利要求1所述的方法，其进一步包括平滑所述加权值中的一者或一者以上。

8.根据权利要求1所述的方法，其中确定所述光流指示符是基于成本函数。

9.一种经配置以确定帧之间的像素位移的设备，其包括：

用于为第一多个像素中的每一者确定相应的加权值的装置，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性的关系，所述属性和所述对应属性各自包含基于相关联的像素的值的量化的分类，其中所述加权值被用于区分有序的本地像素模式和分散的本地像素模式，其中所述特定像素为所述第一多个像素中的每一者；以及

用于至少部分地基于将至少一个像素的所述加权值应用到总变分中所包含的保真度项、基于所述帧与另一帧之间的所述总变分确定两个帧之间的像素位移的光流指示符的装置。

10.根据权利要求9所述的设备，其中所述用于为特定像素确定所述相应加权值的装置包括用于考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组的装置。

11.根据权利要求9所述的设备，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。

12.根据权利要求9所述的设备，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。

13.根据权利要求9所述的设备，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。

14.根据权利要求9所述的设备，其进一步包括用于执行色彩空间量化以产生色彩类映射的装置，所述色彩类映射包含一个或一个以上像素分类，所述一个或一个以上像素分类包括所述相关联像素的所述分类。

15.根据权利要求9所述的设备，其进一步包括用于平滑所述加权值中的一者或一者以上的装置。

16.一种经配置以确定帧之间的像素位移的设备，其包括：

存储器；以及

处理器，其经配置以：

为帧的第一多个像素中的每一者确定相应的加权值，其中每一加权值至少部分地基于所述像素中的特定像素的属性与接近所述特定像素的其它像素的对应属性的关系，所述属性和所述对应属性各自包含基于相关联的像素的值的量化的分类，其中所述加权值被用于区分有序的本地像素模式和分散的本地像素模式，其中所述特定像素为所述第一多个像素中的每一者；以及

至少部分地基于将所述第一多个像素中的至少一个像素的所述加权值应用到总变分中所包含的保真度项、基于所述帧与另一帧之间的所述总变分确定所述帧与所述另一帧之间的像素位移的光流指示符。

17.根据权利要求16所述的设备，其中为特定像素确定所述相应加权值包括考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组。

18.根据权利要求16所述的设备，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。

19.根据权利要求16所述的设备，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。

20.根据权利要求16所述的设备，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。

21.根据权利要求16所述的设备，其中所述处理器进一步经配置以执行色彩空间量化以产生色彩类映射，所述色彩类映射包含一个或一个以上像素分类，所述一个或一个以上像素分类包括所述相关联像素的所述分类。

22.根据权利要求16所述的设备，其中所述处理器进一步经配置以平滑所述加权值中的一者或一者以上。