CN101156450A - 利用区域的动态高宽比的基于区域的3drs运动估计 - Google Patents

利用区域的动态高宽比的基于区域的3drs运动估计 Download PDF

Info

Publication number
CN101156450A
CN101156450A CN200680011805.XA CN200680011805A CN101156450A CN 101156450 A CN101156450 A CN 101156450A CN 200680011805 A CN200680011805 A CN 200680011805A CN 101156450 A CN101156450 A CN 101156450A
Authority
CN
China
Prior art keywords
image
block
pixels
region
handling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200680011805.XA
Other languages
English (en)
Inventor
A·贝里克
R·塞瑟拉曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101156450A publication Critical patent/CN101156450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及在视频处理中的运动估计领域。具体来说，本发明涉及一种用于为多个第一像素块确定运动矢量的视频处理方法和设备，所述第一像素块构成了图像序列中当前处理的图像的当前处理的图像区域。本发明解决了在像帧速上变换之类的视频应用过程中在基于区域的运动估计中的相邻的图像区域之间的边界对于视频输出的质量的影响的问题。本发明的视频处理设备(100)包括处理单元(104)，它适合于根据将图像分区为多个图像区域的分区情况来对该图像执行运动估计，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及设定不同的高宽比值来处理所述图像序列中的下一个图像(300)，以使得每个图像的图像区域(200.1到200.24；300.1到300.24)数量保持恒定。在本发明的运动估计设备中实现的图像区域高宽比的动态变化降低了相邻图像区域之间边界的影响，并因此提高了基于区域的运动估计的质量。

Description

利用区域的动态高宽比的基于区域的3DRS运动估计
技术领域
本发明涉及视频处理领域。具体的，其涉及运动估计领域。具体而言，本发明涉及一种视频处理方法和设备，用于为构成图像序列中当前正在处理的图像的当前正在处理的图像的多个第一像素块确定运动矢量。
背景技术
在视频处理中，运动估计(ME)是广泛使用的任务。一类ME方法和设备采用了块匹配ME算法。块匹配ME算法确定一个构成图像序列中一部分的图像的每一个像素块的运动矢量。像素块包含在图像的x和y方向上的预定数量的像素。运动矢量表示像素块在图像序列中两个连续的图像之间的运动。块匹配ME算法通过为当前处理的图像的每一个像素块找到在图像序列中之前的图像内相似的块来确定运动矢量。
在电视设备中使用采用了ME的视频处理设备，例如适合于解交织和摄影速度上变换应用。ME还用于视频数据编码。
目前，曾意图提高消费电子视频设备中的显示尺寸。高清晰度电视(HDTV)标准每帧大约需要2个兆像素。对于这样的帧尺寸，运行ME就变成了具有挑战的任务，意图朝向甚至大于每帧8个兆像素的尺寸发展。该图像尺寸必须得到处理器、存储器和通信结构的支持。
注意，在这里使用了具有一般含义的术语“图像”，它包括通过像素数据对图像的任何表示。在该技术中使用了对图像的相应的数字表示具有特定含义的术语“帧”和“字段”，它包含在这里所用的术语“图像”中。而且，在这里使用了具有相同含义的这些术语的轻微变形，例如“视频帧”代替“帧”。
在2002年11月的Proceedings of ProRISC Conference的第203-208页上发表的由
Figure A20068001180500101
R.Sethuraman，J.van Meerbergen，G.deHaan所著文献“Algorithm/Architecture co-design of a picture-rateup-conversion module”中描述了一种用来提高视频处理设备的存储器子***带宽的结构。图像帧被划分为多个区域。提出了一种图像像素数据的两级缓冲。高级便笺式存储器(scratchpad)，也称为L1便笺式存储器，保存当前图像中的一个图像区域和先前图像中的相应图像区域。当前正在处理的图像中的每个图像区域都被独立地进行处理。低级便笺式存储器，也称为L0便笺式存储器，保存运动估计器所使用的当前搜索区。该搜索区构成了图像的一个子阵列，其包含在当前正在处理的图像中当前图像区域的像素块以及在先前图像中相应的同一位置处的图像区域中的像素块。运动估计器测试多个运动矢量候选。为每个运动矢量候选从搜索区中获得视频数据。
基于区域的方法减小了对于保存视频帧的帧存储器的带宽需求。它提供了在该区域内执行多次ME扫描(也称为ME通过(MEpass))而不必访问主存储器的可能性，主存储器通常位于相对于运动估计器的外部。
然而，当在区域之间的边界处执行ME时，基于区域的方法就引起了问题。位于当前正在处理的区域之外的数据在特定图像区域上的ME中没有被考虑。这引入了质量损失。
发明内容
因此本发明的一个目的是提供一种视频处理方法和设备，其提高了基于区域的运动估计的质量。
根据本发明的第一方面，提供了一种视频处理设备，包括：
处理单元，其适合于
为多个第一像素块确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像的当前正在处理的图像区域，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像，以使得每个图像的图像区域数量保持恒定。
本发明的视频处理设备允许在所执行的基于区域的ME算法的收敛处理中包含图像的不同部分。因此为运动估计的目的而消除了在相邻图像区域之间的固定边界。
本发明的解决方案以以下概念为基础：当以运动估计从当前正在处理的图像前进到随后的图像时，改变图像区域的高宽比，其中，所述图像区域构成了图像的分区。共享一个图像区域的多个像素块的第一数量的像素块行和第二数量的像素块列之间的比值，定义了该图像区域的高宽比。
通过改变图像区域的高宽比，而不改变每个图像的图像区域的数量，保持了图像中一个图像区域的面积恒定。只是改变了像素块行的第一数量与像素块列的第二数量。
本发明的解决方案实现了这样的优点：在视频处理设备的输出中的相邻图像区域之间的边界不再有显著的标记。本实施例的视频处理设备从而允许进一步的减小在执行基于区域的运动估计算法的设备与执行所谓的完全搜索算法的设备之间在运动估计质量上的差别。完全搜索算法扫描图像的全部像素块，来为特定的第一像素块确定运动矢量。尽管在完全搜索算法中不会出现区域之间的边界问题，但其速度慢且效率低，从而不是优选用于在视频处理设备实施。
接下来，将描述本发明的第一方面的视频处理设备的优选实施例。除非另外阐述，否则可以结合这些实施例来构成进一步的实施例。
在本发明的处理设备的实施例中，处理单元包括分区单元，分区单元适于确定一组高宽比值，该高宽比值组保持每个图像的图像区域数量恒定，并从该组中选择不同的高宽比值来处理下一个图像。
优选地，该实施例的分区单元适合于将每个图像的图像区域数量分解为多个因子，将这多个因子分为两组，为每组计算因子的部分乘积，以选择像素块的第一数量和第二数量。
在一个实施例中，在开始ME处理之前，确定不同的高宽比的数量，根据本发明，这些不同的高宽比数量可用来处理图像序列中不同的图像。优选地，尽可能选择能够进行因式分解的每个图像的图像区域数量。图像区域的数量所分解得到的因子越多，就能从中选择越多的不同的高宽比数量。
使得存储器带宽需求最小化是设计约束，其强烈的影响所用的高宽比的选择。应该以使用视频处理设备的视频应用的观点，来进一步做出对于所用高宽比的选择。在一些视频处理应用中，选择一个高宽比可能是没用的，根据该高宽比，图像区域仅覆盖一个搜索区的高度或宽度，或甚至更少。优选的，在ME应用中，图像区域的高宽比在x-和y-方向上都应选择得足够大，以允许包含为包含在当前正在处理的图像区域中的第一和第三像素块确定运动矢量所需要的搜索区。这将在下面参照附图的另一个实施例的上下文中进一步更详细的加以解释。
然而，在其它应用中，高宽比可能是有用的，其仅覆盖的一个搜索区的宽度的高度。由该尺寸和高宽比构成的图像区域例如能够用于图像速率上变换的应用中。
在另一实施例中，分区单元适于选择每个图像的图像区域数量，以使得该组高宽比值至少包含预定数量条目(entry)。
在另一实施例中，分区单元适于依据图像序列的视频格式，设定每个图像的图像区域的数量。
优选地，运动估计器适于根据预定扫描顺序扫描图像区域中的第一像素块地来为当前正在处理的图像区域确定运动矢量。扫描顺序的一个实例是在图像区域的每一个像素块行中沿着像素块从左到右的顺序，并在图像区域中沿着像素行从上到下的顺序。本领域中已知许多不同的扫描顺序，其中一些具有曲折(meandering)的图案。
根据本发明的另一个实施例，运动估计器适于通过两次或更多次处理当前正在处理的图像区域，为图像区域的第一像素块确定各自的运动矢量。ME的多次通过进一步提高了ME质量。
在本发明的提供特别优质的基于区域的运动估计的实施例中，该处理单元进一步适于
在相应的图像区域的至少两次通过时，为所述第一像素块确定运动矢量，
通过评估相应的一组候选运动矢量，来为所述图像区域中当前正在处理的第一像素块确定运动矢量，其中，所述候选运动矢量组至少包含一个时间候选矢量，其是为所述图像序列中先前图像中的相应第二像素块所确定的运动矢量，以及
在第二次处理所述当前正在处理的图像中的相应图像区域之前，通过为所述当前正在处理的图像中的相应的第三像素块确定运动矢量并用其替换所述时间候选矢量，来更新所述时间候选矢量，其中，所述时间候选矢量包含在用于所述当前正在处理的图像区域的第一像素块的一组候选运动矢量中，并且是为在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块而确定的，所述在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块被称为所述的第三像素块。
本实施例进一步通过本发明的视频处理设备来提高基于区域的运动估计的质量。正如在该技术中已知的，由于因果关系的问题，不仅从当前正在处理的图像的多个像素块中选择运动矢量候选，而且还从两个连续的图像中选择。即，当处理当前正在处理图像中的图像区域的某个特定的第一像素块时，当前正在处理图像中的一些运动矢量还没有得到，不能用来充当运动矢量候选。对于此类遗漏的运动矢量候选，选择由先前图像中相应的第二像素块所提供的运动矢量。这种运动矢量被称为时间(temporal)运动矢量候选。在此，它还会被称为时间候选或时间候选矢量。在该情况中，“相应的”意味着先前图像中的第二像素块的位置与在当前正在处理的图像中的第二像素块的位置相同。如众所周知的，图像中像素块的位置能够由矩阵坐标来定义。时间运动矢量候选还会被称为时间候选或时间候选矢量
根据本实施例，为一个图像区域执行多次ME通过，这样相对于单次通过(single-pass)ME算法，提高了运动估计的质量。而且，在本实施例中，通过使处理单元能够为位于当前正在处理的区域之外的这些第二像素块确定运动矢量，扩展并增强了基于区域的ME的概念，但它们各自的在先前图像中相应位置处的前身被用于提供时间运动矢量候选。术语“第二像素块”用于提供时间运动矢量的所有像素块，这里，在所述第二像素块的这个子组被称为“第三像素块”。第三像素块属于第二像素块的组，因为它们提高了时间运动矢量候选。另外，它们能够通过它们在当前正在处理的图像区域之外的位置而被辨识出来。通过也更新在第一次ME通过中的这种时间候选，来减小在第二次ME通过中区域边界的影响，从而提高了基于区域的ME的质量。
注意，严格来说，本实施例要求它自己的对“当前正在处理的图像区域”的定义，这是因为将ME处理延伸到了位于至今为止称为当前处理的图像区域之外的第三像素块。然而，在此，应当一致地使用术语“当前正在处理的图像区域”，以便只包括第一像素块的核心区域而不包括本实施例的由第三像素块所构成的延伸区域，第三像素块在先前图像中的前身提供了时间运动矢量候选。
还要注意，该实施例并非暗示在更新时间运动矢量候选时的任何递归。更新对当前正在处理的图像区域之外的第三像素块的时间候选矢量所使用的时间候选并不更新。
本发明的视频处理设备的进一步实施例包括：
高级便笺式存储器，连接到处理单元，以及
存储器控制单元，其连接到处理单元和高级便笺式存储器，且其可连接到外部图像存储器，并适于将所述的两个连续图像每一个中同一位置处的子阵列从外部图像存储器加载到高级便笺式存储器，每个子阵列都至少跨越当前正在处理的图像区域。
正如在本说明书的介绍部分所解释的，主存储器一般位于运动估计器的外部，例如在不同的芯片上。当前正在处理的图像区域在便笺式存储器中的缓冲减小了根据本发明的视频处理设备与包含当前正在处理图像的完整的像素数据集合的主存储器之间的数据总线的带宽要求。其允许执行每个图像区域的多次ME扫描，而不要求对主存储器的任何额外的访问。通过使用便笺式存储器，避免了高速缓存未命中情况。
在该实施例的特殊形式中，该处理单元适合于在当前处理的图像区域中，根据预定的扫描顺序，从一个第一像素块至另一个像素块地来确定运动矢量，并利用相同扫描顺序执行至少两次ME通过。
在该实施例的替换形式中，该处理单元适合于在图像区域中，根据预定的扫描顺序，从一个第一像素块至另一个像素块地来为当前正在处理的图像区域的第一像素块确定各自的运动矢量，并利用不同的扫描顺序在图像区域上执行多次ME通过。当至少三次处理图像区域时，优选地使用不同的扫描顺序。实施例中第一和最后一次运动估计通过是相同的。例如，遵循从上到下的扫描顺序，以便在运动估计器与布置在下游的运动补偿器之间不必有缓冲存储器。。
优选地，本发明的视频处理设备的处理单元包括一个运动估计器，它适合于通过评估在相应的第一像素块与多个第四像素块之间的像素块相似性，来为所述第一像素块或者第三确定运动矢量，其中，所述第四像素块是从一个图像对中选出的，并且由相应的一组候选运动矢量定义，所述图像对由包含所述当前正在处理的图像在内的连续的图像构成。该实施例实现了一种特定的块匹配运动估计方法。第四像素块一般位于相对于当前正在处理的第一像素块的预定位置。该位置由运动矢量候选定义。在一个实施例中，该处理单元适合于改变该运动矢量候选组。
在进一步的实施例中，运动估计器适合于通过扫描相应的搜索范围来确定相应的第一像素块的运动矢量，所述相应搜索区构成该图像的预定子阵列。
优选地，该实施例的视频处理进一步包括低级暂存寄存器，其布置在所述处理单元与所述高级便笺式存储器之间，并适于存储在所述两个连续图像每一个中的同一位置处的相应搜索区。
在本发明的视频处理设备的进一步实施例中，存储器控制单元适于从高级便笺式存储器将当前搜索区取得到低级便笺式存储器。
在本发明的视频处理设备的进一步实施例中，运动估计器适合于利用相应的一组候选运动矢量来为相应的第一像素块确定运动矢量，所述候选的运动矢量组包含空间候选矢量，空间候选矢量是为当前正在处理的图像中通常构成相应的第一像素块的直接空间邻居的像素块所确定的运动矢量。该候选矢量组还包括时间候选矢量，时间候选矢量是在当前正在处理的图像之前紧邻着的图像中的第二像素块所确定的运动矢量。
优选地，该实施例的视频处理设备包括预测存储器，其连接到运动估计器，并包含空间和时间候选矢量。此外，运动估计器优选地适合于将相应的第一像素块的相应的已经确定运动矢量存储到预测存储器中，可以为相应的第一像素块更新以前存储的运动矢量。
在本发明的视频处理设备的进一步实施例中，该存储控制单元适合于将所述图像的一子阵列加载到高级便笺式存储器中，所述子阵列以第三数量的像素块行和第四数量的像素块列超出了当前正在处理图像区域，从而使得所述子阵列包含位于当前图像区域的边缘处的第一像素块的全部的相应搜索区。这样，还提高了图像区域的边界上的运动估计的质量。像素块行的第三数量优选的是每个搜索区的像素块行数量的一半。像素块列的第四数量优选的是每个搜索区的像素块列数量的一半。
通过还更新位于图像区域的边缘上的像素块的时间运动矢量候选，进一步提高这些像素块的运动估计的质量。本实施例优选地与之前所描述的实施例相结合，其中，更新第三像素块，即位于当前正在处理的图像区域之外的第二像素块，的时间运动矢量候选，并因此用空间运动矢量候选来代替时间运动矢量候选。因此，在本发明的进一步优选实施例的视频处理设备中，该存储器控制单元适合于将图像的一子阵列加载到高级便笺式存储器，所述子阵列以第五数量的像素块行和第六数量的像素块列的像素块超出了相应的当前正在处理的图像区域，从而加载更新由第三像素块所提供的时间矢量候选所需要的全部的相应搜索区。
注意，在实施例中，高宽比的确定是基于共享被加载到L1便笺式存储器中的子阵列的像素块行和列的数量。当然，在给出在x-和y-方向上的搜索区的扩展，和用于当前正在处理的像素块的相应时间运动矢量候选的相对位置的情况下，这隐含地定义了图像区域的高宽比的值。
由第三像素块与相应的第一像素块之间的距离来确定用于本实施例中的图像区域的扩展。以下将参照图2a和2b提供示范性实例。
根据本发明的第二方面，提供了一种视频处理方法，包括以下步骤：
为多个第一像素块确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像的当前正在处理的图像区域，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像，以使得每个图像的图像区域数量保持恒定。
本发明第二方面的视频处理方法的特点和优点与上面参考本发明第一方面的视频处理设备所述的特点和优点相对应。
以下将说明本发明的视频处理方法的优选实施例。由于本发明的方法的实施例与本发明处理设备的实施例相对应，在此将不给出详细的解释。参考上面对本发明第一方面的视频处理设备的实施例的说明。
注意，除非另有说明，本发明的视频处理方法的实施例能够彼此组合。
本发明的视频处理方法的一个实施例包括以下步骤：
确定一组高宽比值，其保持每个图像的图像区域数量恒定，以及
从该组中选择不同的高宽比值，来处理下一个图像。
在一个实施例中，确定高宽比值的步骤包括：将给定的每个图像的图像区域数量分解为多个因子，将所述多个因子分为两组，为每组计算因子的部分乘积，以获得共享一个图像区域的像素块行和像素块列的数量，从而定义了一个高宽比。在一个实施例中，改变分组以获得不同的高宽比值。
在另一实施例中，选择每个图像的图像区域数量，以使得所述高宽比值组至少包含预定数量的条目。
在本发明的视频处理方法的优选实施例中，
在相应的图像区域的至少两次通过时，为所述第一像素块确定运动矢量，
通过评估相应的一组候选运动矢量，来为所述图像区域中当前正在处理的第一像素块确定运动矢量，其中，所述候选运动矢量组至少包含一个时间候选矢量，其是为所述图像序列中先前图像中的相应第二像素块所确定的运动矢量，以及
在第二次处理所述当前正在处理的图像中的相应图像区域之前，通过为所述当前正在处理的图像中的第三像素块确定运动矢量并用其替换所述时间候选矢量，来更新所述时间候选矢量，其中，所述时间候选矢量包含在用于所述当前正在处理的图像区域的第一像素块的一组候选运动矢量中，并且是为在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块而确定的，所述的在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块被称为所述的第三像素块。
为了为相应的第一像素块确定运动矢量，优选地使用一组相应的候选运动矢量，所述候选运动矢量组包含空间候选矢量，所述空间候选矢量是为构成当前正在处理的图像中的相应第一像素块的直接空间邻居的第二像素块所确定的运动矢量，所述候选运动矢量组还包含时间候选矢量，所述时间候选矢量是为在当前正在处理的图像之前紧邻的图像中的第二(以及第三)像素块所确定的运动矢量。
另一实施例包括步骤：将所述的两个连续图像每一个中同一位置处的子阵列从外部图像存储器加载到高级便笺式存储器，每个子阵列都至少跨越当前正在处理的图像区域。
优选地，在当前处理的图像区域中，根据预定的扫描顺序，从一个像素块至另一个像素块地来确定相应的运动矢量，并利用相同扫描顺序执行至少两次。
在替换实施例中，在当前处理的图像区域中，根据预定的扫描顺序，从一个像素块至另一个像素块地来确定相应的运动矢量，并利用不同的扫描顺序至少三次处理当前图像区域。
当至少三次扫描图像区域时，优选地采用不同的扫描顺序。优选地，为了避免在视频处理流中的估算处理和安排在下游的运动补偿处理之间的数据时间必然性，第一和最后的扫描应该具有相同的从上往下的扫描顺序。
在另一个实施例中，确定相应的第一像素块的运动矢量的步骤包括：评价在相应的第一像素块与多个第四像素块之间的像素块相似性，来为相应的第一像素块确定运动矢量，所述多个第四像素块从一个由包含当前正在处理图像在内的连续的图像构成的图像对中选出，且其由相应的一组候选运动矢量定义。
在进一步的实施例中，确定相应的第一像素块的运动矢量的步骤包括：扫描相应的搜索范围，所述相应搜索区构成该图像的预定子阵列。
本发明的视频处理方法的进一步实施例包括：将在所述两个连续图像每一个中的同一位置处的相应搜索区加载到低级便笺式存储器中，所述低级便笺式存储器布置在处理单元与高级便笺式存储器之间。
优选地，从高级高速缓冲存储器中将当前搜索区取得到低级高速缓冲存储器。
优选地，将已经确定的运动矢量存储在预测存储器中，以便将其用作空间和时间运动矢量候选。
在本发明的另一个实施例中，将所述图像的一子阵列加载到高级便笺式存储器中，所述子阵列以第三数量的像素块行和第四数量的像素块列贡献的多个像素块超出了当前正在处理图像区域，从而使得所述子阵列包含位于当前图像区域的边缘处的第一像素块的全部的相应搜索区。像素块行的第三数量优选的是每个搜索区的像素块行数量的一半。像素块列的第四数量优选的是每个搜索区的像素块列数量的一半。
在本发明的视频处理方法的进一步优选实施例中，将图像的一子阵列加载到高级便笺式存储器，所述子阵列以第五数量的像素块行和第六数量的像素块列的像素块超出了相应的当前正在处理的图像区域，从而将更新由第三像素块所提供的时间矢量候选所需要的全部的相应搜索区加载到高级便笺式存储器。
根据本发明的第三方面，提供了一种数据介质，包含代码，用于控制可编程处理器在执行一种视频处理方法时的操作，所述视频处理方法包括以下步骤：
为多个第一像素块确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像的当前正在处理的图像区域，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像，以使得每个图像的图像区域数量保持恒定。
在本发明的第三方面的数据介质的各个实施例中，该计算机代码适合于控制可编程处理器的操作用以执行本发明的第二方面的视频处理方法的实施例。
附图说明
以下，将参照所附的附图来描述本发明的视频处理方法和设备的进一步实施例。
图1显示了视频处理设备的优选实施例的方框图；以及
图2a和2b例举了本发明的视频处理方法和设备的进一步优选实施例。
具体实施方式
图1显示了视频处理设备100的框图，其连接到外部帧存储器102。优选的，采用专用指令集处理器(ASIP)形式来实现视频处理设备100。ASIP提供了视频处理算法的一种灵活的、低成本的和低功耗的实现。
视频处理设备100的其它实施例采取专用集成电路(ASIC)或通用可编程处理器的形式，其中，由软件执行视频处理应用。然而，ASIC灵活性的缺乏及通用可编程处理器实现的缓慢性能，使得ASIP实现看来是最有利于用于在消费电子设备，例如电视机中的商业应用目的。
视频处理设备100的处理单元104包括运动估计器106。在不同的实施例中，处理单元104包括附加处理部分108。处理部分108可以是运动补偿器。处理单元104还包含分区单元110。
视频处理设备100还包含存储器子***112，其包括高级便笺式存储器114、低级便笺式存储器116和存储器控制器118。存储器子***112连接到处理单元104，并具有用于与连接外部帧存储器102连接的接口。
高级便笺式存储器114也被称为L1便笺式存储器，其被分割为两部分114.1和114.2，每一个都具有存储图像子阵列的存储器容量，其中，图像存储在主存储器102的相应存储器部分102.1和102.2中。
低级便笺式存储器116也被分割为两部分116.1和116.2。选择每一个便笺式存储器部分的存储容量，以适合于运动估计器106用来为当前正在处理的像素块获得运动矢量的搜索区，如将参照图2和3详细解释的。低级便笺式存储器116也被称为L0便笺式存储器。存储器控制器118连接到L1和L0便笺式存储器114和116，并控制从外部存储器102到运动估计器106的图像数据的流动。如将在下面解释的，在一个实施例中，存储器控制器118的控制操作取决于从运动估计器106和分区单元110接收的控制数据。
在图1所示的实施例中，存储器子***112还包括预测存储器，其临时存储由运动估计器106确定的运动矢量。
在操作中，存储在主存储器102的存储器部分102.1和102.2中的两个连续图像被用于为当前正在处理图像的每一个像素块确定运动矢量。出于说明的目的，假定存储器部分102.2包含当前正在处理的图像，存储器部分102.1包含在图像序列中紧邻着存储在部分102.2的图像之前的一个图像。
存储器控制器118将存储在主存储器102中的图像对的相同位置的子阵列加载到L1便笺式存储器114中。下面将参照图2和3详细解释子阵列的大小。而且，存储器控制器118将存储在L1便笺式存储器部114.1和114.2中的两个子阵列的当前搜索区都取得(fetch)到L0便笺式存储器部116.1和116.2中。
运动估计器106使用存储在L0便笺式存储器部116.1和116.2中的搜索区来为存储在主存储器102.2中的视频图像的当前正在处理像素块确定运动矢量。也将参照图2和3详细解释运动估计器106的操作。
处理单元104所包含的分区单元110向存储器控制器118和运动估计器106提供控制数据。控制数据将图像区域的高宽比通知给存储器控制器118和运动估计器106，图像区域由运动估计器106所执行的运动估计算法顺序进行处理。存储器控制器118使用从分区单元110接收的控制数据，来确定要被取得到L1便笺式存储器114中的、存储在主存储器102中的图像的子阵列的大小。运动估计器106使用从分区单元110接收的控制数据，来确定要作为当前正在处理的图像区域的一部分而进行处理的像素块的坐标。从分区单元110接收的控制数据将有关何时完成一个图像区域的运动估计通过的信息通知给运动估计器106。
视频处理设备100是运动估计设备。然而，运动估计在多种视频处理任务中使用，例如用于减小噪声的运动补偿滤波，用于编码的运动补偿预测，和用于视频格式转换的运动补偿内插。依据应用的目的，视频处理设备100可以构成更复杂的视频处理设备的一部分。在包括运动补偿器108的实施例中，提供由运动估计器106确定的运动矢量，作为运动补偿器108的输入，以用于进一步处理。运动补偿器108由虚线示出，以表明它是可选的额外增加。将运动矢量用作输入的、执行其它任务的处理部分可以替代运动补偿器108。
接下来将参照图2a和2b来阐明视频处理设备100操作进一步的细节，图2a和2b也用来示出本发明的视频处理方法的不同实施例。
图2a显示了一个视频帧200，其由像素阵列构成，像素阵列被分组为多个像素块。在图2a中仅示出了像素块。像素块的边界由图2a中的网格来代表。以参考标记202来标明一个像素块的实例。像素块例如可以包含视频帧200的8×8像素的子阵列。
运动估计器106适于为视频帧的每个像素块202确定运动矢量。运动估计器106执行基于区域的运动估计算法。就是说，为构成图像200的子阵列的当前正在处理的图像区域中的像素块顺序地确定运动矢量。在图2a中，在相邻图像区域之间的边界由粗线来表明。图像200被分区为24个图像区域200.1到200.24。在被选择用于说明目的的本实例中，每个图像区域都包含在x-方向上的6个像素块和在y-方向上的4个像素块。在现实应用中，每个图像区域的像素块的数量可以高得多。在每个图像区域200.1到200.24中的像素块行和像素块列的数量之间的比值定义了图像区域的高宽比。在本实例中，高宽比是4/6或者0.66。
给定每个图像24个图像区域的示范性数量，在一个实施例中，分区单元110将该数量分解为多个素数，用于确定不同高宽比值。如公知的，24＝1*2*2*2*3。这允许将这些素数分组为两个因子，定义了在x-和y-方向上图像区域的以下可能的组合：在x-方向上的1个图像区域乘以(×)在y-方向上的24个图像区域、24×1、2×12、12×2、3×8、8×3、4×6、和6×4。为了允许分区单元110尽可能的灵活，应该尽可能地选择能够进行因式分解的每个图像的图像区域数量。
在处理一个图像区域时，运动估计器106根据预定的扫描顺序，从当前正在处理的图像区域的一个像素块前进到另一个像素块。在此，图像区域的像素块也被称为第一像素块。在为当前正在处理的像素块C确定运动矢量时，使用了以像素块C为中心的一个相应的搜索区。由在参考标记204和206处的虚线边界线示出了搜索区的两个实例。搜索区204和206构成了图像200的在x-和y-方向上预定扩展的一个子阵列。在该示出的实例中，一个搜索区包括3×3个像素块。在商业设备中所使用的搜索区的另一个实例由9个像素块行乘以5个像素块列组成。
如可由图2a所见的，每个当前正在处理的像素块C都具有单独的搜索区，其被用于为像素块C确定运动矢量。
搜索区206的实例显示出在图像区域边界处的像素块的搜索区延伸超出了相应的图像区域。在搜索区206的情况下，需要从图像区域200.2右边的一个像素块列中和图像区域200.2下面的一个像素块行中获得多个像素块，才能如同在搜索区206中心的像素块的情况一样，覆盖为边界像素块确定运动矢量所需的全部搜索区。在本发明的一个实施例中，除了图像区域200.2的像素块之外，还要从主存储器102取得像素块行208和像素块列210的相应部分。在该实施例中，加载到L1便笺式存储器114中的图像200的完整子阵列以点线212示出，作为图像区域200.2和图像区域200.14的实例。图像区域200.14位于图像200的中间，而图像区域200.2位于边缘。
为了确定运动矢量，优选的使用了一种三维递归搜索运动估计算法，其在下面被称为3DRS ME算法，且其是本领域公知的。根据该算法及其类似算法，用一组候选运动矢量来为当前的像素块C确定运动矢量。这组候选运动矢量包含当前正在处理图像中最近处理的像素块的空间运动矢量候选，在图2a中以S1和S2标明。另外，还使用了时间运动矢量候选。在图2a和2b所示的搜索区204、206和304、306中，所使用的时间运动矢量候选所源自的像素块由参考标记T来标明。与相应的当前正在处理的像素块C相关地来预置所使用的空间和时间运动矢量候选所源自的像素块的位置。如可由图2a的实例中所见的，从像素块S1和S2选择两个空间运动矢量候选，像素块S1和S2是位于在当前正在处理的像素块左边的一个块和上边的一个块。所使用的时间运动矢量候选来自先前图像中的像素块T，像素块T是位于当前正在处理的像素块C右下角位置的相邻的一个块。在先前给出的说明中，像素块T通常被称为第二像素块。在一个实施例中，第二像素块T的相对位置是可调整的，以使得运动估计器106能够使用不同的相对位置，例如为了不同的视频处理应用。
在现在将要加以更详细的说明的优选实施例中，时间运动矢量候选也被更新，其是从位于当前正在处理的区域之外的多个像素块T中选择的。这些特定像素块在此被称为第三像素块。以位于图像区域200.2右下角处的当前正在处理的像素块214的搜索区206来代表该实施例的典型情形。从先前图像的像素块216获得为当前正在处理的像素块10的像素块214确定运动矢量所使用的时间候选T。像素块216从而构成了第三像素块。根据本实施例，采用与包含在图像区域200.2中的所有第一像素块相同的方式，来确定像素块216的运动矢量。这样，在图像区域200.2的第二次运动估计通过时，就能够使用更新后的运动矢量候选来处理像素块214。这进一步改善了基于区域的运动估计的质量。
为了更新从先前图像的第三像素块获得的且位于当前正在处理的图像区域之外的时间候选矢量，将图像200的一个扩展子阵列加载到L1便笺式存储器114中。在图2a)中，以点划线218来标明该扩展子阵列。为图像区域200.14给出了该扩展型子阵列的第二实例，其以参考标记218’来标明。扩展子阵列218，218’包括了更新位于相应图像区域之外的像素块的时间运动矢量所需要的全部搜索区，即，换而言之，以相应的空间运动矢量候选来代替时间候选。因此，子阵列218，218’的大小取决于用于提供时间运动矢量候选的第三像素块(例如像素块216)相对于当前正在处理的像素块C的位置。如果时间运动矢量候选从与当前正在处理的像素块C相距较远的一个第三像素块获得，则，要将更大数量的像素块行部分和/或像素块列部分加载到L1便笺式存储器114中。
这样根据上述的实施例之一来处理图像帧200，从一个图像区域前进到另一个图像区域，直到已经为图像200的图像区域200.1到200.24的全部像素块都确定了运动矢量。
根据本发明的优选实施例，在转换到为正在处理的图像序列中的下一个图像300(图2b)确定运动矢量之前，分区单元110指示运动估计器106和存储器控制器118使用图像区域高宽比的一个不同的值来处理图像300。如可由图2b所见的，在该实例中所用的高宽比是用于图像200的高宽比的倒数，即6/4或1.5。选择该高宽比以维持图像300中图像区域的数量与图像200中图像区域的数量相比较而言不发生变化。两个相连续的图像都包含24个图像区域。
这样，存储器控制器118就将不同的子阵列加载到L1便笺式存储器114中。出于说明的目的，示出了搜索区304和306。搜索区304与搜索区204准确地对应。搜索区306显示了与搜索区206相似的位置，但由于用于处理图像300的改变过的高宽比，因此相应的当前正在处理的像素块314在位置上与像素块214并不相同。因此，按照相应图像区域300.3和300.15的位置和高宽比，子阵列312，312’和318，318’不相同。
以上部分是以主要用于说明目的的图像尺寸为基础。基于以上阐明的实施例来使用以下的优选实施例，其是用于根据标准清晰度电视(SDTV)和高清晰度电视(HDTV)标准来处理视频序列。
在SDTV中，图像大小是720*576个像素，其是在当今欧洲大多数电视机中所用的清晰度。图像总共被分区为35个图像区域。使用了两种不同的高宽比。在此情况下的优选像素块大小是8*8像素。被加载到L1便笺式存储器中且包含有一个图像区域加上在相应图像区域边缘处的像素块的搜索区所需要的全部额外像素块的子阵列的一个优选尺寸是25*14个像素块。子阵列的两个优选高宽比是25/14和14/25。由于相邻子阵列的重叠，这意味着具有水平5个图像区域和垂直7个图像区域。搜索区的尺寸是9*5个块。
在HDTV中，图像大小是1920*1080个像素。优选的像素块大小是8*8个像素。在一个实施例中，使用了每个图像总共20个图像区域。被加载到L1便笺式存储器中且包含有一个图像区域加上在相应图像区域边缘处的像素块的搜索区所需要的全部额外像素块的子阵列的一个优选尺寸是66*31个像素块，其意味着具有水平4个区域和垂直5个区域。子阵列的两个优选高宽比是66/31和31/66。这与高宽比相对应。再一次，这些数字考虑到了在相邻子阵列之间的重叠。搜索区的大小再一次为9*5个块。
由于巨大的数量减小了ME质量，因此在确定区域大小时，应该注意不要有过多的图像区域。另一方面，由于在L1便笺式存储器与外部图像存储器之间的连接的带宽要求的增加，过小数量的图像区域使得图像区域的大小高得成问题。应该进一步选择图像区域的尺寸，以使得所有图像区域的大小至少近似相等。在此，由于加载到L1便笺式存储器中的相邻子阵列的重叠，需要考虑搜索区的大小。
不同高宽比的使用进一步提高了运动估计的质量，因为其实质上在运动估计器106的输出中，并从而也在布置在运动估计器106下游的运动补偿器108的输出中，消除了图像区域的边界的所有标记。

Claims (27)

1.一种视频处理设备(100)，包括：
处理单元(104)，其适于
为多个第一像素块(C)确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像(200，300)的当前正在处理的图像区域(200.1到200.24；300.1到300.24)，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像(300)，以使得每个图像的图像区域(200.1到200.24；300.1到300.24)数量保持恒定。
2.如权利要求1所述的视频处理设备，其中，所述处理单元(104)包括分区单元(110)，其适于确定一组高宽比值，并从该组中选择不同的高宽比值来处理下一个图像(300)，其中，所述高宽比值组保持每个图像的图像区域数量恒定。
3.如权利要求2所述的视频处理设备，其中，所述分区单元(110)适于选择每个图像的图像区域数量，以使得所述高宽比值组至少包含预定数量的条目。
4.如权利要求1所述的视频处理设备，其中，所述分区单元(110)适于依据所述图像序列的视频格式，设定每个图像的图像区域数量。
5.如权利要求1所述的视频处理设备，其中，所述处理单元(104)还适于
在所述相应的图像区域(200.1到200.24；300.1到300.24)的至少两次通过时，为所述第一像素块(C)确定运动矢量，
通过评估相应的一组候选运动矢量，来为所述图像区域中当前正在处理的第一像素块(C)确定运动矢量，其中，所述候选运动矢量组至少包含一个时间候选矢量，其是为所述图像序列中先前图像中的相应第二像素块(T)所确定的运动矢量，以及
在第二次处理所述当前正在处理的图像中的相应图像区域(200.1到200.24；300.1到300.24)之前，通过为所述当前正在处理的图像中的相应的第三像素块(216)确定运动矢量并用其替换时间候选矢量，来更新所述时间候选矢量，其中，所述时间候选矢量包含在用于所述当前正在处理的图像区域的第一像素块的一组候选运动矢量中，并且是为在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块(216)而确定的，所述的在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块(216)被称为所述的第三像素块(216)。
6.如权利要求1所述的视频处理设备，还包括：
高级便笺式存储器(114)，连接到所述处理单元，以及
存储器控制单元(118)，其连接到所述处理单元(104)和所述高级便笺式存储器(114)，并且其可以连接到外部图像存储器(102)，并适于将所述的两个连续图像(200，300)每一个中同一位置处的子阵列(212，212；312，312’；218，218’；318，318’)从所述外部图像存储器(102)加载到所述高级便笺式存储器，每个子阵列(212，212；312，312’；218，218’；318，318’)至少跨越所述当前正在处理的图像区域(200.2，200.14；300.3，300.15)。
7.如权利要求6所述的视频处理设备，其中，所述处理单元(104)适于根据预定扫描顺序，在当前正在处理的图像区域(200.1到200.24；300.1到300.24)内，从像素块前进到像素块地来确定运动矢量，并使用相同的扫描顺序至少两次处理当前图像区域。
8.如权利要求6所述的视频处理设备，其中，所述处理单元(104)适于在当前正在处理的图像区域(200.1到200.24；300.1到300.24)中，根据预定扫描顺序，从像素块前进到像素块地来为图像区域的第一像素块确定相应的运动矢量，并使用不同的扫描顺序至少三次处理当前图像区域。
9.如权利要求1所述的视频处理设备，其中，所述处理单元(104)包括运动估计器(106)，其适于通过评估在相应的第一像素块与多个第四像素块之间的像素块相似性，来为所述相应的第一像素块(C)确定运动矢量，其中，所述第四像素块是从一个图像对(200，300)中选出的，并且由相应的一组候选运动矢量定义，所述图像对由包含所述当前正在处理的图像在内的连续的图像构成。
10.如权利要求9所述的视频处理设备，其中，所述运动估计器(106)适于通过扫描相应搜索区(204，206，304，306)，为相应的第一像素块(C)确定运动矢量，所述相应搜索区构成所述图像的预定子阵列。
11.如权利要求10所述的视频处理设备，还包括低级便笺式存储器(116)，其布置在所述处理单元(104)与所述高级便笺式存储器(114)之间，并适于存储在所述两个连续图像(200，300)每一个中的同一位置处的相应搜索区(204，206，304，306)。
12.如权利要求6和10所述的视频处理设备，其中，所述存储器控制单元(118)适于将所述图像的一子阵列(212，212’；312，312’)加载到所述高级便笺式存储器(114)，其中，所述子阵列以由第三数量的像素块行和第四数量的像素块列共享的多个像素块超出所述的当前正在处理的图像区域(200.2，200.14；300.3，300.15)，从而使得所述子阵列还包含位于所述当前图像区域边缘处的第一像素块的全部的相应搜索区。
13.如权利要求5、6和10所述的视频处理设备，其中，所述存储器控制单元(118)适于将所述图像的一子阵列(218，218’；318，318’)加载到所述高级便笺式存储器(114)，其中，所述子阵列以第五数量的像素块行和第六数量的像素块列的像素块超出了相应的当前正在处理的图像区域，从而将更新由所述第三像素块(216)所提供的时间矢量候选所需要的全部的相应搜索区加载到所述高级便笺式存储器。
14.一种视频处理方法，包括以下步骤：
为多个第一像素块(C)确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像(200，300)的当前正在处理的图像区域(200.1到200.24；300.1到300.24)，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括由第一数量的像素块行和第二数量的像素块列根据可调整的高宽比值来共享的多个像素块，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像(300)，以使得每个图像的图像区域数量保持恒定。
15.如权利要求14所述的视频处理方法，包括以下步骤：
确定一组高宽比值，所述高宽比值组保持每个图像的图像区域(200.1到200.24；300.1到300.24)数量恒定；以及
从该组中选择不同的高宽比值来处理下一个图像(300)。
16.如权利要求15所述的视频处理方法，其中，选择每个图像的图像区域数量，以使得所述高宽比值组至少包含预定数量的条目。
17.如权利要求14所述的视频处理方法，其中，
在所述相应的图像区域(200.1到200.24；300.1到300.24)的至少两次通过时，为所述第一像素块(C)确定运动矢量，
通过评估相应的一组候选运动矢量，来为所述图像区域中当前正在处理的第一像素块(C)确定运动矢量，其中，所述候选运动矢量组至少包含一个时间候选矢量，其是为所述图像序列中先前图像中的相应第二像素块(T)所确定的运动矢量，以及
在第二次处理所述当前正在处理的图像中的相应图像区域之前，通过为所述当前正在处理的图像中的相应的第三像素块(216)确定运动矢量并用其替换时间候选矢量，来更新所述时间候选矢量，其中，所述时间候选矢量包含在用于所述当前正在处理的图像区域的第一像素块的一组候选运动矢量中，并且是为在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块(216)而确定的，所述的在所述先前图像中位于与所述当前正在处理的图像区域相对应的图像区域之外的第二像素块(216)被称为所述的第三像素块(216)。
18.如权利要求14所述的视频处理方法，还包括将所述的两个连续图像(200，300)每一个中同一位置处的子阵列(212，212’；218，218’；312，312’；318，318’)从一图像存储器(102)取得到一高级便笺式存储器(114)，每个子阵列至少跨越所述当前正在处理的图像区域。
19.如权利要求17和18所述的视频处理方法，其中，根据预定扫描顺序，在当前正在处理的图像区域中，从像素块至像素块地来为图像区域的第一像素块(C)确定各自的运动矢量，并使用相同的扫描顺序至少进行两次处理。
20.如权利要求14所述的视频处理方法，其中，在当前正在处理的图像区域中，根据预定扫描顺序，从像素块至像素块地来为图像区域的第一像素块(C)确定各自的运动矢量，并且其中，使用不同的扫描顺序至少三次处理当前图像区域。
21.如权利要求14所述的视频处理方法，其中，为相应的第一像素块(C)确定运动矢量的步骤包括：评估在所述相应的第一像素块与多个第四像素块之间的像素块相似性，其中，所述第四像素块是从一个图像对(200，300)中选出的，并且由相应的一组候选运动矢量定义，所述图像对由包含所述当前正在处理的图像在内的连续的图像构成。
22.如权利要求21所述的视频处理方法，其中，为相应的第一像素块确定运动矢量的步骤包括：扫描相应搜索区(204，206；304，306)，所述相应搜索区构成所述图像的预定子阵列。
23.如权利要求18和22所述的视频处理方法，还包括步骤：将在所述两个连续图像每一个中的同一位置处的相应搜索区从所述高级便笺式存储器(114)中取得到所述低级便笺式存储器(116)。
24.如权利要求18和22所述视频处理方法，其中，将所述图像的一子阵列(212，212’；312，312’)加载到所述高级便笺式存储器(114)，其中，所述子阵列以由第三数量的像素块行和第四数量的像素块列共享的多个像素块超出了所述的当前正在处理的图像区域(200.2，200.14；300.3，300.15)，从而使得所述子阵列包含位于所述当前正在处理的图像区域(200.2，300.3)边缘处的第一像素块的全部的相应搜索区(206，306)。
25.如权利要求17、18和22所述的视频处理方法，其中，将所述图像的一子阵列(218，218’；318，318’)加载到所述高级便笺式存储器，其中，所述子阵列以第五数量的像素块行和第六数量的像素块列的像素块超出了相应的当前正在处理的图像区域，从而将更新相应的第三像素块(216)的时间矢量候选所需要的全部的相应搜索区加载到所述高级便笺式存储器。
26.一种数据介质，包含代码，用于控制可编程处理器在执行一种视频处理方法时的操作，所述视频处理方法包括以下步骤：
为多个第一像素块确定运动矢量，所述多个第一像素块构成图像序列中当前正在处理的图像的当前正在处理的图像区域，
根据将所述图像分区为多个图像区域的分区情况，来采用上述方式处理所述整个图像，其中，每一个图像区域都包括根据可调整的高宽比值的第一数量的像素块行和第二数量的像素块列，以及
设定不同的高宽比值来处理所述图像序列中的下一个图像，以使得每个图像的图像区域数量保持恒定。
27.如权利要求26所述的数据介质，其中，所述计算机代码适于控制可编程处理器的操作，以执行权利要求15到25中的一项的视频处理方法。
CN200680011805.XA 2005-04-12 2006-03-30 利用区域的动态高宽比的基于区域的3drs运动估计 Pending CN101156450A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05102877.7 2005-04-12
EP05102877 2005-04-12

Publications (1)

Publication Number Publication Date
CN101156450A true CN101156450A (zh) 2008-04-02

Family

ID=36756095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680011805.XA Pending CN101156450A (zh) 2005-04-12 2006-03-30 利用区域的动态高宽比的基于区域的3drs运动估计

Country Status (4)

Country Link
US (1) US20080204602A1 (zh)
JP (1) JP2008536429A (zh)
CN (1) CN101156450A (zh)
WO (1) WO2006109205A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416058A (zh) * 2011-03-09 2013-11-27 佳能株式会社 视频编码和解码
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
CN104081774A (zh) * 2011-11-08 2014-10-01 株式会社Kt 基于预测单元的分割模式进行系数扫描的方法和装置
US10595043B2 (en) 2012-08-30 2020-03-17 Novatek Microelectronics Corp. Encoding method and encoding device for 3D video
CN112312010A (zh) * 2016-01-07 2021-02-02 联发科技股份有限公司 处理立方体面图像的视频序列的方法及装置
CN112767310A (zh) * 2020-12-31 2021-05-07 咪咕视讯科技有限公司 一种视频质量评价方法、装置及设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US9363534B2 (en) * 2009-10-29 2016-06-07 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
US20110109794A1 (en) * 2009-11-06 2011-05-12 Paul Wiercienski Caching structure and apparatus for use in block based video
US9449367B2 (en) * 2009-12-10 2016-09-20 Broadcom Corporation Parallel processor for providing high resolution frames from low resolution frames
US9769493B1 (en) * 2010-12-13 2017-09-19 Pixelworks, Inc. Fusion of phase plane correlation and 3D recursive motion vectors
JP6137302B2 (ja) * 2013-03-29 2017-05-31 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
CN104717510B (zh) * 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
US9449371B1 (en) 2014-03-06 2016-09-20 Pixelworks, Inc. True motion based temporal-spatial IIR filter for video
KR102156410B1 (ko) * 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
WO2019177906A1 (en) * 2018-03-11 2019-09-19 Google Llc Static video recognition

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
US6102796A (en) * 1997-04-21 2000-08-15 Microsoft Corporation System and method for composing an image with fragments
US6865227B2 (en) * 2001-07-10 2005-03-08 Sony Corporation Error concealment of video data using motion vector data recovery
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
US7187415B2 (en) * 2002-12-12 2007-03-06 Ati Technologies, Inc. System for detecting aspect ratio and method thereof

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105232B (zh) * 2011-03-09 2020-02-18 佳能株式会社 生成运动矢量预测结果候选的方法及设备
US10057592B2 (en) 2011-03-09 2018-08-21 Canon Kabushiki Kaisha Video encoding and decoding
CN103416058A (zh) * 2011-03-09 2013-11-27 佳能株式会社 视频编码和解码
CN106878711B (zh) * 2011-03-09 2019-12-17 佳能株式会社 获得运动矢量预测结果的候选的方法及设备
CN107105232A (zh) * 2011-03-09 2017-08-29 佳能株式会社 视频编码和解码
CN106878711A (zh) * 2011-03-09 2017-06-20 佳能株式会社 视频编码和解码
CN107087166A (zh) * 2011-03-09 2017-08-22 佳能株式会社 视频编码和解码
US9648331B2 (en) 2011-11-08 2017-05-09 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
CN104081774B (zh) * 2011-11-08 2017-09-26 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN107371024B (zh) * 2011-11-08 2020-09-04 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN104081774A (zh) * 2011-11-08 2014-10-01 株式会社Kt 基于预测单元的分割模式进行系数扫描的方法和装置
US9854245B2 (en) 2011-11-08 2017-12-26 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
CN107371024A (zh) * 2011-11-08 2017-11-21 株式会社Kt 利用解码装置对视频信号进行解码的方法
US10080023B2 (en) 2011-11-08 2018-09-18 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
US9565442B2 (en) 2011-11-08 2017-02-07 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
CN107465922A (zh) * 2011-11-08 2017-12-12 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN107465922B (zh) * 2011-11-08 2020-10-09 株式会社Kt 利用解码装置对视频信号进行解码的方法
US10595043B2 (en) 2012-08-30 2020-03-17 Novatek Microelectronics Corp. Encoding method and encoding device for 3D video
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
CN112312010A (zh) * 2016-01-07 2021-02-02 联发科技股份有限公司 处理立方体面图像的视频序列的方法及装置
CN112312010B (zh) * 2016-01-07 2021-09-28 联发科技股份有限公司 处理立方体面图像的视频序列的方法及装置
CN112767310A (zh) * 2020-12-31 2021-05-07 咪咕视讯科技有限公司 一种视频质量评价方法、装置及设备
CN112767310B (zh) * 2020-12-31 2024-03-22 咪咕视讯科技有限公司 一种视频质量评价方法、装置及设备

Also Published As

Publication number Publication date
WO2006109205A1 (en) 2006-10-19
JP2008536429A (ja) 2008-09-04
US20080204602A1 (en) 2008-08-28

Similar Documents

Publication Publication Date Title
CN101156450A (zh) 利用区域的动态高宽比的基于区域的3drs运动估计
CN101156451A (zh) 使用基于区域的多次通过运动估计和时间运动矢量候选更新的视频处理
CN101147396B (zh) 使用循环缓存存储器以曲折扫描顺序处理数据阵列的方法和设备
CN101120325A (zh) 通过将读出和取得功能分离来提高数据处理设备的存储单元的性能
EP1927949A1 (en) Array of processing elements with local registers
US20090085846A1 (en) Image processing device and method performing motion compensation using motion estimation
CN101371264A (zh) 用于在并行处理***中处理多媒体数据的子块的方法和装置
KR19980024800A (ko) 이동 벡터 평가 방법 및 장치
KR101578052B1 (ko) 움직임 추정 장치 및 이를 구비하는 동영상 부호화 장치
KR20100017645A (ko) 동적 움직임 벡터 분석방법
US7853091B2 (en) Motion vector operation devices and methods including prediction
US7496736B2 (en) Method of efficient digital processing of multi-dimensional data
US7728840B2 (en) Sliding data buffering for image processing
CN110650346B (zh) 一种3d-hevc深度图运动估计并行实现方法及结构
JP4377693B2 (ja) 画像データ検索
US20100091863A1 (en) Low-Power And High-Throughput Design Of Fast Motion Estimation VLSI Architecture For Multimedia System-On-Chip Design
US20060020929A1 (en) Method and apparatus for block matching
US6990149B2 (en) Circuit and method for full search block matching
US20110110430A1 (en) Method for motion estimation in multimedia images
Chen A cost-effective three-step hierarchical search block-matching chip for motion estimation
CN109889851A (zh) 视频编码的块匹配方法、装置、计算机设备和存储介质
KR20040045926A (ko) 입력 픽셀 스트림 제공 방법 및 회로
Huang et al. Three-level pipelined multi-resolution integer motion estimation engine with optimized reference data sharing search for AVS
CN110087088B (zh) 一种基于运动估计的数据存储方法、终端设备及存储介质
US20060228007A1 (en) Image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080402