CN1717050A - 用于运动向量域编码的方法和装置 - Google Patents

用于运动向量域编码的方法和装置 Download PDF

Info

Publication number
CN1717050A
CN1717050A CNA200510055863XA CN200510055863A CN1717050A CN 1717050 A CN1717050 A CN 1717050A CN A200510055863X A CNA200510055863X A CN A200510055863XA CN 200510055863 A CN200510055863 A CN 200510055863A CN 1717050 A CN1717050 A CN 1717050A
Authority
CN
China
Prior art keywords
motion vector
motion
resolution
image
method described
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200510055863XA
Other languages
English (en)
Inventor
M·波贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Technology Centre Europe BV Great Britain filed Critical Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Publication of CN1717050A publication Critical patent/CN1717050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于表示数字化图象序列的方法和装置导出一个稠密运动向量域并向量量化该运动向量域。

Description

用于运动向量域编码的方法和装置
技术领域
本发明涉及用于编码数字化图象序列中的运动向量域的方法和装置。
背景技术
对数字化运动图象使用运动补偿的原理是众所周知的。在包括MPEG-1、MPEG-2和H263在内的大多数已知方法中，用正方形或矩形的象素块进行运动补偿，为每个块分配一个运动向量。例如，已知将一个例如16×16块的象素块与前面一个基准图象中的块作比较-该象素块一般在基准图象的一个有限区域内。用诸如均方差的算法找出基准图象中与当前考虑的块最相似的块，将一个对应的运动向量与该当前块相关联。这样，就将一个当前图象中的16×16块与一个相应的运动向量相关联。随后将各运动向量量化到或者全象素(full-pel)或者子象素(sub-pel)(一般是半象素或四分之一象素)，然后一般将结果有差别地编码。
按以上总结的已知方式向图象中的一个象素块分配一个单一运动向量，对表示平移运动是有用的。然而，在以上讨论的类型的基于块的运动补偿方法中有许多缺点，会严重地限制预测算法中的性能。例如，这样一种方法对于包含诸如旋转或比例变化的运动(比简单的平移运动更复杂)的区域来说效果不好。基于块的预测对非刚性运动(non-rigid motion)(例如由云或人类所展示的)也不好。另外，基于块的方法沿各块施加运动边界，可能不会精确地反映块内的运动边界。此外，重构的图象可能展示“块状的”人为因素，在运动边界跨越一个块的情况中尤其如此。
为了缓解这种问题，有些方案采用了带参数运动模型(除平移运动模型之外还包括准仿射(quasi-affine)和仿射运动模型)的可变块大小运动补偿。在这些方案中，用于运动补偿的块的大小和运动模型取决于某区域内出现多少个运动对象并取决于运动域的复杂性。这样一种方法对使用固定大小的块的方法提供一些改进，但是改进是有限的。
发明内容
根据本发明的一个方面，提供一种表示数字化图象序列中的运动的方法，包含生成和编码一个运动向量域在不同分辨率时的多个版本。
根据本发明的一个方面，提供一种用于上述的方法编码数字化图象序列中的运动信息的编码器。
根据本发明的一个方面，提供一种用于解译按照上述方法编码的数字化图象序列中的运动信息的解码器。
根据本发明的一个方面，提供一种表示数字化图象序列中的运动的装置，包含用于生成和编码一个运动向量域在不同分辨率时的多个版本的装置。
根据本发明的一个方面，提供一种用于解译用所述的装置编码的信息的解码器，该解码器包含用于恢复具有预定分辨率的运动向量域的版本的装置。
根据本发明的一个方面，提供一种混合的DCT-MC编解码器，包含上述编码器和上述的解码器。
根据本发明的一个方面，提供一种处理与数字化图象序列中的图象有关的数据的方法，包含导出该图象的运动向量并通过一个用根据相邻运动向量的平均导出的新运动向量替换一个给定的运动向量而平滑运动向量域，该方法进一步包含确定在图象中哪里出现运动间断点，并在计算平均值时忽略一个或几个运动向量-如果它们被一个运动间断点与该给定运动向量分开的话。
根据本发明的一个方面，提供一种处理与数字化图象序列中的图象有关的数据的方法，包含导出图象的运动向量并通过一个用根据相邻运动向量的平均和一个预测误差导出的新运动向量替换一个给定的运动向量而平滑运动向量域。
根据本发明的一个方面，提供一种处理与数字化图象序列中的图象有关的数据的方法，包含导出图象的运动向量，确定在图象中哪里出现运动间断点，并通过把在图象中哪里出现运动间断点考虑在内组合相邻的运动向量而平滑运动向量域。
根据本发明的一个方面，提供一种处理图象的方法，包含导出代表运动向量域中运动边界的运动间断点和根据每个边界内其它运动向量调整该边界内的运动向量。
根据本发明的方法，其中，向量量化是对有多于两个分量的向量进行的。
在本说明书的上下文中，与运动向量域相联系的术语稠密的意思是，一个大小8×8象素的象素块，至少有两个运动向量。例如，可以向每个4×4象素块或每个2×2象素块分配一个运动向量。最好是向每个象素分配一个运动向量。
本发明的结果是，能为编码而获得运动域的一个有效的表示。由于使用运动补偿的更好的预测，并且因为能减少人为因素的数量，所以能获得一个具有改进的可视质量的重构图象。特别是能较少或完全消除成块的(blocking)人为因素。该方法也有助于运动域的可伸缩的表示，增加抗传输错误的稳固性，下文将更详细地讨论。
本发明也提供一种通过生成和编码一个运动向量域在不同分辨率时的多个版本来表示数字化图象序列中的运动的方法和装置。
本发明的结果是，能创建运动域的一个可伸缩的表示和一个内置的位流。通过解译该位流的一部分，就能容易地重构运动向量域的一个疏粗版本。这有几个优点。例如，如果部分位流在传输中被破坏，仍然能恢复运动域的一个低分辨率版本，用于运动补偿。或者，有些应用可能只需要域的疏粗版本，因此，通过直接从被截取的位流重构疏粗图象-而不是重构一个完全版本后，再对它二次抽样，以获得一个疏粗版本-能节省处理能力和存储要求。这样一种方法例如在视频移动电话中可能是有用的。
本发明也提供一种预处理运动向量域、以在不显著减少预测误差的情况下减少熵的方法和装置。这可通过对相邻运动向量的平均值计算来完成，平均值计算可能有其它的约束条件，限制这种平均值计算对移动预测的质量和对运动间断点的保留的影响。
本发明也提供一种处理与数字化图象序列中的一个图象有关的数据的方法和装置，包含确定在该图象中哪里出现间断点，并通过把在图象中哪里出现运动间断点考虑在内组合相邻的运动向量而平滑运动向量域。
结果，就能获得运动向量域的更精确的反映。
本发明的这些和其它方面在附属的权利要求中陈述。
附图说明
将结合以下附图说明本发明的实施例：
图1是按照现有技术的运动向量域的表示；
图2是按照本发明实施例的编码器的框图；
图3是显示中断标签的图象区域的表示；
图4是图2中所示编码器的部件的框图；
图5是来自图2中所示编码器的位流输出的表示；
图6是按照本发明实施例的解码器的框图；
图7是按照本发明实施例的混合DCT/MC编解码器的框图。
具体实施方式
图2是按照本发明实施例的多分辨率运动向量域(MMVF)编码器的框图。如图2中所示的MMVF编码器包括一个运动估计器(ME)模块210，用于为输入到该模块的图象序列中的一个图象生成一个运动向量域和一个运动中断图、运动估计器母爱的输出连接到熵减少模块220的输入，后者用于用该运动中断图处理该运动向量域，以产生一个具有间断点的熵约束的(entropy constrained)运动向量域。熵减少模块220的输出连接到多分辨率向量量化运动域和间断点编码模块230，后者用于生成该运动向量域的一个多分辨率向量量化(MMVF)的表示。
MMVF的操作将在下文作更详细说明。
运动估计器模块10对一序列输入图象帧操作，以产生稠密运动向量域，每个都具有一个相关联的运动中断图。
用根据图象帧和基准帧的运动估计导出图象帧的运动向量域。在这个实施例中，是用已从原始的基准帧的编码版本和连续、原始的帧重构的基准帧进行估计的。作为替代，例如可以用一个原始基准帧和原始连续帧进行运动估计。
运动估计是用已知的块匹配技术的变体执行的。将图象帧中的16×16象素的块与基准帧中的块比较。当找到最接近的匹配时，将相应的运动向量分配给一个基准象素，在本实施例中，基准象素是四个中心象素中的左上边的象素。在其它实施例中，基准象素可能是一个m×n块内的任何象素，但它最好靠进或位于块的中心。对图象帧中的重叠的各16×16块重复这些步骤，以便获得图象中每个象素的运动向量，然后因此获得整个图象的运动向量域。尽管以这种格式产生的运动向量域可能还是展示一个块样的结构，在熵减少模块220中却恢复了一个精确的稠密运动向量域。可以采用其它的用于获得象素的运动向量的方法，诸如象素循环技术或基于梯度(gradient-based)的方法，如A.Netravali和B.G.Haskell所著的“Digital Pictures-Representation，compressionand Standards”(Plenum Publishing出版，1995)中所述。
运动估计器模块210也生成一个反映图象帧中的运动间断点的运动中断图。一般来说，运动间断点位于象素之间，因此每个象素有4个与之相关联的中断标签611、612、613、614，每个对应顶边、底边、右边和左边，如图3中所示。每个中断标签位于两个相邻的象素之间。例如，象素600的右中断标签612就是象素600相邻的象素602的左中断标签612。
图象中的运动间断点是用适当技术确定的，例如在M.Bober和J.Kittler的论文“Robost Motion Analysis”(CVPR出版，1994，947-952页)中所描述的技术。简而言之，用统计分析来估计某块相对于前面的帧中最接近匹配的块的残留误差的扩展(spread of residualerrors)。将残留误差在可接受范围外的象素按属于与块的其余部分中的区域不同的运动区域来对待。不同运动区域之间的边界就是运动间断点。
由运动估计器模块210导出的运动向量域和运动中断图被输入到熵减少模块220。熵减少模块220处理在运动估计器模块210中估计的运动向量域，处理时为保留运动边界而将运动中断标签考虑在内，以产生一个熵约束的运动向量域。该过程所根据的象素循环技术，在下文作更详细讨论。
现在将结合图3为单一的象素描述对图象中的单一象素的处理。考察中心象素600和它的四个相邻象素：顶、左、右和底601、602、603、604。此外，还考察中心象素600的四个运动中断标签611、612、613、614。每个象素都有一个与之相关联的运动向量，即象素600有运动向量V600，等等。在处理之后，为中心象素计算出一个新的运动向量V600值。
本实施例中的处理的根据，是对中心象素600的运动向量和没有被活动的中断标签从中心象素分开的那些相邻象素610、602、603、604的运动向量计算一个加权平均。更具体来说，
V600x(i+1)＝[(k*V600x(i))+V601x(i)+V602x(i)+V603x(i)+V600x(i)]/(k+4)，且
V600y(i+1)＝[(k*V600y(i))+V601y(i)+V602y(i)+V603y(i)+V600y(i)]/(k+4)，
其中V60nx和V60ny是在第i次循环中分配给象素60n的运动向量分量，k是一个大于或等于0的常数。
如果有一个或多个相邻象素被活动的中断标签从中心象素分开，就在计算中将其忽略，同时相应地调整分母。例如，假设运动中断标签611是活动的，则计算V600x(i+1)的公式为：
V600x(i+1)＝[(k*V600x(i))+V602x(i)+V603x(i)+V600x(i)]/(k+3)
在一个替代的实施例中，处理再次是根据一个平均，但是将预测误差也考虑在内。更具体来说，
V600x(i+1)＝[(V601x(i)+V602x(i)+V603x(i)+V604x(i))/4]-PE/(m+Δ2I)*ΔxI)
V600y(i+1)＝[(V601y(i)+V602y(i)+V603y(i)+V604y(i))/4]-PE/((m+Δ2I)*ΔyI)
这里，PE是预测误差，即象素600与在用在循环i中计算的运动向量(即V600(i)，其中V600(i)＝(V600x(i)，V600y(i)))位移后的基准帧中的该象素之间的光度值的差。ΔxI和ΔyI是象素600的亮度梯度(intensity gradient)的分量。在本实施例中的图象梯度是根据中心象素和一个相邻象素的亮度值计算的。特别地，ΔxI＝I602-I600’ΔyI＝I601-I600，其中I60n代表象素60n的亮度值。图象梯度能以其它方法用相邻的象素计算。例如，可以把ΔxI和ΔyI计算成ΔxI＝(I602-I604)/2，ΔyI＝(I601-I603)/2。Δ2I＝(ΔxI)2+(ΔyI)2，m是大于或等于0的常数。在本替代性实施例中，m＝100。同样，如果相邻象素之一被一个活动的运动边界分开，就在计算中将其忽略。中央，假设运动中断标签611是活动的，则
V600x(i+1)＝[(V602x(i)+V603x(i)+V604x(i))/3]-PE/((m+Δ2I)*ΔxI)
在上述的每个替代性处理方法中，对图象中的所有象素进行处理，进行许多次循环或回合。象素在一个回合中被处理的顺序，对结果的影响不大。在这些实施例中，进行5-10个循环，尽管在其它实施例中最优的循环次数依赖于所使用的运动估计器的类型。
作为上述处理的结果，获得了运动向量域的一个平滑的、熵约束的版本，同时保留了运动间断点。由于将运动中断标签考虑在内，以及上述的第二个处理方法中的预测误差，平滑只在不减少运动补偿预测的效率的区域中进行。在图2中显示了一例如熵减少模块200所输出的具有运动间断点的运动向量域的表示，如225所示的哪样，其中的圆圈代表象素，箭头代表运动向量，象素之间的线代表运动间断点。
由熵减少模块220产生的具有运动间断点的熵约束的运动向量域被输入到多分辨率运动向量域量化(MMVFQ)和间断点编码模块230。
图4更详细地表示MMVFQ和间断点编码模块。
参看图4，从熵减少模块220获得的运动向量域被输入到运动域金字塔模块310，后者产生一个n+1个运动域的集合，它们是原始运动向量域按立体分辨率(spatial resolution)的下降顺序的各版本。这n+1个运动域有图象分辨率s0至sn，其中，按原始图象分辨率的运动域具有分辨率sn，最疏粗的分辨率的运动域有分辨率s0。分辨率sm的运动域是通过对分辨率s(m+1)的更高分辨率运动的低通滤波和二次抽样获得的。这个过程从原始运动域开始被执行n次，以产生n+1个域，称作运动向量域金字塔。
按照这个实施例，二次抽样因数k是2，低通滤波过程计算一个2×2块内的vx和vy值的平均值。然后用平均值vx_aver和vy_aver来代表该块按更疏粗分辨率的运动。然而，可以采用各种二次抽样因数k(K＞1)和各种低通滤波器。
然后处理该运动域金字塔。在分辨率s0下的运动域被向量量化(VQ)编码器330a用码簿c0编码。VQ编码器330a的输出到达用于熵编码的模块380a，以形成在最疏粗分辨率s0下的运动域的一个表示，并到达VQ解码器360a。VQ解码器360a用码簿c0来重构该疏粗运动域，然后将其传送到上采样(up-sampling)模块340a，在此，运动域的分辨率被增加到k倍。差模块350a计算在分辨率s1下的运动域与从分辨率s0的域获得的上采样的重构运动域之间的差。将如此获得的在分辨率s1下的残留误差运动域从差块350a输出，待由编码器330b用码簿c1作处理。按增加的分辨率循环地重复上述步骤，直到在上至原始分辨率的所有分辨率下的运动域都已经被处理，获得原始运动向量域的n+1个分量表示。
在该示例中，VQx和VQy具有相同的维数，但是它们可以具有不同的维数。
在编码模块330a-330n中对每个运动向量域进行上述的向量量化。该向量量化类似于由L.Cieplinski和M.Bober在“Scalable imagecoding using Gaussian pyramid vector quantization withresolution-independent block size”中描述的向量量化(IEEE声学、语音和信号处理国际会议论文集第4卷2949-2952页)，其中的向量量化是关于静态图象的亮度值作描述的。该论文的内容在此引用作为参考。
在每个分辨率下对其应用向量量化的向量可以以下列方式之一形成：
1)通过独立地按速度分量域Vx和Vy从非重叠区域中组合o(o＞1)个分量速度。这些区域应当具有相同的形状并且应当合起来覆盖整个速度域。对于每个区域，形成两个0维向量VQx＝(vx1，...vxi，...vxo)、VQy＝(vy1，...vyi，...vyo)，其中vxi和vyi是该块内的象素i的x和y速度分量。
2)通过在如上所述形成向量之前对向量域V进行变换。变换的目的是为了使分量域在统计意义上独立，或者为了减少它们的关联，以提高编码性能。例如，可以将位于图象内每个象素位置的每个向量v＝(vx，vy)变换成对数极(log-polar)表示vp＝(vpr，vpa)，其中分量vpa、vpr被定义为：
vpr＝square root(vx*vx+vy*vy)
vpa＝arc tangent(vy/vx)，如果vx≠0。
∏/2，如果vx＝0且vy＞0
-∏/2，如果vx＝0且vy＜0。
对于每个区域，将形成两个0维向量VQr＝(vpr1，...vprj，...vpro)、VQa＝(vpa1，...vpaj，...vpao)，其中vprj和vpaj是从上述的变换中获得的。
3)可以将如2)中所定义的分量向量VQx、Vqa组合在一起，形成向量VQ＝(VQx，VQy)或VQ＝(VQr，VQa)，VQ可以被量化。自然，以这种方式形成的VQ向量的维数是2o。
在这个实施例中，上述方法2)被用于2×2象素的矩形块，这样就对4维向量进行VQ。
通过使用有来自多于1个象素或块中的运动向量的分量，VQ就能利用相邻象素或块之间的速度分量之间的关联。
例如，在上述方法1)中，来自相邻象素的VQx的分量可能是相似的，除非例如出现运动中断。类似地，VQy的分量也可能是类似的。这个特点可被用来为向量量化确定码簿，导致更高的效率。
将从熵编码器380a-380n输出的分量表示370...37n组合成一个内置表示260，例如如图5中所示的那样，该图显示了在由分离器(separator)分开的不同分辨率下的分量表示。
图6中显示的解码器500，用于解译运动域的内置表示，以重构不同分辨率下的运动域和原始运动向量域。重构从最粗疏分辨率的表示开始。它被熵解码器510a解译后，传送到VQ解码器515a，在那里被用码簿c0解译，以获得在分辨率s0下的重构的运动域。该在分辨率s0下的重构的运动域然后被上采样模块525a以与在编码器中相同的方式上采样，以获得该域在分辨率s1下的一个近似值。然后以类似的方式重构该运动域在分辨率s1下的残留误差。在加法模块中将分辨率s1的残留误差和从分辨率s0下的域上采样的域相加，生成在分辨率s1下的一个重构的运动域。在每个更精细的分辨率下重复该过程，直到获得原始分辨率的运动域。然而，需要的话可以在达到原始分辨率之前的任何分辨率下停止该过程。
图7表示用于按照本发明的实施例编码和解译视频图象数据的混合DCT/MC编解码器。
编码器侧包含一个用于对输入图象数据进行分立的余弦变换的DCT模块710。DCT模块710连接到一个自适应量化器720，后者用于对从DCT模块输出的DCT系数进行自适应量化。量化器720由速率控制器730开支。量化器720的输出连接到一个可变长编码器740和一个逆量化器750。逆量化器的输出连接到逆DCT模块760，后者用于重构原始帧的一个版本。DCT模块760的输出连接到多个帧储存器770。帧储存器770的输出连接到多分辨率运动向量域(MMVF)编码器780，用于导出和编码一个运动向量域。MMVF编码器780连接到一个高级运动补偿模块790，用于以已知方式进行运动补偿。MMVF编码器780也向可变长编码器740输出代表编码的运动向量域的数据，而可变长编码器740的输出则连接到缓冲器800。缓冲器800被用来调整速率控制器730，所存储的数据被输出，供传输或在记录媒体上记录。
在解码器中设置有对应的部件，包括缓冲器810、可变长解码器820、逆量化器830、逆DCT模块840、高级运动补偿模块850帧储存器860和MMVF解码器870。
编码器和解码器基本上以已知的方式操作，对视频图象数据编码，不过，运动向量域的编码和解译使用MMVF编码器780和解码器870。MMVF编码器780和解码器870基本上是按如上所述的方式操作的。然而，这里的可变长编码器740和解码器820代替如上所述的熵编码器380a-380n和解码器515a-515n进行熵编码和解码。对不同分辨率下的图象数据采用不同的查找表，就有可能用一个可变长编码器940和代替n个熵编码器380a-380n，对解码器820来说也一样。
如上所述的(基于每个象素的平均位数的)效率可能类似于或好于已知方法。尽管向每个象素分配一个运动向量增加了运动信息的量，这个量却在随后的处理中-即在熵减少处理和向量量化中-降低。每个象素的平均位数当然将取决于正在编码的数据的性质。
在上述的本发明的实施例中，运动中断图被导出并用于随后的处理，但是并不是非要把运动间断点考虑在内。如果不像所述的实施例中的那样为每个象素导出一个运动向量，本发明也适用于可以将一个运动向量分配给一组象素(例如2×2或4×4象素块)的方法。不过，重要的特点是生成的运动向量域是稠密的。
本发明特别适用于在下列条件适用时处理图象序列的应用：
i)信道带宽有限，
ii)数据损害的风险高，或
iii)用户会因获得运动向量的低分辨率版本收益。
可以将按照本发明导出和表示的运动信息存储在数据库中，用于检索和浏览之用。例如，查找特定运动类型的序列的人可以首先从(存储按本发明获得的运动向量信息的)数据库获得粗疏的运动信息，然后检索原始分辨率下的一个选定序列。

Claims (32)

1.一种表示数字化图象序列中的运动的方法，包含生成和编码一个运动向量域在不同分辨率时的多个版本。
2.权利要求1中所述的方法，包含二次抽样运动向量域，以产生二次抽样的疏粗的第一分辨率的域的版本和精细的第二分辨率的域的版本；编码疏粗分辨率运动向量域的版本，比较疏粗分辨率域与精细分辨率域，以产生一个残留误差；和编码精细分辨率下的残留误差。
3.权利要求2中的方法，包含产生和编码分辨率增加的残留误差序列。
4.权利要求1中所述的方法，包含将不同分辨率的编码的运动向量域版本多路转换到内置位流中。
5.权利要求1中所述的方法，其中，所述编码是用向量量化进行的。
6.权利要求1中所述的方法，其中，向量量化是对有来自至少两个运动向量的分量的向量进行的。
7.权利要求6中所述的方法，其中，向量量化是对有对应于n个相邻象素或块的运动向量的x个速度分量的分量和/或对应于m个相邻象素或块的运动向量的y个速度分量的分量的向量进行的，其中n和m大于或等于2。
8.权利要求1中所述的方法，其中，向量量化是对有多于两个分量的向量进行的。
9.权利要求1中所述的方法，其中，至少一个分辨率对应于一个稠密运动向量域。
10.一种用于按照如权利要求1中所述的方法编码数字化图象序列中的运动信息的编码器。
11.一种用于解译按照如权利要求1中所述的方法编码的数字化图象序列中的运动信息的解码器。
12.一种表示数字化图象序列中的运动的装置，包含用于生成和编码一个运动向量域在不同分辨率时的多个版本的装置。
13.权利要求12中所述的装置，包含用于二次抽样运动向量域，以产生二次抽样的疏粗的第一分辨率的域的版本和精细的第二分辨率的域的版本的装置；用于比较疏粗分辨率域与精细分辨率域，以产生一个残留误差的装置；和用于编码疏粗运动向量域和精细分辨率下的残留误差的装置。
14.权利要求13中所述的装置，包含用于产生和编码分辨率增加的残留误差序列的装置。
15.权利要求12中所述的装置，其中，至少一个分辨率对应于一个稠密运动向量域。
16.一种用于解译用如权利要求12中所述的装置编码的信息的解码器，该解码器包含用于恢复具有预定分辨率的运动向量域的版本的装置。
17.一种混合的DCT-MC编解码器，包含按照权利要求10或权利要求12的编码器和按照权利要求11或权利要求16的解码器。
18.一种处理与数字化图象序列中的图象有关的数据的方法，包含导出该图象的运动向量并通过一个用根据相邻运动向量的平均导出的新运动向量替换一个给定的运动向量而平滑运动向量域，该方法进一步包含确定在图象中哪里出现运动间断点，并在计算平均值时忽略一个或几个运动向量—如果它们被一个运动间断点与该给定运动向量分开的话。
19.权利要求18中所述的方法，其中，新运动向量是用一个预测误差导出的。
20.一种处理与数字化图象序列中的图象有关的数据的方法，包含导出图象的运动向量并通过一个用根据相邻运动向量的平均和一个预测误差导出的新运动向量替换一个给定的运动向量而平滑运动向量域。
21.权利要求20中所述的方法，包含确定在图象中哪里出现运动间断点，并在计算平均值时忽略一个或几个运动向量—如果它们被一个运动间断点与给定运动向量分开的话。
22.权利要求18中所述的方法，其中，为每个象素导出一个运动向量。
23.权利要求18中所述的方法，其中，计算平均值把给定的运动向量考虑在内。
24.权利要求23中所述的方法，采用加权平均。
25.一种处理与数字化图象序列中的图象有关的数据的方法，包含导出图象的运动向量，确定在图象中哪里出现运动间断点，并通过把在图象中哪里出现运动间断点考虑在内组合相邻的运动向量而平滑运动向量域。
26.一种处理图象的方法，包含导出代表运动向量域中运动边界的运动间断点和根据每个边界内其它运动向量调整该边界内的运动向量。
27权利要求25中所述的方法，包含导出一个稠密运动向量域。
28.权利要求27中所述的方法，其中，为每个象素导出一个运动向量。
29.前面任何一项权利要求中所述的方法，其中，向量量化是对有多于两个分量的向量进行的。
30.一种用于按照如权利要求18中所述的方法编码数字化图象序列中的运动信息的编码器。
31.一种用于解译按照如权利要求18中所述的方法编码的数字化图象序列中的运动信息的解码器。
32.一种混合的DCT-MC编解码器，包含按照权利要求30的编码器和按照权利要求31的解码器。
CNA200510055863XA 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置 Pending CN1717050A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9906034.5 1999-03-16
GB9906034A GB2348064A (en) 1999-03-16 1999-03-16 Motion vector field encoding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB008050082A Division CN1201591C (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA200610095674XA Division CN1882087A (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置

Publications (1)

Publication Number Publication Date
CN1717050A true CN1717050A (zh) 2006-01-04

Family

ID=10849720

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB008050082A Expired - Fee Related CN1201591C (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置
CNA200510055863XA Pending CN1717050A (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置
CNA200610095674XA Pending CN1882087A (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB008050082A Expired - Fee Related CN1201591C (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA200610095674XA Pending CN1882087A (zh) 1999-03-16 2000-03-16 用于运动向量域编码的方法和装置

Country Status (8)

Country Link
US (2) US6944227B1 (zh)
EP (3) EP1555833B1 (zh)
JP (2) JP2000295628A (zh)
CN (3) CN1201591C (zh)
AU (1) AU3304900A (zh)
DE (2) DE60022018T2 (zh)
GB (1) GB2348064A (zh)
WO (1) WO2000056076A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792691A (zh) * 2010-01-12 2012-11-21 Lg电子株式会社 视频信号的处理方法和设备
CN103222266A (zh) * 2011-11-21 2013-07-24 松下电器产业株式会社 图像处理装置以及图像处理方法
CN106534854A (zh) * 2011-03-07 2017-03-22 杜比国际公司 编码和解码图像的方法、编码和解码设备
US10362311B2 (en) 2011-06-24 2019-07-23 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US7295614B1 (en) * 2000-09-08 2007-11-13 Cisco Technology, Inc. Methods and apparatus for encoding a video signal
US6851608B1 (en) * 2002-03-07 2005-02-08 Commerciant, L.P. System and method for uncontrolled velocity scanning
ATE401742T1 (de) * 2004-05-14 2008-08-15 Nxp Bv Einrichtung zur erzeugung aufeinanderfolgender einzelbilder aus verschachtelten codierten einzelbildern
US8798148B2 (en) * 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
US8213723B2 (en) * 2008-12-29 2012-07-03 Yahoo! Inc. Method and system for determining near duplicate images
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
EP2490448A1 (de) * 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US20120230406A1 (en) * 2011-03-09 2012-09-13 Vixs Systems, Inc. Multi-format video decoder with vector processing and methods for use therewith
US8913664B2 (en) * 2011-09-16 2014-12-16 Sony Computer Entertainment Inc. Three-dimensional motion mapping for cloud gaming
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
JP6636615B2 (ja) 2015-08-24 2020-01-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置
US10970855B1 (en) 2020-03-05 2021-04-06 International Business Machines Corporation Memory-efficient video tracking in real-time using direction vectors

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661853A (en) * 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
US4849810A (en) * 1987-06-02 1989-07-18 Picturetel Corporation Hierarchial encoding method and apparatus for efficiently communicating image sequences
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
DE69029999T2 (de) 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
JP2950633B2 (ja) * 1991-03-27 1999-09-20 沖電気工業株式会社 動きベクトル検出装置
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
EP0631444B1 (en) * 1992-03-03 1998-12-23 Kabushiki Kaisha Toshiba Time-varying image encoder
DE69422876T2 (de) 1993-10-11 2000-06-15 Thomson Multimedia, Boulogne Verfahren und Gerät zur Korrektur von Bewegungsvektoren
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
US5539469A (en) 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique
US5600646A (en) * 1995-01-27 1997-02-04 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US5764805A (en) * 1995-10-25 1998-06-09 David Sarnoff Research Center, Inc. Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
JPH10248065A (ja) * 1997-03-04 1998-09-14 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
EP0864999A3 (de) * 1997-03-13 1999-09-08 Philips Patentverwaltung GmbH Bildverarbeitungs-Verfahren für die medizinische Diagnostik
DE69809920T2 (de) * 1997-07-28 2003-10-09 Idt International Digital Technologies Deutschland Gmbh Verfahren und vorrichtung zur mehrfachauflösung objektorientierter bewegungsschätzung
US6625216B1 (en) * 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792691A (zh) * 2010-01-12 2012-11-21 Lg电子株式会社 视频信号的处理方法和设备
CN106101718B (zh) * 2010-01-12 2019-04-16 Lg电子株式会社 视频信号的处理方法和设备
CN106101718A (zh) * 2010-01-12 2016-11-09 Lg电子株式会社 视频信号的处理方法和设备
CN106658007A (zh) * 2011-03-07 2017-05-10 杜比国际公司 编码和解码图像的方法、编码和解码设备
CN106658007B (zh) * 2011-03-07 2019-09-10 杜比国际公司 编码和解码图像的方法、编码和解码设备
CN106658008A (zh) * 2011-03-07 2017-05-10 杜比国际公司 编码和解码图像的方法、编码和解码设备
CN106791838A (zh) * 2011-03-07 2017-05-31 杜比国际公司 编码和解码图像的方法、编码和解码设备
US11736723B2 (en) 2011-03-07 2023-08-22 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US11343535B2 (en) 2011-03-07 2022-05-24 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US10681376B2 (en) 2011-03-07 2020-06-09 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN106658008B (zh) * 2011-03-07 2019-08-13 杜比国际公司 编码和解码图像的方法、编码和解码设备
US10382784B2 (en) 2011-03-07 2019-08-13 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN106791838B (zh) * 2011-03-07 2019-09-06 杜比国际公司 编码和解码图像的方法、编码和解码设备
CN106534854A (zh) * 2011-03-07 2017-03-22 杜比国际公司 编码和解码图像的方法、编码和解码设备
CN106534854B (zh) * 2011-03-07 2019-09-13 杜比国际公司 编码和解码图像的方法、编码和解码设备
US10362311B2 (en) 2011-06-24 2019-07-23 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US10694186B2 (en) 2011-06-24 2020-06-23 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN103222266A (zh) * 2011-11-21 2013-07-24 松下电器产业株式会社 图像处理装置以及图像处理方法
CN103222266B (zh) * 2011-11-21 2018-02-23 松下知识产权经营株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
EP1169867A1 (en) 2002-01-09
EP1555833B1 (en) 2010-06-09
JP2000295628A (ja) 2000-10-20
GB9906034D0 (en) 1999-05-12
JP2011055536A (ja) 2011-03-17
US20050207500A1 (en) 2005-09-22
EP1169867B1 (en) 2005-08-17
EP1536650A2 (en) 2005-06-01
AU3304900A (en) 2000-10-04
GB2348064A (en) 2000-09-20
DE60044541D1 (de) 2010-07-22
US6944227B1 (en) 2005-09-13
WO2000056076A1 (en) 2000-09-21
US7724826B2 (en) 2010-05-25
CN1343424A (zh) 2002-04-03
EP1555833A3 (en) 2008-02-27
DE60022018T2 (de) 2006-06-29
CN1882087A (zh) 2006-12-20
CN1201591C (zh) 2005-05-11
DE60022018D1 (de) 2005-09-22
EP1555833A2 (en) 2005-07-20
EP1536650A3 (en) 2008-02-27

Similar Documents

Publication Publication Date Title
CN1201591C (zh) 用于运动向量域编码的方法和装置
CN1130917C (zh) 消除块假象的后处理设备及方法
CN1906948A (zh) 利用旋转匹配预测运动的图像编码设备和方法
EP2668634B1 (en) Method and system for acquisition, representation, compression, and transmission of three-dimensional data
CN1142731A (zh) 基于分级运动估算检测运动矢量的方法及装置
EP1584191A1 (en) Method and apparatus for encoding and decoding stereoscopic video
CN101039430A (zh) 一种视频编码中对残差矩阵的快速扫描方法
CN1103164C (zh) 利用逐个像素的运动估算和跳帧方法的图像处理***
CN1232125C (zh) 通过参考离散余弦变换系数来估计运动的方法及其装置
Efstratiadis et al. Hierarchical partition priority wavelet image compression
CN1159922C (zh) 编码二进制形状信号的方法
JPH08275157A (ja) 映像信号符号化装置
WO2024091594A1 (en) Mesh compression texture coordinate signaling and decoding
CN1129870C (zh) 对具有象素的数字图像进行运动估算的方法和装置
Clarke Image and video compression: a survey
Yokoyama et al. Very low bit-rate video coding with object-based motion compensation and orthogonal transform
Dasu et al. A wavelet-based sprite codec
Zhu et al. A review of fractal video coding
CN1169371C (zh) 用于为形状自适应变换填充视频信号的方法和装置
Ferguson et al. Fractal transform techniques for very low bit rate video coding
Xu et al. Hybrid encoding analysis of fractal image compression method based on wavelet transform
Wang et al. Intra Coding With Geometric Information for Urban Building Scenes
Zhang et al. Current Frame Priors Assisted Neural Network for Intra Prediction
Qi et al. Image Coding for Machines based on Non-Uniform Importance Allocation
JPH0937240A (ja) 動画像符号化装置及び動画像復号装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MITSUBISHI ELECTRIC CO., LTD.

Free format text: FORMER OWNER: MITSUBISHI ELECTRIC INFORMATION TECHNOLOGY CENTRE EUROPE B.V.

Effective date: 20060331

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20060331

Address after: Tokyo, Japan, Japan

Applicant after: Missubishi Electric Co., Ltd.

Address before: surrey

Applicant before: Mitsubishi Electric Information Technology Centre Europe B.V.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20060104