CN1956544A - 采用连续/交错区域预测的影像数据处理方法及*** - Google Patents

采用连续/交错区域预测的影像数据处理方法及*** Download PDF

Info

Publication number
CN1956544A
CN1956544A CN200610137150.2A CN200610137150A CN1956544A CN 1956544 A CN1956544 A CN 1956544A CN 200610137150 A CN200610137150 A CN 200610137150A CN 1956544 A CN1956544 A CN 1956544A
Authority
CN
China
Prior art keywords
picture
search
prediction
search window
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200610137150.2A
Other languages
English (en)
Inventor
何镇在
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN1956544A publication Critical patent/CN1956544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种采用连续/交错区域预测的影像数据处理方法及***。其中包括：于影像连续画面中提供目前画面及参考画面。取得目前画面的一部分作为预测区域。重复地自参考画面中取得一部分作为搜寻视窗，直到参考画面中所有可能的部分都被当作搜寻视窗为止。依据搜寻视窗的内容，决定使用连续区块比对法或交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一匹配分数。本发明根据参考画面决定使用连续区块比对法或交错区块比对法，来计算出至少一个匹配分数。增进计算速度，减少电力消耗并且增加预测精确性。

Description

采用连续/交错区域预测的影像数据处理方法及***
技术领域
本发明涉及一种影像编码，特别是涉及一种采用连续/交错区域预测的移动预测方法及***。
背景技术
视频影像序列是由一系列在时间序列上间隔非常短相近的静止画面组合而成，当其在连续播放时，使用者会感觉到画面中的对象发生连续性运动。每一个画面可以用像素(pixels)的二维阵列(two-dimensional array)来表示。每一个像素描述画面一个特定区域的亮度、饱和度及色度等特性。二维画面中像素的每一个平行列称为光栅线(raster line)。画面可由单一连续画面，通常称的框画面(frame)，画面或两个交错画面，通常称的场画面(fields)来组成。
当取样或显示一个视频影像画面时，该视频影像画面可以为交错(interlaced)或连续渐进的(progressive)的顺序来取样或显示。连续渐进影像的画面中的光栅线在时间上是连续性的，如图1A所示。MPEG-1标准只允许使用连续画面编码(encode)。而交错画面则是让每一个画面分割为两个交错场(fields)，如图1B-1至图1B-3所示。每一个场拥有全部画面中一半数目的行，并且场与场间是相互交错的，使得画面中连续两行分属于不同的场。一个交错画面由两个场组成，一个场称为上场(top field)，如图1B-2所示，另一个场称为下场(bottom field)，如图1B-3所示。MPEG-2标准则允许使用连续及交错视频影像编码(encode)。
移动预测为预测相邻两画面间的一部分影像的置换预测技术。例如，一颗移动的足球会出现在前后相邻的画面中的不同位置。置换即为在一特定区域之间给出最佳匹配的移动向量，亦即是，目前画面中的这颗球在之前或之后参考画面所对应的置换区域。目前画面中的特定区域与参考画面中的相应置换区域两者间的差即为冗余(residue)。
为了增进移动预测中区块比对(block matching)的精确度，首先要决定目前画面中预备被预测的区块要使用连续区块预测模式或交错区块预测模式来预测。当决定使用连续区块预测模式时，则使用连续区块比对法来决定目前画面与参考画面间的最佳匹配，另一方面，当决定使用交错区块预测模式时，则使用交错区块比对法。传统上，此类区块比对法的决定与执行依据目前画面的内容而定。
发明内容
本发明提供一种采用连续/交错区域预测的影像数据处理方法及***，使用移动预测器来执行影像数据处理的方法及***。
为实现上述发明目的，本发明提供了采用连续/交错区域预测的影像数据处理方法，包括：提供一系列画面中的目前画面，以及用来作为预测目前画面的参考画面。取得目前画面的一部分作为预测区域。重复地自参考画面中取得搜寻区域的一部分作为搜寻视窗，直到完全处理完搜寻区域中的所有可能的部分为止；以及依据搜寻视窗的内容，决定使用连续区块比对法(frame block matchingprocedure)或交错区块比对法(field block matching procedure)来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一匹配分数(matching score)。
采用连续/交错区域预测的影像数据处理方法的决定用以计算匹配分数的算法的骤中，还包括取得区域类型的决定结果，其中包括根据搜寻视窗所预先决定的多个区域分别为一个连续区域(progressive region)或一个交错区域(interlaced region)。根据取得的区域类型决定结果，若搜寻视窗中的大部分像素位于至少一个连续区域中，则使用连续区块比对法计算出一个匹配分数，否则使用交错区块比对法来计算出四个匹配分数。
采用连续/交错区域预测的影像数据处理方法还包括当决定使用连续区块比对法时，计算代表整个预测区域与整个搜寻视窗间的匹配程度的一个匹配分数。
采用连续/交错区域预测的影像数据处理方法还包括下列步骤。当决定使用交错区块比对法时，将预测区域分为一个上预测场(top prediction field)及一个下预测场(bottom prediction field)，预测场中的任一一个拥有预测区域中的一半数目的行，并且预测场呈现交错状态(interlaced)，使得预测区域中的任意相邻两行分属于不同的预测场。将搜寻视窗分为一个上搜寻场(top search field)及一个下搜寻场(bottom search field)，搜寻场中的任一一个拥有搜寻视窗中的一半数目的行，并且搜寻场呈现交错状态，使得搜寻视窗中的任意相邻两行分属不同的搜寻场。接着，个别地计算出代表上预测场与上搜寻场间、上预测场与下搜寻场间、下预测场与上搜寻场间、下预测场与下搜寻场间的匹配程度的四个匹配分数。
采用连续/交错区域预测的影像数据处理方法还包括下列步骤。在完全处理完参考画面中的所有可能的部分后，依据计算后的匹配分数产生预测区域的一个移动向量(motion vector)，移动向量代表预测区域使用一个特定的搜寻视窗来置换，其中置换的搜寻视窗是在所有可能的搜寻视窗中，拥有最佳批匹配分数的最佳匹配区域。将产生的移动向量为连续向量(progressive vector)或交错向量(interlaced vector)的向量类型的信息，储存于区域类型决定结果中。
本发明还提供了：一种采用连续/交错区域预测的影像数据处理***，其包括：一影像接口，提供一系列画面；以及一移动预测器耦接于影像接口，取得一目前画面的一部分作为一预测区域，反复地取得一参考画面的一部分作为一搜寻视窗，直到完全处理完参考画面中的所有可能的部分为止，以及依据搜寻视窗的内容，决定使用一连续区块比对法或一交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一匹配分数。实施例的影像数据处理***包括一个移动预测器(motion estimator)。本实施例提供一系列画面中的目前画面，以及用以作为预测目前画面的参考画面，取得目前画面的一部分作为预测区域以及自参考画面中反复地取得搜寻区域的一部分作为搜寻视窗，直到完全处理完搜寻区域中的所有可能的部分为止。对于每一个取得的搜寻视窗，移动预测器依据搜寻视窗的内容，决定使用连续区块比对法或交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一个匹配分数。
移动预测器可还提供区域类型决定结果，此区域类型决定结果包括关于搜寻视窗中的多个预先决定区域中的每一个为一个连续区域或一个交错区域的信息，以及，根据区域类型决定结果，侦测出搜寻视窗中的大部分像素是否位于至少一个连续区域中。若是，决定使用连续区块比对法来计算出一个匹配分数，若否，决定使用交错区块比对法来计算出四个匹配分数。
当决定使用连续区块比对法时，移动预测器可还计算出代表整个预测区域与整个搜寻视窗间的匹配程度的一个匹配分数。
当决定使用交错区块比对法时，移动预测器还可将预测区域分为一个上预测场及一个下预测场，预测场中的任一一个拥有预测区域中的一半数目的行，并且预测场呈现交错状态，使得预测区域中的任意相邻两行分属于不同的预测场。移动预测器可还将搜寻视窗分为一个上搜寻场及一个下搜寻场，搜寻场中的任一一个拥有搜寻视窗中的一半数目的行，并且搜寻场呈现交错状态，使得搜寻视窗中的任意相邻两行分属不同的搜寻场。接着，移动预测器可还个别地计算代表上预测场与上搜寻场间、上预测场与下搜寻场间、下预测场与上搜寻场间、下预测场与下搜寻场间的匹配程度的四个匹配分数。
在处理完参考画面中的所有可能的部分后，移动预测器还可依据计算后的匹配分数产生预测区域的一个移动向量，移动向量代表预测区域与一个特定搜寻的视窗之间的位移量，其中此置换的特定搜寻视窗是在所有可能的搜寻视窗中，拥有最佳匹配分数的最佳匹配区域。接着，移动预测器将产生的移动向量为连续向量或交错向量的向量类型的信息，储存于区域类型决定结果中。
匹配分数的计算可使用交互关联函数(cross correlation function，CCF)、像素差异分类(pixel difference classification，PDC)、绝对差异平均(mean absolutedifference，MAD)、差异均方(mean squared difference，MSD)或积分投射(integralprojection)来完成。目前画面可为一个P(Predicted)画面或一个B(Bidirectional)画面。参考画面可为一个先前的I(Introcoded)或P画面，或为一个后续的I或P画面。
本发明根据参考画面决定使用连续区块比对法或交错区块比对法，来计算出至少一个匹配分数。增进计算速度，减少电力消耗并且增加预测精确性。
附图说明
图1A为表示范例的连续画面；
图1B-1为表示范例的交错画面；
图1B-2为表示范例的交错画面中的上场；
图1B-3为表示范例的交错画面中的下场；
图2为显示范例的MPEG-2影像串流的架构；
图3为表示范例的MPEG-2影像串流的画面架构；
图4为表示范例的双向预测示意；
图5为表示依据本发明实施例的应用于电池供电装置的硬件环境架构；
图6为表示应用于本发明实施例的影像编码器架构；
图7为依据本发明实施例的于移动预测中采用连续/交错区域预测的影像数据处理方法的方法流程图；
图8A及图8B为依据本发明实施例的于移动预测中采用连续/交错区域预测的影像数据处理方法的方法流程图；
图9A为范例的参考画面中的搜寻区域的区域类型决定结果示意图；
图9B及图9C为显示两个不同搜寻视窗的区域类型决定的范例示意图。
主要组件符号说明：
影像串流VS            画面群组GOP           画面P       片段S
大区块MB              画面I～I              画面P～P    画面B～B
影像编码装置10        影像编码器12          影像解码器16
音讯编码器/解码器18   显示控制器20          记忆装置控制器22
记忆装置24            中央控制器26          影像接口122
移动预测器124         编码电路126           画面51～B
前一张I或P画面52      下一张I或P画面53
预测区块51m           最相配区块52m、53m    搜寻区域SA
移动向量52v、53v     流程步骤S71、S73、S75、S77、S78、S79
流程步骤S811、S813、...、S891、S893
预先决定的区域R91、R92、...、R98、R99
具体实施方式
一段数字影像(digital video)包括序列的静止的画面，于影像处理时需求极大的储存空间及传输频宽。若以640×480，每秒15张，90分钟的一段全彩数字影像而言，其需要的频宽为：640*480(pixels/frame)*3(bytes/pixel)*15(pictures/sec)＝13.18MB/sec，所需的储存空间为13.18MB/sec*90*60＝69.50GB。这么大的档案显然不利于数据的实时传输与储存，因此，各种数字影像压缩技术也因应而生。
MPEG标准确保影像编码***所产生的标准化档案，于配置有符合标准解码器的任何***上皆可开启与运作。数字影像中所包括的空间(spatial)与时间冗余(temporal redundancy)的数据，皆可在品质没有重大减损的情况下进行压缩。MPEG编码为一个通用标准，利用时间与空间统计上冗余的特性作压缩，非仅应用于为特定装置中。空间冗余根据同一张画面相邻近像素(pixels)的颜色值的相似程度。MPEG使用离散余弦转换(Discrete Cosine Transform，DCT)与量化(quantization)对空间冗余的颜色值作I-画面(Intra-picture)压缩。时间冗余指在连续的影像画面间的个别物体的移动，用以提供平顺与连续的影像。在画面间的时间补偿上，MPEG依赖预测，更确切地说，为移动补偿(motion-compensated)预测。MPEG可使用I画面(Intra-coded pictures)、B画面(bidirectionallypredictive-picture)以及P画面(Predictive-coded pictures)作为时间补偿的压缩。I画面为一个图框内编码的画面，为一个序列(sequence)的第一张，其并不参考之前或之后的画面。P画面为向前预测(forward-predicted)画面，参考先前面的I或P画面，并拥有指向先前画面的相对应位置的指针。B画面可使用向前、向后，或上述两者的方向，辅以参考画面的数据进行编码。其中产生的移动向量(motionvector)可做为向前、向后或上述两者的预测。
图2显示范例的MPEG-2影像串流(video bitstream)的架构图。影像串流(video stream，VS)由多个画面群组(Group of pictures，GOP)所组成。画面为进行压缩的基本单位，包括三种类型的画面，I画面、P画面与B画面。每一画面可水平分割成固定长度的多个片段(slices，S)，以作为讯号同步(signal synchronization)及错误控制(error control)的最小单位。每一片段由多个大区块(macroblocks，MB)组成，大区块是色彩取样、移动预测及移动补偿的最小单位。每一大区块通常由四个8×8像素的区块(blocks)组成，区块是离散余弦转换的最小单位。
图3表示范例的影像编码预测的画面架构图。在MPEG-2的影像中，I画面没有参考画面，使用量化与可变长度编码(variable length coding，VLC)方法进行压缩，因此可被视为在没有其它参考画面的情况下的解压缩起始点。I画面为影像串流或画面群组中的第一张画面，随后为P画面与B画面。因此，在档案传输时需要保护I画面，避免数据流失以及对后续画面造成损害。P画面以I画面或先前的P画面为参考画面，用以锁定相似的区域。若没有可参考的相似区域，则以图框内编码方法(intra coding)为P画面中的区域作压缩。基本上，P画面由图框内编码区域与预测编码(predictive-coded，或交错编码)区域所组成，预测编码区域的内容为移动向量，其根据参考画面计算而得。B画面则使用向前与向后两个方向的参考画面来锁定相似的区域。
在画面序列中，目前的画面是由作为参考画面的先前画面预测而来。然而，移动预测方法可选择不同区块大小来预测，例如4×4、4×8、8×4、8×8、8×16、16×8、16×16等等，并且一个给定的画面中可包含不同大小的区块。每一区块比对参考画面中的多个区块，并搭配使用一些误差衡量方法来选出最匹配的区块。参考图1A、图1B-1、图1B-2、图1B-3，每一个特定区域包含目前画面中至少一个区块，首先决定目前画面中预备被预测的区域要使用连续预测法(frameprediction mode)或交错预测法(field prediction mode)来进行预测。当决定使用连续预测法时，使用连续区块比对法(frame block matching procedure)来决定出目前画面与参考画面间的最佳匹配区域，另一方面，当决定使用交错预测法时，则使用交错区块比对法(field block matching procedure)来决定出目前画面与参考画面间的最佳匹配区域。区块比对法的选择是依据参考画面中的内容，而非目前画面中的内容。此搜寻会在预先决定的搜寻区域进行比对。接着，决定出一个移动向量(motion vector)，该移动向量指出目前画面中的一个区域由参考画面中的特定区域所取代。当使用先前的一个画面来参考时，该预测称为向前预测。当参考画面为将来的一个画面时，该预测为向后预测。向后预测通常搭配使用向前预测，所以亦称为双向预测(bidirectional prediction)。图4为表示范例的双向预测示意图。在B画面51中，双向预测的移动补偿区块51m有两个移动向量，向前预测的移动向量52v参考到前一张I或P画面52中的最佳匹配区域52m，向后预测的移动向量53v参考到下一张I或P画面53中的最佳匹配区域53m。
移动预测方法用以消除存在于影像序列中的大量空间与时间冗余。越好的预测，可得到较小的误差及传输位率。若一个场景是静止不动的，则对目前画面中的特定大区块的最好的预测为在之前或之后画面的相同位置大区块，且误差为零。针对画面间的预测编码，有多种的移动预测方法，诸如完全区块比对法(full search block-matching)与阶层式搜寻暨区块比对法(hierarchical searchblock-matching)。
再者，有多种不同的比对准则(matching criteria)，用以衡量参考画面的预测区域与目前画面中的欲编码的区域两者之间的匹配“精确性”，诸如，交互关联函数(cross correlation function，CCF)、像素差异分类(pel difference classification，PDC)、绝对差异平均(mean absolute difference，MAD)、差异均方(mean squareddifference，MSD)、积分投射(integral projection，IP)等等。
在完全区块比对法中，根据一个比对法则，将给定的搜寻视窗和目前的大区块作比对得出最佳的匹配。虽然该方法在预测画面的品质上与算法的简易性上是最好的，但却消耗最多的电力。由于移动预测方法是影像串流的编码中计算最复杂的，因此，各种以特征为基础(signature-based)的搜寻区块比对法被提出，诸如，阶层式搜寻(hierarchical search)、三步骤搜寻(three step search，TSS)、二维对数搜寻(two dimensional logarithmic search，TDL)、二元素搜寻(binarysearch，BS)、四步骤搜寻(four step search，FSS)、直角搜寻算法(orthogonal searchalgorithm，OSA)、逐次逐一算法(one at a time algorithm，OTA)、交叉搜寻算法(cross search algorithm，CSA)、钻石搜寻法(diamond search，DS)等等。
其可采用由粗略到精确的阶层式搜寻暨区块比对法(coarse-to-finehierarchical searching block-matching processes)。由于影像在较高阶层的所需储存位较少，使其得以减少电力消耗。该方法中现有的范例为平均金字塔(meanpyramid)法。于平均金字塔法中，透过次采样(sub-sampling)方式建立起不同的金字塔式影像。接着阶层式搜寻移动向量从较高至较低阶层进行预测，以减少计算的复杂并且得到较高品质的移动向量。为消除较高阶层的噪声(noise)，使用低通的过滤器(low pass filter)来建立影像金字塔。利用简单移动平均法以建立多阶层金字塔影像(multiple-level pyramidal images)。例如金字塔式影像可以下列方程式建立：
其中，gL(p，q)代表第L阶层位于位置(p，q)的灰阶值，而g0(p，q)代表原始影像。将一个低通窗框(low pass window)中的像素的平均灰阶值(mean gray level)作为下一个阶层的单一像素的灰阶值，来建构完成简单的非重叠性低通过滤(non-overlapping low pass filtering)的平均金字塔。此方法会递归性地使用于较低阶层的四像素平均值(mean value)，来产生平均金字塔。
图5表示依据本发明实施例的影像数据处理***10的硬件环境架构图，包括影像编码器16、影像解码器12、语音编码器/解码器18、显示控制器20、记忆装置控制器22、记忆装置24以及中央控制器26。记忆装置24于较佳的情况下，为一动态存取存储器器(random access memory；RAM)，但也包含只读存储器(read only memory；ROM)或闪存(flash ROM)。记忆装置24用以暂时性地储存影像编码数据。中央控制器26控制影像编码器16、影像解码器12、语音编码器/解码器18、显示控制器20与记忆装置控制器22以驱动影像编码功能。
图6表示应用于本发明实施例的影像解码器12架构图，包括影像接口122、移动预测器124及编码电路126。影像编码器12用以将数字影像数据编码成影像串流(VS)。移动预测器124耦接于影像接口122，用以执行运用于数字化的影像数据中的区域的各种移动预测方法。编码电路126耦接于影像接口122及移动预测器124，用以控制整个编码流程，使用离散余弦转换(DCT)、量化(Quantization)、可变长度编码(VLC)等方法对预测的画面进行编码以产生一影像串流，以及使用反向量化(Inverse Quantization)、反向离散余弦转换(Inverse DCT，IDCT)、移动补偿(Motion Compensation，MC)等方法以产生移动预测的参考画面。
图7为依据本发明实施例的于移动预测中采用连续/交错区域预测的影像数据处理方法的方法流程图，此方法由移动预测器124(如图6所示)执行。此流程始于步骤S71，提供序列的画面中的目前画面。目前画面可为P画面或B画面。如步骤S73，提供一个用来预测目前画面的参考画面。参考画面可为一个先前的I画面或P画面，或一个后续的I画面或P画面。如步骤S75，取得目前画面的一部分作为预测区域。如步骤S77，取得参考画面中的一部分作为搜寻视窗。搜寻视窗的取得可使用完全区块比对法、TSS、TDL、BS、FSS、OSA、OTA、CSA或DS来完成。如步骤S78，依据搜寻视窗的内容，决定使用连续区块比对法或交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一个匹配分数。匹配分数的计算可使用CCF、PDC、MAD、MSD或IP来完成。如步骤S79，决定是否完全处理完参考画面中的所有可能的部分，以及，若是，结束整个流程，若否，流程进行至步骤S77。
图8A及图8B为依据本发明实施例的在移动预测中采用连续/交错区域预测的影像数据处理方法的方法流程图，此方法由移动预测器124(如图6所示)执行。如步骤S811，在序列的画面中取得欲压缩的目前画面。如步骤S813，决定目前画面是否为I画面，以及，若是，流程进行至步骤S821，若否，至步骤S851。
步骤S821至步骤S833的流程，描述为I画面执行一个图框内编码作业(intra-coded operation)的程序。如步骤S821，取得目前画面的一个初始区域。取得的区域可为一个16×16像素的大区块，或具有特定区块大小的区域，诸如4×4、4×8、8×4、8×8、8×16、16×8像素等等。须注意的是，目前画面中可包含不同大小的区块。如步骤S823，决定取得的区域要用连续编码程序(frame encodingprocedure)或用交错编码程序(field encoding procedure)来进行编码。可根据各种现有的交错空间冗余关联法(field spatial correlation methods)来决定的。当决定使用连续编码程序为取得的区域编码，亦即，其假设取得的区域为相似于图1A所示的连续画面(progressive picture)的连续区域(progressive region)。当决定使用交错编码程序为取得的区域编码，亦即，其假设取得的区域为相似于图1B所示的交错画面(interlaced picture)的交错区域(interlaced region)。在连续编码程序中，各种现有的图框内编码法可用以为如图1A所示的整个区域进行编码。在交错编码程序中，取得的区域可切分为如图1B-2所代表的上场及如图1B-3所代表的下场的两个交错场，接着，可使用各种现有的图框内编码程序为上场及下场各自进行编码。如步骤S825，储存一个区域类型决定结果，结果中包括取得的区域为连续区域或交错区域的信息。须注意的是，此决定结果可用在下一个画面的后续移动预测上，参考步骤S861所示，详细细节将描述于后。如步骤S831，决定目前画面中需要被编码的所有可能的区域是否已完全处理完毕，若是，结束整个流程，若否，至步骤S833。如步骤S833，取得目前画面中需要被预测的下一个可能的区域。
步骤S851至步骤S893的流程，描述为P或B画面执行一个图框内编码作业(intra-coded operation)的程序。如步骤S851，取得用来预测目前画面的一个参考画面。取得的参考画面可为用在向前预测的I或P画面，或用在向后预测的I或P画面。如步骤S853，取得目前画面中欲预测的初始区域作为预测区域。如步骤S855，针对目前画面的取得区域，决定参考画面的一部分作为搜寻区域。搜寻区域可由现有的搜寻区块比对法决定，诸如完全搜寻区块比对法、阶层式搜寻(hierarchical search)、三步骤搜寻(TSS)、二维对数搜寻(TDL)、二元素搜寻(BS)、四步骤搜寻(FSS)、直角搜寻算法(OSA)、逐次逐一算法(OTA)、交叉搜寻算法(CSA)、钻石搜寻法(DS)等等。于步骤S857，取得决定的搜寻区域中的一个初始区域作为搜寻视窗(search window)，此初始区域的大小相同于预测区域的大小。搜寻视窗可由现有的搜寻区块比对法决定，诸如完全搜寻区块比对法、阶层式搜寻、TSS、TDL、BS、FSS、OSA、OTA、CSA、DS等等。
如步骤S861，根据储存的参考画面的区域类型决定结果，结果中包括关于搜寻视窗中的多个预先决定区域中的每一个为一个连续区域或一个交错区域的信息，来侦测出搜寻视窗中的大部分画素是否位于一或多个连续区域中。若是，流程进行至步骤S863，若否，至步骤S865。图9A为范例的参考画面中的搜寻区域的区域类型决定结果示意图。搜寻区域SA包括九个预先决定的区域R91至R99。区域类型决定的结果包括区域R91至R93以及R97至R99为连续区域，以及区域R94至R96为交错区域的信息。为详细说明步骤S861中的处理，还进一步介绍两个范例。图9B及图9C为显示两个不同搜寻视窗的区域类型决定的范例示意图。如图9B，范例的搜寻视窗W91中的大部分像素位于交错区域R94及R95。如图9C，范例的搜寻视窗W93中的大部分像素位于连续区域R91及R92。
如步骤S863，执行连续区块比对法，其中有多种不同的比对准则，诸如交互关联函数(CCF)、像素差异分类(PDC)、绝对差异平均(MAD)、差异均方(MSD)、积分投射(IP)等等，可用以计算代表参考画面中的搜寻视窗与目前画面中的预测区域两者之间匹配程度的匹配分数。如步骤S865，执行交错区块比对法。在这个步骤中，可将预测区域分为两个部分，上预测场、下预测场，并且搜寻视窗亦可分为两个部分，上搜寻场、下搜寻场，其类似于图1B-2与图1B-3。不同的比对准则，诸如CCF、PDC、MAD、MSD、IP等等，可用以计算分别代表上预测场与上搜寻场间、上预测场与下搜寻场间、下预测场与上搜寻场间、下预测场与下搜寻场间的匹配程度的四个匹配分数。
如步骤S871，决定是否已完全处理完搜寻区域中的所有可能的搜寻视窗，若是，流程进行至步骤S873，若否，至步骤S881。如步骤S873，依据计算后的匹配分数产生一个移动向量。移动向量(或称为连续向量)可代表目前画面中的一个连续区域使用参考画面中的一个特定的搜寻视窗(连续区域)来置换，其中置换的搜寻视窗是在所有可能的搜寻视窗中，拥有最佳匹配分数的最佳匹配区域。移动向量(或称为交错向量)可包括一对子移动向量(sub motion vectors)，其中的一个子移动向量指出参考画面中的上预测场使用参考画面中的特定上或下搜寻场来置换，另外一个子移动向量则指出参考画面中的下预测场使用参考画面中的特定上或下搜寻场来置换，其中置换的搜寻场是在所有可能的搜寻视窗中，拥有最佳匹配分数的最佳匹配区域。如步骤S881，在决定的搜寻区域中决定出下一个可能的搜寻视窗。
如步骤S875，储存目前画面中所产生的移动向量为连续向量或交错向量的向量类型信息于区域类型决定的结果中。须注意的是，在产生所有可能的移动向量后，区域类型决定结果包括目前画面中的每一个移动向量为连续向量或交错向量的信息。此区域类型决定结果可用来为另一个画面作后续的移动预测，后续的移动预测可自行推演。
如步骤S891，决定目前画面中欲预测的所有可能的区域是否已完全处理完毕，若是，则结束整个流程，若否，则流程进行至步骤S893。如步骤S893，取得目前画面中预备被预测的下一个可能的区域作为预测区域。
传统的方法依据预备被压缩的目前画面的信息来决定使用连续区块比对法或交错区块比对法，来计算出至少一个匹配分数。如今所揭露的方法依据参考画面的信息来执行上述的决定，可增进计算速度，减少电力消耗并且增加预测的精确性。
针对一个特定的***组件，说明书及申请权利要求书中会使用一个名称来为其命名。如本领域技术人员所知，消费电子设备制造者也许会使用不同的命名来称呼内容中所对应的***组件。此文件并不欲以不同的名称来区别组件间的不同，而是使用不同的功能描述来进行区别。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此以本发明的保护范围以权利要求书界定者。

Claims (18)

1.一种采用连续/交错区域预测的影像数据处理方法，其特征在于，包括：
在一系列的画面中提供一目前画面；
提供用以预测目前画面的一参考画面；
取得目前画面的一部分作为一预测区域；
从参考画面中反复地取得一搜寻区域的一部分作为相应于预测区域的一搜寻视窗，直到完全处理完搜寻区域中的所有可能的部分为止；以及
依据搜寻视窗的内容，决定使用一连续区块比对法或一交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一匹配分数。
2.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，决定步骤还包括：
提供一区域类型决定结果，区域类型决定结果包括关于搜寻视窗中的多个预先决定区域中的每一个为一个连续区域或一个交错区域的信息；
根据区域类型决定结果侦测出搜寻视窗中的大部分像素是否位于至少一个连续区域中；以及
若是，决定使用连续区块比对法来计算出一个匹配分数；若否，决定使用交错区块比对法来计算出四个匹配分数。
3.如权利要求2所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，匹配分数的计算是通过交互关联函数、像素差异分类、绝对差异平均、差异均方或积分投射来完成。
4.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，还包括，当决定使用连续区块比对法时，计算代表整个预测区域与整个搜寻视窗间的匹配程度的一个匹配分数。
5.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，包括：
当决定使用交错区块比对法时，将预测区域分为一上预测场及一下预测场，预测场中的任一拥有预测区域中的一半数目的行，并且预测场呈现交错状态，使得预测区域中的任意相邻两行分属于不同的预测场；
将搜寻视窗分为一上搜寻场及一下搜寻场，搜寻场中的任一个拥有搜寻视窗中的一半数目的行，并且搜寻场呈现交错状态，使得搜寻视窗中的任意相邻两行分属不同的搜寻场；
分别计算代表上预测场与上搜寻场间、上预测场与下搜寻场间、下预测场与上搜寻场间、下预测场与下搜寻场间的匹配程度的四个匹配分数。
6.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，目前画面为一P画面或一B画面。
7.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，参考画面为一先前的I画面或P画面，或为一后续的I画面或P画面。
8.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，还包括：
完全处理完参考画面中的所有可能的部分后，依据计算后的匹配分数产生预测区域的一移动向量，移动向量代表预测区域使用一特定搜寻视窗来置换，其中置换的搜寻视窗是在所有可能的搜寻视窗中，拥有最佳批匹配分数的最佳匹配区域；以及
将产生的移动向量为一连续向量或交错向量的一向量类型的信息，储存于一区域类型决定结果中。
9.如权利要求1所述的采用连续/交错区域预测的影像数据处理方法，其特征在于，搜寻视窗的取得是使用一完全区块比对法、阶层式搜寻、三步骤搜寻、二维对数搜寻、二元素搜寻、四步骤搜寻、直角搜寻算法、逐次逐一算法、交叉搜寻算法或钻石搜寻法来完成。
10.一种采用连续/交错区域预测的影像数据处理***，其特征在于，包括：
一影像接口，提供一系列画面；以及
一移动预测器耦接于影像接口，取得一目前画面的一部分作为一预测区域，反复地取得一参考画面的一部分作为一搜寻视窗，直到完全处理完参考画面中的所有可能的部分为止，以及依据搜寻视窗的内容，决定使用一连续区块比对法或一交错区块比对法来计算代表预测区域及搜寻视窗两者间的匹配程度的至少一匹配分数。
11.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，移动预测器提供一区域类型决定结果，区域类型决定结果包括关于搜寻视窗中的多个预先决定区域中的每一个为一个连续区域或一个交错区域的信息，根据区域类型决定结果侦测出搜寻视窗中的大部分像素是否位于至少一个连续区域中；若是，决定使用连续区块比对法来计算出一个匹配分数，若否，决定使用交错区块比对法来计算出四个匹配分数。
12.如权利要求11所述的采用连续/交错区域预测的影像数据处理***，其特征在于，匹配分数的计算使用交互关联函数、像素差异分类、绝对差异平均、差异均方或积分投射来完成。
13.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，当决定使用连续区块比对法时，移动预测器计算代表整个预测区域与整个搜寻视窗间的匹配程度的一个匹配分数。
14.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，当决定使用交错区块比对法时，移动预测器将预测区域分为一上预测场及一下预测场，预测场中的任一一个拥有预测区域中的一半数目的行，并且预测场呈现交错状态，使得预测区域中的任意相邻两行分属于不同的预测场，移动预测器将搜寻视窗分为一上搜寻场及一下搜寻场，搜寻场中的任一一个拥有搜寻视窗中的一半数目的行，并且搜寻场呈现交错状态，使得搜寻视窗中的任意相邻两行分属不同的搜寻场，以及移动预测器分别计算代表上预测场与上搜寻场间、上预测场与下搜寻场间、下预测场与上搜寻场间、下预测场与下搜寻场间的匹配程度的四个匹配分数。
15.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，目前画面为一P画面或一B画面。
16.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，参考画面为一先前的I画面或P画面，或为一后续的I画面或P画面。
17.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，在完全处理完参考画面中的所有可能的部分后，移动预测器依据计算后的匹配分数产生预测区域的一移动向量，移动向量代表预测区域使用一特定搜寻视窗来置换，其中置换的搜寻视窗是在所有可能的搜寻视窗中，拥有最佳批匹配分数的最佳匹配区域，以及移动预测器将产生的移动向量为一连续向量或交错向量的一向量类型的信息储存于一区域类型决定结果中。
18.如权利要求10所述的采用连续/交错区域预测的影像数据处理***，其特征在于，搜寻视窗的取得使用一完全区块比对法、阶层式搜寻、三步骤搜寻、二维对数搜寻、二元素搜寻、四步骤搜寻、直角搜寻算法、逐次逐一算法、交叉搜寻算法或钻石搜寻法来完成。
CN200610137150.2A 2005-10-24 2006-10-24 采用连续/交错区域预测的影像数据处理方法及*** Pending CN1956544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/256,872 US20070092007A1 (en) 2005-10-24 2005-10-24 Methods and systems for video data processing employing frame/field region predictions in motion estimation
US11/256,872 2005-10-24

Publications (1)

Publication Number Publication Date
CN1956544A true CN1956544A (zh) 2007-05-02

Family

ID=37985374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610137150.2A Pending CN1956544A (zh) 2005-10-24 2006-10-24 采用连续/交错区域预测的影像数据处理方法及***

Country Status (3)

Country Link
US (1) US20070092007A1 (zh)
CN (1) CN1956544A (zh)
TW (1) TWI315639B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010492A (ja) * 2007-06-26 2009-01-15 Hitachi Ltd 画像復号化装置及び画像変換回路
US20090080528A1 (en) * 2007-09-20 2009-03-26 Alvaview Technology Inc. Video codec method with high performance
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
EA017302B1 (ru) * 2011-10-07 2012-11-30 Закрытое Акционерное Общество "Импульс" Способ подавления шума серий цифровых рентгенограмм
US9332266B2 (en) 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
WO2014165409A1 (en) * 2013-03-30 2014-10-09 Jiangtao Wen Method and apparatus for decoding a variable quality video bitstream
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
CN116055717B (zh) * 2023-03-31 2023-07-14 湖南国科微电子股份有限公司 视频压缩方法、装置、计算机设备及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP2991833B2 (ja) * 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
FR2786353B1 (fr) * 1998-11-25 2001-02-09 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
US7463778B2 (en) * 2004-01-30 2008-12-09 Hewlett-Packard Development Company, L.P Motion estimation for compressing multiple view images
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes

Also Published As

Publication number Publication date
US20070092007A1 (en) 2007-04-26
TWI315639B (en) 2009-10-01
TW200718221A (en) 2007-05-01

Similar Documents

Publication Publication Date Title
CN1956544A (zh) 采用连续/交错区域预测的影像数据处理方法及***
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
US20100166073A1 (en) Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US20150172687A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
WO2010088031A2 (en) Video encoding using previously calculated motion information
CN102187668B (zh) 编码图像或图像序列的方法和装置及其解码方法和装置
CN1767655A (zh) 一种多视点视频图像视差估计的方法
KR20140068013A (ko) 심도맵의 인코딩 및 디코딩
CN108419082B (zh) 一种运动估计方法及装置
CN1258925C (zh) 多视角视频编解码预测补偿方法及装置
KR100597397B1 (ko) 고속 움직임추정 알고리즘을 갖는 동영상 코딩방법 및 장치
CN1774933A (zh) 确定视频编码器中的自适应运动矢量的搜索范围的方法及设备
US6973257B1 (en) Method for indexing and searching moving picture using motion activity description method
CN1134171C (zh) 信号编码设备和方法
Paul et al. Video coding with dynamic background
EP1389875A2 (en) Method for motion estimation adaptive to DCT block content
CN1863318A (zh) 视频编码***及应用于以电池供电的装置中的视频编码方法
CN101742301A (zh) 一种块模式编码方法及装置
CN100584006C (zh) 一种基于时间分辨率变换的视频转换处理方法
CN1457196A (zh) 基于时空域相关性运动矢量预测的视频编码方法
Bachu et al. Adaptive order search and tangent-weighted trade-off for motion estimation in H. 264
CN1224273C (zh) 视频编码器和记录设备
CN1263309C (zh) 用于视频编码的运动矢量预测方法
Paul Efficient video coding using optimal compression plane and background modelling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication