CN1166213C - 选择b帧编码模式的视频编码方法和*** - Google Patents

选择b帧编码模式的视频编码方法和*** Download PDF

Info

Publication number
CN1166213C
CN1166213C CNB008007454A CN00800745A CN1166213C CN 1166213 C CN1166213 C CN 1166213C CN B008007454 A CNB008007454 A CN B008007454A CN 00800745 A CN00800745 A CN 00800745A CN 1166213 C CN1166213 C CN 1166213C
Authority
CN
China
Prior art keywords
piece
frame
previous
called
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB008007454A
Other languages
English (en)
Other versions
CN1302510A (zh
Inventor
D・斯努克
D·斯努克
蘖欣
F·格罗列雷
炊
J·戈贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1302510A publication Critical patent/CN1302510A/zh
Application granted granted Critical
Publication of CN1166213C publication Critical patent/CN1166213C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

H.263+建议中的方案之一，是在改善的PB帧模式里可对一个B帧的宏块按照前向、反向或双向预测模式进行编码。本发明涉及一种对图像序列编码的方法，在编码B宏块的三种可能的预测模式中可确定一个策略来选择出一种预测模式。该策略基于SAD(绝对差值总和)计算和运动矢量相关性，并当发生镜头切换时容许应用反向预测。这里的计算针对原图像实施，可以使计算量较少，并减轻CPU的负担。本发明还涉及一种编码***，用于实现所述方法，并包括有一种用以存储指令的计算机可读介质，可由指令来实施本方法。

Description

选择B帧编码模式的视频编码方法和***
本发明涉及一种对信源图像序列进行编码的方法，包含有步骤：
将信源图像序列划分成一种图像组集合，每个图像组中包含有一个此后称为I帧的第一帧，后随有至少一对此后称为PB帧的图像帧；
将每个I帧和PB帧划分成若干个在空间上不重叠的像素块；
对所述I帧中来的、此后称为I块的各像素块进行编码，诸I块与该图像组中任一其它帧之间没有相关性；
对于所述PB帧中时间上为第二帧内来的、此后称为P块的各像素块，根据先前之I帧中的I块或者先前之PB帧中的P块，推导出各个运动矢量和相应的预测值；
对于所述PB帧之第一帧中来的、此后称为B块的每个像素块，从具有与其相同位置的所述P块之运动矢量中推导出一个前向运动矢量，对每个B块可得到先前之I帧中一个相关联的I块或者先前之PB帧中一个相关联的P块，此后它们分别称为If块或Pf块；
对于所述PB帧之第一帧中来的每个B块，从具有与其相同位置的所述P块之运动矢量中推导出一个反向运动矢量，对每个B块可得到所述PB帧之P帧中一个相关联的P块，它此后称为Pb块；
对于每个B块的编码，选择一种预测模式；
根据先前之I帧中的I块或者先前之PB帧中的P块对所述PB帧之第二帧中的各P块进行预测编码；
按照所选择定的预测模式对B块进行预测编码。
本发明还涉及一种实现所述方法的***。
例如，本发明可应用于甚低比特率的视频编码中。
ITU(国际电信联盟)制定的低比特率可视电话产品和技术方面的标准汇编于ITU标准H.320和H.324中。这些标准说明了能满足各种成分即音频、视频、复用器、控制协议和调制解调器等所要求的一切方面。H.320专用于通过ISDN(综合业务数据网)电话线的会议电视或可视电话中。H.324的应用目标是通过GSTN(全球交换电话网)模拟电话线传输可视电话。这两个标准都支持H.263建议中的视频编码，H.263建议中说明了低比特事视频信号的压缩。H.263建议中包含有视频编码器内的四种可选模式。这些可选模式之一称为PB帧模式，它给出了一种对PB帧进行编码的方法。H.263建议的第二版本称为H.263+，其开发在于改善图像质量，它包含一些新的可选方案。因此，一种对原来的PB帧模式作出改善的所谓改善型PB帧模式之方案，提供出了一种对PB帧进行编码的新方法。
一个图像帧序列可由一系列I帧和PB帧组成。图像中的I帧按照帧内模式编码，这意味着，I帧利用图像内的空间冗余进行编码，它不参考另一帧图像。P帧是根据先前之P图像或I图像进行预测编码的。因此，当编码一帧P图像时，除了象编码I图像那样利用空间冗余之外，还利用了该P图像与用作参考图像(基本上为先前的I图像或P图像)的先前图像之间的时间冗余。一帧B图像有两帧时间上先后的参考图像，它通常是根据一帧先前的P或I图像和当前在重建的P图像进行预测编码的。一个PB帧由相继的两帧图像构成，即一个首先的B帧和一个随后的P帧，它们编码成一个单元。
一种按照PB帧模式来对一个PB帧进行编码的方法示例于图1中。图中示明，一个PB帧由一个B帧的B和一个P帧的P2组成。该B帧的B之前后分别为一个先前的P图像P1和当前在重建的P图像P2。本例子中示明的P1是一个P图像，但P1也可以是一个I图像，它用作为编码P图像P2和编码B图像B时的参考图像。在PB帧模式中，B帧内的一个B块可以是按前向预测或按双向预测进行编码的。B块按前向预测进行编码时，是基于先前的I或P图像P1；B块按双向预测进行编码时，是基于先前的I或P图像P1和当前在重建的P图像P2两者的。对于PB帧的P图像P2而言，是参考了图像P1来推导出一个运动矢量集合MV的。事实上，对于P2中的每个宏块，通过块匹配法使它与P1中的一个宏块相关联，并推导出一个相应的运动矢量MV。B块的运动矢量是从先前对P1得出的运动矢量集合中推导出的。所以，对于一个B块可如下地计算其前向运动矢量MVf和反向运动矢量MVb：
Figure C0080074500061
式中，TRb是在先前的P帧P1为准下B图像在时间基准上的增量值，TRd是在先前的I或P图像P1为准下当前的P帧P2在时间基准上的增量值。
考虑图1上B图像内的一个宏块AB。此宏块AB的位置与先前重建的P2内宏块A2B2即Prec的位置相同。前向运动矢量MV与属于P1之宏块A1B1来的宏块A2B2相关联。与宏块AB相关联的前向运动矢量MVf和反向运动矢量MVb两者是按式(1)中所示自MV中导出的。如图1上所示，通过前向运动矢量MVf和反向运动矢量MVb而与宏块AB相关联的P1和P2内的宏块分别是K1M1和K2M2。
对于双向预测与前向预测之间的选择，是在B图像中的宏块层级上作出的，它取决于MVb点的位置所在。具体地，在B块上AB里的MB部分处，因MVb点位于Prec之内，该MB部分为双向预测，B块上该MB部分的预测公式为：
MB(i，j)＝[A1M1(i，j)+A2M2(i，j)]/2式中，i和j为各像素的空间座标值。
另外，在B块上AB里的AM部分处，因MVb点位于Prec之外，该AM部分为前向预测，B块上该AM部分的预测公式为：
AM(i，j)＝K1A1(i，j)
按照PB帧模式中的一种改善型编码PB帧的方法，说明于欧洲专利申请EP 0782343A2中。它公开了一种在双向预测帧中编码各宏块时的预测方法。该方法介绍了一种增量运动矢量，针对导出的前向和反向运动矢量分别用增量运动矢量作相加或相减。当图像序列中的运动不为线性形态时，所介绍的方法或许是适当的；然而，对于发生镜头切换的图像序列，该方法是完全不合适的。确实，当先前的P帧与一个PB帧中的B帧部分之间有镜头切换时，双向预测和前向预测将给出错误的编码。除了增量运动矢量在实现上会十分加重CPU的负担外，还将导致不必要的耗费和复杂的计算。
本发明的一个目的是改进现有编码方法的效率，同时降低CPU的负担。更准确地，本发明的一个目的是提供一种高效的策略或方法，它对于一个给定的B帧宏块之编码可给出最合适的预测模式选择。
因此，编码每个B块时在预测模式的选择中，对每个B块包含有下面一系列步骤：
推导出该B块与一个像素块之间的绝对差值总和，该像素块内诸像素值是Pb块内诸像素值和Pf块或If块内诸像素之平均值，此绝对差值总和此后称为SADbidir(SAD双向)；
推导出该B块与位置同该B块一样的PB帧之第二帧内的P块之间的绝对差值总和，它此后称为SADb(SAD反向)；
当SADb大于SADbidir时，根据具有与B块相同位置的所述P块来对B块的预测编码模式作出选择；
当SADb小于SADbidir时：
推导出所述运动矢量与具有与该B块那样相同位置的所述PB帧之P帧中所述P块的预测值两者间的差值；
当所得到的差值小于一个预定阈值时，根据所述PB帧之第二帧内的P块、以及I块或先前之PB帧内的P块来对B块的预测编码模式作出选择；
当所得到的差值大于该预定阈值时，根据先前之I帧中的I块或者根据先前之PB帧中的P块推导出该B块之绝对差值总和的最小值，并根据该I块或先前之PB帧中的P块来对B块的预测编码模式作出选择。
对于B块的编码，本权利要求之方法给出了一种预测模式的选择策略，以供在前向模式、反向模式和双向模式中作选择应用。该选择是基于SAD(绝对差值总和)计算和运动矢量相关性的。选择策略依据于一种特定的规则，它比较三种预测模式的SAD值，并引入运动矢量相关性。此外，对于编码B帧时的预测模式选择，是在任何P或B图像编码之前作出的。因此，由于所提出的选择策略是在原来的图像上实施的，所以在SAD计算、特别是SADbidir计算中，不需要进行耗费CPU能力的、对B帧的预先双向预测。所提出之方法的主要优点不仅有利于双向预测，并在无运动状态对也能实现反向预测。因此，本方法对于一个给定的B帧宏块，可导得一种合适的预测模式选择。
本发明的一个优选实施例中，按照本发明之一种方法，或是可以由一种电子电路所构成的硬体***来实现，它能完成所建议之方法中的各个步骤，或是可以部分地依靠计算机可读出介质中存储的一个指令集来完成。
现在，参考后面说明的实施例并结合考虑各个附图，对本发明的具体情况作出阐述，各个附图中，
图1示例出按照PB帧模式的一种先有技术解码方法；
图2示明一个用于编码的图像序列；
图3是编码***中由各部分组成的一个方框图；
图4表明对运动矢量预测值是如何确定的；
图5是一个流程图，示明按照本发明对B块进行编码的各个步骤，它们导向预测模式的选择。
下面各节段中可能发生对名词“块”的误解。当读到“块”字时，应理解为它是ITU标准中所定义的“宏块”。
图2示明一个信源图像帧序列，它们必须按照本发明之方法进行编码。这个所示的序列由第一个I帧I0以及在时间上后随的一系列PB帧组成。每个PB帧PB1、PB2、PB3由称为B帧的一个第一帧和称为P帧的一个第二帧构成。因此，PB1由B帧B1和随后的P帧P2组成，PB2由B帧B3和随后的P帧P4组成，PB3由B帧B5和随后的P帧P6组成，……。
各个帧将以下面给出的次序编码。I0按照帧内模式首先编码，也即编码中不参考任何其它图像帧。然后，P2参考I0进行预测编码；接着，B1参考I0和P1进行编码，B1是在编码器之内于内部重建出来的；再后，P4参考P2进行编码，接着，P3参考P2和P4进行编码，B3也是于内部重建出来的。因此，在一个PB帧的B块之前使序列中该PB帧的每个P块先传输，并参考先前的I或P图像进行编码。在相应的该PB帧的P图像之后再对每个B图像进行编码，这是参考所述相应之PB帧中的P图像和先前已编码的I或P图像进行编码的。
图2中提出的图像序列决不意味着是对可以按照本发明之一种方法进行编码的图像序列种类的一个限制。事实上，图像序列中也可以在两个P帧之间包含两个或多个接连的B帧。此种场合下，各个B帧按它们传输中的同样次序参考先前的I或P帧(它们先前已经编码好)以及次后一个P帧(它是当前重建出的)进行编码。
诸如图2中示明的一种图像序列是经由图3之***内各级编码措施逐帧图像地通过的，所述***可以实现一种按照本发明之方法。首先，为了编码方便，由一个电路DIV(I，P，B)将每个传输的帧划分成在空间上不重叠的N×M个像素(比如说16×16个像素)组成的诸多宏块。I、P和B帧是不以同样的方式编码的，所以，它们通过***时不遵循相同的信号路径。每一种类的各帧沿着一条它们所适应的路径前进。
编码时不需要参考任何其它图像的I帧，是从电路DIV(I，P，B)直通至电路DCT/Q上的。这个电路DCT/Q将空间域内接收到的一个帧变换成频率域内的一个帧。它对划分成像素块的图像实施离散余弦变换，得到一个变换系数集，然后对该系数集进行量化。接着，自DCT/Q电路给出的已量化的系数通过到电路COD上进一步编码，并同时通过到电路IDCT/Q-1上。电路IDCT/Q-1先实施反量化，再通过反离散余弦变换将反量化的系数变换回到空间域中。由电路REC(P)重建出I帧的每个像素块，然后将I图像存储入电路MV(P)中的一个存储器部分里。
对于P帧，在由DIV(I，P，B)将它划分成像素块后，传输至一个运动估值器MV(P)上。MV(P)中包含一个存储器部分，在那里又存储入了先前已传输来的I图像或P图像。对于P图像内此后称为P块的每个宏块，参考当前已存储的先前之I或P图像来推导出一个运动矢量MV。此运动矢量MV可以对原来诸宏块而不是重建出的诸宏块计算出其最小化的函数值SAD(绝对差值总和)来推导得到。SAD值给出于下面：
SAD = Σ m = 1 16 Σ n = 1 16 | B i , j ( m , n ) - B i - u , j - v ( m , n ) |
式中，Bij(m，n)表示在空间位置(i，j)上16×16像素之P块中的第(m，n)个像素，Bi-u，j-v(m，n)表示在空间位置(i，j)受矢量(u，v)偏移后的位置上先前之I或P图像中一个备选宏块内的第(m，n)个像素。运动矢量便是给出最小SAD值的P块与该备选宏块之间的偏移量。同时，在电路MV(P)中，对每个运动矢量MV推导出一个关联的预测值MVpred。推导出MVpred的一种可能方法由H.263建议给出，如图4中所示例，它示明了一个P块以及其相邻的邻接块。MVpred定义为MV1、MV2、MV3的中间值，其中，MV1是该MV左前方之宏块的运动矢量，MV2是该MV正上方之宏块的运动矢量，MV3是该MV右上方之宏块的运动矢量。除了对一个给定的P块推导出MV和MVpred之外，还按照在式(1)中给出的公式推导出一个前向运动矢量MVf和一个反向运动矢量MVb。这两个运动矢量与位置同该P块一样的PB帧之B帧中的一个B块相关联。此外，与这个B块相关联MVf确定了一个先前之I或P帧内、此后称为If块或Pf块的I或P块。类似地，与这个B块相关联的MVb确定了一个该PB帧之P帧内、此后称为Pb块的P块。在这个已运动补偿的P帧与MV(P)之存储器部分中存储的先前之I或P帧之间，通过有分支的加法器S来实施相减，将差值传输至DCT/Q运算单元上，形成一个经DCT变换和量化了的系数帧。然后，这个系数帧通过到COD单元上进一步编码，并同时通过到IDCT/Q-1和REC(P)单元上。这里，REC(P)根据从电路IDCT/Q-1中接收到的差值帧、从运动估值器MV(P)中接收到的运动矢量、以及在MV(P)之存储器部分中已存储的先前之I或P帧这三者的关联性，重建出该P帧中的每一个宏块。在重建之后，MV(P)中的存储器部分以当前的P帧数据进行更新。
B帧直接通过到一个预测器PRED(B)上，用以按照前向、反向或双向预测模式进行预测编码。当于PRED(B)内进行编码时，在加法器S上从初始宏块中减去已运动补偿的宏块，差值通过DCT/Q，然后到达COD进一步编码。对于B帧的每个宏块，必须在三种可能的预测模式中作出一个选择。事实上，在有效地开始编码B图像之前，先对所有宏块顺序地作出这些预测模式的选择。这些选择是根据从MV(P)中接收到的关于原先的I或P图像以及PB帧中原来的P图像之数据作出的，两类图像数据都存储于MV(P)之存储器部分中。PB帧中的P图像是当前在REC(P)中重建的，并且与PB帧中的B图像作为一个单元进行编码。确实，在REC(P)中重建一个P块之后，B帧中相同位置上的B块也按照对该宏块先前已选择的预测模式在PRED(B)中进行预测编码。
对于B帧的一个宏块来说，按照本发明之策略来作出预测模式选择的过程示明于图5的流程图中。人们可回想到，与每个B块相关联的几个运动矢量，是先前在MV(P)中计算出的下列运动矢量：PB帧之P帧中具有象B块那样相同位置的P块之运动矢量MV及其预测值MVpred；确定出Pf块的前向运动矢量MVf；以及确定出Ib或Pb块的反向运动矢量MVb。
对于传输至PRED(B)上的一个B帧之每个宏块Mbck[n]来说，步骤1中，在Mbck[n]与一个宏块之间推导出SAD值，该宏块具有的像素值是PB帧之P帧中相关Pb块的像素值以及先前的I或P帧中If或Pf块的像素值之平均值。此后，这个SAD称为SADbidir。同时，步骤2中，在Mbck[n]与该Pb块之间推导出SAD值，并称之为SADb。随后，步骤3中，将SADbidir与SADb进行比较，在SADbidir大于SADb的场合下，对Mbck[n]作出反向预测模式的选择。这意味着，在对所有B块作出选择之后，Mbck[n]将参考PB帧中的P图像进行预测编码。如图5中的反馈连接线所示，现在提供出一个新的B块，需对它作出预测模式选择。
另一种场合下，也即当SADbidir小于SADb时，便实施一项运动矢量相关性测试。在步骤4和5中，将运动矢量MV与其预测值MVpred进行比较，它们是分别与PB帧之P帧中具有B块那样相同位置的P块相关联的，以及与先前MV(P)中计算出的值相关联的。当MV-MVpred之差值小于一个预定阈值t1时，在步骤7中选择双向预测模式。编码B帧时，随后需参考先前的I或P图像以及PB帧中的P图像对B块Mbck[n]进行预测编码。当M-MVpred之差值大于t1时，在步骤8中选择前向预测模式。此种场合下，需参考先前的I或P图像对B块Mbck[n]进行预测编码。然后，提供出一个新的B帧宏块。按照前向预测模式编码一个B块时，在步骤6中实施一种前向运动估值MVF。它的要点是参考先前的I或P图像对B块推导出一个前向运动矢量，推导中借助于对参考先前的I或P图像计算出的B块使其绝对差值总和SAD最小化。
应当指出，关于所说明的编码方法和***，可对之提出修正或改进而偏离不开本发明的范畴。例如，很显然，此种编码方法可以用几种方式来实现，诸如依靠电子电路硬件，或者，另一种方式是依靠在计算机可读介质中存储入一个指令集，所述指令集可取代至少一部分所述电路，并能在一个计算机或数字处理器的控制下予以执行，以便实现如所述被取代电路中可完成的同样功能。此种场合下，这些指令在一个计算机程序中组合于一起，该程序可装载和存储于所述介质中，使得任何编码***，诸如上面叙述的并包括所述介质的编码***，依靠实施被取代电路可完成的那些同样的功能来实现所说明的编码方法。

Claims (2)

1.一种对信源图像序列进行编码的方法，包含有步骤：
将信源图像序列划分成一种图像组集合，每个图像组中包含有一个此后称为I帧的第一帧，后随有至少一对此后称为PB帧的图像帧；
将每个I帧和PB帧划分成若干个在空间上不重叠的像素块；
对所述I帧中来的、此后称为I块的各像素块进行编码，诸I块与该图像组中任一其它帧之间没有相关性；
对于所述PB帧中时间上为第二帧内来的、此后称为P块的各像素块，根据先前之I帧中的I块或者先前之PB帧中的P块，推导出各个运动矢量和相应的预测值；
对于所述PB帧之第一帧中来的、此后称为B块的每个像素块，从具有与之相同位置的所述P块之运动矢量中推导出一个前向运动矢量，对每个B块可得到先前之I帧中一个相关联的I块或者先前之PB帧中一个相关联的P块，此后它们分别称为If块或Pf块；
对于所述PB帧之第一帧中来的每个B块，从具有与之相同位置的所述P块之运动矢量中推导出一个反向运动矢量，对每个B块可得到所述PB帧之P帧中一个相关联的P块，它此后称为Pb块；
对于每个B块的编码选择一种预测模式；
根据先前之I帧中的I块或者先前之PB帧中的P块对所述PB帧之第二帧中的各P块进行预测编码；
按照所选择定的预测模式对B块进行预测编码，
其中，编码每个B块时预测模式的选择中，对于每个B块包含有下面一系列步骤：
推导出该B块与一个像素块之间的绝对差值总和，该像素块内诸像素值是Pb块内诸像素值和Pf块或If块内诸像素值之平均值，此绝对差值总和此后称为SAD双向；
推导出该B块与位置同该B块一样的PB帧之第二帧内的P块之间的绝对差值总和，它此后称为SAD反向；
当SAD反向大于SAD双向时，根据具有与该B块相同位置的所述P块对该B块的预测编码模式作出选择；
当SAD反向小于SAD双向时：
推导出所述运动矢量与具有与该B块那样相同位置的所述PB帧之P帧中所述P块的预测值两者间的差值；
当所得到的差值小于一个预定阈值时，根据所述PB帧之第二帧内的P块、以及I块或先前之PB帧内的P块对该B块的预测编码作出选择；
当所得到的差值大于该预定阈值时，根据先前之I帧中的I块或者根据先前之PB帧中的P块推导出该B块之绝对差值总和的最小值，并根据该I块或先前之PB帧中的P块对该B块的预测编码模式作出选择。
2.一种对一个图像序列进行编码的***，它包含有：
一种装置，用于将信源图像序列划分成一种图像组集合，每个图像组中包含有一个此后称为I帧的第一帧，后随有至少一对此后称为PB帧的预测编码帧；
一种装置，用于将每个I帧和PB帧划分成若干个在空间上不重叠的像素块；
一个运动估值器，用于对所述PB帧中时间上为第二帧内的、此后称为P块的宏块，根据先前之I帧中的I块或者先前之PB帧中的P块推导出运动矢量以及相应的预测值，并用于对所述PB帧之第一帧中此后称为B块的每个宏块，从具有与之相同位置之P块的所述运动矢量中推导出一个前向运动矢量，这可以为每个B块得到在先前之I帧中一个相关联的I块，或者在先前之PB帧中一个相关联的P块，它们此后分别称为If块或Pf块，又用于从具有与之相同位置之P块的所述运动矢量中对每个B块推导出一个反向运动矢量，这可以为每个B块得到一个此后称为Pb块的相关联的P块；
用于在编码每个B块时选择出一个预测模式的装置；
用于对所述I帧中来的、此后称为I块的各宏块进行编码的装置，诸I块与该图像组中的任一其它帧之间没有相关性，并用于根据先前之I帧中的I块或者先前之PB帧中的P块对所述PB帧之第二帧中的P块进行预测编码，又用于对所述PB帧之第一帧中的B块进行预测编码，
其中，用于编码每个B块时选择出预测模式的装置，对每个B块实施下面一系列步骤：
推导出该B块与一个像素块之间的绝对差值总和，该像素块内诸像素值是Pb块内诸像素值和Pf块或If块内诸像素之平均值，此绝对差值总和此后称为SAD双向；
推导出该B块与Pb块之间的绝对差值总和，它此后称为SAD反向；
当SAD反向大于SAD双向时，根据具有与B块那样相同位置的所述P块对该B块的预测编码模式作出选择；
当SAD反向小于SAD双向时：
推导出所述运动矢量与具有与该B块那样相同位置的所述PB帧之P帧中所述P块的预测值两者间的差值；
当所得到的差值小于一个预定阈值时，根据该P块以及I块或先前之PB帧内的P块对该B块的预测编码模式作出选择；
当所得到的差值大于该预定阈值时，根据先前之I帧中的I块或者根据先前之PB帧中的P块推导出该B块之绝对差值总和的最小值，并根据该I块或先前之PB帧中的P块对该B块的预测编码模式作出选择。
CNB008007454A 1999-04-30 2000-04-18 选择b帧编码模式的视频编码方法和*** Expired - Fee Related CN1166213C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP99401068.4 1999-04-30
EP99401068 1999-04-30

Publications (2)

Publication Number Publication Date
CN1302510A CN1302510A (zh) 2001-07-04
CN1166213C true CN1166213C (zh) 2004-09-08

Family

ID=8241964

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008007454A Expired - Fee Related CN1166213C (zh) 1999-04-30 2000-04-18 选择b帧编码模式的视频编码方法和***

Country Status (6)

Country Link
US (1) US6442204B1 (zh)
EP (1) EP1092321A1 (zh)
JP (1) JP2002543714A (zh)
KR (1) KR20010071706A (zh)
CN (1) CN1166213C (zh)
WO (1) WO2000067486A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327665B2 (en) 2019-09-20 2022-05-10 International Business Machines Corporation Managing data on volumes
US11443056B2 (en) 2019-09-20 2022-09-13 International Business Machines Corporation File access restrictions enforcement

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100367619B1 (ko) * 2001-03-16 2003-01-10 엘지전자 주식회사 Ｈ.26ｌ에서의 ｂ 픽쳐 모드 결정 방법
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR20030024411A (ko) * 2001-09-18 2003-03-26 엘지전자 주식회사 Ｈ.26ｌ에서의 ｂ 픽쳐 코딩 방법
CA2738322C (en) * 2001-11-21 2013-12-31 General Instrument Corporation Picture level adaptive frame/field coding for digital video content
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
EP1347649A1 (en) * 2002-03-18 2003-09-24 Lg Electronics Inc. B picture mode determining method and apparatus in video coding system
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
KR20040008562A (ko) * 2002-07-18 2004-01-31 엘지전자 주식회사 모션벡터 연산 방법
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
GB0227566D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
GB0227565D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for generating panoramic images from video sequences
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
CN100527843C (zh) * 2003-12-31 2009-08-12 中国科学院计算技术研究所 解码获取图像的方法
CN1321534C (zh) * 2003-12-31 2007-06-13 中国科学院计算技术研究所 固定参考帧数编码方式下获取图像参考块的方法
US8467447B2 (en) * 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding
EP1831824A2 (en) 2004-06-30 2007-09-12 Comet Video Technology Method of data compression including compression of video data
WO2006004837A2 (en) * 2004-06-30 2006-01-12 Comet Video Technology Method of video data transmitting
CN101754012B (zh) * 2004-10-14 2012-06-20 英特尔公司 采用自适应搜索策略的快速多帧运动估计方法
WO2006052577A2 (en) * 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
MX2007011084A (es) 2005-03-10 2007-11-15 Qualcomm Inc Clasificacion de contenido para procesamiento multimedia.
US8548055B2 (en) 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US20070201554A1 (en) * 2006-02-24 2007-08-30 Samsung Electronics Co., Ltd. Video transcoding method and apparatus
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
CN100409690C (zh) * 2006-05-19 2008-08-06 北京工业大学 基于时空相关性的视频帧间压缩方法
TWI327866B (en) * 2006-12-27 2010-07-21 Realtek Semiconductor Corp Apparatus and related method for decoding video blocks in video pictures
US7917902B2 (en) * 2008-03-21 2011-03-29 Symantec Corporation Archive stream based install
WO2009157713A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
EP2345244B1 (en) 2008-11-13 2014-08-06 Thomson Licensing Multiple thread video encoding using gop merging and bit allocation
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
CN103916667B (zh) * 2013-01-07 2017-08-29 华为技术有限公司 一种可伸缩视频码流的编码、解码方法及装置
CN105898296A (zh) * 2015-12-24 2016-08-24 乐视云计算有限公司 视频编码帧选择方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160849A (en) * 1992-06-29 2000-12-12 Sony Corporation Selectable field and frame based predictive video coding
TW241416B (zh) * 1992-06-29 1995-02-21 Sony Co Ltd
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US6167090A (en) * 1996-12-26 2000-12-26 Nippon Steel Corporation Motion vector detecting apparatus
DE69826823T2 (de) * 1997-07-29 2005-10-20 Koninklijke Philips Electronics N.V. Verfahren zur videocodierung mit variabler bitrate und entsprechender videocodierer
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327665B2 (en) 2019-09-20 2022-05-10 International Business Machines Corporation Managing data on volumes
US11443056B2 (en) 2019-09-20 2022-09-13 International Business Machines Corporation File access restrictions enforcement

Also Published As

Publication number Publication date
US6442204B1 (en) 2002-08-27
CN1302510A (zh) 2001-07-04
JP2002543714A (ja) 2002-12-17
WO2000067486A1 (en) 2000-11-09
EP1092321A1 (en) 2001-04-18
KR20010071706A (ko) 2001-07-31

Similar Documents

Publication Publication Date Title
CN1166213C (zh) 选择b帧编码模式的视频编码方法和***
CN1115879C (zh) 利用逐个象素运动估算与帧抽取的图象处理***
KR100472476B1 (ko) 움직임 보상을 위한 보간 방법 및 그 장치
CA2160087C (en) Process for coding or decoding motion vectors and coding or decoding device implementing the said process
JP3917692B2 (ja) ディジタル映像信号符号化装置及びその方法
US20040151245A1 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
CN102986220B (zh) 视频信号的编解码器及方法和视频编解码器设备
CZ290297A3 (cs) Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů
WO2003036981A1 (en) Spatial scalable compression
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
CN1166212C (zh) 低比特率视频编码的方法和***
JP2005501491A (ja) グローバル動きパラメータを用いた動きベクトル符号化方法および装置
JP2001508632A (ja) 動き補償予測画像符号化および復号化
KR100535631B1 (ko) 적응적 비월주사 모양정보 부호화/복호화 장치및 방법
US6160848A (en) Conditional replenishment device for a video encoder
JP3426668B2 (ja) 動画像符号化方法
JP4570098B2 (ja) ビデオデータストリームを符号化するための装置
Yu et al. Performance enhancement of H. 263 encoder based on zero coefficient prediction
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
KR100413979B1 (ko) 예측부호화방법및장치
Ascenso et al. Hierarchical motion estimation for side information creation in Wyner-Ziv video coding
JP3589481B2 (ja) 映像信号符号化方式
KR100708114B1 (ko) 움직임 보상을 위한 보간 장치를 구비한 부호화 장치 및복호화 장치
CN117478874A (zh) 一种高压缩率视频关键帧编码方法及解码方法
KR0171122B1 (ko) 움직임 보상오차를 이용한 선택적 부호화장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee