CN103069804B - 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置 - Google Patents

运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置 Download PDF

Info

Publication number
CN103069804B
CN103069804B CN201180038555.XA CN201180038555A CN103069804B CN 103069804 B CN103069804 B CN 103069804B CN 201180038555 A CN201180038555 A CN 201180038555A CN 103069804 B CN103069804 B CN 103069804B
Authority
CN
China
Prior art keywords
block
motion vector
vector
reference movement
movement vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180038555.XA
Other languages
English (en)
Other versions
CN103069804A (zh
Inventor
杉尾敏康
西孝启
柴原阳司
笹井寿郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Publication of CN103069804A publication Critical patent/CN103069804A/zh
Application granted granted Critical
Publication of CN103069804B publication Critical patent/CN103069804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于提高压缩率的运动矢量计算方法，包括：选择步骤，选择参照块所具有的一个参照运动矢量；以及计算步骤，使用在该选择步骤中选择的一个参照运动矢量，计算处理对象块的运动矢量；在选择步骤中，参照块具有两个参照运动矢量的情况下（S121），基于参照块在显示时间顺序上位于处理对象块的前方还是后方，从两个参照运动矢量中选择一个参照运动矢量（S123、S124），在参照块仅具有一个参照运动矢量的情况下（S125、S127），选择该一个参照运动矢量（S126、S128）。

Description

运动矢量计算方法、图像解码方法、运动矢量计算装置及图像 解码装置
技术领域
本发明涉及计算运动矢量的方法、使用该运动矢量的图像编码方法及图像解码方法等。
背景技术
在动态图像的编码处理中，通常利用动态图像所具有的空间方向及时间方向的冗余性来进行信息量的压缩。在此，一般来说，作为利用空间方向的冗余性的方法，使用向频率区域的变换，作为利用时间方向的冗余性的方法，使用图片间预测(以后称为帧间预测)。在使用帧间预测的编码处理(帧间预测编码处理)中，对某图片进行编码时，将相对于编码对象图片在显示时间顺序上位于前方或后方的已编码的图片作为参照图片使用。并且，检测编码对象图片相对于该参照图片的运动矢量，求取基于该运动矢量进行运动补偿而得到的预测图像数据和编码对象图片的图像数据之间的差分，从而将时间方向的冗余性除去。
在已经标准化的被称为H.264的动态图像编码方式中，为了进行信息量的压缩，使用I图片、P图片及B图片这3种图片类型。I图片是不进行帧间预测编码处理的图片、即进行使用图片内预测(以后称为帧内预测)的编码处理(帧内预测编码处理)的图片。P图片是参照在显示时间顺序上位于编码对象图片的前方或后方的已编码的一个图片来进行帧间预测编码处理的图片。B图片是参照在显示时间顺序上位于编码对象图片的前方或后方的已编码的两个图片来进行帧间预测编码处理的图片。
此外，在被称为H.264的动态图像编码方式中，在B图片的编码中，在导出运动矢量时，能够选择被称为时间直接(时域直接：time direct)的编码模式(例如参照非专利文献1)。使用图1说明时间直接的帧间预测编码处理。
图1是表示时间直接的帧间预测编码处理及运动矢量的计算方法的说明图。
如该图1所示，图片(编码对象图片)B2的块(处理对象块)Ba通过时间直接的帧间预测编码处理来编码。这种情况下，利用在对位于图片B2的后方的参照图片即图片P3中的、位于与块Ba相同位置的块Bb进行编码时使用的运动矢量a。该运动矢量a是在对块Bb进行编码时使用的运动矢量，参照了图片(参照图片)P1。在此，对于块Ba，计算与运动矢量a平行的两个运动矢量b、c。即，取得在显示时间顺序上位于块Ba的前方的参照图片P1中的由运动矢量b表示的块、以及在显示时间顺序上位于块Ba的后方的参照图片P3中的由运动矢量c表示的块，通过使用了所取得的块的双向预测，将块Ba编码。另外，对块Ba进行编码时使用的运动矢量是表示参照图片P1的前方的运动矢量b和表示参照图片P3的后方的运动矢量c。
在先技术文献
非专利文献
非专利文献1：ITU-T H.264 03/2010
发明的概要
发明所要解决的课题
但是，在以往的时间直接中，在进行时间直接时利用的运动矢量、也就是在处理对象块的运动矢量的计算时使用的运动矢量，仅限于在显示时间顺序上位于处理对象块的后方的参照图片(具体而言是参照块)的运动矢量，并且是在显示时间顺序上向前方的运动矢量。
这样，在进行时间直接时利用的运动矢量受限，所以难以计算最适于处理对象块的运动矢量，产生导致压缩率降低的课题。
发明内容
在此，本发明的目的在于解决上述课题，其目的在于，提供一种能够导出最适于处理对象块的运动矢量、并且提高压缩率的运动矢量计算方法、图像编码方法及图像解码方法等。
解决课题所采用的手段
为达成上述目的，本发明的一个方式的运动矢量计算方法计算动态图像中包含的处理对象块的运动矢量，包括：选择步骤，选择参照块所具有的一个参照运动矢量；以及计算步骤，使用在所述选择步骤中选择的一个参照运动矢量，计算所述处理对象块的运动矢量；在所述选择步骤中，在所述参照块具有两个参照运动矢量的情况下，基于所述参照块在显示时间顺序上位于所述处理对象块的前方还是后方，从所述两个参照运动矢量中选择一个参照运动矢量，在所述参照块仅具有一个参照运动矢量的情况下，选择所述一个参照运动矢量。
由此，基于参照块在显示时间顺序上位于处理对象块的前方还是后方，从两个参照运动矢量中选择一个参照运动矢量。例如，参照块为同位置(co-located)块，处理对象块为编码对象块或解码对象块。此外，参照运动矢量是在参照块的编码或解码中使用的运动矢量。因此，在本发明的一个方式的运动矢量计算方法中，即使在参照块具有两个参照运动矢量的情况下，也能够根据参照块的位置来选择适当的参照运动矢量，例如，通过对该选择的参照运动矢量进行比例换算，能够对处理对象块导出最适合的运动矢量。其结果，能够提高该处理对象块的压缩率。
此外，也可以是，在所述选择步骤中，所述参照块具有朝向前方的前方参照运动矢量和朝向后方的后方参照运动矢量作为所述两个参照运动矢量的情况下，如果所述参照块位于所述处理对象块的后方，则从所述两个参照运动矢量中选择所述前方参照运动矢量，如果所述参照块位于所述处理对象块的前方，则从所述两个参照运动矢量中选择所述后方参照运动矢量。
由此，能够可靠地选择适当的参照运动矢量。
此外，为达成上述目的，本发明的另一方式的运动矢量计算方法计算动态图像中包含的处理对象块的运动矢量，包括：选择步骤，选择参照块所具有的一个参照运动矢量；以及计算步骤，使用在所述选择步骤中选择的一个参照运动矢量，计算所述处理对象块的运动矢量；在所述选择步骤中，在所述参照块具有两个参照运动矢量的情况下，基于由所述两个参照运动矢量各自指示的图片与所述参照块之间的时间上的远近，从所述两个参照运动矢量中选择一个参照运动矢量，在所述参照块仅具有一个参照运动矢量的情况下，选择所述一个参照运动矢量。
由此，基于分别由两个参照运动矢量指示的图片与参照块之间的时间上的远近，从两个参照运动矢量中选择一个参照运动矢量。因此，在本发明的另一方式的运动矢量计算方法中，即使在参照块具有两个参照运动矢量的情况下，也能够根据图片间的时间上的远近来选择适当的参照运动矢量，例如通过对该选择的参照运动矢量进行比例换算，能够对处理对象块计算或导出最合适的运动矢量。其结果，能够提高该处理对象块的压缩率。
此外，为达成上述目的，本发明的另一方式的运动矢量计算方法计算动态图像中包含的处理对象块的运动矢量，包括：选择步骤，选择参照块所具有的一个参照运动矢量；以及计算步骤，使用在所述选择步骤中选择的一个参照运动矢量，计算所述处理对象块的运动矢量；在所述选择步骤中，在所述参照块具有两个参照运动矢量的情况下，基于所述两个参照运动矢量各自的大小，从所述两个参照运动矢量中选择一个参照运动矢量，在所述参照块仅具有一个参照运动矢量的情况下，选择所述一个参照运动矢量。
由此，基于两个参照运动矢量各自的大小，从两个参照运动矢量中选择一个参照运动矢量。因此，在本发明的另一方式的运动矢量计算方法中，即使在参照块具有两个参照运动矢量的情况下，也能够根据两个参照运动矢量的大小来选择适当的参照运动矢量，例如通过对该选择的参照运动矢量进行比例换算，能够对处理对象块计算或导出最适合的运动矢量。其结果，能够提高该处理对象块的压缩率。
此外，为达成上述目的，本发明的一个方式的图像编码方法对动态图像进行编码，包括：上述运动矢量计算方法的所述选择步骤及所述计算步骤；以及编码步骤，使用通过所述计算步骤计算出的运动矢量，对所述处理对象块进行编码。
由此，即使在参照块具有两个参照运动矢量的情况下，也能够使用对处理对象块计算的最适合的运动矢量来对处理对象块进行编码，能够提高压缩率。
此外，也可以是，所述图像编码方法还包括：决定步骤，从在显示时间顺序上与所述处理对象块相比位于前方的块及位于后方的块中，决定所述参照块；生成步骤，生成位置标志，该位置标志表示在所述决定步骤中决定的所述参照块位于所述处理对象块的前方还是后方；以及附带步骤，使所述生成步骤中生成的所述位置标志附带于包含通过所述编码步骤编码的所述处理对象块的图片。
由此，在包含所编码的处理对象块的图片中附带有位置标志，因此，取得该图片的图像解码装置能够基于参照块的位置标志，来容易地判断该参照块位于处理对象块的前方还是后方。因此，图像解码装置即使在参照块具有两个参照运动矢量的情况下，也能够容易地选择适当的参照运动矢量，例如通过对该选择的参照运动矢量进行比例换算，能够对处理对象(解码对象)块计算或导出最适合的运动矢量。其结果，能够将以高压缩率编码的处理对象块适当地解码。
此外，也可以是，在所述选择步骤中，所述参照块具有朝向前方的前方参照运动矢量和朝向后方的后方参照运动矢量作为所述两个参照运动矢量的情况下，如果所述位置标志表示所述参照块位于所述处理对象块的后方，则从所述两个参照运动矢量中选择所述前方参照运动矢量，如果所述位置标志表示所述参照块位于所述处理对象块的前方，则从所述两个参照运动矢量中选择所述后方参照运动矢量。
由此，能够根据该位置标志来可靠地选择适当的参照运动矢量。
此外，也可以是，所述编码步骤还包括：比较步骤，比较按照在所述计算步骤中计算出的运动矢量的所述处理对象块的编码效率和按照对所述处理对象块进行运动检测而得到的运动矢量的所述处理对象块的编码效率；运动矢量选择步骤，基于所述比较步骤的比较结果，在通过所述计算步骤计算出的运动矢量和通过所述运动检测得到的运动矢量中，选择编码效率较高的运动矢量；以及块编码步骤，按照在运动矢量选择步骤选择的运动矢量，对所述处理对象块进行编码。
由此，在对处理对象块通过时间直接(时域直接)而计算的运动矢量和对处理对象块通过运动检测而得到的运动矢量中，选择编码效率较高的运动矢量，按照该选择的运动矢量，对处理对象块进行编码，所以能够进一步提高压缩率或编码效率。
此外，为达成上述目的，本发明的一个方式的图像解码方法对编码动态图像进行解码，包括：上述运动矢量计算方法的所述选择步骤及所述计算步骤；以及解码步骤，使用通过所述计算步骤计算出的运动矢量，对所述编码动态图像中包含的编码后的所述处理对象块进行解码。
由此，即使在参照块具有两个参照运动矢量的情况下，也能够使用对处理对象块计算的最适合的运动矢量来对处理对象块进行解码，能够将以高压缩率编码的处理对象块适当地解码。
此外，也可以是，所述图像解码方法还包括取得步骤，该取得步骤取得包含所述处理对象块的图片所附带的位置标志；在所述选择步骤中，所述参照块具有朝向前方的前方参照运动矢量和朝向后方的后方参照运动矢量作为所述两个参照运动矢量的情况下，如果所述位置标志表示所述参照块位于所述处理对象块的后方，则从所述两个参照运动矢量中选择所述前方参照运动矢量，如果所述位置标志表示所述参照块位于所述处理对象块的前方，则从所述两个参照运动矢量中选择所述后方参照运动矢量。
由此，包含处理对象块的图片附带有位置标志，因此，能够基于位置标志来容易地判断参照块位于处理对象块的前方还是后方。因此，即使在参照块具有两个参照运动矢量的情况下，也能够根据其位置标志来容易地选择适当的参照运动矢量，例如通过对该选择的参照运动矢量进行比例换算，能够对处理对象(解码对象)块计算或导出最适合的运动矢量。其结果，能够将以高压缩率编码的处理对象块适当地解码。
另外，本发明不仅能够作为这样的运动矢量计算方法、图像编码方法及图像解码方法来实现，还能够作为按照这些方法进行动作的装置及集成电路、使计算机执行按照这些方法进行动作的程序、以及保存有该程序的记录介质等来实现。
发明效果
根据本发明，通过使用用于选择在进行时间直接时利用的运动矢量的新的判断基准，能够导出最适于处理对象块的运动矢量，并且能够提高压缩率。
附图说明
图1是表示时间直接的帧间预测编码处理及运动矢量的计算方法的说明图。
图2是表示使用本发明的实施方式1中的图像编码方法的图像编码装置的构成的框图。
图3是表示本发明的实施方式1中的图像编码方法的处理流程的概要的图。
图4是表示本发明的实施方式1中的帧间预测控制部中的帧间预测模式的决定流程的图。
图5是表示本发明的实施方式1中的图3的步骤S110的详细的处理流程的图。
图6是表示通过本发明的实施方式1中的时间直接来导出运动矢量(时间直接矢量)的方法的一例的图。
图7是表示通过本发明的实施方式1中的时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。
图8是表示通过本发明的实施方式1中的时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。
图9是表示通过本发明的实施方式1中的时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。
图10是表示本发明的实施方式2中的时间直接矢量的计算的详细的处理流程的图。
图11是表示通过本发明的实施方式2中的时间直接来导出运动矢量(时间直接矢量)的方法的一例的图。
图12是表示通过本发明的实施方式2中的时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。
图13是表示本发明的实施方式3中的时间直接矢量的计算的详细的处理流程的图。
图14是表示本发明的实施方式4中的图3的步骤S110及S120的详细的处理流程的图。
图15是表示使用本发明的实施方式5中的图像解码方法的图像解码装置的构成的框图。
图16是表示本发明的实施方式5中的图像解码方法的处理流程的概要的图。
图17是实现内容分发服务的内容供给***的整体结构图。
图18是数字广播用***的整体结构图。
图19是表示电视机的结构例的模块图。
图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图21是表示作为光盘的记录介质的构造例的图。
图22A是表示便携电话的一例的图。
图22B是表示便携电话的结构例的模块图。
图23是表示复用数据的结构的图。
图24是示意地表示各流在复用数据中怎样被复用的图。
图25是更详细地表示在PES包序列中视频流怎样被保存的图。
图26是表示复用数据的TS包和源包的构造的图。
图27是表示PMT的数据结构的图。
图28是表示复用数据信息的内部结构的图。
图29是表示流属性信息的内部结构的图。
图30是表示识别影像数据的步骤的图。
图31是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。
图32是表示切换驱动频率的结构的图。
图33是表示识别影像数据、切换驱动频率的步骤的图。
图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图35A是表示将信号处理部的模块共用的结构的一例的图。
图35B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
以下，参照附图说明本发明的实施方式。
(实施方式1)
图2是表示使用本发明的实施方式1中的图像编码方法的图像编码装置的构成的框图。
本实施方式中的图像编码装置100如图2所示，具备：减法器101、加法器106、正交变换部102、量化部103、逆量化部104、逆正交变换部105、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、时间直接矢量计算部113、同位置参照方向决定部114及可变长度编码部115。
减法器101将由帧内预测部109或帧间预测部110生成的预测图像数据从作为动态图像的输入图像列减去，从而生成预测误差图像数据。
正交变换部102将预测误差图像数据的域从图像域变换至频率域。
量化部103对作为被变换至频率域的预测误差图像数据的系数列进行量化处理。
逆量化部104对由量化部103进行量化处理后的系数列进行逆量化处理。
逆正交变换部105将逆量化处理后的系数列的域从频率域变换至图像域。
加法器106将作为由逆正交变换部105变换至图像域的系数列的预测误差图像数据与预测图像数据相加，从而生成重构图像数据。
块存储器107以块为单位保存重构图像数据，帧存储器108以帧为单位保存重构图像数据。
图片类型决定部112决定以I图片、B图片及P图片中的哪个图片类型来对输入图像列中的图片进行编码，生成表示所决定的图片类型的图片类型信息。
帧内预测部109使用保存在块存储器107中的块单位的重构图像数据，对编码对象(处理对象)块进行帧内预测，从而生成预测图像数据。
帧间预测部110使用保存在帧存储器108中的帧单位的重构图像数据，对编码对象块进行帧间预测，从而生成预测图像数据。
同位置参照方向决定部114决定将在显示时间顺序上与编码对象图片或编码对象(处理对象)块相比位于前方的图片中包含的块(以后称为前方参照块)及位于后方的图片中包含的块(以后称为后方参照块)中的哪一个作为同位置(co-located)块。同位置块成为编码对象块所参照的参照块。并且，同位置参照方向决定部114按每个图片生成同位置参照方向标志(位置标志)，并使其附带于编码对象图片。在此，同位置(co-located)块指的是位于与包含编码对象块的图片不同的图片内且在图片内的位置是与编码对象块相同位置的块。另外，同位置块只要是与包含编码对象块的图片不同的图片内的块即可，在图片内的位置也可以是与编码对象块不同的位置。
时间直接矢量计算部113在同位置块是具有两个以上的运动矢量的前方参照块的情况下，利用这些运动矢量中的在显示时间顺序上朝向后方的运动矢量(以后称为后方参照运动矢量)，通过时间直接(时域直接)来导出编码对象块的运动矢量。另一方面，同位置块是具有两个以上的运动矢量的后方参照块的情况下，时间直接矢量计算部113利用这些运动矢量中的在显示时间顺序上朝向前方的运动矢量(以后称为前方参照运动矢量)，通过时间直接来导出编码对象块的运动矢量。另外，以下将同位置块的前方参照运动矢量及后方参照运动矢量统称为参照运动矢量。此外，时间直接矢量计算部113作为运动矢量计算装置而构成。
此外，在同位置块仅具有一个参照运动矢量的情况下，时间直接矢量计算部113使用同位置块所具有的该一个参照运动矢量，通过时间直接来导出编码对象块的运动矢量。例如，时间直接矢量计算部113判断该一个参照运动矢量是否为前方参照运动矢量，是前方参照运动矢量的情况下，使用前方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。另一方面，该一个参照运动矢量不是前方参照运动矢量的情况下，时间直接矢量计算部113使用后方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。此外，同位置块不具有参照运动矢量的情况下，时间直接矢量计算部113将基于时间直接的运动矢量的导出中止，或者将参照运动矢量设为0而导出编码对象块的运动矢量。
帧间预测控制部111决定在进行帧间预测时使用的运动矢量。具体地说，帧间预测控制部111对于编码对象块，比较通过运动检测得到的运动矢量和通过时间直接而导出的运动矢量，将精度更高的运动矢量决定为进行帧间预测时使用的运动矢量。此外，帧间预测控制部111按每个块生成帧间预测模式标志，该帧间预测模式标志表示通过运动检测来导出运动矢量、还是通过时间直接来导出运动矢量，并使该帧间预测模式标志附带于编码对象块。
可变长度编码部115通过对量化处理后的系数列、帧间预测模式标志、图片类型信息、同位置参照方向标志进行可变长度编码处理，生成作为编码动态图像的比特流。
图3是表示本实施方式中的图像编码方法的处理流程的概要的图。
时间直接矢量计算部113选择同位置块所具有的一个参照运动矢量，使用所选择的一个参照运动矢量，计算编码对象(处理对象)块的运动矢量(步骤S110)。另外，步骤S110相当于本发明的运动矢量计算方法。具体地说，在同位置块具有两个参照运动矢量的情况下，基于同位置块在显示时间顺序上位于编码对象(处理对象)块的前方(即前方参照块)还是后方(即后方参照块)，从两个参照运动矢量中选择一个参照运动矢量，在同位置块仅具有一个参照运动矢量的情况下，选择该一个参照运动矢量。例如，同位置块是具有两个以上的参照运动矢量的前方参照块的情况下，利用后方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。另一方面，在同位置块是具有两个以上的参照运动矢量的后方参照块的情况下，时间直接矢量计算部113利用前方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。另外，将通过时间直接而导出的运动矢量称为时间直接矢量。
在此，同位置块能够如下决定。即，同位置参照方向决定部114在通过时间直接来导出编码对象块的运动矢量时，决定将前方参照块及后方参照块中的哪一个作为同位置块。此外，例如也可以是，同位置参照方向决定部114按每个图片生成同位置参照方向标志，并使其附带于图片，该同位置参照方向标志表示同位置块是前方参照块还是后方参照块。另外，不限于以图片为单位来附带同位置参照方向标志的情况，也可以以构成图片的片(slice)为单位来附带。
接着，图像编码装置100使用由时间直接矢量计算部113计算出的运动矢量，对编码对象(处理对象)块进行编码(步骤S120)。具体地说，帧间预测部110使用由时间直接矢量计算部113计算出的运动矢量，生成预测图像数据。例如，帧间预测控制部111比较通过运动检测而得到的运动矢量和通过时间直接而导出的运动矢量，选择精度更好的运动矢量。此外，帧间预测部110使用该选择的运动矢量，对编码对象块进行帧间预测，从而生成预测图像数据。在此，帧间预测控制部111作为帧间预测模式，决定是通过运动检测来导出运动矢量、还是通过时间直接来导出运动矢量，按每个块生成表示该帧间预测模式的帧间预测模式标志，并使其附带于编码对象块。另外，将通过运动检测得到的运动矢量称为运动检测结果矢量。使用这样生成的预测图像数据，对编码对象(处理对象)块进行编码。
图4是表示帧间预测控制部111中的帧间预测模式的决定流程的图。
帧间预测控制部111计算SADinter，该SADinter是使用通过运动检测得到的运动矢量而生成的预测图像数据与原图像(编码对象块)之间的差分信息(步骤S131)。在此，SAD(Sum of Absolute Difference)表示预测图像数据与原图像的各像素的差分绝对值和。此外，SADinter表示使用通过运动检测得到的运动矢量而生成的预测图像数据与原图像的SAD。帧间预测控制部111计算SADdirect，该SADdirect是使用通过时间直接来导出的运动矢量而生成的预测图像数据与原图像之间的差分信息(步骤S132)。在此，SADdirect表示使用通过时间直接来导出的运动矢量而生成的预测图像数据与原图像的SAD。
接着，帧间预测控制部111比较SADinter和SADdirect(步骤S133)在此，在SADinter较小、即运动检测结果矢量的精度较好的情况下(步骤S133：是)，帧间预测控制部111作为帧间预测模式而决定为利用运动检测模式(步骤S134)。另一方面，在SADdirect较小、即时间直接矢量的精度较好的情况下(步骤S133：否)，帧间预测控制部11作为帧间预测模式而决定为利用时间直接模式(步骤S135)。
最后，帧间预测控制部111按每个块生成表示所决定的帧间预测模式的帧间预测模式标志，并使其附带于编码对象块。
另外，在本实施方式中，使用SAD来判定是否利用时间直接模式，但是也可以使用预测图像数据与原图像的各像素的差分平方和、也就是SSD(Sum of Square Difference)等。
图5是表示图3的步骤S110的详细的处理流程的图。以下说明图5。另外，图5是本发明的运动矢量计算方法的一例。
首先，时间直接矢量计算部113判断同位置块是否两个以上的参照运动矢量，即判断是否至少具有前方参照运动矢量(mvL0)和后方参照运动矢量(mvL1)(步骤S121)。在步骤S121中判断为同位置块具有两个以上的参照运动矢量的情况下(步骤S121：是)，时间直接矢量计算部113判断同位置块的位置是否为后方，即判断同位置块是否为后方参照块(步骤S122)。同位置块是后方参照块的情况下(步骤S122：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S123)。另一方面，同位置块是前方参照块的情况下(步骤S122：否)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S124)。
此外，在步骤S121中判断为同位置块仅具有前方参照运动矢量mvL0及后方参照运动矢量mvL1中的某一方的情况下(步骤S121：否)，时间直接矢量计算部113判断同位置块是否具有前方参照运动矢量mvL0(步骤S125)。在步骤S125中判断为同位置块具有前方参照运动矢量mvL0的情况下(步骤S125：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S126)。另一方面，在步骤S125中判断为同位置块不具有前方参照运动矢量mvL0的情况下(步骤S125：否)，时间直接矢量计算部113判断同位置块是否具有后方参照运动矢量mvL1(步骤S127)。
在此，在步骤S127中判断为同位置块具有后方参照运动矢量mvL1的情况下(步骤S127：是)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S128)。另一方面，在步骤S127中判断为同位置块不具有后方参照运动矢量mvL1的情况下(步骤S127：否)，时间直接矢量计算部113将通过时间直接来导出编码对象块的运动矢量的处理中止。或者，时间直接矢量计算部113将同位置块的参照运动矢量设为0，通过时间直接来导出编码对象块的运动矢量(步骤S129)。
在图5的处理流程中，在步骤S125中，判断同位置块是否具有前方参照运动矢量mvL0，在步骤S127中，判断同位置块是否具有后方参照运动矢量mvL1，但是本发明不限于该流程。例如，也可以判断同位置块是否具有后方参照运动矢量mvL1，然后判断同位置块是否具有前方参照运动矢量mvL0。此外，如上述那样，时间直接矢量计算部113在同位置块具有两个参照运动矢量的情况下，根据同位置块的位置，从该两个参照运动矢量中选择用于时间直接的一个参照运动矢量，在同位置块仅具有一个参照运动矢量的情况下，将该一个参照运动矢量选择为用于时间直接的运动矢量，在同位置块不具有参照运动矢量的情况下，将基于时间直接的运动矢量的导出中止。因此，时间直接矢量计算部113根据上述各情况，进行与该情况相应的处理即可，可以按任何顺序来进行同位置块的状态是否与这些情况相对应的判断(例如步骤S121、S122、S125、S127)。
接着，详细说明通过时间直接来导出运动矢量的方法。
图6是表示本实施方式中的通过时间直接来导出运动矢量(时间直接矢量)的方法的一例的图。同位置块是后方参照块，具有前方参照运动矢量mvL0和后方参照运动矢量mvL1。这种情况下，时间直接矢量计算部113使用前方参照运动矢量mvL0，通过以下的计算式(式1)来导出编码对象块的运动矢量(TMV)。
(式1)TMV＝mvL0×(B2－B0)/(B4－B0)
在此，(B2－B0)表示图片B2与图片B0的显示时间上的时间差信息，(B4－B0)表示图片B4与图片B0的显示时间上的时间差信息。
图7是表示本实施方式中的通过时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。同位置块是后方参照块，仅具有后方参照运动矢量mvL1。这种情况下，时间直接矢量计算部113使用后方参照运动矢量mvL1，通过以下的计算式(式2)导出编码对象块的运动矢量(TMV)。
(式2)TMV＝mvL1×(B2－B0)/(B4－B8)
图8是表示本实施方式中的通过时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。同位置块是前方参照块，具有前方参照运动矢量mvL0和后方参照运动矢量mvL1。这种情况下，时间直接矢量计算部113使用后方参照运动矢量mvL1，通过以下的计算式(式3)导出编码对象块的运动矢量(TMV)。
(式3)TMV＝mvL1×(B6－B8)/(B4－B8)
图9是表示本实施方式中的通过时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。同位置块是前方参照块，仅具有前方参照运动矢量mvL0。这种情况下，时间直接矢量计算部113使用前方参照运动矢量mvL0，通过以下的计算式(式4)导出编码对象块的运动矢量(TMV)。
(式4)TMV＝mvL0×(B6－B8)/(B4－B0)
这样，根据本实施方式，在同位置块具有两个以上的参照运动矢量时，能够导出最适于编码对象块的运动矢量，所以能够提高压缩效率。特别是，在同位置块是前方参照块的情况下，通过使用后方参照运动矢量，能够减小预测误差。这种情况下，后方参照运动矢量是从包含同位置块的图片朝向包含编码对象块的图片的方向的运动矢量。因此，从后方参照运动矢量导出的运动矢量接近最合适的运动矢量的概率变高，所以预测误差变小。另一方面，前方参照运动矢量是与从包含同位置块的图片朝向包含编码对象块的图片的方向相反方向的运动矢量。因此，从前方参照运动矢量导出的运动矢量接近最合适的运动矢量的概率变低，预测误差变大。此外，同位置块是后方参照块的情况也同样，从前方参照运动矢量导出的运动矢量接近最合适的运动矢量的概率变高，所以通过使用该前方参照运动矢量，能够减小预测误差。
(实施方式2)
在本实施方式中，在同位置块具有两个以上的参照运动矢量时，将参照在时间上与包含同位置块的图片接近的图片的参照运动矢量、即时间上的距离较短的参照运动矢量决定为在时间直接中使用。在这一点上，本实施方式与其他实施方式的构成不同。在此，时间上的距离指的是，在显示时间顺序上，根据包含同位置块的图片和同位置块通过参照运动矢量而参照的参照图片之间的图片数来决定的距离。即，在本实施方式中，图3所示的处理流程中的步骤S110的处理与实施方式1不同。
图10是表示本实施方式中的时间直接矢量的计算的详细的处理流程的图。以下说明图10。
首先，时间直接矢量计算部113判断同位置块是否具有两个以上的参照运动矢量，即判断是否至少具有前方参照运动矢量mvL0和后方参照运动矢量mvL1(步骤S121)。在步骤S121中判断为同位置块具有两个以上的参照运动矢量的情况下(步骤S121：是)，时间直接矢量计算部113判断前方参照运动矢量mvL0所参照的参照图片与后方参照运动矢量mvL1所参照的参照图片相比，是否在时间上更接近包含同位置块的图片(同位置图片)(步骤S122a)。即，时间直接矢量计算部113判断前方参照运动矢量mvL0和后方参照运动矢量mvL1中的哪一个的时间上的距离较短。在步骤S122a中判断为前方参照运动矢量mvL0所参照的参照图片在时间上更接近包含同位置块的图片的情况下(步骤S122a：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S123)。另一方面，在步骤S122a中判断为后方参照运动矢量mvL1所参照的参照图片在时间上更接近包含同位置块的图片的情况下(步骤S122a：否)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S124)。
此外，在步骤S121中判断为同位置块仅具有前方参照运动矢量mvL0及后方参照运动矢量mvL1中的某一方的情况下(步骤S121：否)，时间直接矢量计算部113判断同位置块是否具有前方参照运动矢量(步骤S125)。在步骤S125中判断为同位置块具有前方参照运动矢量的情况下(步骤S125：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S126)。另一方面，在步骤S125中判断为同位置块不具有前方参照运动矢量mvL0的情况下(步骤S125：否)，时间直接矢量计算部113判断同位置块是否具有后方参照运动矢量mvL1(步骤S127)。
在此，在步骤S127中判断为同位置块具有后方参照运动矢量mvL1的情况下(步骤S127：是)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S128)。另一方面，在步骤S127中判断为同位置块不具有后方参照运动矢量mvL1的情况下(步骤S127：否)，时间直接矢量计算部113将通过时间直接来导出编码对象块的运动矢量中止。或者，时间直接矢量计算部113将同位置块的参照运动矢量设为0，通过时间直接来导出编码对象块的运动矢量(步骤S129)。即，将编码对象块的运动矢量设为0。
接着，详细说明通过本实施方式中的时间直接来导出运动矢量的方法。
图11是表示通过本实施方式中的时间直接来导出运动矢量(时间直接矢量)的方法的一例的图。同位置块具有前方参照运动矢量mvL0和后方参照运动矢量mvL1。并且，前方参照运动矢量mvL0所参照的参照图片与后方参照运动矢量mvL1所参照的参照图片相比，在时间上更接近包含同位置块的图片。这种情况下，时间直接矢量计算部113使用前方参照运动矢量mvL0，通过以下的计算式(式5)导出编码对象块的运动矢量(TMV)。
(式5)TMV＝mvL0×(B2－B0)/(B4－B0)
图12是表示通过本实施方式中的时间直接来导出运动矢量(时间直接矢量)的方法的其他例的图。同位置块具有前方参照运动矢量mvL0和后方参照运动矢量mvL1。并且，后方参照运动矢量mvL1所参照的参照图片与前方参照运动矢量mvL0所参照的参照图片相比，在时间上更接近包含同位置块的图片。这种情况下，时间直接矢量计算部113使用后方参照运动矢量mvL1，通过以下的计算式(式6)导出编码对象块的运动矢量(TMV)。
(式6)TMV＝mvL1×(B2－B0)/(B4－B8)
这样，根据本实施方式，在同位置块具有两个以上的参照运动矢量时，能够导出最适于编码对象块的运动矢量，所以能够提高压缩效率。即，通过利用参照与包含同位置块的图片在时间上接近的图片的参照运动矢量，从该参照运动矢量导出的运动矢量接近最合适的运动矢量的概率变高，所以能够减小预测误差。
另外，也可以将本实施方式与其他实施方式组合。例如，可以将实施方式1的图5所示的步骤S122和本实施方式的图10所示的步骤S122a组合。这种情况下，与实施方式1的图5所示的步骤S122相比，本实施方式的图10所示的步骤S122a优先。具体地说，首先，判断两个以上的参照运动矢量的时间上的距离，选择时间上的距离较短的参照运动矢量。在此，在两个以上的参照运动矢量的时间上的距离相等的情况下，基于同位置块是前方参照块还是后方参照块，选择参照运动矢量。本实施方式的步骤S122a对运动矢量的影响较大，所以通过使参照运动矢量的时间上的距离优先，能够选择更合适的参照运动矢量。
(实施方式3)
在本实施方式中，在同位置块具有两个以上的参照运动矢量时，决定为将大小较小参照运动矢量用于时间直接。在这一点上，本实施方式与其他实施方式的构成不同。在此，运动矢量的大小是指运动矢量的绝对值。即，在本实施方式中，图3所示的处理流程中的步骤S110的处理与实施方式1不同。
图13是表示本实施方式中的时间直接矢量的计算的详细的处理流程的图。以下说明图13。
首先，时间直接矢量计算部113判断同位置块是否具有两个以上的参照运动矢量，即判断是否至少具有前方参照运动矢量mvL0和后方参照运动矢量mvL1(步骤S121)。在步骤S121中判断为同位置块具有两个以上的参照运动矢量的情况下(步骤S121：是)，时间直接矢量计算部113判断前方参照运动矢量mvL0的大小是否小于后方参照运动矢量mvL1的大小(步骤S122b)。在步骤S122b中判断为前方参照运动矢量mvL0的大小较小的情况下(步骤S122b：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S123)。另一方面，在步骤S122b中判断为后方参照运动矢量mvL1的大小较小的情况下(步骤S122b：否)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S124)。
此外，在步骤S121中判断为同位置块仅具有前方参照运动矢量mvL0及后方参照运动矢量mvL1中的某一方的情况下(步骤S121：否)，时间直接矢量计算部113判断同位置块是否具有前方参照运动矢量(步骤S125)。在步骤S125中判断为同位置块具有前方参照运动矢量的情况下(步骤S125：是)，时间直接矢量计算部113使用同位置块的前方参照运动矢量mvL0，通过时间直接来导出编码对象块的运动矢量(步骤S126)。另一方面，在步骤S125中判断为同位置块不具有前方参照运动矢量mvL0的情况下(步骤S125：否)，时间直接矢量计算部113判断同位置块是否具有后方参照运动矢量mvL1(步骤S127)。
在此，在步骤S127中判断为同位置块具有后方参照运动矢量mvL1的情况下(步骤S127：是)，时间直接矢量计算部113使用同位置块的后方参照运动矢量mvL1，通过时间直接来导出编码对象块的运动矢量(步骤S128)。另一方面，在步骤S127中判断为同位置块不具有后方参照运动矢量mvL1的情况下(步骤S127：否)，时间直接矢量计算部113将通过时间直接来导出编码对象块的运动矢量的处理中止。或者，时间直接矢量计算部113将同位置块的参照运动矢量设为0，通过时间直接来导出编码对象块的运动矢量(步骤S129)。即，将编码对象块的运动矢量设为0。
这样，根据本实施方式，在同位置块具有两个以上的参照运动矢量时，能够导出最适于编码对象块的运动矢量，所以能够提高压缩效率。
另外，也可以将本实施方式与其他实施方式组合。例如，可以将实施方式1的图5所示的步骤S122和本实施方式的图13所示的步骤S122b组合。这种情况下，与实施方式1的图5所示的步骤S122相比，使本实施方式的图13所示的步骤S122b优先。具体地说，首先，判断两个以上的参照运动矢量的大小，选择大小较小的参照运动矢量。在此，在两个以上的参照运动矢量的大小相等的情况下，基于同位置块是前方参照块还是后方参照块，选择参照运动矢量。本实施方式的步骤S122b对运动矢量的影响较大，所以通过使参照运动矢量的大小优先，能够选择更合适的参照运动矢量。
(实施方式4)
在本实施方式中，在同位置参照方向标志所示的同位置块不具有参照运动矢量、而无法通过时间直接来导出编码对象块的运动矢量的情况下，即运动矢量为0的情况下，变更同位置块，计算编码对象块的运动矢量，进行帧间预测。
首先，同位置参照方向决定部114决定在图3的步骤S110中是将前方参照块作为同位置块还是将后方参照块作为同位置块。将前方参照块作为同位置块的情况下，同位置参照方向决定部114将同位置后方参照优先标志(同位置参照方向标志)设为0。另一方面，将后方参照块作为同位置块的情况下，同位置参照方向决定部114将同位置后方参照优先标志设为1。在此，同位置参照方向决定部114按每个图片生成同位置后方参照优先标志，并使其附带于编码图片。
同位置后方参照优先标志以图片为单位生成，所以可能产生与编码对象图片内的某块对应的同位置块既不具有前方参照运动矢量也不具有后方参照运动矢量的情况。在该情况下，时间直接矢量计算部113通过变更同位置块，导出更合适的运动矢量。
图14是表示本实施方式中的图3的步骤S110及S120的详细的处理流程的图。以下，使用图14进行说明。
时间直接矢量计算部113判断同位置后方参照优先标志是否为1，即判断是否使后方参照块优先(步骤S141)。同位置后方参照优先标志为1的情况下(步骤S141：是)，时间直接矢量计算部113使用作为后方参照块的同位置块，通过时间直接来尝试导出编码对象块的运动矢量(步骤S142)。时间直接矢量计算部113在步骤S142中，判断是否未导出编码对象块的运动矢量，即判断运动矢量是否为0(步骤S143)。未导出运动矢量的情况下(步骤S143：是)，时间直接矢量计算部113使用作为前方参照块的同位置块，通过时间直接来导出编码对象块的运动矢量(步骤S144)。
另一方面，在步骤S141中同位置后方参照优先标志为0的情况下(步骤S141：否)，时间直接矢量计算部113使用作为前方参照块的同位置块，通过时间直接来尝试导出编码对象块的运动矢量(步骤S146)。时间直接矢量计算部113在步骤S146中，判断是否未导出编码对象块的运动矢量，即判断运动矢量是否为0(步骤S147)。未导出运动矢量的情况下(步骤S147：是)，时间直接矢量计算部113使用作为后方参照块的同位置块，通过时间直接来导出编码对象块的运动矢量(步骤S148)。
最后，帧间预测控制部111比较通过运动检测得到的运动矢量和通过时间直接而导出的运动矢量，将精度更好的运动矢量决定为编码对象块的运动矢量。即，帧间预测控制部111决定帧间预测模式。进而，帧间预测部110使用该决定的运动矢量来进行帧间预测，从而生成预测图像数据(步骤S145)。这时，帧间预测控制部111按每个块生成表示帧间预测模式的帧间预测模式标志，并使其附带于编码对象块。
这样，根据本实施方式，同位置后方参照优先标志所示的同位置块不具有参照运动矢量的情况下，通过将其他图片的块作为同位置块，能够导出运动矢量。例如，在将后方参照块作为同位置块而在同位置块不具有参照运动矢量的情况下，通过将前方参照块作为同位置块，能够导出运动矢量。由此，能够导出精度更高的运动矢量。
另外，也可以将本实施方式与其他实施方式组合。例如，可以取代实施方式1中的图5的步骤S129，而设置判断同位置块是否为后方参照块的步骤。即，在同位置块是后方参照块的情况下，实施本实施方式中的图14的步骤S144的处理，在同位置块是前方参照块的情况下，实施本实施方式中的图14的步骤S148的处理。由此，能够导出更合适的运动矢量。此外，对于实施方式2中的图10的步骤S129及实施方式3中的图13的步骤S129也同样，可以取代这些步骤，而设置判断同位置块是否为后方参照块的步骤。即，在同位置块是后方参照块的情况下，实施本实施方式中的图14的步骤S144的处理，在同位置块是前方参照块的情况下，实施本实施方式中的图14的步骤S148的处理。由此，能够导出更合适的运动矢量。
另外，在新选择的同位置块具有两个以上的参照运动矢量的情况下，通过实施方式1、2、或3中的方法，导出运动矢量。由此，能够导出精度更高的运动矢量。
(实施方式5)
图15是表示使用本发明的实施方式5中的图像解码方法的图像解码装置的构成的框图。
在本实施方式中，将在显示时间顺序上位于解码对象图片或解码对象(处理对象)块的前方的图片中包含的块称为前方参照块。此外，将在显示时间顺序上位于解码对象图片或解码对象(处理对象)块的后方的图片中包含的块称为后方参照块。
本实施方式中的图像解码装置200如图15所示，具备：可变长度解码部215、逆量化部204、逆正交变换部205、块存储器207、帧存储器208、帧内预测部209、帧间预测部210、帧间预测控制部211、时间直接矢量计算部213及加法器206。
可变长度解码部215对输入的比特流进行可变长度解码处理，生成图片类型信息、帧间预测模式标志、同位置参照方向标志及可变长度解码处理后的比特流(量化处理后的系数列)。
逆量化部204对可变长度解码处理后的比特流进行逆量化处理。逆正交变换部205通过将作为逆量化处理后的比特流的系数列的域从频率域变换至图像域，生成预测误差图像数据。
加法器206将由帧内预测部209或帧间预测部210生成的预测图像数据与预测误差图像数据相加，从而生成作为重构图像数据的解码图像列。
块存储器207以块为单位保存重构图像数据，帧存储器208以帧为单位保存重构图像数据。
帧内预测部209使用保存在块存储器207中的块单位的重构图像数据来进行帧内预测，从而生成解码对象(处理对象)块的预测误差图像数据。帧间预测部210使用保存在帧存储器208中的帧单位的重构图像数据来进行帧间预测，从而生成解码对象块的预测误差图像数据。
帧间预测控制部211根据帧间预测模式标志，来控制帧间预测中的运动矢量的导出方法。帧间预测模式标志表示通过时间直接来导出运动矢量(时间直接模式)的情况下，帧间预测控制部211使用通过时间直接而导出的运动矢量(时间直接矢量)，向帧间预测部210指示按照该运动矢量的帧间预测。
时间直接矢量计算部213在通过时间直接来导出运动矢量的情况下，使用同位置参照方向标志来决定同位置块，通过时间直接来导出运动矢量。时间直接矢量计算部213在同位置参照方向标志表示同位置块是后方参照块的情况下，将该后方参照块作为同位置块。另一方面，同位置参照方向标志表示同位置块是前方参照块的情况下，时间直接矢量计算部213将该前方参照块作为同位置块。时间直接矢量计算部213在同位置块具有2以上的参照运动矢量的情况下，基于同位置块是前方参照块还是后方参照块，选择在时间直接中利用的参照运动矢量。
例如，在同位置块是后方参照块的情况下，时间直接矢量计算部213利用同位置块的两个以上的参照运动矢量中的前方参照运动矢量。另一方面，在同位置块是前方参照块的情况下，时间直接矢量计算部213利用同位置块的两个以上的参照运动矢量中的后方参照运动矢量。同位置块仅具有前方参照运动矢量及后方参照运动矢量中的某一方的情况下，时间直接矢量计算部213首先检索是否具有前方参照运动矢量，在具有前方参照运动矢量的情况下，使用前方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。另一方面，在同位置块不具有前方参照运动矢量的情况下，时间直接矢量计算部213使用后方参照运动矢量，通过时间直接来导出编码对象块的运动矢量。
图16是表示本实施方式中的图像解码方法的处理流程的概要的图。
时间直接矢量计算部213选择同位置块所具有的一个参照运动矢量，使用所选择的一个参照运动矢量，计算解码对象(处理对象)块的运动矢量(步骤S210)。另外，步骤S210相当于本发明的运动矢量计算方法。具体地说，在同位置块具有两个参照运动矢量的情况下，基于同位置块在显示时间顺序上位于解码对象(处理对象)块的前方(即前方参照块)还是后方(即后方参照块)，从两个参照运动矢量中选择一个参照运动矢量，在同位置块仅具有一个参照运动矢量的情况下，选择该一个参照运动矢量。例如，在同位置块具有两个以上的参照运动矢量的情况下，基于同位置参照方向标志，决定利用哪个参照运动矢量。在同位置参照方向标志作为同位置块而表示后方参照块的情况下，即同位置块是后方参照块的情况下，时间直接矢量计算部213决定为利用两个以上的参照运动矢量中的前方参照运动矢量。另一方面，同位置参照方向标志作为同位置块而表示前方参照块的情况下，即同位置块是前方参照块的情况下，时间直接矢量计算部213决定为利用两个以上的参照运动矢量中的后方参照运动矢量。然后，时间直接矢量计算部213使用该决定的参照运动矢量(前方参照运动矢量或后方参照运动矢量)，通过时间直接来导出解码对象块的运动矢量。
在此，同位置块能够如下决定以下。即，可变长度解码部215以图片为单位对同位置参照方向标志进行解码。这时，时间直接矢量计算部213基于同位置参照方向标志，决定将前方参照块作为同位置块还是将后方参照块作为同位置块。
接着，图像解码装置200使用由时间直接矢量计算部213计算出的运动矢量，对编码动态图像中包含的编码后的解码对象(处理对象)块进行解码(步骤S220)。具体地说，帧间预测部210使用由时间直接矢量计算部213计算出的运动矢量，生成预测图像数据。例如可以是，帧间预测控制部211在以块为单位解码的帧间预测模式标志表示通过时间直接来进行解码的情况下(时间直接模式)，向帧间预测部210指示通过时间直接来进行帧间预测。其结果，帧间预测部210使用通过时间直接而导出的运动矢量，对解码对象块进行帧间预测，从而生成预测图像数据。使用这样生成的预测图像数据，将解码对象块解码。
另外，在本实施方式中，参照块(前方参照块或后方参照块)具有两个以上的参照运动矢量的情况下，基于同位置参照方向标志，决定使用哪个参照运动矢量。但是，在本发明中，不限于基于同位置参照方向标志来决定。例如也可以是，在同位置块具有两个以上的参照运动矢量的情况下，计算参照运动矢量的时间上的距离，选择时间上的距离较短的参照运动矢量。在此，时间上的距离，通过在显示时间中基于包含参照块的参照图片与参照图片所参照的图片之间的图片数来计算。此外，也可以是，首先计算两个以上的参照运动矢量的时间上的距离，在这些时间上的距离不同的情况下，选择时间上的距离较短的参照运动矢量，在这些时间上的距离相等的情况下，基于同位置参照方向标志，选择参照运动矢量。在导出解码对象块的合适的运动矢量时，时间上的距离的影响比参照块的位置的影响大，所以通过优先判断时间上的距离，能够导出更合适的运动矢量。
此外，例如也可以是，在同位置块具有两个以上的参照运动矢量的情况下，计算参照运动矢量的大小，选择大小较大的参照运动矢量。在此，参照运动矢量的大小是指运动矢量的绝对值。此外，也可以是，首先计算两个以上的参照运动矢量的大小，在这些大小不同的情况下，选择大小较小的参照运动矢量，在这些大小相等的情况下，基于同位置参照方向标志，选择参照运动矢量。在导出解码对象块的合适的运动矢量时，参照运动矢量的大小的影响比参照块的位置的影响大，所以通过优先判断参照运动矢量的大小，能够导出更合适的运动矢量。
此外，在同位置块不具有参照运动矢量的情况下，通过将新的参照图片的块作为同位置块，也能够对解码对象块导出更合适的运动矢量。例如，在包含同位置块的参照图片在显示顺序上位于解码对象图片的后方的情况下，选择在显示顺序上位于解码对象图片的前方的参照图片中包含的同位置块。此外，在包含同位置块的参照图片在显示顺序上位于解码对象图片的前方的情况下，选择在显示顺序上位于解码对象图片的后方的参照图片中包含的同位置块。这样，在同位置块不具有参照运动矢量的情况下，通过将新的参照图片中包含的块作为同位置块来选择，能够对解码对象块导出精度更高的运动矢量。另外，在新选择的同位置块具有两个以上的参照运动矢量的情况下，如上述那样，基于同位置块是前方参照块还是后方参照块，或者基于同位置块的参照运动矢量的时间上的距离或同位置块的参照运动矢量的大小，来选择参照运动矢量，从而能够导出精度更高的运动矢量。
这样，根据本实施方式，在同位置块具有两个以上的参照运动矢量时，能够导出最适于解码对象块的运动矢量，所以能够将以高效率压缩的比特流适当地解码。
(实施方式6)
通过将用来实现上述各实施方式所示的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机***中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的***。该***的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编解码装置。关于***的其他结构，可以根据情况而适当变更。
图17是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给***ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104及基站ex106～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、摄像机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给***ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
摄像机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容供给***ex100中，通过将摄像机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用摄像机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、摄像机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由摄像机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于摄像机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编解码处理。进而，在便携电话ex114是带有摄像机的情况下，也可以将由该摄像机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录及分发的。
如以上这样，在内容供给***ex100中，客户端能够接收编码的数据而再现。这样，在内容供给***ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给***ex100的例子，如图18所示，在数字广播用***ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即，通过本发明的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的图像解码装置发挥作用)。
此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或***中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。
图19是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、以及将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免***的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或摄像机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由***控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。
在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有显示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图22A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图22B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即，作为本发明的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用***ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、***中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式7)
也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图23是表示复用数据的结构的图。如图23所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的一个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图24是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图26表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图26下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有拷贝控制信息等，该拷贝控制信息用于指示是否许可对复用数据进行拷贝。PCR为了取得作为ATS的时间轴的ATC(ArrivalTime Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图28所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图28所示，由***速率、再现开始时刻、再现结束时刻构成。***速率表示复用数据的向后述的***目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为***速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图29所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、以及依据其他标准的影像数据。
此外，在图30中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、***中。
(实施方式8)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及摄像机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成一个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式9)
在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图34所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式10)
在电视机、便携电话等上述的设备、***中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、以及依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在逆量化方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理部ex901，对于除此之外的熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明所特有的处理内容对应的专用的解码处理部ex1001、以及与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、以及与在本发明的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
工业实用性
本发明的运动矢量计算方法、图像编码方法及图像解码方法具有能够提高压缩率的效果，例如能够应用于视频摄像机、具有动态图像的摄影及再生功能的便携电话、个人计算机或录像再生装置等。
标记说明
100 图像编码装置
101 减法器
102 正交变换部
103 量化部
104 逆量化部
105 逆正交变换部
106 加法器
107 块存储器
108 帧存储器
109 帧内预测部
110 帧间预测部
111 帧间预测控制部
112 图片类型决定部
113 时间直接矢量计算部
114 同位置参照方向决定部
115 可变长度编码部
200 图像解码装置
204 逆量化部
205 逆正交变换部
206 加法器
207 块存储器
208 帧存储器
209 帧内预测部
210 帧间预测部
211 帧间预测控制部
213 时间直接矢量计算部
215 可变长度解码部

Claims (4)

1.一种运动矢量计算方法，计算动态图像中包含的编码或解码对象块的时间运动矢量，包括：
决定步骤，将所述对象块所具有的第1参照图片列表或第2参照图片列表中的某一方所包含的一个参照图片，决定为时间运动矢量导出用图片；
选择步骤，选择所述决定的参照图片的参照块所具有的一个参照运动矢量；以及
计算步骤，使用在所述选择步骤中选择的一个参照运动矢量，计算所述对象块的时间运动矢量；
在所述选择步骤中，
(i)针对所述第1参照图片列表所包含的所述参照图片，
在所述参照块具有与所述第1参照图片列表和所述第2参照图片列表分别对应的第1参照运动矢量和第2参照运动矢量的情况下，选择所述第2参照运动矢量，
(ii)针对所述第2参照图片列表所包含的所述参照图片，
在所述参照块具有与所述第1参照图片列表和所述第2参照图片列表分别对应的第1参照运动矢量和第2参照运动矢量的情况下，选择所述第1参照运动矢量，
在所述计算步骤中，在所述参照块既不具有所述第1参照运动矢量也不具有所述第2参照运动矢量的情况下，不导出所述时间运动矢量。
2.一种图像解码方法，对编码动态图像进行解码，包括：
权利要求1所述的运动矢量计算方法；以及
解码步骤，使用通过所述计算步骤计算出的运动矢量，对所述编码动态图像中包含的编码后的所述对象块进行解码。
3.一种运动矢量计算装置，计算动态图像中包含的编码或解码对象块的时间运动矢量，具备：
决定部，将所述对象块所具有的第1参照图片列表或第2参照图片列表中的某一方所包含的一个参照图片，决定为时间运动矢量导出用图片；
选择部，选择所述决定的参照图片的参照块所具有的一个参照运动矢量；以及
计算部，使用由所述选择部选择的一个参照运动矢量，计算所述对象块的时间运动矢量；
所述选择部，
(i)针对所述第1参照图片列表所包含的所述参照图片，
在所述参照块具有与所述第1参照图片列表和所述第2参照图片列表分别对应的第1参照运动矢量和第2参照运动矢量的情况下，选择所述第2参照运动矢量，
(ii)针对所述第2参照图片列表所包含的所述参照图片，
在所述参照块具有与所述第1参照图片列表和所述第2参照图片列表分别对应的第1参照运动矢量和第2参照运动矢量的情况下，选择所述第1参照运动矢量，
在所述参照块既不具有所述第1参照运动矢量也不具有所述第2参照运动矢量的情况下，所述计算部不导出所述时间运动矢量。
4.一种图像解码装置，对编码动态图像进行解码，具备：
权利要求3所述的运动矢量计算装置；以及
解码部，使用由所述计算部计算出的运动矢量，对所述编码动态图像中包含的编码后的所述对象块进行解码。
CN201180038555.XA 2010-11-24 2011-11-22 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置 Active CN103069804B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41682210P 2010-11-24 2010-11-24
US61/416,822 2010-11-24
PCT/JP2011/006517 WO2012070235A1 (ja) 2010-11-24 2011-11-22 動きベクトル算出方法、画像符号化方法、画像復号方法、動きベクトル算出装置および画像符号化復号装置

Publications (2)

Publication Number Publication Date
CN103069804A CN103069804A (zh) 2013-04-24
CN103069804B true CN103069804B (zh) 2017-05-03

Family

ID=46145600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180038555.XA Active CN103069804B (zh) 2010-11-24 2011-11-22 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置

Country Status (8)

Country Link
US (4) US9300961B2 (zh)
EP (3) EP4102835A1 (zh)
JP (3) JP5755243B2 (zh)
KR (4) KR101950419B1 (zh)
CN (1) CN103069804B (zh)
AR (1) AR083954A1 (zh)
TW (1) TWI566584B (zh)
WO (1) WO2012070235A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950419B1 (ko) 2010-11-24 2019-02-21 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
US9106793B2 (en) 2013-01-03 2015-08-11 Cisco Technology, Inc. Method and apparatus for motion based participant switching in multipoint video conferences

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5020829B1 (zh) 1970-08-28 1975-07-17
US6690724B1 (en) 1997-01-10 2004-02-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing device, and data recording medium
US7170932B2 (en) 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
CN1484922A (zh) * 2001-11-06 2004-03-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
JP2004208259A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
PT3525467T (pt) * 2002-04-19 2021-04-08 Panasonic Ip Corp America Método e aparelho de descodificação de fluxo de bits
JP2004208258A (ja) 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2003333600A (ja) 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号方法
EP1418762A1 (en) 2002-05-22 2004-05-12 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
WO2004006586A1 (ja) 2002-07-02 2004-01-15 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
CN100566420C (zh) 2002-07-15 2009-12-02 株式会社日立制作所 动态图像的编码方法
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
EP2793473B1 (en) 2002-11-01 2016-12-14 Godo Kaisha IP Bridge 1 Direct mode motion vector computation avoiding divisions by zero
CN1774930A (zh) 2003-04-17 2006-05-17 皇家飞利浦电子股份有限公司 视频转码
US7882434B2 (en) 2003-06-27 2011-02-01 Benjamin Slotznick User prompting when potentially mistaken actions occur during user interaction with content on a display screen
US7426308B2 (en) 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
KR100579542B1 (ko) 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
KR100999091B1 (ko) 2003-11-17 2010-12-07 삼성전자주식회사 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치
US8036271B2 (en) 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
US7580456B2 (en) 2005-03-01 2009-08-25 Microsoft Corporation Prediction-based directional fractional pixel motion estimation for video coding
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
EP1931141A4 (en) 2005-09-30 2010-11-03 Sharp Kk IMAGE DISPLAY DEVICE AND METHOD
KR100727989B1 (ko) 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
JP5020829B2 (ja) 2005-12-27 2012-09-05 シャープ株式会社 動画像復号装置および動画像符号化装置
KR101366242B1 (ko) 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
KR100955396B1 (ko) * 2007-06-15 2010-04-29 성균관대학교산학협력단 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체
JPWO2009041215A1 (ja) 2007-09-25 2011-01-20 シャープ株式会社 動画像符号化装置及び動画像復号装置
KR101560182B1 (ko) 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
JP2009182623A (ja) 2008-01-30 2009-08-13 Panasonic Corp 画像符号化方法
KR101505195B1 (ko) 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
KR101377660B1 (ko) 2008-09-30 2014-03-26 에스케이텔레콤 주식회사 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8620883B2 (en) 2009-03-02 2013-12-31 Qualcomm, Incorporated Apparatus and methods of reconciling different versions of an ordered list
US20120106634A1 (en) 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101671460B1 (ko) 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9060176B2 (en) 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
KR101348613B1 (ko) 2009-12-23 2014-01-10 한국전자통신연구원 영상의 부호화/복호화 장치 및 그 방법
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US9161058B2 (en) * 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
KR101950419B1 (ko) 2010-11-24 2019-02-21 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
US9532066B2 (en) 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
JP2012169763A (ja) 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
US9386326B2 (en) * 2012-10-05 2016-07-05 Nvidia Corporation Video decoding error concealment techniques
US10785501B2 (en) * 2012-11-27 2020-09-22 Squid Design Systems Pvt Ltd System and method of performing motion estimation in multiple reference frame

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Direct mode in B pictures;Byeong-Moon Jeon;《Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 4th Meeting》;20020726;第2.1.1、2.1.2、2.1.3、2.1.5、2.2.1节，图1、3 *

Also Published As

Publication number Publication date
US20180124421A1 (en) 2018-05-03
US9877038B2 (en) 2018-01-23
KR101950419B1 (ko) 2019-02-21
EP4102835A1 (en) 2022-12-14
US20130136170A1 (en) 2013-05-30
JP2014140255A (ja) 2014-07-31
US10778996B2 (en) 2020-09-15
US20160088312A1 (en) 2016-03-24
JPWO2012070235A1 (ja) 2014-05-19
KR20140004059A (ko) 2014-01-10
KR101825768B1 (ko) 2018-02-05
KR20190018761A (ko) 2019-02-25
US20190141345A1 (en) 2019-05-09
WO2012070235A1 (ja) 2012-05-31
KR102221331B1 (ko) 2021-03-03
JP2016187206A (ja) 2016-10-27
JP6187887B2 (ja) 2017-08-30
KR20200014948A (ko) 2020-02-11
TW201234865A (en) 2012-08-16
CN103069804A (zh) 2013-04-24
TWI566584B (zh) 2017-01-11
JP5755243B2 (ja) 2015-07-29
AR083954A1 (es) 2013-04-10
KR102080449B1 (ko) 2020-02-21
KR20180014198A (ko) 2018-02-07
EP3570542B1 (en) 2022-09-14
JP5958943B2 (ja) 2016-08-02
US9300961B2 (en) 2016-03-29
EP2645716A1 (en) 2013-10-02
US10218997B2 (en) 2019-02-26
EP3570542A1 (en) 2019-11-20
EP2645716A4 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103718558B (zh) 运动图像编码方法及装置、解码方法及装置和编解码装置
CN104041042B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103004205B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、及图像编解码装置
CN103503450B (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN106851269B (zh) 图像解码方法及装置、图像编码方法及装置、编解码装置
CN103858428B (zh) 图像编码方法、图像编码装置、图像解码方法及图像解码装置
CN103563384B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN103688545B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103348679B (zh) 图像解码方法及图像解码装置
CN103348680B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置
CN104025598B (zh) 图像编码方法、图像编码装置
CN103069805B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN103563373B (zh) 图像编码方法及图像编码装置
CN106878742A (zh) 动态图像编解码装置
CN104429075B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103477637A (zh) 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置、及动态图像编解码装置
CN103828373A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN107071463A (zh) 动态图像编码解码装置
CN103119943B (zh) 图像编码方法及图像解码方法
CN103828371B (zh) 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
CN105592317B (zh) 图像解码方法及图像解码装置
CN107426575A (zh) 影像编码方法、装置及影像解码方法、装置
CN103069804B (zh) 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置
CN105284110B (zh) 图像编码方法及图像编码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141015

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141015

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160921

Address after: American New York

Applicant after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance the American city of California, No. 20000, room 200, 90503

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170926

Address after: Dublin, Ireland

Patentee after: Velos Media, LLC

Address before: American New York

Patentee before: Sun patent hosting Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230412

Address after: New York, United States

Patentee after: Sun patent hosting Co.

Address before: Irish Dublin

Patentee before: Velos Media, LLC

TR01 Transfer of patent right