CN102823250A - 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 - Google Patents

图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Download PDF

Info

Publication number
CN102823250A
CN102823250A CN2011800164947A CN201180016494A CN102823250A CN 102823250 A CN102823250 A CN 102823250A CN 2011800164947 A CN2011800164947 A CN 2011800164947A CN 201180016494 A CN201180016494 A CN 201180016494A CN 102823250 A CN102823250 A CN 102823250A
Authority
CN
China
Prior art keywords
predicted picture
picture
predicted
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800164947A
Other languages
English (en)
Other versions
CN102823250B (zh
Inventor
关口俊一
伊谷裕介
杉本和夫
山田悦久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN102823250A publication Critical patent/CN102823250A/zh
Application granted granted Critical
Publication of CN102823250B publication Critical patent/CN102823250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

具备评价编码对象的宏块的图像与由运动补偿预测部（2）通过运动预测模式（A）生成的预测图像（A）之间的差分图像（A）的编码效率，并且评价编码对象的宏块的图像与由运动补偿预测部（2）通过运动预测模式（B）生成的预测图像（B）之间的差分图像（B）的编码效率，选择编码效率高的一方的差分图像的编码模式判定部（4）。

Description

图像编码装置、图像解码装置、图像编码方法以及图像解码方法
技术领域
本发明涉及图像压缩编码技术、压缩图像数据传送技术等中使用的图像编码装置、图像解码装置、图像编码方法以及图像解码方法。
背景技术
例如，在MPEG（Moving Picture Experts Group，运动图像专家组）、“ITU－T H.26x”等国际标准影像编码方式中，采用了将集中亮度信号16×16像素、和与该亮度信号16×16像素对应的色差信号8×8像素而得到的块数据（以下称为“宏块”）作为一个单位，根据运动补偿技术、正交变换/变换系数量化技术来压缩的方法。
运动补偿技术是利用在视频帧之间存在的高的相关针对每个宏块削减时间方向的信号的冗长度的技术。
即，在运动补偿技术中，将编码已经完成的已编码帧作为参照图像积蓄到存储器，在该存储器中积蓄的参照图像内的规定的搜索范围内，搜索与作为运动补偿预测的对象块的当前宏块相比差分功率最小的块区域。
然后，将差分功率最小的块区域的空间位置与当前宏块的空间位置的变位作为运动矢量进行编码。
上述运动矢量不仅表示预测的效率，而且还表示视频帧之间的各块中的局部性的运动的情况也多，所以近年来，开发了利用该运动矢量的信息，以增加影像的每单位时间的镜头数（帧频）的目的，生成插值图像的技术。
作为最简单的模型，例如，有在时间上在视频帧之间的正中间生成插值图像时，将使运动矢量的值成为一半而得到的值用作插值图像的运动矢量，并使用该运动矢量，根据前后的帧补偿运动这样的方法。
其是假设了视频帧之间的运动是线性的情况的模型，视频帧的间隔越短，上述假设越成立，并且该运动矢量越小，上述假设越成立，所以能够制作某种程度的插值图像。
但是，对于运动矢量，如上所述，表示视频帧之间的各块中的局部性的运动的情况较多，但实际上搜索差分功率最小的块区域而求出，故也有不表示局部性的运动的情况。
在这样的情况下，在插值图像中发生紊乱，且该紊乱变得非常醒目的情况较多，所以如何判定“未能正确地表现运动的运动矢量”并将它们去除的同时能够将本来的运动正确地推测到何种程度变得重要。
例如，在以下的非专利文献1、专利文献1中，公开了以从通过通用的影像编码方式得到的比特流抽出运动参数，并依赖于该运动参数，使接收侧的再生运动图像的帧频虚拟地增加为目的的帧插值技术。
专利文献1：日本特开2009－188996号公报
非专利文献1：H.Sasai，S.Kondoh，and S.Kadono，“Frame－rate Up－conversion using Reliable Analysis of Transmitted MotionInformation”.IEEE International Conference on Acoustic，Speechand Signal Processing（ICASSP）2004，ITT－L1.5，May 2004.
发明内容
以往的图像编码装置如以上那样构成，所以通过在接收侧虚拟地增加再生运动图像的帧频，能够在某种程度上提高再生运动图像的质量。但是，由于并非以在编码处理的过程中得到充分的编码质量的方式，实施最佳的编码控制，所以在接收侧得到的再生运动图像的质量提高中存在限度，存在无法保证再生运动图像的质量的最佳性的课题。
本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够提高接收侧的再生图像的质量的图像编码装置以及图像编码方法。
另外，本发明的目的在于得到一种能够根据从图像编码装置发送的编码数据再生质量高的图像的图像解码装置以及图像解码方法。
本发明的图像编码装置，具备：运动检测单元，检测块的运动矢量；第1预测图像生成单元，使用由运动检测单元检测出的运动矢量来生成第1预测图像；存储器，保持由运动检测单元检测出的运动矢量；活动矢量生成单元，根据所述存储器中保持的活动矢量，生成编码对象的块的活动矢量；第2预测图像生成单元，使用由所述活动矢量生成单元生成的活动矢量，生成第2预测图像；编码单元，对由第1预测图像生成单元生成的第1预测图像与编码对象的块的差分图像进行编码，并且对第1预测图像的生成中使用的运动矢量进行编码；局部解码单元，生成该差分图像的局部解码图像，将该局部解码图像加到第1预测图像，从而生成局部解码图像；以及过滤单元，对由第2预测图像生成单元生成的第2预测图像，进行针对块边界的平滑化处理，将由局部解码单元得到的块的第1局部解码图像、和通过过滤单元得到的图像中的某一个选择为由1个或者多个块构成的规定图像区域内的局部解码图像，将该选择结果复用到比特流来进行编码传送。
根据本发明，具备：运动检测单元，检测块的运动矢量；第1预测图像生成单元，使用由运动检测单元检测出的运动矢量来生成第1预测图像；存储器，保持由运动检测单元检测出的运动矢量；活动矢量生成单元，根据所述存储器中保持的活动矢量，生成编码对象的块的活动矢量；第2预测图像生成单元，使用由所述活动矢量生成单元生成的活动矢量，生成第2预测图像；编码单元，对由第1预测图像生成单元生成的第1预测图像与编码对象的块的差分图像进行编码，并且对第1预测图像的生成中使用的运动矢量进行编码；局部解码单元，生成该差分图像的局部解码图像，将该局部解码图像加到第1预测图像，从而生成局部解码图像；以及过滤单元，对由第2预测图像生成单元生成的第2预测图像，进行针对块边界的平滑化处理，将由局部解码单元得到的块的第1局部解码图像、和通过过滤单元得到的图像中的某一个选择为由1个或者多个块构成的规定图像区域内的局部解码图像，将该选择结果复用到比特流来进行编码传送，所以具有能够提高接收侧的再生图像的质量的效果。
附图说明
图1是示出本发明的实施方式1的图像编码装置的结构图。
图2是示出可根据图片类型选择的运动预测模式的一个例子的说明图。
图3是示出时间直接模式下的直接矢量的计算方法的示意图。
图4是示出空间直接模式下的运动矢量的推测方法的示意图。
图5是示出重叠运动补偿处理的说明图。
图6是示出从可变长编码部11输出的比特流的说明图。
图7是示出本发明的实施方式1的图像解码装置的结构图。
图8是示出本发明的实施方式1的图像编码装置的处理内容的流程图。
图9是示出本发明的实施方式1的图像解码装置的处理内容的流程图。
图10是示出由运动补偿预测部2执行的预测图像B的生成处理（针对已编码图片Ft－1、Ft＋1将处于时间上正中间的图片Ft作为跳跃图片而进行编码的情况的生成处理）的一个例子的说明图。
图11是示出宏块X的运动矢量df（x，t）的推测内容的说明图。
图12是示出根据宏块内的各像素位置定义的权重参数的说明图。
图13是示出根据宏块内的各像素位置定义的权重参数的说明图。
（符号说明）
1：运动参数存储器；2：运动补偿预测部（预测图像生成单元、运动检测单元、第1预测图像生成单元、运动矢量生成单元、第2预测图像生成单元）；3：减法器（差分图像选择单元、编码单元）；4：编码模式判定部（差分图像选择单元、编码单元）；5：压缩部（量化单元）；6：局部解码部（参照图像生成单元、局部解码单元）；7：选择开关（参照图像生成单元、局部解码单元）；8：加法器（参照图像生成单元、局部解码单元）；9：环路过滤器（参照图像生成单元、过滤单元）；10：帧存储器；11：可变长编码部（可变长编码单元、编码单元）；21：运动参数存储器；22：可变长解码部（可变长解码单元、第1预测图像生成单元、解码单元）；23：预测误差解码部（逆量化单元、解码单元）；24：运动补偿部（预测图像生成单元、第1预测图像生成单元、运动矢量生成单元、第2预测图像生成单元）；25：选择开关（解码图像生成单元）；26：加法器（解码图像生成单元、加法单元）；27：环路过滤器（解码图像生成单元、过滤单元）；28：帧存储器。
具体实施方式
以下，参照附图，详细说明本发明的实施方式。
实施方式1.
图1是示出本发明的实施方式1的图像编码装置的结构图。
在图1的图像编码装置中，将输入图像分割为宏块单位（或者分割宏块而得到的子宏块单位），将宏块单位（或者子宏块单位）的输入图像输入到运动补偿预测部2以及减法器3。设为针对每个宏块执行编码处理，在构成输入图像的所有宏块的编码处理结束了的时刻，该输入图像的编码处理结束。
以下，在该实施方式1中，为便于说明，设为将宏块单位的输入图像被输入到运动补偿预测部2以及减法器3而进行说明。在向运动补偿预测部2以及减法器3的输入成为子宏块单位的情况下，将“宏块”更换为“子宏块”，设为1个宏块的处理是通过其内部的所有子宏块的处理结束而结束的。
另外，在图1的图像编码装置中，将表示“针对每个宏块进行伴随运动参数、预测残差信息的编码的通常的图片编码”、还是“进行跳跃图片编码”的图片编码方法控制信息（控制信息）输入到运动补偿预测部2、编码模式判定部4、选择开关7、环路过滤器9以及可变长编码部11。
在图1中，运动参数存储器1是例如保存已编码宏块的预测参数（运动预测模式、运动矢量、参照图像的识别编号）等的例如RAM等记录介质。
运动补偿预测部2实施如下处理：从帧存储器10中保存的1帧以上的运动补偿预测用的参照图像中，选择实际上在预测中使用的参照图像，以构成输入图像的宏块的单位，实施运动补偿预测处理，从而生成预测图像。
在运动补偿预测部2中，作为生成预测图像时的预测图像生成方式，具备第1预测图像生成方式（“运动预测模式A”下的预测图像生成方式）、和第2预测图像生成方式（“运动预测模式B”下的预测图像生成方式），通过运动预测模式A和运动预测模式B分别生成预测图像。
在运动预测模式A的情况下，选择帧存储器10中保存的1帧以上的参照图像中的某一个，在该选择出的参照图像中，确定以成为运动补偿预测的对象的宏块的画面内位置为起点而平行移动变位了的位置中的、将对象宏块的图像图案最佳地表现的块，从而作为该画面内变位量，求出1个运动矢量。即，对于运动矢量，由于与其计算中使用的参照图像成对地规定，所以通过参照图像识别编号指定使用帧存储器10中保存的1帧以上的参照图像中的哪一个参照图像来计算。在针对成为运动补偿预测的对象的宏块分配2个以上的运动矢量的情况下，个别地通过参照图像识别编号指定分别使用哪一个参照图像来得到各个运动矢量。另外，在针对成为运动补偿预测的对象的宏块使用2个以上的运动矢量的情况下，既可以表示分别不同的参照图像识别编号，也可以是其中的几个相同的参照图像识别编号。使用所得到的运动矢量以及参照图像识别编号来生成预测图像A（使用从成为运动补偿预测的对象的宏块的画面内位置移动了该运动矢量的量的位置的图像区域，来生成预测图像A）。
在运动预测模式B的情况下，生成运动参数存储器1中保存的已编码宏块的预测参数编码对象的宏块的推测矢量，实施使用该推测矢量的运动补偿预测处理来生成预测图像B。
其中，在运动补偿预测部2中，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则通过运动预测模式A和运动预测模式B，分别生成预测图像，但如果表示“进行跳跃图片编码”意思，则不使用运动预测模式A，而仅通过运动预测模式B来生成预测图像。
另外，运动补偿预测部2构成了预测图像生成单元。
减法器3实施如下处理：求出编码对象的宏块的图像与由运动补偿预测部2通过运动预测模式A生成的预测图像A的差分来计算差分图像A，并且求出编码对象的宏块的图像与由运动补偿预测部2通过运动预测模式B生成的预测图像B的差分来计算差分图像B。
但是，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，不生成预测图像A，所以不进行求出编码对象的宏块的图像与通过运动预测模式A生成的预测图像A的差分来计算差分图像A的处理。
编码模式判定部4实施如下处理：评价编码对象的宏块的图像与通过运动预测模式A生成的预测图像A之间的差分图像A的编码效率，并且评价编码对象的宏块与通过运动预测模式B生成的预测图像B之间的差分图像B的编码效率，选择编码效率最高的差分图像。
另外，编码模式判定部4实施如下处理：将表示编码效率最高的差分图像的预测差分信号输出到压缩部5，并且将与该差分图像相关的预测图像的生成中使用的预测参数（运动预测模式（预测图像识别信息）、运动矢量（或者直接矢量）、参照图像的识别编号）保存到运动参数存储器1，并且，将该预测参数（运动预测模式（预测图像识别信息）、运动矢量（仅限于选择了差分图像A的情况，将运动矢量包含在预测参数，在选择了差分图像B的情况下，不将运动矢量包含于预测参数）、参照图像的识别编号）输出到可变长编码部11。
但是，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，不生成预测图像A，所以不进行评价差分图像A的编码效率的处理。
另外，由减法器3以及编码模式判定部4构成了差分图像选择单元。
压缩部5实施如下处理：通过针对从编码模式判定部4输出的预测差分信号实施DCT（离散余弦变换）处理，计算DCT系数，并且对该DCT系数进行量化，将作为量化后的DCT系数的压缩数据输出到局部解码部6以及可变长编码部11。
另外，压缩部5构成了量化单元。
局部解码部6实施如下处理：对从压缩部5输出的压缩数据进行逆量化来求出DCT系数，并针对该DCT系数实施逆DCT（逆离散余弦变换）处理，从而计算与从编码模式判定部4输出的预测差分信号相当的局部解码预测差分信号。
选择开关7实施如下处理：如果图片编码方法控制信息表示“进行通常的图片编码”意思，则选择由局部解码部6计算出的局部解码预测差分信号并输出到加法器8，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则选择全零值并输出到加法器8。
加法器8实施如下处理：通过将由选择开关7选择出的局部解码预测差分信号或者全零值加到表示由运动补偿预测部2生成的预测图像（与编码效率最高的差分图像相关的预测图像）的预测信号，生成表示局部解码图像的局部解码图像信号。
在环路过滤器9中，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则实施使用针对DCT块边界的块失真去除过滤器（解块过滤器），对由加法器8生成的局部解码图像中包含的编码失真进行补偿的失真补偿处理，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则实施对预测图像的运动矢量分配区域中发生的块边界（在运动预测模式B下，宏块边界）的不连续性进行缓和的运动块边界平滑化处理。
另外，由局部解码部6、选择开关7、加法器8以及环路过滤器9构成了参照图像生成单元。
帧存储器10是将从环路过滤器9输出的环路过滤器图像（过滤处理后的局部解码图像）保存为参照图像的RAM等记录介质。
可变长编码部11实施如下处理：对从压缩部5输出的压缩数据（包括对DCT系数进行量化时的量化参数）、从编码模式判定部4输出的预测参数以及图片编码方法控制信息进行熵编码，生成表示其编码结果的比特流（编码数据），并输出该比特流。
另外，可变长编码部11构成了可变长编码单元。
在图1中，假设作为图像编码装置的构成要素的运动补偿预测部2、减法器3、编码模式判定部4、压缩部5、局部解码部6、选择开关7、加法器8、环路过滤器9以及可变长编码部11的各个由专用的硬件（例如，安装了CPU的半导体集成电路、或者单片机等）构成的例子，但在图像编码装置由计算机构成的情况下，也可以将记述了运动补偿预测部2、减法器3、编码模式判定部4、压缩部5、局部解码部6、选择开关7、加法器8、环路过滤器9以及可变长编码部11的处理内容的程序保存到该计算机的存储器，并使该计算机的CPU执行该存储器中保存的程序。
图8是示出本发明的实施方式1的图像编码装置的处理内容的流程图。
图7是示出本发明的实施方式1的图像解码装置的结构图。设为针对每个宏块执行解码处理，并设为在构成解码图像的所有宏块的解码处理结束了的时刻，该解码图像的解码处理结束。进而，在1个宏块由多个子宏块构成的情况下，设为1个宏块的解码处理是通过其内部的所有子宏块的解码处理结束而结束的。以下，为便于说明，与编码装置侧合并地将“宏块”作为处理单位而进行说明，但能够通过将“宏块”变更为“子宏块”而说明为针对子宏块的解码处理。
在图7中，运动参数存储器21是保存例如已解码宏块（或者已解码子宏块）的预测参数（运动预测模式、运动矢量、参照图像的识别编号）等的例如RAM等记录介质。
可变长解码部22实施如下处理：输入从图1的图像编码装置输出的比特流（编码数据），从该比特流，对压缩数据（包括对DCT系数进行量化时的量化参数）、预测参数（运动预测模式（预测图像识别信息）、运动矢量（在由图1的编码模式判定部4选择了差分图像A的情况下，将运动矢量包含于预测参数，但在选择了差分图像B的情况下，不将运动矢量包含于预测参数）、参照图像的识别编号）以及图片编码方法控制信息进行熵解码，并将该压缩数据输出到预测误差解码部23，将该预测参数输出到运动补偿部24，将该图片编码方法控制信息输出到运动补偿部24、选择开关25以及环路过滤器27。另外，可变长解码部22构成了可变长解码单元。
预测误差解码部23实施如下处理：对从可变长解码部22输出的压缩数据进行逆量化而求出DCT系数，并针对该DCT系数实施逆DCT处理，从而计算表示差分图像的预测误差信号解码值（与从图1的编码模式判定部4输出的预测差分信号相当的信号）。另外，预测误差解码部23构成了逆量化单元。
运动补偿部24实施如下处理：从帧存储器28中保存的1帧以上的参照图像中，读出从可变长解码部22输出的预测参数内的识别编号表示的参照图像，如果从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思，则实施使用从可变长解码部22输出的预测参数内的运动预测模式以及运动矢量和上述参照图像的运动补偿处理，从而生成预测图像A。
另一方面，实施如下处理：如果从可变长解码部22输出的图片编码方法控制信息表示“进行跳跃图片编码”意思，则根据运动参数存储器21中保存的已解码宏块的运动矢量，生成解码对象的宏块的推测矢量，实施使用该推测矢量的运动补偿处理来生成预测图像B。
另外，运动补偿部24构成了预测图像生成单元。
选择开关25实施如下处理：如果从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思，则选择由预测误差解码部23计算出的预测误差信号解码值并输出到加法器26，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则选择全零值并输出到加法器26。
加法器26实施如下处理：通过将由选择开关25选择出的局部解码预测差分信号或者全零值加到表示由运动补偿部24生成的预测图像的预测信号，生成表示解码图像的解码图像信号。
在环路过滤器27中，如果从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思，则使用针对DCT块边界的块失真去除过滤器（解块过滤器），实施对由加法器26生成的解码图像中包含的编码失真进行补偿的失真补偿处理，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则实施对预测图像的运动矢量分配区域中发生的块边界（在运动预测模式B下，宏块边界）的不连续性进行缓和的运动块边界平滑化处理。
另外，由选择开关25、加法器26以及环路过滤器27构成了解码图像生成单元。
帧存储器28是将从环路过滤器27输出的再生图像（过滤处理后的解码图像）保存为参照图像的RAM等记录介质。
在图7中，假设了作为图像解码装置的构成要素的可变长解码部22、预测误差解码部23、运动补偿部24、选择开关25、加法器26以及环路过滤器27的各个由专用的硬件（例如，安装了CPU的半导体集成电路、或者单片机等）构成的例子，但在图像解码装置由计算机构成的情况下，也可以将记述了可变长解码部22、预测误差解码部23、运动补偿部24、选择开关25、加法器26以及环路过滤器27的处理内容的程序保存到该计算机的存储器，并使该计算机的CPU执行该存储器中保存的程序。
图9是示出本发明的实施方式1的图像解码装置的处理内容的流程图。
接下来，说明动作。
首先，说明图像编码装置的处理内容。
运动补偿预测部2针对可根据指定的图片类型选择的所有运动预测模式（宏块或者子块内的运动矢量分配图案），分别生成预测图像。
图2是示出可根据图片类型选择的运动预测模式的一个例子的说明图。
在图2中，mc_mode0是针对宏块（M×L像素块）的整体，分配1个运动矢量的模式。
mc_mode1是在水平方向上对宏块进行等分割，并针对分割出的左右的子块，分别分配不同的运动矢量的模式。
mc_mode2是在垂直方向上对宏块进行等分割，并针对分割出的上下的子块，分别分配不同的运动矢量的模式。
mc_mode3是对宏块进行4分割，并针对分割出的4个子块，分别分配不同的运动矢量的模式。对mc_mode3中的宏块进行4分割而得到的单位成为子宏块，对于子宏块，进而能够进行mc_mode0~mc_mode3那样的分割来进行运动矢量分配。在宏块的大小充分大的情况下（例如，32×32像素块、64×64像素块等），子宏块对应于16×16像素块，所以也可以通过将其更细致地分割，而采用树构造的层次分割构造。本实施方式1的编码装置/解码装置还能够应对这样的子宏块构造。
其中，在该实施方式1中，说明在运动补偿预测部2中，作为生成预测图像时的预测图像生成方式，限定于针对宏块分配1个运动矢量的图2的mc_mode0相当的情形，使用运动预测模式A下的预测图像生成方式、和运动预测模式B的例子。在对应于上述那样的子宏块的层次分割构造的情况下，对各个运动矢量分配单位块应用运动预测模式A、运动预测模式B即可。
在运动补偿预测部2中，如果输入的图片编码方法控制信息表示“进行通常的图片编码”意思（图8的步骤ST1），则通过运动预测模式A生成预测图像A，并且通过运动预测模式B生成预测图像B（步骤ST2）。
另一方面，如果图片编码方法控制信息表示“进行跳跃图片编码”意思（步骤ST1），则在运动预测模式A下不生成预测图像A，而通过运动预测模式B生成预测图像B（步骤ST3）。
（1）通过运动预测模式A生成预测图像A
运动补偿预测部2从帧存储器10中保存的1帧以上的运动补偿预测用的参照图像中选择1帧的参照图像，在编码对象的宏块与参照图像之间搜索运动矢量（在参照图像上的规定的运动搜索范围内搜索运动矢量）。
然后，实施使用该运动矢量的运动补偿预测处理来生成预测图像A（使用从编码对象的宏块的画面内位置移位了该运动矢量的量的位置的图像区域，生成预测图像A）。
（2）通过运动预测模式B生成预测图像B
运动补偿预测部2根据由运动参数存储器1保存的已编码宏块的运动矢量，生成编码对象的宏块的推测矢量，实施使用该推测矢量的运动补偿预测处理，来生成预测图像B。
作为运动预测模式B，例如，能够利用在MPEG－4视觉（ISO/IEC14496－2）、MPEG－4AVC/ITU－T H.264（以下，称为“AVC”）等标准编码方式中采用的利用直接预测的预测图像生成方式。
对于AVC的利用直接预测的预测图像生成方式，能够利用B图片，该B图片能够针对可分配1个运动矢量的块进行使用了最大2个运动矢量的预测，准备了时间直接模式和空间直接模式这2种。
在时间直接模式下，参照已编码的其他图片的运动矢量，根据已编码图片与编码对象图片之间的时间差，进行运动矢量的缩放（scaling）处理，从而计算在编码对象的宏块种使用的运动矢量（直接矢量）。
另一方面，在空间直接模式下，参照位于编码对象的宏块的周围的至少1个以上的已编码宏块的运动矢量，计算在编码对象的宏块中使用的运动矢量（直接矢量）。
在AVC的直接预测中，按照片断（slice）单位选择时间直接模式和者空间直接模式中的某一方。
此处，图3是示出时间直接模式下的直接矢量的计算方法的示意图。
在图3中，“P”表示P图片，“B”表示B图片。P图片是能够进行针对可分配1个运动矢量的块使用1个运动矢量的预测的图片。
另外，数字0－3表示图片的显示顺序，表示是时间T0、T1、T2、T3的显示图像。
设为图片的编码处理是按照P0、P3、B1、B2的顺序进行的。
例如，假设通过时间直接模式对图片B2中的宏块MB1进行编码的情况。
在该情况下，使用处于图片B2的时间轴上后方的已编码图片中的、最接近图片B2的图片P3的运动矢量、且与宏块MB1在空间上处于相同的位置的宏块MB2的运动矢量MV。
对于该运动矢量MV，参照图片P0（运动矢量MV是将图片P0作为参照图像而搜索的结果的运动矢量），通过以下的式（1）来求出对宏块MB1进行编码时使用的运动矢量MVL0、MVL1。
MVL 0 = T 2 - T 0 T 3 - T 0 × MV ( 1 )
MVL 1 = T 2 - T 3 T 3 - T 0 × MV
因此，为了在时间直接模式下，求出编码对象的宏块的运动矢量，需要1画面量的已编码图片的运动矢量MV，所以需要保持该运动矢量MV的运动参数存储器1。
对于针对运动参数存储器1的运动矢量保存，在如图3所示对P图片或者在其以后的运动补偿预测中用作参照图像的图片进行了编码时，将该编码中使用的运动矢量依次保存1画面量。
图4是示出空间直接模式下的运动矢量的推测方法的示意图。
在图4中，currentMB表示编码对象的宏块。
此时，如果将编码对象的宏块的左边的已编码宏块A的运动矢量设为MVa、将编码对象的宏块的上面的已编码宏块B的运动矢量设为MVb、将编码对象的宏块的右上的已编码宏块C的运动矢量设为MVc，则能够通过如下述式（2）所示，求出这些运动矢量MVa、MVb、MVC的中值（median）（中央值），推测编码对象的宏块的运动矢量MV。
MV=median（MVa、MVb、MVc）                  （2）
另外，即使在空间直接模式的情况下，也需要将已编码的宏块的运动矢量MV等保持于运动参数存储器1。
以下，在该实施方式1中，作为运动预测模式B，假设该AVC的直接预测模式。
减法器3如果从运动补偿预测部2接收到通过运动预测模式A、B生成的预测图像A、B，则从编码对象的宏块的图像减去预测图像A，将表示作为其减法结果的差分图像A的预测差分信号输出到编码模式判定部4。另外，从编码对象的宏块的图像减去预测图像B，将表示作为其减法结果的差分图像B的预测差分信号输出到编码模式判定部4（步骤ST4）。
其中，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，不进行计算差分图像的处理。
编码模式判定部4在图片编码方法控制信息表示“进行通常的图片编码”意思的情况下，使用表示从减法器3输出的差分图像A、B的预测差分信号，作为该差分图像A、B的编码效率的评价值，计算速率失真开销J（步骤ST5）。
J=D＋λR（3）
其中，“λ”是正的常数。
对于“D”，使用在将表示差分图像A的预测差分信号或者表示差分图像B的预测差分信号的宏块内绝对值和，或者使用表示差分图像A的预测差分信号或者表示差分图像B的预测差分信号被输出到压缩部5时，从局部解码部6输出的局部解码预测差分信号与输入的宏块的图像之间的平方失真和等。
对于“R”，使用对表示差分图像A的预测差分信号或者表示差分图像B的预测差分信号、和与这些预测差分信号对应的预测参数进行了编码的情况的符号量（或者、其推测值）。
在编码模式判定部4中，如果作为差分图像A、B的编码效率的评价值，计算出速率失真开销J，则选择速率失真开销J小的一方的差分图像，并将表示该差分图像的预测差分信号输出到压缩部5（步骤ST6）。
例如，在差分图像A的速率失真开销J的一方小的情况下，将表示该差分图像A的预测差分信号输出到压缩部5，将在利用运动预测模式A的预测图像A的生成中使用的预测参数（运动预测模式A、运动矢量、参照图像的识别编号）保存到运动参数存储器1，并且将该预测参数输出到可变长编码部11。
在差分图像B的速率失真开销J的一方小的情况下，将表示该差分图像B的预测差分信号输出到压缩部5，将在利用运动预测模式B的预测图像B的生成中使用的预测参数（运动预测模式B、直接矢量、参照图像的识别编号）保存到运动参数存储器1，并且将该预测参数（运动预测模式B、参照图像的识别编号）输出到可变长编码部11。
另外，编码模式判定部4在表示根据通过运动预测模式B生成的预测图像B计算出的差分图像B的预测差分信号的功率未成为零的情况下，为了对通过DCT处理、量化处理得到的非零变换系数（压缩数据）进行编码，将该预测差分信号输出到压缩部5。
编码模式判定部4在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，始终输出零值的预测差分信号。
即，编码模式判定部4即使在表示从减法器3输出的差分图像B的预测差分信号的功率并未成为零的情况下，也将该预测差分信号强制地置换为零值，并将零值的预测差分信号输出到压缩部5（步骤ST7）。或者，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，编码模式判定部4也可以跳跃（skip）处理，而使压缩部5以及局部解码部6在内部生成全零的预测差分信号。
另外，将在利用运动预测模式B的预测图像B的生成中使用的预测参数（运动预测模式B、直接矢量、参照图像的识别编号）保存到运动参数存储器1。
对于图片编码方法控制信息表示“进行跳跃图片编码”意思的情况的各宏块的速率失真开销J，计算作为使预测差分信号强制地零值化了的结果得到的失真，开销J成为与表示作为使预测差分信号强制地零值化了的结果得到的失真的“D”大致相等的值。另外，对于“R”，如上所述，使用对预测差分信号和预测参数进行了编码的情况的符号量，但由于参照由运动参数存储器1保存的已编码宏块的运动矢量（在图像解码装置中，参照由运动参数存储器21保存的已解码宏块的运动矢量），在AVC的直接预测的步骤中计算直接矢量，所以预测参数的符号量被视为零。另外，对于预测差分信号的符号量，由于使该预测差分信号强制地零值化，所以也被视为零。
因此，编码对象的宏块的编码所需的符号量被视为零，开销J成为与“D ”大致相等的值。
压缩部5如果从编码模式判定部4接收到预测差分信号，则针对该预测差分信号实施DCT处理，从而计算DCT系数，并且对该DCT系数进行量化，将作为量化后的DCT系数的压缩数据（包括对DCT系数进行量化时的量化参数）输出到局部解码部6以及可变长编码部11（步骤ST8）。
但是，压缩部5也可以构成为在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，从编码模式判定部4提供全零值的预测差分信号，所以跳跃处理（步骤ST9）。或者，也可以接收图片编码方法控制信息，自身强制地输出零值。
局部解码部6如果从压缩部5接收到压缩数据，则使用该压缩数据中包含的量化参数，对该压缩数据进行逆量化来求出DCT系数，针对该DCT系数实施逆DCT处理，从而计算与从编码模式判定部4输出的预测差分信号相当的局部解码预测差分信号（步骤ST8）。
但是，局部解码部6也可以构成为在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，从压缩部5提供全零值的压缩数据，所以跳跃处理（步骤ST9）。或者，也可以接收图片编码方法控制信息，自身强制地输出零值。
在选择开关7中，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则选择由局部解码部6计算出的局部解码预测差分信号并输出到加法器8。
另一方面，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则选择全零值并输出到加法器8（步骤ST9）。
加法器8通过相加由选择开关7选择出的局部解码预测差分信号或者全零值、和表示由运动补偿预测部2生成的预测图像（与编码效率最高的差分图像相关的预测图像）的预测信号，生成表示局部解码图像的局部解码图像信号（步骤ST8、ST9）。
在环路过滤器9中，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则使用针对DCT块边界的块失真去除过滤器（解块过滤器），实施对由加法器8生成的局部解码图像中包含的编码失真进行补偿的失真补偿处理（步骤ST10）。
另一方面，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则从加法部8将预测图像直接输入到环路过滤器9，所以实施对预测图像的运动矢量分配区域中发生的块边界（在运动预测模式B下，宏块边界）的不连续性进行缓和的运动块边界平滑化处理（步骤ST11）。
在帧存储器10中，将从环路过滤器9输出的环路过滤器图像（过滤处理后的局部解码图像）保存为参照图像。
在该实施方式1中，在环路过滤器9中的运动块边界平滑化处理中，使用宏块边界中的重叠运动补偿处理。
此处，图5是示出重叠运动补偿处理的说明图。
图5（a）的宏块X是当前的处理对象的宏块，宏块A、B、C、D是处于包围宏块X的位置的宏块。
在本实施方式1的运动块边界平滑化处理中，以按照帧的单位进行处理为前提，设为是在针对宏块X进行平滑化处理的时刻，针对其周围的宏块A、B、C、D也已经同样地决定了运动矢量MVL0、MVL1的状态。
利用该情况，针对图5（b）所示的宏块X内的块边界区域X0~X3，再生成以下所示的那样的图像数据。
X0区域（i＝A）：
I0′(x，y)＝w0I(x，y)+(1-w0)I(x+u0，y+v0)
I1′(x，y)＝w1I(x，y)+(1-w1)I(x+u0，y+v0)
I′(x，y)＝[I0′(x，y)+I1′(x，y)]/2
X1区域（i＝B）：
I2′(x，y)＝w2I(x，y)+(1-w2)I(x+u0，y+v0)
I3′(x，y)＝w3I(x，y)+(1-w3)I(x+u0，y+v0)
I′(x，y)＝[I2′(x，y)+I3′(x，y)]/2
X2区域（i＝C）：
I4′(x，y)＝w4I(x，y)+(1-w4)I(x+u0，y+v0)
I5′(x，y)＝w5I(x，y)+(1-w5)I(x+u0，y+v0)
I′(x，y)＝[I4′(x，y)+I5′(x，y)]/2
X3区域（i＝D）：
I6′(x，y)＝w6I(x，y)+(1-w6)I(x+u0，y+v0)
I7′(x，y)＝w7I(x，y)+(1-w7)I(x+u0，y+v0)
I′(x，y)＝[I6′(x，y)+I7′(x，y)]/2
u0i=MVL0i的水平成分、v0=MVL0i的垂直成分（i：A、B、C、D中的某一个）
u1i=MVL1i的水平成分、v1=MVL1i的垂直成分（i：A、B、C、D中的某一个）
I（x，y）：像素位置（x，y）的像素值
I’（x，y）：通过重叠运动补偿处理取得的像素位置（x，y）的像素值
w0~w4：权重参数
例如，如图12以及图13那样，根据宏块内的各像素位置，定义权重参数w0~w4（宏块是16×16像素块的情况）。
通过按照这样的权重进行平滑化处理，仅宏块X内的运动块边界成为平滑化处理对象，根据边界位置考虑适合的周边宏块的运动矢量。另外，该图的权重值能够通过位移进行乘除计算，能够通过抑制了运算量的处理来实现。在输入图像是由亮度信号和色差信号（或者RGB等）构成的彩色图像，且在宏块中也包含各色成分的块的情况下，通过与各色成分的特性匹配地确定的权重参数，针对各个颜色成分块，执行本平滑化处理。
另外，对于在X0~X3区域中定义非零的权重的面积，在宏块的尺寸可变的情况下，也可以根据宏块的大小来决定。
在宏块尺寸大的情况下，对于宏块X的中心附近的像素值，不易从周边宏块A、B、C、D的运动矢量受到影响，所以通过以宏块的全域为对象而进行上述那样的重叠运动补偿处理，有可能使像素值不当地失真。
因此，在宏块尺寸大的情况下，也可以仅使与宏块边界更邻接的像素成为重叠运动补偿处理的对象。
或者，也可以根据宏块尺寸，以使针对宏块X的中心附近的通过周边运动矢量得到的值的权重变小的方式，设计权重参数。
另外，也可以在图像编码装置侧，将权重参数控制为最佳的值，可变长编码部11对该权重参数进行编码而复用到比特流。
例如，在几乎没有复杂的运动而宏块边界几乎未成为不连续的状态的情况下，优选以尽可能减小周边的宏块的影响的方式，决定权重参数。
另一方面，在复杂的运动多的情况下，宏块边界成为不连续的状态的情形增加，所以优选以尽可能考虑周边的宏块的影响的方式，决定权重参数。
这样的状态在编码处理过程中根据影像信号的性质、编码比特速率等而变动，所以只要能够在图像编码装置侧，将权重参数控制为最佳的值，就能够提高编码效率。对权重参数进行编码的单位既可以是图片单位，也可以是集中了多个宏块的片断单位。
根据以上的处理的结果，在编码装置中，通过使用图片编码方法控制信息来控制各部，能够分别得到“进行通常的图片编码”情况的局部解码图像以及图片符号量、和“进行跳跃图片编码”情况的局部解码图像以及图片符号量（能够大致视为零）。因此，构成为根据这些两方的处理结果，分别计算作为图片的速率失真开销（步骤ST12、ST13），将计算出的开销小的一方用于该图片的编码（步骤ST14）。
根据上述开销比较结果，在选择了“进行通常的图片编码”的情况下，可变长编码部11对从压缩部5输出的压缩数据（包括对DCT系数进行量化时的量化参数）、从编码模式判定部4输出的预测参数（运动预测模式、运动矢量、参照图像的识别编号）以及图片编码方法控制信息进行熵编码，生成表示该编码结果的比特流（编码数据），并输出该比特流（步骤ST10）。
但是，可变长编码部11在编码模式判定部4选择了差分图像A的情况下，对包括运动矢量的预测参数进行熵编码，但在编码模式判定部4选择了差分图像B的情况下，对不包括运动矢量（直接矢量）的预测参数进行熵编码。
另一方面，在根据上述开销比较的结果，选择了“进行跳跃图片编码”的情况下，可变长编码部11仅对图片编码方法控制信息进行编码，而不将宏块等级的一切的编码数据复用到比特流。但是，在使权重参数自适应地变化来进行编码的情况下，按照变化的单位将权重参数值复用到比特流。
另外，在本实施方式1中，如以上那样构成为在对“进行通常的图片编码”情况和“进行跳跃图片编码”情况分别全部进行了编码/效率评价之后，选择速率失真开销小的一方来进行编码，但编码步骤不限于这样的2分支编码。例如，在“进行通常的图片编码”处理步骤中，已执行与在“进行跳跃图片编码”情况下也使用的与运动预测模式B相当的预测处理，所以能够构成为预先针对所有宏块另外保持作为评价运动预测模式B的结果而得到的运动参数，在到达环路过滤器9的时刻，同时得到“进行通常的图片编码”情况和“进行跳跃图片编码”情况各自的结果。另外，虽然未图示，但也可以构成为预先取得用于判断在图片等级下通过“进行跳跃图片编码”能否实现充分的编码性能的活度（activity）信息，并据此决定是否针对该图片评价“进行跳跃图片编码”处理。例如，仅在帧频比规定的数值高的情况下容许“进行跳跃图片编码”，或者，仅在邻接的帧之间的单纯差分是规定的阈值以下的情况（帧间的运动比较小的情况）下容许“进行跳跃图片编码”，根据过去的帧间预测编码的结果，依据运动参数、预测差分信号的符号量，在邻接的帧间，这样构成，从而无需进行2分支的编码处理/评价，而能够进行抑制了运算量的编码。
此处，图6是示出从可变长编码部11输出的比特流的说明图。特别示出图片编码数据部分。
在可变长编码部11中，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则如图6（a）所示，生成并输出除了***了图片等级的头数据以外，还***了图片内的多个宏块的编码数据（压缩数据的编码数据、预测参数）的比特流。
另一方面，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则如图6（b）所示，在比特流中，不复用宏块的编码数据（压缩数据的编码数据）。但是，虽然在图6（b）中未明确记载，但将宏块的编码数据（表示运动预测模式以及参照图像的识别编号的预测参数）复用到比特流。
另外，在AVC的直接预测中，图像解码装置的运动补偿部24独自地生成直接矢量，所以在预测参数中，不包括由运动补偿预测部2生成的直接矢量，不复用到比特流。
其原因为，如上所述，在进行跳跃图片编码的情况下，根据已编码宏块的运动矢量，推测针对所有宏块的运动矢量（直接矢量），根据使用该运动矢量生成的预测图像来生成解码图像，所以在图像解码装置中，即使没有宏块等级的编码数据，也能够通过与图像编码装置同样的方法，生成预测图像，并根据该预测图像生成解码图像。
但是，在图像解码装置中，为了能够判别进行了通常图片编码还是进行了跳跃图片编码，可变长编码部11将对图像编码装置输入的图片编码方法选择信息复用到图片等级的头数据。
另外，如果图像编码装置将重叠运动补偿处理的权重参数w0~w7控制为最佳的值，则可变长编码部11将该权重参数w0~w7复用到图片等级的头数据。
在该实施方式1中，示出了按照图片的等级选择通常图片编码或者跳跃图片编码的例子，但也可以按照定义画面内的确定部分区域的片断的单位来选择。
在该情况下，针对每个片断分开执行图像编码装置的处理，并将图片编码方法选择信息作为片断编码方法选择信息复用到片断等级的头数据，并且将权重参数w0~w4也复用到片断等级的头数据即可。
另外，在该实施方式1中，示出了在进行跳跃图片编码的情况下，同样地应用进行通常的图片编码的情况的运动预测模式B的例子，但在进行跳跃图片编码的情况下，由于不将该图片的符号数据复用到一切比特流，所以求出直接矢量的块的单位无需限定于宏块。在跳跃图片中，即使运动矢量分配单位的块尺寸变小，也不会发生运动矢量的符号，所以通过提高其自由度，能够提高跳跃图片的编码效率。例如，也可以构成为编码装置/解码装置根据输入图像的尺寸、宏块的尺寸按照共用的规则决定进行跳跃图片编码的情况的块尺寸、或者构成为在图片等级的头中编码进行跳跃图片编码的情况的块尺寸而传送给解码装置侧（该编码不限于图片。也可以是片断单位）。
在该实施方式1中，示出了在使用运动预测模式B的情况下，按照宏块的单位推测运动矢量（直接矢量），应用环路过滤器9中的重叠运动补偿处理的例子，但即使运动预测模式下的运动矢量的推测单位是子块等，当然也能够应用环路过滤器9中的重叠运动补偿处理。
另外，作为运动块边界平滑化处理，也可以导入如下那样的处理：针对运动矢量分配块边界，根据运动矢量的大小、参照图像的识别编号的差异、边界处的像素偏移的大小等来求出活度值，并通过这些活度值的大小来进行与边界邻接的像素的平滑化过滤。
如以上说明，根据该实施方式1，具备：编码模式判定部4，评价编码对象的宏块的图像与由运动补偿预测部2通过运动预测模式A生成的预测图像A之间的差分图像A的编码效率，并且评价编码对象的宏块的图像与由运动补偿预测部2通过运动预测模式B生成的预测图像B之间的差分图像B的编码效率，选择编码效率高的一方的差分图像；以及压缩部5，针对表示由编码模式判定部4选择出的差分图像的预测差分信号实施DCT处理以及量化处理来生成压缩数据（包括量化参数），可变长编码部11对从压缩部5输出的压缩数据（包括对DCT系数进行量化时的量化参数）、从编码模式判定部4输出的预测参数以及图片编码方法控制信息进行可变长编码来生成比特流，所以在编码处理的过程中能够得到充分的编码质量，其结果，起到相比于与图像编码装置无关地在图像解码装置侧推测运动矢量来生成插值帧的以往例，能够通过等同符号量提高图像解码装置中的再生图像的质量的效果。
即，在通过进行跳跃图片的编码的运动预测模式B生成了预测图像B的情况下，无需将图片编码数据（编码了的压缩数据）复用到比特流，所以相比于通过进行通常图片的编码的运动预测模式A生成了预测图像A的情况，能够大幅削减符号量，另一方面，在通过运动预测模式B生成的预测图像B中，无法确保充分的质量的情况下，能够使用通过运动预测模式A生成的预测图像A，所以能够维持编码质量。
作为能够使用进行跳跃图片的编码的运动预测模式B的情形，是指在直接预测中，仅通过对预测图像的运动矢量分配区域中发生的块边界的不连续性进行缓和就能够再现在质量上充分的图像的情形，例如，相比于在帧频高且帧间的运动极其少的情况等下针对每个宏块传送表示预测差分信号是零的宏块跳跃的控制信息，能够减小信号传输的数据量。特别，在影像分辨率高且图片内的宏块数变多的情形中，控制信息的符号量削减效果变大。
另外，根据该实施方式1，构成为在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，编码模式判定部4将表示编码对象的宏块的图像与通过运动预测模式B生成的预测图像B之间的差分图像B的预测误差信号强制地置换为零值，所以起到编码对象的宏块的编码所需的符号量成为大致零，而能够大幅削减比特流的符号量的效果。
根据该实施方式1，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，压缩部5不进行针对表示编码对象的宏块的图像与通过运动预测模式B生成的预测图像B之间的差分图像B的预测误差信号（全零值的信号）的DCT处理、量化处理，而将该预测误差信号（全零值的信号）输出到可变长编码部11，所以起到能够减轻图像编码装置的处理量的效果。
另外，根据该实施方式1，如果图片编码方法控制信息表示“进行通常的图片编码”意思，则环路过滤器9实施对局部解码图像中包含的编码失真进行补偿的失真补偿处理，在该图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，环路过滤器9实施对块的边界中存在的不连续性进行缓和的块边界平滑化处理，所以起到针对运动预测模式A、B都能够提高局部解码图像的质量的效果。
根据该实施方式1，在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，局部解码部6不进行针对从压缩部5输出的压缩数据的逆量化处理、逆DCT处理，而将由运动补偿预测部2生成的预测图像B处理为局部解码图像，所以起到能够减轻图像编码装置的处理量的效果。
接下来，说明图像解码装置的处理内容。
可变长解码部22如果输入了从图1的图像编码装置输出的比特流，则对该比特流中的图片等级的头数据进行解析，而对图片编码方法选择信息进行解码（图9的步骤ST11）。
在可变长解码部22中，如果该图片编码方法控制信息表示“进行通常的图片编码”意思（步骤ST12），则实施针对图片等级的头数据以后的宏块编码数据的熵解码处理，对图片内的多个宏块的压缩数据（包括对DCT系数进行量化时的量化参数）以及预测参数进行解码（步骤ST13）。
将由可变长解码部22解码出的压缩数据（包括对DCT系数进行量化时的量化参数）输出到预测误差解码部23，将预测参数输出到运动补偿部24。
在可变长解码部22中，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思（步骤ST12），则对图片等级的头数据进行解析，在复用到比特流的情况下，对权重参数w0~w4、成为运动预测模式B的处理对象的运动矢量分配块尺寸的信息进行解码。
另外，实施针对图片等级的头数据以后的宏块编码数据的熵解码处理，对图片内的多个宏块的预测参数进行解码（步骤ST14）。
将由可变长解码部22解码出的预测参数以及权重参数w0~w4输出到运动补偿部24。
另外，将由可变长解码部22解码出的图片编码方法选择信息输出到运动补偿部24、选择开关25以及环路过滤器27。
预测误差解码部23如果从可变长解码部22接收到压缩数据，则与图1的局部解码部6同样地，使用该压缩数据中包含的量化参数，对该压缩数据进行逆量化来求出DCT系数，实施针对该DCT系数的逆DCT处理，从而计算表示差分图像的预测误差信号解码值（与从图1的编码模式判定部4输出的预测差分信号相当的信号）（步骤ST15）。
在选择开关25中，如果从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思，则选择由预测误差解码部23计算出的预测误差信号解码值并输出到加法器26（步骤ST16）。
另一方面，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则选择全零值并输出到加法器26（步骤ST17）。
运动补偿部24如果从可变长解码部22接收到预测参数，则从帧存储器28中保存的1帧以上的参照图像中，读出该预测参数内的识别编号表示的参照图像。
运动补偿部24在从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思的情况下，如果从可变长解码部22输出的预测参数内的运动预测模式是运动预测模式A（步骤ST18），则与图1的运动补偿预测部2同样地，通过运动预测模式A生成预测图像A（步骤ST19）。
但是，运动补偿部24与图1的运动补偿预测部2不同，自身不实施运动矢量的搜索处理，而使用从可变长解码部22输出的预测参数内的运动矢量。
另一方面，如果从可变长解码部22输出的预测参数内的运动预测模式是运动预测模式B（步骤ST18），则与图1的运动补偿预测部2同样地，通过运动预测模式B生成预测图像B（步骤ST20）
即，运动补偿部24根据运动参数存储器21中保存的已解码宏块的运动矢量，生成解码对象的宏块的直接矢量，实施使用该直接矢量的运动补偿预测处理来生成预测图像B。
另外，对于运动补偿部24，如果生成该宏块的预测图像，则在通过运动预测模式B生成接下来的宏块的预测图像的情况下具备该运动补偿部24，所以将1画面量的、该宏块的预测图像的生成中使用的运动矢量（直接矢量）、关联信息（运动预测模式B、参照图像的识别编号、预测误差量等）保存到运动参数存储器21。
在运动补偿部24中，如果从可变长解码部22输出的图片编码方法控制信息表示“进行跳跃图片编码”意思，则与图1的运动补偿预测部2同样地，通过运动预测模式B生成预测图像B（步骤ST21）。
加法器26在通过选择开关25选择了预测误差信号解码值的情况下，通过相加该预测误差信号解码值和表示由运动补偿部24生成的预测图像A或者预测图像B的预测信号，生成表示解码图像的解码图像信号（步骤ST22）。
另一方面，在由选择开关25选择了全零值的情况下，通过相加该全零值和表示由运动补偿部24生成的预测图像B的预测信号，生成表示解码图像的解码图像信号（步骤ST23）。
在环路过滤器27中，如果从可变长解码部22输出的图片编码方法控制信息表示“进行通常的图片编码”意思，则与图1的环路过滤器9同样地，使用针对DCT块边界的块失真去除过滤器（解块过滤器），实施对由加法器26生成的解码图像中包含的编码失真进行补偿的失真补偿处理（步骤ST24）。
另一方面，如果该图片编码方法控制信息表示“进行跳跃图片编码”意思，则与图1的环路过滤器9同样地，实施对预测图像的运动矢量分配区域中发生的块边界（在运动预测模式B下，宏块边界）的不连续性进行缓和的运动块边界平滑化处理（步骤ST25）。
在帧存储器28中，从环路过滤器27输出的再生图像（过滤处理后的解码图像）成为参照图像。
如以上说明，根据该实施方式1，在运动补偿部24中，如果由可变长解码部22解码的图片编码方法控制信息表示“进行通常的图片编码”意思，则使用由可变长解码部22解码的运动矢量，通过运动预测模式A生成预测图像A，如果由可变长解码部22解码的图片编码方法控制信息表示“进行跳跃图片编码”意思，则通过运动预测模式B生成预测图像，相加由运动补偿部24生成的预测图像和从预测误差解码部23输出的差分图像，生成与图像编码装置的输入图像相当的解码图像，所以起到能够根据从图像编码装置发送的比特流再生质量高的图像的效果。
另外，根据该实施方式1，如果由可变长解码部22解码的图片编码方法控制信息表示“进行通常的图片编码”意思，则环路过滤器27实施对解码图像中包含的编码失真进行补偿的失真补偿处理，在该图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，环路过滤器27实施对块的边界中存在的不连续性进行缓和的块边界平滑化处理，所以起到能够提高再生图像的质量的效果。
实施方式2.
在上述实施方式1中，示出了在图片编码方法控制信息表示“进行跳跃图片编码”意思的情况下，设为运动预测模式B是AVC的直接预测模式，运动补偿预测部2生成预测图像B的例子，但不限于运动预测模式B是AVC的直接预测模式，也可以作为其他模式，运动补偿预测部2生成预测图像B。
以下，具体说明由运动补偿预测部2执行的预测图像B的生成处理。
图10是示出由运动补偿预测部2执行的预测图像B的生成处理（针对已编码图片Ft－1、Ft＋1，将时间上处于正中间的图片Ft作为跳跃图片而进行编码的情况的生成处理）的一个例子的说明图。
另外，图11是示出宏块X的运动矢量df（x，t）的推测内容的说明图。
在运动补偿预测部2中，作为通过运动预测模式B生成预测图像B的准备，如果作为P图片或者其以后的运动补偿预测中参照的图像对图片F进行了编码，则将该图片F内的多个宏块的运动预测模式、运动矢量、运动预测误差量保存到运动参数存储器1。
运动补偿预测部2在如图10所示，针对已编码图片Ft－1、Ft＋1，将在时间上处于正中间的图片Ft作为跳跃图片进行编码的情况下，关于处理对象的宏块，实施图10所示的双向插值。
通过下述式（4）提供该情况的插值式。
f ( x , t ) = f ( x + d f ( x , t ) , t - 1 ) + f ( x + d b ( x , t ) , t + 1 ) + 1 2 - - - ( 4 )
在式（4）中，df（x，t）以及db（x，t）是运动矢量，根据运动参数存储器1中保存的已编码图片Ft+1的运动矢量，在图11所示的步骤中通过推测而求出。
首先，运动补偿预测部2从运动参数存储器1取得并参照构成了已编码图片Ft+1中的区域R的9个宏块（处于与编码对象的图片Ft中的处理对象的宏块在X空间上相同的位置的已编码图片Ft+1内的宏块、和位于该宏块的附近的8个宏块）的运动矢量、运动预测模式以及预测残差量。
此时，如果将运动矢量设为d（x＋vi，t＋1）、0≦i≦8、（V4=0）、将预测误差量设为e（x＋vi，t＋1）、0≦i≦8、（V4=0），则通过进行下述式（5）的运算，能够推测作为针对插值图像上的处理相应块中的已编码图片Ft－1的参照矢量的运动矢量df（x，t）。
Figure BDA00002202486900301
其中，
Figure BDA00002202486900303
是vi下的预测残差绝对值和。
通过用预测误差量的倒数对矢量进行加权，提供预测误差量小的块中的矢量强的权重。
此处的运动矢量df（x，t）的推测方法是基于预测误差量越小，矢量自身的可靠性越高，预测残差绝对值和越大，矢量自身的可靠性越低这样的性质的方法。
α是通过图片Ft与图片Ft+1之间的时间间隔确定的权重系数。其中，从上述运算，去除构成了图11所示的R区域的9个宏块中的被帧内编码的块。
在区域R内的9个宏块中的、一定的比例以上是帧内编码的块的情况下，推测为运动矢量df（x，t）是（0，0）。
通过如该实施方式2那样，进行运动矢量df（x，t）的推测，相比于仅通过直接预测来推测运动矢量的情况，能够实现考虑了运动矢量的可靠性的高精度的运动矢量推测。因此，能够改善跳跃图片的质量，所以能够在编码处理过程中利用更多的跳跃图片，能够提高整体的符号量削减效果。
另外，也可以构成为在求出生成跳跃图片的推测运动矢量时，预先将空间/时间上位于附近的多个运动矢量保持为推测运动矢量候补，从其中通过编码装置单独或者编码装置和解码装置的合作来选择最佳的推测运动矢量，而用于跳跃图片的解码图像生成。在通过编码装置选择的情况下，针对求出推测运动矢量的每个单位将最佳的推测运动矢量的索引复用到比特流。另一方面，在编码装置和解码装置侧使用相同的判定方法来选择的情况下，在解码装置侧需要用于推测运动矢量选择的追加处理，但另一方面，无需将推测运动矢量的索引复用到比特流，所以能够提高编码效率。通过这样构成，能够从多个候补中选择推测运动矢量，所以具有即使在通过某特定的推测方法唯一地得到的推测运动矢量的精度不充分的情况下，也能够进行维持了质量的编码的效果。
产业上的可利用性
本发明的图像编码装置、图像解码装置、图像编码方法以及图像解码方法能够提高接收侧的再生图像的质量，所以适用于图像压缩编码技术、压缩图像数据传送技术等。

Claims (13)

1.一种图像编码装置，针对每个规定的块使用运动补偿预测来对输入图像进行压缩编码，其特征在于，具备：
运动检测单元，检测所述块的运动矢量；
第1预测图像生成单元，使用由所述运动检测单元检测出的运动矢量来生成第1预测图像；
存储器，保持由所述运动检测单元检测出的运动矢量；
运动矢量生成单元，根据所述存储器中保持的运动矢量，生成编码对象的块的运动矢量；
第2预测图像生成单元，使用由所述运动矢量生成单元生成的运动矢量，生成第2预测图像；
编码单元，对由所述第1预测图像生成单元生成的第1预测图像与编码对象的块的差分图像进行编码，并且对所述第1预测图像的生成中使用的运动矢量进行编码；
局部解码单元，生成所述差分图像的局部解码图像，将所述局部解码图像加到所述第1预测图像，从而生成局部解码图像；以及
过滤单元，对由所述第2预测图像生成单元生成的第2预测图像，进行针对块边界的平滑化处理，
将由所述局部解码单元得到的所述块的第1局部解码图像、和由所述过滤单元得到的图像中的某一个选择为由1个或者多个所述块构成的规定图像区域内的局部解码图像，将该选择的结果复用到比特流来进行编码传送。
2.一种图像编码装置，其特征在于，具备：
预测图像生成单元，具备第1预测图像生成方式和第2预测图像生成方式，在该第1预测图像生成方式中，针对构成输入图像的每个块，在编码对象的块与参照图像之间搜索运动矢量，实施使用所述运动矢量的运动补偿预测处理来生成预测图像，在该第2预测图像生成方式中，根据已编码块的运动矢量，生成编码对象的块的直接矢量，实施使用所述直接矢量的运动补偿预测处理来生成预测图像；
差分图像选择单元，评价编码对象的块和由所述预测图像生成单元通过第1预测图像生成方式生成的预测图像之间的差分图像的编码效率，并且评价编码对象的块和由所述预测图像生成单元通过第2预测图像生成方式生成的预测图像之间的差分图像的编码效率，选择所述编码效率高的一方的差分图像；
量化单元，对由所述差分图像选择单元选择出的差分图像进行量化，输出所述差分图像的量化系数；以及
可变长编码单元，对从所述量化单元输出的量化系数以及表示与由所述差分图像选择单元选择出的差分图像相关的预测图像是通过第1预测图像生成方式生成的预测图像、还是通过第2预测图像生成方式生成的预测图像的预测图像识别信息进行可变长编码，并且在由所述差分图像选择单元选择出的差分图像是与通过第1预测图像生成方式生成的预测图像相关的差分图像的情况下，对由所述预测图像生成单元搜索出的运动矢量进行可变长编码而生成编码数据。
3.根据权利要求2所述的图像编码装置，其特征在于，
预测图像生成单元在被输入了指示使用第1预测图像生成方式和第2预测图像生成方式这双方的控制信息的情况下，通过第1预测图像生成方式生成预测图像，并且通过第2预测图像生成方式生成预测图像，在被输入了指示仅使用第2预测图像生成方式的控制信息的情况下，不通过第1预测图像生成方式生成预测图像，而仅通过第2预测图像生成方式生成预测图像。
4.根据权利要求3所述的图像编码装置，其特征在于，
在被输入了指示仅使用第2预测图像生成方式的控制信息的情况下，差分图像选择单元将表示编码对象的块与由预测图像生成单元通过第2预测图像生成方式生成的预测图像之间的差分图像的预测误差信号置换为零值。
5.根据权利要求4所述的图像编码装置，其特征在于，
在被输入了指示仅使用第2预测图像生成方式的控制信息的情况下，量化单元不进行针对表示由差分图像选择单元选择出的差分图像的预测误差信号的量化处理，将零值的预测误差信号输出到可变长编码单元。
6.根据权利要求2所述的图像编码装置，其特征在于，
具备参照图像生成单元，该参照图像生成单元对从量化单元输出的量化系数进行逆量化，相加该逆量化结果表示的差分图像和由预测图像生成单元生成的预测图像而生成局部解码图像，将所述局部解码图像作为参照图像而保存到帧存储器，
在通过第1预测图像生成方式生成了所述预测图像的情况下，实施对所述局部解码图像中包含的编码失真进行补偿的失真补偿处理，在通过第2预测图像生成方式生成了所述预测图像的情况下，所述参照图像生成单元实施对块的边界中存在的不连续性进行缓和的块边界平滑化处理。
7.根据权利要求6所述的图像编码装置，其特征在于，
在被输入了指示仅使用第2预测图像生成方式的控制信息的情况下，参照图像生成单元不进行针对从量化单元输出的量化系数的逆量化处理，将由预测图像生成单元生成的预测图像处理为局部解码图像。
8.一种图像解码装置，将针对每个规定的块使用运动补偿预测对图像进行压缩编码而得到的比特流作为输入，针对每个所述块进行解码扩展处理，其特征在于，具备：
第1预测图像生成单元，针对每个所述块根据比特流对运动矢量进行解码，使用该运动矢量来生成第1预测图像；
解码单元，针对每个所述块，根据比特流对运动补偿预测的差分图像的编码数据进行解码，根据该编码数据生成解码差分图像；
加法单元，相加所述第1预测图像和所述解码差分图像而得到解码图像；
存储器，保持根据所述比特流解码出的运动矢量；
运动矢量生成单元，根据所述存储器中保持的运动矢量，生成解码对象的块的运动矢量；
第2预测图像生成单元，使用由所述运动矢量生成单元生成的运动矢量，生成第2预测图像；以及
过滤单元，对由所述第2预测图像生成单元生成的第2预测图像，进行针对块边界的平滑化处理，
按照由1个或者多个所述块构成的规定图像区域的单位，根据比特流解码出识别信息，根据所述识别信息生成最终解码图像，其中该识别信息表示在该图像区域中的所有所述块中从所述加法单元输出的解码图像、和从所述过滤单元输出的图像的哪一个为最终的解码图像。
9.一种图像解码装置，其特征在于，具备：
可变长解码单元，根据编码数据，解码出量化系数、和表示在图像编码装置中通过第1预测图像生成方式生成了预测图像、还是通过第2预测图像生成方式生成了预测图像的预测图像识别信息，并且在通过第1预测图像生成方式生成了预测图像的情况下，根据编码数据解码出运动矢量；
逆量化单元，对由所述可变长解码单元解码出的量化系数进行逆量化；
预测图像生成单元，在由所述可变长解码单元解码出的预测图像识别信息表示在图像编码装置中通过第1预测图像生成方式生成了预测图像的意思的情况下，实施使用由所述可变长解码单元解码出的运动矢量的运动补偿预测处理来生成预测图像，在由所述可变长解码单元解码出的预测图像识别信息表示在所述图像编码装置侧通过第2预测图像生成方式生成了预测图像的意思的情况下，根据已解码块的运动矢量，生成解码对象的块的直接矢量，实施使用所述直接矢量的运动补偿预测处理来生成预测图像；以及
解码图像生成单元，相加由所述预测图像生成单元生成的预测图像与所述逆量化单元的逆量化结果表示的差分图像，生成与所述图像编码装置的输入图像相当的解码图像。
10.根据权利要求9所述的图像解码装置，其特征在于，
解码图像生成单元在由可变长解码单元解码出的预测图像识别信息表示在图像编码装置侧通过第2预测图像生成方式生成了预测图像的意思的情况下，将由预测图像生成单元生成的预测图像处理为解码图像。
11.根据权利要求9所述的图像解码装置，其特征在于，
在由可变长解码单元解码出的预测图像识别信息表示在图像编码装置侧通过第1预测图像生成方式生成了预测图像的意思的情况下，实施对解码图像中包含的编码失真进行补偿的失真补偿处理，在由所述可变长解码单元解码出的预测图像识别信息表示在图像编码装置侧通过第2预测图像生成方式生成了预测图像的意思的情况下，解码图像生成单元实施对块的边界中存在的不连续性进行缓和的块边界平滑化处理。
12.一种图像编码方法，其特征在于，具备：
第1预测图像生成处理步骤，预测图像生成单元实施第1预测图像生成方式，在该第1预测图像生成方式中，针对构成输入图像的每个块，在编码对象的块与参照图像之间搜索运动矢量，实施使用所述运动矢量的运动补偿预测处理来生成预测图像；
第2预测图像生成处理步骤，所述预测图像生成单元实施第2预测图像生成方式，在该第2预测图像生成方式中，根据已编码块的运动矢量生成编码对象的块的直接矢量，实施使用所述直接矢量的运动补偿预测处理来生成预测图像；
差分图像选择处理步骤，差分图像选择单元评价编码对象的块与在所述第1预测图像生成处理步骤中生成的预测图像之间的差分图像的编码效率，并且评价编码对象的块与在所述第2预测图像生成处理步骤中生成的预测图像之间的差分图像的编码效率，选择所述编码效率高的一方的差分图像；
量化处理步骤，量化单元对在所述差分图像选择处理步骤中选择出的差分图像进行量化，输出所述差分图像的量化系数；以及
可变长编码处理步骤，可变长编码单元对在所述量化处理步骤中输出的量化系数以及表示与在所述差分图像选择处理步骤中选择出的差分图像相关的预测图像是通过第1预测图像生成方式生成的预测图像、还是通过第2预测图像生成方式生成的预测图像的预测图像识别信息进行可变长编码，并且在由所述差分图像选择单元选择出的差分图像是与通过第1预测图像生成方式生成的预测图像相关的差分图像的情况下，对在所述第1预测图像生成处理步骤中搜索出的运动矢量进行可变长编码来生成编码数据。
13.一种图像解码方法，其特征在于，具备：
可变长解码处理步骤，可变长解码单元根据编码数据，解码出量化系数、和表示在图像编码装置中通过第1预测图像生成方式生成了预测图像、还是通过第2预测图像生成方式生成了预测图像的预测图像识别信息，并且在通过第1预测图像生成方式生成了预测图像的情况下，根据编码数据解码出运动矢量；
逆量化处理步骤，逆量化单元对在所述可变长解码处理步骤中解码出的量化系数进行逆量化；
预测图像生成处理步骤，预测图像生成单元在所述可变长解码处理步骤中解码出的预测图像识别信息表示在图像编码装置中通过第1预测图像生成方式生成了预测图像的意思的情况下，实施使用在所述可变长解码处理步骤中解码出的运动矢量的运动补偿预测处理来生成预测图像，在所述可变长解码处理步骤中解码出的预测图像识别信息表示在所述图像编码装置中通过第2预测图像生成方式生成了预测图像的意思的情况下，根据已解码块的运动矢量，生成解码对象的块的直接矢量，实施使用所述直接矢量的运动补偿预测处理来生成预测图像；以及
解码图像生成处理步骤，解码图像生成单元相加在所述预测图像生成处理步骤中生成的预测图像和所述逆量化处理步骤中的逆量化结果表示的差分图像，生成与所述图像编码装置的输入图像相当的解码图像。
CN201180016494.7A 2010-03-31 2011-03-07 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Active CN102823250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-081830 2010-03-31
JP2010081830 2010-03-31
PCT/JP2011/001329 WO2011121894A1 (ja) 2010-03-31 2011-03-07 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Publications (2)

Publication Number Publication Date
CN102823250A true CN102823250A (zh) 2012-12-12
CN102823250B CN102823250B (zh) 2015-08-19

Family

ID=44711665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180016494.7A Active CN102823250B (zh) 2010-03-31 2011-03-07 图像编码装置、图像解码装置、图像编码方法以及图像解码方法

Country Status (7)

Country Link
US (1) US8948243B2 (zh)
EP (1) EP2555523A4 (zh)
JP (1) JPWO2011121894A1 (zh)
KR (1) KR101420957B1 (zh)
CN (1) CN102823250B (zh)
TW (1) TW201206203A (zh)
WO (1) WO2011121894A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465923A (zh) * 2016-06-06 2017-12-12 谷歌公司 在可变块尺寸的视频译码中的自适应重叠块预测

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
EP2604031B1 (en) * 2010-08-10 2017-03-08 Google Technology Holdings LLC Method and apparatus for streaming media content using variable duration media segments
JP5594841B2 (ja) * 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
WO2013111593A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
JP6422011B2 (ja) 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
JP6921870B2 (ja) * 2016-05-24 2021-08-18 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法及び記録媒体
US10390033B2 (en) * 2016-06-06 2019-08-20 Google Llc Adaptive overlapped block prediction in variable block size video coding
KR20190029748A (ko) 2016-09-22 2019-03-20 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN110490213B (zh) * 2017-09-11 2021-10-29 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
WO2021180710A1 (en) * 2020-03-12 2021-09-16 Interdigital Vc Holdings France Method and apparatus for video encoding and decoding
US11949877B2 (en) * 2021-10-01 2024-04-02 Microsoft Technology Licensing, Llc Adaptive encoding of screen content based on motion type

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1535018A (zh) * 2003-12-31 2004-10-06 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
JP2005102170A (ja) * 2003-08-14 2005-04-14 Intervideo Inc ビデオエンコーダにおける離散的余弦変換係数に適応したフィルタリングの方法およびシステム
CN1830213A (zh) * 2003-12-02 2006-09-06 成均馆大学教 用于视频编码的方法和设备
CN101448162A (zh) * 2001-12-17 2009-06-03 微软公司 处理视频图像的方法
JP2009232324A (ja) * 2008-03-25 2009-10-08 Panasonic Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0817499A3 (en) * 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
DE69817460T2 (de) * 1997-06-09 2004-06-09 Hitachi, Ltd. Bildsequenzdekodierungsverfahren
CN1220391C (zh) * 2001-06-29 2005-09-21 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
JP2003102013A (ja) 2001-09-21 2003-04-04 Hitachi Ltd 復号装置、符号化装置、及び符号化復号装置
JP4610195B2 (ja) 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2007513566A (ja) 2003-12-02 2007-05-24 ソンギュングァン ユニヴァーシティ 動画符号化方法及び装置
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US8204126B2 (en) 2008-01-10 2012-06-19 Panasonic Corporation Video codec apparatus and method thereof
KR101505195B1 (ko) 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
JP5219089B2 (ja) * 2009-04-30 2013-06-26 株式会社メガチップス 画像データの生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162A (zh) * 2001-12-17 2009-06-03 微软公司 处理视频图像的方法
JP2005102170A (ja) * 2003-08-14 2005-04-14 Intervideo Inc ビデオエンコーダにおける離散的余弦変換係数に適応したフィルタリングの方法およびシステム
CN1830213A (zh) * 2003-12-02 2006-09-06 成均馆大学教 用于视频编码的方法和设备
CN1535018A (zh) * 2003-12-31 2004-10-06 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
JP2009232324A (ja) * 2008-03-25 2009-10-08 Panasonic Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465923A (zh) * 2016-06-06 2017-12-12 谷歌公司 在可变块尺寸的视频译码中的自适应重叠块预测
CN107465923B (zh) * 2016-06-06 2020-09-25 谷歌有限责任公司 在可变块尺寸的视频译码中的自适应重叠块预测

Also Published As

Publication number Publication date
KR101420957B1 (ko) 2014-07-30
EP2555523A4 (en) 2016-05-11
CN102823250B (zh) 2015-08-19
US20130022124A1 (en) 2013-01-24
WO2011121894A1 (ja) 2011-10-06
EP2555523A1 (en) 2013-02-06
KR20130026436A (ko) 2013-03-13
TW201206203A (en) 2012-02-01
JPWO2011121894A1 (ja) 2013-07-04
US8948243B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
CN102823250B (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN100566411C (zh) 消除块效应的方法、介质和滤波器
CN104320666B (zh) 图像处理设备和方法
CN102047665B (zh) 运动图像编码方法以及运动图像解码方法
CN102450018A (zh) 影像编码装置、影像解码装置、影像编码方法及影像解码方法
CN103222265A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN102077596A (zh) 图像处理设备和图像处理方法
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
CN105900420A (zh) 选择运动向量精度
US20100074518A1 (en) Method and apparatus for encoding image
CN102090065A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN103503457A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
CN102934438A (zh) 运动图像编码装置以及运动图像解码装置
CN103688543A (zh) 进行图像编码和解码的设备和方法
CN102883159A (zh) 图像编码方法以及图像解码方法
CN102077594A (zh) 图像处理设备和方法及程序
CN102804779A (zh) 图像处理装置和方法
CN102640495A (zh) 运动向量编码/解码方法和装置及使用该方法和装置的图像编码/解码方法和装置
CN103650506A (zh) 用于时间预测的联合亚像素插值滤波器
WO2008148272A1 (en) Method and apparatus for sub-pixel motion-compensated video coding
CN102186081B (zh) 一种基于梯度向量的h.264帧内模式选择方法
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
KR20140129423A (ko) 인트라 예측 방법 및 장치
CN104702959B (zh) 一种视频编码的帧内预测方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant