CN102318347B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102318347B
CN102318347B CN201080007893.2A CN201080007893A CN102318347B CN 102318347 B CN102318347 B CN 102318347B CN 201080007893 A CN201080007893 A CN 201080007893A CN 102318347 B CN102318347 B CN 102318347B
Authority
CN
China
Prior art keywords
residual amount
energy
direct model
object piece
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080007893.2A
Other languages
English (en)
Other versions
CN102318347A (zh
Inventor
佐藤数史
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102318347A publication Critical patent/CN102318347A/zh
Application granted granted Critical
Publication of CN102318347B publication Critical patent/CN102318347B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能够抑制压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。SDM残余能量计算单元(91)和TDM残余能量计算单元(92)分别利用空间直接模式和时间直接模式中的运动向量信息、对象块的经编码***像素组来计算残余能量。比较单元(93)将空间直接模式中的残余能量与时间直接模式中的残余能量相比较。直接模式确定单元(94)根据比较结果选择较小残余能量作为对象块的最优直接模式。该设备例如可以应用于利用H.264/AVC***执行编码的图像编码设备。

Description

图像处理设备和方法
技术领域
本发明图像处理设备和方法，并且更具体地涉及能够抑制将被压缩的压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。
背景技术
近年来，为了执行信息的高效发送和累积，利用作为图像信息的特征的冗余，通过采用将图像信息处理为数字信号的编码***来对图像进行压缩编码并且此时通过诸如离散余弦变换等的正交变换和运动补偿对图像进行压缩的设备已广泛普及。这样的编码方法的示例包括MPEG(运动图像专家组)等。
具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码***，并且是一种涵盖了隔行扫描图像和逐行扫描图像两者以及标准清晰图像和高清晰图像的标准。例如，MPEG2当前被广泛用在用于专业运用和消费者运用的广范围应用中。例如在具有720×480像素的标准分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩***，4至8Mbps的代码量(比特率)被分配。例如在具有1920×1088像素的高分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩***，18至22Mbps的代码量(比特率)被分配。因此，可以实现高压缩率和优良的图像质量。
MPEG2起初致力于适合于广播运用的高图像质量编码，但不处理低于MPEG1的代码量(比特率)，即，具有较高压缩率的编码***。由于个人数字助理的普及，预期对这种编码***的需求将增长，并且响应于此，MPEG4编码***的标准化已被执行。关于图像编码***，其规范已在1998年12月被确认为如ISO/IEC 14496-2的国际标准。
此外，近年来，已在进行以用于电视会议运用的图像编码为目标的、称为H.26L(ITU-T Q6/16 VCEG)的标准的标准化。对于H.26L，虽然众所周知与诸如MPEG2和MPEG4之类的传统编码***相比需要用于其编码和解码的更大计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，以该H.26L为基础利用H.26L所不支持的功能以实现更高编码效率的标准化已被执行，如增强压缩视频编码联合模型。作为标准化的日程表，H.264和MPEG-4第10部分(高级视频编码，以下被写为H.264/AVC)在2003年3月成为国际标准。
顺便提及，在MPEG2***中，1/2像素精度的运动预测/补偿处理已通过线性插值处理被执行。另一方面，在H.264/AVC***中，1/4像素精度的预测/补偿利用6抽头FIR(有限冲激响应滤波器)滤波器被执行。
在MPEG2***中，在帧运动补偿模式的情况中，运动预测和补偿处理是以16×16像素为单位来执行的。在场运动补偿模式的情况中，运动预测和补偿处理是针对第一场和第二场的每场以16×8像素为单位来执行的。
另一方面，在H.264/AVC***中，运动预测和补偿处理可以以块大小作为变量来执行。具体地，在H.264/AVC***中，由16×16像素构成的一个宏块可被划分为16×16，16×8，8×16或8×8的分割中的一种，其中每种分割具有独立的运动向量信息。此外，8×8分割可被划分为8×8，8×4，4×8或4×4的子分割中的一种，其中，每种子分割具有独立的运动向量信息。
然而，在H.264/AVC***中，通过执行1/4像素精度和块可变的运动预测和补偿处理，使得大量运动向量信息被生成，如果它们不加改变地被编码则导致编码效率恶化。
因此，已提出通过如下方法来抑制编码效率的恶化，该方法通过中间操作等利用已被编码的相邻块的运动向量信息来生成从现在起将被编码的对象块的预测运动向量信息。
此外，由于B图片中的运动向量信息的信息量巨大，因此在H.264/AVC***中提供了称为直接模式(direct mode)的编码模式。该直接模式是一种用于通过预测从经编码块的运动信息生成运动信息的编码模式，并且不需要用于编码运动信息所需的比特数目，从而可以改进压缩编码。
直接模式包括空间直接模式(Spatial Direct Mode)和时间直接模式(Temporal Direct Mode)两种。空间直接模式是一种主要利用空间方向(图片内的水平和垂直二维空间)上的运动信息的相关性的模式，并且时间直接模式是一种主要利用时间方向上的运动信息的相关性的模式。
在这些空间直接模式和时间直接模式中，可以针对每个片段(slice)来切换所采用的模式。具体地，在NPL 1中的“7.3.3.Slice header syntax”中进行了描述，其中，指明了在对象片段中，“direct_spatial_mv_pred_flag”指定要采用空间直接模式和时间直接模式中的哪个。
引用列表
非专利文献
NPL 1：“ITU-T Recommendation H.264 Advanced video coding forgeneric audiovisual”，November 2007(2007年11月)
发明内容
技术问题
顺便提及，即使在同一片段中，上述空间直接模式和时间直接模式中的哪个提供更好的编码效率对于每个宏块或每个块来说是不同的。
然而，在H.264/AVC***中，对它们的切换仅针对每个片段来执行。此外，如果为将被编码的每个宏块或每块选择最优直接模式，并且指示哪个直接模式被使用的信息被发送给图像解码设备，则这将导致编码效率的恶化。
本发明是鉴于这样的情形作出的，本发明抑制压缩信息的增加并且还提高预测精度。
问题的解决方案
根据本发明第一方面的图像处理设备包括：空间模式残余能量计算装置，被配置为使用对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用对象块的根据时间直接模式的运动向量信息来计算采用了***像素的时间模式残余能量；以及直接模式确定装置，被配置为在由空间模式残余能量计算装置计算出的空间模式残余能量等于或小于由时间模式残余能量计算装置计算出的时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。
图像处理设备还可以包括：编码装置，被配置为根据由直接模式确定装置确定的空间直接模式或时间直接模式来对对象块编码。
空间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算空间模式残余能量，时间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算时间模式残余能量，并且直接模式确定装置可以比较针对Y信号分量、Cb信号分量和Cr信号分量的每个的空间模式残余能量与时间模式残余能量之间的大小关系，以判断对象块在空间直接模式中被编码还是对象块在时间直接模式中被编码。
空间模式残余能量计算装置可以从对象块的亮度信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量来计算时间模式残余能量。
空间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算时间模式残余能量。
图像处理设备还可以包括：空间模式运动向量计算装置，被配置为计算根据空间直接模式的运动向量信息；以及时间模式运动向量计算装置，被配置为计算根据时间直接模式的运动向量信息。
根据本发明第一方面的图像处理方法包括以下步骤：使得图像处理设备使用对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；使用对象块的根据时间直接模式的运动向量信息来计算采用了***像素的时间模式残余能量；以及在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。
根据本发明第二方面的图像处理设备包括：空间模式残余能量计算装置，被配置为使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用对象块的根据时间直接模式的运动向量信息来计算采用了***像素的时间模式残余能量；以及直接模式确定装置，被配置为在由空间模式残余能量计算装置计算出的空间模式残余能量等于或小于由时间模式残余能量计算装置计算出的时间模式残余能量的情况中，确定在空间直接模式中执行对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。
图像处理设备还可以包括：运动补偿装置，被配置为根据由直接模式确定装置确定的空间直接模式或时间直接模式来生成对象块的预测图像。
空间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算空间模式残余能量，时间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算时间模式残余能量，并且直接模式确定装置可以比较针对Y信号分量、Cb信号分量和Cr信号分量的每个的空间模式残余能量与时间模式残余能量之间的大小关系，以判断对象块的预测图像的生成在空间直接模式中被执行还是对象块的预测图像的生成在时间直接模式中被执行。
空间模式残余能量计算装置可以从对象块的亮度信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量来计算时间模式残余能量。
空间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算时间模式残余能量。
根据本发明第二方面的图像处理方法包括以下步骤：使得图像处理设备使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；使用对象块的根据时间直接模式的运动向量信息来计算采用了***像素的时间模式残余能量；以及在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。
在本发明的第一方面中，对象块的根据空间直接模式的运动向量信息被用来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中，对象块的根据时间直接模式的运动向量信息被用来计算采用了***像素的时间模式残余能量。接下来，在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。
在本发明的第二方面中，在直接模式中被编码的对象块的根据空间直接模式的运动向量信息被用来计算采用了***像素的空间模式残余能量，***像素以预定位置关系与对象块相邻并且还被包括在经解码图像中，并且对象块的根据时间直接模式的运动向量信息被用来计算采用了***像素的时间模式残余能量。接下来，在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。
注意，上述图像处理设备可以是单独设备，或者可以是组成单个图像编码设备或图像解码设备的内部块。
本发明的有益效果
根据本发明的第一方面，用于对对象块执行编码的直接模式可被确定。因此，根据本发明的第一方面，可以抑制压缩信息的增加，并且还可以提高预测精度。
根据本发明的第二方面，用于执行对象块的预测图像的生成的直接模式可被确定。此外，根据本发明的第二方面，可以抑制压缩信息的增加，并且还可以提高预测精度。
附图说明
图1是图示出应用了本发明的图像编码设备的实施例的配置的框图。
图2是用于描述具有可变块大小的运动预测和补偿处理的示图。
图3是用于描述1/4像素精度的运动预测和补偿处理的示图。
图4是用于描述多参考帧的运动预测和补偿方法的示图。
图5是用于描述运动向量信息生成方法的示例的示图。
图6是图示出直接模式选择单元的配置示例的框图。
图7是用于描述图1中的图像编码设备的编码处理的流程图。
图8是用于描述图7的步骤S21中的预测处理的流程图。
图9是用于描述图8的步骤S31中的帧内预测处理的流程图。
图10是用于描述图8的步骤S32中的帧间运动预测处理的流程图。
图11是用于描述图8的步骤S33中的直接模式预测处理的流程图。
图12是用于描述时间直接模式的示图。
图13是用于描述残余能量(residual energy)计算的示例的示图。
图14是图示出应用了本发明的图像解码设备的实施例的配置的框图。
图15是用于描述图14中的图像解码设备的解码处理的流程图。
图16是用于描述图15的步骤S138中的预测处理的流程图。
图17是用于描述图16的步骤S175中的帧间模板运动预测处理的流程图。
图18是图示出扩展块大小的示例的示图。
图19是图示出计算机硬件的配置示例的框图。
图20是图示出应用了本发明的电视接收机的主要配置示例的框图。
图21是图示出应用了本发明的蜂窝电话的主要配置示例的框图。
图22是图示出应用了本发明的硬盘记录器的主要配置示例的框图。
图23是图示出应用了本发明的相机的主要配置示例的框图。
具体实施方式
现在参考附图描述本发明的实施例。
图像编码设备的配置示例
图1表示用作应用了本发明的图像处理设备的图像编码设备的实施例的配置。
该图像编码设备51例如利用H.264和MPEG-4第10部分(高级视频编码)(下面描述为H.264/AVC)***来对图像进行压缩编码。注意，图像编码设备51中的编码以块或宏块为单位来执行。下面，当提及将被编码的对象块时，将在块或宏块被包括在对象块中的假设下进行描述。
在图1的示例中，图像编码设备51包括A/D转换单元61、画面排序缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、直接模式选择单元76、预测图像选择单元77以及速率控制单元78。
A/D转换单元61对输入图像进行模数转换，并输出给画面排序缓冲器62以进行排序。画面排序缓冲器62将具有被排序用于显示的顺序的帧的图像排序为用于根据GOP(图片组)进行编码的帧顺序。
计算单元63从自画面排序缓冲器62读出的图像中减去由预测图像选择单元77选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元75的预测图像，并且将其差分信息输出给正交变换单元64。正交变换单元64对来自计算单元63的差分信息执行诸如离散余弦变换、Karhunen-Loève变换等的正交变换，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。
作为量化单元65的输出的经量化变换系数被输入无损编码单元66，并且经过诸如可变长度编码、算术编码等的无损编码并被压缩。
无损编码单元66从帧内预测单元74获取指示帧内预测，并且从运动预测/补偿单元75获取指示帧间预测和直接模式等的信息。注意，下面，指示帧内预测的信息也被称为帧内预测模式信息。此外，指示帧间预测的信息和指示直接模式的信息也分别被称为帧间预测模式信息和直接模式信息。
无损编码单元66对经量化的变换系数编码，并且还对指示帧内预测的信息和指示帧间预测和直接模式的信息等进行编码，并且将它们作为经压缩图像的头部信息的一部分。无损编码单元66将经编码数据提供给累积缓冲器67以用于累积。
例如，在无损编码单元66中，执行诸如可变长度编码或算术编码等的无损编码。可变长度编码的示例包括由H.264/AVC***确定的CAVLC(基于上下文的自适应可变长度编码)等。算术编码的示例包括CABAC(基于上下文的自适应二进制算术编码)。
累积缓冲器67将从无损编码单元66提供来的数据作为通过H.264/AVC***被编码的压缩图像输出给例如未在图中示出的下游存储设备或传送路径等。
此外，从量化单元65输出的经量化变换系数还被输入逆量化单元68，经过逆量化，并且然后在逆正交变换单元69中再经过逆正交变换。经过了逆正交变换的输出被计算单元70与从预测图像选择单元77提供来的预测图像相加，并被变为本地解码图像。解块滤波器71去除该解码图像中的块失真，并且然后提供给帧存储器72用于累积。图像在由解块滤波器71执行解块滤波器处理之前也被提供给帧存储器72用于累积。
开关73将累积在帧存储器72中的参考图像输出给运动预测/补偿单元75或帧内预测单元74。
在该图像编码设备51中，例如，I图片、B图片和P图片从画面排序缓冲器62被提供给帧内预测单元74作为将经过帧内预测(也称为帧内处理)的图像。此外，从画面排序缓冲器62读出的B图片和P图片被提供给运动预测/补偿单元75作为将经过帧间预测(也称为帧间处理)的图像。
帧内预测单元74基于从画面排序缓冲器62读出的将经过帧内预测的图像和从帧存储器72提供来的参考图像来对作为候选的所有帧内预测模式执行帧内预测处理，以生成预测图像。
此时，帧内预测单元74计算针对作为候选的所有帧内预测模式的成本函数值，并且将所计算出的其成本函数值提供了最小值的帧内预测模式选为最优帧内预测模式。
帧内预测单元74将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧内预测模式中生成的预测图像被预测图像选择单元77选择时，帧内预测单元74将指示该最优帧内预测模式的信息提供给无损编码单元66。无损编码单元66对该信息编码，并且将其作为压缩图像中的头部信息的一部分。
运动预测/补偿单元75针对作为候选的所有帧间预测模式执行运动预测和补偿处理。具体地，对于运动预测/补偿单元75，从画面排序缓冲器62读出的将经过帧内预测的图像被提供来，并且参考图像经由开关73从帧存储器72被提供来。运动预测/补偿单元75基于将经过帧帧间处理的图像以及参考图像，检测作为候选的所有帧间预测模式的运动向量，基于运动向量对参考图像进行压缩处理，并生成预测图像。
注意，运动预测/补偿单元75基于将经过帧间处理的图像以及参考图像来对B图片进行运动预测和补偿处理，并且基于直接模式生成预测图像。
运动向量信息在直接模式中不被存储在压缩图像中。具体地，在解码侧，在对象块周围的运动向量信息或者参考图片中，从共位块(co-locatedblock)的运动向量信息提取对象块的运动向量信息，共位块是具有与对象块相同坐标的块。因此，无需将运动向量信息发送给解码侧。
该直接模式包括空间直接模式(Spatial Direct Mode)和时间直接模式(Temporal Direct Mode)两种。空间直接模式是一种主要利用空间方向上(图片内的水平和垂直二维空间)的运动信息的相关性的模式，并且通常在图像包括运动速度不同的类似运动的情况中具有优点。另一方面，时间直接模式是一种主要利用时间方向上的运动信息的相关性的模式，并且通常在图像包括运动速度恒定的不同运动的情况中具有优点。
具体地，即使在同一片段中，最优直接模式是空间直接模式还是时间直接模式对于每个对象块来说是不同的。因此，根据空间直接模式的运动向量信息以及根据空间和时间直接模式的运动向量信息由运动预测/补偿单元75计算出，并且由直接模式选择单元76针对将被编码的对象块利用其运动向量信息来选出最优直接模式。
运动预测/补偿单元75计算根据空间直接模式和时间直接模式的运动向量信息，并且使用计算出的运动向量信息执行压缩处理并生成预测图像。此时，运动预测/补偿单元75将计算出的根据空间直接模式的运动向量信息和计算出的根据时间直接模式的运动向量信息输出给直接模式选择单元76。
此外，运动预测/补偿单元75计算对于用作候选的所有帧间预测模式以及由直接模式选择单元76选择的直接模式的成本函数值。运动预测/补偿单元75将计算出的成本函数值中提供了最小值的预测模式确定为最优帧间预测模式。
运动预测/补偿单元75将在最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧间预测模式中生成的预测图像被预测图像选择单元77选择时，运动预测/补偿单元75将指示该最优帧间预测模式的信息(帧间预测模式信息或直接模式信息)输出给无损编码单元66。
注意，根据需要，运动向量信息、标志信息、参考信息等被输出给无损编码单元66。无损编码单元66也对来自运动预测/补偿单元75的信息进行诸如可变长度编码、算术编码之类的无损编码处理，并且***压缩图像的头部部分中。
直接模式选择单元76使用来自运动预测/补偿单元75的根据空间直接模式和时间直接模式的运动向量信息来计算对应残余能量(预测误差)。此时，以预定位置关系与将被编码的对象块相邻的并被包括在经解码图像中的***像素与运动向量信息一起被用来计算残余能量。
直接模式选择单元76将根据空间直接模式和时间直接模式的两种残余能量相比较，选择具有较小残余能量的一个作为最优直接模式，并且将指示所选直接模式的类型的信息输出给运动预测/补偿单元75。
预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元75输出的成本函数值来从最优帧内预测模式和最优帧间预测模式中确定最优预测模式。预测图像选择单元77然后选择所确定的最优预测模式中的预测图像，并提供给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。
速率控制单元78基于累积在累积缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，以使得不会出现上溢或下溢。
H.264/AVC***的描述
图2是描述根据H.264/AVC***的运动预测和补偿中的块大小的示例的示图。在H.264/AVC***中，运动预测和补偿处理在以块大小作为变量的情况下来执行。
图2的上面一排按照从左边起的顺序示出了由16×16像素构成的宏块，该宏块被划分为16×16像素、16×8像素、8×16像素和8×8像素的分割。此外，图2的下面一排按照从左边起的顺序示出了8×8像素分割，该分割被划分为8×8像素子分割、8×4像素子分割、4×8像素子分割和4×4像素子分割。
具体地，在H.264/AVC***中，一个宏块可被划分为16×16像素、16×8像素、8×16像素或8×8像素分割中的一种，其中每种分割具有独立的运动向量信息。此外，8×8像素分割可被划分为8×8像素、8×4像素、4×8像素或4×4像素子分割中的一种，其中每种子分割具有独立的运动向量信息。
图3是用于描述利用H.264/AVC格式的1/4(四分之一)像素精度的预测/补偿处理的示图。在该H.264/AVC格式中，1/4像素精度的预测/补偿处理利用6抽头FIR(有限冲激响应滤波器)滤波器来执行。
在图3的示例中，位置A指示整数精度像素位置，位置b、c和d指示1/2像素精度位置，并且位置e1、e2和e3指示1/4像素精度位置。首先，下面，Clip()在以下的表达式(1)中被定义。
[数学表达式1]
Clip 1 ( a ) = 0 ; if ( a < 0 ) a ; otherwise max _ pix ; if ( a > max _ pix ) . . . ( 1 )
注意，当输入图像具有8比特精度时，max_pix的值为255。
利用6抽头FIR滤波器如下面的表达式(2)这样来生成位置b和d处的像素值。
[数学表达式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3
b，d＝Clip1((F+16)＞＞5)              …(2)
在水平方向和垂直方向上通过应用6抽头FIR滤波器如下面的表达式(3)这样来生成位置c处的像素值。
[数学表达式3]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3
或者
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3
c＝Clip1((F+512)＞＞10)               …(3)
注意，Clip处理仅当在水平方向和垂直方向两者上执行了乘积求和处理之后在最后被执行一次。
如下面的表达式(4)这样通过线性插值来生成位置e1至e3。
[数学表达式4]
e1＝(A+b+1)＞＞1
e2＝(b+d+1)＞＞1
e3＝(b+c+1)＞＞1    …(4)
图4是描述根据H.264/AVC***的多参考帧的预测和补偿处理的示图。在H.264/AVC***中，确定了多参考帧(Multi-Reference Frame)的运动预测和补偿方法。
在图4的示例中，示出了从现在起将被编码的对象帧Fn以及已编码帧Fn-5至Fn-1。帧Fn-1是在时间轴上在对象帧Fn之前一帧的帧，帧Fn-2是在对象帧Fn之前两帧的帧，并且帧Fn-3是在对象帧Fn之前三帧的帧。类似地，帧Fn-4是在对象帧Fn之前四帧的帧，并且帧Fn-5是在对象帧Fn之前五帧的帧。一般地，帧在时间轴上越接近对象帧Fn，则将被添加的参考图片编号(ref_id)越小。具体地，帧Fn-1具有最小的参考图片编号，并且此后参考图片编号以Fn-2，…，Fn-5的顺序变小。
在对象帧Fn中，块A1和块A2被显示，假设块A1与在对象帧Fn之前两帧的帧Fn-2中的块A1′相关，则搜索运动向量V1。类似地，假设块A2与在对象帧Fn之前四帧的帧Fn-4中的块A2′相关，则搜索运动向量V2。
如上所述，在H.264/AVC***中，在多个参考帧被存储在存储器中的情况下，可在一个帧(图片)中参考不同参考帧。具体地，例如，块A1参考帧Fn-2，并且块A2参考帧Fn-4，可以为一个图片中的每个块提供独立的参考帧信息(参考图片编号(ref_id))。
在H.264/AVC***中，通过执行如上面参考图2至图4描述的运动预测和补偿处理，大量运动向量信息被生成，并且如果它们不加改变地被编码，则将导致编码效率恶化。响应于此，在H.264/AVC***中，根据图5所示的方法，实现了运动向量编码信息的减少。
图5是描述根据H.264/AVC***的运动向量信息生成方法的示图。
在图5中的示例中，示出了从现在起将被编码的对象块E(例如，16×16像素)，以及与该对象块E相邻的已被编码的块A至块D。
具体地，块D与对象块E的左上部相邻，块B与对象块E的上部相邻，块C与对象块E的右上部相邻，并且块A与对象块E的左边相邻。注意，块A至块D未被切分的原因在于每个块表示具有上面参考图2描述的16×16像素至4×4像素中的一种结构的块。
例如，将关于X(＝A，B，C，D，E)的运动向量信息表达为mvX。首先，利用与块A、B和C有关的运动向量信息通过中值预测(medianprediction)如以下表达式(5)这样来生成关于对象块E的预测运动向量信息pmvE。
pmvE＝med(mvA，mvB，mvC)    …(5)
有关块C的运动向量信息可能由于诸如在图像帧的边缘、尚未被编码之类的原因而不可被使用(不可用)。在此情况中，使用有关块D的运动向量信息来取代有关块C的运动向量信息。
利用pmvE如以下表达式(6)那样来生成将被添加到压缩图像的头部部分的数据mvdE，作为关于对象块E的运动向量信息。
mvdE＝mvE-pmvE    …(6)
注意，在实际中，处理是针对运动向量信息的水平方向和垂直方向上的分量独立地执行的。
以这种方式，预测运动向量信息被生成，基于与相邻块的相关性生成的预测运动向量信息与运动向量信息之差被添加到压缩图像的头部部分，从而可以减少运动向量信息。
直接模式选择单元的配置示例
图6是图示出直接模式选择单元的详细配置示例的框图。注意，在图6的示例中，在运动预测/补偿单元75中，还图示出了执行后面在图11中描述的直接模式预测处理的一部分的单元。
在图6的示例的情况中，运动预测/补偿单元75被配置为包括空间直接模式(下面称为SDM)运动向量计算单元81和时间直接模式(下面称为TDM)运动向量计算单元82。
直接模式选择单元76包括SDM残余能量计算单元91、TDM残余能量计算单元92、比较单元93和直接模式确定单元94。
SDM运动向量计算单元81基于关于B图片的空间直接模式来执行运动预测和补偿处理，以生成预测图像。注意，在B图片的情况中，对于参考帧List0(L0)和List1(L1)两者来执行运动预测和补偿处理。
此时，在SDM运动向量计算单元81中，基于空间直接模式，运动向量directmvL0(空间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(空间)通过对象帧与L1参考帧之间的运动预测而被计算出。这些计算出的运动向量directmvL0(空间)和运动向量directmvL1(空间)被输出给SDM残余能量计算单元91。
TDM运动向量计算单元82基于关于B图片的时间直接模式来执行运动预测和补偿处理，以生成预测图像。
此时，在TDM运动向量计算单元82中，基于时间直接模式，运动向量directmvL0(时间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(时间)通过对象帧与L1参考帧之间的运动预测而被计算出。这些计算出的运动向量directmvL0(时间)和运动向量directmvL1(时间)被输出给TDM残余能量计算单元92。
SDM残余能量计算单元91获取由运动向量directmvL0(空间)和运动向量directmvL1(空间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。该***像素组NCUR例如是对象块周围的已经被编码的像素组。注意，将在后面参考图13描述***像素组NCUR的细节。
SDM残余能量计算单元91利用SAD(绝对差之和)，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，SDM残余能量计算单元91使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；空间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；空间)来计算残余能量SAD(空间)。该残余能量SAD(空间)通过下面的表达式(7)来计算。计算出的残余能量SAD(空间)被输出给比较单元93。
SAD(空间)＝SAD(NL0；空间)+SAD(NL1；空间)…(7)
TDM残余能量计算单元92获取由运动向量directmvL0(时间)和运动向量directmvL1(时间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。TDM残余能量计算单元92利用SAD，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，TDM残余能量计算单元92使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；时间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；时间)来计算残余能量SAD(时间)。该残余能量SAD(时间)通过下面的表达式(8)来计算。计算出的残余能量SAD(时间)被输出给比较单元93。
SAD(时间)＝SAD(NL0；时间)+SAD(NL1；时间)…(8)
比较单元93在基于空间直接模式的残余能量SAD(空间)与基于时间直接模式的残余能量SAD(时间)之间执行比较，并且将其结果输出给直接模式确定单元94。
直接模式确定单元94基于下面的表达式(9)来判断对象块是在空间直接模式还是在时间直接模式中被编码。即是说，针对对象块来确定最优直接模式的选择。
SAD(空间)≤SAD(时间)…(9)
具体地，当表达式(9)成立并且残余能量SAD(空间)等于或小于残余能量SAD(时间)时，直接模式确定单元94将空间直接模式的选择确定为对象块的最优直接模式。另一方面，当表达式(9)不成立并且残余能量SAD(空间)大于残余能量SAD(时间)时，直接模式确定单元94将时间直接模式的选择确定为对象块的最优直接模式。指示所选直接模式的类型的信息被输出给运动预测/补偿单元75。
注意，到此为止描述了利用SAD来获取残余能量的情况，然而例如还可以采用SSD(平方差之和)来取代SAD。通过采用SAD，可以利用比SSD的情况少的计算量来确定最优直接模式的选择。另一方面，通过采用SSD，可以以比SAD的情况高的精度来确定最优直接模式的选择。
此外，在上述SAD计算处理中，可以单独采用亮度信号，或者除了亮度信号以外，还可以采用色差信号。此外，替代地，可以进行这样的布置，其中，SAD计算针对Y/Cb/Cr分量的每个被执行，并且SAD的比较针对Y/Cb/Cr信号分量的每个被执行。
通过单独利用亮度信号来执行SAD计算处理，可以通过较少的计算量来实现直接模式的确定，然而通过向其添加色差信号，可以以较高的精度来确定最优直接模式的选择。此外，可能存在最优直接模式对于Y/Cb/Cr的每个而不同的情况，因此，分别针对每个分量来执行上述计算处理，并且针对每个分量确定最优直接模式，从而可以以更高的精度来进行确定。
图像编码设备的编码处理的描述
接下来，将参考图7的流程图描述图1中的图像编码设备51的编码处理。
在步骤S11，A/D转换单元61执行对输入图像的模数转换。在步骤S12，画面排序缓冲器62存储从A/D转换单元61提供来的图像，并且执行从显示图片的顺序到用于编码的顺序的排序。
在步骤S13，计算单元63计算在步骤S12中排序后的图像与预测图像之间的差分。预测图像在执行帧间预测的情况中从运动预测/补偿单元75并且在执行帧内预测的情况中从帧内预测单元74经由预测图像选择单元77被提供给计算单元63。
与原始图像数据相比差分数据的数据量较小。因此，与不加改变地对原始图像编码的情况相比数据量可被压缩。
在步骤S14，正交变换单元64对从计算单元63提供来的差分信息执行正交变换。具体地，诸如离散余弦变换、Karhunen-Loève变换等的正交变换被执行，并且变换系数被输出。在步骤S15，量化单元65对变换系数执行量化。在该量化时，如后面在步骤S25中描述的处理那样来对速率进行控制。
如此被量化的差分信息如下这样在本地被解码。具体地，在步骤S16，逆量化单元68利用与量化单元65的特性相对应的特性来对经量化单元65量化的变换系数执行逆量化。在步骤S17，逆正交变换单元69利用与正交变换单元64的特性相对应的特性，来对在逆量化单元68处经过了逆量化的变换系数执行逆正交变换。
在步骤S18，计算单元70将经由预测图像选择单元77输入的预测图像加到在本地被解码的差分信息中，并且生成本地解码图像(与到计算单元63的输入相对应的图像)。在步骤S19，解块滤波器71对从计算单元70输出的图像执行滤波。因此，块失真被去除。在步骤S20，帧存储器72存储经滤波的图像。注意，未经过解块滤波器71的滤波器处理的图像也从计算单元70被提供给帧存储器72以用于存储。
在步骤S21，帧内预测单元帧内预测单元74和运动预测/补偿单元75各自执行图像预测处理。具体地，在步骤S21，帧内预测单元74在帧内预测模式中执行帧内预测处理。运动预测/补偿单元75在帧间预测模式中执行运动预测和补偿处理，并且还关于B图片在空间和时间直接模式中执行运动预测和补偿处理。此时，直接模式选择单元76使用由运动预测/补偿单元75计算出的空间直接模式和时间直接模式中的运动向量信息来选择最优直接模式。
尽管将在后面参考图8描述步骤S21中的预测处理的细节，然而根据该处理，在作为候选的所有预测模式中执行预测处理，并且计算出作为候选的所有预测模式中的成本函数值。基于计算出的成本函数值选择最优帧内预测模式，并且通过该最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择单元77。
此外，对于P图片，基于计算出的成本函数值从帧间预测模式中确定最优帧间预测模式，并且在该最优帧间预测模式中生成的预测图像及其成本函数值被提供给预测图像选择单元77。
另一方面，对于B图片，基于计算出的成本函数值从帧间预测模式和由直接模式选择单元76选择的直接模式中确定最优帧间预测模式。在该最优帧间预测模式中生成的预测图像及其成本函数值被提供给预测图像选择单元77。
在步骤S22，预测图像选择单元77基于从帧内预测单元74和运动预测/补偿单元75输出的各自的成本函数值，来将最优帧内预测模式和最优帧间预测模式中的一者确定为最优预测模式。预测图像选择单元77然后选择所确定的最优预测模式的预测图像，并且提供给计算单元63和70。如上所述，该预测图像被用于步骤S13和S18中的计算。
注意，该预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元75。当最优帧内预测模式中的预测图像被选择时，帧内预测单元74将指示该最优帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元66。
当最优帧间预测模式中的预测图像被选择时，运动预测/补偿单元75将指示该最优帧间预测模式(包括直接模式)的信息以及(按照需要)将根据该最优帧间预测模式的信息输出给无损编码单元66。根据该最优帧间预测模式的信息的示例包括运动向量信息、标志信息和参考帧信息。更具体地，当根据帧间预测模式的预测图像被选为最优帧间预测模式时，运动预测/补偿单元75将帧间预测模式信息、运动向量信息和参考帧信息输出给无损编码单元66。
另一方面，当根据直接模式的预测图像被选为最优帧间预测模式时，运动预测/补偿单元75仅将指示用于每个片段的直接模式的信息输出给无损编码单元66。即是说，在根据直接模式进行编码的情况中，运动向量信息等不必被发送给解码侧，并且因此不用输出给无损编码单元66。此外，指示用于每块的直接模式的类型的信息也不用被发送给解码侧。因此，压缩图像中的运动向量信息可被减少。
在步骤S23，无损编码单元66对从量化单元65输出的经量化变换系数进行编码。具体地，差分图像经过诸如可变长度编码、算术编码等的无损编码，并被压缩。此时，在步骤S22中输入无损编码单元66的、来自帧内预测单元74的帧内预测模式信息或来自运动预测/补偿单元75的根据最优帧间预测模式的信息也被编码，并被添加到头部信息中。
在步骤S24，累积缓冲器67累积差分图像作为压缩图像。累积在累积缓冲器67中的压缩图像适当地被读出，并且经由发送路径被发送给解码侧。
在步骤S25，速率控制单元78基于累积在累积缓冲器67中的压缩图像，来控制量化单元65的量化操作的速率以使得不会发生上溢或下溢。
图像编码设备的预测处理的描述
接下来，将参考图8的流程图描述图7的步骤S21中的预测处理。
当从画面排序缓冲器62提供来的将被处理的图像是将要经过帧内处理的块中的图像时，将被参考的解码图像从帧存储器72被读出，并经由开关73被提供给帧内预测单元74。在步骤S31，基于这些图像，帧内预测单元74利用作为候选的所有帧内预测模式来对将被处理的块中的像素执行帧内预测。注意，未经过解块滤波器71的解块滤波的像素也被用作将被参考的经解码像素。
将在后面参考图9描述步骤S31中的帧内预测处理的细节，然而根据该处理，帧内预测利用作为候选的所有帧内预测模式被执行，并且针对作为候选的所有帧内预测模式来计算成本函数值。然后基于计算出的成本函数值选择最优帧内预测模式，并且通过该最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择单元77。
当从画面排序缓冲器62提供来的将被处理的图像是将经过帧间处理的图像时，将被参考的图像从帧存储器72被读出，并经由开关73被提供给运动预测/补偿单元75。在步骤S32，基于这些图像，运动预测/补偿单元75执行帧间运动预测处理。即是说，运动预测/补偿单元75参考从帧存储器72提供来的图像，以在作为候选的所有帧间预测模式中执行运动预测处理。
将在后面参考图10描述步骤S32中的帧间运动预测处理的细节，然而根据该处理，用作候选的所有帧间预测模式中的运动预测处理被执行，并且针对用作候选的所有帧间预测模式的成本函数值被计算出。
此外，当将被处理的图像是B图片时，运动预测/补偿单元75和直接模式选择单元76在步骤S33中执行直接模式预测处理。
将在后面参考图11描述步骤S33中的直接模式预测处理的细节。根据该处理，基于空间和时间直接模式的运动预测和补偿处理被执行。此时计算出的根据空间和时间直接模式的运动向量值被用来从空间和时间直接模式中选择最优直接模式。此外，针对所选直接模式来计算成本函数值。
在步骤S34，运动预测/补偿单元75将在步骤S32中计算出的对于帧间预测模式的成本函数值与在步骤S33中计算出的对于直接模式的成本函数值相比较。运动预测/补偿单元75将提供最小值的预测模式确定为最优帧间预测模式，并且将在该最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。
注意，当将被处理的图像是P图片时，则跳过步骤S33中的处理，并且在步骤S34中，从在步骤S32中在其中生成预测图像的帧间预测模式中来确定最优帧间预测模式。
图像编码设备的帧内预测处理的描述
接下来，将参考图9的流程图描述图8的步骤S31中的帧内预测处理。注意，在图9的示例中，将以亮度信号的情况作为示例进行描述。
在步骤S41，帧内预测单元74对于4×4像素、8×8像素和16×16像素的帧内预测模式执行帧内预测。
就用于亮度信号的帧内预测模式而言，提供了以4×4像素和8×8像素的块为单位的九种预测模式，和以16×16像素的宏块为单位的四种预测模式，并且就用于色差信号的帧内预测模式而言，提供了以8×8像素的块为单位的四种预测模式。用于色差信号的帧内预测模式可以与用于亮度信号的帧内预测模式相独立地来设置。对于亮度信号的4×4像素和8×8像素的帧内预测模式，针对4×4像素和8×8像素的每个亮度信号块定义一种帧内预测模式。对于亮度信号的16×16像素的帧内预测模式以及色差信号的帧内预测模式，针对一个宏块来定义一种预测模式。
具体地，帧内预测单元74参考从帧存储器72读出并经由开关73提供来的解码图像来对将被处理的块中的像素执行帧内预测。该帧内预测处理在帧内预测模式中被执行，因此，帧内预测模式中的预测图像被生成。注意，未经过解块滤波器71的解块滤波的像素被用作将被参考的经解码像素。
在步骤S42，帧内预测单元74计算对于4×4像素、8×8像素和16×16像素的帧内预测模式的成本函数值。这里，成本函数值的计算是基于高复杂度模式或低复杂度模式的技术中的一种技术来执行的。这些模式在作为H.264/AVC***中的参考软件的JM(联合模型)中被确定。
具体地，在高复杂度模式中，试验性地，假定针对作为候选的所有预测模式执行编码处理，来作为步骤S41的处理。对于预测模式来计算利用下面的表达式(10)表示的成本函数值，并且提供其最小值的预测模式被选作最优预测模式。
成本(模式)＝D+λ·R  …(10)
D表示原始图像与解码图像之差(失真)，R表示包括正交变换系数的所生成代码量，并且λ表示作为量化参数QP的函数被提供的拉格朗日乘子。
另一方面，在低复杂度模式中，作为步骤S41的处理，生成预测图像，并且假定针对作为候选的所有预测模式计算出运动向量信息、预测模式信息、标志信息等的头部比特。针对预测模式计算出由下面的表达式(11)表示的成本函数值，并且提供其最小值的预测模式被选作最优预测模式。
成本(模式)＝D+QPtoQuant(QP)·Header_Bit  …(11)
D表示原始图像与解码图像之差(失真)，Header_Bit表示针对预测模式的头部比特，并且QPtoQuant是作为量化参数QP的函数而被提供的函数。
在低复杂度模式中，仅仅针对所有预测模式生成预测图像，并且无需执行编码处理和解码处理，因此可以减小计算量。
在步骤S43，帧内预测单元74针对4×4像素、8×8像素和16×16像素的帧内预测模式确定最优模式。具体地，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况中，预测模式类型的数目为九种，并且在帧内16×16预测模式的情况中，预测模式类型数目为四种。因此，帧内预测单元74基于在步骤S42中计算出的成本函数值来从其中确定最优帧内4×4预测模式、最优帧内8×8预测模式和最优帧内16×16预测模式。
在步骤S44，帧内预测单元74基于在步骤S42中计算出的成本函数值，从针对4×4像素、8×8像素和16×16像素的帧内预测模式确定的最优模式中选择最优帧内预测模式。具体地，帧内预测单元74从针对4×4像素、8×8像素和16×16像素确定的最优模式中选择其成本函数值为最小值的模式，作为最优帧内预测模式。帧内预测单元74然后将在该最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。
图像编码设备的帧间运动预测处理的描述
接下来，将参考图10的流程图描述图8的步骤S32中的帧间运动预测处理。
在步骤S51，运动预测/补偿单元75针对上面参考图2描述的由16×16像素至4×4像素组成的八种帧间预测模式中的每种来确定运动向量和参考信息。即是说，在每种帧间预测模式中确定针对将被处理的块的运动向量和参考图像。
在步骤S52，运动预测/补偿单元75对于由16×16像素至4×4像素组成的八种帧间预测模式中的每种，基于在步骤S51中确定的运动向量，来对参考图像执行运动预测和补偿处理。根据该运动预测和补偿处理，每个帧间预测模式中的预测图像被生成。
在步骤S53，运动预测/补偿单元75关于针对由16×16像素至4×4像素组成的八种帧间预测模式中的每种所确定的运动向量来生成将被添加到压缩图像的运动向量信息。此时，上面参考图5描述的运动向量生成方法被用来生成运动向量信息。
所生成的运动向量信息还用于在下面的步骤S54中计算成本函数值，并且当对应预测图像最终被预测图像选择单元77选择时，该预测图像与预测模式信息和参考帧信息一起被输出给无损编码单元66。
在步骤S54，运动预测/补偿单元75针对由16×16像素至4×4像素组成的八种帧间预测模式中的每种帧间预测模式，计算在上述表达式(10)或表达式(11)中所示的成本函数值。这里计算出的成本函数值被用于在上述图8的步骤S34中确定最优帧间预测模式。
图像编码设备的直接模式预测处理的描述
接下来，将参考图11的流程图描述图8的步骤S33中的直接模式预测处理。注意，该处理仅在对象图像是B图片时被执行。
在步骤S71，SDM运动向量计算单元81计算空间直接模式中的运动向量值。
具体地，SDM运动向量计算单元81基于空间直接模式来执行运动预测和补偿处理以生成预测图像。此时，在SDM运动向量计算单元81中，基于空间直接模式，运动向量directmvL0(空间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(空间)通过对象帧与L1参考帧之间的运动预测而被计算出。
将再次参考图5描述根据H.264/AVC***的空间直接模式。在图5的示例中，如上所述，示出了从现在起将被编码的对象块E(例如，16×16像素)，以及与该对象块E相邻的已被编码的块A至块D。关于X(＝A，B，C，D，E)的运动向量信息例如利用mvx来表示。
利用与块A、B和C有关的运动向量信息通过如上述表达式(5)那样的中值预测来生成针对对象块E的预测运动向量信息pmvE。对于空间直接模式中的对象块E的运动向量信息mvE如下面的表达式(12)这样来表示。
mvE＝pmvE  …(12)
具体地，在空间直接模式中，通过中值预测生成的预测运动向量信息被当作对象块的运动向量信息。即是说，对象块的运动向量信息是通过经编码块的运动向量信息生成的。因此，估计空间直接模式的运动向量即使在解码侧上也可以被生成，因此，运动向量信息不必被发送给解码侧。
计算出的运动向量directmvL0(空间)和运动向量directmvL1(空间)被输出给SDM残余能量计算单元91。
在步骤S72，TDM运动向量计算单元82在时间直接模式中计算运动向量值。
具体地，TDM运动向量计算单元82基于时间直接模式执行关于B图片的运动预测和补偿处理，以生成预测图像。
此时，在TDM运动向量计算单元82中，基于时间直接模式，运动向量directmvL0(时间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(时间)通过对象帧与L1参考帧之间的运动预测而被计算出。注意，将在后面参考图12描述基于时间直接模式的运动向量计算处理。
计算出的运动向量directmvL0(时间)和运动向量directmvL1(时间)被输出给TDM残余能量计算单元92。
注意，在H.264/AVC***中，这两种直接模式(空间直接模式和时间直接模式)都可以以16×16像素宏块或8×8像素块为单位来定义。因此，在SDM运动向量计算单元81和TDM运动向量计算单元82中，执行以16×16像素宏块或8×8像素块为单位的处理。
在步骤S73，SDM残余能量计算单元91使用根据空间直接模式的运动向量来计算残余能量SAD(空间)，并且将计算出的残余能量SAD(空间)输出给比较单元93。
具体地，SDM残余能量计算单元91获取由运动向量directmvL0(空间)和运动向量directmvL1(空间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。SDM残余能量计算单元91利用SAD，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，SDM残余能量计算单元91使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；空间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；空间)来计算残余能量SAD(空间)。此时，采用上述表达式(7)。
在步骤S74，TDM残余能量计算单元92使用根据时间直接模式的运动向量来计算残余能量SAD(时间)，并且将计算出的残余能量SAD(时间)输出给比较单元93。
具体地，TDM残余能量计算单元92获取由运动向量directmvL0(时间)和运动向量directmvL1(时间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。TDM残余能量计算单元92利用SAD，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，TDM残余能量计算单元92使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；时间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；时间)来计算残余能量SAD(时间)。此时，采用上述的表达式(8)。
在步骤S75，比较单元93在基于空间直接模式的残余能量SAD(空间)与基于时间直接模式的残余能量SAD(时间)之间执行比较，并且将其结果输出给直接模式确定单元94。
当在步骤S75中判定SAD(空间)等于或小于SAD(时间)时，处理前进到步骤S76。在步骤S76，直接模式确定单元94确定将空间直接模式选为对象块的最优直接模式。向运动预测/补偿单元75输出空间直接模式已被选择用于对象块的信息，来作为指示直接模式类型的信息。
另一方面，当在步骤S75中判定SAD(空间)大于SAD(时间)时，处理前进到步骤S77。在步骤S77，直接模式确定单元94确定将时间直接模式选择为对象块的最优直接模式。向运动预测/补偿单元75输出时间直接模式已被选择用于对象块的信息，来作为指示直接模式类型的信息。
在步骤S78，运动预测/补偿单元75基于来自直接模式确定单元94的指示直接模式类型的信息，来针对所选直接模式计算在上述表达式(10)或表达式(11)中所示的成本函数值。这里计算出的成本函数值被用于在上述图8的步骤S34中确定最优帧间预测模式。
时间直接模式的描述
图12是用于描述根据H.264/AVC***的时间直接模式的示图。
在图12的示例中，时间轴表示时间的过去，从左边起依次示出了L0(List0)参考图片、从现在起将被编码的对象图片以及L1(List1)参考图片。注意，在H.264/AVC***中，L0参考图片、对象图片和L1参考图片的该行不限于此顺序。
对象图片的对象块例如被包括在B片段中。TDM运动向量计算单元82基于针对L0参考图片和L1参考图片的时间直接模式来计算运动向量信息。
在L0参考图片中，基于L0参考图片和L1参考图片来计算共位块中的运动向量信息mvcol，该共位块是位于与从现在起将被编码的对象块相同空间地址(坐标)中的块。
现在，将在时间轴上对象图片与L0参考图片之间的距离取为TDB，并且将在时间轴上L0参考图片与L1参考图片之间的距离取为TDD。在此情况中，可以通过下面的表达式(13)来计算出对象图片中的L0运动向量信息mvL0以及对象图片中的L1运动向量信息mvL1。
[数学表达式5]
m v L 0 = TD B TD D m v col
m v L 1 = TD D - TD B TD D m v col . . . ( 13 )
注意，在H.264/AVC***中，没有与针对压缩图像内的对象图片的在时间轴上的距离TDB和TDD相当的信息。因此，作为指示图片的输出顺序的信息的POC(图片顺序计数)被采用作为距离TDB和TDD的实际值。
残余能量计算的示例
图13是用于描述SDM残余能量计算单元91和TDM残余能量计算单元92中的残余能量计算的示图。注意，在图13的示例中，空间直接运动向量和时间直接运动向量将被总地称为直接运动向量。具体地，对于空间直接运动向量和时间直接模式向量，如下这样来执行残余能量计算。
在图13的示例的情况中，从左边起依次示出了L0(List0)参考图片、从现在起将被编码的对象图片以及L1(List1)参考图片。它们是以显示顺序被布置的，然而在H.264/AVC***中，L0参考图片、从现在起将被编码的对象图片以及L1(List1)参考图片的该行不限于此示例。
在对象图片中，示出了从现在起将被编码的对象块(或宏块)。在对象块中，还示出了在对象块与L0参考图片之间计算出的直接运动向量DirectmvL0，和在对象块与L1参考图片之间计算出的直接运动向量DirectmvL1。
这里，***像素组Ncur是对象块周围的已被编码的像素组。具体地，***像素组Ncur是由与对象块相邻的并且还已经经过了编码的像素组成的像素组。此外，具体地，当以光栅扫描顺序执行编码处理时，如图13所示，***像素组Ncur是位于对象块的左侧和上侧上的区域中的像素组，并且是具有累积在帧存储器72中的经解码图像的像素组。
此外，像素组NL0和NL1是由运动向量DirectmvL0和运动向量DirectmvL1指定的与***像素组Ncur相对应的L0和L1参考图片上的像素组。
SDM残余能量计算单元91和TDM残余能量计算单元92分别利用SAD来计算***像素组Ncur与像素组NL0和NL1中的每个之间的残余能量SAD(NL0；空间)、残余能量SAD(NL1；空间)、残余能量SAD(NL0；时间)和残余能量SAD(NL1；时间)。SDM残余能量计算单元91和TDM残余能量计算单元92然后分别通过上述表达式(7)和表达式(8)来计算残余能量SAD(空间)和残余能量SAD(时间)。
以这种方式，残余能量计算处理是采用经编码图像(即，经解码图像)的信息来取代原始图像信息作为输入的计算，从而相同操作可以在解码侧上被执行。此外，上述基于空间直接模式的运动向量信息和基于时间直接模式的运动向量信息的计算类似地是采用经解码图像的计算，从而相同操作也可以在图14中的图像解码设备101中执行。
因此，在传统方式中指示用于每个片段的直接模式的信息必须被发送，然而空间和时间直接模式中的哪种模式被用于将被编码的每个块(或宏块)，即，该信息不必被发送给解码侧。
因此，可以为每个对象块(或宏块)选择最优直接模式而不会增加作为输出的压缩图像信息的信息量，并且可以提高预测精度。作为其结果，可以提高编码效率。
经编码的压缩图像经由预定发送路径被发送，并且被图像解码设备解码。
图像解码设备的配置示例
图14表示用作应用了本发明的图像处理设备的图像解码设备的实施例的配置。
图像解码设备101包括累积缓冲器111、无损解码单元112、逆量化单元113、逆正交变换单元114、计算单元115、解块滤波器116、画面排序缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、直接模式选择单元123以及开关124。
累积缓冲器111累积发送来的压缩图像。无损解码单元112利用与无损编码单元66的编码***相对应的***，对从累积缓冲器111提供来的、经图1的无损编码单元66编码的信息进行解码。逆量化单元113利用与图1的量化单元65的量化***相对应的***来对经无损解码单元112解码的图像执行逆量化。逆正交变换单元114利用与图1的正交变换单元64的正交变换***相对应的***来对逆量化单元113的输出执行逆正交变换。
经过逆正交变换的输出通过由计算单元115与从开关124提供来的预测图像相加而被解码。解块滤波器116去除解码图像中的块失真，然后提供给帧存储器119用于累积，并且还输出给画面排序缓冲器117。
画面排序缓冲器117对图像执行排序。具体地，由图1的画面排序缓冲器62针对编码顺序进行了排序的帧顺序被重新排序为原始显示顺序。D/A转换单元118对从画面排序缓冲器117提供来的图像执行数模转换，并且输出给未示出的显示器用于显示。
开关120从帧存储器119读出将经过帧间处理的图像和将被参考的图像，输出给运动预测/补偿单元122，并且还从帧存储器119读出将用于帧内预测的图像，并提供给帧内预测单元121。
通过对头部信息解码而获得的指示帧内预测模式的信息从无损解码单元112被提供给帧内预测单元121。帧内预测单元121基于该信息生成预测图像，并将所生成的预测图像输出给开关124。
通过对头部信息解码而获得的信息(预测模式信息、运动向量信息和参考帧信息)从无损解码单元112被提供给运动预测/补偿单元122。当指示帧间预测模式的信息被提供时，运动预测/补偿单元122基于运动向量信息和参考帧信息对图像进行运动预测和补偿处理，以生成预测图像。
当指示直接模式的信息被提供来时，运动预测/补偿单元122计算空间直接模式和时间直接模式中的运动向量信息，将计算出的运动向量信息输出给直接模式选择单元123。此外，运动预测/补偿单元122在由直接模式选择单元123选择的直接模式中执行补偿处理，以生成预测图像。
注意，当根据直接模式执行运动预测和补偿处理时，运动预测/补偿单元122以与图6的运动预测/补偿单元75相同的方式被配置为至少包括SDM运动向量计算单元81和TDM运动向量计算单元82。
运动预测/补偿单元122然后根据预测模式信息将在帧间预测模式中生成的预测图像或者在直接模式中生成的预测图像输出给开关124。
直接模式选择单元123分别使用来自运动预测/补偿单元122的根据空间直接模式和时间直接模式的运动向量信息来计算残余能量。此时，以预定位置关系与将被编码的对象块相邻的并且还被包括在经解码图像中的***像素被用于残余能量的计算。
直接模式选择单元123将根据空间直接模式和时间直接模式的两种残余能量相比较，以确定对具有较少残余能量的直接模式的选择，并且将指示所选直接模式的类型的信息输出给运动预测/补偿单元122。
注意，直接模式选择单元123基本上按照与直接模式选择单元76相同的方式被配置，因此，上述图6也适用于对直接模式选择单元123的描述。具体地，直接模式选择单元123按照与图6的直接模式选择单元76相同的方式由SDM残余能量计算单元91、TDM残余能量计算单元92、比较单元93和直接模式确定单元94构成。
开关124选择由运动预测/补偿单元122或帧内预测单元121生成的预测图像，并提供给计算单元115。
图像解码设备的解码处理的描述
接下来，将参考图15的流程图描述图像解码设备101执行的解码处理。
在步骤S131，累积缓冲器111累积发送来的图像。在步骤S132，无损解码单元112对从累积缓冲器111提供来的压缩图像进行解码。具体地，经图1的无损编码单元66编码的I图片、P图片和B图片被解码。
此时，运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式、帧间预测模式或直接模式的信息)以及标志信息也被解码。
具体地，当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元121。当预测模式信息是帧间预测模式信息时，与该预测模式信息相对应的运动向量信息被提供给运动预测/补偿单元122。当预测模式信息是直接模式信息时，该预测模式信息被提供给运动预测/补偿单元122。
在步骤S133，逆量化单元113利用与图1的量化单元65的特性相对应的特性来对经无损解码单元112解码的变换系数执行逆量化。在步骤S134，逆正交变换单元114利用与图1的正交变换单元64的特性相对应的特性来对在逆量化单元113处经过逆量化的变换系数执行逆正交变换。这意味着与图1的正交变换单元64的输入(计算单元63的输出)相对应的差分信息已被解码。
在步骤S135，计算单元115将在后面描述的步骤S141的处理中选择的并且经由开关124输入的预测图像与该差分信息相加。因此，原始图像被解码。在步骤S136，解块滤波器116对从计算单元115输出的图像执行滤波。因此，块失真被去除。在步骤S137，帧存储器119存储经过滤波的图像。
在步骤S138，帧内预测单元121、运动预测/补偿单元122或直接模式选择单元123响应于从无损解码单元112提供来的预测模式信息执行对应的图像预测处理。
具体地，当帧内预测模式信息从无损解码单元112被提供来时，帧内预测单元121在帧内预测模式中执行帧内预测处理。当帧间预测模式信息从无损解码单元112被提供来时，运动预测/补偿单元122在帧间预测模式中执行运动预测和补偿处理。此外，当直接模式信息从无损解码单元112被提供来时，运动预测/补偿单元122在空间和时间直接模式中执行运动预测，并且利用由直接模式选择单元123选择的直接模式来执行补偿处理。
后面将参考图16描述步骤S138中的预测处理的细节，然而根据该处理，由帧内预测单元121生成的预测图像或者由运动预测/补偿单元122生成的预测图像被提供给开关124。
在步骤S139，开关124选择预测图像。具体地，由帧内预测单元121生成的预测图像或者由运动预测/补偿单元122生成的预测图像被供应。因此，所提供的预测图像被选择并被提供给计算单元115，并且在如上所述的步骤S134中被与逆正交变换单元114的输出相加。
在步骤S140，画面排序缓冲器117执行排序。具体地，以原始显示顺序来对被图像编码设备51的画面排序缓冲器62排序以用于编码的帧的顺序进行排序。
在步骤S 141，D/A转换单元118对来自画面排序缓冲器117的图像执行数模转换。该图像被输出给未示出的显示器，并且该图像被显示。
图像解码设备的预测处理的描述
接下来，将参考图16的流程图描述图15的步骤S138中的预测处理。
在步骤S171，帧内预测单元121判断对象块是否经过了帧内编码。当帧内预测模式信息从无损解码单元112被提供给帧内预测单元121时，帧内预测单元121在步骤S171中判定对象块经过了帧内编码，并且处理前进到步骤S172。
在步骤S172，帧内预测单元121获取帧内预测模式信息，并且在步骤S173中执行帧内预测。
具体地，当将被处理的图像是经过了帧内处理的图像时，所需图像从帧内存储器119被读出，并经由开关120被提供给帧内预测单元121。在步骤S173，帧内预测单元121根据在步骤S172中获得的帧内预测模式信息来执行帧内预测，以生成预测图像。所生成的预测图像被输出给开关124。
另一方面，当在步骤S171判定帧内编码未被执行时，则处理前进到步骤S174。
在步骤S174，运动预测/补偿单元122从无损解码单元112获取预测模式信息等。
当将被处理的图像是要经过帧间处理的图像时，则帧间预测模式信息、参考帧信息和运动向量信息从无损解码单元112被提供给运动预测/补偿单元122。在此情况中，在步骤S174，运动预测/补偿单元122获取帧间预测模式信息、参考帧信息和运动向量信息。
在步骤S175，运动预测/补偿单元122判断来自无损解码单元112的预测模式信息是否是直接模式信息。当在步骤S175中判定预测模式信息不是直接模式信息(即，预测模式信息是帧间预测模式信息)时，处理前进到步骤S176。
在步骤S176，运动预测/补偿单元122执行帧间运动预测。具体地，当将被处理的图像是将经过帧间预测处理的图像时，所需图像从帧内存储器119被读出，并经由开关120被提供给运动预测/补偿单元122。在步骤S176，运动预测/补偿单元122根据在步骤S174中获得的运动向量来在帧间预测模式中执行运动预测，以生成预测图像。所生成的预测图像被输出给开关124。
另一方面，当将被处理的图像是将在直接模式中被处理的图像时，直接模式信息从无损解码单元112被提供给运动预测/补偿单元122。在此情况中，在步骤S174，运动预测/补偿单元122获取直接模式信息，在步骤S175中判定预测模式信息是直接模式信息，并且处理前进到步骤S177。
在步骤S177，运动预测/补偿单元122和直接模式选择单元123执行直接模式预测处理。将参考图17描述步骤S175中的直接模式预测处理。
图像解码设备的直接模式预测处理的描述
图17是用于描述直接模式预测处理的流程图。注意，在图17的步骤S193至S197的处理中，执行与图11的步骤S73至S77的处理基本上相同的处理，因此，对其的描述是冗余的，并且将省略对其的详细描述。
在步骤S191，运动预测/补偿单元122的SDM运动向量计算单元81在空间直接模式中计算运动向量。即是说，SDM运动向量计算单元81基于空间直接模式执行运动预测。
此时，在SDM运动向量计算单元81中，基于空间直接模式，运动向量directmvL0(空间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(空间)通过对象帧与L1参考帧之间的运动预测而被计算出。计算出的运动向量directmvL0(空间)和运动向量directmvL1(空间)被输出给SDM残余能量计算单元91。
在步骤S192，运动预测/补偿单元122的TDM运动向量计算单元82在时间直接模式中计算运动向量。即是说，TDM运动向量计算单元82基于时间直接模式来执行运动预测。
此时，在TDM运动向量计算单元82中，基于时间直接模式，运动向量directmvL0(时间)通过对象帧与L0参考帧之间的运动预测而被计算出。类似地，运动向量directmvL1(时间)通过对象帧与L1参考帧之间的运动预测而被计算出。计算出的运动向量directmvL0(时间)和运动向量directmvL1(时间)被输出给TDM残余能量计算单元92。
在步骤S193，直接模式选择单元123的SDM残余能量计算单元91使用根据空间直接模式的运动向量来计算残余能量SAD(空间)。SDM残余能量计算单元91将计算出的残余能量SAD(空间)输出给比较单元93。
具体地，SDM残余能量计算单元91获取由运动向量directmvL0(空间)和运动向量directmvL1(空间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。SDM残余能量计算单元91利用SAD，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，SDM残余能量计算单元91使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；空间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；空间)来计算残余能量SAD(空间)。此时，采用上述表达式(7)。
在步骤S194，直接模式选择单元123的TDM残余能量计算单元92使用根据时间直接模式的运动向量来计算残余能量SAD(时间)，并且将计算出的残余能量SAD(时间)输出给比较单元93。
具体地，TDM残余能量计算单元92获取由运动向量directmvL0(时间)和运动向量directmvL1(时间)指定的、与将被编码的对象块的***像素组NCUR相对应的每个参考帧上的像素组NL0和NL1。TDM残余能量计算单元92利用SAD，使用对象块的***像素组NCUR的像素值以及所获得的每个参考帧上的像素组NL0和NL1的像素值来计算对应的残余能量。
此外，TDM残余能量计算单元92使用关于L0参考帧上的像素组NL0的残余能量SAD(NL0；时间)和关于L1参考帧上的像素组NL1的残余能量SAD(NL1；时间)来计算残余能量SAD(时间)。此时，采用上述的表达式(8)。
在步骤S195，直接模式选择单元123的比较单元93在基于空间直接模式的残余能量SAD(空间)与基于时间直接模式的残余能量SAD(时间)之间执行比较，并且将其结果输出给直接模式选择单元123的直接模式确定单元94。
当在步骤S195中判定SAD(空间)等于或小于SAD(时间)时，处理前进到步骤S196。在步骤S196，直接模式确定单元94确定将空间直接模式选为对象块的最优直接模式。向运动预测/补偿单元122输出空间直接模式已被选择用于对象块的信息，来作为指示直接模式类型的信息。
另一方面，当在步骤S195中判定SAD(空间)大于SAD(时间)时，处理前进到步骤S197。在步骤S197，直接模式确定单元94确定将时间直接模式选择为对象块的最优直接模式。向运动预测/补偿单元122输出时间直接模式已被选择用于对象块的信息，来作为指示直接模式类型的信息。
在步骤S198，运动预测/补偿单元122基于来自直接模式确定单元94的指示直接模式类型的信息来在所选直接模式中生成预测图像。即是说，运动预测/补偿单元122在所选直接模式中利用运动向量信息来执行补偿处理，以生成预测图像。所生成的预测图像被提供给开关124。
如上所述，对最优直接模式的选择已在图像编码设备和图像解码设备两者处利用每个对象块(或宏块)的解码图像被执行。因此，可以显示出具有高质量的图像，而无需发送指示用于每个对象块(或宏块)的直接模式类型的信息。
即是说，可以切换用于每个对象块的直接模式的类型，而不会导致压缩信息的增加，并且因此，可以提高预测精度。
注意，到此为止描述了宏块大小为16×16像素的情况，然而本发明也可应用于在“Video Coding Using Extended Block Sizes”，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123，Jan 2009(2009年1月)中描述的扩展宏块大小。
图18是图示出扩展宏块大小的示例的示图。以上描述中的宏块大小被扩展为32×32像素。
图18的最上面一排从左边起依次示出了由32×32像素构成的宏块，该宏块被划分为32×32像素、32×16像素、16×32像素和16×16像素的块(分割)。图18的中间一排从左边起依次示出了由16×16像素构成的宏块，该宏块被划分为16×16像素、16×8像素、8×16像素和8×8像素的块(分割)。图18的最下面一排从左边起依次示出了由8×8像素构成的宏块，该宏块被划分为8×8像素、8×4像素、4×8像素和4×4像素的块(分割)。
换言之，32×32像素的宏块可以通过图18的最上面一排所示的32×32像素、32×16像素、16×32像素和16×16像素的块来处理。
此外，最上面一排的右侧所示的16×16像素的块可以以与H.264/AVC***相同的方式通过中间一排所示的16×16像素、16×8像素、8×16像素和8×8像素的块被处理。
此外，中间一排的右侧所示的8×8像素的块可以以与H.264/AVC***相同的方式通过最下面一排所示的8×8像素、8×4像素、4×8像素和4×4像素的块被处理。
在扩展宏块大小中，通过采用这样的层级结构，对于16×16像素块和更小块，在维持与H.264/AVC***的兼容性的同时更大的块被定义为其超集(superset)。
本发明还可应用于如上所述的所提出的扩展宏块大小。
到此为止利用H.264/AVC***作为编码***进行了描述，然而也可以使用其它编码***/解码***。
注意，本发明可应用于在经由诸如卫星广播、有线电视、因特网和蜂窝电话等之类的网络介质接收如MPEG、H.26x等那样通过诸如离散余弦变换等的正交变换和运动补偿被压缩的图像信息(比特流)时的图像编码设备和图像解码设备。此外，本发明可应用于用于诸如光盘、磁盘和闪存之类的存储介质上的处理的图像编码设备和图像解码设备。此外，本发明可应用于包括在这些图像编码设备和图像解码设备等中的运动预测补偿设备。
上述处理序列可通过硬件来执行，或者可通过软件来执行。当处理序列通过软件来执行时，构成其软件的程序被安装在计算机中。这里，计算机的示例包括构建于专用硬件内的计算机，以及能够通过安装到其中的各种程序来执行各种功能的通用个人计算机。
图19是图示出利用程序执行上述处理序列的计算机的硬件配置示例的框图。
在该计算机中，CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203通过总线204互连。
此外，输入/输出接口205被连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210被连接到输入/输出接口205。
输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器等之类的可移除介质211。
在如此配置的计算机中，例如，CPU 201将存储在存储单元208中的程序经由输入/输出接口205和总线204载入RAM 203中并执行程序，并且因此，上述处理序列被执行。
计算机(CPU 201)执行的程序可以通过被记录在用作封装介质的可移除介质211中而被提供。此外，程序可以经由诸如局域网、因特网、数字广播等之类的有线或无效通信介质来提供。
在该计算机中，可以通过将可移除介质211装载到驱动器210中来经由输入/输出接口205将程序安装到存储单元208中。此外，程序可由通信单元209经由有线或无线通信介质被接收，并被安装到存储单元208。另外，程序可以预先被安装到ROM 202或存储单元208中。
注意，计算机执行的程序可以是根据本说明书中描述的顺序以时间顺序来执行处理的程序，或者可以是并行地或者在诸如执行调用之类的所需定时处执行处理的程序。
本发明的实施例不限于上述实施例，并且可以在不脱离本发明的本质的情况下做出各种修改。
例如，上述图像编码设备51和图像解码设备101可被应用于可选电子设备。下面将描述其示例。
图20是图示出使用应用了本发明的图像解码设备的电视接收机的主要配置示例的框图。
图20所示的电视接收机300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。
地面调谐器313经由天线接收地面模拟广播的广播波信号，解调，获取视频信号，并将它们提供给视频解码器315。视频解码器315对从地面调谐器313提供来的视频信号进行解码处理，并且将所获得的数字分量信号提供给视频信号处理电路318。
视频信号处理电路318对从视频解码器315提供来的视频数据进行诸如去噪等之类的预定处理，并将所获得的视频数据提供给图形生成电路319。
图形生成电路319生成将被显示在显示面板321上的节目的视频数据，或者通过基于经由网络等提供的应用的处理生成图像数据，并将所生成的视频数据或图像数据提供给面板驱动电路320。此外，图形生成电路319还适当地执行如下处理，例如，将通过生成用于显示由用户用来选择项目等的画面的视频数据(图形)，并将其叠加在节目的视频数据上而获得的视频数据提供给面板驱动电路320。
面板驱动电路320基于从图形生成电路319提供来的数据来驱动显示面板321，以在显示面板321上显示上述各种画面或节目的视频。
显示面板321由LCD(液晶显示器)等构成，并且根据面板驱动电路320的控制来显示节目等的视频。
此外，该电视接收机300还包括音频A/D(模数)转换电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大电路324和扬声器325。
地面调谐器313解调所接收的广播波信号，从而不仅获取视频信号而且获取音频信号。地面调谐器313将所获得的音频信号提供给音频A/D转换电路314。
音频A/D转换电路314对从地面调谐器313提供来的音频信号进行A/D转换处理，并将所获得的数字音频信号提供给音频信号处理电路322。
音频信号处理电路322对从音频A/D转换电路314提供来的音频数据进行诸如噪声去除等之类的预定处理，并且将所获得的音频数据提供给回声消除/音频合成电路323。
回声消除/音频合成电路323将从音频信号处理电路322提供来的音频数据提供给音频放大电路324。
音频放大电路324对从回声消除/音频合成电路323提供来的音频数据进行D/A转换处理，进行放大处理以调节到预定音量，然后从扬声器325输出音频。
此外，电视接收机300还包括数字调谐器316和MPEG解码器317。
数字调谐器316经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，解调以获得MPEG-TS(运动图像专家组-传输流)，并将其提供给MPEG解码器317。
MPEG解码器317对从数字调谐器316提供来的MPEG-TS所经受的加扰进行解扰，并提取包括了作为回放对象(观看对象)的节目数据的流。MPEG解码器317对组成所提取流的音频分组进行解码，将所获得的音频数据提供给音频信号处理电路322，并且还对组成该流的视频分组进行解码并将所获得的视频数据提供给视频信号处理电路318。此外，MPEG解码器317将从MPEG-TS提取的EPG(电子节目指南)数据经由未示出的路径提供给CPU 332。
该电视接收机300使用上述图像解码设备101作为MPEG解码器317，来以这种方式对视频分组解码。因此，以与图像解码设备101的情况相同的方式，MPEG解码器317利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
从MPEG解码器317提供来的视频数据在视频信号处理电路318处按照与从视频解码器315提供来的视频数据的情况相同的方式经过预定处理。经过预定处理的视频数据然后在图形生成电路319处适当地与所生成视频数据等相叠加，经由面板驱动电路320被提供给显示面板321，并且该图像被显示在其上。
从MPEG解码器317提供来的音频数据在音频信号处理电路322处按照与从音频A/D转换电路314提供来的音频数据相同的方式经过预定处理。经过预定处理的音频数据然后经由回声消除/音频合成电路323被提供给音频放大电路324，并经过D/A转换处理和放大处理。结果，调节为预定音量的音频从扬声器325被输出。
此外，电视接收机300还包括麦克风326和A/D转换电路327。
A/D转换电路327接收由麦克风326收集的用户的音频信号，以提供给电视接收机300用于音频转换。A/D转换电路327对所接收的音频信号进行A/D转换处理，并将所获得的数字音频数据提供给回声消除/音频合成电路323。
当电视接收机300的用户(用户A)的音频数据从A/D转换电路327被提供来时，回声消除/音频合成电路323以用户A的音频数据作为对象来执行回声消除。回声消除之后，回声消除/音频合成电路323将通过与其它音频数据等相合成获得的音频数据经由音频放大电路324从扬声器325输出。
此外，电视接收机300还包括音频编解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪存331、CPU 332、USB(通用串行总线)I/F 333和网络I/F 334。
A/D转换电路327接收由麦克风326收集的用户的音频信号，以提供给电视接收机300用于音频转换。A/D转换电路327对所接收的音频信号进行A/D转换处理，并将所获得的数字音频数据提供给音频编解码器328。
音频编解码器328将从A/D转换电路327提供来的音频数据转换为用于通过网络发送的预定格式的数据，并经由内部总线329提供给网络I/F334。
网络I/F 334经由安装在网络端子335上的电缆被连接到网络。网络I/F 334将从音频编解码器328提供来的音频数据发送给例如连接到该网络的另一设备。此外，网络I/F 334经由网络端子335接收从经由网络相连的另一设备发送来的音频数据，并经由内部总线329将其提供给音频编解码器328。
音频编解码器328将从网络I/F 334提供来的音频数据转换为预定格式的数据，并将其提供给回声消除/音频合成电路323。
回声消除/音频合成电路323对从音频编解码器328提供来的音频数据执行回声消除，并将通过与其它音频数据等相合成而获得的音频数据经由音频放大电路324从扬声器325输出。
SDRAM 330存储CPU 332执行处理所需的各种数据。
闪存331存储CPU 332执行的程序。存储在闪存331中的程序由CPU332在预定定时处(例如，电视接收机300启动时等)读出。闪存331还存储通过数字广播获得的EPG数据、经由网络从预定服务器获得的数据等。
例如，闪存331在CPU 332的控制下存储经由网络从预定服务器获得的包括内容数据的MPEG-TS。闪存331例如在CPU 332的控制下经由内部总线329将MPEG-TS提供给MPEG解码器317。
MPEG解码器317按照与从数字调谐器316提供来的MPEG-TS相同的方式处理该MPEG-TS。以这种方式，电视接收机300经由网络接收由视频和音频等组成的内容数据并利用MPEG解码器317进行解码，从而可以显示该视频并且可以输出该音频。
此外，电视接收机300还包括光接收单元337，用于接收从遥控器351发送来的红外信号。
光接收单元337接收来自遥控器351的红外线，并且将通过解调获得的表示用户操作的内容的控制码输出给CPU 332。
CPU 332根据从光接收单元337提供来的控制码等，执行存储在闪存331中的程序以控制电视接收机300的整体操作。CPU 332和电视接收机300的各个部分经由未示出的路径相连。
USB I/F 333针对经由安装在USB端子336上的USB电缆相连的电视接收机300的外部设备执行数据的发送/接收。网络I/F 334经由安装在网络端子335上的电缆连接到网络，还针对连接到该网络的各种设备执行音频数据以外的数据的发送/接收。
电视接收机300利用图像解码设备101作为MPEG解码器317，从而可以利用用于每个对象块(或宏块)的解码图像来执行对最优直接模式的选择。作为其结果，电视接收机300可以从经由天线接收的广播波信号或经由网络获得的内容数据中获取具有更高精度的解码图像，并显示该图像。
图21是图示出使用应用了本发明的图像编码设备和图像解码设备的蜂窝电话的主要配置示例的框图。
图21所示的蜂窝电话400包括被配置来集中控制各个单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、相机I/F单元454、LCD控制单元455、图像解码器456、复用/分离单元457、记录/回放单元462、调制/解调电路单元458和音频编解码器459。这些经由总线460相互连接。
此外，蜂窝电话400包括操作键419、CCD(电荷耦合器件)相机416、液晶显示器418、存储单元423、发送/接收电路单元463、天线414、麦克风(MIC)421和扬声器417。
当通话结束并且通过用户操作接通电源键时，电源电路单元451通过从电池组向每个单元提供电力来将蜂窝电话400激活为可操作状态。
蜂窝电话400在由CPU、ROM和RAM构成的主控制单元450的控制下，在诸如语音通话模式、数据通信模式等各种模式中执行各种操作，例如，发送/接收音频信号、发送/接收电子邮件和图像数据、图像拍摄、数据记录等。
例如，在语音通话模式中，蜂窝电话400通过音频编解码器459将在麦克风(MIC)421处收集的音频信号转换为数字音频数据，在调制/解调电路458处对其执行扩频处理，并且在发送/接收电路单元463处执行数模转换处理和频率转换处理。蜂窝电话400将通过该转换处理获得的发送信号经由天线414发送给未示出的基站。发送给基站的发送信号(音频信号)经由公共电话线网络被提供给对方的蜂窝电话。
此外，例如，在语音通话模式中，蜂窝电话400在发送/接收电路单元463处放大在天线414处接收到的接收信号，还执行频率转换处理和模数转换处理，并在调制/解调电路458处执行逆扩频处理，并由音频编解码器459转换为模拟音频信号。蜂窝电话400将通过该转换获得的模拟音频信号从扬声器417输出。
此外，例如当在数据通信模式中发送电子邮件时，蜂窝电话400在操作输入控制单元452处接受通过操作操作键419输入的电子邮件的文本数据。蜂窝电话400在主控制单元450处处理该文本数据，并且经由LCD控制单元455在液晶显示器418上显示为图像。
此外，在主控制单元450处，蜂窝电话400基于操作输入控制单元452所接受的文本数据以及用户指令等来生成电子邮件数据。蜂窝电话400在调制/解调电路458处对电子邮件数据执行扩频处理，并且在发送/接收电路单元463处执行数模转换处理和频率转换处理。蜂窝电话400将通过该转换处理获得的发送信号经由天线414发送给未示出的基站。发送给基站的发送信号(电子邮件)经由网络被提供给预定目的地，如邮件服务器等。
此外，例如，当在数据通信模式中接收电子邮件时，蜂窝电话400利用发送/接收电路单元463经由天线414接收从基站发送来的信号，放大，并且还执行频率转换处理和模数转换处理。蜂窝电话400在调制/解调电路458处对该接收信号执行逆扩频处理以恢复原始电子邮件数据。蜂窝电话400经由LCD控制单元455将所恢复的电子邮件数据显示在液晶显示器418上。
注意，蜂窝电话400还经由记录/回放单元462将所接收的电子邮件数据记录(存储)在存储单元423中。
该存储单元423是可选的可重写存储介质。存储单元423例如可以是诸如RAM或内置闪存等之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器或存储卡等之类的可移除介质。当然，存储单元423可以是除此之外的其它事物。
此外，例如当在数据通信模式中发送图像数据时，蜂窝电话400通过在CCD相机416处进行成像来生成图像数据。CCD相机416包括用作诸如透镜和光圈之类的光学设备并且用作对物体成像的光电转换设备的CCD，将所接收光的强度转换为电信号，并生成物体的图像的图像数据。该图像数据经由相机I/F单元454在图像编码器453处利用诸如MPEG2或MPEG4等之类的预定编码***经过压缩编码，因此该图像数据被转换为经编码图像数据。
蜂窝电话400使用上述图像编码设备51作为用于执行这些处理的图像编码器453。因此，与图像编码设备51的情况一样，图像编码器453利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
注意，与此同时，蜂窝电话400在音频编解码器459处对在利用CCD相机416成像期间通过麦克风(MIC)421收集的音频进行模数转换，并且还对其编码。
在复用/分离单元457处，蜂窝电话400利用预定方法来复用从图像编码器453提供来的经编码图像数据和从音频编解码器459提供来的数字音频数据。蜂窝电话400在调制/解调电路458处对作为其结果获得的经复用数据进行扩频处理，并且在发送/接收电路单元463处执行数模转换处理和频率转换处理。蜂窝电话400将通过该转换处理获得的发送信号经由天线414发送给未示出的基站。发送给基站的发送信号(图像数据)经由网络等被提供给通信对方。
注意，当不发送图像数据时，取代图像编码器453，蜂窝电话400还可以经由LCD控制单元455将在CCD相机416处生成的图像数据显示在液晶显示器418上。
此外，例如，当在数据通信模式中接收链接到简单网站等的运动图像文件的数据时，蜂窝电话400经由天线414利用发送/接收电路单元463接收从基站发送来的信号，放大，并且还执行频率转换处理和模数转换处理。蜂窝电话400在调制/解调电路458处对所接收信号执行逆扩频处理以恢复原始复用数据。蜂窝电话400在复用/分离单元457处将该复用数据分离为经编码图像数据和音频数据。
在图像解码器456处，蜂窝电话400利用与诸如MPEG2或MPEG4等预定编码***相对应的解码***来对编码图像数据进行解码，从而生成回放运动图像数据，并且经由LCD控制单元455将其显示在液晶显示器418上。因此，例如，包括在链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器418上。
蜂窝电话400使用上述图像解码设备101作为用于执行这样的处理的图像解码器456。因此，以与图像解码设备101的情况相同的方式，图像解码器456利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
此时，同时地，蜂窝电话400在音频编解码器459处将数字音频数据转换为模拟音频信号，并将其从扬声器417输出。因此，例如包括在链接到简单网站的运动图像文件中的音频数据可被播放。
注意，以与电子邮件的情况相同的方式，蜂窝电话400也可以经由记录/回放单元462将链接到简单网站等的所接收数据记录(存储)在存储单元423中。
此外，蜂窝电话400可以在主控制单元450处分析通过CCD相机416进行摄取而获得的二维码，从而可以获得记录在二维码中的信息。
此外，蜂窝电话400可以在红外通信单元481处利用红外线与外部设备通信。
蜂窝电话400利用图像编码设备51作为图像编码器453，例如，从而可以提高通过对在CCD相机416处生成的图像数据进行编码而生成的编码数据的编码效率。结果，蜂窝电话400可以向其他设备提供具有优良编码效率的编码数据(图像数据)。
此外，蜂窝电话400利用图像解码设备101作为图像解码器456，从而可以生成高精度的预测图像。结果，蜂窝电话400例如可以从链接到简单网站的运动图像文件获得并显示具有更高精度的解码图像并显示该图像。
注意，虽然到此为止描述了蜂窝电话400使用CCD相机416的示例，然而蜂窝电话400还可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)来取代CCD相机416。在此情况中，同样，蜂窝电话400可以按照利用CCD相机416时相同的方式来对物体成像并生成物体的图像的图像数据。
此外，虽然上面对蜂窝电话400进行了描述，然而图像编码设备51和图像解码设备101还可以以与蜂窝电话400的情况相同的方式被应用于任何种类的设备，只要该设备具有与蜂窝电话400相同的成像功能和通信功能即可，例如，PDA(个人数字助理)、智能电话、UMPC(超便携个人计算机)、上网本、膝上型个人计算机等。
图22是图示出使用应用了本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置示例的框图。
图22所示的硬盘记录器(HDD记录器)500是这样的设备，其将由调谐器接收的、从卫星或地面天线等发送来的广播波信号(电视信号)中包括的广播节目中的音频数据和视频数据存储在内置硬盘中，并且根据用户指示的定时处将所存储数据提供给用户。
硬盘记录器500例如可以从广播波信号中提取音频数据和视频数据，对它们进行适当的解码，并存储在内置硬盘中。此外，硬盘记录器500例如还可以经由网络从其它设备获取音频数据和视频数据，对它们进行适当的解码，并存储在内置硬盘中。
此外，例如，硬盘记录器500对记录在内置硬盘中的音频数据和视频数据进行解码并提供给监视器560，以将其图像显示在监视器560上。此外，硬盘记录器500可以从监视器560的扬声器输出其声音。
硬盘记录器500例如还可以对从经由调谐器获得的广播波信号提取的音频数据和视频数据或者经由网络从其它设备获得的音频数据和视频数据进行解码，提供给监视器560，并将其图像显示在监视器560的屏幕上。此外，硬盘记录器500可以从监视器560的扬声器输出其声音。
显然，也可以执行其它操作。
如图22所示，硬盘记录器500包括接收单元521、解调单元522、解复用器523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(屏上显示)控制单元531、显示控制单元532、记录/回放单元533、D/A转换器534和通信单元535。
此外，显示转换器530包括视频解码器541。记录/回放单元533包括编码器551和解码器552。
接收单元521从遥控器(未示出)接收红外信号，转换为电信号，并输出给记录器控制单元526。记录器控制单元526例如由微处理器等构成，并且根据存储在程序存储器528中的程序来执行各种处理。记录器控制单元526此时按照需要使用工作存储器529。
连接到网络的通信单元535经由网络与其它设备执行通信处理。例如，通信单元535由记录器控制单元526控制来与调谐器(未示出)通信并且主要向调谐器输出信道调谐控制信号。
解调单元522解调从调谐器提供来的信号，并输出给解复用器523。解复用器523将从解调单元522提供来的数据分离为音频数据、视频数据和EPG数据，并且分别输出给音频解码器524、视频解码器525和记录器控制单元526。
音频解码器524例如利用MPEG***来对输入音频数据进行解码，并且输出给记录/回放单元533。视频解码器525例如利用MPEG***对输入视频数据进行解码，并输出给显示转换器530。记录器控制单元526将输入EPG数据提供给EPG数据存储器527以被存储。
显示转换器530例如利用视频编码器541将从视频解码器525或记录器控制单元526提供来的视频数据编码为遵循NTSC(国际电视标准委员会)***的视频数据，并输出给记录/回放单元533。此外，显示转换器530将从视频解码器525或记录器控制单元526提供来的视频数据的画面大小转换为与监视器560的大小相对应的大小。显示转换器530还利用视频编码器541将画面大小已被转换的视频数据转换为遵循NTSC***的视频数据，转换为模拟信号，并输出给显示控制单元532。
在记录器控制单元526的控制下，显示控制单元532将从OSD(屏上显示)控制单元531输出的OSD信号叠加到从显示转换器530输入的视频信号，并输出给监视器560的显示装置以被显示。
此外，从音频解码器524输出的音频数据利用D/A转换器534被转换为模拟信号，并被提供给监视器560。监视器560从内置扬声器输出该音频信号。
记录/回放单元533包括作为存储介质的硬盘，其中记录了视频数据和音频数据等。
记录/回放单元533例如通过编码器551利用MPEG***对从音频解码器524提供来的音频数据进行编码。此外，记录/回放单元533通过编码器551利用MPEG***对从显示转换器530的视频编码器541提供来的视频数据编码。记录/回放单元533利用复用器来合成该音频数据的编码数据和该视频数据的编码数据。记录/回放单元533通过信道编码来放大合成数据，并且经由记录头将该数据写入硬盘。
记录/回放单元533经由回放头来播放记录在硬盘中的数据，放大，并利用解复用器分离为音频数据和视频数据。记录/回放单元533通过解码器552利用MPEG***对音频数据和视频数据解码。记录/回放单元533对经解码的音频数据执行数模转换，并输出给监视器560的扬声器。此外，记录/回放单元533对经解码的视频数据执行数模转换，并输出给监视器560的显示装置。
记录器控制单元526基于经由接收单元521从遥控器接收的红外线信号所指示的用户指令，来从EPG数据存储器527读出最新的EPG数据，并提供给OSD控制单元531。OSD控制单元531生成与所输入EPG数据相对应的图像数据，并输出给显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出给监视器560的显示装置以被显示。因此，EPG(电子节目指南)被显示在监视器560的显示装置上。
此外，硬盘记录器500可以获取经由诸如因特网之类的网络从其它设备提供来的各种数据，例如视频数据、音频数据、EPG数据等。
通信单元535由记录器控制单元526控制来获取经由网络从其它设备发送来的诸如视频数据、音频数据、EPG数据等的编码数据，并将它们提供给记录器控制单元526。记录器控制单元526例如将所获得的视频数据和音频数据的编码数据提供给记录/回放单元533，并存储在硬盘中。此时，记录器控制单元526和记录/回放单元533可以按照需要执行诸如重编码等之类的处理。
此外，记录器控制单元526对所获得的视频数据和音频数据的编码数据进行解码，并将所获得的视频数据提供给显示转换器530。显示转换器530按照与从视频解码器525提供来的视频数据相同的方式来处理从记录器控制单元526提供来的视频数据，并经由显示控制单元532将其提供给监视器560以用于显示其图像。
替代地，可以做出这样的布置，其中，根据该图像显示，记录器控制单元526将经解码音频数据经由D/A转换器534提供给监视器560，并将其音频从扬声器输出。
此外，记录器控制单元526对所获得的EPG数据的编码数据进行解码，并将经解码的EPG数据提供给EPG数据存储器527。
如此配置的硬盘记录器500使用图像解码设备101作为视频解码器525、解码器552和内置于记录器控制单元526中的解码器。因此，以与图像解码设备101的情况相同的方式，视频解码器525、解码器552和内置于记录器控制单元526中的解码器利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
因此，硬盘记录器500可以生成高精度的预测图像。结果，硬盘记录器500例如可以从经由调谐器接收到的视频数据的编码数据、自记录/回放单元533的硬盘读出的视频数据的编码数据，以及经由网络获得的视频数据的编码数据来获得具有较高精度的解码图像，并显示在监视器560上。
此外，硬盘记录器500使用图像编码设备51作为图像编码器551。因此，以与图像编码设备51的情况相同的方式，编码器551利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
因此，硬盘记录器500可以提高例如将被记录在硬盘中的编码数据的编码效率。结果，硬盘记录器500可以更高效地使用硬盘的存储区域。
注意，虽然上面描述了用于将视频数据和音频数据记录在硬盘中的硬盘记录器500，然而当然，还可以采用任何种类的记录介质。例如，即使对于应用了硬盘以外的诸如闪存、光盘、视频磁带等之类的记录介质的记录器，也可以按照与上述硬盘记录器500的情况相同的方式，来将图像编码设备51和图像解码设备101应用于它。
图23是图示出使用应用了本发明的图像解码设备和图像编码设备的相机的主要配置示例的框图。
图23所示的相机600对物体成像，将物体的图像显示在LCD 616上，并且将其作为图像数据记录在记录介质633中。
透镜块611将光输入CCD/CMOS 612。CCD/CMOS 612是使用CCD或CMOS的图像传感器，将所接收光的强度转换为电信号，并提供给相机信号处理单元613。
相机信号处理单元613将从CCD/CMOS 612提供来的电信号转换为色差信号Y、Cr和Cb，并提供给图像信号处理单元614。图像信号处理单元614在控制器621的控制下，对从相机信号处理单元613提供来的图像信号执行预定图像处理，或者例如利用MPEG***通过编码器641对图像信号编码。图像信号处理单元614将通过对图像信号编码生成的编码数据提供给解码器615。此外，图像信号处理单元614获取在屏上显示(OSD)620中生成的显示数据，并将其提供给解码器615。
在以上处理中，相机信号处理单元613根据需要，利用经由总线617相连的DRAM(动态随机存取存储器)618来将图像数据、通过对该图像数据编码获得的编码数据等保存在该DRAM 618中。
解码器615对从图像信号处理单元614提供来的编码数据进行解码并且将所获得的图像数据(经解码图像数据)提供给LCD 616。此外，解码器615将从图像信号处理单元614提供来的显示数据提供给LCD 616。LCD 616将从解码器615提供来的经解码图像数据的图像与显示数据的图像适当地合成，并显示该合成图像。
在控制器621的控制下，屏上显示620经由总线617向图像信号处理单元614输出诸如由符号、字符和图形组成的菜单画面或图标等的显示数据。
控制器621基于表示用户利用操作单元622指示的内容的信号来执行各种处理，并且还经由总线617来控制图像信号处理单元614、DRAM618、外部接口619、屏上显示620、介质驱动器623等。FLASH ROM(闪速ROM)624存储控制器621执行各种处理所需的程序、数据等。
例如，控制器621可以取代图像信号处理单元614和解码器615来对存储在DRAM 618中的图像数据编码或者对存储在DRAM 618中的经编码数据解码。此时，控制器621可以利用与图像信号处理单元614和解码器615的编码和解码***相同的***来执行编码和解码处理，或者可以利用图像信号处理单元614和解码器615不能处理的***来执行编码和解码处理。
此外，例如当从操作单元622指示了开始图像打印时，控制器621从DRAM 618读出图像数据，并经由总线617将其提供给连接到外部接口619的打印机634以便进行打印。
此外，例如当从操作单元622指示了图像记录时，控制器621从DRAM 618读出经编码数据，并经由总线617将其提供给装载到介质驱动器623上的记录介质633，以便被存储。
记录介质633是可选的可读/可写可移除介质，例如，磁盘、磁光盘、光盘、半导体存储器等。当然，记录介质633在可移除介质的类型方面也是可选的，并且因此可以是磁带设备，或者可以是盘，或者可以是存储卡。当然，记录介质633还可以是非接触IC卡等。
替代地，介质驱动器623和记录介质633例如可被配置为被集成到不可拆卸存储介质中，例如内置盘驱动器、SSD(固态驱动器)等。
外部接口619例如由USB输入/输出端子等构成，并且在执行图像打印时被连接到打印机634。此外，驱动器631根据需要被连接到外部接口619，诸如磁盘、光盘或磁光盘等之类的可移除介质632被装载到驱动器631上，并且从其读出的计算机程序根据需要被安装到FLASH ROM 624中。
此外，外部接口619包括连接到诸如LAN或因特网等之类的预定网络的网络接口。例如，控制器621可以根据来自操作单元622的指令，从DRAM 618读出经编码数据并将其从外部接口619提供给经由网络相连的另一设备。此外，控制器621可以通过外部接口619获取经由网络从另一设备提供来的经编码数据或图像数据，并将其保存在DRAM 618中或将其提供给图像信号处理单元614。
如此配置的相机600使用图像解码设备101作为解码器615。因此，以与图像解码设备101的情况相同的方式，解码器615利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
因此，相机600可以生成具有高精度的预测图像。结果，相机600例如可以从在CCD/CMOS 612处生成的图像数据、自DRAM 618或记录介质633读出的视频数据的经编码数据或者经由网络获得的视频数据的经编码数据中获得具有更高精度的解码图像，并显示在LCD 616上。
此外，相机600使用图像编码设备51作为编码器641。因此，以与图像编码设备51的情况相同的方式，编码器641利用解码图像来执行对用于每个对象块(或宏块)的最优直接模式的选择。因此，可以抑制压缩信息的增加，并且还可以提高预测精度。
因此，相机600例如可以提高将被记录在硬盘中的编码数据的编码效率。结果，相机600可以更高效地利用DRAM 618和记录介质633的存储区域。
注意，图像解码设备101的解码方法可被应用于控制器621执行的解码处理。类似地，图像编码设备51的编码方法可被应用于控制器621执行的编码处理。
此外，相机600所成像的图像数据可以是运动图像或者可以是静止图像。
当然，图像编码设备51和图像解码设备101可应用于上述设备以外的设备或***。
参考标号列表
51图像编码设备
66无损编码单元
74帧内预测单元
75运动预测/补偿单元
76直接模式选择单元
77预测图像选择单元
81 SDM运动向量计算单元
82 TDM运动向量计算单元
91 SDM残余能量计算单元
92 TDM残余能量计算单元
93比较单元
94直接模式确定单元
112无损解码单元
121帧内预测单元
122运动预测/补偿单元
123直接模式选择单元
124开关

Claims (14)

1.一种图像处理设备，包括：
空间模式残余能量计算装置，被配置为使用对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，所述***像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；
时间模式残余能量计算装置，被配置为使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述***像素的时间模式残余能量；以及
直接模式确定装置，被配置为在由所述空间模式残余能量计算装置计算出的所述空间模式残余能量等于或小于由所述时间模式残余能量计算装置计算出的所述时间模式残余能量的情况中，确定在所述空间直接模式中执行对所述对象块的编码，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行对所述对象块的编码。
2.根据权利要求1所述的图像处理设备，还包括：
编码装置，被配置为根据由所述直接模式确定装置确定的所述空间直接模式或所述时间直接模式来对所述对象块编码。
3.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述时间模式残余能量；
并且其中，所述直接模式确定装置比较针对所述Y信号分量、所述Cb信号分量和所述Cr信号分量的每个的所述空间模式残余能量与所述时间模式残余能量之间的大小关系，以判断所述对象块在所述空间直接模式中被编码还是所述对象块在所述时间直接模式中被编码。
4.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述时间模式残余能量。
5.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述时间模式残余能量。
6.根据权利要求1所述的图像处理设备，还包括：
空间模式运动向量计算装置，被配置为计算根据所述空间直接模式的运动向量信息；以及
时间模式运动向量计算装置，被配置为计算根据所述时间直接模式的运动向量信息。
7.一种图像处理方法，包括以下步骤：
使得图像处理设备
使用对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，所述***像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；
使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述***像素的时间模式残余能量；以及
在所述空间模式残余能量等于或小于所述时间模式残余能量的情况中，确定在所述空间直接模式中执行对所述对象块的编码，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行对所述对象块的编码。
8.一种图像处理设备，包括：
空间模式残余能量计算装置，被配置为使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，所述***像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；
时间模式残余能量计算装置，被配置为使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述***像素的时间模式残余能量；以及
直接模式确定装置，被配置为在由所述空间模式残余能量计算装置计算出的所述空间模式残余能量等于或小于由所述时间模式残余能量计算装置计算出的所述时间模式残余能量的情况中，确定在所述空间直接模式中执行所述对象块的预测图像的生成，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行所述对象块的预测图像的生成。
9.根据权利要求8所述的图像处理设备，还包括：
运动补偿装置，被配置为根据由所述直接模式确定装置确定的所述空间直接模式或所述时间直接模式来生成所述对象块的预测图像。
10.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述时间模式残余能量；
并且其中，所述直接模式确定装置比较针对所述Y信号分量、所述Cb信号分量和所述Cr信号分量的每个的所述空间模式残余能量与所述时间模式残余能量之间的大小关系，以判断所述对象块的预测图像的生成在所述空间直接模式中被执行还是所述对象块的预测图像的生成在所述时间直接模式中被执行。
11.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述时间模式残余能量。
12.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述空间模式残余能量；
并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述时间模式残余能量。
13.根据权利要求8所述的图像处理设备，还包括：
空间模式运动向量计算装置，被配置为计算根据所述空间直接模式的运动向量信息；以及
时间模式运动向量计算装置，被配置为计算根据所述时间直接模式的运动向量信息。
14.一种图像处理方法，包括以下步骤：
使得图像处理设备
使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了***像素的空间模式残余能量，所述***像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；
使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述***像素的时间模式残余能量；以及
在所述空间模式残余能量等于或小于所述时间模式残余能量的情况中，确定在所述空间直接模式中执行所述对象块的预测图像的生成，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行所述对象块的预测图像的生成。
CN201080007893.2A 2009-02-20 2010-02-12 图像处理设备和方法 Expired - Fee Related CN102318347B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009037465 2009-02-20
JP2009-037465 2009-02-20
PCT/JP2010/052019 WO2010095559A1 (ja) 2009-02-20 2010-02-12 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN102318347A CN102318347A (zh) 2012-01-11
CN102318347B true CN102318347B (zh) 2014-03-12

Family

ID=42633842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080007893.2A Expired - Fee Related CN102318347B (zh) 2009-02-20 2010-02-12 图像处理设备和方法

Country Status (7)

Country Link
US (1) US20120027094A1 (zh)
JP (1) JPWO2010095559A1 (zh)
CN (1) CN102318347B (zh)
BR (1) BRPI1008273A2 (zh)
RU (1) RU2523940C2 (zh)
TW (1) TWI405469B (zh)
WO (1) WO2010095559A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011099242A1 (ja) * 2010-02-12 2011-08-18 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011146451A1 (en) * 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
JP5486091B2 (ja) * 2010-09-30 2014-05-07 三菱電機株式会社 動画像復号装置及び動画像復号方法
JP5711514B2 (ja) * 2010-12-14 2015-04-30 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
WO2012090425A1 (ja) * 2010-12-27 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
EP2664146A1 (en) * 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
KR101538710B1 (ko) 2011-01-14 2015-09-15 모토로라 모빌리티 엘엘씨 시간적 블록 병합 모드
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US10764593B2 (en) * 2012-07-03 2020-09-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023673A (zh) * 2004-09-16 2007-08-22 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625215B1 (en) * 1999-06-07 2003-09-23 Lucent Technologies Inc. Methods and apparatus for context-based inter/intra coding mode selection
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4429996B2 (ja) * 2005-09-30 2010-03-10 富士通株式会社 動画像符号化プログラム、動画像符号化方法および動画像符号化装置
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023673A (zh) * 2004-09-16 2007-08-22 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2004-165703A 2004.06.10
JP特开2007-97063A 2007.04.12

Also Published As

Publication number Publication date
RU2523940C2 (ru) 2014-07-27
BRPI1008273A2 (pt) 2016-03-15
JPWO2010095559A1 (ja) 2012-08-23
CN102318347A (zh) 2012-01-11
WO2010095559A1 (ja) 2010-08-26
TWI405469B (zh) 2013-08-11
TW201032599A (en) 2010-09-01
US20120027094A1 (en) 2012-02-02
RU2011134048A (ru) 2013-02-20

Similar Documents

Publication Publication Date Title
CN102318347B (zh) 图像处理设备和方法
CN102342108B (zh) 图像处理设备和方法
US9510015B2 (en) Image processing device and method for assigning luma blocks to chroma blocks
TWI411310B (zh) Image processing apparatus and method
CN102318346A (zh) 图像处理设备和方法
CN102160384A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
WO2010035734A1 (ja) 画像処理装置および方法
CN102160382A (zh) 图像处理设备和图像处理方法
CN102714735A (zh) 图像处理设备和方法
CN104054346A (zh) 图像处理装置和方法
CN102160380A (zh) 图像处理设备和方法
CN102301718A (zh) 图像处理设备、图像处理方法和程序
US20130279586A1 (en) Image processing device and image processing method
CN102696227A (zh) 图像处理设备和方法
CN102342107A (zh) 图像处理设备和方法
WO2010035735A1 (ja) 画像処理装置および方法
CN103959784A (zh) 图像处理装置和方法
CN102986226A (zh) 图像处理装置和方法
CN102823255A (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312

Termination date: 20150212

EXPY Termination of patent right or utility model