CN102165778A - 图像处理装置、图像处理方法、程序及集成电路 - Google Patents

Abstract

一种图像处理装置(10)，可防止画质恶化，抑制帧存储器需要的带域和容量，具备：选择部(14)，切换并选择第1处理模式与第2处理模式；帧存储器(12)；存储部(11)，在选择了第1处理模式时，通过删除输入图像中包含的预定频率的信息，缩小该输入图像，并将缩小后的输入图像作为缩小图像，存储在帧存储器(12)中，在选择了第2处理模式时，将输入图像不缩小地存储在帧存储器(12)中；和读出部(13)，在选择了第1处理模式时，从帧存储器(12)中读出缩小图像并扩大，在选择了第2处理模式时，从帧存储器(12)中读出未缩小的输入图像。

Description

图像处理装置、图像处理方法、程序及集成电路

技术领域

本发明涉及一种依次处理多个图像的图像处理装置，尤其涉及具有在将图像存储在存储器中并且读出存储器中存储的图像的功能的图像处理装置。

背景技术

具有将图像存储在帧存储器中并且读出帧存储器中存储的图像的功能的图像处理装置例如配备在解码按照H.264等视频编码标准压缩的位流的视频解码器等图像解码装置中。另外，这种图像解码装置例如用于对应高清数字电视或电视会议***中。

高清影像中使用1920×1080像素尺寸的图片、即由2073600像素构成的图片。高清解码器与标准图像(SDTV)解码器相比，由于需要追加存储器，所以价格会比标准图像解码器高很多。

另外，H.264、VC-1和MPEG-2等视频编码标准对应于高清。近年来，各种各样***中广泛使用的视频编码标准是H.264。该标准可以比以前广泛使用的MPEG-2标准低的位率来提供良好的画质。例如，H.264的位率是MPEG-2的一半左右。但是，在H.264的视频编码标准中，为了实现低的位率，算法复杂化，结果，需要比以前的视频编码标准大得多的帧存储器带域或帧存储器容量。削减高清影像解码所需的帧存储器带域或帧存储器容量对于廉价实现对应于H.264视频编码标准的图像解码装置而言是至关重要的。即，为了廉价实现图像解码装置，要求图像处理装置不降低画质地抑制帧存储器需要的带域(访问帧存储器的带宽)和容量。

作为实现廉价图像解码装置的方法之一，有称为向下解码的方法。

图47是表示向下解码高清影像的典型图像解码装置的功能构成的模块图。

该图像解码装置1000对应于H.264视频编码标准，具备语法解析熵解码部1001、逆量化部1002、逆频率变换部1003、帧内预测部1004、加法部1005、解块滤波部1006、压缩处理部1007、帧存储器1008、扩展处理部1009、全分辨率运动补偿部1010和视频输出部1011。这里，图像处理装置由压缩处理部1007、帧存储器1008和扩展处理部1009构成。

语法解析熵解码部1001取得位流，对该位流进行语法解析及熵解码。熵解码中也可包含可变长度解码(VLC)或算术编码(例如CABAC：Context-based Adaptive Binary Arithmetic Coding，上下文适应性二进制算术编码)。逆量化部1002取得从语法解析熵解码部1001输出的熵解码系数并进行逆量化。逆频率变换部1003通过对逆量化后的熵解码系数进行逆离散余弦变换，生成差分图像。

加法部1005在进行帧间预测时，通过将从全分辨率运动补偿部1010输出的帧间预测图像与从逆频率变换部1003输出的差分图像相加，生成解码图像。另外，加法部1005在进行帧内预测时，通过将从帧内预测部1004输出的帧内预测图像与从逆频率变换部1003输出的差分图像相加，生成解码图像。

解块滤波部1006对解码图像进行解块滤波处理，降低块噪声。

压缩处理部1007进行压缩处理。即，压缩处理部1007将该进行解块滤波处理后的解码图像压缩成低分辨率的图像，并将压缩后的解码图像作为参照图像，写入帧存储器1008。帧存储器1008具有用于存储多个参照图像的域。

扩展处理部1009进行扩展处理。即，扩展处理部1009读出帧存储器1008中存储的参照图像，将该参照图像扩展为原本的高分辨率(压缩前的解码图像的分辨率)的图像。

全分辨率运动补偿部1010使用从语法解析熵解码部1001输出的运动矢量与由扩展处理部1009扩展的参照图像，生成帧间预测图像。帧内预测部1004在进行帧内预测的情况下，使用解码对象块的邻近像素，通过对该解码对象块进行帧内预测，生成帧内预测图像。

视频输出部1011从帧存储器1008中读出作为参照图像存储在该帧存储器1008中的压缩后的解码图像，将该解码图像扩大或缩小到应输出到显示器的分辨率，并输出到显示器。

这样，进行向下解码的图像解码装置1000通过压缩解码图像并写入帧存储器1008中，可削减帧存储器1008所需的容量与带域。即，图像处理装置在将参照图像存储在帧存储器1008中时，压缩该参照图像，在从帧存储器1008中读出参照图像时，扩展该缩小后的参照图像，由此抑制帧存储器1008所需的带域和容量。

这里，为了执行可削减帧存储器所需的带域与容量的向下解码，提出了多种方法(例如参照专利文献1和非专利文献1)。

上述非专利文献1的向下解码利用DCT(Discrete Cosine Transform，离散余弦变换)，即便在多个向下解码中也有可能保持逻辑上最小限度的解码误差。

图48是用于说明上述非专利文献1的向下解码的说明图。

在该向下解码的扩展处理中，对参照图像块进行低分辨率的DCT，向结果生成的多个变换系数构成的系数组附加表示0的高频成分。并且，通过对附加了高频成分的系数组进行全分辨率(高分辨率)的IDCT(逆离散余弦变换)，扩大参照图像块，将扩大后的参照图像块用于运动补偿。即，在该向下解码中，将图像的扩大处理用作扩展处理。

另外，在上述向下解码的压缩处理中，对全分辨率的解码图像块进行全分辨率的DCT，从结果生成的多个变换系数构成的系数组中删除高频成分。并且，通过对删除了高频成分的系数组进行低分辨率的IDCT，缩小全分辨率的解码图像块，将缩小后的解码图像块存储在帧存储器中。即，在该向下解码中，图像的缩小处理被用作压缩处理。

在这种向下解码的算法中，帧存储器中存储的低分辨率的缩小图像(解码图像块)在进行原本分辨率(全分辨率)的运动补偿之前，使用离散余弦变换/逆离散余弦变换来扩大。

另外，在上述专利文献1的向下解码中，代替缩小图像，将压缩数据存储在帧存储器中。

图49A和图49B是用于说明上述专利文献1的向下解码的说明图。

图49A所示的第1存储器管理器和第2存储器管理器相当于图47所示的压缩处理部1007和扩展处理部1009，图49A所示的第1存储器和第2存储器相当于图47所示的帧存储器1008。即，第1存储器管理器和第2存储器管理器与第1存储器和第2存储器构成图像处理装置。下面，将第1存储器管理器和第2存储器管理器统称为存储器管理器。

存储器管理器在进行压缩处理时，如图49B所示，执行进行错误扩散的步骤、以及每4个像素舍去一个像素的步骤。首先，存储器管理器使用1位错误扩散算法，将由32位(4像素×8位/像素)所示的4像素组压缩成28位(4像素×7位/像素)。接着，以规定方法从4像素组中舍去一个像素，将该4像素组压缩成(3像素×7位/像素)。并且，存储器管理器向该4像素组的最后附加表示舍去方法的3位。作为结果，将32位的4像素组压缩成24位(3像素×7位/像素+3位)。

先行技术文献

专利文献

专利文献1：美国专利第6198773号说明书

非专利文献

非专利文献1：‘Minimal error drift in frequency scalability for motion-compensated DCT coding’，IEEE Transactions on Circuits and Systems for Video Technology，vol.4，no.4，392-406页，1994年8月

发明的概要

发明要解决的问题

但是，进行上述非专利文献1和专利文献1的向下解码的图像解码装置中配备的图像处理装置中，存在画质经常会恶化的问题。

具体地，在上述非专利文献1的向下解码中，易受参照过去图像造成的漂移错误的影响。进行向下解码的图像解码装置1000通过执行视频编码标准中未定义的上述压缩处理和扩展处理，会将误差重叠于解码图像上。若参照重叠了该误差的解码图像解码下一图像，则解码图像中逐渐累积误差。将这种误差累积称为漂移错误。即，在上述非专利文献1的向下解码中，当缩小处理时，从由DCT生成的高次变换系数(高频的变换系数)中具有高能量的某个高清图像中，不可逆地舍去该高次变换系数。这样，缩小处理中高频成分的信息大量丢失，结果，解码图像的误差变大，该误差会引起漂移错误。

由于在视频编码标准中包含帧内预测，向下解码中的视觉失真尤其在H.264的视频编码标准的解码中显著呈现(参照ITU-T H.264 Advanced video coding for generic audiovisual services)。帧内预测是使用位于解码对象块的周边的已解码的周边像素在帧内生成预测图像(帧内预测图像)的H.264特有的处理。在该已解码的周边像素中重叠在先描述的误差。若将重叠了误差的像素用于帧内预测，则以使用预测图像的块单位(4×4像素、8×8像素或16×16像素)产生误差。即便解码图像中的误差仅为1像素，但若使用该像素来执行帧内预测，则会以4×4像素等构成的大的块单位产生误差，产生视觉上容易识别的块噪声。

在上述专利文献1的向下解码中，由于压缩处理的最初步骤中在1位错误扩散中舍去LSB(Least Significant Bit，最低有效位)位，在平坦域中信息不可逆地丢失。因此，平坦域的画质变差(所谓平坦域是指由具有彼此非常接近的像素值的多个像素构成的域)。具有多个平坦域的长图片组(GOP：Group Of Pictures)有可能在图像中产生严重的失真。

发明内容

因此，本发明鉴于这种问题而做出，其目的在于，提供一种图像处理装置和图像处理方法，能够防止画质恶化，抑制帧存储器需要的带域和容量。

用于解决问题的手段

为了实现上述目的，根据本发明一方式的图像处理装置依次处理多个输入图像，该图像处理装置具备：选择部，按至少一个输入图像切换并选择第1处理模式与第2处理模式；帧存储器；存储部，当所述选择部选择所述第1处理模式时，通过删除所述输入图像中包含的预定频率的信息，缩小所述输入图像，并将缩小后的所述输入图像作为缩小图像，存储在所述帧存储器中，当所述选择部选择所述第2处理模式时，不缩小所述输入图像，而将该输入图像存储在所述帧存储器中；和读出部，当所述选择部选择所述第1处理模式时，从所述帧存储器中读出并扩大所述缩小图像，当所述选择部选择所述第2处理模式时，从所述帧存储器中读出未缩小的所述输入图像。

由此，当选择了第1处理模式时，缩小输入图像并存储在帧存储器中，并且，将该缩小了的输入图像从帧存储器中读出并扩大，所以可抑制该帧存储器所需的带域和容量。另外，当选择了第2处理模式时，将输入图像不缩小地存储在帧存储器中，原样读出该输入图像，所以可防止该输入图像的画质恶化。另外，由于对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2处理模式，所以可取得防止多个输入图像的整体画质恶化与抑制帧存储器需要的带域和容量的平衡，使两者同时实现。

另外，也可所述图像处理装置还具备解码部，将所述读出部读出的扩大的缩小图像、或所述读出部读出的输入图像作为参照图像参照，通过解码位流中包含的编码图像，生成解码图像，所述存储部通过将所述解码部生成的解码图像作为输入图像处理，当选择所述第1处理模式时，缩小所述解码图像，并将缩小后的所述解码图像作为所述缩小图像，存储在所述帧存储器中，当选择所述第2处理模式时，将所述解码部生成的解码图像不缩小地存储在所述帧存储器中，所述选择部根据所述位流中包含的、涉及所述参照图像的信息，选择第1处理模式或第2处理模式。

由此，由于将帧存储器中存储的缩小图像或输入图像用作参照图像，解码位流中包含的编码图像，所以可将图像处理装置用作图像解码装置。并且，由于根据位流中包含的、例如参照帧数量等涉及参照图像的信息，切换第1处理模式与第2处理模式，所以可适当确保防止画质恶化与抑制帧存储器需要的带域和容量的平衡。

另外，也可所述存储部当将缩小图像存储在所述帧存储器中时，将表示所述缩小图像像素值的数据的一部分置换为表示被删除的频率信息的至少一部分的嵌入数据，所述读出部当扩大所述缩小图像时，从所述缩小图像中提取所述嵌入数据，根据所述嵌入数据，恢复所述频率的信息，通过向提取出所述嵌入数据的缩小图像附加所述频率的信息，扩大所述缩小图像。

在现有的向下解码中，通过删除解码图像的高频成分来缩小该解码图像，将缩小后的解码图像作为参照图像(缩小图像)存储在帧存储器中。另外，当使用该参照图像解码编码图像时，通过对该参照图像追加表示0的高频成分，扩大该参照图像，在编码图像的解码中参照扩大后的参照图像。因此，删除解码图像的高频成分，将删除了高频成分的解码图像作为参照图像勉强地扩大并参照。结果，会产生视觉失真，画质恶化。但是，在本发明的一方式中，如上所述，即便将高次变换系数等高频成分作为预定频率的信息删除，也可将表示该高次变换系数的至少一部分的例如可变长度编码(编码高次变换系数)等嵌入数据嵌入参照图像(缩小图像)中。另外，当编码图像的解码中使用该参照图像时，从该参照图像中提取嵌入数据，恢复高次变换系数，使用该高次变换系数，扩大参照图像。因此，由于不舍去解码图像中包含的全部高频成分，在解码编码图像中参照的图像中包含该高频成分，所以可削减通过该解码生成的新的解码图像中的视觉失真，防止画质恶化，来进行向下解码。并且，由于将表示参照图像像素值的数据的一部分置换为嵌入数据，所以可不增加参照图像的数据量，抑制帧存储器需要的容量或带域。

即，在本发明一方式中，通过使用数字水印技术来削减向下解码中因图像的缩小或压缩信息而产生的误差，可得到高画质的高清影像。数字水印技术是为了将机器可读取的数据嵌入图像中而变更部分图像的技术。作为数字水印的嵌入数据让视听者无法识别或基本上无法识别。嵌入数据通过部分变更空间、时间或其他变换域(例如傅立叶变换域、离散余弦变换域、小波变换域等)中的媒体内容的数据采样，从而作为数字水印被嵌入。另外，在本发明的一方式中，由于代替复杂的压缩数据而将嵌入数字水印的参照图像存储在帧存储器中，所以从该帧存储器中取出参照图像并输出的视频输出部不需要特殊的扩展处理。

另外，也可所述存储部将表示所述缩小图像像素值的数据中、至少包含LSB(Least Significant Bit)的一个或多个位所示的值置换为所述嵌入数据。

由此，由于将LSB置换为嵌入数据，所以可将因该置换而对缩小图像的像素值造成的误差抑制到最小限度。

另外，也可所述存储部还具备编码部，通过对由所述删除部删除的所述高频成分进行可变长度编码，生成所述嵌入数据，所述恢复部通过对所述嵌入数据进行可变长度解码，根据所述嵌入数据，恢复所述高频成分。

由此，通过对高频成分进行可变长度编码，可将嵌入数据的数据量抑制得较小，结果，可将因嵌入数据的置换而对参照图像(缩小图像)的像素值造成的误差抑制到最小限度。

另外，也可所述存储部还具备量化部，通过量化由所述删除部删除的所述高频成分，生成所述嵌入数据，所述恢复部通过逆量化所述嵌入数据，根据所述嵌入数据，恢复所述高频成分。

由此，通过量化高频成分，可将嵌入数据的数据量抑制得较小，结果，可将因嵌入数据的置换而对参照图像(缩小图像)的像素值造成的误差抑制至最小限度。

这样，虽然因嵌入数据的置换而丢失表示像素值的数据的一部分，但由于根据嵌入数据能够可靠地得到比该丢失的部分信息多的信息，所以产生信息增益。

另外，也可所述提取部提取表示所述缩小图像像素值的位串构成的数据中、至少一个规定位所示的所述嵌入数据，将提取了所述嵌入数据的像素值，设定为所述位串对应于所述至少一个规定位的值而可能取的值的范围的中央值，所述第2正交变换部将具有设定为所述中央值的像素值的缩小图像的域从像素域变换至频域。

若将提取了嵌入数据的至少一个规定位的值全部设为0，则像素值中会产生显著的误差。但是，在本发明中，由于设定像素值为位串根据该至少一个规定位的值而可能取的值的范围的中央值，所以可防止像素值产生显著的误差。

另外，也可所述存储部根据所述缩小图像，判别是否应置换为所述嵌入数据，在判别为应置换的情况下，将表示所述缩小图像像素值的数据的一部分置换为所述嵌入数据，所述读出部根据所述缩小图像，判别是否应提取所述嵌入数据，在判别为应提取的情况下，从所述缩小图像中提取所述嵌入数据，向提取了所述嵌入数据的缩小图像附加所述频率的信息。

在缩小图像平坦且边缘少的情况下，即缩小图像中高次变换系数少的情况下，将表示缩小图像像素值的数据的一部分置换为嵌入数据的情况与不置换的情况相比，画质会恶化。因此，在本发明的一方式中，由于根据缩小图像来切换对嵌入数据的置换，所以对任何缩小图像均可抑制画质的恶化。

另外，根据本发明一方式的图像处理装置依次处理多个输入图像，该图像处理装置具备：帧存储器；缩小处理部，通过删除输入图像中包含的预定频率的信息，缩小所述输入图像，并将缩小后的所述输入图像作为缩小图像，存储在所述帧存储器中；和扩大处理部，从所述帧存储器中读出并扩大所述缩小图像，所述缩小处理部当在所述帧存储器中存储缩小图像时，将表示所述缩小图像像素值的数据一部分置换为表示被删除的所述频率信息至少一部分的嵌入数据，所述扩大处理部从所述缩小图像中提取所述嵌入数据，根据所述嵌入数据，恢复所述频率的信息，并通过向提取了所述嵌入数据的缩小图像附加所述频率的信息，扩大所述缩小图像。

由此，即便将高次变换系数等高频成分作为预定频率的信息删除，也可将表示该高次变换系数至少一部分的、例如可变长度编码(编码高次变换系数)等嵌入数据嵌入缩小图像中。另外，当从帧存储器中读出该缩小图像时，从该缩小图像中提取嵌入数据，恢复高次变换系数，使用该高次变换系数，扩大缩小图像。因此，由于不舍去全部高频成分地缩小输入图像，在读出并扩大的缩小图像中包含该高频成分，所以即便不切换上述第1处理模式与第2处理模式，也可防止画质恶化，抑制帧存储器需要的带域和容量。

另外，根据本发明一方式的图像解码装置依次解码位流中包含的多个编码图像，该图像解码装置具备：帧存储器，存储解码编码图像中使用的参照图像；解码部，通过参照扩大所述参照图像而得到的图像，解码所述编码图像，生成解码图像；缩小处理部，通过删除所述解码部生成的解码图像中包含的预定频率的信息，缩小所述解码图像，并将缩小后的所述解码图像作为参照图像，存储在所述帧存储器中；和扩大处理部，从所述帧存储器中读出所述参照图像并扩大，所述缩小处理部当在所述帧存储器中存储参照图像时，将表示所述参照图像像素值的数据一部分置换为表示被删除的所述频率信息至少一部分的嵌入数据，所述扩大处理部从所述参照图像中提取所述嵌入数据，根据所述嵌入数据，恢复所述频率的信息，并通过向提取了所述嵌入数据的参照图像附加所述频率的信息，扩大所述参照图像。

由此，即便将高次变换系数等高频成分作为预定频率的信息删除，也可将表示该高次变换系数至少一部分的、例如可变长度编码(编码高次变换系数)等嵌入数据嵌入参照图像中。另外，当将该参照图像用于编码图像的解码时，从该参照图像中提取嵌入数据，恢复高次变换系数，使用该高次变换系数，扩大参照图像。因此，由于不舍去解码图像中包含的全部高频成分，在解码编码图像中参照的图像中包含该高频成分，所以可削减通过该解码生成的新的解码图像中的视觉失真。结果，如上所述，可不切换第1处理模式与第2处理模式，防止画质恶化，进行向下解码。并且，由于将表示参照图像像素值的数据的一部分置换为嵌入数据，所以可不增加参照图像的数据量，抑制帧存储器需要的容量或带域。

本发明不仅可实现为这种图像处理装置，也可实现为集成电路、该图像处理装置处理图像的方法、让计算机执行该方法中包含的处理的程序、存储该程序的记录媒体。

发明效果

本发明的图像处理装置可起到防止画质恶化、抑制帧存储器需要的带域和容量的作用效果。

附图说明

图1是表示本发明实施方式1中的图像处理装置的功能构成的模块图。

图2是表示以上图像处理装置的动作的流程图。

图3是表示本发明实施方式2中的图像解码装置的功能构成的模块图。

图4是表示以上嵌入缩小处理部的处理动作概略的流程图。

图5是表示以上高次变换系数的编码处理的流程图。

图6是表示以上编码高次变换系数的嵌入处理的流程图。

图7是表示用于对以上高次变换系数进行可变长度编码的表的图。

图8是表示以上提取扩大处理部的处理动作概略的流程图。

图9是表示以上编码高次变换系数的提取和恢复处理的流程图。

图10是表示以上嵌入缩小处理部的处理动作的具体例的图。

图11是表示以上提取扩大处理部的处理动作的具体例的图。

图12是表示根据以上变形例的图像解码装置的功能构成的模块图。

图13是表示根据以上变形例的选择部的动作的流程图。

图14是表示本发明实施方式3中的嵌入缩小处理部执行的编码高次变换系数的嵌入处理的流程图。

图15是表示以上提取扩大处理部执行的编码高次变换系数的提取和恢复处理的流程图。

图16是表示本发明实施方式4的图像解码装置的功能构成的模块图。

图17是表示以上视频输出部的功能构成的模块图。

图18是表示以上视频输出部的动作的流程图。

图19是表示根据以上变形例的图像解码装置的功能构成的模块图。

图20是表示根据以上变形例的视频输出部的功能构成的模块图。

图21是表示根据以上变形例的视频输出部的动作的流程图。

图22是表示本发明实施方式5的***LSI的构成的构成图。

图23是表示根据以上变形例的***LSI的构成的构成图。

图24是表示本发明实施方式6中缩小存储器视频解码器的概要的模块图。

图25是涉及进行缩小DPB充足性检查的预分析器的概略图，缩小DPB充足性检查决定针对以上上位参数层和下位参数层双方的图片的视频解码模式(全分辨率或解码分辨率)。

图26是涉及以上下位层语法的缩小DPB充足性检查的流程图。

图27是涉及以上预读信息生成(步骤S245)的流程图。

图28是涉及以上准时移除实例(on time removal instance)(步骤S2453)的存储的流程图。

图29是涉及以上用于确认全解码模式的执行可能性的条件检查(步骤S246)的流程图。

图30是以上示例的下位层语法的缩小DPB充足性检查-例1。

图31是以上示例的下位层语法的缩小DPB充足性检查-例2。

图32是涉及使用表示由以上预分析器提供的、涉及帧解码的全部帧的视频解码模式的信息列表、进行全分辨率视频解码或降低分辨率视频解码的实施方式的操作的概略图。

图33是涉及以上示例的向下采样部件的概略图。

图34是涉及以上示例的向下采样部件中使用的高次变换系数信息的编码的流程图。

图35是涉及以上示例的向下采样手段中使用的高次变换系数的嵌入检查的流程图。

图36是涉及向以上示例的向下采样手段中使用的向下样本像素的多个LSB嵌入表示高次变换系数的VLC代码的流程图。

图37是示例说明以上具有偶数或奇数特性的4像素线的变换系数特性的说明图。

图38是涉及以上示例的向上采样手段的概略图。

图39是涉及以上示例的向下采样手段中使用的高次变换系数信息的提取检查的流程图。

图40是涉及以上示例的向下采样手段中使用的高次变换系数的解码的流程图。

图41是示例说明以上示例的向下采样手段中使用的4→3向下解码用量化、VLC和空间水印方式的说明图。

图42是表示不需要以上预分析器的缩小存储器视频解码器的代替简易实施方式的图。

图43是涉及为了以上DPB充足性检查而仅对上位参数层信息进行句法解析的本发明代替简易实施方式的概略图。

图44是涉及使用表示由以上解码器自身的句法解析编码部件提供的、涉及帧解码的全部帧的视频解码模式的信息列表、进行全分辨率视频解码或降低分辨率视频解码的代替实施方式操作的概略图。

图45是示例说明以上***LSI的实施方式的说明图。

图46是示例说明以上决定全分辨率/降低分辨率解码模式中不使用预分析器的、代替的本发明简易***LSI的实施方式的说明图。

图47是表示现有典型图像解码装置的功能构成的模块图。

图48是用于说明以上向下解码的说明图。

图49A是用于说明以上其他向下解码的说明图。

图49B是用于说明以上其他向下解码的其他说明图。

具体实施方式

以下，参照附图说明本发明的实施方式中的图像处理装置。

(实施方式1)

图1是表示本实施方式中的图像处理装置的功能构成的模块图。

本实施方式中的图像处理装置10是依次处理多个输入图像的装置，具备存储部11、帧存储器12、读出部13与选择部14。

选择部14对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2处理模式。例如，选择部14根据输入图像的特征、性质、与该输入图像关联的信息等，选择第1或第2处理模式。

存储部11当选择部14选择了第1处理模式时，通过删除输入图像中包含的预定频率的信息(例如高频成分)，缩小输入图像，并将缩小后的输入图像作为缩小图像，存储在帧存储器12中。另外，存储部11当选择部14选择了第2处理模式时，将输入图像不缩小地存储在帧存储器12中。

读出部13当选择部14选择了第1处理模式时，从帧存储器12中读出缩小图像后扩大。另外，读出部13当选择部14选择了第2处理模式时，从帧存储器12中读出未缩小的输入图像。

图2是表示本实施方式中图像处理装置10的动作的流程图。

首先，图像处理装置10的选择部14选择第1处理模式或第2处理模式(步骤S11)。接着，存储部11将输入图像存储在帧存储器12中(步骤S12)。即，存储部11在步骤S11中选择第1处理模式的情况下，缩小该输入图像，并将缩小后的输入图像作为缩小图像，存储在帧存储器12中(步骤S12a)，在步骤S11中选择第2处理模式的情况下，将该输入图像不缩小地存储在帧存储器12中(步骤S12b)。

并且，读出部13从帧存储器12中读出图像(步骤S13)。即，读出部13在步骤S11中选择第1处理模式的情况下，从帧存储器12中读出步骤S12a中存储的缩小图像后扩大(步骤S13a)，在步骤S11中选择第2处理模式的情况下，从帧存储器12中读出步骤S12b中存储的未缩小的输入图像(步骤S13b)。

这样，在本实施方式中，当选择第1处理模式时，缩小输入图像后存储在帧存储器12中，并且，在读出该缩小后的输入图像时，扩大该缩小后的输入图像。由此，可抑制帧存储器需要的带域和容量。另外，在本实施方式中，当选择第2处理模式时，将输入图像不缩小地存储在帧存储器12中，原样读出该输入图像。由此，即便将输入图像存储到帧存储器12中并读出，也不会缩小和扩大输入图像，所以可防止该输入图像的画质恶化。

即，当将输入图像存储到帧存储器中并读出时，若将该输入图像原样存储到帧存储器中并原样读出，则可防止输入图像的画质恶化，但需要带域宽、容量多的帧存储器。另一方面，当将输入图像存储到帧存储器中并读出时，若如以前那样始终执行在缩小或压缩并且扩大或扩展该输入图像，则虽然能抑制帧存储器需要的带域和容量，但会使输入图像的画质恶化。

因此，在本实施方式中，由于对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2处理模式，所以可取得防止多个输入图像的整体画质恶化与抑制帧存储器需要的带域和容量的平衡，使两者同时实现。

另外，本实施方式的存储部11执行输入图像的缩小方法和读出部13执行的缩小图像的扩大方法既可以是上述专利文献1或上述非专利文献1中记载的方法，也可以是其他任何方法。

(实施方式2)

图3是表示本实施方式中的图像解码装置的功能构成的模块图。

本实施方式中的图像解码装置100对应于H.264视频编码标准，具备语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106、嵌入缩小处理部107、帧存储器108、提取扩大处理部109、全分辨率运动补偿部110和视频输出部111。

本实施方式中的图像解码装置100的特征在于嵌入缩小处理部107和提取扩大处理部109的处理。

语法解析熵解码部101取得表示多个编码图像的位流，对该位流进行语法解析及熵解码。熵解码中也可包含可变长度解码(VLC)或算术编码(例如CABAC：Context-based Adaptive Binary Arithmetic Coding)。

逆量化部102取得从语法解析熵解码部101输出的熵解码系数并进行逆量化。

逆频率变换部103通过对逆量化后的熵解码系数进行逆离散余弦变换，生成差分图像。

加法部105当进行帧间预测时，通过将从全分辨率运动补偿部110输出的帧间预测图像与从逆频率变换部103输出的差分图像相加，生成解码图像。另外，加法部105当进行帧内预测时，通过将从帧内预测部104输出的帧内预测图像与从逆频率变换部103输出的差分图像相加，生成解码图像。

解块滤波部106对解码图像进行解块滤波处理，降低块噪声。

嵌入缩小处理部107进行缩小处理。即，嵌入缩小处理部107通过缩小该解块滤波处理后的解码图像，生成低分辨率的缩小解码图像。并且，嵌入缩小处理部107将该缩小解码图像作为参照图像，写入帧存储器108。帧存储器108具有用于存储多个参照图像的域。另外，本实施方式中的嵌入缩小处理部107如后所述，其特征在于通过对高次变换系数进行量化并进行可变长度编码的编码高次变换系数(嵌入数据)嵌入缩小解码图像中，生成该参照图像。下面，将本实施方式中的嵌入缩小处理部107执行的处理称为嵌入缩小处理。

提取扩大处理部109进行扩展处理。即，提取扩大处理部109读出帧存储器108中存储的参照图像，将该参照图像扩大为原本的高分辨率(缩小前的解码图像的分辨率)的图像。另外，本实施方式中的提取扩大处理部109如后所述，其特征在于，提取嵌入参照图像中的编码高次变换系数，根据该编码高次变换系数，恢复高次变换系数，并向提取了编码高次变换系数的参照图像附加该高次变换系数。另外，下面将本实施方式中的提取扩大处理部109执行的处理称为提取扩大处理。

全分辨率运动补偿部110使用从语法解析熵解码部101输出的运动矢量与由提取扩大处理部109扩大的参照图像，生成帧间预测图像。帧内预测部104在进行帧内预测的情况下，使用解码对象块(构成解码对象的编码图像的块)的邻近像素，通过对该解码对象块进行帧内预测，生成帧内预测图像。

视频输出部111读出帧存储器108中存储的参照图像，将该参照图像扩大或缩小到应输出到显示器的分辨率，并输出到显示器。

下面，详细说明本实施方式中的嵌入缩小处理部107和提取扩大处理部109的处理动作。

图4是表示本实施方式中的嵌入缩小处理部107的处理动作概略的流程图。

首先，嵌入缩小处理部107对像素域的解码图像进行全分辨率(高分辨率)的频率变换(具体地为DCT等正交变换)，得到由多个变换系数构成的频域的系数组(步骤S100)。即，嵌入缩小处理部107对由Nf×Nf像素构成的解码图像进行全分辨率的DCT，生成由Nf×Nf个变换系数构成的频域的系数组，即由频域表示的解码图像。这里，例如Nf为4。

接着，嵌入缩小处理部107从频域的系数组中取出高次变换系数(高频的变换系数)后编码(步骤S102)。即，嵌入缩小处理部107从Nf×Nf个变换系数构成的系数组中提取表示高频成分的(Nf-Ns)×Nf个高次变换系数后编码，由此生成编码高次变换系数。这里，例如Ns为3。

并且，嵌入缩小处理部107为了在下一步骤中进行低分辨率的逆频率变换，缩放频域的Ns×Nf个变换系数，调整这些变换系数的增益(步骤S104)。

接着，嵌入缩小处理部107对缩放后的Ns×Nf个变换系数进行低分辨率的逆频率变换(具体地为IDCT等逆正交变换)，得到由像素域表示的低分辨率的缩小解码图像(步骤S106)。

并且，嵌入缩小处理部107通过将步骤S102得到的编码高次变换系数嵌入低分辨率的缩小解码图像，生成参照图像(步骤S108)。

通过这种处理，将Nf×Nf像素的解码图像低分辨率化即缩小而变换为Ns×Nf像素的参照图像。即，仅沿水平方向缩小Nf×Nf像素的解码图像。

本实施方式中的嵌入缩小处理部107具备执行步骤S100的处理的第1正交变换部、执行步骤S102的处理的删除部、编码部和量化部、执行步骤S106的处理的第1逆正交变换部、和执行步骤S108的处理的嵌入部。

这里，详细说明步骤S100中执行的DCT和步骤S106中执行的IDCT。

由N×N像素构成的解码图像的二维DCT如下(式1)所示定义。

[数式1]

$F(u,v)=\frac{2}{N}C\left(u\right)C\left(v\right)\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\cos \frac{(2x+1)\mathrm{u\π}}{2N}\cos \frac{(2y+1)\mathrm{v\π}}{2N}$ …(式1)

其中，(式1)中，满足u，v，x，y＝0，1，2，..，N-1这样的条件，x，y是像素域中的空间坐标，u，v是频域中的频率坐标。另外，C(u)和C(v)分别满足下(式2)的条件。

[数式2]

$C\left(u\right),C\left(v\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{2}}& u,v=0\\ 1& \mathrm{otherwisse}\end{array}\right.$ …(式2)

并且，二维IDCT(Inverse Discrete Cosine Transform，逆离散余弦变换)如下(式3)所示定义。

[数式3]

$f(x,y)=\frac{2}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}C\left(u\right)C\left(v\right)F(u,v)\cos \frac{(2x+1)\mathrm{u\π}}{2N}\cos \frac{(2y+1)\mathrm{v\π}}{2N}$ …(式3)

其中，(式3)中，f(x、y)为实数。

另外，在水平方向和垂直方向分别缩小解码图像的情况下，需要进行上述(式1)的二维DCT。但是，仅水平方向缩小解码图像的情况下，只要仅执行一维DCT即可，(式1)由下(式4)表示。

[数式4]

$F\left(u\right)=\frac{2}{N}C\left(u\right)\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f\left(x\right)\cos \frac{(2x+1)\mathrm{u\π}}{2N}$ …(式4)

即，在本实施方式中，嵌入缩小处理部107由于仅水平方向缩小解码图像，所以在步骤S100中，根据(式4)和N＝Nf，进行一维DCT。

同样，在一维IDCT的情况下，(式3)由下(式5)表示。

[数式5]

$f\left(x\right)=\frac{2}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}C\left(u\right)F\left(u\right)\cos \frac{(2x+1)\mathrm{u\π}}{2N}$ …(式5)

即，在本实施方式中，嵌入缩小处理部107由于仅在水平方向缩小解码图像，所以在步骤S106中，根据(式5)和N＝Ns，进行一维IDCT。由此，生成沿水平方向缩小的Ns×Nf像素构成的解码图像，作为缩小解码图像。

下面，详细说明步骤S102中进行的高次变换系数的提取和编码。

得到DCT运算的结果，作为提取的高次变换系数，该高次变换系数的数量在每一水平方向上由Nf-Ns表示。即，提取后编码的高次变换系数是水平方向的Nf个变换系数中从第(Ns+1)个到第Nf个的范围的系数。

图5是表示图4的步骤S102中高次变换系数的编码处理的流程图。

首先，嵌入缩小处理部107量化高次变换系数(步骤S1020)。接着，嵌入缩小处理部107对量化后的高次变换系数(量化值)进行可变长度编码(步骤S1022)。即，嵌入缩小处理部107对量化值赋予可变长度码作为编码高次变换系数。这种量化与可变长度编码的细节与步骤S108中的编码高次变换系数的嵌入对照后加以说明。

下面，详细说明步骤S104中进行的变换系数的缩放。

由于DCT-IDCT的组合是块尺寸分之1的缩放，所以以取得Nf-点DCT低频系数的Ns-点IDCT像素值之前，为了调整增益，嵌入缩小处理部107缩放各变换系数。在本例的情况下，嵌入缩小处理部107以由下(式6)算出的值来缩放各变换系数。另外，这种缩放的细节记述于文献‘Minimal Error Drift in Frequency Scalability for MOTION-Compensated DCT CODING，Robert Mokry AND Dimitris Anastassiou，IEEE Transactions on Circuits and Systems for Video Technology’。

[数式6]

$\sqrt{\frac{\mathrm{Ns}}{\mathrm{Nf}}}$ …(式6)

下面，详细说明步骤S108中执行的编码高次变换系数的嵌入。

本实施方式的嵌入缩小处理部107使用空间水印技术，将步骤S102中生成的编码高次变换系数嵌入步骤S106得到的Ns×Nf像素构成的缩小解码图像中。

图6是表示图4的步骤S108中编码高次变换系数的嵌入处理的流程图。

嵌入缩小处理部107删除由表示缩小解码图像的各像素值的位串中、对应于编码高次变换系数的码长的数量的位所示的值。此时，嵌入缩小处理部107删除由位串中、至少包含LSB(Least Significant Bit)的一个或多个下位位所示的值(步骤S1080)。接着，嵌入缩小处理部107将步骤S102中生成的编码高次变换系数嵌入上述包含LSB的下位位中(步骤S1082)。由此，生成嵌入编码高次变换系数的缩小解码图像，即参照图像。

下面，以具体例为例，详细说明嵌入的方法。

例如，在Nf＝4和Ns＝3的情况下，将4×4像素的高分辨率的解码图像缩小成3×4像素的低分辨率的缩小解码图像。由于缩小仅对水平方向进行，所以这里仅说明水平方向。若将高分辨率的解码图像中水平方向的4个变换系数分别设为DF0、DF1、DF2、DF3，则对这些变换系数中的高次变换系数DF3进行量化、可变长度编码。另外，若将低分辨率的缩小解码图像的水平方向的3个像素值分别设为Xs0、Xs1、Xs2，则量化、可变长度编码后的高次变换系数DF3从LSB优先嵌入上述3个像素值Xs0、Xs1、Xs2的下位位中。从MSB(Most Significant Bit，最高有效位)，将像素值Xs0、Xs1、Xs2各自的位串依次表现为(b7、b6、b5、b4、b3、b2、b1、b0)。

图7是表示用于对高次变换系数进行可变长度编码的表的图。

嵌入缩小处理部107当高次变换系数DF3的绝对值不足2时，使用表T1，对该高次变换系数DF3进行量化和可变长度编码，当高次变换系数DF3的绝对值为2以上不足12时，使用表T1、T2，对该高次变换系数DF3进行量化和可变长度编码。同样，嵌入缩小处理部107当高次变换系数DF3的绝对值为12以上不足24时，使用表T1-T3，对该高次变换系数DF3进行量化和可变长度编码，当高次变换系数DF3的绝对值为24以上不足36时，使用表T1-T4，对该高次变换系数DF3进行量化和可变长度编码。并且，嵌入缩小处理部107当高次变换系数DF3的绝对值为36以上不足48时，使用表T1-T5，对该高次变换系数DF3进行量化和可变长度编码，当高次变换系数DF3的绝对值为48以上时，使用表T1-T6，对该高次变换系数DF3进行量化和可变长度编码。

另外，表T1-T6分别表示对应于高次变换系数DF3的绝对值的量化值、构成嵌入目的地的像素值和位、以及嵌入该位中的值。另外，表T2-T6分别表示表示高次变换系数DF3的正或负的符号(Sign(DF3))、和嵌入该Sign(DF3)的像素值和位。

表T1-T6中，将像素值Xsn中的位bm表示为bm(Xsn)(n＝0，1，2、m＝0，2，...，7)。

例如，嵌入缩小处理部107在高次变换系数DF3为0的情况下，由于高次变换系数DF3的绝对值比2小，所以选择图7中示出的表T1。接着，嵌入缩小处理部107参照该表T1，将高次变换系数DF3量化为量化值0，并将像素值Xs2的位b0的值置换为0。即，嵌入缩小处理部107删除像素值Xs2的位b0的值，在该位b0中嵌入编码高次变换系数0。此时，嵌入缩小处理部107不变更像素值Xs0、Xs1、Xs2中像素值Xs2的位b0以外的其他位。

作为其他例子，嵌入缩小处理部107在高次变换系数DF3为12的情况下，由于高次变换系数DF3的绝对值为12以上不足24，所以依次选择图7中示出的表T1、T2、T3。即，嵌入缩小处理部107首先参照表T1、T2、T3，将高次变换系数DF3量化为量化值14。接着，嵌入缩小处理部107参照表T1，将像素值Xs2的位b0的值置换为1，参照表T2，将像素值Xs1的位b0的值置换为1，同时，将像素值Xs2的位b1的值置换为1。并且，嵌入缩小处理部107参照表T3，将像素值Xs0的位b0的值置换为Sign(DF3)，将像素值Xs0的位b1的值置换为0，同时，将像素值Xs1的位b1的值置换为0。由此，分别删除像素值Xs0的位b0、b1、像素值Xs1的位b0、b1、像素值Xs2的位b0、b1的值，在这些位中嵌入编码高次变换系数(Sign(DF3)，0，1，0，1，1)。

这样，向包含像素值的LSB的下位位嵌入编码高次变换系数。

另外，在本实施方式中，在像素域中嵌入编码高次变换系数，但也可在步骤S106之前将编码高次变换系数嵌入频域中。另外，在本实施方式中，对高次变换系数进行量化和可变长度编码，但也可仅进行量化和可变长度编码之一，或均不执行地嵌入高次变换系数。

另外，在本实施方式中，将4×4像素的解码图像变换为3×4像素的缩小解码像素，但也可将8×8像素的解码图像变换为6×8像素的缩小解码像素，或变换为此外的其他尺寸。并且，例如也可进行2维压缩，以将4×4像素的解码图像变换为3×3像素的缩小解码图像。

图8是表示本实施方式中提取扩大处理部109的处理动作概略的流程图。

本实施方式中的提取扩大处理部109执行与图4所示的嵌入缩小处理部107的处理动作相反的处理动作。

具体地，提取扩大处理部109首先从嵌入编码高次变换系数的缩小解码图像、即参照图像中取出编码高次变换系数，并根据该编码高次变换系数恢复高次变换系数(步骤S200)。由此，提取高次变换系数。这里，参照图像由Ns×Nf像素构成，例如Ns为3，Nf为4。

接着，提取扩大处理部109对去除了编码高次变换系数的参照图像、即缩小解码图像进行低分辨率的频率变换(具体为DCT等正交变换)，得到由多个变换系数构成的频域的系数组(步骤S202)。即，提取扩大处理部109对由Ns×Nf像素构成的缩小解码图像进行低分辨率的DCT，生成由Ns×Nf个变换系数构成的频域的系数组。此时，提取扩大处理部109使用N＝Ns和上述(式4)进行DCT。

接着，提取扩大处理部109为了在下一步骤中进行高分辨率的逆频率变换，缩放频域的Ns×Nf个变换系数，调整这些变换系数的增益(步骤S204)。由于DCT-IDCT的组合是块尺寸分之1的缩放，所以在取得Ns-点DCT低频系数的Nf-点IDCT像素值之前，为了调整增益，提取扩大处理部109缩放各变换系数。在本例的情况下，提取扩大处理部109与嵌入缩小处理部107执行的步骤S104中的缩放一样，以由下(式7)算出的值来缩放各变换系数。

[数式7]

$\sqrt{\frac{\mathrm{Nf}}{\mathrm{Ns}}}$ …(式7)

接着，提取扩大处理部109将步骤S200中得到的高次变换系数附加于步骤S204中缩放的频域的系数组(步骤S206)。由此，生成Nf×Nf个变换系数构成的频域的系数组、即频域表示的解码图像。在包含高次变换系数的系数组需要比步骤S200中得到的高次变换系数高的频率的变换系数的情况下，对该变换系数使用0。

最后，提取扩大处理部109对步骤S206生成的频域的系数组进行全分辨率(高分辨率)的逆频率变换(具体为IDCT等正交变换)，得到由Nf×Nf像素构成的解码图像(步骤S208)。此时，提取扩大处理部109使用N＝Ns和上述(式5)，进行IDCT。由此，由Ns×Nf像素构成的参照图像沿水平方向高分辨率化，扩大为Nf×Nf像素，变为与缩小前的解码图像分辨率相同的分辨率。

本实施方式的提取扩大处理部109具备执行步骤S200的处理的提取部和恢复部、执行步骤S202的处理的第2正交变换部、执行步骤S206的处理的附加部、执行步骤S208的处理的第2逆正交变换部。

这里，详细说明上述各步骤S200-S208。

图9是表示图8的步骤S200中的编码高次变换系数的提取和恢复处理的流程图。

提取扩大处理部109首先从参照图像中取出作为可变长度编码的编码高次变换系数(步骤S2000)。接着，提取扩大处理部109通过解码编码高次变换系数，取得量化后的高次变换系数、即高次变换系数的量化值(步骤S2002)。最后，提取扩大处理部109通过对该量化值进行逆量化，根据该量化值恢复高次变换系数(步骤S2004)。

接着，以具体例为例来详细说明高次变换系数的恢复方法。

例如，在Nf＝4和Ns＝3的情况下，将3×4像素的低分辨率的参照图像扩大成4×4像素的高分辨率的图像。由于扩大仅对水平方向进行，所以这里仅说明水平方向。若将低分辨率的参照图像中水平方向的3个像素值分别设为Xs0、Xs1、Xs2，则根据MSB(Most Significant Bit)，将像素值Xs0、Xs1、Xs2各自的位串依次表现为(b7、b6、b5、b4、b3、b2、b1、b0)。另外，设恢复的高次变换系数为DF3。

提取扩大处理部109通过对比像素值Xs0、Xs1、Xs2的下位位与图7所示的表T1-T6，提取嵌入像素值Xs0、Xs1、Xs2中的编码高次变换系数，进行解码和逆量化。

具体地，提取扩大处理部109首先参照表T1，提取像素值Xs2的位b0的值，判别该位b0的值是1还是0。结果，若像素值Xs2的位b0的值为0，则提取扩大处理部109判断为高次编码系数的绝对值不足2，其绝对值的量化值为0。由此，进行编码高次变换系数0的提取和解码。

并且，提取扩大处理部109对该量化值0例如进行线性逆量化，恢复高次变换系数DF3＝0。

作为其他例子，提取扩大处理部109参照表T1，提取像素值Xs2的位b0的值，判别该位b0是1还是0。结果，若像素值Xs2的位b0为1，则提取扩大处理部109再参照表T2，提取像素值Xs1的位b0的值与像素值Xs2的位b1的值，判别这些位的值是1还是0。结果，若像素值Xs1的位b0的值与像素值Xs2的位b1的值分别为1，则提取扩大处理部109再参照表T3。之后，提取扩大处理部109提取像素值Xs0的位b1的值与像素值Xs1的位b1的值，判别这些值是1还是0。结果，若像素值Xs0的位b1的值与像素值Xs1的位b1的值分别为0，则提取扩大处理部109判断为高次编码系数DF3的绝对值为12以上不足16，其绝对值的量化值为14。提取扩大处理部109再提取像素值Xs0的位b0的值，判别该值所示的符号是正还是负，若判别为是正，则判断为高次编码系数DF3的量化值为14。由此，提取像素值Xs0的位b0、b1、像素值Xs1的位b0、b1、像素值Xs2的位b0、b1中嵌入的编码高次变换系数(Sign(DF3)，0，1，0，1，1)，解码为量化值14。

接着，提取扩大处理部109对该量化值14执行例如线性逆量化，将高次变换系数DF恢复为12～16的中间值，即14。

这里，从低分辨率的参照图像中包含像素值的LSB的下位位中提取编码高次变换系数，若将该像素值的下位位分别简单地全部设为0，则担心该像素值中产生的误差变大。因此，提取扩大处理部109将提取了编码高次变换系数的包含LSB的下位位的值变换为中央值。例如，假设低分辨率的参照图像的像素值为122，包含该像素值的LSB的下位2位中嵌入作为可变长度码的编码高次变换系数的情况。此时，若从该下位2位中提取编码高次变换系数后将各个位的值全部变换为0，则该像素值变为120。但是，提取扩大处理部109将对应于该下位2位的值而像素值可能取的120、121、122、123中的中央值、即121.5用于提取编码高次变换系数后的像素值。为了表现0.5，需要增加1位，但在不增加的情况下，也可使用接近中央值的121或122等。

图10是表示嵌入缩小处理部107中的处理动作的具体例的图。

例如，在Nf＝4和Ns＝3的情况下，嵌入缩小处理部107缩小解码图像水平方向的4个像素值{X0，X1，X2，X3}＝{126，104，121，87}，在其中嵌入编码高次变换系数，将这4个像素值变换为3个像素值{Xs0，Xs1，Xs2}＝{122，115，95}。

具体地，嵌入缩小处理部107在步骤S100中，对4个像素值{126，104，121，87}进行频率变换，由此生成由4个变换系数构成的系数组{219.000，20.878，-6.000，21.659}。接着，嵌入缩小处理部107在步骤S102中从该系数组中提取高次变换系数22(21.659)并编码，由此生成应嵌入像素值Xs0的位b1、b0中的值{1，0}、应嵌入像素值Xs1的位b1、b0中的值{0，1}、应嵌入像素值Xs2的位b1、b0中的值{1，1}构成的编码高次变换系数。

嵌入缩小处理部107再在步骤S104中通过缩放高次变换系数22以外的各变换系数{21.000，20.878，-6.000}，导出系数组{Us0，Us1，Us2}＝{189.660，18.081，-5.196}。接着，嵌入缩小处理部107在步骤S106中通过对该导出的系数组进行逆频率变换，生成3个像素值{Xs0，Xs1，Xs2}＝{120，114，95}。之后，嵌入缩小处理部107在步骤S108中在这些像素值{Xs0，Xs1，Xs2}＝{120，114，95}中嵌入编码高次变换系数。即，嵌入缩小处理部107在像素值Xs0的位b1、b0中嵌入{1，0}，在像素值Xs1的位b1、b0中嵌入{0，1}，在像素值Xs2的位b1、b0中嵌入{1，1}。由此，将4个像素值{X0，X1，X2，X3}＝{126，104，121，87}变换为3个像素值{Xs0，Xs1，Xs2}＝{122，115，95}。将这种水平方向上具有3个像素值{Xs0，Xs1，Xs2}＝{122，115，95}的参照图像存储在帧存储器109中。

图11是表示提取扩大处理部109的处理动作的具体例的图。

提取扩大处理部109在步骤S200中从帧存储器108中读出上述3个像素值{Xs0，Xs1，Xs2}＝{122，115，95}，并从中提取编码高次变换系数。即，提取扩大处理部109从像素值Xs0的位b1、b0中提取{1，0}，从像素值Xs1的位b1、b0中提取{0，1}，从像素值Xs2的位b1、b0中提取{1，1}。之后，提取扩大处理部109参照图7所示的表T1-T6，根据该提取的编码高次变换系数恢复高次变换系数22。

接着，提取扩大处理部109在步骤S202中对提取了编码高次变换系数的像素值{Xs0，Xs1，Xs2}＝{121.5，113.5，93.5}进行频率变换，生成由3个变换系数构成的系数组{Us0，Us1，Us2}＝{189.660，19.799，-4.899}。提取扩大处理部109再在步骤S204中通过缩放这些变换系数{189.660，19.799，-4.899}，导出系数组{U0，U1，U2}＝{219.000，22.862，-5.657}。

接着，提取扩大处理部109在步骤S206中通过将步骤S200中恢复的高次变换系数22附加于步骤S204中导出的系数组，生成由4个变换系数构成的系数组{U0，U1，U2，U3}＝{219.000，22.862，-5.657，22}。进而，提取扩大处理部109再在步骤S208中通过对系数组{U0，U1，U2，U3}＝{219.000，22.862，-5.657，22}进行逆频率变换，生成4个像素值{X0，X1，X2，X3}＝{128，104，121，86}。由此，将3个像素值{Xs0，Xs1，Xs2}＝{122，115，95}变换为4个像素值{X0，X1，X2，X3}＝{128，104，121，86}。结果，将水平方向上具有4个像素值{X0，X1，X2，X3}＝{128，104，121，86}的扩大后的参照图像用于运动补偿中。

即，在未如本实施方式那样嵌入高次变换系数的情况下，解码图像的像素值{126，104，121，87}通过缩小和扩大，变为像素值{120，118，107，93}，误差变为{-6，14，-14，6}。但是，在本实施方式中，利用上述嵌入缩小处理部107和提取扩大处理部109的处理，嵌入并提取高次变换系数，由此解码图像的像素值{126，104，121，87}即便经过缩小和扩大，也只变为像素值{128，104，121，86}，将误差抑制为{2，0，0，-1}，可极大地改善误差的发生。

(变形例)

这里，说明实施方式2中的变形例。根据本变形例的图像解码装置具备上述实施方式2的图像解码装置100的功能与实施方式1的图像处理装置10的功能。即，根据本变形例的图像解码装置如实施方式1中所示，其特征在于对至少一个解码图像(输入图像)中的每个输入图像切换并选择第1处理模式与第2处理模式。第1处理模式是嵌入缩小处理部107或提取扩大处理部109执行的处理。

图12是表示根据本变形例的图像解码装置的功能构成的模块图。

根据本变形例的图像解码装置100a对应于H.264视频编码标准，具备语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106、嵌入缩小处理部107、帧存储器108、提取扩大处理部109、全分辨率运动补偿部110、视频输出部111、开关SW1、开关SW2和选择部14。

即，根据本变形例的图像解码装置100a具备上述实施方式2的图像解码装置100具有的全部构成要素与开关SW1、开关SW2和选择部14。另外，由嵌入缩小处理部107和开关SW1构成存储部11，由提取扩大处理部109和开关SW2构成读出部13。因此，由该存储部11和读出部13、帧存储器108(12)与选择部14构成图像处理装置10。根据本变形例的图像解码装置100a具备这种图像处理装置10。换言之，图像处理装置构成为图像解码装置100a。即，图像处理装置在具备存储部11、帧存储器12、读出部13与选择部14的同时，还具备视频解码所需的解码部与视频输出部111。解码部由语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106和全分辨率运动补偿部110构成。

语法解析熵解码部101与实施方式2一样，解析并解码表示多个编码图像的位流中包含的头信息。这里，在H.264标准中，规定了附加于多个图片(编码图像)构成的每个序列的、被称为SPS(Sequence Parameter Set，序列参数集)的头信息。该SPS中包含称为参照帧数量(num_ref_frames)的信息。该参照帧数量表示解码对应于该参照帧数量和SPS的序列中包含的编码图像时所需的参照图像的个数。在H.264标准中，在高清位流的情况下，参照帧数量允许的最大值为4，但在大多位流中，多将参照帧数量设定为2。即，若附加于位流的序列上的SPS中包含表示4的参照帧数量，则该序列中包含的帧间预测编码的编码图像分别使用从4个参照图像中选择的一个或2个参照图像来编码。因此，若SPS的参照帧数量多，则当解码对应于该SPS的序列时，需要将较多参照图像存储在帧存储器108中，并从帧存储器108中读出较多参照图像。

选择部14从语法解析熵解码部101取得由该语法解析熵解码部101执行的头信息解析所得到的参照帧数量。之后，选择部14对应于该参照帧数量，以序列单位切换并选择第1处理模式与第2处理模式。即，选择部14当附加于序列的SPS中包含参照帧数量m时，对应于参照帧数量m，对该序列所对应的解码图像的每个解码图像选择相同的处理(第1或第2处理模式)。例如，若参照帧数量为3以上，则选择部14对该序列所对应的解码图像每个选择第1处理模式，若参照帧数量为2以下，则对该序列所对应的解码图像每个选择第2处理模式。下面，将第1处理模式称为低分辨率解码模式，将第2处理模式称为全分辨率解码模式。

并且，选择部14当选择低分辨率解码模式时，向开关SW1和开关SW2输出表示该模式的模式识别符1。另一方面，选择部14当选择全分辨率解码模式时，向开关SW1和开关SW2输出表示该模式的模式识别符0。

开关SW1若从选择部14取得模式识别符1，则代替从解块滤波部106输出的解码图像，将从嵌入缩小处理部107输出的缩小解码图像作为参照图像，输出到帧存储器108。另一方面，开关SW1若从选择部14取得模式识别符0，则代替从嵌入缩小处理部107输出的缩小解码图像，将从解块滤波部106输出的解码图像作为参照图像，输出到帧存储器108。

开关SW2若从选择部14取得模式识别符1，则代替输出帧存储器108中存储的解码图像(参照图像)，输出由提取扩大处理部109扩大的缩小解码图像(参照图像)。另一方面，开关SW2若从选择部14取得模式识别符0，则代替输出由提取扩大处理部109扩大的缩小解码图像(参照图像)，输出帧存储器108中存储的解码图像(参照图像)。

图13是表示选择部14的动作的流程图。

首先，选择部14取得SPS的参照帧数量(步骤S21)。进而，选择部14再判别该参照帧数量是否为2以下(步骤S22)。这里，选择部14若判别为参照帧数量为2以下(步骤S22为是)，则选择全分辨率解码模式(第2处理模式)，将表示该模式的模式识别符0输出到开关SW1和开关SW2(步骤S23)。

由此，解码对应于该SPS的序列中包含的各编码图像，将从解块滤波部106输出的各解码图像不缩小地作为参照图像存储在帧存储器108中。并且，当作为该解码图像的参照图像用于全分辨率运动补偿部110的运动补偿时，将该参照图像从帧存储器108中读出后原样用于运动补偿。

另一方面，选择部14若判别为参照帧数量不为2以下(步骤S22为否)，则选择低分辨率解码模式(第1处理模式)，将表示该模式的模式识别符1输出到开关SW1和开关SW2(步骤S24)。

由此，解码对应于该SPS的序列中包含的各编码图像，从解块滤波部106输出的各解码图像由嵌入缩小处理部107缩小后作为参照图像(缩小解码图像)存储在帧存储器108中。并且，当作为该缩小解码图像的参照图像用于全分辨率运动补偿部110的运动补偿时，将该参照图像从帧存储器108中读出，由提取扩大处理部109扩大后用于运动补偿。

接着，选择部14判别是否取得新的SPS的参照帧数量(步骤S25)，当判别为取得时(步骤S25为是)，重复执行自步骤S22的处理。另外，选择部14当在步骤S25判别为未取得参照帧数量时(步骤S25为否)，结束全分辨率解码模式和低分辨率解码模式的选择处理。

这样，在本变形例中，在选择低分辨率解码模式的情况下，由于解码图像被缩小后存储在帧存储器108中，所以可削减帧存储器108的容量。例如，在如实施方式2所示嵌入缩小处理部107将解码图像缩小到3/4的情况下，由于参照帧数量的最大值为4，所以可将帧存储器108所需的容量从对应于4帧的容量削减到对应于4帧×(3/4)＝3帧的容量。另外，在选择低分辨率解码模式的情况下，虽然产生画质恶化，但由于实际使用中很少将比2大的参照帧数量设定成SPS，所以可将产生画质恶化的情况限制到最小限度。

另外，在本变形例中，在选择全分辨率解码模式的情况下，由于将解码图像不缩小地存储在帧存储器108中，所以可确实防止画质恶化。此时，由于参照帧数量的最大值为4，所以帧存储器108所需的容量对应于4帧。但是，在参照帧数量为2的情况下，帧存储器108所需的容量只要对应于2帧即可，在参照帧数量为3的情况下，帧存储器108所需的容量只要对应于3帧即可。

并且，在本变形例中，由于如实施方式1所示对每个序列切换并选择低分辨率解码模式与全分辨率解码模式，所以可取得防止多个解码图像的整体画质恶化与抑制帧存储器108需要的带域和容量的平衡，使两者同时实现。并且，即便在选择低分辨率解码模式的情况下，也由于解码图像通过实施方式2的嵌入缩小处理和提取扩大处理而缩小并扩大，所以可进一步防止解码图像的画质恶化。

另外，在本变形例中，为了缩小并扩大解码图像，利用实施方式2的嵌入缩小处理和提取扩大处理，但也可不利用这些处理，缩小后扩大解码图像的方法可以是任何方法。另外，本变形例的图像解码装置100a对应于H.264视频编码标准，但只要是位流的头信息中存在参照帧数量等决定帧存储器容量的参数的视频编码标准，则也可对应于任何标准。

(实施方式3)

实施方式2中，总是进行高次变换系数的嵌入，但在缩小解码图像平坦且边缘少的情况下，即高次变换系数小的情况下，有时不嵌入高次变换系数的话画质更好。在本实施方式中，表示这种情况的画质改善方法。

本实施方式中的图像解码装置虽然具有与图3所示的图像解码装置100相同的构成，但嵌入缩小处理部107和提取扩大处理部109的部分处理动作与实施方式2不同。即，本实施方式中的嵌入缩小处理部107执行与实施方式2的图4所示的编码高次变换系数的嵌入处理(步骤S108)即图6所示的处理不同的处理。并且，本实施方式中的提取扩大处理部109执行与实施方式2的图8所示的编码高次变换系数的提取和恢复处理(步骤S200)即图9所示的处理不同的处理。本实施方式中图像解码装置的其他处理与实施方式2的处理一样，所以省略其说明。

图14是表示本实施方式中的嵌入缩小处理部107执行的编码高次变换系数的嵌入处理的流程图。本实施方式中的嵌入缩小处理部107的特征在于事先在步骤S1180判别是否执行实施方式2的图6所示的处理，其他步骤的处理与实施方式2一样。

嵌入缩小处理部107首先计算缩小解码图像中包含的像素值，即低分辨率像素数据的离散v，判别该离散v是否比预定的阈值小(步骤S1180)。这里，嵌入缩小处理部107利用下(式8)算出离散v。

[数式8]

$v=\frac{\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{(\mathrm{Xsi}-\mathrm{\μ})}^2}{\mathrm{Ns}}$ …(式8)

这里，Xsi是缩小解码图像的像素值，即缩小的低分辨率像素数据，Ns是缩小解码图像中包含的像素值的总数，即低分辨率像素数据的总数，μ是低分辨率像素数据的平均值。嵌入缩小处理部107利用下(式9)算出平均值μ。

[数式9]

$\mathrm{\μ}=\frac{\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}\mathrm{Xsi}}{\mathrm{Ns}}$ …(式9)

作为具体例，在低分辨率像素数据Xs0，Xs1，Xs2为121，122，123的情况下，平均值μ为122，离散v为0.666。

根据步骤S1180的判别结果，嵌入缩小处理部107当判别为离散v为阈值以上时(步骤S1180为否)，与实施方式2的图6所示处理一样，删除表示缩小解码图像的各像素值的位串中、对应于编码高次变换系数的编码长度的数量的下位位所示的值。此时，嵌入缩小处理部107从位串中，从LSB优先删除下位位的值(步骤S1182)。接着，嵌入缩小处理部107将编码高次变换系数嵌入删除了值的下位位中(步骤S1184)。由此，生成嵌入了编码高次变换系数的缩小解码图像，即参照图像。

另一方面，嵌入缩小处理部107当判别为离散v比阈值小时(步骤S1180为是)，则将该缩小解码图像视为平坦，不进行高次变换系数的嵌入。因此，此时将未嵌入编码高次变换系数的缩小解码图像作为参照图像，存储在帧存储器108中。

图15是表示本实施方式中提取扩大处理部109执行的编码高次变换系数的提取和恢复处理的流程图。本实施方式中的提取扩大处理部109的特征在于事先在步骤S2100判别是否执行实施方式2的图9所示的处理。即，本实施方式中的提取扩大处理部109在执行扩大时，事先判断参照图像中是否嵌入了编码高次变换系数。

具体地，提取扩大处理部109计算参照图像中包含的像素值，即缩小后的低分辨率像素数据的离散v，判别该离散v是否比预定的阈值小(步骤S2100)。这里，提取扩大处理部109利用上述(式8)算出离散v。

提取扩大处理部109当判别为离散v为阈值以上时(步骤S2100为否)，与实施方式2的图9所示处理一样，从参照图像中取出编码高次变换系数(步骤S2102)。接着，提取扩大处理部109通过解码编码高次变换系数，取得量化后的高次变换系数、即高次变换系数的量化值(步骤S2104)。提取扩大处理部109再通过逆量化该量化值，根据该量化值恢复高次变换系数(步骤S2106)。

另一方面，提取扩大处理部109当判别为离散v比阈值小时(步骤S2100为是)，则判断为参照图像中未嵌入编码高次变换系数，不执行步骤S2102、步骤S2104和步骤S2106所示的高次变换系数的恢复处理，输出0作为全部高次变换系数(步骤S2108)。

在步骤S2100中，在参照图像中包含编码高次变换系数的情况下，也与不包含编码高次变换系数的情况一样，根据包含该编码高次变换系数的参照图像的像素值、即低分辨率像素数据来计算离散，所以在与图14所示步骤S1180中算出的离散之间产生误差，有时会误判别参照图像中是否嵌入编码高次变换系数。但是，该误判别的频度小，实际使用中不成问题。

(实施方式4)

在实施方式2和3中，仅视频解码(尤其是参照图像的存储和运动补偿用参照图像的读出)中通过适用嵌入缩小处理和提取扩大处理，实现帧存储器108的带域和容量的削减。在本实施方式的图像解码装置中，其特征在于不仅视频解码中，而且在视频输出部的缩小解码图像的输出中也适用实施方式2的嵌入缩小处理和提取扩大处理。由此，在本实施方式中的图像解码装置中，包含各像素LSB的下位位中嵌入的数据不影响画质，可在削减帧存储器108的带域和容量的同时，实现画质的进一步提高。

图16是表示本实施方式的图像解码装置的功能构成的模块图。

本实施方式中的图像解码装置100b对应于H.264视频编码标准，具备语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106、嵌入缩小处理部107、帧存储器108、提取扩大处理部109、全分辨率运动补偿部110、和视频输出部111b。即，本实施方式中的图像解码装置100b具备具有嵌入缩小处理部107和提取扩大处理部109的处理功能的视频输出部111b，代替实施方式2的图像解码装置100的视频输出部111。

图17是表示本实施方式中的视频输出部111b的功能构成的模块图。

本实施方式中的视频输出部111b具备嵌入缩小处理部117a、117b、提取扩大处理部119a-119c、IP变换部121、调整大小部122与输出格式部123。

嵌入缩小处理部117a、117b分别具有与实施方式2的嵌入缩小处理部107相同的功能，执行嵌入缩小处理。提取扩大处理部119a-119c分别具有与实施方式2的提取扩大处理部109相同的功能，执行提取扩大处理。

IP变换部121将隔行构成的图像变换为逐行构成的图像。将这种从隔行构成的图像向逐行构成的图像的变换称为IP变换处理。

调整大小部122扩大或缩小图像的尺寸。即，调整大小部122将图像的分辨率变换为用于将该图像显示于电视画面中的期望分辨率。例如，调整大小部122将全HD(High Definition，高清)的图像变换为SD(Standard Definition，标清)的图像，或将HD的图像变换为全HD的图像。将这种图像的尺寸的扩大或缩小称为调整大小处理。

输出格式部123将图像的格式变换为外部输出格式。即，输出格式部123为了将图像数据显示于外部监视器等，将该图像数据的信号格式变换为符合监视器输入的信号格式、或符合监视器与图像解码装置100b的接口(例如HDMI：High-Definition Multimedia Interface，高清多媒体接口)的信号格式。将这种向外部输出格式的变换称为输出格式变换处理。

图18是表示本实施方式中的视频输出部111b的动作的流程图。

首先，视频输出部111b的提取扩大处理部119a执行实施方式2的图8所示的处理(提取扩大处理)(步骤S401)。即，提取扩大处理部119a从帧存储器108中读出解码后缩小并存储在该帧存储器108中的图像，即缩小解码图像(参照图像)。读出的缩小解码图像是由实施方式1的图4所示的处理(嵌入缩小处理)缩小的图像。之后，提取扩大处理部119a对读出的缩小解码图像执行上述提取扩大处理。

IP变换部121将由提取扩大处理部119a进行了提取扩大处理的缩小解码图像作为处理对象图像处理，对该处理对象图像执行IP变换处理(步骤S402)。处理对象图像具有原本的高分辨率(由嵌入缩小处理部107缩小前的解码图像的分辨率)。另外，在IP变换处理中使用多个缩小解码图像的情况下，对这些缩小解码图像全部执行步骤S401的提取扩大处理。

嵌入缩小处理部117a对IP变换部121进行了IP变换处理的图像，执行实施方式2的图4所示的处理(嵌入缩小处理)，将执行了该嵌入缩小处理的图像作为新的缩小解码图像，存储在帧存储器108中(步骤S403)。通过这种步骤S401-S403，存储在帧存储器108中的缩小解码图像保持相同的分辨率，并且从隔行构成变换为逐行构成。

接着，提取扩大处理部119b对逐行构成的缩小解码图像执行上述提取扩大处理(步骤S404)。调整大小部122将由提取扩大处理部119b进行了提取扩大处理的缩小解码图像作为处理对象图像处理，对该处理对象图像执行调整大小处理(步骤S405)。处理对象图像具有原本的高分辨率(由嵌入缩小处理部107缩小前的解码图像的分辨率)。另外，在调整大小处理中使用多个缩小解码图像的情况下，对这些缩小解码图像全部执行步骤S404的提取扩大处理。嵌入缩小处理部117b对调整大小部122调整大小处理后的图像执行上述嵌入缩小处理，将执行了该嵌入缩小处理的图像作为新的缩小解码图像，存储在帧存储器108中(步骤S406)。通过这种步骤S404-S406，扩大或缩小帧存储器108中存储的缩小解码图像的尺寸。

接着，提取扩大处理部119c对扩大或缩小后的缩小解码图像执行上述提取扩大处理(步骤S407)。输出格式部123将由提取扩大处理部119c提取扩大处理后的缩小解码图像作为处理对象图像处理，对该处理对象图像执行输出格式变换处理(步骤S408)。处理对象图像具有原本的高分辨率(由嵌入缩小处理部117b缩小前的处理对象图像的分辨率)。另外，提取扩大处理部119c将执行了该输出格式变换处理的图像输出到连接于图像解码装置100b的外部设备(例如监视器)。

如上所述，在本实施方式中，不仅将嵌入缩小处理与提取扩大处理用于视频解码，还用于视频输出部111b的处理(视频输出)。因此，可将帧存储器108中存储的图像全部变为缩小的图像，并且在视频输出中的IP变换处理、调整大小处理和输出格式变换处理全部处理中，可将原本分辨率的图像设为处理对象。结果，可在防止从视频输出部111b输出的图像的画质恶化的同时，削减帧存储器108的带域和容量。

另外，在本实施方式中，视频输出部111b具备IP变换部121、调整大小部122和输出格式部123，但也可不具备这些构成要素中的任一要素，或还具备其他构成要素。例如，可具备执行低通滤波或边缘强调处理等高画质化处理的构成要素，或执行重叠其他图像或字幕等的OSD(On Screen Display，屏幕显示)处理的构成要素。并且，视频输出部111b不限于图18所示的顺序，也可根据其他顺序来执行各处理，或在该各处理中包含上述高画质化处理或OSD处理。

另外，在本实施方式中，视频输出部111b具备提取扩大处理部119a-119c与嵌入缩小处理部117a、117b，但也可不具备这些构成要素中的任一要素。例如，可仅具备上述构成要素中的提取扩大处理部119a，或仅具备上述构成要素中的提取扩大处理部119a、119b与嵌入缩小处理部117a。

另外，在本实施方式中，嵌入缩小处理部107与提取扩大处理部119a各自执行的处理的算法需要彼此对应，嵌入缩小处理部117a与提取扩大处理部119b各自执行的处理的算法需要彼此对应。同样，嵌入缩小处理部117b与提取扩大处理部119c各自执行的处理的算法需要彼此对应。但是，嵌入缩小处理部107和提取扩大处理部119a的算法、嵌入缩小处理部117a和提取扩大处理部119b的算法、与嵌入缩小处理部117b和提取扩大处理部119c的算法各自既可彼此不同，也可相同。

(变形例)

下面，说明实施方式4的变形例。

在实施方式4中，视频解码和视频输出双方适用嵌入缩小处理与提取扩大处理，但在本变形例中，仅视频输出适用嵌入缩小处理与提取扩大处理。由此，在位流的GOP(Group Of Pictures)长即GOP中包含的图片多，视频解码中误差累积变显著的***中，不发生误差累积引起的画质恶化，可削减视频输出中帧存储器108的带域和容量。

图19是表示根据本变形例的图像解码装置的功能构成的模块图。

根据本变形例的图像解码装置100c对应于H.264视频编码标准，具备视频解码器101c、帧存储器108和视频输出部111c。视频解码器101c具备语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106和全分辨率运动补偿部110。即，根据本变形例的图像解码装置100c具备视频输出部111c代替实施方式4的图像解码装置100b的视频输出部111b，不具备图像解码装置100b的嵌入缩小处理部107和提取扩大处理部109。

在本变形例中，由于视频解码中不适用嵌入缩小处理与提取扩大处理，所以将未缩小的解码图像作为参照图像存储在帧存储器108中。因此，根据本变形例的视频输出部111c当执行视频输出(IP变换处理、调整大小处理和输出格式变换处理)时，对该未缩小的解码图像进行使用了嵌入缩小处理和提取扩大处理的视频输出。

图20是表示根据本变形例的视频输出部111c的功能构成的模块图。

根据本变形例的视频输出部111c具备嵌入缩小处理部117a、117b、提取扩大处理部119b、119c、IP变换部121、调整大小部122与输出格式部123。即，根据本变形例的视频输出部111c不具备实施方式4的视频输出部111b的提取扩大处理部119a。

图21是表示根据本变形例的视频输出部111c的动作的流程图。

将由视频解码器101c生成的解码图像不缩小地作为参照图像存储在帧存储器108中。因此，视频输出部111c的IP变换部121将帧存储器108中存储的解码图像原样作为处理对象图像处理，对该处理对象图像执行IP变换处理(步骤S402)。即，在实施方式4中，为了将缩小解码图像而得到的缩小解码图像作为参照图像存储在帧存储器108中，视频输出部111b首先对该缩小解码图像进行提取扩大处理。但是，在本变形例中，由于解码图像不缩小地作为参照图像存储在帧存储器108中，所以不进行图18所示的步骤S401的提取扩大处理，对帧存储器108中存储的解码图像执行步骤S402的IP变换处理。

之后，视频输出部111c通过调整大小部122、输出格式部123、嵌入缩小处理部117a、117b与提取扩大处理部119b、119c，与实施方式4一样，执行上述步骤S403-S408。

如上所述，在本变形例中，由于视频解码器101c执行标准中规定的动作，所以可抑制长的GOP图像中易产生的画质恶化的发生。并且，在本变形例中，利用视频输出部111c中的嵌入缩小处理和提取扩大处理，缩小帧存储器108中存储的解码图像，所以可防止画质恶化，同时，削减帧存储器108的带域和容量。

另外，本变形例也与上述实施方式4一样，虽然视频输出部111c具备IP变换部121、调整大小部122和输出格式部123，但也可不具备这些构成要素中的任一要素，或还具备其他构成要素。例如，也可具备执行低通滤波或边缘强调处理等高画质化处理的构成要素，或执行重叠其他图像或字幕等的OSD处理的构成要素。并且，视频输出部111c不限于图21所示的顺序，也可根据其他顺序来执行各处理，或在该各处理中包含上述高画质化处理或OSD处理。

另外，本变形例也与上述实施方式4一样，虽然视频输出部111c具备提取扩大处理部119b、119c与嵌入缩小处理部117a、117b，但也可不具备这些构成要素中的任一要素。例如，可仅具备上述构成要素中的嵌入缩小处理部117a与提取扩大处理部119b。

另外，本变形例也与上述实施方式4一样，嵌入缩小处理部117a与提取扩大处理部119b各自执行的处理的算法需要彼此对应，嵌入缩小处理部117b与提取扩大处理部119c各自执行的处理的算法需要彼此对应。但是，嵌入缩小处理部117a和提取扩大处理部119b的算法、与嵌入缩小处理部117b和提取扩大处理部119c的算法各自既可彼此不同，也可相同。

(实施方式5)

本发明可实现为***LSI。

图22是表示本实施方式的***LSI的构成的构成图。

***LSI200如下所示包含用于转发压缩视频流和压缩音频流的***设备。即，***LSI200具备：视频解码器204，利用向下解码来解码压缩视频流(位流)所示的高清影像；解码压缩音频流的音频解码器203；视频输出部111a，将外部存储器108b中存储的参照图像扩大或缩小到需要的分辨率后输出到监视器，并且输出音频信号；控制视频解码器204、视频输出部111a与外部存储器108b之间的数据访问的存储器控制器108a；作为与调谐器或硬盘驱动器等外部装置的接口的***接口部202；及流控制器201。

视频解码器204具备上述实施方式2或3的语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部106、嵌入缩小处理部107、提取扩大处理部109和全分辨率运动补偿部110。即，在本实施方式中，由视频解码器204、位于外部存储器108b内的帧存储器、以及视频输出部111a构成上述实施方式2或3中的图像解码装置100。

压缩视频流和压缩音频流从外部装置经由***接口部202提供给视频解码器204和音频解码器203。作为外部装置的例子，包含可经由SD卡、硬盘驱动器、DVD、蓝光盘(BD)、调谐器、IEEE1394、或***设备接口(PCI等)总线连接于该***接口部202的其他全部外部装置。流控制器201将压缩音频流与压缩视频流分离后提供给音频解码器203和视频解码器204。在本实施方式中，流控制器201直接连结于音频解码器203和视频解码器204，但也可经外部存储器108b连接。另外，***接口部202与流控制器201也可经外部存储器108b连接。

视频解码器204的内部及动作与实施方式2或3一样，所以省略详细说明。

视频解码器204使用的帧存储器在本实施方式中配置于***LSI200外部的外部存储器108b中。外部存储器108b中一般使用DRAM(Dynamic Random Access Memory，动态随机访问存储器)，但也可以是其他存储器件。另外，外部存储器108b也可配备于***LSI200内部。另外，也可使用多个外部存储器108b。

存储器控制器108a执行访问外部存储器108b的视频解码器204或视频输出部111a等模块间的访问调度，对外部存储器108b进行必要的访问。

由视频解码器204解码后缩小的解码图像由视频输出部111a从外部存储器108b读出，显示在监视器熵。视频输出部111a为了得到必要的分辨率进行扩大或缩小处理，与音频信号同步输出视频数据。该解码图像不在低分辨率解码图像中产生失真地作为水印输入编码高次变换系数，所以视频输出部111a最低限度需要的仅为一般的扩大缩小功能。也可包含扩大缩小以外的高画质化处理或IP(Interlace-Progressive，隔行-逐行)变换处理。

在本实施方式中，与上述实施方式2和3一样，视频解码器204为了将缩小解码图像中的漂移错误抑制到最小限度，对向下采样处理舍去的1个以上的高次变换系数进行编码，嵌入缩小解码图像中。这种嵌入是使用数字水印技术的信息的嵌入，所以不让缩小解码图像产生失真。因此，在本实施方式中，不需要将缩小解码图像显示于监视器中的复杂处理。即，视频输出部111a只要有简单的扩大及缩小功能即可。

(变形例)

这里，说明上述实施方式5的变形例。根据本变形例的***LSI的视频输出部与实施方式4的视频输出部111b一样，其特征在于执行提取扩大处理与嵌入缩小处理。

图23是表示根据本变形例的***LSI的构成的构成图。

根据本变形例的***LSI200b具备视频输出部111d代替视频输出部111a。该视频输出部111d与视频输出部111a一样，输出音频信号，并且执行与实施方式4的视频输出部111b相同的处理。即，视频输出部111d当经存储器控制器108a读出作为参照图像存储在帧存储器108b中的缩小解码图像时，对该缩小解码图像进行提取扩大处理。另外，视频输出部111d当经存储器控制器108a将实施了视频输出中的处理(IP变换处理、调整大小处理和输出格式变换处理)的图像存储在外部存储器108b中时，对该图像进行嵌入缩小处理。

由此，根据本变形例的***LSI200b也可得到与实施方式4一样的作用效果。

(实施方式6)

本发明具备各种功能块。该所谓的功能块是增大容量视频缓冲器、提供帧分辨率(全分辨率/降低分辨率)的缩小DPB充足性检查中使用的预分析器、能够以全分辨率和降低分辨率解码图片的视频解码器、缩小尺寸帧缓冲器和视频显示器子***(图24)。

视频缓冲器(步骤SP10)的存储容量比现有解码器还大，在步骤SP30实际解码视频之前，可提供用于编码视频数据的预读预备解析(步骤SP20)的追加编码视频数据。预分析器比实际解码位流之前，按照增大缓冲器尺寸得到的时间余裕量，在DTS起动。位流的实际解码以与由该增大视频缓冲器得到的时间余裕相同的时间从DTS延迟。预分析器(步骤SP20)为了根据参照帧数量与缩小尺寸的缓冲器容量决定各帧的解码模式(全分辨率或降低分辨率)，对步骤SP10中存储的位流进行句法解析。为了避免不必要的视觉失真，只要可能，始终选择全分辨率解码。因此，更新图片分辨率列表。之后，为了根据步骤SP20中决定的分辨率来解码图像数据，步骤SP30中，将编码视频数据提供给适当分辨率视频解码器。在步骤SP30中，必要时，始终将图像数据向上变换或向下变换为与解码处理关联的图片所需的分辨率。将必要时向下变换的视频解码图像数据在步骤SP50中存储在缩小尺寸帧缓冲器中。具有(步骤SP20中决定的)解码图片分辨率的信息在必要时，为了显示目的而对该图像数据进行向上变换，在步骤SP40中提供给视频显示器子***。

增大尺寸的视频缓冲器(步骤SP10)

根据视频编码标准的位流在理论上需要能由连接在编码器的输出上、至少具备预解码缓冲器、解码器和输出/显示器部的虚拟参照解码器解码。该虚拟解码器作为H.263、H.264中的虚拟参照解码器(HRD)、和MPEG中的VBV缓冲器(VBV)已知。流若既不发生缓冲器的上溢和下溢而能由HRD解码，则满足标准。缓冲器的上溢产生于缓冲器充满时还应输入位的情况。缓冲器的下溢是当为了解码/再现而应从缓冲器取得位时，若对象位不在缓冲器而引起。

H.264视频流的运输和缓冲器管理使用PTS或DTS等由[Section 2.14.1of IUT-T H.222.0 Information technology-Generic coding of moving pictures and associated audio information：systems]已知的参数、和AVC视频流内的信息来定义。表示音频和视频的显示时刻的时间戳被称为呈现(presentation)时间戳(PTS)。表示解码时刻的时间戳被称为解码时间戳(DTS)。位于基本流缓冲器中的AVC访问单元分别在由DTS指定的解码时刻，或在H.264的[Section 2.14.3 of IUT-T H.222.0 Information technology -Generic coding of moving pictures and associated audio information：systems]的情况下在CPB去除时刻被瞬时去除。CPB去除时刻在[Advanced video coding for generic audiovisual services ITU-T H.264(H.264 ITU-T音频视频服务整体用高级视频编码方式)]的附录C中提供。

在实际的解码器***中，各个音频解码器和视频解码器瞬时不动作，需要在实施设计时考虑该延迟。例如，在视频图片以1图片显示间隔1/P(P为帧速率)正确解码、压缩视频数据以位速率R到达解码器的情况下，与各图片关联的位的去除完成从PTS和DTS场所示的时刻延迟1/P，视频解码器缓冲器需要比由STD模块指定的缓冲器大R/P。

若引用例子，最大编码图片缓冲器尺寸(CPB)在H.264的等级4中为30000000位(3750000字节)。等级4.0用于HDTV。现实解码器如上所述，具备至少比CPB缓冲器大R/P的视频解码器缓冲器。这是因为需要延迟1/P时间来去除解码中缓冲器中应存在的数据。

预分析器(步骤SP20)为了能向解码器提供涉及在缩小存储器解码器中进行解码的可能性的信息，在DTS所示的打算的解码时刻前，进行缓冲器内可利用的全部视频数据的预备解析。视频缓冲器尺寸比现实解码器所需的尺寸增加预备解析所需的量。实际的解码延迟预备解析中使用的追加时间，预备解析在DTS开始。下面示出预备解析视频缓冲器的使用例。

H.264水平4.0的最大视频位速率为24Mbps。为了实现追加的0.333s的预读预备解析，还需要追加约8M位(1000000字节)的视频缓冲器存储量。这种位速率的1帧平均是800000位，10帧平均是8000000位。流控制器根据解码标准取得输入流。但是，流控制器在从DTS所示的打算的去除时刻延迟0.333s的时刻，从视频缓冲器去除流。为了这种设计，实际解码需要延迟0.333s，结果，预分析器可在实际解码开始前收集更多的涉及各帧解码模式的信息。

缩小尺寸帧缓冲器(步骤SP50)

步骤SP50提供使用多个参照帧的标准在当前解码中的帧和解码图片缓冲器的存储。在H.264中，解码图片缓冲器具有帧缓冲器，各帧缓冲器可具有解码帧、解码内插场对或附印为‘用于参照’的单一(不成对)解码场(参照图片)，或保持用于将来的输出(颠倒顺序的图片或延迟图片)。

DPB解码模式的操作在[Advanced video coding for generic audiovisual services ITU-T H.264(H.264 ITU-T音频视频服务整体用高级视频编码方式)]的附录C.4中定义。在该附录中，说明图片解码和输出序列、参照解码图片的标记和向DPB的存储、非参照图片向DPB的存储、和***对象图片之前从DPB去除图片以及冲撞处理。

大部分H.264流在编码中不利用为了简档和等级而定义的参照帧的最大数量。就仅使用I图片和P图片构造来编码的流而言，由于预测中参照的仅是紧前的帧，所以使用的参照帧数量大体为1。就使用多个B参照帧编码的流而言，DPB中需要存储较多参照帧。

这样，可推测可将帧缓冲器内的存储器形成用于使用多个参照帧的缩小存储器解码器的各种构成。当不需要存储多个参照帧时，解码器通过以全分辨率存储较少数量的参照帧，可有效利用缩小存储器。参照帧仅在需要存储多个参照帧时才向下变换后存储在存储器中。

作为例子，简档和等级用的最大DPB尺寸记载于解码说明书中。例如，H.264等级4.0的DPB可存储4个最大DPB尺寸为12582912字节的2048×1024像素的全分辨率帧。在削减DPB直到可能处理的全分辨率帧的数量仅为2个的缩小存储器设计中，需要的帧存储器容量是3个全分辨率帧(DPB中2个，工作缓冲器中一个)。当DPB需要4个参照帧时，这4个帧始终以半分辨率(进行4→2向下采样)存储。帧存储器仅需处理全分辨率的5帧中的3帧，所以可使帧存储器存储下降40％(6291456字节)。

缩小DPB充足性检查中使用的预分析器(步骤SP20)

预分析器(步骤SP20)为了决定各帧的解码模式(全分辨率或降低分辨率)，对视频缓冲器中存储的位流进行句法解析。预分析器(步骤SP20)为了向解码器提供涉及在缩小存储器解码器执行全解码的可能性的信息，在DTS所示的打算的解码时刻前，进行缓冲器内可利用的全部视频数据的预备解析。视频缓冲器尺寸比现实解码器所需的尺寸增加预备解析所需的量。实际的解码延迟预备解析中使用的追加时间，预备解析在DTS开始。

预分析器在步骤SP200中，对H.264序列参数集(SPS)等上位层信息进行句法解析。在已知使用的参照帧的数量(H.264的num_ref_frames)为缩小DPB处理的全参照帧的数量以下时，在步骤SP220中将基于该SPS的帧的解码模式设定为全解码，据此，更新视频解码和存储器管理中使用的图片分辨率列表(步骤SP280)。在步骤SP200中，若使用的参照帧的数量比缩小DPB以全分辨率处理的数量大，则在步骤SP240中，为了决定全分辨率解码模式是否可分配给特定帧的处理，调查下位语法信息(H.264的情况为片层)。为了避免不必要的视觉失真，只要可能，始终选择全分辨率解码。在步骤SP240中，i)全DPB与缩小DPB的参照列表使用法相同，ii)在步骤SP260中将全分辨率解码模式分配给图片之前，确认该图片级显示器正确。否则，在步骤SP260中分配降低分辨率解码模式。随之，在步骤SP280中，更新图片分辨率列表缓冲器。

上位参数层的检查(步骤SP200)

这里，为了确认缩小DPB的操作(图25)的可能性，检查使用的参照帧的数量。H.264中，序列参数集(SPS)内的‘num_ref_frame’的场表示下一SPS之前图片解码中使用的参照帧的数量。若使用的参照帧的数量为缩小DPB帧存储器能够以全分辨率保持的数量以下，则分配全分辨率解码模式(步骤SP220)，之后由解码器和显示器子***据此更新用于视频解码和存储器管理中的帧分辨率列表(步骤SP280)。在步骤SP200中缩小DPB的充足性检查为false(假)的情况下，为了确认缩小DPB的充足性，由预分析器进一步检查下位层语法(步骤SP240)。

下位层语法的缩小DPB充足性检查(步骤SP240)

参照图25。

为了以缩小物理存储器容量来进行DPB管理，存储解码器的可操作/实际DPB(下面称为现实DPB)内的各解码图片中使用的以下管理参数。

i)DPB_removal_instance

该参数中存储用于从DPB去除对象图片的定时信息。为了表示从DPB去除对象图片，有可能性的存储方案之一使用之后图片的DTS时间或PTS时间。

ii)full_resolution_flag

若图片的full_resolution_flag为0，则该图片以降低分辨率存储。否则(若full_resolution_flag为1)，则该图片以全分辨率存储。

iii)early_removal_flag

该参数不能直接用于现实DPB的图片管理操作中。但是，由于early_removal_flag用于下层预读处理(步骤SP240)，所以下层预读处理的图片至图片的执行中需要执行现实DPB内的early_removal_flag的存储。若图片的early_removal_flag为0，则根据解码标准的DPB管理，从DPB中去除该图片。否则(若early_removal_flag为1)，则根据DPB_removal_instance所示的值，在由解码标准的DPB缓冲器管理命令之前去除该图片。

为了进行下层预读处理，在预读预备解析中维持DPB的两个虚拟图像。

i)缩小DPB

缩小DPB提供以下预读判定用的空间。

.图片以全分辨率存储还是以降低分辨率存储。

.从DPB去除图片的去除时刻(基于DPB缓冲器管理的准时、或由预分析器赋予的早期移除)。

在开始预读处理时，将现实DPB的状态复制到缩小DPB。之后，对各编码图片进行预读处理，每当更新缩小DPB，都检查全分辨率图片存储的可执行性。当预读处理结束时，废弃缩小DPB的状态。

ii)完全DPB

完全DPB模拟基于标准DPB管理方案(H.264的[Advanced video coding for generic audiovisual services ITU-T H.264(H.264 ITU-T音频视频服务整体用高级视频编码方式)]的附录C.4.4和C.4.5.3)的动作。完全DPB与步骤SP240中的最终决定独立。完全DPB在解码开始时生成，通过解码处理整体来更新。完全DPB的状态在目标图片j的预读处理结束时存储，接着用于下一图片(j+1)的预读处理中。

在步骤SP240中，若解码、存储(从目标图片j开始的)各图片，则执行今后DPB状态的下层预读处理。步骤SP240生成以下的输出。

.目标图片j用的现实DPB管理参数的值

.目标图片j的解码结束时的完全DPB的状态

步骤SP240的细节如下所示(图26)。在步骤SP241中，对目标图片j设定预读图片lookahead_pic，将update_reduced_DPB初始化为TRUE(真)。之后，在步骤SP242中，将现实DPB的当前状态复制到缩小DPB。

接着步骤SP242，在步骤SP243中，执行确认是否从完全DPB中去除图片j的检查。当步骤SP243为TRUE时，执行步骤SP250，结束步骤SP240。当步骤SP243为false时，处理接着进行步骤SP244。

在步骤SP244中，检查预读缓冲器中是否可利用编码图片数据。在预读缓冲器为空的情况下，已经不能继续预读处理。从而，停止预读处理，执行步骤SP249。在步骤SP249中，伴随着以对该图片选择的降低分辨率更新的步骤SP280，选择目标图片j使用的降低分辨率的准时移除模式(步骤SP260)，向现实DPB赋予以下值。

i)现实DPB的early_removal_flag[j]＝0

ii)现实DPB的full_resolution_flag[j]＝0

iii)现实DPB的DPB_removal_instance[j]＝ontime_removal_instance

在步骤SP244中输出FALSE的情况下，继续预读处理。之后，在步骤SP245中，生成用于步骤SP246中调查全解码的可实现性的lookahead_pic用预读信息。

步骤SP245的细节如下所示(图27)。

在步骤SP2450至步骤SP2453中对完全DPB缓冲器图像和准时移除信息进行句法解析。

在步骤SP2450中，执行语法要素的部分句法解析。就H.264而言，提取与解码图片的缓冲相关的以下全部信息。

.PPS(图片参数集)中的num_ref_idx_IX_active_minus1、SH(片头)中的num_ref_idx_active_override_flag、SH中的num_ref_idx_IX_active_minus1

.SH中的slice_type

.SH中的nal_ref_idc

.SH中的全部ref_pic_list_reording()语法要素

.SH中的全部dec_ref_pic_marking()语法要素

.视频显示信息(VUI)、缓冲期间附加信息(SEI)消息语法要素、和图片定时SEI消息语法要素等与图片输出定时相关的全部语法要素

[表1]

表1  步骤S2450中提取的语法要素

当图片输出的定时信息不存在于H.264基本流中时，该信息有可能以呈现时间戳(PTS)和解码时间戳(DTS)的形式存在于传输流内。

使用表1的语法要素，在步骤SP2452中，生成完全DPB用的预读信息。完全DPB的虚拟图像使用解码标准的DPB缓冲器管理来更新。

根据步骤SP2452中的完全DPB的最近更新，在步骤SP2453中，必要时将准时移除实例存储在缩小DPB中。步骤SP2453的细节如下所示(图28)。在步骤SP24530中，检查步骤SP2452中是否最近从完全DPB中去除图片k。若为否，则结束步骤SP2453。否则(步骤SP24530输出TRUE)，则在步骤SP24532中，检查图片k是否目标图片j。若是，则由于根据DPB管理准时去除目标图片，所以将lookahead_pic的解码结束时的时间实例存储在ontime_removal_instance中。否则(步骤SP24532中输出FALSE)，在步骤SP24534中，检查图片k的early_removal_flag在缩小DPB中是否设定为0。若为0，则将缩小DPB内的图片k的DPB_removal_instance设定为lookahead_pic解码结束时的实例。否则(步骤SP24534中输出FALSE)，结束步骤SP2453。

在步骤SP2454至步骤SP2455中，必要时进行缩小DPB的更新。

返回图27，在步骤SP2454中检查是否应更新缩小DPB。若步骤SP2454输出FALSE，则不更新缩小DPB。其效果在于若一旦将update_reduced_DPB设定为FALSE(步骤SP2465)，则将缩小DPB的状态保持为相同状态，直到目标图片j的预读处理结束。否则(步骤SP2454中输出TRUE)，步骤SP2455中更新缩小DPB的虚拟图像。当将最近解码的图片追加到缩小DPB时，执行以下条件赋予，据此，伴随步骤SP280的更新，执行步骤SP260。

i)各最近解码的图片的early_removal_flag设定为1。

ii)若DPB可利用的尺寸对全分辨率图片足够，则将full_resolution_flag设定为1，将解码图片以全分辨率存储在缩小DPB中。

iii)若DPB可利用的尺寸对全分辨率图片不充分，则为了从缩小DPB中去除伴随未定义的early_removal_flag＝1的图片，执行缩小DPB冲撞处理。接在冲撞处理之后，

.若结果得到的缩小DPB可利用的尺寸对全分辨率图片足够，则将full_resolution_flag设定为1，将解码图片以全分辨率存储在缩小DPB中。

.若结果得到的缩小DPB可利用的尺寸对全分辨率图片不充分，则将full_resolution_flag设定为0，将解码图片以降低分辨率存储在缩小DPB中。

iv)根据缩小DPB移除处理的规则，从缩小DPB中去除图片。

下面说明缩小DPB的移除处理。

i)关于伴随early_removal_flag＝0的图片

将这些图片在与从完全DPB中去除这些图片相同的实例从缩小DPB中去除。

ii)关于伴随early_removal_flag＝1的图片

需要存储新编码的图片，在DPB可利用的尺寸对全分辨率图片不充分的情况下，通常执行缩小DPB冲撞处理。通过缩小DPB冲撞处理，根据预定的优先条件，去除优先顺序最低的图片。考虑的优先条件包含以下条件。

.去除最早的图片(先入先出)，或

.以H.264中最低的nal_ref_idc等最低的参照等级来去除图片，或

.从双向预测编码图片(B)开始等，去除最不被参照的图片种类，之后，按正向预测编码图片(P)、帧内编码图片(I)的顺序去除。

在步骤SP2456中，通过解读部分解码的位流的含义，生成由lookahead_pic使用的参照图片列表。

在步骤SP2457中，检查lookahead_pic是否是目标图片j。若步骤SP2457中输出TRUE，则执行步骤SP2458和步骤SP2459。否则(步骤SP2457中输出FALSE)，则结束步骤SP245。

在步骤SP2458中，根据部分解码的位流或传输流信息来解读目标图片j的输出/显示时刻。

在步骤SP2459中，将当前的完全DPB的状态(解码目标图片j，更新完全DPB后的状态)存储在作为暂时DPB图像的存储的完全DPB中。当目标图片j的预读处理结束时，将存储的完全DPB复制回完全DPB中，以用于后续图片(图片(j+1)等)的预读处理中。

返回图26，在步骤SP246中，分析步骤SP245中生成的预读信息，检查在解码lookahead_pic之后全分辨率模式是否依然可能。步骤SP246中，评价两个条件。

i)条件1

从刚从缩小DPB中去除目标图片之后的实例起至从完全DPB中去除目标图片的实例为止，任何参照列表中都不存在目标图片。

ii)条件2

目标图片在打算的输出/显示时刻之前不从缩小DPB中去除。

当上述条件之一为FALSE时，将DS_terminate设定为TRUE，检查完的帧中不可能使用全解码模式。

下面说明步骤SP246的处理细节(图29)。首先，在SP2462中，检查update_reduced_DPB。若update_reduced_DPB为TRUE，则在之后的步骤SP2464中，检查对象lookahead_pic是否已不存在于缩小DPB中。若步骤SP2464中输出FALSE，则在步骤SP2469中设定输出标志DS_terminate＝FALSE。否则(步骤SP2464输出TRUE)，则步骤SP2465中，将update_reduced_DPB设定为FALSE，将early_removal_instance设定为lookahead_pic解码结束时的时间实例。之后，在步骤SP2467中，评价条件2。当条件2为TRUE时，在步骤SP2467中，设定输出标志DS_terminate＝FALSE。否则(条件2为FALSE)，则在步骤SP2468中，设定作为输出标志的DS_terminate＝TRUE。返回步骤SP2462，若update_reduced_DPB为FALSE，则在步骤SP2466中，评价条件1。若条件1为TRUE，则在步骤SP2467中，设定输出标志DS_terminate＝FALSE。否则(条件1为FALSE)，则在步骤SP2468中，设定作为输出标志的DS_terminate＝TRUE。若由步骤SP2468将DS_terminate标志设定为某一个，则结束步骤SP246。

返回图26，为了决定是继续还是结束预读处理，在步骤SP247中，检查来自步骤SP246的标志DS_terminate。

当步骤SP247中DS_terminate为FALSE时，在步骤SP248中将lookahead_pic一次增加1，在步骤SP242中，执行下一个解码顺序的图片的预读处理。在步骤SP246中，在步骤SP242检测从完全DPB的虚拟图像中最近去除的目标图片之前，在持续输出DS_terminate＝FALSE的情况下，将预读处理前进到步骤SP250。在步骤SP250中，对目标图片j选择早期移除模式，如下所示赋予现实DPB的值。

i)现实DPB的early_removal_flag[j]＝1

ii)现实DPB的full_resolution_flag[j]＝缩小DPB的full_resolution_flag[j]

iii)现实DPB的DPB_removal_instance[j]＝缩小DPB的DPB_removal_instance[j]

另一方面，当步骤SP247中DS_terminate为TRUE时，结束预读处理循环。在步骤SP249中，为了用于目标图片j而选择向下采样分辨率的准时移除模式，向现实DPB赋予以下值。

i)现实DPB的early_removal_flag[j]＝0

ii)现实DPB的full_resolution_flag[j]＝0

iii)现实DPB的DPB_removal_instance[j]＝ontime_removal_instance

在步骤SP260中，选择降低分辨率，在步骤SP280中，更新赋予帧的分辨率。通过步骤SP244或步骤SP247的早期循环结束，完全DPB的状态的预读更新有可能未达到从完全DPB中去除目标图片j的实例。此时，在步骤SP249中，ontime_removal_instance不包含正确的值。在步骤SP251中，执行这种情况的应对。在步骤SP251中，对伴随early_removal_flag[k]＝0的全部图片k，将DPB_removal_instances[k]的值复制到现实DPB(在步骤2453中赋予缩小DPB的DPB_removal_instances[k])。效果上在步骤SP251中，在后续图片(图片(j+1)或其后的图片)的预读处理之间，以准时移除模式更新图片j的DPB_removal_instance。根据预读计划，总是在从现实DPB去除的实际准时移除实例之前赋予准时移除模式下的图片j的DPB_removal_instance。

在结束预读处理之前，在步骤SP252中，为了后续目标图片的预读处理，从存储的完全DPB复制完全DPB的状态。之后，结束步骤SP240。

步骤SP240的预读处理的示例说明-例1

图30中示出典型的图片构造。各图片赋予XY标签，X表示图片种类，Y表示显示顺序。X可以是I(帧内编码图片)、P(正向预测编码图片)、B(未用作参照图片的双向预测编码图片)和Br(用作参照图片的双向预测编码图片)。用曲线箭头表示图片参照的排列。设I2是位流内的最初图片，I2的下位层充足性检查如下所示进行。

预读处理从lookahead_pic＝I2开始。当I2的解码结束时(时间索引＝0)，将I2存储在完全DPB和缩小DPB双方中。在步骤SP2454中，将缩小DPB标志设定为early_removal_flag[I2]＝1和full_resolution_flag[I2]＝1。根据部分解码可知I2的输出时刻是时间索引＝3时。此时，I2还未从缩小DPB中去除，结果，在SP246中，设定DS_terminate＝FALSE，lookahead_pic前进到B0。

在B0和B1的预读处理之间，由于B0和B1未存储在DPB中而直接显示，所以不变更完全DPB和缩小DPB的状态。当解码P5之后，更新完全DPB和缩小DPB双方。在步骤SP2454中，将缩小DPB标志设定为early_removal_flag[P5]＝1和full_resolution_flag[P5]＝1。边继续预读处理，边不变更完全DPB和缩小DPB的状态来记录B3和B4。

当解码P8之后，更新完全DPB和缩小DPB双方。完全DPB由[ADVANCED VIDEO CODING FOR GENERIC AUDIOVISUAL SERVICES ITU-T H.264(H.264 ITU-T音频视频服务整体用高级视频编码方式)]的附录8.2.5.3的标准H.264处理来更新。为了简化说明，在本例中，假定缩小DPB冲撞处理中使用先入先出规则。由于缩小DPB中无空余空间，所以为了存储P8，当时间索引＝6时，利用冲撞输出I2。通过该步骤接着起动SP2464，检查条件2。I2在该显示时间索引之后的时间索引从缩小DPB利用冲撞输出，所以条件2为TRUE，将DS_terminate设定为FALSE。之后，预读处理前进到B6。

B6的预读处理之间，可知I2未用作B6的解码参照图片。因此，当步骤SP2466中条件1为TRUE时，将DS_terminate设定为FALSE。之后，同样地，预读处理从B7前进到B10。

在P14的预读期间，可知P14的解码中条件1保持TRUE不变(DS_terminate＝FALSE)，I2最终在P14的解码结束时从完全DPB中去除。由此，接着在SP242中，预读循环结束，在SP250中，将early removal mode分配给目标图片I2。

[表2]

步骤SP240的预读处理的示例说明-例2

图31中示出其他典型的图片构造。在本例中，假设I3是位流的最初图片。在该第2图片构造中，特定的B图片(B1、B6、B10等)不用于参照，但由于这些图片在解码结束后不直接显示，所以可知需要存储在DPB中。因此，完全DPB和缩小DPB双方除参照图片外还需要存储这些非参照图片。下面，说明对几个图片的预读处理。

对I3的预读处理

当时间索引＝0时，I3存储在空的完全DPB和缩小DPB中。将缩小DPB标志设定为early_removal_flag[I3]＝1和full_resolution_flag[I3]＝1。解码为I3的输出时刻为时间索引＝5时。预读处理接着对后续的图片(Br1、B0、B2等)进行。当预读处理到达B2时，为了能将B2输入缩小DPB，可知I3当时间索引＝3时从缩小DPB通过冲撞输出。这意味着当打算的时间索引＝5时，不能显示I3，不满足条件2。由此，在步骤SP247中，预读处理结束，选择I3以使用准时移除模式。

对Br1的预读处理

当对Br1的预读处理开始时，将现实DPB的状态复制到缩小DPB。之后，时间索引＝1，将最近解码的Br1存储在完全DPB和缩小DPB中。将缩小DPB标志设定为early_removal_flag[Br1]＝1和full_resolution_flag[Br1]＝1。解码为Br1的输出时刻为时间索引＝3时。预读处理接着对后续的图片进行。当预读处理到达B2时，可知Br1当时间索引＝3时从缩小DPB通过冲撞输出。这与Br1打算的输出实例相适合，所以满足条件2。之后，预读处理接着对P7进行。在解码P7中，Br1不用作参照图片，由此满足条件1。在本例中，为了在结束解码P7时从DPB中去除Br1，所以定义DPB管理指令在位流内发行。由此，当时间索引＝4时，从完全DPB中去除Br1。之后，在步骤SP242中，预读处理结束，选择Br1使用early removal mode(早期移除模式)。

对B0的预读处理

当对B0的预读处理开始时，将现实DPB的状态复制到缩小DPB。之后，时间索引＝2，通过步骤SP245的部分解码，可知不需要将B0存储在DPB中。由此，在步骤SP242中，不变更完全DPB和缩小DPB，结束预读处理。当B0的物理/实际解码结束时，不将B0存储在现实DPB中，而为了输出/显示直接发送。

对B2的预读处理

当对B2的预读处理开始时，将现实DPB的状态复制到缩小DPB。之后，时间索引＝2，通过步骤SP245的部分解码，可知需要将B2存储到DPB中，直到时间索引＝4。之后，Br1从缩小DPB通过冲撞输出，将B2存储在缩小DPB中。预读处理接着对P7进行。在P7解码结束时(时间索引＝4)，B2从缩小DPB通过冲撞输出，将P7存储在缩小DPB中。将B2从缩小DPB通过冲撞输出的时间索引与从完全DPB中去除B2的时间索引相适合，所以满足条件2。不将B2用作参照图片，由此满足条件1。因此，对B2选择early removal mode。

对P7的预读处理

当对P7的预读处理开始时，将现实DPB的状态复制到缩小DPB。之后，时间索引＝4，将最近解码的P7存储在完全DPB和缩小DPB中(B2从缩小DPB通过冲撞输出)。将缩小DPB设定为early_removal_flag[P7]＝1和full_resolution_flag[P7]＝1。解读为P7的输出时刻为时间索引＝9时。预读处理接着对Br5进行。当Br5的解码结束时，可知P7当时间索引＝5时从缩小DPB通过冲撞输出。这意味着当打算的时间索引＝9时，不能显示P7，不满足条件2。由此，在步骤SP248中，预读处理结束，选择P7使用准时移除模式。

对Br5的预读处理

为了说明不满足条件1的状况，进行部分变更使P11的图片参照包含Br5(图31)。当对Br5的预读处理开始时，将现实DPB的状态复制到缩小DPB。之后，时间索引＝1，将最近解码的Br5存储在完全DPB和缩小DPB中。将缩小DPB标志设定为early_removal_flag[Br5]＝1和full_resolution_flag[Br5]＝1。解读为Br5的输出时刻为时间索引＝7时。预读处理接着对后续的图片进行。当预读处理到达B6时，可知Br5当时间索引＝7时从缩小DPB通过冲撞输出。这与Br5打算的输出实例相适合，所以满足条件2。之后，预读处理接着对P11进行。在解码P11过程中，Br5由P11用作参照图片，由此可知不满足条件1。之后，在步骤SP248中结束预读处理，选择Br5使用准时移除模式。

对后续图片的预读处理的过程可以同样的方法执行。

从上述示例的说明可知，通过预读处理，解码器可在缩小存储器视频解码中以图片等级适当地切换全分辨率与降低分辨率的解码。就例1的图片构造而言，可推测全部参照图片能够以全分辨率存储在缩小尺寸DPB中。就例2的图片构造而言，可将几个参照图片存储在全分辨率DPB中。只要可能，总是存储全分辨率的参照图片，由此可比以前的缩小存储器视频解码减小缩小存储器解码器的错误漂移，从而可得到更好的解码图像的视觉品质。

[表3]

[表4]

[表5]

[表6]

[表7]

[表8]

全分辨率/降低分辨率的解码器(步骤SP30)

参照图32。在该步骤中，根据解码对象图片和步骤SP20中预备决定的参照图片的分辨率来解码视频流。

视频位流从增大容量缓冲器(步骤SP10)发送到语法解析熵解码部件(步骤SP304)。在熵解码中，可执行CAVLD或CABAC之一。逆量化器连接于语法解析熵解码部件，对熵解码系数进行逆量化(步骤SP305)。帧缓冲器(SP50)存储步骤SP20决定的分辨率的视频图片。赋予各帧的分辨率是预定的向下变换率或全分辨率。在步骤SP280中，与参照帧的分辨率关联的信息可通过步骤SP20提供给步骤SP30。就以降低分辨率解码的图像而言，图像数据在步骤SP50中以降低分辨率的向下样本图像的形式或以压缩格式存储。全分辨率图像以其最初的形式存储(步骤SP50)。若MC中使用的参照帧是降低分辨率，则向下变换后的视频像素在步骤SP310中通过向上转换器取得，为了生成MC中使用的全分辨率的像素而重构(图像的向上采样或压缩数据的扩展按照使用的向下变换模式执行)。此外，获取参照帧，原样提供给MC部。数据经位于MC输入的数据选择器提供给MC部件。若参照帧为降低分辨率，则选择向上变换后的图像用于MC输入，否则，将从帧缓冲器(步骤SP50)获取的图像数据原样选择用于MC输入。MC部件为了根据解码参数得到预测像素，根据全分辨率的像素进行图像预测(步骤SP314)。IDCT模块(SP306)接收逆量化系数，为了得到变换像素，变换这些系数。必要时，使用邻近块的数据进行帧内预测(步骤SP308)。在存在帧内预测值的情况下，为了得到预测像素值，与运动补偿像素相加(步骤SP309)。之后，为了得到再构成像素，将变换像素和预测像素合并计算(步骤SP309)。为了得到最终的重构像素，必要时执行解块滤波处理(SP318)。根据步骤SP280，若解码中帧的分辨率为降低分辨率，则由压缩器或图像向下采样器向下变换再构成像素(步骤SP312)，存储在帧缓冲器中。若解码中帧的分辨率为全分辨率，则将再构成像素原样存储在帧缓冲器中。若解码对象图片为全分辨率，则存在于对缩小帧缓冲器的输入中的数据选择器选择全分辨率数据，否则，选择向下变换图像数据。

向下变换部件(步骤SP312)和向上变换部件(步骤SP310)

H.264视频解码易受因利用帧内信息而参照图像的信息损失时引起的噪声影响。在本实施方式中，仅必要时以降低分辨率解码，但为了生成良好的视觉品质的解码图像，需要将向下变换时的错误发生削减到最小限度。

在本优选实施方式中，利用嵌入在向下采样处理中舍去的向下样本数据内的高次变换系数的一部分的技术，执行向下采样处理。在向上采样处理中，为了恢复在向下采样处理中丢失的向下样本数据内的高次变换系数的一部分，提取并利用嵌入向下样本数据内的信息。

在向下采样处理和向上采样处理中，也可利用傅立叶变换(DFT)、阿达玛变换、卡亨南-洛维变换(KLT)、离散余弦变换(DCT)、勒让德变换等可逆正交频率变换。在本实施方式中，在向下采样处理和向上采样处理中，利用基于DCT/ICT的功能。

也可代之将其他优选的向下变换技术用于向上变换和向下变换中。代替的压缩/扩展技术实例记载于背景技术[Video Memory Management for MPEG Video Decode and Display System，Zoran Corporation，美国专利第6198773号说明书B1，2001年3月6日]。

向下采样部件(SP312)

图33是涉及用于生成降低分辨率图像的本发明实施方式中的向下采样手段的概略流程图。作为对步骤SP322的输入，发送全分辨率的空间数据(尺寸NF)和打算的向下样本数据尺寸(尺寸Ns)。

步骤SP322-全分辨率正向变换

DCT和IDCT核(kernel)K

N×N的二维DCT如上述(式1)所示定义。

这里，在上述(式1)中，x、y是样本域中的空间坐标，u、v是变换域中的坐标。参照上述(式2)。

数学上的实数IDCT如上述(式3)所示定义。

当实现IDCT电路时，也可使用矩阵运算来代替上述方程式。定义变换核，直接DCT和IDCT运算恰好是矩阵乘法。通过(式1)和(式3)，DCT/IDCT变换核K(m，n)(m＝[0，N]，n＝[0，N])如下述(式10)所示导出。

[数式10]

$K(m,n)=\sqrt{\frac{2}{N}}\cos \frac{(2n+1)\mathrm{m\π}}{2N}$ …(式10)

通过将正向DCT(FDCT)核K(N＝NF的(式10))矩阵相乘，设为全分辨率的空间数据的移项，得到全分辨率(NF×NF尺寸)下的DCT系数(U)(步骤SP322)。将其表示为U＝KF.XT。X表示全分辨率的空间数据。

步骤SP324-高次变换系数的提取和编码

NF高次变换系数作为DCT运算的结果得到。应舍去的变换系数的数量由NF-NS表示，可编码的高次变换系数为NS+1至NF范围内的系数。

高次变换系数在编码(图34的步骤SP3240)之前，首先被量化。高次变换系数可使用线性量化缩放或非线性量化缩放来编码。量化方式的设计中应遵守的规则是嵌入后的向下样本像素的总信息量需要始终比嵌入前的多。

VLC之后被赋予量化高次变换系数(图34的步骤SP3242)。在本发明中，为了编码更大的量化变换系数，使VLC的长度逐行增加。这是因为若将VLC嵌入降低分辨率数据，则结果降低分辨率的内容会损失。因此，使用长的VLC来嵌入大的变换系数刚好合理，结果得到的嵌入增益为正数。量化系数的VLC编码表设计中应遵守的重大规则是嵌入后的向下样本像素的总信息量需要始终比嵌入前的VLC代码与量化系数的全组的总信息量多。

步骤SP326-降低分辨率变换中使用的变换系数缩放

由于DCT-IDCT组合是块尺寸分之1的缩放，所以在取得NF-点DCT低频系数的NS-点IDCT之前，需要缩放该系数[引例：Minimal Error Drift in Frequency Scalability for Motion-Compensated DCT CODING，Robert Mokry and Dimitris Anastassiou，IEEE Transactions on Circuits and Systems for Video Technology]。DCT系数之后在IDCT之前由

[数式11]

$\sqrt{\frac{N_F}{N_S}}$

的因数按比例减小。

步骤SP328-降低分辨率逆变换部件

IDCT通过将间隔剔除中使用的逆变换核(N＝Ns的(式10))与为了用于较低分辨率的逆变换中而选择并缩放的DCT系数的逆变换核相乘来执行(步骤SP330)。这表示为Xs＝KsT.U.。

步骤SP330-编码高次变换系数信息嵌入部件

在本实施方式中，使用空间水印技术。或者，也可在变换域中使用水印。为了确实实现嵌入方式的效果，嵌入方式需要能确保比嵌入高次变换系数信息之前更多的总信息量。

检查降低分辨率空间数据的变量(图35的步骤SP3300)。在变量非常小的情况下，像素值非常接近周边像素的像素值(平坦域)。低分辨率像素的变量使用以下数式来运算。

[数式12]

$\mathrm{Variance}=\frac{\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{(x_i-\mathrm{\μ})}^2}{N_s}$

这里，Ns是低分辨率像素的数量。这里，μ是根据

[数式13]

$\mathrm{\μ}=\frac{\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{x}_i}{N_s}$

得到的低分辨率像素的平均值。例如，就分别具有121、122、123的值的3个像素而言，μ为122，变量为0.666。

在变量比预定的阈值THRESHOLD_EVEN小的情况下，不嵌入高次变换系数地输出降低分辨率空间数据。当步骤SP3300为false时，高次变换系数的嵌入在步骤SP3320中进行。首先，用0屏蔽被影响的多个LSB，并舍去降低分辨率像素的LSB(步骤SP3322)，由此执行步骤SP3320的空间水印(图36)，之后，使用OR算术函数在多个LSB中嵌入步骤SP3242中得到的VLC代码。

将空间上放入水印的降低分辨率空间数据发送到外部的存储器缓冲器，存储以用于将来的参照。

步骤SP342-嵌入高次系数信息的解码

参照图38，根据编码和空间水印方式，使用步骤SP310中的降低分辨率数据的多个LSB，解码直线Ns的空间分辨率数据。

在步骤SP3420(图39)中，比THRESHOLD_EVEN低地获取降低分辨率空间数据的变量。当为true时，由于该域是平坦域的可能性高，所以在降低分辨率空间数据中不嵌入信息。当为false时，对该多个LSB进行VLC解码(SP3430)。为了提取嵌入的VLC代码，在步骤SP3432中进行可变长度解码。为了得到量化高次变换系数(步骤SP3434)，使用事先定义的参照用VLC表，获取提取到的VLC代码。降低分辨率像素首先通过用0屏蔽用于嵌入的LSB来逆量化，之后，在发送到步骤SP344之前，与相当于VLC嵌入中使用的多个LSB的值的一半的值相加(步骤SP3436)。

步骤SP344-降低分辨率正向变换

通过执行降低分辨率正向变换，在下一步骤SP344中得到空间输入的降低分辨率变换系数。该运算表示为U＝KS.XST。XS表示向下样本域中的空间数据，KS表示降低分辨率DCT变换核。

步骤SP346-按比例增加的DCT系数

由于DCT-IDCT组合是块尺寸分之1的缩放，所以在取得NS-点DCT低频系数的NF-点IDCT之前，需要缩放该系数[引例：Minimal Error Drift in Frequency Scalability for Motion-Compensated DCT Coding，Robert Mokry AND Dimitris Anastassiou，IEEE Transactions on Circuits and Systems for Video Technology]。DCT系数之后在IDCT之前由

[数式14]

$\sqrt{\frac{N_F}{N_S}}$

的因数按比例增加。

步骤SP348-推定的高次变换系数的装填

在步骤SP348中，将步骤SP344中解码的高次变换系数作为高DCT系数，装填到步骤SP346得到的DCT系数。用0来装填该高次变换系数的嵌入中不包含的高DCT系数。

步骤SP350-全分辨率IDCT

在步骤SP350中，IDCT通过将间隔剔除中使用的逆变换核(N＝NF的(式10))与步骤SP348中选择得到的全分辨率DCT系数相乘来执行。这由

[数式15]

${\hat{X}}_F={K_F}^T\·{\hat{U}}_F$

表示。这里，

[数式16]

${\hat{X}}_F$

表示全分辨率的重构空间数据，

[数式17]

${\hat{U}}_F$

表示步骤SP348中的重构DCT系数，K_F表示降低分辨率DCT变换核。

视频显示器子***(步骤SP40)

视频显示器子***(步骤SP40)为了以正确的顺序和分辨率显示视频，使用步骤20中得到的帧的分辨率信息和步骤SP30中得到的显示顺序信息。该视频显示器子***根据图片显示顺序，为了显示，从帧缓冲器中取得图片。若该显示图片被压缩，则使用对应的解压缩器，将数据变换为全分辨率。若向下采样该显示图片，则可利用包括图像按比例增加(向上缩放)功能，使用后处理部，按比例增加到全分辨率。若该图像是全分辨率，则原样显示。

不伴随预分析器的适应全分辨率/降低分辨率的视频解码器的简易实施方式

在本实施方式中，提供不需要使用决定帧的分辨率的预分析器的替代简易实施方式。

参照图42。在本实施方式中，利用视频缓冲器尺寸为现有解码器(步骤SP10’)的视频缓冲器尺寸以下的视频缓冲器，将压缩视频数据在步骤SP30’中提供给适应全分辨率/降低分辨率视频解码器。在步骤SP30’中，语法解析熵解码部件为了确认解码中序列中使用的参照帧数量，检查上位层参数。在使用的参照帧数量为由缩小尺寸帧缓冲器(步骤SP50’)处理的全参照帧的数量以下的情况下，在步骤SP30’中由全分辨率解码。否则，在步骤SP30’中由降低分辨率解码。之后，将解码图像数据存储在步骤SP50’的缩小尺寸帧缓冲器中。将该解码图像发送到视频显示器子***(步骤SP40)，视频显示器子***为了显示目的，必要时将获取的数据向上变换为正确的分辨率。

替代简易实施方式中使用的视频缓冲器(步骤SP10’)

就图42的替代简易实施方式而言，步骤SP10’的视频缓冲器尺寸是现有解码器需要的视频缓冲器尺寸以下。这是因为为了决定是以全分辨率解码还是以降低分辨率解码，执行语法解析的参数可在主解码循环内执行。在解码具有上位层参数中定义的参数集的图片之前，由于仅句法解析该上位层参数，所以不需要预读句法解析。但是，该替代简易实施方式由于不会为了对每个帧决定需要的帧数量而检查影响DPB操作的下位层参数，所以与完全的实施方式相比效果不佳。例如，上位层参数也可表示最大限度使用4个参照帧。但是，在帧解码中，使用的参照帧的实际数量在大部分图片的情况下也可以仅为2帧。

缩小尺寸帧缓冲器(步骤SP50’)

缩小尺寸帧缓冲器的尺寸实质上与步骤SP50中为了替代简易实施方式而定义的尺寸相同。但是，帧缓冲器DPB管理由于对上位参数层(H.264时为序列参数集)中定义的图片、以全分辨率或缩小尺寸存储帧，所以比步骤SP50的管理更简化。

替代简易实施方式的全分辨率/降低分辨率的解码器(步骤SP30’)

参照图44，步骤SP30’的操作在不使用预分析器来决定步骤SP30中的解码中帧的分辨率方面与步骤SP30不同。

参照图44。视频位流从位流缓冲器(SP10’)发送到语法解析熵解码部件(步骤SP304’)。在熵解码中，可执行CAVLD或CABAC之一。在步骤SP304’中，为了决定上位层参数(H.264时为SPS)中定义的图片的解码模式，执行步骤SP200、步骤SP220、步骤SP270和步骤SP280(图43)。这里，为了决定位流序列所使用的参照帧的数量，仅对上位层参数进行语法解析。逆量化器连接于语法解析熵解码部件，对熵解码系数进行逆量化(步骤SP305)。帧缓冲器(SP50)存储步骤SP20决定的分辨率的视频图片。赋予各帧的分辨率是预定的向下变换率或全分辨率。就以降低分辨率解码的图像而言，图像数据在步骤SP50中以降低分辨率的向下样本图像的形式或以压缩格式存储。全分辨率图像以其最初的形式存储(步骤SP50)。若MC中使用的参照帧是降低分辨率，则向下变换后的视频像素由向上转换器取得，在步骤SP310中，为了生成运动补偿(MC)部件使用的全分辨率的像素而重构(图像的向上采样或压缩数据的扩展根据使用的向下变换模式执行)。此外，获取参照帧，原样提供给MC部。数据经位于MC输入的数据选择器提供给MC部件。若参照帧为降低分辨率，则选择向上变换后的图像用于MC输入，否则，将从帧缓冲器(步骤SP50)获取的图像数据原样选择用于MC输入。MC部件为了根据解码参数得到预测像素，根据全分辨率的像素进行图像预测(步骤SP314)。IDCT模块接收逆量化系数，为了得到变换像素，变换这些系数(SP306)。必要时，使用邻近块的数据进行帧内预测(步骤SP308)。在存在帧内预测值的情况下，为了得到预测像素值，与运动补偿后的像素相加(步骤SP309)。之后，为了得到再构成像素，将变换像素和预测像素合并计算(步骤SP309)。为了得到最终的重构像素，必要时执行解块滤波处理(SP318)。根据步骤SP280，若解码中帧的分辨率为降低分辨率，则由压缩器或图像向下采样器向下变换再构成像素(步骤SP312)，存储在帧缓冲器中。若解码中帧的分辨率为全分辨率，则将再构成像素原样存储在帧缓冲器中。若解码对象图片为全分辨率，则存在于对缩小帧缓冲器的输入中的数据选择器选择全分辨率数据，否则，选择向下变换图像数据。

上位参数层的检查(步骤SP200、步骤SP220、步骤SP270、步骤SP280)

参照图43。这里，为了确认步骤SP200中缩小DPB的操作可能性，检查使用的参照帧的数量。在H.264中，序列参数集(SPS)内的‘num_ref_frame’场表示下一SPS之前用于图片解码的参照帧的数量。若使用的参照帧的数量为缩小DPB帧存储器可以全分辨率保持的数量以下，则分配全分辨率解码模式(步骤SP220)，之后由解码器和显示器子***据此更新用于视频解码和存储器管理中的帧分辨率列表(步骤SP280)。在步骤SP220中缩小DPB的充足性检查为false的情况下，分配降低分辨率解码模式(步骤SP270)。因此，更新帧分辨率列表(步骤SP280)。

表1中示出具有全分辨率的2个参照帧的缩小尺寸缓冲器的示例视频解码器中使用的解码对象图片的分辨率赋予。

[表9]

表9  尺寸＝全分辨率的2个全帧、即缩小帧缓冲器中使用的示例解码分辨率

在步骤SP200中，若使用的参照帧的数量为4，则由于其超过缩小尺寸帧缓冲器处理的参照帧的数量，则为了帧缓冲器能存储4个降低分辨率图像数据，将解码分辨率赋予降低分辨率，并且将解码图像向下变换为全分辨率的一半。另一方面，若使用的参照帧的数量为2以下，则分配缩小尺寸帧缓冲器以全分辨率存储参照帧的全解码模式。

本发明的示例LSI

伴随预分析器的示例***LSI

可将示例实施方式中的装置和处理实现为例如图45中概略示出的***LSI(虚线包围的功能超出本申请的范围，不过为了使说明完整而提示，因此只是简要地记载。)。

该***LSI如下所示包含用于将输入压缩视频流传送到对外部存储器的视频缓冲器设计的域的***设备。即：预分析器，根据缩小DPB充足性检查，对各图片决定并分配视频解码模式(全分辨率解码模式或降低分辨率解码模式)；提供关联帧的解码信息的图片解码模式和图片地址缓冲器；以由该预分析器赋予的分辨率解码压缩HDTV视频数据的视频解码器LSI；存储解码参照图片和输入视频流的缩小存储器容量外部存储器；必要时将向下样本数据缩放到期望分辨率的AV I/O部；和存储器控制器，根据图片解码模式和图片地址缓冲器内的信息，控制视频解码器、AV I/O部与外部数据存储器间的数据访问。

输入压缩视频流和音频流从外部源经由***接口部提供给解码器(步骤SP630)。作为外部源的一例，包含SD卡、硬盘驱动器、DVD、蓝光盘(BD)、调谐器、IEEE1394防火墙、或可经由***设备相互连结(PCI)总线连接于该***接口的其他全部源。

该流控制器实现以下两个主要功能。即，i)为了音频解码器和视频解码器使用而对音频流与视频流逆多路复用(步骤SP603)功能、与ii)对从***设备向根据解码标准具备视频缓冲器专用存储空间的外部存储器(DRAM)(步骤SP616)取得输入流进行规范的功能。在H.264标准中，配置和去除位流的一部分的步骤记载于附录C.1.1和C.1.2中。视频缓冲器专用的存储空间需要适合于解码标准的视频缓冲器要件。例如，H.264等级4.0的最大编码图片缓冲器尺寸(CPB)是30000000位(3750000字节)。等级4.0用于HDTV。

如主要实施方式所述，为了使解码器具备预读预备解析用的追加缓冲器，增加视频缓冲器的容量。H.264等级4.0的最大视频位速率为24Mbps，为了实现追加的0.333s的预读预备解析，还需要追加约8M位(1000000字节)的视频缓冲器存储量。这种位速率的1帧平均是800000位，10帧平均是8000000位。流控制器根据解码标准取得输入流。但是，流控制器在从打算的去除时刻延迟0.333s的时刻，从视频缓冲器去除流。这是因为实际解码需要延迟0.333s，以便预分析器可在实际解码开始前收集更多的涉及各帧解码模式的信息。

除存储最大视频缓冲器外，外部DRAM还存储DPB。H.264等级4.0的最大DPB尺寸为12582912字节。与2048×1024像素的图片用工作缓冲器一起，为了存储帧存储器，外部存储器共计需要15727872字节。外部存储器可用于存储同位置MB MC中使用的运动矢量信息等其他解码参数。

在LSI的设计中，视频缓冲器尺寸的增大量需要比使用缩小DPB所实现的存储器量的减少量小很多。H.264等级4.0的DPB可存储4个全分辨率帧。在削减DPB容量直到可处理的全分辨率帧的数量仅为2个的缩小存储器设计中，帧存储器容量是3个全分辨率帧(DPB中2个，工作缓冲器中一个)。当DPB需要4个参照帧时，这4个帧始终以半分辨率(进行4→2向下采样)存储。帧存储器仅需处理全分辨率的5帧中的3帧，所以可实现帧存储器存储量的40％(6291456字节)削减。存储器的削减量比在先说明的视频缓冲器尺寸的增大量(1000000字节)大得多，可使视频缓冲器的增大正当化。

为了实现更好的画质，解码器通过以较小的比率缩小DPB尺寸，可牺牲DPB用帧存储器存储量削减。例如，设计DPB，以处理3个而非4个DPB内的全分辨率帧，可将帧存储器存储量(3145728字节)的削减量减少20％。缩小帧存储器可存储5个全分辨率帧存储量中的4个。当缩小DPB中需要4帧时，帧存储器始终以25％降低分辨率(进行4→3向下采样)存储4帧。存储器的削减量为3245728字节，可知比视频缓冲器尺寸的增大量(1000000字节)大得多。

预分析器(步骤SP601)为了决定各帧的解码模式(全分辨率或降低分辨率)，对视频缓冲器中存储的位流进行语法解析。预分析器在通过增大缓冲器尺寸得到的时间余裕实际解码位流之前，在DTS启动。位流的实际解码以与该增大视频缓冲器得到的时间余裕相同的量从DTS延迟。预分析器对AVC的序列参数集(SPS)等的上位层信息进行语法解析。使用的参照帧的数量(H.264的num_ref_frames)为缩小DPB处理的全参照帧的数量以下时，将基于该SPS的帧的解码模式设定为全解码，据此，更新视频解码和存储器管理中使用的图片分辨率列表(步骤SP602)。若使用的参照帧的数量比缩小DPB以全分辨率处理的数量大，则为了决定全分辨率解码模式是否可分配给特定帧的处理，调查下位语法信息(AVC的情况为片层)。为了避免不必要的视觉失真，只要可能，始终选择全分辨率解码。预分析器保证i)全DPB与缩小DPB的参照列表使用法相同，ii)在将全分辨率解码模式分配给图片之前，该图片级显示器正确。否则，分配降低分辨率解码模式。随之，更新图片分辨率列表。

语法解析熵解码部件根据伴随预备解析用固定延迟的DTS，从指定给视频缓冲器的外部存储器存储空间获取输入压缩视频(步骤SP604)。对解码器的参数进行语法解析。熵解码中包含H.264解码器使用的上下文适用型可变长度解码(CAVLD)或上下文适用型算术编码(CABAC)。逆量化器之后对熵解码系数进行逆量化(步骤SP605)。之后，执行全分辨率逆变换(步骤SP606)。

常用的外部存储器是双数据速率(DDR)同步动态随机存取存储器(SDRAM)。由LSI电路内的缓冲器或局部存储器与外部存储器间进行直接存储器访问(DMA)的存储器控制器来控制对存储器缓冲器的读取、写入访问(步骤SP615)。

在运动补偿(SP614)中，通过读取图片分辨率列表内的信息，得到使用的参照帧的分辨率。若参照帧解码模式是降低分辨率，则存储器控制器(步骤SP615)从外部存储器(步骤SP616)获取关联的像素数据，使用提供给图片解码模式和地址缓冲器的该参照图片的运动矢量和开始地址，将这些数据提供给向上采样部件(步骤SP610)的缓冲器。之后，为了根据步骤SP310说明的处理来生成逆运动补偿部件使用的向上采样像素，进行向上采样。该向上采样处理使用嵌入的高次系数信息。若参照帧解码模式是全分辨率，则存储器控制器(步骤SP615)从外部存储器获取关联的像素数据，将这些数据提供给运动补偿部(步骤SP614)的缓冲器。

运动补偿部为了得到预测像素，执行全分辨率的图像预测。逆离散余弦变换部件接收逆量化系数，为了得到变换像素，变换这些系数。在存在帧内预测块的情况下，使用来自邻接块的数据，进行帧内预测(步骤SP608)。在存在帧内预测值的情况下，为了得到预测像素值，与逆运动补偿像素相加(步骤SP609)。之后，为了得到重构像素，将变换像素和预测像素合并计算(步骤SP609)。解块滤波处理为了得到最终的重构像素在必要时进行(步骤SP618)。相对当前解码中图片解码模式和图片地址缓冲器来检查该图片的图片解码模式。若该图片的图片解码模式为降低分辨率，则伴随向向下样本数据嵌入高次变换系数，进行向下采样(步骤SP612)。向下采样部件在优选实施方式的步骤SP312中说明。具有嵌入降低分辨率数据中的高次系数信息的向下样本数据之后经由存储器控制器(步骤SP615)传送到外部存储器(步骤SP616)。若该解码对象图片的图片解码模式为全分辨率，则跳过向下采样部件(SP612)，将全分辨率的重构图像数据经由存储器控制器(步骤SP615)发送到外部存储器(步骤SP616)。

AV I/O(步骤SP620)读出图片分辨率列表内的信息。显示对象图片的图像数据以解码编解码器所示的显示顺序，从外部存储器(步骤SP616)经由存储器控制器(步骤SP615)发送到AV I/O的输入缓冲器。之后，AV I/O部(根据图片解码模式)必要时向上变换为期望的分辨率，与音频输出同步输出视频数据。该降低分辨率数据由于不使降低分辨率的视觉内容产生失真地加入空间水印，所以该***向上采样降低分辨率图片时所需的仅为一般的AVI/O按比例增加功能。

本发明以图片等级避免存储帧解码不需要的参照帧，以缩小存储器视频解码器实现良好的视觉品质，所以可能时始终执行全分辨率解码。在使用降低分辨率处理的情况下，本发明通过嵌入降低分辨率数据内的高次逆变换系数，保证将降低分辨率中的错误传输削减到最小限度。这是因为嵌入处理以保证信息增益始终比信息损失多的方法来进行。

不使用预分析器的替代简易示例的***LSI

图46中说明不使用预分析器的替代示例的***LSI的实施方式。在本实施方式中，代替使用预分析器，而语法解析熵解码部件(步骤SP604’)向图片分辨率列表(步骤SP602’)提供图片解码分辨率。在步骤SP604’中，为了确认使用的参照帧数量，检查上位参数层。在H.264解码器中，在SPS层来检查‘num_ref_frame’场。在该替代的示例实施方式中，跳过步骤SP240(下位层缩小DPB充足性检查)和步骤SP260。该替代***是不需要具备预分析器的简易实施方式。但是，在该***中，由于仅调查上位层参数，所以本发明的效果受损。

以上使用上述实施方式1-6和其变形例来说明根据本发明的图像处理装置，但本发明不限于此。例如，本发明也可在不矛盾的范围内任意组合上述实施方式1-6及其变形例的技术内容，也可对上述实施方式1-6进行各种变更。

例如，在上述实施方式2-5中，嵌入缩小处理部107和提取扩大处理部109使用离散余弦变换(DCT)，但也可使用傅立叶变换(DFT)、阿达玛变换、卡亨南-洛维变换(KLT)或勒让德变换等其他变换。

另外，在实施方式2的变形例中，根据SPS中包含的参照帧数量，以序列单位来切换第1处理模式与第2处理模式，但也可根据其他信息来切换，或以其他单位(例如图片单位等)来切换。

另外，实施方式1-6及其变形例中的各装置具体地是由微处理器、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机访问存储器)、硬盘单元、显示器单元、键盘、或鼠标等构成的计算机***。在该RAM或硬盘单元中存储计算机程序。该微处理器根据计算机程序动作，从而各装置可实现其功能。这里，计算机程序为了实现规定功能，将多个表示对计算机的指令的命令代码组合来构成。

另外，构成实施方式1-6及其变形例中各装置的构成要素的一部分或全部也可由一个***LSI(Large Scale Integration：大规模集成电路)构成。***LSI是将多个构成部集成在一个芯片上制造的超多功能LSI，具体而言，是包含微处理器、RAM、ROM等构成的计算机***。在该RAM中存储计算机程序。微处理器根据计算机程序动作，由此***LSI实现其功能。另外，这里称为***LSI，但也可根据集成度的不同，称为IC、LSI、超(super)LSI、超级(ultra)LSI。另外，集成电路化的方法不限于LSI，也可由专用电路或通用处理器来实现。另外，也可在LSI制造之后，利用可编程的FPGA(Field Programmalbe Gate Array，场可编程门阵列)、或可再构成LSI内部的电路单元的连接或设定的可重构处理器。

并且，若因半导体技术的进步或派生的其他技术出现置换LSI的集成电路化技术，则当然也可使用该技术来进行构成要素的集成化。可适应生命技术等。

另外，构成实施方式1-6及其变形例中各装置的构成要素的一部分或全部也可由可拆装于各装置上的IC卡或单体模块构成。该IC卡或模块是由微处理器、ROM、RAM等构成的计算机***。IC卡或模块也可包含上述超多功能LSI。微处理器根据计算机程序动作，从而IC卡或模块实现其功能。该IC卡或该模块也可具有耐篡改性。

另外，本发明也可是上述所示的方法。另外，也可是由计算机实现这些方法的计算机程序，或是由该计算机程序构成的数字信号。

另外，本发明也可将计算机程序或数字信号记录在计算机可读取记录媒体、例如软盘、硬盘、CD-ROM(Compact Disk Read Only Memory)、MO(Magneto-Optical disk(disc))、DVD(Digital Versatile Disc)、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、或半导体存储器等中。另外，也可是记录在这些记录媒体中的数字信号。

另外，本发明也可经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等来传送计算机程序或数字信号。

另外，本发明也可以是具备微处理器与存储器的计算机***，存储器存储该计算机程序，微处理器根据该计算机程序动作。

另外，也可通过将程序或数字信号记录在记录媒体中转送，或通过将程序或数字信号经由网络等转送，由独立的其他计算机***来实施。

产业上的可利用性

本发明的图像处理装置可实现防止画质恶化、抑制帧存储器需要的带域和容量的效果，例如可适用于个人计算机或DVD/BD播放器、电视机等。

符号说明

100    图像解码装置

101    语法解析熵解码部

102    逆量化部

103    逆频率变换部

104    帧内预测部

105    加法部

106    解块滤波部

107    嵌入缩小处理部

108    帧存储器

109    提取扩大处理部

110    全分辨率运动补偿部

111    视频输出部

Claims (17)

1.一种图像处理装置，依次处理多个输入图像，具备：

选择部，按至少一个输入图像切换并选择第1处理模式与第2处理模式；

帧存储器；

存储部，在所述选择部选择了所述第1处理模式时，删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像，并将缩小的所述输入图像作为缩小图像存储在所述帧存储器中，在所述选择部选择了所述第2处理模式时，不缩小所述输入图像，而将该输入图像存储在所述帧存储器中；以及

读出部，在所述选择部选择了所述第1处理模式时，从所述帧存储器中读出并扩大所述缩小图像，在所述选择部选择了所述第2处理模式时，从所述帧存储器中读出未缩小的所述输入图像。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备解码部，该解码部将所述读出部读出并扩大的缩小图像、或所述读出部读出的输入图像作为参照图像来参照，对位流中包含的编码图像进行解码，由此生成解码图像，

所述存储部将所述解码部生成的解码图像作为输入图像处理，由此，当选择了所述第1处理模式时，缩小所述解码图像，并将缩小的所述解码图像作为所述缩小图像存储在所述帧存储器中，当选择了所述第2处理模式时，不缩小所述解码部生成的解码图像，而将该解码图像存储在所述帧存储器中，

所述选择部根据所述位流中包含的涉及所述参照图像的信息，选择第1处理模式或第2处理模式。

3.根据权利要求2所述的图像处理装置，其中，

所述存储部在将缩小图像存储在所述帧存储器中时，将表示所述缩小图像的像素值的数据的一部分置换为表示被删除的频率的信息的至少一部分的嵌入数据，

所述读出部在扩大所述缩小图像时，从所述缩小图像中提取所述嵌入数据，根据所述嵌入数据恢复所述频率的信息，向被提取了所述嵌入数据的缩小图像附加所述频率的信息，由此扩大所述缩小图像。

4.根据权利要求3所述的图像处理装置，其中，

所述存储部在缩小所述输入图像时，在水平方向缩小所述输入图像，由此减少所述输入图像的水平方向的像素数量，

所述读出部在扩大所述缩小图像时，在水平方向扩大所述参照图像，由此增加所述缩小图像的水平方向的像素数量。

5.根据权利要求3或4所述的图像处理装置，其中，

所述存储部将表示所述缩小图像的像素值的数据之中的、至少包含最低有效位的一个或多个位所示的值置换为所述嵌入数据。

6.根据权利要求3～5中某一项所述的图像处理装置，其中，

所述存储部具备：

第1正交变换部，将表示所述输入图像的域从像素域变换至频域；

删除部，从所述频域的输入图像中，将预定的高频成分作为所述频率的信息删除；

第1逆正交变换部，将表示被删除了所述高频成分的输入图像的域从频域变换为像素域；以及

嵌入部，将表示由所述第1逆正交变换部变换的输入图像的像素值的数据的一部分，置换为表示被删除的所述高频成分的至少一部分的所述嵌入数据。

7.根据权利要求6所述的图像处理装置，其中，

所述读出部具备：

提取部，提取所述缩小图像中包含的所述嵌入数据；

恢复部，根据提取出的所述嵌入数据，恢复所述高频成分；

第2正交变换部，将表示被提取了所述嵌入数据的缩小图像的域从像素域变换至频域；

附加部，向所述频域的缩小图像附加所述高频成分；以及

第2逆正交变换部，将表示被附加了所述高频成分的缩小图像的域从频域变换为像素域。

8.根据权利要求7所述的图像处理装置，其中，

所述存储部还具备编码部，该编码部对所述删除部删除的所述高频成分进行可变长度编码，由此生成所述嵌入数据，

所述恢复部对所述嵌入数据进行可变长度解码，由此根据所述嵌入数据恢复所述高频成分。

9.根据权利要求7所述的图像处理装置，其中，

所述存储部还具备量化部，该量化部对所述删除部删除的所述高频成分进行量化，由此生成所述嵌入数据，

所述恢复部对所述嵌入数据进行逆量化，由此根据所述嵌入数据恢复所述高频成分。

10.根据权利要求7所述的图像处理装置，其中，

所述提取部提取由表示所述缩小图像的像素值的位串构成的数据之中的、至少一个规定位所示的所述嵌入数据，将被提取了所述嵌入数据的像素值，设定为所述位串根据所述至少一个规定位的值而可能取的值的范围的中央值，

所述第2正交变换部将具有设定为所述中央值的像素值的缩小图像的域从像素域变换至频域。

11.根据权利要求3～10所述的图像处理装置，其中，

所述存储部根据所述缩小图像，判别是否应置换为所述嵌入数据，在判别为应置换的情况下，将表示所述缩小图像的像素值的数据的一部分置换为所述嵌入数据，

所述读出部根据所述缩小图像，判别是否应提取所述嵌入数据，在判别为应提取的情况下，从所述缩小图像中提取所述嵌入数据，向被提取了所述嵌入数据的缩小图像附加所述频率的信息。

12.根据权利要求7所述的图像处理装置，其中，

所述第1正交变换部和第2正交变换部通过对图像进行离散余弦变换，将表示所述图像的域从像素域变换至频域，

所述第1逆正交变换部和第2逆正交变换部通过对图像进行逆离散余弦变换，将表示所述图像的域从频域变换为像素域。

13.根据权利要求12所述的图像处理装置，其中，

所述离散余弦变换和所述逆离散余弦变换的变换对象尺寸为4×4尺寸。

14.根据权利要求3～13中某一项所述的图像处理装置，其中，

所述解码部具备：

逆频率变换部，对所述编码图像进行逆频率变换，由此生成差分图像；

运动补偿部，参照所述参照图像进行运动补偿，由此生成所述编码图像的预测图像；以及

加法部，将所述差分图像与所述预测图像相加，由此生成所述解码图像。

15.一种图像处理方法，依次处理多个输入图像，其中，

按至少一个输入图像切换并选择第1处理模式与第2处理模式；

在选择了所述第1处理模式时，删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像，并将缩小的所述输入图像作为缩小图像存储在帧存储器中，在所述选择部选择了所述第2处理模式时，不缩小所述输入图像，而将该输入图像存储在所述帧存储器中；

在选择了所述第1处理模式时，从所述帧存储器中读出并扩大所述缩小图像，在选择了所述第2处理模式时，从所述帧存储器中读出未缩小的所述输入图像。

16.一种程序，用于依次处理多个输入图像，使计算机执行：

按至少一个输入图像切换并选择第1处理模式与第2处理模式；

在选择了所述第1处理模式时，删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像，并将缩小的所述输入图像作为缩小图像存储在帧存储器中，在所述选择部选择了所述第2处理模式时，不缩小所述输入图像，而将该输入图像存储在所述帧存储器中；

在选择了所述第1处理模式时，从所述帧存储器中读出并扩大所述缩小图像，在选择了所述第2处理模式时，从所述帧存储器中读出未缩小的所述输入图像。

17.一种集成电路，依次处理多个输入图像，具备：

选择部，按至少一个输入图像切换并选择第1处理模式与第2处理模式；

存储部，在所述选择部选择了所述第1处理模式时，删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像，并将缩小的所述输入图像作为缩小图像存储在帧存储器中，在所述选择部选择了所述第2处理模式时，不缩小所述输入图像，而将该输入图像存储在所述帧存储器中；以及

读出部，在所述选择部选择了所述第1处理模式时，从所述帧存储器中读出并扩大所述缩小图像，在所述选择部选择了所述第2处理模式时，从所述帧存储器中读出未缩小的所述输入图像。

Images