JP4788465B2 - Decoding device, decoding method and program - Google Patents

Description

本発明は、符号化処理により生成された符号データを復号化する復号化装置に関する。特に、本発明は、データの量子化を伴う符号化処理により生成された符号データを、逆量子化を行うことにより復号化する復号化装置に関する。   The present invention relates to a decoding device that decodes code data generated by an encoding process. In particular, the present invention relates to a decoding apparatus that decodes code data generated by an encoding process involving data quantization by performing inverse quantization.

例えば、特許文献１には、復号画像のブロック境界をなめらかに接続するように、ブロック境界付近の一部の画素を予測し、予測された画素から変換係数の一部を予測し、得られた変換係数を逆直交変換することにより、ブロック内全体の画素の補償を行う方法が開示されている。
また、特許文献２には、ブロック内の各量子化変換係数から変換係数のブロックを生成し、これらの変換係数に逆変換演算を適用して画像を復元し、ブロック毎にフィルタ閾値を適応的に選択して、画像をスムージングフィルタで反復的にフィルタ処理し、新しい変換係数の各ブロックを元の変換係数のブロックと比較して原稿画像からフィルタ処理した復元画像が導出可能かを決定する方法が開示されている。
また、特許文献３には、復元画像中に複数のブロックを設け、離散的コサイン変換値から最初の量子化区間を決定し、低域フィルタ処理によってそれぞれのブロックを平滑化し、それぞれのブロック内の画素上で離散的コサイン変換を行い、離散的コサイン変換により生成された離散的コサイン変換係数が量子化区間内にあるよう、離散的コサイン変換によって生成された変換係数を射影し、逆離散的コサイン変換を行って復元画像を生成する技術が開示されている。
また、非特許文献１には、ＪＰＥＧ等のブロック単位変換符号化によって歪んだ画像の画質を改善する方法が開示されている。
また、非特許文献２には、復号された画像データにローパスフィルタを掛けてブロック歪みを抑制し、このローパスフィルタによる画質劣化を抑制するために、再度ＤＣＴを掛けて、ＤＣＴ係数値が元の量子化区間におさまっているかを確認する技術が開示されている。
特開平３−２８３７８５号公報 特開平７−１５４６０４号公報 特開平７−１７０５１８号公報 柴田他、「量子化誤差を考慮したブロック歪除去方式」1990年画像符号化シンポジウム（PCSJ90）,pp.67-70 A.Zakhor, Iterative procedures for reduction of blocking effects in transform image coding, IEEE Trans Circuits & Syst Video Technol., vol2, no.1, pp.91-95, March1992 For example, Patent Document 1 is obtained by predicting some pixels in the vicinity of a block boundary so as to smoothly connect the block boundary of the decoded image, and predicting a part of the transform coefficient from the predicted pixel. A method is disclosed in which pixels in the entire block are compensated by performing inverse orthogonal transform on transform coefficients.
In Patent Document 2, a block of transform coefficients is generated from each quantized transform coefficient in a block, an inverse transform operation is applied to these transform coefficients, an image is restored, and a filter threshold value is adaptively applied to each block. To determine whether it is possible to derive a restored image filtered from the original image by iteratively filtering the image with a smoothing filter and comparing each block of new transform coefficients with the original transform coefficient block Is disclosed.
In Patent Document 3, a plurality of blocks are provided in a restored image, the first quantization interval is determined from the discrete cosine transform value, each block is smoothed by low-pass filter processing, Perform discrete cosine transform on the pixel, project the transform coefficient generated by the discrete cosine transform so that the discrete cosine transform coefficient generated by the discrete cosine transform is within the quantization interval, and inverse discrete cosine A technique for generating a restored image by performing conversion is disclosed.
Non-Patent Document 1 discloses a method for improving the image quality of an image distorted by block unit transform encoding such as JPEG.
In Non-Patent Document 2, the decoded image data is subjected to a low-pass filter to suppress block distortion, and in order to suppress image quality deterioration due to the low-pass filter, DCT is applied again to obtain the original DCT coefficient value. A technique for confirming whether or not the quantization interval is satisfied is disclosed.
JP-A-3-283785 JP 7-154604 A JP-A-7-170518 Shibata et al., "Block distortion elimination method considering quantization error" 1990 Image Coding Symposium (PCSJ90), pp.67-70 A. Zakhor, Iterative procedures for reduction of blocking effects in transform image coding, IEEE Trans Circuits & Syst Video Technol., Vol2, no.1, pp.91-95, March1992

本発明は、上述した背景からなされたものであり、比較的軽い処理負荷で、画質劣化の少ない復号画像を生成する復号化装置を提供することを目的とする。   The present invention has been made from the above-described background, and an object thereof is to provide a decoding apparatus that generates a decoded image with a relatively light processing load and with little image quality deterioration.

［復号化装置］
上記目的を達成するために、本発明にかかる復号化装置は、入力された変換係数の少なくとも一部を逆変換して、画像情報を生成する第１の逆変換手段と、前記第１の逆変換手段により生成された画像情報に基づいて、変換係数の補正量を決定する補正量決定手段と、前記補正量決定手段により決定された補正量に応じて、入力された前記変換係数を補正する係数補正手段と、前記係数補正手段により補正された変換係数を逆変換する第２の逆変換手段とを有する。 [Decryption device]
In order to achieve the above object, a decoding apparatus according to the present invention includes a first inverse transform unit that inversely transforms at least a part of input transform coefficients to generate image information, and the first inverse transform. Based on the image information generated by the conversion means, a correction amount determination means for determining the correction amount of the conversion coefficient, and the input conversion coefficient is corrected according to the correction amount determined by the correction amount determination means. Coefficient correction means, and second inverse conversion means for inversely converting the conversion coefficient corrected by the coefficient correction means.

好適には、前記第１の逆変換手段は、入力された変換係数の一部のみを逆変換して、一部の画像情報を生成し、前記補正量決定手段は、生成された一部の画像情報に基づいて、前記補正量を決定する。   Preferably, the first inverse transform unit inversely transforms only a part of the input transform coefficients to generate a part of the image information, and the correction amount determination unit includes the part of the generated part. The correction amount is determined based on image information.

好適には、前記第１の逆変換手段は、入力された変換係数のうち、低周波側の変換係数を抽出し、抽出された変換係数のみを逆変換する。   Preferably, the first inverse conversion unit extracts a low-frequency conversion coefficient from the input conversion coefficients, and performs inverse conversion only on the extracted conversion coefficient.

好適には、前記第１の逆変換手段により生成された画像情報に対して、フィルタリングを行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタリングされた画像情報に対して、直交変換を行って、一部の画像情報に関する変換係数を生成する部分変換手段とをさらに有し、前記補正量決定手段は、前記部分変換手段により生成された一部の画像情報に関する変換係数に基づいて、前記補正量を決定する。   Preferably, the image information generated by the first inverse transform unit is subjected to filtering processing means for performing filtering, and the image information filtered by the filter processing means is subjected to orthogonal transformation, and A partial conversion unit that generates a conversion coefficient related to the image information of a portion, and the correction amount determination unit calculates the correction amount based on the conversion coefficient related to a part of the image information generated by the partial conversion unit. decide.

好適には、入力される変換係数は、画像をブロック単位で直交変換したものであり、前記第１の逆変換手段は、ブロックの周縁部の画素値に相当する変換係数を逆変換し、前記フィルタ処理手段は、逆変換されたブロック周縁部の画素値に対して、直交変換を行う。   Preferably, the input transform coefficient is obtained by orthogonally transforming an image in units of blocks, and the first inverse transform unit inversely transforms a transform coefficient corresponding to a pixel value at a peripheral portion of the block, and The filter processing means performs orthogonal transformation on the pixel values at the block peripheral portion subjected to inverse transformation.

また、本発明にかかる復号化装置は、既定の反復処理により画像情報に対する補正量を決定する復号化装置であって、前記反復処理の一部として、第１の空間に属する画像情報に対して第１の補正処理を行う第１の補正手段と、前記第１の補正手段により補正された画像情報の一部に対して直交変換を行い、第２の空間に属する画像情報に生成する部分変換手段と、前記反復処理の一部として、前記部分変換手段により生成された第２の空間の画像情報に対して第２の補正処理を行う第２の補正手段と、前記第２の補正手段により補正された画像情報の少なくとも一部に対して直交変換を行い、第１の空間に属する画像情報を生成する部分逆変換手段と、前記部分逆変換手段により生成される画像情報に基づいて、前記反復処理を終了するか否かを判定する終了判定手段とを有する。   The decoding device according to the present invention is a decoding device that determines a correction amount for image information by a predetermined iterative process, and as a part of the iterative process, for the image information belonging to the first space. A first correction unit that performs a first correction process; and a partial conversion that performs orthogonal transformation on a part of the image information corrected by the first correction unit and generates image information belonging to the second space. And a second correction unit that performs a second correction process on the image information of the second space generated by the partial conversion unit as a part of the iterative process, and the second correction unit. Based on the image information generated by the partial inverse transform unit that performs orthogonal transform on at least a part of the corrected image information and generates image information belonging to the first space, the image information generated by the partial inverse transform unit, Whether to end the iteration And a determining end determination means for determining.

好適には、前記第１の空間は、画像が画素値で表現される空間であり、前記第２の空間は、画像が周波数成分で表現される空間であり、前記第１の補正手段は、前記画像情報に対してローパスフィルタを掛け、前記第２の補正手段は、各周波数成分の変換係数が既定の数値範囲におさまるように、前記画像情報を補正する。   Preferably, the first space is a space in which an image is represented by a pixel value, the second space is a space in which the image is represented by a frequency component, and the first correction unit includes: A low-pass filter is applied to the image information, and the second correction unit corrects the image information so that the conversion coefficient of each frequency component falls within a predetermined numerical range.

好適には、前記部分変換手段は、画素値を変換係数に変換する変換行列の部分行列を用いて、前記画像情報の一部を直交変換し、前記部分逆変換手段は、変換係数を画素値に変換する逆変換行列の部分行列を用いて、前記画像情報を直交変換する。   Preferably, the partial conversion means orthogonally transforms a part of the image information using a partial matrix of a conversion matrix for converting pixel values into conversion coefficients, and the partial inverse conversion means converts the conversion coefficients into pixel values. The image information is orthogonally transformed using a partial matrix of an inverse transformation matrix to be transformed into.

［復号化方法］
また、本発明にかかる復号化方法は、入力された変換係数の少なくとも一部を逆変換して、画像情報を生成し、生成された前記画像情報に基づいて、変換係数の補正量を決定し、決定された前記補正量に応じて、入力された前記変換係数を補正し、補正された前記変換係数を逆変換する。 [Decryption method]
In the decoding method according to the present invention, image information is generated by inversely transforming at least a part of the input transform coefficient, and a correction amount of the transform coefficient is determined based on the generated image information. The input conversion coefficient is corrected in accordance with the determined correction amount, and the corrected conversion coefficient is inversely converted.

［プログラム］
また、本発明にかかるプログラムは、入力された変換係数の少なくとも一部を逆変換して、画像情報を生成するステップと、生成された前記画像情報に基づいて、変換係数の補正量を決定するステップと、決定された前記補正量に応じて、入力された前記変換係数を補正するステップと、補正された前記変換係数を逆変換するステップとをコンピュータに実行させる。 [program]
Further, the program according to the present invention reversely transforms at least a part of the input conversion coefficient to generate image information, and determines a correction amount of the conversion coefficient based on the generated image information. The computer executes a step, a step of correcting the input conversion coefficient in accordance with the determined correction amount, and a step of inversely converting the corrected conversion coefficient.

本発明の復号化装置によれば、比較的軽い処理負荷で、復号画像をより高画質化することができる。   According to the decoding apparatus of the present invention, the decoded image can be improved in image quality with a relatively light processing load.

まず、本発明の理解を助けるために、その背景及び概略を説明する。
画像データなどは、データ量が膨大であるため、圧縮してデータ量を削減して保持、伝送等を行うことが一般的である。例えば、カラー原稿や写真を画像スキャナで電子化した場合に生成される多値画像データ、あるいは、ディジタルカメラで風景等の写真を撮った場合に生成される多値画像データは、ＪＰＥＧ、あるいは、ＪＰＥＧ２０００等の非可逆符号化方式で圧縮することにより、より小さなデータ量とすることができる。 First, in order to help understanding of the present invention, its background and outline will be described.
Since image data or the like has an enormous amount of data, it is common to compress, reduce, and hold, transmit, and the like. For example, multi-value image data generated when a color document or photograph is digitized by an image scanner, or multi-value image data generated when a photograph of a landscape or the like is taken with a digital camera is JPEG or By compressing with an irreversible encoding method such as JPEG2000, a smaller amount of data can be obtained.

これらの非可逆符号化を行った場合、符号化歪が発生することが問題となっている。特に、ＪＰＥＧ方式を適用する場合には、復号化された画像（復号画像）のＤＣＴ画像領域境界に発生するブロック歪（符号化歪）が問題となっている。   When such lossy encoding is performed, there is a problem that encoding distortion occurs. In particular, when the JPEG method is applied, block distortion (encoding distortion) generated at the DCT image region boundary of the decoded image (decoded image) is a problem.

このような符号化歪を補正処理により抑制する技術としては、特許文献１〜３、及び、非特許文献１〜２に開示されたものが存在する。
しかしながら、これらの技術は演算負荷が大きい。例えば、特許文献１又は非特許文献１に記載の技術は、逆変換処理（ＩＤＣＴ処理）を２度実施する必要があるため、処理負荷が大きい。また、特許文献２〜３、又は、非特許文献２に記載の技術は、変換処理（ＤＣＴ処理）及び逆変換処理（ＩＤＣＴ処理）が含まれた反復処理を繰り返して、収束演算を行うため、処理負荷が大きい。 As techniques for suppressing such coding distortion by correction processing, there are those disclosed in Patent Documents 1 to 3 and Non-Patent Documents 1 and 2.
However, these techniques have a heavy calculation load. For example, the technique described in Patent Document 1 or Non-Patent Document 1 requires a large processing load because it is necessary to perform the inverse conversion process (IDCT process) twice. In addition, the technique described in Patent Documents 2 to 3 or Non-Patent Document 2 performs a convergence operation by repeating an iterative process including a conversion process (DCT process) and an inverse conversion process (IDCT process). Processing load is heavy.

そこで、以下の実施形態における復号化装置２は、簡略化された変換処理、又は、簡略化された逆変換処理を適用することにより、補正処理に要する処理負荷を抑制する。   Therefore, the decoding device 2 in the following embodiment suppresses the processing load required for the correction process by applying a simplified conversion process or a simplified inverse conversion process.

［ハードウェア構成］
まず、本実施形態における復号化装置２のハードウェア構成を説明する。
図１は、本発明にかかる復号化方法が適応される復号化装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、復号化装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
復号化装置２は、例えば、復号化プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して符号データを取得し、取得された符号データを復号化してプリンタ装置１０に転送する。 [Hardware configuration]
First, the hardware configuration of the decoding device 2 in this embodiment will be described.
FIG. 1 is a diagram illustrating a hardware configuration of a decoding device 2 to which a decoding method according to the present invention is applied, centering on a control device 20.
As illustrated in FIG. 1, the decoding device 2 includes a control device 20 including a CPU 202 and a memory 204, a communication device 22, a recording device 24 such as an HDD / CD device, an LCD display device or a CRT display device, and a keyboard. A user interface device (UI device) 26 including a touch panel and the like is included.
The decoding device 2 is, for example, a general-purpose computer in which a decoding program 5 (described later) is installed. The decoding device 2 acquires code data via the communication device 22 or the recording device 24, and decodes the acquired code data. Transfer to the printer apparatus 10.

［復号化プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる復号化方法を実現する復号化プログラム５の機能構成を例示する図である。
図２に例示するように、復号化プログラム５は、エントロピ復号部５００、部分逆変換部５１０、フィルタ処理部５２０、部分変換部５３０、範囲保証部５４０、係数補正部５５０、及び全体逆変換部５６０を有する。
エントロピ復号部５００は、入力された符号データを、エントロピ復号化して、部分逆変換部５１０及び係数補正部５５０に出力する。 [Decryption program]
FIG. 2 is a diagram illustrating a functional configuration of the decryption program 5 that is executed by the control device 20 (FIG. 1) and implements the decryption method according to the present invention.
As illustrated in FIG. 2, the decoding program 5 includes an entropy decoding unit 500, a partial inverse transform unit 510, a filter processing unit 520, a partial transform unit 530, a range guarantee unit 540, a coefficient correction unit 550, and an overall inverse transform unit. 560.
The entropy decoding unit 500 performs entropy decoding on the input code data and outputs the result to the partial inverse transform unit 510 and the coefficient correction unit 550.

部分逆変換部５１０（第１の逆変換手段）は、エントロピ復号部５００から入力された変換係数（例えば、ＤＣＴ係数）の少なくとも一部を逆変換して、画像情報を生成し、生成された画像情報をフィルタ処理部５２０に出力する。
より具体的には、部分逆変換部５１０は、エントロピ復号部５００から入力されたＤＣＴ係数のうち、低周波側のＤＣＴ係数のみを逆変換する。
本例の部分逆変換部５１０は、以下の式（数１）を用いて、入力されたＤＣＴ係数を逆変換して、逆量子化値ｘ_３を算出る。なお、式の詳細は後述する。 The partial inverse transform unit 510 (first inverse transform unit) generates image information by performing inverse transform on at least a part of transform coefficients (for example, DCT coefficients) input from the entropy decoding unit 500 The image information is output to the filter processing unit 520.
More specifically, the partial inverse transform unit 510 inversely transforms only the DCT coefficient on the low frequency side among the DCT coefficients input from the entropy decoding unit 500.
Partial inverse transform unit 510 of this example, using the following equation (1), and inverse converting the inputted DCT coefficients, Ru calculates an inverse quantized value x _3. Details of the formula will be described later.

フィルタ処理部５２０は、ローパスフィルタを用いて、部分逆変換部５１０から入力された画像情報に対して、フィルタ処理を施し、フィルタ処理が施された画像情報を部分変換部５３０に出力する。フィルタ処理は、空間領域でブロック歪を軽減するものであればよい。
より具体的には、フィルタ処理部５２０は、直交変換処理（本例では、ＤＣＴ処理）の処理単位であるブロックの周縁部の画素についてのみ、フィルタ処理を施す。
本例のフィルタ処理部５２０は、以下の式（数２）を用いて、ローパスフィルタをかけた場合の画素値変化量ｅ_０'を算出する。ただし、ｘ０＝ｘ^ｏ _０＋ｅ_０ The filter processing unit 520 performs a filter process on the image information input from the partial inverse conversion unit 510 using a low-pass filter, and outputs the image information subjected to the filter process to the partial conversion unit 530. The filtering process only needs to reduce block distortion in the spatial domain.
More specifically, the filter processing unit 520 performs the filter process only on the pixels at the peripheral edge of the block, which is the processing unit of the orthogonal transform process (DCT process in this example).
The filter processing unit 520 of this example calculates the pixel value change amount e ₀ ′ when the low-pass filter is applied, using the following equation (Equation 2). ^{_{However, x0 = x o 0 + e}} 0

部分変換部５３０は、フィルタ処理部５２０によりフィルタ処理が施された画像情報を直交変換して、一部の画像情報に関する変換係数を生成し、生成された変換係数を範囲保証部５４０に出力する。
本例の部分変換部５３０は、以下の式（数３）を用いて、画素値変化量ｅ_０'を（以下の式では、ｅ_０）を、変換係数変化量ｄ_０に変換する。 The partial transform unit 530 performs orthogonal transform on the image information that has been subjected to the filter processing by the filter processing unit 520, generates transform coefficients related to some image information, and outputs the generated transform coefficients to the range guarantee unit 540. .
The partial conversion unit 530 of this example converts the pixel value change amount e ₀ ′ (in the following equation, e ₀ ) into a conversion coefficient change amount d ₀ using the following equation (Equation 3).

範囲保証部５４０は、部分変換部５３０から入力された変換係数に基づいて、エントロピ復号部５００により復号化された変換係数に対する補正量を決定し、決定された補正量を係数補正部５５０に出力する。
より具体的には、範囲保証部５４０は、フィルタ処理部５２０によりフィルタ処理が施された画像情報の変換係数が元の量子化区間（復号化された量子化インデクスに対応する量子化区間）におさまるように、変換係数の補正量を調整する。
本例の範囲保証部５４０は、以下の式（数４）を用いて、変換係数変化量ｄ_０に対して量子化範囲保証を行い、量子化範囲保証がなされた変換係数変化量ｄ_０'を算出する。 The range guarantee unit 540 determines a correction amount for the transform coefficient decoded by the entropy decoding unit 500 based on the transform coefficient input from the partial transform unit 530, and outputs the determined correction amount to the coefficient correction unit 550. To do.
More specifically, the range guarantee unit 540 includes the transform coefficient of the image information filtered by the filter processing unit 520 in the original quantization interval (quantization interval corresponding to the decoded quantization index). Adjust the correction amount of the conversion coefficient so that it falls.
Range Proof portion 540 of this example, using the following equation (4), the quantization range guarantees to transform coefficient change amount d _0, transform coefficient variation quantization range guarantee is made d ₀ ' Is calculated.

なお、量子化範囲保証を行う具体的な関数は以下である。

A specific function for guaranteeing the quantization range is as follows.

係数補正部５５０は、エントロピ復号部５００から入力された変換係数を、範囲保証部５４０により決定された補正量に応じて補正し、補正された変換係数を全体逆変換部５６０に出力する。
本例の係数補正部５５０は、エントロピ復号部５００から入力されたＤＣＴ係数Ｃ^Ｏに、範囲保証部５４０により算出された変換係数変化量ｄ_０'を加算する。なお、変換係数変化量ｄ_０'は、一部の変換係数についてのみ存する。 The coefficient correction unit 550 corrects the transform coefficient input from the entropy decoding unit 500 according to the correction amount determined by the range guarantee unit 540, and outputs the corrected transform coefficient to the overall inverse transform unit 560.
The coefficient correction unit 550 of the present example adds the transform coefficient change amount d ₀ ′ calculated by the range guarantee unit 540 to the DCT coefficient ^CO input from the entropy decoding unit 500. Note that the conversion coefficient change amount d ₀ ′ exists only for some conversion coefficients.

全体逆変換部５６０は、係数補正部５５０から入力された変換係数（補正後）に対して逆変換処理を施して、画像情報を生成する。
本例の全体逆変換部５６０は、逆変換行列Ｄ^−１を用いて、補正後の変換係数（Ｃ^Ｏ＋ｄ_０'）を復号画像ｘに変換する。 The overall inverse transform unit 560 performs inverse transform processing on the transform coefficient (after correction) input from the coefficient correction unit 550 to generate image information.
The overall inverse transform unit 560 of this example transforms the corrected transform coefficient (C ^O + d ₀ ′) into a decoded image x using the inverse transform matrix D ⁻¹ .

［変換式の説明］
次に、上記各式を説明する。
まず、説明の便宜上、2次元画像に対するDCT変換を1次元で表現する。すなわち、８×８の画素ブロックを64次元の画素値ベクトルxとして考える。この場合、ＤＣＴ変換は、６４次元の画素値ベクトルxを、64×64のＤＣＴ行列Ｄを用いて64次元の変換係数ベクトルcを求める変換として考えることができる。換言すると、以下の式となる。 [Explanation of conversion formula]
Next, each said formula is demonstrated.
First, for convenience of explanation, DCT transformation for a two-dimensional image is expressed in one dimension. That is, an 8 × 8 pixel block is considered as a 64-dimensional pixel value vector x. In this case, the DCT transformation can be considered as a transformation for obtaining a 64-dimensional conversion coefficient vector c by using a 64-dimensional pixel value vector x using a 64 × 64 DCT matrix D. In other words, the following equation is obtained.

例えば、8×8ブロックの画素位置を(i,j)、2次元周波数を(u,v)、変換係数をS_vu、画素値をs_ji とする。ただし、(i,j)、および(u,v)は、(列番号、行番号)を示しているものとする。8×8DCT順変換は、以下の式となる。 For example, the pixel position of an 8 × 8 block is (i, j), the two-dimensional frequency is (u, v), the conversion coefficient is S _vu , and the pixel value is s _ji . However, (i, j) and (u, v) indicate (column number, row number). The 8 × 8 DCT forward conversion is as follows.

また、8×8DCT逆変換は、以下の式となる。

In addition, the 8 × 8 DCT inverse transform is represented by the following equation.

ただし、u,vが０である場合に、Ｃ_ｕ及びＣ_ｖは１/√２であり、u,vが０以外である場合に、Ｃ_ｕ及びＣ_ｖは１である。さらに、ベクトルx内の要素が、(i₀, j₀), (i₁, j₁),..., (i₆₃, j₆₃)の順で並んでおり、ベクトルc内の要素が、(u₀, v₀), (u₁, v₁),..., (u₆₃, v₆₃)の順で並んでいるとすると、行列Dのt行s列の要素D_ts、及び、行列D⁻¹ のｔ行ｓ列の要素D^-1 _ts は、以下の式で表される。 However, when u and v are 0, C _u and C _v are 1 / √2, and when u and v are other than 0, C _u and C _v are 1. Furthermore, the elements in the vector x are (i ₀ , j ₀ ), (i ₁ , j ₁ ), ..., (i ₆₃ , j ₆₃ ), and the elements in vector c are (u ₀ , v ₀ ), (u ₁ , If v ₁ ), ..., (u ₆₃ , v ₆₃ ) are arranged in this order, then element D _ts of t rows and s columns of matrix D and element D of t rows and s columns of matrix D ^{−1 -1} _ts is expressed by the following equation.

なお、以下の説明では、一般的に記述を行うため、ベクトルの次元数64をNとして表す場合がある。   In the following description, since the description is generally made, the vector dimension number 64 may be expressed as N.

次に、量子化範囲保証処理の式を説明する。
空間領域でフィルタリングを行って、ブロック歪を軽減することが可能であるが、その場合に、必要なエッジ成分も除去してしまう虞がある。これを解消するために、フィルタリング後に、一旦DCT変換領域に変換して、量子化範囲保証（すなわち、量子化範囲内にDCT変換係数を抑える処理）を行う必要がある。この量子化範囲保証は、例えば、特許文献１及び非特許文献１に開示されたものと同一である。
まず、変換係数ベクトルｃ=(c₀, c₁, ..., c_N-1)^Tが量子化範囲内に限定されるための拘束条件に関して定めておく。拘束条件は、ベクトルq^min =(q^min ₀, q^min ₁, ..., q^min _N-1)^T、および、q^max =(q^max ₀, q^max ₁, ..., q^max _N-1)^T を用いて、以下のように表すことができる。 Next, the expression of the quantization range guarantee process will be described.
Although it is possible to reduce block distortion by performing filtering in the spatial domain, there is a possibility that necessary edge components may also be removed. In order to solve this, after filtering, it is necessary to temporarily convert to a DCT transform region and perform a quantization range guarantee (that is, processing to suppress a DCT transform coefficient within the quantization range). This quantization range guarantee is the same as that disclosed in Patent Document 1 and Non-Patent Document 1, for example.
First, a constraint condition for limiting the transform coefficient vector c = (c ₀ , c ₁ ,..., C _N−1 ) ^T within the quantization range is determined. The constraints are: vector q ^min = (q ^min ₀ , q ^min ₁ , ..., q ^min _N-1 ) ^T and q ^max = (q ^max ₀ , q ^max ₁ , ..., q ^max _{N -1} ) Using ^T , it can be expressed as:

以下、q^min=(q^min ₀, q^min ₁, ..., q^min _N-1)^T、q^max=(q^maz ₀, q^max ₁, ..., q^max _N-1)^Tとする。JPEGの場合、入力量子化インデクスに逆量子化処理を施して得ることのできる初期変換係数ベクトルをc^o=(c^o ₀, c^o ₁, ..., c^o _N-1)^T、量子化テーブルベクトルをq=(q₀, q₁, ..., q_N-1)^Tとすると、このときの変換係数ベクトルc=(c₀, c₁, ..., c_N-1)^Tの拘束条件を示すベクトルは、以下となる。 Q ^min = (q ^min ₀ , q ^min ₁ , ..., q ^min _N-1 ) ^T , q ^max = (q ^maz ₀ , q ^max ₁ , ..., q ^max _N-1 ) ^T To do. In the case of JPEG, the initial transform coefficient vector that can be obtained by performing inverse quantization processing on the input quantization index is c ^o = (c ^o ₀ , c ^o ₁ , ..., c ^o _N-1 ) ^T , quantum If the conversion table vector is q = (q ₀ , q ₁ , ..., q _N-1 ) ^T , then the conversion coefficient vector c = (c ₀ , c ₁ , ..., c _N-1 ) A vector indicating the constraint condition of ^T is as follows.

次に、空間領域でブロック歪を低減するフィルタリングを行い、かつ、上記拘束条件を満たすような変換係数を求める処理の例を示す。
まず、N(64)次元の初期変換係数ベクトルc^oから、N(64)次元の画素値ベクトルｘを、逆ＤＣＴの実施により求める。具体的には、以下の式による。 Next, an example of processing for performing filtering for reducing block distortion in the spatial domain and obtaining transform coefficients that satisfy the above constraint conditions will be described.
First, the N (64) dimension of the initial transformation coefficient vector c ^o, N a (64) dimension of a pixel value vector x, determined by the implementation of the inverse DCT. Specifically, according to the following formula.

次に、以下の式により、空間領域でローパスフィルタリングを行って、ブロック歪を軽減した画素値ベクトルx'を求める。なお、Ｆ（）はこのローパスフィルタリングを表す写像とする。   Next, low-pass filtering is performed in the spatial domain using the following formula to obtain a pixel value vector x ′ with reduced block distortion. Note that F () is a map representing this low-pass filtering.

次に、以下の式により、画素値ベクトルx'をＤＣＴ変換して、変換領域に戻す。   Next, the pixel value vector x ′ is DCT transformed by the following equation and returned to the transformation region.

次に、以下の式により、この変換係数を入力符号の量子化インデクスで決定される量子化範囲内に収める。なお、このような非線形写像をG()とする。   Next, the transform coefficient is set within the quantization range determined by the quantization index of the input code by the following equation. Such a non-linear mapping is represented by G ().

G()は、例えば以下に示す変換を行うものである。ただし、c'=(c'₀, c'₁, ..., c'_N-1)^T、 c"=(c"₀, c"₁, ..., c"_N-1)^Tとする。この写像Gが量子化範囲保証処理に相当する。 G () performs, for example, the following conversion. Where c '= (c' ₀ , c ' ₁ , ..., c' _N-1 ) ^T , c "= (c" ₀ , c " ₁ , ..., c" _N-1 ) ^T and To do. This map G corresponds to the quantization range guarantee process.

次に、行列の一部を抜き出した部分行列に対する処理を行う。以下の説明では、便宜上、次のように部分行列を表記する。すなわち、入力行列Aから、Aの上からm行、左からn行の行列を抜き出した場合に、この部分行列を、A_mnと表記する。 Next, a process is performed on the partial matrix obtained by extracting a part of the matrix. In the following description, for the sake of convenience, the partial matrix is expressed as follows. That is, when a matrix with m rows from the top of A and n rows from the left is extracted from the input matrix A, this submatrix is denoted as A _mn .

次に、画素値変化ベクトルの近似を説明する。
本実施形態では、上記フィルタリング写像が、一部の画素値のみに影響を与えるという近似を行う。まず、初期変換係数ベクトルc^oをIDCTして得られる初期画素値ベクトルをx^oとすると、以下の関係式で表現される。 Next, approximation of the pixel value change vector will be described.
In the present embodiment, an approximation is made that the filtering map affects only some pixel values. First, when the initial pixel value vector obtained by IDCT an initial conversion coefficient vector c ^o and x ^o, is expressed by the following equation.

また、フィルタリングによる画素値ベクトルの変化分を画素値変化ベクトルeとする。フィルタリング結果をx'とすると、x'は下記式で表すことができる。   Further, a change in the pixel value vector due to filtering is defined as a pixel value change vector e. If the filtering result is x ′, x ′ can be expressed by the following equation.

ここでは、上記画素値変化ベクトルeの一部の要素のみ、0以外の値を取り得、その他の要素は、全て0であるとする近似を行う。これは、一部の画素のフィルタ出力値のみが分かっているとき、その他の画素のフィルタ出力値の変化分の期待値が0であるとみなす近似であるとも言える。ここで、変化し得るベクトル要素をベクトルの上側に集めても、一般性は失わない。変化する要素数をm、変化しない要素数をN-mとする。さらに、m次元のベクトルe₀と、N-m次元の零ベクトル0を用いて、eは下記のように表すことができる。 Here, an approximation is performed in which only some elements of the pixel value change vector e can take values other than 0 and all other elements are 0. This can be said to be an approximation in which when only the filter output values of some pixels are known, the expected value of the change in the filter output values of other pixels is regarded as zero. Here, even if vector elements that can change are collected on the upper side of the vector, generality is not lost. Let m be the number of changing elements and Nm be the number of unchanged elements. Further, using m-dimensional vector e ₀ and Nm-dimensional zero vector 0, e can be expressed as follows.

ここで、ベクトルxも同様に、m次元ベクトルx₀と、N-m次元ベクトルx_１に分解して考える。さらに、フィルタFに下記近似が成り立つと仮定すると、以下の式がなりたつ。 Here, also the vector x, and m-dimensional vector x _0, considered decomposed into Nm dimensional vector x _1. Further, assuming that the following approximation holds for the filter F, the following equation is obtained.

このとき、e_０ は下式で求めることができる。また、以下の式で示されるフィルタF'()を定義することにより、ベクトルe₀ は、ベクトルx₀ をF'()でフィルタリングした結果F'(x₀)として得ることができる。 In this case, e ₀ can be obtained by the following equation. Further, by defining a filter F ′ () represented by the following expression, the vector e ₀ can be obtained as a result F ′ (x ₀ ) obtained by filtering the vector x ₀ with F ′ ().

次に、変換係数変化ベクトルの近似を説明する。
本実施形態では、フィルタリングの結果が、一部のDCT係数にのみ影響を与えるという近似を行う。
まず、DCT係数を、下記のように、変換係数変化ベクトルdを用いて表す。 Next, approximation of the transform coefficient change vector will be described.
In the present embodiment, approximation is performed in which the filtering result affects only some DCT coefficients.
First, the DCT coefficient is expressed using a conversion coefficient change vector d as follows.

ここで、係数変化ベクトルdの一部の要素のみ、0以外の値を取り得、その他の要素は、全て0であるとする。一部の周波数帯（例えば、低域の周波数帯）の変化が、画素値変化に関して支配的であると考えることによって、このような近似が可能である。ここで、これまでの説明と同様に、変化し得るベクトル要素をベクトルの上側に集める。変化する要素数をp、変化しない要素数をN-pとする。p次元のベクトルd₀と、N-p次元の零ベクトル0を用いて、dは下記のように表すことができる。 Here, it is assumed that only some elements of the coefficient change vector d can take values other than 0, and all other elements are 0. Such an approximation is possible by considering that changes in some frequency bands (for example, low frequency bands) are dominant with respect to pixel value changes. Here, similar to the above description, vector elements that can change are collected on the upper side of the vector. Let p denote the number of elements that change, and Np denote the number of elements that do not change. Using p-dimensional vector d ₀ and Np-dimensional zero vector 0, d can be expressed as follows.

さらに、本実施形態では、入力DCT変換係数に対して、IDCTを行って、画素値を算出する際に近似を行う。最終的なIDCTに対する近似を行うことはできないが、演算途中のフィルタリングに用いる画素値算出の際の演算は、近似が可能である。
ここで、フィルタリングに用いる画素値は、ベクトルx₀分のみあればよく、全ての画素値が必要なわけではない。そこで、まず、行列D^-１の部分行列D^-１ _mNを用いて、以下の式により、ベクトルx₀を求める。 Furthermore, in the present embodiment, IDCT is performed on the input DCT transform coefficient, and approximation is performed when the pixel value is calculated. Although the final IDCT cannot be approximated, the calculation at the time of calculating the pixel value used for filtering during the calculation can be approximated.
Here, the pixel values used for filtering may if only ₀ minutes vector x, do not take all the pixel values required. Accordingly, first, by using the partial matrix D ^-1 _mN matrix D ^-1, by the following equation to obtain the vector x _0.

次に、変換係数ベクトルc^o中の一部の要素が、ベクトルx₀算出に支配的であるという近似を行う。これは、例えば、低域の変換係数のみを用いてベクトルx₀を算出しようとするものである。
そこで、変換係数ベクトルc^oを次式のように分割する。なお、変換係数ベクトルc^oの要素は、画素値算出に重要な順（例えばJPEGのジグザグスキャン順）にソートされているものとする。 Then, some of the elements in the transform coefficient vector c ^o is an approximation that is dominant in the vector x ₀ is calculated. For example, the vector x ₀ is calculated using only the low-frequency transform coefficient.
Therefore, the transform coefficient vector ^co is divided as follows: Incidentally, elements of the transform coefficient vector c ^o is assumed to be sorted in order of importance (e.g., JPEG zig-zag scan order) to the pixel value calculation.

ただし、c^o ₀の次元数(要素数)をr、c^o ₁の次元数(要素数)をN-rとする。ここで、c^o ₀のみがベクトルx₀算出に必要であるという近似を行う。行列D^-１の部分行列D^-１ _mrを用い、以下の式でベクトルx₀の近似値算出が可能である。 Here, the number of dimensions (number of elements) of c ^o ₀ is r, and the number of dimensions (number of elements) of c ^o ₁ is Nr. Here, an approximation is made that only c ^o ₀ is necessary for calculating the vector x ₀ . Using the partial matrix D ^-1 _mr of the matrix D ^-1, it is possible to approximate calculation of the vector x ₀ by the following equation.

ただし、実際にフィルタリングを行う場合には、フィルタの中心位置(ベクトルx₀)以外の周囲画素値も必要になる場合がある。そのような場合には、最初に、算出する画素数（すなわちベクトルの次元数）を増加させておく必要がある。
このような周囲画素値からなるベクトルをx₂とする。ベクトルx₃を下記のように定義して、さらに、式（数２１）の出力をx₃となるように変更すればよい。 However, when filtering is actually performed, surrounding pixel values other than the filter center position (vector x ₀ ) may be required. In such a case, first, it is necessary to increase the number of pixels to be calculated (that is, the number of vector dimensions).
A vector comprising such a peripheral pixel value and x _2. Define the vector x ₃ as follows, furthermore, may be changed output of equation (21) so that x _3.

さらに、ベクトルx₃の次元数(要素数)をm'とすれば、式（数２１）は、以下のように変更される。 Further, if the number of dimensions of the vector x ₃ (number of elements) and m ', equation (21) is modified as follows.

次に、簡略化されたDCT処理を説明する。
本実施形態では、以下のDCT近似を行う。 Next, a simplified DCT process will be described.
In the present embodiment, the following DCT approximation is performed.

ここで、行列D^-1の部分行列D^-1 _mp以外の行列要素は、零を乗算することになる、あるいは乗算結果が零に固定されているため、演算には不要となる。よって、部分行列D^-1 _mpを用いて、e₀とd₀の関係は下式のように示すことができる。 Here, the matrix elements other than the partial matrix D ^-1 _mp of the matrix D ^-1 is to become multiplying the zero, or the multiplication result is fixed to zero, becomes unnecessary to the computation. Therefore, the relationship between e ₀ and d ₀ can be expressed as follows using the submatrix D ⁻¹ _mp .

さらに、上式の関係を以下のように簡略化DCTの式に書き換えることができる。   Furthermore, the relationship of the above equation can be rewritten as a simplified DCT equation as follows.

ここで、上式の逆行列が存在するための条件として、m=pでなければならない。以下、m=pとする。   Here, m = p must be satisfied as a condition for the existence of the inverse matrix of the above equation. Hereinafter, m = p.

次に、式（数２３）を用いて、初期変換係数ベクトルc^oから、m'次元の画素値ベクトルｘ₃を求める。ただし、式（数２２）に示されるように、画素値ベクトルｘ₃には、m次元の画素値ベクトルｘ₀も含まれる。このとき得られる初期画素値ベクトルをｘ^o ₀とする。 Next, using equation (23), from the initial conversion coefficient vector c ^o, obtaining the pixel value vector x ₃ of m 'dimensions. However, as shown in the equation (Equation 22), the pixel value vector x ₃ includes an m-dimensional pixel value vector x ₀ . The initial pixel value vector obtained this time is x ^o _0.

次に、以下の式により、空間領域でフィルタリングF'()を行って、ブロック歪を軽減する画素値変化ベクトルe₀' を求める。 Next, filtering F ′ () is performed in the spatial domain using the following formula to obtain a pixel value change vector e ₀ ′ that reduces block distortion.

次に、以下の式により、画素値変化ベクトルe₀' を、変換係数変化ベクトルd₀に変換する。 Next, the pixel value change vector e ₀ ′ is converted into a conversion coefficient change vector d ₀ by the following equation.

次に、以下の式により、変換係数変化ベクトルd₀ を量子化範囲内に収める。この非線形写像をG'()とする。 Next, the transform coefficient change vector d ₀ is set within the quantization range by the following equation. Let this nonlinear map be G ′ ().

ただし、d₀=(d₀, d₁, ..., d_p-1)^T、 d₀'=(d'₀, d'₁, ..., d'_p-1)^Tとする。また、拘束条件ベクトルq'^min、q'^maxは、以下の式により表される。 However, d ₀ = (d ₀ , d ₁ , ..., d _p-1 ) ^T and d ₀ '= (d' ₀ , d ' ₁ , ..., d' _p-1 ) ^T. Further, the constraint condition vectors q ′ ^min and q ′ ^max are expressed by the following equations.

さらに、拘束条件ベクトルq'^minを、p次元のq'^min _０とN-p次元のq'^min _１ に、また、q'^maxを、p次元のq'^max _０とN-p次元のq'^max _１ に分解し、q'^min ₀=(q'^min ₀, q'^min ₁, ..., q'^min _p-1)^T、q'^max ₀=(q'^max ₀, q'^max ₁, ..., q'^max _p-1)^Tとしている。 Furthermore, the constraint condition vector q ′ ^min is changed to p ′ q ′ ^min ₀ and Np dimension q ′ ^min ₁ , and q ′ ^max is changed to p dimension q ′ ^max ₀ and Np dimension q ′ ^max ₁ . Q ' ^min ₀ = (q' ^min ₀ , q ' ^min ₁ , ..., q' ^min _p-1 ) ^T , q ' ^max ₀ = (q' ^max ₀ , q ' ^max ₁ , .. ., q ' ^max _p-1 ) ^T

最後に、以下の式を用いて、復号画像xを生成する。   Finally, a decoded image x is generated using the following equation.

図３は、フィルタ処理部５２０（図２）によるフィルタ処理を説明する図である。
図３（Ａ）に例示するように、本例のフィルタ処理部５２０は、８×８ブロックの四隅の画素（頂点画素）をフィルタ処理の対象とする。
この場合に、頂点画素は、図３（Ｂ）に例示するように、隣接するブロックの頂点画素と隣接する。
そこで、本例のフィルタ処理部５２０は、互いに隣り合う４つの頂点画素の平均画素値を、フィルタ出力値Ｆ（Ｐ１）とする。すなわち、図３（Ｃ）に例示する式により、フィルタ出力値Ｆ（Ｐ１）が算出される。 FIG. 3 is a diagram for explaining filter processing by the filter processing unit 520 (FIG. 2).
As illustrated in FIG. 3A, the filter processing unit 520 of the present example sets the pixels (vertex pixels) at the four corners of the 8 × 8 block as the targets of the filter processing.
In this case, as illustrated in FIG. 3B, the vertex pixel is adjacent to the vertex pixel of the adjacent block.
Therefore, the filter processing unit 520 of this example sets the average pixel value of the four vertex pixels adjacent to each other as the filter output value F (P1). That is, the filter output value F (P1) is calculated by the equation illustrated in FIG.

［全体動作］
図４は、復号化プログラム５（図２）による復号化処理（Ｓ１０）を説明するフローチャートである。
図４に例示するように、ステップ１００（Ｓ１００）において、エントロピ復号部５００（図２）は、入力された符号データをハフマン符号化方式で復号化し、復号化されたＤＣＴ係数を部分逆変換部５１０及び係数補正部５５０に出力する。 [Overall operation]
FIG. 4 is a flowchart for explaining the decryption process (S10) by the decryption program 5 (FIG. 2).
As illustrated in FIG. 4, in step 100 (S100), the entropy decoding unit 500 (FIG. 2) decodes the input code data by the Huffman encoding method, and the decoded DCT coefficient is a partial inverse conversion unit. 510 and the coefficient correction unit 550.

ステップ１１０（Ｓ１１０）において、部分逆変換部５１０は、上記式（数１）を用いて、エントロピ復号部５００から入力されたＤＣＴ係数の一部を、画素値Ｘ_３に逆変換する。 At step 110 (S110), partial inverse transform unit 510 uses the above expression (Expression 1), a part of the DCT coefficient input from the entropy decoding unit 500, an inverse transform to the pixel value _{X 3.}

ステップ１２０（Ｓ１２０）において、フィルタ処理部５２０は、上記式（数２）を用いて、部分逆変換部５１０により逆変換された画素値Ｘ_３から、図３に例示するローパスフィルタが掛けられた場合の画素値変化量ｅ_０'を算出する。 At step 120 (S120), the filter processing unit 520 uses the above expression (Expression 2), the inverse transformed pixel value _{X 3} by the partial inverse transform unit 510, a low-pass filter is multiplied illustrated in FIG. 3 In this case, the pixel value change amount e ₀ ′ is calculated.

ステップ１３０（Ｓ１３０）において、部分変換部５３０は、上記式（数３）を用いて、フィルタ処理部５２０により算出された画素値変化量ｅ_０'を、変換係数変化量ｄ_０に変換する。 In step 130 (S130), the partial conversion unit 530 converts the pixel value change amount e ₀ ′ calculated by the filter processing unit 520 into a conversion coefficient change amount d ₀ using the above equation (Equation 3).

ステップ１４０（Ｓ１４０）において、範囲保証部５４０は、上記式（数４）を用いて、部分変換部５３０により算出された変換係数変化量ｄ_０に対して、量子化範囲保証を行い、量子化範囲保証がなされた変換係数変化量ｄ_０'を算出する。 In step 140 (S140), the range guarantees unit 540 using equation (Equation 4), the converted coefficient change amount _{d 0} calculated by the partial conversion unit 530 performs quantization range guaranteed, quantization A conversion coefficient change amount d ₀ ′ for which the range is guaranteed is calculated.

ステップ１５０（Ｓ１５０）において、係数補正部５５０は、エントロピ復号部５００から入力されたＤＣＴ係数Ｃ^Ｏに、範囲保証部５４０により算出された変換係数変化量ｄ_０'を加算して、ＤＣＴ係数Ｃ^ｏを補正する。 In step 150 (S150), the coefficient correction unit 550 adds the transform coefficient change amount d ₀ ′ calculated by the range guarantee unit 540 to the DCT coefficient C ^O input from the entropy decoding unit 500, and the DCT coefficient C ^o is corrected.

ステップ１６０（Ｓ１６０）において、全体逆変換部５６０は、逆変換行列Ｄ^−１を用いて、係数補正部５５０により補正された変換係数（Ｃ^ｏ＋ｄ_０'）を復号画像ｘに変換する。
なお、Ｓ１５０及びＳ１６０の処理は、上記式（数４３）を用いて実現される。 In step 160 (S160), the overall inverse transform unit 560 transforms the transform coefficient (C ^o + d ₀ ′) corrected by the coefficient correction unit 550 into a decoded image x using the inverse transform matrix D ⁻¹ .
Note that the processing of S150 and S160 is realized using the above equation (Formula 43).

以上説明したように、本実施形態における復号化装置２は、簡略化されたIDCT方式を用いることによって、一部の画素値のみをDCT係数から算出することを可能とした。
また、本復号化装置２は、入力DCT係数Ｃ^ｏを保持しておき、それに、DCT補正値ｄ_０'を加算してから、ＩＤＣＴ処理を行うことにより、ＩＤＣＴ処理の回数を1回としている。 As described above, the decoding apparatus 2 in the present embodiment can calculate only a part of pixel values from the DCT coefficients by using the simplified IDCT method.
Further, the decoding apparatus 2 holds the input DCT coefficient C ^o, it, after adding the DCT correction value d _{0 ',} by performing the IDCT process, and once the number of the IDCT processing .

［変形例］
次に、上記実施形態の変形例を説明する。
上記実施形態では、図３に例示するフィルタ処理を適用したが、これに限定されるものではなく、例えば、図５〜図９に例示するフィルタ処理を適用してもよい。
例えば、図５（Ａ）に例示するように、ブロックの頂点画素と、境界画素の一部とを用いてフィルタリングを行ってもよい。ここで、境界画素とは、他のブロックと隣接する画素のうち、頂点画素以外のものをいう。
本例では、図５（Ａ）で斜線が付された8つの画素群（４つの頂点画素、及び、４つの境界画素）が抽出される。頂点画素に対しては、図３（Ｂ）及び（Ｃ）で説明したフィルタ演算が施され、境界画素に対しては、図５（Ｂ）に例示するように、隣接するブロックの隣接する画素（Ｐ２）が抽出され、フィルタの出力値Ｆ（Ｐ１）は、図５（Ｃ）に例示するように、抽出された画素値Ｐ２と、注目画素値Ｐ１との平均値となる。 [Modification]
Next, a modification of the above embodiment will be described.
In the said embodiment, although the filter process illustrated in FIG. 3 was applied, it is not limited to this, For example, you may apply the filter process illustrated in FIGS.
For example, as illustrated in FIG. 5A, filtering may be performed using the vertex pixels of the block and a part of the boundary pixels. Here, the boundary pixel means a pixel other than the vertex pixel among pixels adjacent to another block.
In this example, eight pixel groups (four vertex pixels and four boundary pixels) hatched in FIG. 5A are extracted. The vertex pixels are subjected to the filter operation described in FIGS. 3B and 3C, and the boundary pixels are adjacent pixels in adjacent blocks as illustrated in FIG. 5B. (P2) is extracted, and the output value F (P1) of the filter is an average value of the extracted pixel value P2 and the target pixel value P1, as illustrated in FIG. 5C.

なお、境界画素の位置は、図５（Ａ）に例示したものに限定されるものではなく、例えば、図６（Ａ）に例示する位置でもよいが、この場合には、フィルタ周囲画素として、隣接するブロックのフィルタリングに必要な画素値を得ておく必要がある。
このような観点から図５と図６とを比較すると、図５のように、境界画素の位置は、ブロック内の位相（主走査方向の位置、副走査方向の位置）を合わせたほうがよい。 Note that the position of the boundary pixel is not limited to that illustrated in FIG. 5A, and may be, for example, the position illustrated in FIG. 6A. In this case, as the filter surrounding pixels, It is necessary to obtain pixel values necessary for filtering adjacent blocks.
Comparing FIG. 5 and FIG. 6 from such a viewpoint, as shown in FIG. 5, it is better to match the position of the boundary pixel with the phase in the block (position in the main scanning direction, position in the sub scanning direction).

また、図７（Ａ）に例示するように、ブロックの周縁部の全画素（頂点画素及び境界画素）を、フィルタ処理の対象としてもよい。この場合も、頂点画素については、図３で説明したフィルタ演算を行い、境界画素については、図７（Ｂ）及び（Ｃ）に例示するように、隣接するブロックの隣接する画素と平均化する。   Further, as illustrated in FIG. 7A, all the pixels (vertex pixels and boundary pixels) at the peripheral edge of the block may be subjected to the filtering process. Also in this case, the filter operation described in FIG. 3 is performed for the vertex pixels, and the boundary pixels are averaged with the adjacent pixels of the adjacent blocks, as illustrated in FIGS. 7B and 7C. .

また、図８（Ａ）に例示する境界画素を、図８（Ｂ）に例示する４つの画素群でフィルタリングしてもよい。すなわち、境界画素値Ｐ１を処理対象とする場合に、図８（Ｂ）に例示するように、同一ブロックに属する画素値Ｐ３と、隣接するブロックの隣接画素の画素値Ｐ２と、この隣接画素（Ｐ２）にさらに隣接する画素の画素値Ｐ４とを抽出し、抽出された画素値Ｐ１〜Ｐ４に対して、図８（Ｃ）に例示する重み付け係数（ａ、ｂ、ｃ、及び、ｄ）を掛けて合算することにより、フィルタ出力値Ｆ（Ｐ１）を算出してもよい。この場合に、図８（Ｄ）に例示するように、境界画素のさらに内側にある画素を参照する必要がある。   Further, the boundary pixels illustrated in FIG. 8A may be filtered by the four pixel groups illustrated in FIG. That is, when the boundary pixel value P1 is a processing target, as illustrated in FIG. 8B, the pixel value P3 belonging to the same block, the pixel value P2 of the adjacent pixel of the adjacent block, and the adjacent pixel ( A pixel value P4 of a pixel further adjacent to P2) is extracted, and weighting coefficients (a, b, c, and d) illustrated in FIG. 8C are applied to the extracted pixel values P1 to P4. The filter output value F (P1) may be calculated by multiplication and addition. In this case, as illustrated in FIG. 8D, it is necessary to refer to a pixel further inside the boundary pixel.

また、図９（Ａ）に例示するように、頂点画素及び境界画素に対して、３×３のＦＩＲフィルタを掛けてもよい。この場合には、図９（Ｂ）に例示するように、処理対象となる頂点画素又は境界画素を中心として３×３サイズの矩形領域を参照する必要がある。   Further, as illustrated in FIG. 9A, a 3 × 3 FIR filter may be applied to the vertex pixels and the boundary pixels. In this case, as illustrated in FIG. 9B, it is necessary to refer to a 3 × 3 size rectangular area centering on the vertex pixel or boundary pixel to be processed.

なお、フィルタF()は、ローパス特性であれば他のものであってもよく、様々なフィルタを利用することができる。
例えば、上記図３、図５〜図９によって、１次的なフィルタ出力値F(P1)を算出し、さらに、以下の式により、２次的なフィルタ出力値F'(P1)を算出してもよい。なお、下記係数αは、予め定められた定数である。典型的にはαは0から1の間の数値である。 Note that the filter F () may be any other filter as long as it has low-pass characteristics, and various filters can be used.
For example, the primary filter output value F (P1) is calculated according to FIGS. 3 and 5 to 9, and the secondary filter output value F ′ (P1) is calculated according to the following equation. May be. The following coefficient α is a predetermined constant. Typically, α is a numerical value between 0 and 1.

［実施形態２］
次に、第２の実施形態を説明する。
第２の実施形態では、反復処理において、簡略化された変換処理（簡略化ＤＣＴ）、及び、簡略化された逆変換処理（簡略化ＩＤＣＴ）を適用する形態を説明する。 [Embodiment 2]
Next, a second embodiment will be described.
In the second embodiment, a mode in which a simplified conversion process (simplified DCT) and a simplified inverse conversion process (simplified IDCT) are applied in the iterative process will be described.

図１０は、制御装置２０（図１）により実行される第２の復号化プログラム６の機能構成を例示する図である。
図１０に例示するように、第２の復号化プログラム６は、エントロピ復号部６００、全体逆変換部６１０、終了判定部６２０、フィルタ処理部６３０、部分変換部６４０、範囲保証部６５０、及び部分逆変換部６６０を有する。
エントロピ復号部６００は、入力された符号データを、エントロピ復号化して、全体逆変換部６１０に出力する。 FIG. 10 is a diagram illustrating a functional configuration of the second decryption program 6 executed by the control device 20 (FIG. 1).
As illustrated in FIG. 10, the second decoding program 6 includes an entropy decoding unit 600, an entire inverse transformation unit 610, an end determination unit 620, a filter processing unit 630, a partial transformation unit 640, a range assurance unit 650, and a partial An inverse conversion unit 660 is included.
The entropy decoding unit 600 performs entropy decoding on the input code data and outputs the encoded data to the entire inverse transform unit 610.

全体逆変換部６１０は、エントロピ復号部６１０から入力された変換係数を逆変換して、画像情報を生成し、生成された画像情報を終了判定部６２０に出力する。
本例の全体逆変換部６１０は、エントロピ復号部６１０から入力されたＤＣＴ係数を逆変換して、逆変換により生成された画素値を終了判定部６２０に出力する。 The overall inverse transform unit 610 performs inverse transform on the transform coefficient input from the entropy decoding unit 610 to generate image information, and outputs the generated image information to the end determination unit 620.
The overall inverse transform unit 610 of this example performs inverse transform on the DCT coefficient input from the entropy decoding unit 610 and outputs the pixel value generated by the inverse transform to the end determination unit 620.

終了判定部６２０は、全体逆変換部６１０又は部分逆変換部６６０から入力された画像情報に基づいて、反復処理（すなわち、フィルタ処理及び量子化範囲保証処理）を行うか否かを判断し、反復処理を行うと判断した場合には、入力された画像情報をフィルタ処理部６３０に出力し、反復処理を行わないと判断した場合には、入力された画像情報を復号画像として出力する。
例えば、終了判定部６２０は、全体逆変換部６１０から入力された画像情報、又は、部分逆変換部６６０から入力された画像情報と全体逆変換部６１０から入力された画像情報との和について、ブロック歪量を測定し、ブロック歪量の基準値以上である場合に、反復処理を行う旨を決定する。
本例の終了判定部６２０は、全体逆変換部６１０から画素値が入力された場合には、入力された画素値に基づいて、反復処理を行うか否かを判断し、部分逆変換部６６０から画素値（具体的には、画素値変化量ｅ）が入力された場合には、部分逆変換部６６０から入力された画素値（画素値変化量、すなわち、補正量）と、全体逆変換部６１０から入力された画素値とを合算し、合算された画素値に基づいて、反復処理を行うか否かを判断する。 The end determination unit 620 determines whether or not to perform iterative processing (that is, filter processing and quantization range guarantee processing) based on the image information input from the overall inverse transform unit 610 or the partial inverse transform unit 660, When it is determined that the iterative process is performed, the input image information is output to the filter processing unit 630. When it is determined that the iterative process is not performed, the input image information is output as a decoded image.
For example, the end determination unit 620 may calculate the sum of the image information input from the overall inverse transform unit 610 or the image information input from the partial inverse transform unit 660 and the image information input from the overall inverse transform unit 610. The block distortion amount is measured, and when the block distortion amount is equal to or larger than the reference value of the block distortion amount, it is determined that the iterative process is performed.
When a pixel value is input from the overall inverse conversion unit 610, the end determination unit 620 of this example determines whether to perform iterative processing based on the input pixel value, and the partial inverse conversion unit 660. When the pixel value (specifically, the pixel value change amount e) is input from the pixel value (the pixel value change amount, that is, the correction amount) input from the partial inverse conversion unit 660, and the entire inverse conversion The pixel values input from the unit 610 are added together, and it is determined whether or not to perform iterative processing based on the added pixel values.

フィルタ処理部６３０は、ローパスフィルタを用いて、終了判定部６２０から入力された画像情報に対して、フィルタ処理を施し、フィルタ処理が施された画像情報を部分変換部６４０に出力する。フィルタ処理は、空間領域でブロック歪を軽減するものであればよい。
より具体的には、フィルタ処理部６３０は、直交変換処理（本例では、ＤＣＴ処理）の処理単位であるブロックの周縁部の画素についてのみ、フィルタ処理を施す。
本例のフィルタ処理部６３０は、上記の式（数２）を用いて、ローパスフィルタをかけた場合の画素値変化量ｅ_０'を算出する。ただし、ｘ_０＝ｘ^ｏ _０＋ｅ_０ The filter processing unit 630 performs a filter process on the image information input from the end determination unit 620 using a low-pass filter, and outputs the image information subjected to the filter process to the partial conversion unit 640. The filtering process only needs to reduce block distortion in the spatial domain.
More specifically, the filter processing unit 630 performs the filter process only on the pixels at the peripheral edge of the block, which is a processing unit of the orthogonal transform process (DCT process in this example).
The filter processing unit 630 of this example calculates the pixel value change amount e ₀ ′ when the low-pass filter is applied, using the above equation (Equation 2). ^{_{However, x 0 = x o 0 +}} e 0

部分変換部６４０は、フィルタ処理部６３０によりフィルタ処理が施された画像情報を直交変換して、一部の画像情報に関する変換係数を生成し、生成された変換係数を範囲保証部６５０に出力する。
本例の部分変換部６４０は、上記式（数３）を用いて、画素値変化量ｅ_０'を、変換係数変化量ｄ_０に変換する。 The partial conversion unit 640 orthogonally transforms the image information that has been subjected to the filter processing by the filter processing unit 630, generates conversion coefficients related to some image information, and outputs the generated conversion coefficients to the range guarantee unit 650. .
The partial conversion unit 640 of this example converts the pixel value change amount e ₀ ′ into the conversion coefficient change amount d ₀ using the above equation (Equation 3).

範囲保証部６５０は、フィルタ処理部６３０によりフィルタ処理が施された画像情報の変換係数が元の量子化区間におさまるように、部分変換部６４０から入力された変換係数の値を補正する。
本例の範囲保証部６５０は、上記式（数４）を用いて、変換係数変化量ｄ_０に対して量子化範囲保証を行い、量子化範囲保証がなされた変換係数変化量ｄ_０'を算出する。 The range guarantee unit 650 corrects the value of the transform coefficient input from the partial transform unit 640 so that the transform coefficient of the image information filtered by the filter processing unit 630 falls within the original quantization interval.
Range Proof unit 650 of the present embodiment, using the above equation (Equation 4), the quantization range guarantees to transform coefficient change amount d _0, the transform coefficients variation quantization range guarantee is made d _{0 '} calculate.

部分逆変換部６６０は、範囲保証部６５０から入力された変換係数（例えば、ＤＣＴ係数）の少なくとも一部を逆変換して、画像情報を生成し、生成された画像情報を終了判定部６２０に出力する。
本例の部分逆変換部６６０は、以下の式（数４５）を用いて、入力された変換係数変化量ｄ_０'を逆変換して、画素値変化量ｅ_０を算出する。 The partial inverse transform unit 660 inversely transforms at least a part of the transform coefficients (for example, DCT coefficients) input from the range guarantee unit 650 to generate image information, and the generated image information is sent to the end determination unit 620. Output.
The partial inverse transform unit 660 of this example inversely transforms the input conversion coefficient change amount d ₀ ′ using the following equation (Equation 45) to calculate a pixel value change amount e ₀ .

なお、終了判定部６２０は、部分逆変換部６６０から画素値変化量ｅ_０が入力されると、以下の式（数４６）を用いて、画素値変化量を適用した場合の画像情報ｘを算出し、算出された画像情報ｘに基づいて反復処理を終了するか否かを判断する。ここで、ｘ_０は、全体逆変換部６１０から入力された画像情報である。 When the pixel value change amount e ₀ is input from the partial inverse transform unit 660, the end determination unit 620 uses the following equation (Equation 46) to obtain image information x when the pixel value change amount is applied. It is calculated, and it is determined whether to end the iterative process based on the calculated image information x. Here, x ₀ is image information input from the overall inverse transform unit 610.

［全体動作］
図１１は、第２の復号化プログラム６（図１０）による復号化処理（Ｓ２０）を説明するフローチャートである。
図１１に例示するように、ステップ２００（Ｓ２００）において、エントロピ復号部６００（図１０）は、入力された符号データをハフマン符号化方式で復号化し、復号化されたＤＣＴ係数を全体逆変換部６１０に出力する。 [Overall operation]
FIG. 11 is a flowchart for explaining the decryption process (S20) by the second decryption program 6 (FIG. 10).
As illustrated in FIG. 11, in step 200 (S200), the entropy decoding unit 600 (FIG. 10) decodes the input code data by the Huffman encoding method, and the decoded DCT coefficient is an overall inverse conversion unit. Output to 610.

ステップ２１０（Ｓ２１０）において、全体逆変換部６１０は、エントロピ復号部６１０から入力されたＤＣＴ係数全体を逆変換して、逆変換により生成された画素値を終了判定部６２０に出力する。   In step 210 (S210), the overall inverse transform unit 610 inversely transforms the entire DCT coefficient input from the entropy decoding unit 610, and outputs the pixel value generated by the inverse transform to the end determination unit 620.

ステップ２２０（Ｓ２２０）において、終了判定部６２０（図１０）は、全体逆変換部６１０から画素値が入力された場合には、入力された画素値（すなわち、最初の復号画像）に基づいて、反復処理（Ｓ２３０〜Ｓ２７０）を行うか否かを判断する。
また、終了判定部６２０は、反復処理が行われた場合（すなわち、Ｓ２７０の処理から戻ってきた場合）、部分逆変換部６６０から入力された画素値変化量ｅと元の画素値（すなわち、直近の反復処理が開始される時の画素値）との合算値（すなわち、補正後の復号画像）に基づいて、反復処理を行うか否かを判断する。
復号化プログラム６は、反復処理を行うと判断された場合に、Ｓ２３０の処理に移行し、反復処理を終了すると判断された場合に、Ｓ２８０の処理に移行する。 In step 220 (S220), when the pixel value is input from the overall inverse transform unit 610, the end determination unit 620 (FIG. 10), based on the input pixel value (that is, the first decoded image), It is determined whether or not iterative processing (S230 to S270) is performed.
In addition, when the iterative process is performed (that is, when returning from the process of S270), the end determination unit 620 and the pixel value change amount e input from the partial inverse transform unit 660 and the original pixel value (that is, Whether or not the iterative process is to be performed is determined based on the total value (that is, the decoded image after correction) with the pixel value at the time when the most recent iterative process is started.
When it is determined that the iterative process is performed, the decryption program 6 proceeds to the process of S230, and when it is determined to end the iterative process, the decryption program 6 proceeds to the process of S280.

ステップ２３０（Ｓ２３０）において、フィルタ処理部６３０は、上記の式（数２）を用いて、終了判定部６２０から入力された画素値ｘ_０に対してローパスフィルタをかけた場合の画素値変化量ｅ_０'を算出する。 In step 230 (S230), the filter processing unit 630, using the above equation (2), the pixel value change amount when applying a low-pass filter to the pixel value _{x 0} which is input from the end determining unit 620 e ₀ 'is calculated.

ステップ２４０（Ｓ２４０）において、部分変換部６４０は、上記式（数３）を用いて、フィルタ処理部６３０により算出された画素値変化量ｅ_０'を、変換係数変化量ｄ_０に変換する。 In step 240 (S240), the partial conversion unit 640 converts the pixel value change amount e ₀ ′ calculated by the filter processing unit 630 into the conversion coefficient change amount d ₀ using the above equation (Equation 3).

ステップ２５０（Ｓ２５０）において、範囲保証部６５０は、上記式（数４）を用いて、部分変換部６４０により変換された変換係数変化量ｄ_０に対して、量子化範囲保証を行い、量子化範囲保証がなされた変換係数変化量ｄ_０'を算出する。 In step 250 (S250), the range guarantees unit 650 using equation (Equation 4), the converted coefficient change amount _{d 0,} which is converted by partial conversion unit 640 performs quantization range guaranteed, quantization A conversion coefficient change amount d ₀ ′ for which the range is guaranteed is calculated.

ステップ２６０（Ｓ２６０）において、部分逆変換部６６０は、上記式（数４５）を用いて、範囲保証部６５０により算出された変換係数変化量ｄ_０'を逆変換して、画素値変化量ｅ_０を算出する。 In step 260 (S260), the partial inverse transform unit 660 inversely transforms the conversion coefficient change amount d ₀ ′ calculated by the range guarantee unit 650 using the above equation (Equation 45), and the pixel value change amount e ₀ is calculated.

ステップ２７０（Ｓ２７０）において、終了判定部６２０は、元の画素値画素値ｘ_０（本反復処理の入力画素値）と、部分逆変換部６６０により算出された画素値変化量ｅ_０とを合算する。
復号化プログラム６は、この合算値をこの反復処理で補正された復号画像として、Ｓ２２０の処理に戻る。 In step 270 (S270), the end determination unit 620 adds the original pixel value pixel value x ₀ (input pixel value of this iterative process) and the pixel value change amount e ₀ calculated by the partial inverse transform unit 660. To do.
The decoding program 6 returns to the process of S220 by using the sum as a decoded image corrected by this iterative process.

ステップ２８０（Ｓ２８０）において、終了判定部６２０は、反復処理を終了すると判断すると、復号画像（すなわち、Ｓ２１０において算出された画素値、又は、Ｓ２７０において算出された合算値）を復号画像として外部に出力する。   In step 280 (S280), when the end determination unit 620 determines to end the iterative process, the decoded image (that is, the pixel value calculated in S210 or the combined value calculated in S270) is externally output as a decoded image. Output.

以上説明したように、本実施形態における復号化装置２は、ＤＣＴ処理あるいはＩＤＣT処理を簡略化して演算負荷を軽減する。特に、本例では、反復処理におけるＤＣＴ処理及びＩＤＣＴ処理を簡略化するため、演算負荷の軽減効果が大きい。   As described above, the decoding device 2 in the present embodiment simplifies the DCT process or the IDCT process to reduce the calculation load. In particular, in this example, since the DCT process and the IDCT process in the iterative process are simplified, the calculation load is greatly reduced.

［変形例１］
次に、上記第２の実施形態の変形例を説明する。
上記実施形態では、画像情報を変換係数に変換する変換行列Dの部分行列D_pmを用いて、簡略化ＤＣＴ処理を行い、変換係数を画像情報に変換する逆変換行列D^-1の部分行列D^-1 _mpを用いて、簡略化ＩＤＣＴ処理を行っているが、これに限定されるものではない。
すなわち、画素値変化量e₀と変換係数変化量d₀との関係として、別の関係式を利用してもよい。
第１の変形例における部分逆変換部６６０は、部分行列D_pmの逆行列を用いて、簡略化ＩＤＣＴ処理を行う。
ただし、部分行列D_pmの逆行列が存在するためには、D_pmが正方行列(すなわち、m=p)である必要がある(DはDCT変換行列であるため、正方であれば正則、すなわち逆行列の存在は保証される)。以下、m=pのとき、m<pのとき、及び、m>pのときの逆行列を説明する。なお、逆変換行列D^-1の左上m行p列を抜き出した部分行列をD^-1 _mpと表記し、部分行列D_pmの逆行列を、[D_pm]^-1と表記する。 [Modification 1]
Next, a modification of the second embodiment will be described.
In the above-described embodiment, the partial matrix D _pm of the transformation matrix D that transforms image information into transformation coefficients is used to perform simplified DCT processing, and the partial matrix D of the inverse transformation matrix D ⁻¹ that transforms transformation coefficients into image information. ^Although simplified IDCT processing is performed using ⁻¹ _mp , the present invention is not limited to this.
That is, another relational expression may be used as the relationship between the pixel value change amount e ₀ and the conversion coefficient change amount d ₀ .
Partial inverse transform unit 660 in the first modification, by using the inverse matrix of the partial matrix D _pm, it performs simplified IDCT process.
However, in order for the inverse of the submatrix D _pm to exist, D _pm needs to be a square matrix (i.e., m = p) (D is a DCT transformation matrix, so if it is square, it is regular, i.e., The existence of an inverse matrix is guaranteed). Hereinafter, an inverse matrix when m = p, m <p, and m> p will be described. Note that a partial matrix obtained by extracting the upper left m rows and p columns of the inverse transformation matrix D ⁻¹ is denoted as D ⁻¹ _mp, and the inverse matrix of the partial matrix D _pm is denoted as [D _pm ] ⁻¹ .

m=pのときは、逆行列の存在が保証されるため、以下の式（数）により簡略化ＩＤＣＴが実現される。   When m = p, since the existence of the inverse matrix is guaranteed, the simplified IDCT is realized by the following equation (number).

m<pのときは、簡略化ＤＣＴの式における画像情報e₀にとって、未知数よりも条件のほうが多い形の連立方程式となる。この場合、最小2乗法によって解を求めることが一般的である。いわゆる左側一般化逆行列を用いることによって、最小2乗解を求めることができる。具体的には、以下の式（数）となる。なお、行列ＤはDCT変換行列であるため、D_pmのランクがmとなり、下記一般化逆行列が存在する。 When m <p, for the image information e ₀ in the simplified DCT equation, the simultaneous equations have more conditions than unknowns. In this case, it is common to find a solution by the least square method. By using a so-called left generalized inverse matrix, a least squares solution can be obtained. Specifically, the following equation (number) is obtained. Since the matrix D is a DCT transformation matrix, the rank of D _pm is m, and the following generalized inverse matrix exists.

m>pのときは、簡略化ＤＣＴの式における画像情報e₀にとって、条件よりも未知数のほうが多い形の連立方程式となる。この場合、条件を付加して解く必要がある。
ここでは、変換係数値ができるだけ量子化範囲内に収まっていて、かつ、ブロック境界でなだらかな画像を求めることを目的としている。そこで、変換係数値をできるだけ量子化範囲内に収めるためには、画素値変化量e₀はできるだけ小さいほうがよいとする条件を付加する。ここでは、e₀のノルムが最小となる解を求めればよいと考える。
このような解(ノルム最小解)を求めることのできる一般化逆行列として、Moore-Penroseの一般化逆行列が知られている。以下、行列Aの一般化逆行列をA^＊と表記することにする。
行列Aを下記のようにURV分解する。 When m> p, for the image information e ₀ in the simplified DCT equation, the simultaneous equations have more unknowns than conditions. In this case, it is necessary to solve by adding conditions.
Here, an object is to obtain a smooth image in which the transform coefficient value is within the quantization range as much as possible and at the block boundary. Therefore, in order to keep the transform coefficient value within the quantization range as much as possible, a condition is added that the pixel value change amount e ₀ should be as small as possible. Here, it is considered that a solution that minimizes the norm of e ₀ may be obtained.
A Moore-Penrose generalized inverse matrix is known as a generalized inverse matrix capable of obtaining such a solution (norm minimum solution). Hereinafter, the generalized inverse matrix of the matrix A will be denoted as A ^* .
The matrix A is URV-decomposed as follows.

このとき、行列AのMoore-Penroseの一般化逆行列A^* は、以下のように与えられる。 At this time, the Moore-Penrose generalized inverse matrix A ^* of the matrix A is given as follows.

URV分解としては、例えば、特異値分解を用いることができる。この一般化逆行列を用いて、e₀のノルムが最小となる解を以下のように解く。 As the URV decomposition, for example, singular value decomposition can be used. Using this generalized inverse matrix, a solution that minimizes the norm of e ₀ is solved as follows.

ここで、m=pの場合や、m<pの場合もMoore-Penroseの一般化逆行列の特殊な例として含まれる。そのため、以下、アルゴリズム表記上は、m、pの大小に依存せず、上記式（数５１）を用いて一般化する。   Here, the case of m = p and the case of m <p are also included as special examples of the Moore-Penrose generalized inverse matrix. Therefore, in the following, the algorithm notation does not depend on the magnitudes of m and p, and is generalized using the above formula (Formula 51).

なお、Moore-Penroseの一般化逆行列は、D_pmのランクがp以下であっても求めることのできる形式である。ここで対象としているD_pmはDCT変換行列Dの一部であるため、ランクがｐとなることを保証することができる。よって、この場合のMoore-Penroseの一般化逆行列は、以下のように、いわゆる右側一般化逆行列として算出が可能である。 The Moore-Penrose generalized inverse matrix can be obtained even if the rank of D _pm is p or less. Since the target D _pm is a part of the DCT transformation matrix D, it can be guaranteed that the rank is p. Therefore, the Moore-Penrose generalized inverse matrix in this case can be calculated as a so-called right generalized inverse matrix as follows.

さらに、ｍ行m列の重み行列W_eを定義して、重み付けノルムe₀ ^TW_ee₀を最小化する一般化逆行列を定めることも可能である。例えば、W_eが正則かつ対称な場合、以下のように求めることができる。 Furthermore, by defining the weight matrix W _e of m rows and m columns, is the weighted norm _{e 0} ^T W e e ₀ is also possible to define a generalized inverse matrix to minimize. For example, if W _e is regular and symmetrical, it can be obtained as follows.

また、W_e=I(単位行列)とすることによって、上記式（数５１）などを含むことになる。
以下、重み付けノルム最小解を得ることのできる一般化逆行列の算出方法を示す。
ここでは、以下が拘束条件である。 Further, by making the W _e = I (unit matrix), will contain such above equation (Equation 51).
Hereinafter, a method for calculating a generalized inverse matrix capable of obtaining a weighted norm minimum solution will be described.
Here, the following are the constraint conditions.

この拘束条件に対して、以下の式を最小化する解ｘ＝Ａ^＊ｙを求めようとするものである。 With respect to this constraint condition, an attempt is made to obtain a solution x = A ^* y that minimizes the following expression.

これを解くため、以下のように、Lagrange乗数ベクトルλを導入して、Ｌａｇｒａｎｇｅ関数Lを定義する。   In order to solve this, a Lagrange multiplier vector λ is introduced and a Lagrange function L is defined as follows.

そして、以下の２式を解けばよい。   Then, the following two equations may be solved.

ここで、［Ｗ＋Ｗ^Ｔ］が正則であれば、Ａ［Ｗ＋Ｗ^Ｔ］^−１×（数５５）−（数５６）より、以下の式となる。 Here, if [W + W ^T ] is regular, A [W + W ^T ] ⁻¹ × (Expression 55) − (Expression 56), the following expression is obtained.

さらに、Ａ［Ｗ＋Ｗ^Ｔ］^−１Ａ^Ｔが正則であれば、式（数５５）と合わせて、以下の式が導かれる。 Furthermore, if A [W + W ^T ] ^{−1 AT} is regular, the following equation is derived together with the equation (Equation 55).

すなわち、以下の式となる。   That is, the following expression is obtained.

特に、Wが対称な場合は、［Ｗ＋Ｗ^Ｔ］＝２Ｗとできるため、以下の式が導かれる。 In particular, when W is symmetric, [W + W ^T ] = 2W can be obtained, and thus the following expression is derived.

この重み付け行列を用いることによって、画素位置毎に画素値の変動の容易さを変化させることが可能である。例えば、「8×8ブロックの内部の点の画素値は余り変動させず、境界の点の画素値を多く変動させる」、あるいは、「8×8ブロックの頂点の画素値を多く変動させ、その他の点の画素値は余り変動させない」などとすることが可能となる。
具体的には、W_eが対角行列の例を以下に示す。 By using this weighting matrix, it is possible to change the ease of variation of the pixel value for each pixel position. For example, “Pixel values of points inside the 8 × 8 block do not change much, and pixel values at the boundary points are changed a lot” or “Pixel values at the top of the 8 × 8 block are changed a lot, etc. The pixel value of this point is not changed so much. "
Specifically, W _e is an example of a diagonal matrix as follows.

このとき、w^e _i の値を小さく設定することによって、他の要素に比べて大きなe_iの値を得ることができる。ただし、e₀=(e₀, e₁, ..., e_m-1)^Tとしている。 At this time, by setting the value of w ^e _i small, it is possible to obtain a larger value of e _i compared to other elements. However, e ₀ = (e ₀ , e ₁ ,..., E _m−1 ) ^T.

［変形例２］
次に、第２の実施形態の第２の変形例を説明する。
本変形例の部分変換部６４０は、画素値変化量e₀から変換係数変化量d₀を求めるときに、上記D^-1 _mpの一般化逆行列を利用する。すなわち、以下の式（数６０）が用いられる。 [Modification 2]
Next, a second modification of the second embodiment will be described.
The partial conversion unit 640 of the present modification uses the generalized inverse matrix of D ⁻¹ _mp when _obtaining the conversion coefficient change amount d ₀ from the pixel value change amount e ₀ . That is, the following equation (Equation 60) is used.

これによって、ノルムが最小(すなわち、できるだけ量子化範囲を逸脱しない) d₀を求めることができる。
さらに、変形例１と同様に、重み行列を定義することができる。p行p列の重み行列W_dを定義して、重み付けノルムd₀ ^TW_dd₀を最小化する一般化逆行列を定める。
一例として、W_dが正則かつ対称な場合、以下のようになる。 As a result, d ₀ having the minimum norm (that is, as far as possible from the quantization range) can be obtained.
Furthermore, a weight matrix can be defined as in the first modification. A p × p weight matrix W _d is defined to define a generalized inverse matrix that minimizes the weighted norm d ₀ ^T W _d d ₀ .
As an example, if W _d is regular and symmetric, then

この重み付け行列を用いることによって、DCT係数毎に重要度を変化させることが可能である。例えば、「高域のDCT係数は余り変動させず、低域のDCT係数を多く変動させる」などとすることが可能となる。
変形例１と同様に、行列Wdが対角行列の例を以下に示す。 By using this weighting matrix, it is possible to change the importance for each DCT coefficient. For example, it becomes possible to “change the DCT coefficient of the low frequency much without changing the DCT coefficient of the high frequency much”.
As in the first modification, an example in which the matrix Wd is a diagonal matrix is shown below.

このとき、w^d _i の値を小さく設定することによって、他の要素に比べて大きなd_iの値を得ることができる。例えば、「量子化ステップサイズが大きなDCT係数に対しては、量子化範囲外になる可能性が低いため、w^d _i の値を小さく設定する」、あるいは、「値が0である他のN-p個のDCT係数変化量の要素との連続性を考慮して、大きなiに対しては、d_iの値を小さくするためw^d _i の値を大きく設定する」等の選択肢を考えることができる。ただし、d₀=(d₀, d₁, ..., d_p-1)^Tとしている。 At this time, by setting the value of w ^d _i to be small, it is possible to obtain a value of d _i that is larger than other elements. For example, “For DCT coefficients with a large quantization step size, it is unlikely to be outside the quantization range, so set the value of w ^d _i small” or “Other Np with a value of 0” taking into account the continuity of the number of DCT coefficients variation factors, for large i, can be considered the option of setting to "or the like increases the value of w ^d _i order to reduce the value of d _i . However, d ₀ = (d ₀ , d ₁ ,..., D _p−1 ) ^T.

変形例２における具体的な計算方法をまとめると、以下のようになる。   The specific calculation method in Modification 2 is summarized as follows.

［変形例３］
第３の変形例は、基本的には上記変形例１と同じ方式であるが、p<mのときの動作が異なる。すなわち、本変形例は、条件数よりも未知数の数が多いとき(p<m)に、できるだけ拘束条件を満たし、かつ、未知数の数が小さなe₀を解とするものである。具体的な手順は以下である。
p?n?mである数nを考える。ここでは、ベクトルe₀の次元数(要素数)をnに変更して演算を行う。nの値をpからmまで増加させていき、変形例１の手法でn次元の、ベクトルe₀を求める。最初に拘束条件内(量子化範囲内)に収まったとき、そのe₀を出力する。ただし、出力時のe₀の要素数はmであり、かつ、最初のn個の要素以外の要素の値は0としたものである。
なお、最後まで、拘束条件内(量子化範囲内)に収まらない場合には、変形例１と同様の処理となる。 [Modification 3]
The third modification is basically the same system as the first modification, but the operation is different when p <m. That is, the present modified example, when a large number of unknowns than condition number (p <m), satisfy the possible constraints, and, in which the number of unknowns is the solution a small e _0. The specific procedure is as follows.
Consider a number n that is p? n? m. Here, the calculation is performed by changing the number of dimensions (number of elements) of the vector e ₀ to n. The value of n is increased from p to m, and an n-dimensional vector e ₀ is obtained by the method of the first modification. When it first falls within the constraint condition (quantization range), its e ₀ is output. However, the number of elements of e ₀ at the time of output is m, and the values of elements other than the first n elements are 0.
It should be noted that, when it does not fall within the constraint condition (within the quantization range) until the end, the processing is the same as in the first modification.

［変形例４］
第４の変形例は、基本的には、変形例２と同じ方式であるが、p>mのときの動作が異なる。すなわち、本変形例は、条件数よりも未知数の数が多いとき(p>m)に、できるだけ拘束条件を満たし、かつ、未知数の数が小さなベクトルd₀を解とするものである。p>mの場合の手順は以下である。
m?n?pである数nを考える。ここでは、ベクトルd₀の次元数(要素数)をnに変更して演算を行う。nの値をmからpまで増加させていき、簡略化法その3の手法でn次元のベクトルd₀を求める。最初に拘束条件内(量子化範囲内)に収まったとき、そのベクトルd₀を出力する。ただし、出力時のベクトルd₀の要素数は、pであり、かつ、最初のn個の要素以外の要素の値は0としたものである。最後まで、拘束条件内(量子化範囲内)に収まらない場合には、変形例２と同様の処理となる。 [Modification 4]
The fourth modification is basically the same method as modification 2, but the operation is different when p> m. That is, in this modification, when the number of unknowns is larger than the number of conditions (p> m), the solution is a vector d ₀ that satisfies the constraint condition as much as possible and has a small number of unknowns. The procedure for p> m is as follows.
Consider a number n that is m? n? p. Here, the number of dimensions (number of elements) of the vector d ₀ is changed to n to perform the calculation. The value of n is increased from m to p, and the n-dimensional vector d ₀ is obtained by the simplification method # 3. When it first falls within the constraint condition (quantization range), the vector d ₀ is output. However, the number of elements of the vector d ₀ at the time of output is p, and the values of elements other than the first n elements are 0. If it does not fall within the constraint conditions (within the quantization range) until the end, the processing is the same as in the second modification.

なお、IDCT近似としては、上記第２の実施形態のような簡略化法を用いることができる。あるいは、IDCT近似として、変形例１のような簡略化法を用いることができる。あるいは、IDCT近似として、変形例３の方法を用いることができる。つまり、IDCT近似手法は3種類ある。
同様に、DCT近似として、上記第２の実施形態のような簡略化法を用いることができる。あるいは、DCT近似として、変形例２のような簡略化法を用いることができる。あるいは、DCT近似として、変形例４の方法を用いることができる。つまり、DCT近似手法は3種類ある。
よって、DCT近似手法、および、IDCT近似手法の組み合わせとしては、9通り存在している。 As the IDCT approximation, a simplification method as in the second embodiment can be used. Alternatively, a simplified method such as that of Modification 1 can be used as the IDCT approximation. Or the method of the modification 3 can be used as IDCT approximation. In other words, there are three types of IDCT approximation methods.
Similarly, a simplified method as in the second embodiment can be used as the DCT approximation. Alternatively, as a DCT approximation, a simplification method as in Modification 2 can be used. Or the method of the modification 4 can be used as DCT approximation. In other words, there are three types of DCT approximation methods.
Therefore, there are nine combinations of DCT approximation methods and IDCT approximation methods.

［変形例５］
第５の変形例における終了判定部６２０は、以下の式（数６４）を用いて、補正された復号画像を生成する。 [Modification 5]
The end determination unit 620 in the fifth modified example generates a corrected decoded image using the following equation (Equation 64).

あるいは、終了判定部６２０は、以下の式（数６５）及び式（数６６）を用いて、補正された復号画像を生成してもよい。   Alternatively, the end determination unit 620 may generate a corrected decoded image using the following equation (Equation 65) and equation (Equation 66).

あるいは、終了判定部６２０は、以下の式（数６７）により算出された画素値変化量ｅを、元の画素値ｘ^ｏに加算して、復号画像を生成してもよい。 Alternatively, the end determination unit 620 may generate a decoded image by adding the pixel value change amount e calculated by the following equation (Equation 67) to the original pixel value x ^o .

［変形例６］
上記第２の実施形態では、初期画素値ベクトルｘ^o ₀を保持しておき、画素値変化量ｅと加算している。ここで、保持する画素値変化ベクトルとしては、初期画素値変化ベクトルe^o ₀、あるいは、初期変換係数変化ベクトルd^o ₀であっても構わない。あるいは、ベクトルc^o ₀を用いることも可能である。これらの変形例を変形例6-1、変形例6-2、変形例6-3として以下説明する。 [Modification 6]
In the second embodiment, the initial pixel value vector x ^o ₀ is held and added to the pixel value change amount e. Here, as the pixel value change vectors for holding an initial pixel value variation vector e ^o _0, or may be a initial conversion coefficient change vector d ^o _0. Alternatively, the vector ^co ₀ can be used. These modified examples will be described below as modified example 6-1, modified example 6-2, and modified example 6-3.

変形例6-1では、初期画素値変化ベクトルe^o ₀を以下の式（数６９）のように定義して、以下の式（数６８〜７２）を用いる。これらの式は、第２の実施形態と同様の手順で導かれる。 In Modified Example 6-1, the initial pixel value change vector e ^o ₀ is defined as in the following equation (Equation 69), and the following equations (Equations 68 to 72) are used. These formulas are derived in the same procedure as in the second embodiment.

具体的には、図１１のＳ２１０において、画素値変化ベクトルe₀に加えて、初期画素値変化ベクトルe^o ₀を初期化しておく。
次に、Ｓ２３０において、フィルタ処理６３０は、上記式（数７２）を用いてフィルタリングを行い、さらに上記式（数６９）を用いて、ベクトルe₀ ^' を求める。
Ｓ２４０以降の処理は、このベクトルe₀ ^'に基づいて、上記第２の実施形態と同様の処理を行う。 Specifically, in S210 of FIG. 11, in addition to the pixel value variation vector e _0, it has initialized the initial pixel value variation vector e ^o _0.
Next, in S230, the filtering process 630 performs filtering using the above equation (Equation 72), and further obtains a vector e ₀ ^′ using the above equation (Equation 69).
In the processing after S240, the same processing as in the second embodiment is performed based on the vector e ₀ ^′ .

このように、変形例6-1では、フィルタリングの入力が画素値変化ベクトルe^o ₀であるため、画素値ベクトルｘ^o ₀を入力するよりも、信号が0付近に集中し易い。そのため、同一の演算精度でも高い効果を上げられる、あるいは、同一の効果を得るための演算精度を下げられる可能性がある。
あるいは、適度にベクトルe₀の量子化を行った場合、ベクトルe₀は、ほとんどの要素が0の疎なベクトルとなる。式（数７２）において、このような疎なベクトル(行列)に関する高速演算算法を活用することができる。なお、一般に、差分情報に対してDCT、IDCT演算を行った場合、疎な行列に対する高速演算算法の利用が可能である。この性質はベクトル次元数を削減しない場合でも成り立つ。よって、実は、差分を利用したフィルタリングやDCT、IDCTだけでも効果があるといえる。
さらに、画素値ベクトルｘ^o ₀を保持するよりも、ベクトルe^o ₀を保持するデータ量を削減できる可能性がある。 As described above, in the modified example 6-1, since the input of filtering is the pixel value change vector e ^o ₀ , the signal is likely to concentrate near 0 rather than inputting the pixel value vector x ^o ₀ . Therefore, there is a possibility that a high effect can be achieved even with the same calculation accuracy, or that the calculation accuracy for obtaining the same effect can be lowered.
Alternatively, when properly carried out quantization of vectors e _0, the vector e ₀ is most elements becomes sparse vector of 0. In the equation (Equation 72), it is possible to utilize such a high-speed arithmetic method relating to a sparse vector (matrix). In general, when DCT and IDCT operations are performed on difference information, it is possible to use a high-speed calculation method for a sparse matrix. This property holds even when the number of vector dimensions is not reduced. Therefore, in fact, it can be said that filtering using difference, DCT, and IDCT alone are effective.
Furthermore, there is a possibility that the amount of data for holding the vector e ^o ₀ can be reduced rather than holding the pixel value vector x ^o ₀ .

変形例6-2では、初期変換係数変化ベクトルd^o ₀を以下のように定義して、以下の式（数７３〜７７）を用いる。これらの式は、第２の実施形態と同様の手順で導かれる。 In Modification 6-2, the initial conversion coefficient change vector d ^o ₀ is defined as follows, using the following equation (73 to 77). These formulas are derived in the same procedure as in the second embodiment.

具体的には、図１１のＳ２１０において、画素値変化ベクトルe^o ₀及び式（数６８）に加えて、式（数７３）（あるいは、式（数７４）)の初期化を行っておく。
次に、Ｓ２３０において、フィルタ処理部６３０は、上記式（数７２）を用いてフィルタリングを行う。
次に、Ｓ２４０において、部分変換部６４０は、式（数７７）を用いて、DCT変換を行う。さらに、部分変換部６４０は、式（数７５）を用いて、ベクトルd₀を求める。
Ｓ２５０以降の処理は、第２の実施形態と同様である。 Specifically, in S210 of FIG. 11, in addition to the pixel value change vector e ^o ₀ and the equation (Equation 68), the equation (Equation 73) (or the equation (Equation 74)) is initialized.
Next, in S230, the filter processing unit 630 performs filtering using the above equation (Formula 72).
Next, in S240, the partial conversion unit 640 performs DCT conversion using Expression (Equation 77). Further, the partial conversion unit 640 obtains a vector d ₀ using the equation (Equation 75).
The processes after S250 are the same as those in the second embodiment.

このように、本変形例6-2では、変形例6-1の利点に加えて、以下の利点がある。
すなわち、DCT変換(式（数７７）)の実質演算精度を高めることができる。あるいは、画素値変化ベクトルe^o ₀を保持するよりも、変換係数変化ベクトルd^o ₀を保持したほうが、効率が良い。なぜなら、空間領域を直接符号化するよりも、変換領域の符号化のほうが効率が良いからである。
さらに、適度にΔe₀の量子化を行った場合、Δe₀はほとんどの要素が0の疎なベクトルとなる。式（数７７）において、このような疎なベクトル(行列)に関する高速演算算法を活用することができる。 Thus, the present modification 6-2 has the following advantages in addition to the advantages of the modification 6-1.
That is, it is possible to improve the actual calculation accuracy of the DCT transform (Expression (Equation 77)). Alternatively, rather than storing a pixel value variation vector e ^o _0, better to hold the transform coefficients change vector d ^o ₀ is efficient. This is because encoding of the transform domain is more efficient than encoding the spatial domain directly.
Further, when Δe ₀ is quantized moderately, Δe ₀ is a sparse vector in which most elements are zero. In the equation (Equation 77), it is possible to utilize such a high-speed arithmetic method relating to a sparse vector (matrix).

変形例6-3では、保持する初期ベクトルをベクトルc^oのみとする。
具体的には、図１１のＳ２１０において、画素値ベクトルｘ_０を初期化しておく。
次に、Ｓ２３０において、フィルタ処理部６３０は、以下のＳ２６０において算出されるx₀を用いてフィルタリングを行う。
Ｓ２４０及びＳ２５０の処理は、上記第２の実施形態と同様である。
Ｓ２６０において、部分逆変換部６６０は、以下の式（数７８）を用いて、画素値ベクトルx₀を算出する。 In Modification 6-3, the initial vector to be held is only the vector ^co .
Specifically, in S210 of FIG. 11, keep initializing the pixel value vector _{x 0.}
Next, in S230, the filter processing unit 630 performs filtering by using x ₀ being calculated in the following S260.
The processes of S240 and S250 are the same as in the second embodiment.
In S260, partial inverse transform unit 660, using the following equation (78), to calculate a pixel value vector x _0.

ただし、ベクトルc^o ₂は、ベクトルc^oからp個の要素を抜き出したp次元ベクトルである。 However, the vector c ^o ₂ is a p-dimensional vectors extracted p elements from the vector c ^o.

このように、本変形例6-3では、ベクトルc^o以外の信号を保持する必要がないため、メモリ効率を高めることが可能である。 As described above, in Modification 6-3, since it is not necessary to hold a signal other than the vector ^co , memory efficiency can be improved.

［変形例７］
本変形例では、入力DCT変換係数に対して、図１１のＳ２１０において近似を行う。最終的なIDCTに対する近似を行うことはできないが、演算途中のフィルタリングに用いる画素値算出の際の演算は近似が可能である。
具体的には、第１の実施形態における式（数１）を用いて、変換係数変化量を画素値変化量に変換する。
この式（数１）は、フィルタリングに用いる画素値ベクトルx₀のみを対象として、変換係数ベクトルc^o中の一部の要素がベクトルx₀算出に支配的であるという近似を行うものである。
本変形例７は、入力された変換係数全体を逆変換する代わりに、上記式（数１）を用いて、最初のIDCTを行うものである。
ただし、本変形例では、図１１のＳ２１０（最初のIDCT）では、画素値ベクトルｘ^oを求めていないため、式（数６４）を用いて、最終的に画素値ベクトルxを求めてＳ２８０の処理に移行し終了する。 [Modification 7]
In this modification, the input DCT transform coefficient is approximated in S210 of FIG. Although the final IDCT cannot be approximated, the calculation at the time of calculating the pixel value used for filtering during the calculation can be approximated.
Specifically, the conversion coefficient change amount is converted into a pixel value change amount using the equation (Equation 1) in the first embodiment.
The equation (1) is, as a target only pixel value vector x ₀ used for filtering, some of the elements in the transform coefficient vector c ^o is to perform approximation that is dominant in the vector x ₀ is calculated.
In this modified example 7, instead of inversely transforming the entire input conversion coefficient, the first IDCT is performed using the above equation (Equation 1).
However, in this modification, the pixel value vector x ^o is not obtained in S210 (first IDCT) in FIG. 11, and therefore the pixel value vector x is finally obtained using the equation (Equation 64). It shifts to processing and ends.

［その他の変形例］
上記第１及び第２の実施形態では、DCTあるいはIDCTにおいて、mあるいはpの値を小さくする簡略化を行った。このとき、DCT時とIDCT時において、同じｍの値を用いていた。あるいは、DCT時とIDCT時において、同じpの値を用いていた。
しかしながら、DCT時とIDCT時で同じmの値を用いる必要はない。あるいは、DCT時とIDCT時で同じpの値を用いる必要はない。
例えば、DCTあるいはIDCTの何れかがハードウェア化されていて、簡略化の必要のない場合などには、一旦全ての画素値あるいはDCT係数を算出しておいてから、必要なものだけを抽出すれば良い。 [Other variations]
In the first and second embodiments, simplification of reducing the value of m or p was performed in DCT or IDCT. At this time, the same value of m was used during DCT and IDCT. Alternatively, the same p value was used during DCT and IDCT.
However, it is not necessary to use the same value of m for DCT and IDCT. Alternatively, it is not necessary to use the same p value during DCT and IDCT.
For example, if either DCT or IDCT is implemented in hardware and simplification is not necessary, calculate all pixel values or DCT coefficients and then extract only the necessary ones. It ’s fine.

例えば、上記第２の実施形態において、式（数４）において量子化範囲を逸脱するかどうか判断した後に、再度式（数４５）を用いてIDCT演算を行っていた。
ここで、全てのp個のDCT係数が量子化範囲を逸脱していない場合には、再度IDCTを行う必要がなく、例えば、式（数２）によりで算出された画素値変化量ｅ_０'をそのまま用いればよい。 For example, in the second embodiment, after determining whether or not the quantization range is deviated in Expression (Expression 4), the IDCT calculation is performed again using Expression (Expression 45).
Here, when all the p DCT coefficients do not deviate from the quantization range, it is not necessary to perform IDCT again. For example, the pixel value change amount e ₀ ′ calculated by the equation (Equation 2). Can be used as they are.

上記実施形態では、最後のIDCT演算（例えば、式（数４５））において、簡略化IDCT演算を行っていた。
ここで、簡略化IDCTでは演算誤差が発生する危険性がある。そこで、最終の画素値ベクトルxを求めて復号化処理を終了する場合には、式（数４５）などの簡略化ＩＤＣＴではなく、簡略化しないIDCTを用いてもよい。すなわち、最後のＩＤＣＴ処理では、以下の式（数７９）による。 In the above embodiment, the simplified IDCT calculation is performed in the last IDCT calculation (for example, Expression (Equation 45)).
Here, in the simplified IDCT, there is a risk that a calculation error occurs. Therefore, when the final pixel value vector x is obtained and the decoding process is terminated, an IDCT that is not simplified may be used instead of the simplified IDCT such as Expression (Equation 45). That is, in the last IDCT processing, the following equation (Equation 79) is used.

また、上記第２の実施形態では、複数回、反復処理を行う形態を説明したが、この反復処理を1回のみ(すなわち、簡略化DCTを一度だけ行う場合)行ってもよい。この場合にも、簡略化ＤＣＴなどを適用する効果が存在する。
また、上記第１の実施形態と上記第２の実施形態とを組み合わせてもよい。 Further, in the second embodiment, the form in which the iterative process is performed a plurality of times has been described. However, this iterative process may be performed only once (that is, when the simplified DCT is performed only once). Also in this case, there is an effect of applying simplified DCT or the like.
Further, the first embodiment and the second embodiment may be combined.

［演算量に関する考察］
上記では、64×64DCT変換行列を用いたアルゴリズムを説明した。実際のDCT変換では、8×8行列の乗算を2回行う変換でよい。さらに、DCTには高速算法が存在する。8×8行列乗算行うDCT変換、64×64変換行列を用いるDCT変換それぞれに、別の高速算法を設定することが可能である。ベクトル次元を削減した場合には、削減の方法によって、高速算法を適用できる場合とできない場合が存在する。そのため、ベクトル次元と演算量の関係は複雑であり、単純にベクトル次元を減らすことによって、DCT、IDCTの演算量を常に減少させられるとは限らない。
そこで、ここでは上記第１の実施形態又は第２の実施形態に関して厳しい方向で評価を行う。ベクトル次元を削減する場合(本実施形態)には高速算法を適用せず、ベクトル次元を削減しない従来手法の場合には高速算法を適用して、演算量の評価を行う。
演算量に関して、DCTとIDCTは対称な変換であるため、ここではDCTの演算量を見積もる。8×8のDCT変換行列をTとする。8×8の入力画素ブロックをB、8×8のDCT係数行列をCとする。通常、次式を用いてDCT演算が行われる。以下、各行列T、B、CをM×M行列とする。ちなみに、N=M²である。 [Consideration of computational complexity]
In the above, the algorithm using the 64 × 64 DCT transformation matrix has been described. In the actual DCT transform, a transform in which 8 × 8 matrix multiplication is performed twice may be used. In addition, DCT has a fast algorithm. It is possible to set different high-speed arithmetic methods for the DCT transformation that performs 8 × 8 matrix multiplication and the DCT transformation that uses a 64 × 64 transformation matrix. When the vector dimension is reduced, there are cases where high-speed arithmetic can be applied and where it cannot be applied depending on the reduction method. For this reason, the relationship between the vector dimension and the calculation amount is complicated, and the calculation amount of DCT and IDCT cannot always be reduced by simply reducing the vector dimension.
Therefore, here, evaluation is performed in a severe direction with respect to the first embodiment or the second embodiment. In the case of reducing the vector dimension (this embodiment), the high-speed arithmetic method is not applied, and in the case of the conventional method that does not reduce the vector dimension, the high-speed arithmetic method is applied to evaluate the calculation amount.
Since DCT and IDCT are symmetrical transformations regarding the amount of computation, the amount of computation of DCT is estimated here. Let T be an 8 × 8 DCT transformation matrix. The 8 × 8 input pixel block is B, and the 8 × 8 DCT coefficient matrix is C. Usually, DCT calculation is performed using the following equation. Hereinafter, each matrix T, B, and C is assumed to be an M × M matrix. By the way, it is N = M ^2.

上式をそのまま計算する場合、積和演算の回数は、2×M×M²=2 M³ = 1024となるが、ここにChenの高速演算アルゴリズムを適用すると以下のように演算回数を削減させることができる。 When the above formula is calculated as it is, the number of product-sum operations is 2 x M x M ² = 2 M ³ = 1024, but when Chen's high-speed algorithm is applied here, the number of operations is reduced as follows: be able to.

これに対して、本実施形態の方式を適用した場合の演算回数を見積もる。画素値ベクトルxの次元数がm、変換係数ベクトルcの次元数がpのとき、簡略化DCT変換行列はp行m列である。このとき、積和演算回数は、pmとなる(厳密には加算回数は積算回数よりも小さいが、ここでは加算と積算が同一回数として多めに見積もっている)。p, mを変化させたときの様子を図１２に示す。
図１２に示すように、ベクトル次元(m、および、p)を小さくした場合には、従来のDCT、IDCTよりも明らかに演算量を削減させることができることが分かる。 On the other hand, the number of operations when the method of the present embodiment is applied is estimated. When the dimensionality of the pixel value vector x is m and the dimensionality of the transform coefficient vector c is p, the simplified DCT transformation matrix is p rows and m columns. At this time, the number of product-sum operations is pm (strictly speaking, the number of additions is smaller than the number of integrations, but here, addition and integration are estimated as the same number of times). FIG. 12 shows the state when p and m are changed.
As shown in FIG. 12, it can be seen that when the vector dimension (m and p) is reduced, the amount of calculation can be clearly reduced as compared with the conventional DCT and IDCT.

本発明にかかる復号化方法が適応される復号化装置２のハードウェア構成を、制御装置２０を中心に例示する図である。It is a figure which illustrates the hardware constitutions of the decoding apparatus 2 with which the decoding method concerning this invention is applied centering on the control apparatus 20. FIG. 制御装置２０（図１）により実行され、本発明にかかる復号化方法を実現する復号化プログラム５の機能構成を例示する図である。It is a figure which illustrates the functional structure of the decoding program 5 which is performed by the control apparatus 20 (FIG. 1) and implement | achieves the decoding method concerning this invention. フィルタ処理部５２０（図２）によるフィルタ処理を説明する図である。It is a figure explaining the filter process by the filter process part 520 (FIG. 2). 復号化プログラム５（図２）による復号化処理（Ｓ１０）を説明するフローチャートである。It is a flowchart explaining the decoding process (S10) by the decoding program 5 (FIG. 2). 第２のフィルタ処理を説明する図である。It is a figure explaining a 2nd filter process. 第３のフィルタ処理を説明する図である。It is a figure explaining a 3rd filter process. 第４のフィルタ処理を説明する図である。It is a figure explaining a 4th filter process. 第５のフィルタ処理を説明する図である。It is a figure explaining a 5th filter process. 第６のフィルタ処理を説明する図である。It is a figure explaining the 6th filter processing. 制御装置２０（図１）により実行される第２の復号化プログラム６の機能構成を例示する図である。It is a figure which illustrates the function structure of the 2nd decoding program 6 performed by the control apparatus 20 (FIG. 1). 第２の復号化プログラム６（図１０）による復号化処理（Ｓ２０）を説明するフローチャートである。It is a flowchart explaining the decoding process (S20) by the 2nd decoding program 6 (FIG. 10). 演算量を評価するためのグラフである。It is a graph for evaluating the amount of calculation.

符号の説明Explanation of symbols

２・・・復号化装置
５・・・復号化プログラム
５００・・・エントロピ復号部
５１０・・・部分逆変換部
５２０・・・フィルタ処理部
５３０・・・部分変換部
５４０・・・範囲保証部
５５０・・・係数補正部
５６０・・・全体逆変換部
６・・・復号化プログラム
６００・・・エントロピ復号部
６１０・・・全体逆変換部
６２０・・・終了判定部
６３０・・・フィルタ処理部
６４０・・・部分変換部
６５０・・・範囲保証部
６６０・・・部分逆変換部 DESCRIPTION OF SYMBOLS 2 ... Decoding apparatus 5 ... Decoding program 500 ... Entropy decoding part 510 ... Partial reverse conversion part 520 ... Filter processing part 530 ... Partial conversion part 540 ... Range guarantee part 550: coefficient correction unit 560: overall inverse transform unit 6 ... decoding program 600 ... entropy decoding unit 610 ... overall inverse transform unit 620 ... end determination unit 630 ... filter processing Part 640 ... partial conversion part 650 ... range guarantee part 660 ... partial reverse conversion part

Claims (8)

画像に対しブロック単位で直交変換して生成された１ブロック分の変換係数のうち一部を逆変換して、該ブロックの一部の画素値を生成する部分逆変換手段と、
前記部分逆変換手段により生成された一部の画素値に対してフィルタ処理を施し、該フィルタ処理による一部の画素値の変化量を算出するフィルタ処理手段と、
前記フィルタ処理手段により算出された一部の画素値の変化量を直交変換して、前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を生成する部分変換手段と、
前記部分変換手段により生成された変化量を調整して、前記１ブロック分の変換係数に対し調整後の該変化量を加算した値が符号化の際の量子化範囲に収まるようにする範囲保障手段と、
前記範囲保障手段により調整された変化量を加算し、前記１ブロック分の変換係数を補正する係数補正手段と、
前記係数補正手段により補正された前記１ブロック分の変換係数の全部を逆変換して、画素値を生成する全体逆変換手段と
を有する復号化装置。 A partial inverse transform unit that inversely transforms a part of transform coefficients for one block generated by orthogonal transform in units of blocks with respect to an image to generate a pixel value of a part of the block ;
The partial inverse transform means performs a filtering process for the pixel values of some generated by, and filtering means for calculating a change amount of the part of the pixel values by the filter processing,
A partial conversion unit that orthogonally transforms a change amount of a part of pixel values calculated by the filter processing unit and generates a change amount for a part of the conversion coefficients of the one block;
A range guarantee by adjusting the amount of change generated by the partial conversion means so that the value obtained by adding the adjusted amount of change to the transform coefficient for one block is within the quantization range at the time of encoding. Means,
Coefficient correction means for adding the amount of change adjusted by the range guarantee means and correcting the conversion coefficient for the one block ;
A decoding apparatus comprising: an overall inverse transform unit that inversely transforms all of the transform coefficients for one block corrected by the coefficient correction unit to generate a pixel value . 前記部分逆変換手段は、１ブロック分の変換係数のうち、低周波側の変換係数を抽出し、抽出された変換係数のみを逆変換する
請求項１に記載の復号化装置。 The decoding apparatus according to claim 1 , wherein the partial inverse transforming unit extracts a transform coefficient on a low frequency side from transform coefficients for one block , and inversely transforms only the extracted transform coefficient. 前記部分逆変換手段は、ブロックの周縁部の画素値に相当する変換係数を逆変換し、
前記フィルタ処理手段は、逆変換されたブロック周縁部の画素値に対して、フィルタ処理をし、
前記部分変換手段は、ブロック周縁部の画素値の変化量に直交変換を行う
請求項２に記載の復号化装置。 The partial reverse conversion means reversely converts a conversion coefficient corresponding to a pixel value at a peripheral portion of the block,
The filter processing means performs a filtering process on the pixel values of the block peripheral portion subjected to the inverse transformation ,
The decoding device according to claim 2 , wherein the partial conversion unit performs orthogonal transform on a change amount of a pixel value at a block peripheral portion . 既定の反復処理により画素値に対する補正量を決定する復号化装置であって、
画像に対しブロック単位で直交変換して生成された１ブロック分の変換係数の全部を逆変換して、画素値を生成する全体逆変換手段と、
前記反復処理の一部として、前記全体逆変換手段により生成された画素値の一部、又は、前記全体逆変換手段により生成された画素値に補正がなされた画素値の一部に対してフィルタ処理を施し、該フィルタ処理による一部の画素値の変化量を算出するフィルタ処理手段と、
前記反復処理の一部として、前記フィルタ処理手段により算出された一部の画素値の変化量を直交変換して、前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を生成する部分変換手段と、
前記反復処理の一部として、前記部分変換手段により生成された変化量を調整して、前記１ブロック分の変換係数に対し調整後の該変化量を加算した値が符号化の際の量子化範囲に収まるようにする範囲保障手段と、
前記反復処理の一部として、前記範囲保障手段により調整された前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を逆変換して、該ブロックの一部の画素値の変化量を生成する部分逆変換手段と、
前記全体逆変換手段により生成される画素値、又は、前記全体逆変換手段により生成される画素値と前記部分逆変換手段により生成される画素値の変化量との合算値に基づいて、前記反復処理を終了するか否かを判定する終了判定手段と
を有する復号化装置。 A decoding device that determines a correction amount for a pixel value by a predetermined iterative process,
An overall inverse transforming means for inversely transforming all of the transform coefficients for one block generated by orthogonally transforming the image in units of blocks and generating pixel values;
As part of the iterative process, part of the pixel values generated by the inverse conversion means entire, or for the part of the pixel value correction has been performed to the generated pixel value by inverse conversion means across said filter Filter processing means for performing processing and calculating a change amount of a part of pixel values by the filter processing;
As a part of the iterative process, the amount of change of a part of pixel values calculated by the filter processing unit is orthogonally transformed to generate a part of the transform coefficient for one block of the transform coefficient. Partial conversion means for
As part of the iterative process, the amount of change generated by the partial conversion means is adjusted, and the value obtained by adding the adjusted amount of change to the conversion coefficient for one block is quantized at the time of encoding. Range guarantee means to make it fit within the range;
As a part of the iterative process, a change in the pixel value of a part of the block is performed by inversely transforming a change amount for a part of the transform coefficients of the one block adjusted by the range guarantee unit. Partial inversion means for generating a quantity ;
Based on the pixel value generated by the total inverse transform unit or the sum of the pixel value generated by the total inverse transform unit and the change amount of the pixel value generated by the partial inverse transform unit, the iteration Decoding apparatus comprising: end determination means for determining whether or not to end the process. 前記フィルタ処理手段は、フィルタ処理としてローパスフィルタを掛ける
請求項４に記載の復号化装置。 It said filtering means, decoding apparatus according to claim 4, Ru multiplied by the low-pass filter as the filter process. 前記部分変換手段は、画素値を変換係数に変換する変換行列の部分行列を用いて、前記フィルタ処理手段により算出された一部の画素値の変化量を直交変換し、
前記部分逆変換手段は、変換係数を画素値に変換する逆変換行列の部分行列を用いて、前記範囲保障手段により調整された前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を直交変換する
請求項４又は５に記載の復号化装置。 The partial transforming means orthogonally transforms a change amount of a part of pixel values calculated by the filter processing means using a partial matrix of a transformation matrix that transforms pixel values into transform coefficients,
The partial inverse transform means uses a partial matrix of an inverse transform matrix that transforms transform coefficients into pixel values, and changes to some transform coefficients of the transform coefficients for one block adjusted by the range guarantee means The decoding device according to claim 4 or 5 , wherein the quantity is orthogonally transformed. 画像に対しブロック単位で直交変換して生成された１ブロック分の変換係数のうち一部を逆変換して、該ブロックの一部の画素値を生成し、
生成された一部の画素値に対してフィルタ処理を施し、該フィルタ処理による一部の画素値の変化量を算出し、
算出された一部の画素値の変化量を直交変換して、前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を生成し、
生成された変化量を調整して、前記１ブロック分の変換係数に対し調整後の該変化量を加算した値が符号化の際の量子化範囲に収まるようにし、
調整された変化量を加算し、前記１ブロック分の変換係数を補正し、
補正された前記１ブロック分の変換係数の全部を逆変換して、画素値を生成する
復号化方法。 A part of transform coefficients for one block generated by performing orthogonal transform on an image block by block is inversely transformed to generate a pixel value of a part of the block ,
Subjected to filter processing for the generated part of the pixel value, to calculate the amount of change in a part of the pixel values by the filter processing,
The amount of change in the calculated part of the pixel values is orthogonally transformed to generate the amount of change for a part of the transform coefficients for the one block,
The generated change amount is adjusted so that the value obtained by adding the adjusted change amount to the transform coefficient for one block falls within the quantization range at the time of encoding,
Add the adjusted amount of change , correct the conversion coefficient for one block ,
A decoding method for generating a pixel value by inversely transforming all of the corrected transform coefficients for one block . 画像に対しブロック単位で直交変換して生成された１ブロック分の変換係数のうち一部を逆変換して、該ブロックの一部の画素値を生成するステップと、
生成された一部の画素値に対してフィルタ処理を施し、該フィルタ処理による一部の画素値の変化量を算出するステップと、
算出された一部の画素値の変化量を直交変換して、前記１ブロック分の変換係数のうちの一部の変換係数に対する変化量を生成するステップと、
生成された変化量を調整して、前記１ブロック分の変換係数に対し調整後の該変化量を加算した値が符号化の際の量子化範囲に収まるようにするステップと、
調整された変化量を加算し、前記１ブロック分の変換係数を補正するステップと、
補正された前記１ブロック分の変換係数の全部を逆変換して、画素値を生成するステップと
をコンピュータに実行させるプログラム。

A step of inversely transforming a part of transform coefficients for one block generated by orthogonal transform in units of blocks for an image to generate a pixel value of a part of the block ;
Subjected to filter processing for the generated part of the pixel values, and calculating a change amount of the part of the pixel values by the filter processing,
A step of orthogonally transforming the calculated change amount of a part of pixel values to generate a change amount for a part of the transform coefficients of the one block;
Adjusting the generated change amount so that a value obtained by adding the adjusted change amount to the transform coefficient for one block is within a quantization range at the time of encoding;
Adding the adjusted amount of change and correcting the conversion coefficient for one block ;
A program that causes a computer to execute a step of inversely converting all of the corrected conversion coefficients for one block to generate pixel values .

Images