JP5909149B2 - COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF - Google Patents
COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF Download PDFInfo
- Publication number
- JP5909149B2 JP5909149B2 JP2012111867A JP2012111867A JP5909149B2 JP 5909149 B2 JP5909149 B2 JP 5909149B2 JP 2012111867 A JP2012111867 A JP 2012111867A JP 2012111867 A JP2012111867 A JP 2012111867A JP 5909149 B2 JP5909149 B2 JP 5909149B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- conversion
- unit
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims description 357
- 238000013139 quantization Methods 0.000 claims description 167
- 238000000034 method Methods 0.000 claims description 94
- 230000006866 deterioration Effects 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 51
- 238000000513 principal component analysis Methods 0.000 claims description 36
- 230000015556 catabolic process Effects 0.000 claims description 35
- 238000006731 degradation reaction Methods 0.000 claims description 35
- 238000004088 simulation Methods 0.000 claims description 22
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 33
- 230000009466 transformation Effects 0.000 description 16
- 230000001131 transforming effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、カラー画像を符号化する際の前処理に関し、とくにカラー画像の色成分を、異なる色空間の色成分に変換する技術に関する。 The present invention relates to preprocessing for encoding a color image, and more particularly to a technique for converting a color component of a color image into a color component of a different color space.
画像符号化においては、カラー画像を扱う際に、輝度１成分と色差２成分とに変換することが行われている。例えば、赤、青および緑の３成分を、輝度１成分と色差２成分とに変換する際には、ＩＴＵ−Ｒ ＢＴ．６０１規格に定める色変換行列や、ＩＴＵ−Ｒ ＢＴ．７０９規格に定める色変換行列が用いられている。輝度の方が色差よりも視覚的に目立ちやすいため、前記したような色変換行列は、符号化による色差よりも輝度の画質劣化が少なくなるように設定されることが多い。例えば、輝度画像の画素数は変化させずに、色差画像のみについて画素数を１／２または１／４に間引くことがよく行われている。この間引き操作は、カラーサブサンプリングと呼ばれている。
In image coding, when a color image is handled, conversion into a
カラーサブサンプリングの手法において、色差画像の画素数を水平方向のみに１／２に間引いた信号は４：２：２フォーマットと呼ばれており、色差画像の画素数を水平方向および垂直方向にそれぞれ１／２に間引いた信号は４：２：０フォーマットと呼ばれている。一方、輝度および色差がすべて同一の水平および垂直画素数からなる信号は４：４：４フォーマットと呼ばれている。
また、ディジタルカメラやビデオにおいては、色味が所望のものとなるようホワイトバランスの調整が行われている。従来、ホワイトバランスの調整を自動化する技術が種々提案されている（特許文献１，２参照）。
In the method of color subsampling, a signal obtained by thinning the number of pixels of the color difference image by 1/2 in only the horizontal direction is called 4: 2: 2 format, and the number of pixels of the color difference image is set in the horizontal direction and the vertical direction, respectively. The signal thinned by 1/2 is called 4: 2: 0 format. On the other hand, a signal composed of the same number of horizontal and vertical pixels having the same luminance and color difference is called a 4: 4: 4 format.
Also, in digital cameras and videos, white balance is adjusted so that the desired color tone is obtained. Conventionally, various techniques for automating white balance adjustment have been proposed (see
しかしながら、前記した従来の規格では、入力画像によらず常に同じ色変換行列が用いられる。このため、例えば、色相の異なる色で構成された細かいテクスチャ（細かいストライプなど）は、色差画像上にも細かいテクスチャとして現れる。これをカラーサブサンプリングすると、このテクスチャがつぶれてしまったりモアレを生じてしまったりした結果、著しい画質劣化を招いてしまう。また、入力画像の色味が標準的な色味から偏っている場合（例えば、夕日の色味での撮影など色温度が符号化手法の想定と異なる場合や、色かぶりを生じている場合）にも、色差画像のパワーが想定以上に大きくなり、カラーサブサンプリングの悪影響が目立ちやすくなる。 However, in the conventional standard described above, the same color conversion matrix is always used regardless of the input image. For this reason, for example, a fine texture (such as a fine stripe) composed of colors having different hues appears as a fine texture on the color difference image. When this color sub-sampling is performed, this texture is crushed or moire is generated, resulting in significant image quality degradation. Also, when the color of the input image is deviated from the standard color (for example, when the color temperature is different from the encoding method assumption such as shooting in the color of the sunset, or when color cast occurs) In addition, the power of the color difference image becomes larger than expected, and the adverse effect of color sub-sampling becomes conspicuous.
また、特許文献１，２に示したようなホワイトバランスの調整を自動化する技術によれば、被写体の色味を所定の色味に補正できるため、特に色温度の差異や色かぶりの影響を除くことができるものの、被写体のテクスチャの細かさなどは考慮されないため、カラーサブサンプリング後の画質劣化を防止することはできない。また、演出上の意図によってカラーバランスを敢えて崩した場合には、色差成分が符号化装置の想定される値を逸してしまい、符号化効率の低下を招くことがある。
Further, according to the technology for automating white balance adjustment as shown in
そこで、本発明は、カラー画像の色成分ごとの符号化劣化成分の発生の度合いを考慮して符号化劣化成分の発生を抑制するような色変換を行うことで、符号化時の画質劣化を抑制する技術を提供することを課題とする。 In view of this, the present invention reduces the image quality deterioration during encoding by performing color conversion that suppresses the generation of encoding deterioration components in consideration of the degree of generation of encoding deterioration components for each color component of a color image. It is an object of the present invention to provide a technology for suppressing the problem.
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の色変換装置は、カラー画像を構成する各色成分を、符号化時の画質劣化が少なくなるような新たな色成分にそれぞれ変換する色変換装置であって、劣化推定手段と、主成分分析手段と、色空間変換手段と、を備えることを特徴とする。
The present invention has been made to solve the above-mentioned problems. First, the color conversion apparatus according to
かかる構成によれば、色変換装置は、色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定することで、想定される画像符号化方式で用いられる符号化処理を模擬する処理を行い、カラー画像の符号化時に付加される符号化劣化成分を画素ごと色ごとに特定することができる。 According to such a configuration, the color conversion apparatus inputs an image for each color component, and estimates an image deterioration component added at the time of encoding the input image for each pixel, thereby assuming an assumed image code. Processing for simulating the encoding processing used in the encoding method can be performed, and the encoding deterioration component added at the time of encoding the color image can be specified for each pixel and for each color.
また、色変換装置は、主成分分析手段によって、劣化推定手段によって推定された符号化劣化成分を主成分分析して、カラー画像の符号化時に劣化しやすい色成分を順位付けすることができる。 In addition, the color conversion apparatus can perform principal component analysis on the encoded deterioration component estimated by the deterioration estimation unit by the principal component analysis unit, and can rank the color components that are likely to be deteriorated when the color image is encoded.
さらに、色変換装置は、色空間変換手段によって、主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各入力画像にそれぞれ乗算して、各色成分を、当該各色成分の色空間とは異なる色空間の新たな色成分にそれぞれ変換する。ここで、主成分分析手段による主成分分析によって得られた色変換行列は、固有値（各主成分の重み）に基づいて生成されるものであり、固有値が大きいほどその主成分が画質劣化成分に占める割合が多く、固有値が小さいほどその主成分がその主成分が画質劣化成分に占める割合が少ないことを示している。したがって、固有値が大きいほど、その色成分が劣化しやすく、固有値が小さいほどその色成分が劣化しにくいといえる。 Further, the color conversion device multiplies each input image by a color conversion matrix based on the coupling coefficient obtained by the principal component analysis by the principal component analysis unit by the color space conversion unit, and converts each color component to each color component. Each is converted to a new color component in a color space different from the color space. Here, the color conversion matrix obtained by the principal component analysis by the principal component analysis means is generated based on the eigenvalue (the weight of each principal component), and the larger the eigenvalue, the more the principal component becomes the image quality degradation component. It shows that the larger the proportion and the smaller the eigenvalue, the smaller the proportion of the principal component in the image quality degradation component. Therefore, it can be said that the larger the eigenvalue, the easier the color component deteriorates, and the smaller the eigenvalue, the harder the color component deteriorates.
このようなカラー画像の符号化時の各色成分の劣化しやすさを表す色変換行列を入力画像ごとに乗算することで、劣化しやすい色成分の色空間を劣化しにくい色空間の色成分へと変換することができる。この新たな色空間は、その各軸が画像を符号化したときに損失の最も大きくなる軸から順次直交基底を張るため、符号化劣化成分を受けやすい色成分から影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。 By multiplying each input image by a color conversion matrix that represents the ease of deterioration of each color component at the time of encoding such a color image, the color space of a color component that is easily deteriorated is changed to a color component of a color space that is difficult to deteriorate. And can be converted. In this new color space, each axis has an orthogonal basis in order from the axis with the largest loss when the image is encoded, so that the color component that is susceptible to the encoding degradation component is changed to the color component that is not easily affected. Color separation with priorities can be performed.
また、請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、変換手段と、量子化手段と、逆変換手段と、減算手段と、を備えることとした。 According to a second aspect of the present invention, in the color conversion device according to the first aspect, the deterioration estimation unit includes a conversion unit, a quantization unit, an inverse conversion unit, and a subtraction unit. It was.
かかる構成によれば、色変換装置は、変換手段によって、入力画像に対し周波数変換を行い、周波数係数からなる変換係数列を生成する。これによって、入力画像の信号が空間領域のデータから空間周波数領域の数値データへと変換される。例えば、色変換装置は、変換手段によって、入力画像を複数のブロックに分けてそれぞれのブロックに対し離散コサイン変換のような線形直交変換を行う。 According to such a configuration, the color conversion apparatus performs frequency conversion on the input image by the conversion unit, and generates a conversion coefficient sequence including frequency coefficients. As a result, the signal of the input image is converted from data in the spatial domain to numerical data in the spatial frequency domain. For example, the color conversion apparatus divides the input image into a plurality of blocks by the conversion unit, and performs linear orthogonal transformation such as discrete cosine transformation on each block.
また、色変換装置は、量子化手段によって、変換手段により求められた変換係数列の複数の周波数係数の中から高周波成分を所定量削減した量子化データを生成する。これによって、入力画像に対し、想定される画像符号化方式で量子化を行ったときの情報の損失を模擬することができる。 In addition, the color conversion apparatus generates quantized data in which the high-frequency component is reduced by a predetermined amount from the plurality of frequency coefficients of the conversion coefficient sequence obtained by the conversion means by the quantization means. Thereby, it is possible to simulate the loss of information when the input image is quantized using the assumed image encoding method.
さらに、色変換装置は、逆変換手段によって、量子化手段によって生成された量子化データに対し、変換手段による周波数変換の逆変換を行う。例えば、変換手段によって、入力画像に対し離散コサイン変換を行った場合、逆変換手段によって、量子化データに対し逆離散コサイン変換を行って空間周波数領域の数値データから空間領域の画像データを再構築し、劣化模擬画像を生成する。この劣化模擬画像は、変換手段と量子化手段とを経ることによって、元の入力画像に対し高周波成分が削減されているので、元の入力画像よりも劣化した画像となる。 Further, the color conversion apparatus performs inverse conversion of frequency conversion by the conversion unit on the quantized data generated by the quantization unit by the inverse conversion unit. For example, when discrete cosine transform is performed on the input image by the transform means, inverse discrete cosine transform is performed on the quantized data by the inverse transform means to reconstruct the spatial domain image data from numerical data in the spatial frequency domain Then, a deterioration simulation image is generated. This deterioration simulation image is an image deteriorated from the original input image because the high-frequency component is reduced with respect to the original input image by passing through the conversion means and the quantization means.
次に、色変換装置は、減算手段によって、入力画像と、逆変換手段によって生成された劣化模擬画像との差分をとり、符号化劣化成分として、入力画像と劣化模擬画像との差分画像を生成する。前記したように、これにより、想定される画像符号化方式による入力画像の符号化時に損失する情報を推定することができる。 Next, the color conversion apparatus takes the difference between the input image and the deterioration simulation image generated by the inverse conversion means by the subtracting means, and generates a difference image between the input image and the deterioration simulation image as an encoded deterioration component. To do. As described above, this makes it possible to estimate information that is lost when an input image is encoded by an assumed image encoding method.
請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、変換手段と、量子化手段と、逆量子化手段と、逆変換手段と、減算手段と、を備えることとした。 According to a second aspect of the present invention, in the color conversion device according to the first aspect, the deterioration estimation unit includes a conversion unit, a quantization unit, an inverse quantization unit, an inverse conversion unit, and a subtraction unit. It was decided to provide.
かかる構成によれば、色変換装置は、変換手段によって、入力画像に対し周波数変換を行い、周波数係数からなる変換係数列を生成する。これによって、入力画像の信号が空間領域のデータから空間周波数領域の数値データへと変換される。例えば、色変換装置は、変換手段によって、入力画像を複数のブロックに分けてそれぞれのブロックに対し離散コサイン変換のような線形直交変換を行う。 According to such a configuration, the color conversion apparatus performs frequency conversion on the input image by the conversion unit, and generates a conversion coefficient sequence including frequency coefficients. As a result, the signal of the input image is converted from data in the spatial domain to numerical data in the spatial frequency domain. For example, the color conversion apparatus divides the input image into a plurality of blocks by the conversion unit, and performs linear orthogonal transformation such as discrete cosine transformation on each block.
また、色変換装置は、量子化手段によって、各周波数係数を量子化テーブルの量子化ステップで除算して量子化データを生成する。これによって、入力画像に対し、想定される画像符号化方式で量子化を行ったときの情報の損失を模擬することができる。
さらに、色変換装置は、逆量子化手段によって、量子化手段により生成された量子化データに対し、前記量子化ステップを乗算して逆量子化データを生成する。これにより、空間周波数領域の数値データを再構築することができる。
Also, the color conversion device generates quantized data by dividing each frequency coefficient by the quantization step of the quantization table by the quantization means. Thereby, it is possible to simulate the loss of information when the input image is quantized using the assumed image encoding method.
Further, the color conversion device generates inversely quantized data by multiplying the quantized data generated by the quantizing means by the quantization step by the inverse quantizing means. Thereby, numerical data in the spatial frequency domain can be reconstructed.
続いて、色変換装置は、逆変換手段によって、逆量子化手段によって生成された逆量子化データに対し、変換手段による周波数変換の逆変換を行う。例えば、変換手段によって、入力画像に対し離散コサイン変換を行った場合、逆変換手段によって、逆量子化データに対し逆離散コサイン変換を行って空間周波数領域の数値データから空間領域の画像データを再構築し、劣化模擬画像を生成する。この劣化模擬画像は、変換手段と量子化手段とを経ることによって、元の入力画像に対し高周波成分が削減されているので、元の入力画像よりも劣化した画像となる。 Subsequently, the color conversion apparatus performs inverse conversion of frequency conversion by the conversion unit on the inversely quantized data generated by the inverse quantization unit by the inverse conversion unit. For example, when a discrete cosine transform is performed on the input image by the transform unit, the inverse discrete cosine transform is performed on the inverse quantized data by the inverse transform unit, and the spatial domain image data is regenerated from the spatial frequency domain numerical data. Build and generate simulated degradation images. This deterioration simulation image is an image deteriorated from the original input image because the high-frequency component is reduced with respect to the original input image by passing through the conversion means and the quantization means.
そして、色変換装置は、減算手段によって、入力画像と、逆変換手段によって生成された劣化模擬画像との差分をとり、符号化劣化成分として、入力画像と劣化模擬画像との差分画像を生成する。前記したように、これにより、想定される画像符号化方式による入力画像の符号化時に損失する情報を推定することができる。 Then, the color conversion apparatus takes the difference between the input image and the deterioration simulation image generated by the inverse conversion means by the subtracting means, and generates a difference image between the input image and the deterioration simulation image as an encoded deterioration component. . As described above, this makes it possible to estimate information that is lost when an input image is encoded by an assumed image encoding method.
請求項３に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、予測残差推定手段と、変換手段と、量子化手段と、逆変換手段と、減算手段と、を備えることとした。 According to a third aspect of the present invention, in the color conversion device according to the first aspect, the deterioration estimation unit includes a prediction residual estimation unit, a conversion unit, a quantization unit, an inverse conversion unit, and a subtraction unit. And so on.
請求項３に記載の色変換装置は、請求項２に記載の色変換装置に対し、動画像の動き補償を模擬するための予測残差推定手段をさらに設けた点が相違する。
かかる構成によれば、色変換装置は、予測残差推定手段によって、入力画像に対し、想定される動画像の画像符号化方式で行われる動き補償と同等の処理を行う。これにより、想定される動画像の画像符号化方式で動き補償を行ったのと同等の結果が得られる。その他の構成については、前記した請求項２に記載の発明の説明のとおりであるので、ここでは説明を省略する。
The color conversion apparatus according to claim 3 is different from the color conversion apparatus according to claim 2 in that a prediction residual estimation unit for simulating motion compensation of a moving image is further provided.
According to such a configuration, the color conversion apparatus performs a process equivalent to the motion compensation performed in the assumed moving image coding method on the input image by the prediction residual estimation unit. As a result, a result equivalent to that obtained by performing motion compensation using the assumed video encoding method of moving images can be obtained. Other configurations are the same as those described in the second aspect of the present invention, and the description thereof is omitted here.
請求項４に記載の符号化器は、カラー画像を符号化する符号化器であって、請求項２に記載の色変換装置と、符号化装置と、を備えることとした。
かかる構成によれば、色変換装置は、入力画像の各色成分を新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成する。色変換装置の作用は、前記した通りであるので、ここでは詳細な説明は省略する。
符号化装置は、色変換装置で生成された新たな各色成分でなる画像に対し、色変換装置の変換手段と同じ変換を行うとともに、色変換装置の量子化手段と同じ量子化を行う。
このように、符号化器は、色変換装置が、符号化装置による変換、および、量子化と同じ処理を行う変換手段、および、量子化手段を備えるので、色変換装置によって、符号化時の劣化を正確に模擬することができる。
An encoder according to a fourth aspect is an encoder that encodes a color image, and includes the color conversion device according to the second aspect and the encoding device.
According to such a configuration, the color conversion device converts each color component of the input image to a new color component, and generates an image composed of the new color component. Since the operation of the color conversion device is as described above, detailed description thereof is omitted here.
The encoding device performs the same conversion as the conversion unit of the color conversion device, and the same quantization as the quantization unit of the color conversion device, on the image including the new color components generated by the color conversion device.
Thus, the encoder includes a conversion unit that performs the same processing as the conversion and quantization performed by the color conversion device, and a quantization unit. Degradation can be accurately simulated.
請求項５に記載の符号化器は、カラー画像を符号化する符号化器であって、請求項３に記載の色変換装置と、符号化装置と、を備えることとした。
かかる構成によれば、色変換装置は、入力画像の各色成分を新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成する。色変換装置の作用は、前記した通りであるので、ここでは詳細な説明は省略する。
符号化装置は、色変換装置で生成された前記新たな各色成分でなる画像に対し、色変換装置の予測残差推定手段と同じ予測残差推定処理を行い、色変換装置の変換手段と同じ変換処理を行い、さらに、色変換装置の量子化手段と同じ量子化を行う。
このように、符号化器は、色変換装置が、符号化装置による予測残差推定処理、変換処理、および、量子化処理と同じ処理を行う予測残差推定手段、変換手段、および、量子化手段を備えるので、色変換装置によって、符号化時の劣化を正確に模擬することができる。
The encoder according to claim 5 is an encoder that encodes a color image, and includes the color conversion device according to claim 3 and the encoding device.
According to such a configuration, the color conversion device converts each color component of the input image to a new color component, and generates an image composed of the new color component. Since the operation of the color conversion device is as described above, detailed description thereof is omitted here.
The encoding device performs the same prediction residual estimation processing as the prediction residual estimation unit of the color conversion device on the image including the new color components generated by the color conversion device, and is the same as the conversion unit of the color conversion device Conversion processing is performed, and further, the same quantization as the quantization means of the color conversion device is performed.
As described above, the encoder includes the prediction residual estimation unit, the conversion unit, and the quantization in which the color conversion device performs the same processes as the prediction residual estimation process, the conversion process, and the quantization process performed by the encoding apparatus. Since the means is provided, the color conversion device can accurately simulate the deterioration during encoding.
請求項６に記載の復号器は、請求項４または請求項５に記載の符号化器で生成されたデータを復号する復号器であって、符号化データ復号手段と第２逆量子化手段と第２逆変換手段と第２逆変換手段とを有する復号装置と、色空間復元手段を備える色復元装置と、を備えることとした。 A decoder according to claim 6 is a decoder for decoding data generated by the encoder according to claim 4 or claim 5, wherein the encoded data decoding means, the second inverse quantization means, The decoding apparatus having the second inverse conversion means and the second inverse conversion means and the color restoration apparatus having the color space restoration means are provided.
かかる構成によれば、復号器は、復号装置の符号化データ復号手段によって、符号化器で生成された新たな各色成分でなる画像の符号化データを入力し、符号化データから量子化データを復号する。
また、復号器は、復号装置の第２逆量子化手段によって、符号化データ復号手段で復号された量子化データに対し、符号化器における第２量子化手段とは逆の逆量子化を行って、複数の周波数係数からなる変換係数列を生成する。
さらに、復号器は、復号装置の第２逆変換手段によって、第２逆量子化手段で生成された変換係数列に対し、符号化器における第２変換手段とは逆の逆変換を行って、新たな各色成分でなる画像を生成する。
According to such a configuration, the decoder inputs the encoded data of the image composed of each new color component generated by the encoder by the encoded data decoding means of the decoding device, and converts the quantized data from the encoded data. Decrypt.
The decoder performs inverse quantization opposite to the second quantization means in the encoder on the quantized data decoded by the encoded data decoding means by the second inverse quantization means of the decoding device. Thus, a conversion coefficient sequence including a plurality of frequency coefficients is generated.
Furthermore, the decoder performs inverse transformation opposite to the second transformation means in the encoder on the transform coefficient sequence generated by the second inverse quantization means by the second inverse transformation means of the decoding device, An image composed of new color components is generated.
そして、復号器は、色復元装置の色空間復元手段によって、復号装置で生成された新たな各色成分でなる画像を入力し、この新たな各色成分からなる画像に、色変換装置で生成された色変換行列の逆行列をそれぞれ乗算して、各色成分からなる画像を復元する。
このように、復号器は、色変換装置が、復号装置による逆変換、および、逆量子化と同じ処理を行う逆変換手段、および、逆量子化手段を備えるので、復号装置によって、色変換装置で生成された新たな各色成分からなる画像から、正確にカラー画像の各色成分からなる画像を復元できる。
Then, the decoder inputs an image made up of each new color component generated by the decoding device by the color space restoration means of the color restoration device, and an image made up of this new color component is generated by the color conversion device. An image composed of each color component is restored by multiplying the inverse matrix of the color conversion matrix.
As described above, the decoder includes the inverse conversion unit and the inverse quantization unit that perform the same processes as the inverse transformation and the inverse quantization by the decoding device. An image composed of each color component of the color image can be accurately restored from the image composed of each new color component generated in (1).
請求項７に記載の色変換プログラムは、カラー画像を構成する複数の色成分を、新たな色成分にそれぞれ変換するために、コンピュータを、劣化推定手段、主成分分析手段、色空間変換手段、として機能させることとした。 The color conversion program according to claim 7, in order to convert a plurality of color components constituting a color image into new color components, respectively, a computer, a deterioration estimation unit, a principal component analysis unit, a color space conversion unit, It was decided to function as.
かかる構成によれば、色変換プログラムは、劣化推定手段によって、色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分画素ごとに推定する。次に、色変換プログラムは、主成分分析手段によって、劣化推定手段によって推定された符号化劣化成分を主成分分析する。そして、色変換プログラムは、色空間変換手段によって、主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各入力画像に乗算して、各色成分を、当該各色成分の色空間とは異なる色空間の新たな色成分にそれぞれ変換する。 According to such a configuration, the color conversion program inputs an image for each color component by the deterioration estimation unit, and estimates each encoded deterioration component pixel added when the input image is encoded. Next, the color conversion program performs principal component analysis on the encoded degradation component estimated by the degradation estimation unit by the principal component analysis unit. Then, the color conversion program multiplies each input image by the color conversion matrix based on the coupling coefficient obtained by the principal component analysis by the principal component analysis unit by the color space conversion unit, and converts each color component to the color of each color component. Each is converted to a new color component in a color space different from the space.
請求項８に記載の符号化プログラムは、請求項４または請求項５に記載の符号化器として、コンピュータを機能させる。 An encoding program according to claim 8 causes a computer to function as the encoder according to claim 4 or claim 5.
請求項９に記載の復号プログラムは、請求項６に記載の復号器として、コンピュータを機能させる。 A decoding program according to claim 9 causes a computer to function as the decoder according to claim 6.
請求項１，７に記載の発明によれば、入力画像の各色成分を、符号化時の画質劣化が抑制されるような新たな色成分へとそれぞれ変換することができる。 According to the first and seventh aspects of the present invention, each color component of the input image can be converted into a new color component that suppresses deterioration in image quality during encoding.
請求項２に記載の発明によれば、入力画像に対して、想定される画像符号化方式を適用したときに生じる情報の損失を予め推定することができる。そして、この推定結果を利用することで、入力画像の各色成分を、符号化時の画質劣化が効果的に抑制されるような色成分へとそれぞれ変換することが可能となる。 According to the second aspect of the present invention, it is possible to estimate in advance the loss of information that occurs when an assumed image coding method is applied to an input image. Then, by using this estimation result, it is possible to convert each color component of the input image into a color component that effectively suppresses image quality deterioration during encoding.
請求項３に記載の発明によれば、入力画像に対して、動き補償を有する動画像符号化方式を適用したときに生じる情報の損失を予め推定することができる。そして、この推定結果を利用することで、入力画像の各色成分を、符号化時の画質劣化がより効果的に抑制されるような色成分へとそれぞれ変換することが可能となる。 According to the third aspect of the present invention, it is possible to estimate in advance the loss of information that occurs when a moving image coding method having motion compensation is applied to an input image. Then, by using this estimation result, it is possible to convert each color component of the input image into a color component that can more effectively suppress image quality degradation during encoding.
請求項４，５および８に記載の発明によれば、符号化時の劣化を正確に模擬することができる。 According to the fourth, fifth and eighth aspects of the present invention, it is possible to accurately simulate the deterioration during encoding.
請求項６および９に記載の発明によれば、劣化の少ない画質の良好なカラー画像を得ることができる。 According to the sixth and ninth aspects of the invention, it is possible to obtain a good color image with little deterioration and image quality.
本発明の第一実施形態に係る色変換装置は、カラー画像の各色成分からなる画像に対し、符号化時の劣化を模擬し、模擬した結果から、カラー画像の各色成分を符号化時の劣化が少ない新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成するものである。 The color conversion device according to the first embodiment of the present invention simulates deterioration at the time of encoding for an image made up of each color component of a color image, and based on the simulation results, deteriorates at the time of encoding each color component of the color image. Are converted into new color components with a small amount, and an image composed of the new color components is generated.
［画像処理システムの概要］
ここで、本発明の第一実施形態に係る色変換装置の詳細な説明に先立ち、本発明の第一実施形態に係る色変換装置を含む画像処理システムの概要について説明する。
図１に示すように、画像処理システムＳｙは、カラー画像を処理するものであって、色変換装置１（１Ａ）と符号化装置４０（４０Ａ）とを備える符号化器Ｃｍ（Ｃｍ１）と、復号装置５０と色復元装置６０とを備える復号器Ｄと、を備えている。符号化器Ｃｍ（Ｃｍ１）の色変換装置１（１Ａ）の構成は後記する。
[Outline of image processing system]
Here, prior to detailed description of the color conversion apparatus according to the first embodiment of the present invention, an outline of an image processing system including the color conversion apparatus according to the first embodiment of the present invention will be described.
As shown in FIG. 1, the image processing system Sy processes a color image, and includes an encoder Cm (Cm1) including a color conversion device 1 (1A) and an encoding device 40 (40A), And a decoder D including a
本発明の符号化器Ｃｍの符号化装置４０（４０Ａ）は、色変換装置１で生成された新たな各色成分からなる画像を符号化するものである。符号化装置４０（４０Ａ）は、後記する本発明の色変換装置１によって行われる、符号化時の画質の劣化を模擬する処理（符号化模擬処理）と同じ処理を行う手段を備える。詳しくは、後記する。つまり、色変換装置１（１Ａ）は、符号化装置４０（４０Ａ）の符号化処理の際の画質の劣化を模擬するものであるため、色変換装置１（１Ａ）の符号化模擬処理と、符号化装置４０（４０Ａ）による実際の符号化処理とが、同じである必要がある。符号化装置４０による画像符号化方式としては、例えば、静止画像の符号化方式であるＪＰＥＧなどが挙げられ、符号化装置４０Ａによる画像符号化方式としては、例えば、動画像の符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４またはＡＶＣ．／Ｈ．２６４などが挙げられる。
The encoding device 40 (40A) of the encoder Cm of the present invention encodes an image composed of new color components generated by the
本発明の復号器Ｄｍの復号装置５０は、符号化器Ｃｍの符号化装置４０（４０Ａ）で生成された符号化データを復号するものである。復号装置５０は、後記する色変換装置１（１Ａ）によって行われる、符号化模擬処理後のデータを画像形式のデータに復号する処理（復号処理）と同じ処理を行う手段を備える。詳しくは、後記する。
The
本発明の復号器Ｄｍの色復元装置６０は、復号装置５０で復号された画像形式のデータに対し、色変換装置１（１Ａ）による色変換の逆変換を行って、入力画像の各色成分からなる画像を復元するものであり、色空間復元手段６１を備えている。
以上が、画像処理システムＳｙの概要である。次に、図２を参照して、本発明の第一実施形態に係る符号化器Ｃｍの構成について、色変換装置の構成を主に説明する。
The
The above is the outline of the image processing system Sy. Next, with reference to FIG. 2, the configuration of the color conversion apparatus will be mainly described with respect to the configuration of the encoder Cm according to the first embodiment of the present invention.
＜第一実施形態に係る符号化器＞
本発明の第一実施形態に係る符号化器Ｃｍは、色変換装置１と符号化装置４０（図１参照）とを備える。
［色変換装置の構成］
図２に示すように、色変換装置１は、劣化推定手段１０と、主成分分析手段２０と、色空間変換手段３０と、を備えている。なお、色変換装置１は、ここでは、図２に示すように、カラー画像（図示せず）を構成する３つの色成分Ａ，ＢおよびＣからなる画像Ａ，ＢおよびＣを入力し、この入力画像Ａ，ＢおよびＣの各画素の色を変換して３つの色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを出力するものである。
<Encoder according to First Embodiment>
The encoder Cm according to the first embodiment of the present invention includes a
[Configuration of color conversion device]
As shown in FIG. 2, the
劣化推定手段１０は、入力画像に対し、符号化装置４０（図１参照）で用いられる符号化方式で符号化を行った場合に付加される符号化劣化成分を画素ごと色成分ごとに生成するものであって、変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５とを色成分ごとに備える。以下では、色成分により変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５とを区別する場合には、各手段に付される数字の後に、入力画像を表す記号（Ａ，ＢまたはＣ）を付して区別するものとする。また、以下では、入力画像Ａの処理を行う変換手段１１、量子化手段１２、逆量子化手段１３と、逆変換手段１４と、減算手段１５を例にとって説明する。なお、符号化装置４０（図１参照）における輝度と色差とでの変換方法の違いに呼応して、変換手段１１Ａと、変換手段１１Ｂや変換手段１１Ｃとで、変換ブロックサイズや変換基底を異ならせてもよい。
The degradation estimation means 10 generates, for each color component for each pixel, a coded degradation component added when the input image is encoded by the encoding method used in the encoding device 40 (see FIG. 1). In other words, a
変換手段１１（１１Ａ）は、入力画像Ａを入力し、この入力画像Ａを周波数変換して、周波数係数からなる変換係数列を生成するものである。
具体的には、変換手段１１は、符号化装置４０（図１参照）による変換処理で用いられる変換方式、例えば、入力画像Ａを複数の所定の大きさのブロック（例えば、８×８ないし３２×３２のブロック）に分割し、このブロック単位で離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）などの直交変換や、その整数近似（例えば、ＡＶＣ．／Ｈ．２６４符号化方式における整数変換）、または、ウェーブレット変換など、画像または動画像の符号化に用いられる変換またはその近似を行って、画素の数だけ周波数係数を生成する。この変換手段１１によって、空間領域の画像データが空間周波数領域の数値データに変換される。
The conversion means 11 (11A) receives the input image A, converts the frequency of the input image A, and generates a conversion coefficient sequence including frequency coefficients.
Specifically, the
なお、一般に、画像は、周波数成分の重み付けの総和で表現できることから、変換手段１１が、ＤＣＴ変換を行って、入力画像Ａを空間領域から空間周波数領域に変換することによって、複数の基本的な図柄（基底パターン）の成分の割合を重み付けしてその周波数係数を数値化した変換係数列を得ることができる。なお、入力画像ＡをＤＣＴ変換した場合、相関性が高い場合は、空間周波数で見たときに低周波領域に周波数係数が大きく偏り、一方、高周波領域では周波数係数がゼロに近い値となる。このようにして、変換手段１１により求められた変換係数列は、量子化手段１２に出力される。
In general, since an image can be expressed by a sum of weights of frequency components, the transforming
量子化手段１２は、変換手段１１により求められた変換係数列の各周波数係数を量子化処理するものである。
量子化手段１２は、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルを予め記憶しておき、この量子化テーブルで規定される量子化ステップで変換係数列の各周波数係数を除算して結果を整数に丸めた量子化データを生成する。これにより、情報量（ビット数）が削減される。このようにして生成された量子化データは、逆量子化手段１３に出力される。
The quantizing
The quantization means 12 stores in advance a quantization table used in the quantization process by the encoding device 40 (see FIG. 1), and each frequency of the transform coefficient sequence in a quantization step defined by the quantization table. Quantized data is generated by dividing the coefficient and rounding the result to an integer. Thereby, the amount of information (number of bits) is reduced. The quantized data generated in this way is output to the inverse quantization means 13.
なお、量子化手段１２による量子化において、変換係数列の各周波数係数の中から高周波成分が所定量削減される場合もある。
例えば、変換係数列の各周波数係数のうち、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルにより量子化したと仮定した場合にゼロになってしまうような周波数係数をゼロに置換し、それ以外の周波数係数についてはそのまま何もしない場合や、また例えば、変換係数列の各周波数係数のうち、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルの量子化ステップの幅が大きい（所定の値を超える）周波数係数をゼロに置換し、それ以外の周波数係数についてはそのまま何もしない場合が考えられる。
このようにして生成された量子化データは、逆量子化手段１３に出力される。
In addition, in the quantization by the quantization means 12, the high frequency component may be reduced by a predetermined amount from each frequency coefficient of the transform coefficient sequence.
For example, among the frequency coefficients of the transform coefficient sequence, a frequency coefficient that becomes zero when it is assumed that the quantization is performed by the quantization table used in the quantization process by the encoding device 40 (see FIG. 1). Quantization used in the quantization process by the encoding device 40 (see FIG. 1) in the case where the frequency coefficient is replaced with zero and the other frequency coefficients are not processed as they are or, for example, among the frequency coefficients of the transform coefficient sequence It is conceivable that a frequency coefficient having a large quantization step width (exceeding a predetermined value) is replaced with zero and nothing is performed for the other frequency coefficients.
The quantized data generated in this way is output to the inverse quantization means 13.
なお、色変換装置１の変換手段１１による変換処理および量子化手段１２による量子化処理は、前記した「符号化模擬処理」に相当する。つまり、図１で説明した符号化器Ｃｍの符号化装置４０は、変換手段１１と同じ変換処理を行い変換係数列を生成する手段（第２変換手段）と、量子化手段１２と同じ量子化処理を行い量子化データを生成する手段（第２量子化手段）とを少なくとも備える。
The conversion process by the
逆量子化手段１３は、量子化手段１２において、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルで規定される量子化ステップで変換係数列の各周波数係数を量子化することで生成された量子化データを逆量子化して、逆量子化データを生成するものである。
具体的には、逆量子化手段１３は、量子化手段１２で変換係数列の各周波数係数を除算した量子化ステップを量子化データに乗算することで逆量子化して空間周波数領域のデータを再構築する。ここで、量子化手段１２において丸め処理を行っているので、逆量子化手段１３で逆量子化した後の各周波数係数の値と、量子化手段１２によって量子化される前の各周波数係数の値とは一致しない。
逆量子化手段１３で生成された逆量子化データは、逆変換手段１４に出力される。
The
Specifically, the
The inversely quantized data generated by the
逆変換手段１４は、量子化手段１２で生成された逆量子化手段１３で生成された逆量子化データに対し、変換手段１１で行った変換処理の逆変換処理を行うことで、逆量子化データから空間領域の画像データを再構築し、劣化模擬画像Ａ’を生成するものである。逆変換手段１４は、例えば、変換手段１１で入力画像Ａに対し離散コサイン変換を行った場合、この逆変換である逆離散コサイン変換（ＩＤＣＴ；Inverse Discrete Cosine Transform）を量子化データに対して行うことで、各周波数係数から空間領域の画像データを再構築する。このようにして復元された空間領域の画像データは、減算手段１５に出力される。この劣化模擬画像は、入力画像Ａに対し変換手段１１、量子化手段１２によって符号化時の情報損失を模擬した結果を画像データとして復元したものであるので、入力画像Ａよりも劣化した画像となる。
The
なお、色変換装置１の逆量子化手段１３による逆量子化処理および逆変換手段１４による逆変換処理が、前記した「復号処理」に相当する。
The inverse quantization process by the
以上説明した、変換手段１１、量子化手段１２、逆量子化手段１３および逆変換手段１４による処理は、一般的な画像符号化方式でそれぞれ規定される処理をそのまま適用することができる。このようにして変換手段１１および量子化手段１２によって符号化模擬処理を行うことで、符号化器Ｃｍの符号化装置４０（図１参照）で行われる画像符号化方式における非可逆的な情報圧縮を模擬することができ、逆量子化手段１３および逆変換手段１４によって復号処理を行うことにより、復号器Ｄｍの復号装置５０（図１参照）で符号化模擬処理後のデータがどのように復元されるのかがわかる。そのため、一般的な画像符号化方式における符号化時に入力画像Ａの画質がどのように劣化し、どのような画像として復元されるのかを予め推定することができる。
The processes defined by the general image coding method can be applied as they are to the processes by the
ただし、変換手段１１、量子化手段１２による処理は、符号化器Ｃｍの符号化装置４０（図１参照）の処理と一致していれば、一般的な画像符号化方式でそれぞれ規定される処理と完全に一致している必要はなく、これと近似した処理としてもよい。また、逆量子化手段１３、逆変換手段１４による復号処理は、復号器Ｄｍの復号装置５０（図１参照）の処理と一致していれば、一般的な画像復号化方式でそれぞれ規定される処理と完全に一致している必要はなく、これと近似した処理としてもよい。
However, if the processing by the transforming
減算手段１５は、逆変換手段１４で求められた劣化模擬画像Ａ’と入力画像Ａとの差分をとることにより、一般的な画像符号化方式における入力画像Ａの符号化時に付加される符号化劣化成分を画像形式で検出するものである。
例えば、減算手段１５は、次の式（１）により、符号化劣化成分Ｄとして差分画像Ｄを生成する。
The subtracting means 15 takes the difference between the deterioration simulated image A ′ obtained by the
For example, the subtracting
減算手段１５（１５Ａ）によって検出された符号化劣化成分Ｄは、主成分分析手段２０に出力される。同様にして、減算手段１５Ｂ，１５Ｃによってそれぞれ検出された符号化劣化成分Ｅ，Ｆは、主成分分析手段２０にそれぞれ出力される。
The encoded deterioration component D detected by the subtracting means 15 (15A) is output to the principal component analyzing means 20. Similarly, the coded deterioration components E and F detected by the subtracting means 15B and 15C are output to the principal component analyzing means 20, respectively.
主成分分析手段２０は、減算手段１５（１５Ａ，１５Ｂおよび１５Ｃ）でそれぞれ検出された符号化劣化成分Ｄ，ＥおよびＦを入力し、式（２）に示すような、符号化劣化成分Ｄ，ＥおよびＦの各画素位置におけるベクトルＧ（ｘ，ｙ）について画面内における主成分分析を行い、固有ベクトル（結合係数ベクトル）ｖkを生成するものである。 The principal component analysis means 20 inputs the coding deterioration components D, E and F detected by the subtraction means 15 (15A, 15B and 15C), respectively, and the coding deterioration components D, The principal component analysis in the screen is performed on the vector G (x, y) at each pixel position of E and F, and an eigenvector (coupling coefficient vector) v k is generated.
例えば、主成分分析手段２０は、まず次の式（３），（４）により、画面内における分散・共分散行列Ｓを生成する。 For example, the principal component analysis means 20 first generates a variance / covariance matrix S in the screen by the following equations (3) and (4).
式（３）において、Ｔはベクトルまたは行列の転置を表す。
主成分分析手段２０は、続いて、分散・共分散行列Ｓで色成分の数だけ固有ベクトルｖkを生成する。この固有ベクトルｖkは、第ｋ主成分（ｋは自然数）に対する固有ベクトルである。そして、この固有ベクトルｖkを固有値（各色成分の重み）の大きい方から順に、固有ベクトルｖ1，ｖ2，ｖ3とおく。なお、この固有ベクトルｖ1，ｖ2，ｖ3は、それぞれ列ベクトルであるものとする。つまり、固有ベクトルｖ1は、最も固有値が大きい色成分、言い換えれば、最もその画素における寄与率が高く、符号化時に最も劣化しやすい色成分であり、ｖ2は、２番目に固有値が大きい色成分を表し、ｖ3は、最も固有値が小さい色成分、言い換えれば、最もその画素における寄与率が低く、符号化時に最も劣化しにくい色成分を表している。
In Equation (3), T represents transposition of a vector or matrix.
Subsequently, the principal component analyzing means 20 generates eigenvectors v k by the number of color components in the variance / covariance matrix S. This eigenvector v k is an eigenvector for the k-th principal component (k is a natural number). The eigenvectors v k are set as eigenvectors v 1 , v 2 , and v 3 in order from the largest eigenvalue (weight of each color component). The eigenvectors v 1 , v 2 , and v 3 are column vectors. That is, the eigenvector v 1 is the color component having the largest eigenvalue, in other words, the color component having the highest contribution rate in the pixel and most likely to deteriorate during encoding, and v 2 is the color component having the second largest eigenvalue. the stands, v 3 is the most eigenvalue small color component, in other words, represents the lowest contribution ratio at the pixel, the most does not easily deteriorate color component in the encoding.
なお、主成分分析手段２０による主成分分析は、１画像フレームを１単位として行ってもよいし、１画像フレームを区分した部分領域を１単位として行ってもよいし、複数画像フレームをまとめて１単位として行ってもよい。 The principal component analysis by the principal component analysis means 20 may be performed with one image frame as one unit, a partial area obtained by dividing one image frame may be performed as one unit, or a plurality of image frames may be combined. You may carry out as 1 unit.
主成分分析手段２０は、さらに、例えば、前記したいずれかの単位ごとに主成分分析を行うことによって得られた固有ベクトルｖ1，ｖ2，ｖ3に基づき、次の式（５）に示す色変換行列Ｍを生成する。 The principal component analysis means 20 further uses, for example, the color shown in the following equation (5) based on the eigenvectors v 1 , v 2 , v 3 obtained by performing the principal component analysis for each of the units described above. A transformation matrix M is generated.
このようにして算出された色変換行列Ｍは、色空間変換手段３０および色変換装置１の外部に出力される。
The color conversion matrix M calculated in this way is output to the outside of the color space conversion means 30 and the
色空間変換手段３０は、色成分Ａ，ＢおよびＣからなる入力画像Ａ，ＢおよびＣのそれぞれの画素ごとに色変換行列Ｍを乗算することで、新たな色成分Ｘ，ＹおよびＺに変換した出力画像Ｘ，ＹおよびＺを生成するものである。すなわち、色空間変換手段３０は、次の式（６）に示すような演算を実行し、入力画像Ａ，ＢおよびＣの色成分Ａ、ＢおよびＣを線形変換して色成分Ｘ，ＹおよびＺとする。なお、色空間変換手段３０は、入力画像Ａ，ＢおよびＣを所定のサイズのブロックに分割し、このブロックごとに前記した色変換処理を行う。ブロックサイズは、例えば、想定される画像符号化方式における代表的なブロックサイズと同等程度とすることができる。例えば、符号化装置４０において、８×８ないし３２×３２のブロックサイズ単位で符号化処理が行われる場合、色空間変換手段３０は、例えば１６×１６のブロックサイズで色変換処理を行うことができる。このようにすることで、符号化装置４０において、様々なブロックサイズで符号化処理を行う場合であってもこれに適応させることができる。
The color space conversion means 30 multiplies the color conversion matrix M for each pixel of the input images A, B, and C composed of the color components A, B, and C, thereby converting them into new color components X, Y, and Z. The generated output images X, Y and Z are generated. That is, the color space conversion means 30 performs an operation as shown in the following equation (6), and linearly converts the color components A, B, and C of the input images A, B, and C to perform color components X, Y, and Let it be Z. The color space conversion means 30 divides the input images A, B, and C into blocks of a predetermined size, and performs the color conversion process described above for each block. The block size can be, for example, about the same as a typical block size in an assumed image encoding method. For example, when encoding processing is performed in the block size unit of 8 × 8 to 32 × 32 in the
［符号化装置の構成］
次に、符号化装置４０の構成について図３を参照して説明する。
図３に示すように、符号化装置４０は、一般的な静止画用の符号化装置と同様に、変換手段４１（第２変換手段）と、量子化手段４２（第２量子化手段）と、符号化手段４３とを備える。
[Configuration of Encoding Device]
Next, the configuration of the
As shown in FIG. 3, the
変換手段４１は、色変換装置１から出力された画像Ｘ，ＹおよびＺを周波数変換して、周波数係数からなる変換係数列を生成するものである。変換手段４１は、色変換装置１の変換手段１１と同じ手順を行うことで、変換係数列を生成する。変換手段４１は、例えば、画像Ｘ，ＹおよびＺを８×８ないし３２×３２のブロックに分割し、このブロック単位で周波数変換を行う。ここで生成された変換係数列は、量子化手段４２に出力される。
The
量子化手段４２は、変換手段１１により求められた変換係数列の各周波数係数を量子化処理し、量子化データを生成するものである。量子化手段４２は、色変換装置１の量子化手段１２と同一の量子化テーブルを保持し、同一の量子化テーブルにより変換係数列の各周波数係数を量子化して量子化データを生成する。ここで生成された量子化データは、符号化手段４３に出力される。
なお、符号化装置４０の変換手段４１による変換処理および量子化手段４２による量子化処理は、色変換装置１の変換手段４１による変換処理および量子化手段４２による量子化処理と同じである。そのため、符号化装置４０の変換手段４１による変換処理および量子化手段４２による量子化処理と逆の処理が、前記した「復号処理」に相当するといえる。つまり、図１で説明した復号器Ｄｍの復号装置５０は、符号化装置４０の量子化手段４２と逆の逆量子化処理を行う手段（第２逆量子化手段）と、符号化装置４０の変換手段４１と逆の逆変換処理を行う手段（第２逆変換手段）とを備える。
The quantizing
Note that the conversion processing by the conversion means 41 of the
符号化手段４３は、量子化手段４２で生成された量子化データをエントロピ符号化し、色変換装置１で生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化することで符号化データを生成する。ここで生成された符号化データは、復号器Ｄｍの復号装置５０に通知される。
The
［符号化器の動作］
次に、本発明の第一実施形態に係る色変換装置１と符号化装置４０とを備える符号化器Ｃｍの動作について図４および適宜図１〜３を参照して説明する。
[Encoder operation]
Next, the operation of the encoder Cm including the
図４に示すように、符号化器Ｃｍは、色変換装置１の劣化推定手段１０の変換手段１１（１１Ａ，１１Ｂ，１１Ｃ）によって、外部から、色成分Ａで構成された入力画像Ａ、色成分Ｂで構成された入力画像Ｂ、または、色成分Ｃで構成された入力画像Ｃをそれぞれ入力する。符号化器Ｃｍは、色変換装置１の変換手段１１によって、入力画像Ａ，ＢまたはＣに対し、符号化装置４０（図１参照）による変換処理と同等の変換処理を行い、空間領域の画像データから空間周波数領域の数値データに変換して周波数係数からなる変換係数列を生成する（ステップＳ１０１）。符号化器Ｃｍは、色変換装置１の変換手段１１によって、入力画像Ａ，ＢまたはＣからそれぞれ生成した変換係数列を量子化手段１２（１２Ａ，１２Ｂ，１２Ｃ）に出力する。
As shown in FIG. 4, the encoder Cm receives the input image A composed of the color component A, the color by the conversion unit 11 (11A, 11B, 11C) of the deterioration estimation unit 10 of the
続いて、符号化器Ｃｍは、色変換装置１の量子化手段１２（１２Ａ，１２Ｂ，１２Ｃ）によって、変換手段１１で生成された変換係数列を入力して、変換係数列の各周波数係数を、符号化装置４０による量子化処理で用いられる量子化テーブルで規定される量子化ステップにより量子化し、量子化データを生成する（ステップＳ１０２）。符号化器Ｃｍは、色変換装置１の量子化手段１２によって、生成した量子化データを逆量子化手段１３に出力する。そして、符号化器Ｃｍは、色変換装置１の逆量子化手段１３によって、量子化手段１２で生成した量子化データを逆量子化して空間周波数領域のデータ（逆量子化データ）を再構築する（ステップＳ１０３）。符号化器Ｃｍは、色変換装置１の逆量子化手段１３で生成した逆量子化データを逆変換手段１４に出力する。
Subsequently, the encoder Cm inputs the conversion coefficient sequence generated by the
次に、符号化器Ｃｍは、色変換装置１の逆変換手段１４（１４Ａ，１４Ｂ，１４Ｃ）によって、量子化手段１２で生成された量子化データまたは逆量子化手段１３で生成された逆量子化データを入力し、この量子化データまたは逆量子化データに対し、変換手段１１による変換処理の逆変換処理を行って、空間領域の画像データを再構築して劣化模擬画像Ａ’，Ｂ’およびＣ’を生成する（ステップＳ１０４）。符号化器Ｃｍは、色変換装置１の逆変換手段１４によって、生成した劣化模擬画像Ａ’，Ｂ’およびＣ’を減算手段１５（１５Ａ，１５Ｂ，１５Ｃ）に出力する。
Next, the encoder Cm uses the inverse conversion unit 14 (14A, 14B, 14C) of the
続いて、符号化器Ｃｍは、色変換装置１の減算手段１５（１５Ａ，１５Ｂ，１５Ｃ）によって、逆変換手段１４で生成された劣化模擬画像Ａ’，Ｂ’およびＣ’を入力するとともに、外部から入力画像Ａ，ＢおよびＣを入力して、入力画像Ａ，ＢおよびＣと劣化模擬画像Ａ’，Ｂ’およびＣ’との間で差分をとり、符号化劣化成分Ｄ，ＥおよびＦを検出する（ステップＳ１０５）。符号化器Ｃｍは、色変換装置１の減算手段１５によって、検出した符号化劣化成分Ｄ，ＥおよびＦを主成分分析手段２０に出力する。
Subsequently, the encoder Cm inputs the deterioration simulation images A ′, B ′ and C ′ generated by the
さらに、符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、減算手段１５によって検出された符号化劣化成分Ｄ，ＥおよびＦを入力し、画像座標（ｘ，ｙ）における色成分Ａ，ＢおよびＣの符号化劣化成分をまとめたベクトルＧ（ｘ，ｙ）について画面内における主成分分析を行い、固有ベクトルｖ1，ｖ2およびｖ3を生成する（ステップＳ１０６）。
Further, the encoder Cm receives the encoded deterioration components D, E, and F detected by the subtracting means 15 by the principal component analyzing means 20 of the
そして、符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、固有ベクトルｖ1，ｖ2およびｖ3を用いて色変換行列Ｍを生成する（ステップＳ１０７）。符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、生成した色変換行列Ｍを色空間変換手段３０および色変換装置１の外部に出力する。
Then, the encoder Cm generates a color conversion matrix M using the eigenvectors v 1 , v 2 and v 3 by the principal component analysis means 20 of the color conversion device 1 (step S107). The encoder Cm outputs the generated color conversion matrix M to the outside of the color
そして、符号化器Ｃｍは、色変換装置１の色空間変換手段３０によって、主成分分析手段２０から色変換行列Ｍを入力するとともに、外部から入力画像Ａ，ＢおよびＣを入力し、入力画像Ａ，ＢおよびＣに対し色変換行列Ｍをそれぞれ乗算して、新たな色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを生成する（ステップＳ１０８）。符号化器Ｃｍは、色変換装置１の色空間変換手段３０によって、生成した出力画像Ｘ，ＹおよびＺを符号化装置４０に出力する（ステップＳ１０９）。
The encoder Cm receives the color conversion matrix M from the principal
続いて、符号化器Ｃｍは、符号化装置４０の変換手段４１によって、色変換装置１で生成された出力画像Ｘ，Ｙ，Ｚを入力する（ステップＳ１１０）。
続いて、符号化器Ｃｍは、符号化装置４０の変換手段４１によって、色変換装置１で生成された出力画像Ｘ，Ｙ，Ｚに対し、色変換装置１の変換手段１１と同じ変換処理を行い、変換係数列を生成する（ステップＳ１１１）。
さらに、符号化器Ｃｍは、符号化装置４０の量子化手段４２によって、変換係数列に対し、色変換装置１の量子化手段１２と同じ量子化処理を行い、量子化データを生成する（ステップＳ１１２）。
そして、符号化器Ｃｍは、符号化装置４０の符号化手段４３によって、量子化手段４２で生成された量子化データをエントロピ符号化し、さらに、色変換装置１の色空間変換手段３０で生成された色変換行列Ｍをヘッダ情報やサイド情報として付加し、これらを多重化して符号化データを生成する（ステップＳ１１３）。
Subsequently, the encoder Cm receives the output images X, Y, and Z generated by the
Subsequently, the encoder Cm performs the same conversion process as the
Further, the encoder Cm performs the same quantization process as that of the
The encoder Cm entropy-encodes the quantized data generated by the quantizing means 42 by the encoding means 43 of the
以上説明した本発明の第一実施形態に係る符号化器Ｃｍによれば、次のような作用効果を奏する。
本発明の第一実施形態に係る符号化器Ｃｍによれば、色変換装置１が、入力画像の各色成分から直接、色変換行列を生成するのではなく、画像符号化方式による符号化の前に、入力画像の各色成分に対し符号化を模擬した処理を行うことで、符号化により損失される色成分を画素ごとに抽出し、この損失を考慮して、損失しにくい色成分となるような色変換行列を生成することができる。そして、この色変換行列を入力画像の色成分に乗算することで、符号化時に損失しにくい新たな色空間の色成分からなる画像を生成することが可能となる。
この新たな色空間は、その各軸が、カラー画像の符号化時において損失の最も大きくなる軸から順次直交基底を張るため、符号化劣化成分を受けやすい色成分から符号化劣化成分を受けにくい色成分へと順位付けのなされた色分解が可能となる。
The encoder Cm according to the first embodiment of the present invention described above has the following operational effects.
According to the encoder Cm according to the first embodiment of the present invention, the
In this new color space, each axis has an orthogonal basis sequentially from the axis with the largest loss at the time of encoding a color image. Color separation that is prioritized into color components becomes possible.
また、符号化器Ｃｍによれば、色変換装置１が、入力画像Ａ，ＢおよびＣに対し符号化装置４０の符号化処理と同じ処理を行うことで、符号化時に付加される符号化劣化成分を予め推定することができる。また、符号化器Ｃｍによれば、色変換装置１が、復号器Ｄｍの復号装置５０（図１参照）の復号処理と同じ処理を行うことで、復号装置５０（図１参照）によってどのように画像が復号されるかがわかる。
そして、符号化器Ｃｍによれば、色変換装置１が、符号化劣化成分の推定結果を反映した色変換行列を生成して入力画像Ａ，ＢおよびＣに乗算することで、入力画像Ａ，ＢおよびＣの色成分を、符号化装置４０による実際の符号化時における画質劣化が最も少なくなるような新たな色空間の色成分に変換することができる。したがって、新たな色空間の色成分の出力画像Ｘ，ＹおよびＺに対する符号化装置４０による実際の符号化時における画質劣化を効果的に抑制することができる。
そのため、復号器Ｄｍ（図１参照）で復号されたカラー画像の画質が、入力画像Ａ，ＢおよびＣの元となるカラー画像の画質に対し劣化するのを効果的に抑制することができる。
Further, according to the encoder Cm, the
Then, according to the encoder Cm, the
Therefore, it is possible to effectively suppress degradation of the image quality of the color image decoded by the decoder Dm (see FIG. 1) relative to the image quality of the color image that is the source of the input images A, B, and C.
＜第二実施形態に係る符号化器＞
図１に示すように、本発明の第二実施形態に係る符号化器Ｃｍ１は、色変換装置１Ａと符号化装置４０Ａ（図１，７参照）とを備える。以下、色変換装置１Ａの構成について、図５，６を参照して説明する。
<Encoder according to Second Embodiment>
As shown in FIG. 1, an encoder Cm1 according to the second embodiment of the present invention includes a
［色変換装置の構成］
図５に示すように、色変換装置１Ａは、劣化推定手段１０Ａと、主成分分析手段２０と、色空間変換手段３０と、を備えている。
[Configuration of color conversion device]
As shown in FIG. 5, the
色変換装置１Ａは、色変換装置１に対し、劣化推定手段１０Ａの構成が異なる点で相違する。具体的には、色変換装置１Ａは、動き補償を有する動画像の画像符号化方式における動き補償を模擬することを可能とするために、劣化推定手段１０Ａが、色変換装置１の劣化推定手段１０の各構成要素に加えて、予測残差推定手段１６をさらに備える点で、色変換装置１と相違する。このため、その他の同一の構成要素については同一の符号を付し、重複する説明を省略する。なお、ここでは、３つの色成分Ａ，ＢおよびＣが色変換装置１Ａに入力されるものとする。また、色変換装置１Ａは、予測残差推定手段１６によって、符号化装置４０Ａの予測残差推定手段４４（第２予測残差推定手段）で行われるフレーム間予測、イントラ予測、あるいは、フレーム間予測＋イントラ予測を模擬することができるが、ここでは、予測残差推定手段１６によって、フレーム間予測を行う場合を例にとって説明する。
The
図５に示すように、劣化推定手段１０Ａは、入力画像に対し、符号化装置４０Ａ（図１，７参照）で符号化を行った場合に付加される符号化劣化成分を画素ごと色成分ごとに生成するものであって、変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを色成分ごとに備える。以下では、色成分により変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを区別する場合には、各手段に付される数字の後に、入力画像を表す記号（Ａ，ＢまたはＣ）を付して区別するものとする。また、以下では、入力画像Ａの処理を行う変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを例にとって説明する。
As shown in FIG. 5, the degradation estimation means 10 </ b> A determines the coding degradation component added when the
図６に示すように、予測残差推定手段１６（１６Ａ）は、参照画像蓄積手段１６ａと、動き推定手段１６ｂと、動き補償手段１６ｃと、残差画像生成手段１６ｄと、を備える。
As shown in FIG. 6, the prediction residual estimation unit 16 (16A) includes a reference
参照画像蓄積手段１６ａ（１６Ａａ）は、動き補償手段で動き補償を行う際に参照される画像を蓄積するものである。参照画像蓄積手段１６ａは、外部から色成分Ａでなる入力画像Ａを入力して一時的に記憶し、この入力画像Ａを例えば１フレーム分遅延して動き推定手段１６ｂおよび動き補償手段１６ｃに出力するものである。例えば、動画像の１フレーム目の色成分Ａの集合である入力画像を入力画像Ａ1とし、動画像の２フレーム目の色成分Ａの集合である入力画像を入力画像Ａ2とする。この場合、参照画像蓄積手段１６ａは、まず、入力画像Ａ1（Ａn-1）を入力して記憶する。そして、参照画像蓄積手段１６ａは、入力画像Ａ2（Ａn）が入力されると、すでに記憶した入力画像Ａ1を動き推定手段１６ｂおよび動き補償手段１６ｃに出力するとともに、入力画像Ａ1を入力画像Ａ2に書き換えて記憶する。この記憶手段は、例えば、ＲＡＭ（Random Access Memory）、ハードディスク等によって実現される。
The reference
動き推定手段１６ｂ（１６Ａｂ）は、時間的に１つ前のフレーム（前フレーム）の画像Ａn-1と現フレームの画像Ａnとを比較して画像動き（動きベクトルｔn）を生成するものである。
前記した例の場合、動き推定手段１６ｂは、外部から入力画像Ａ2を入力し、この入力画像Ａ2と、参照画像蓄積手段１６ａから遅延して出力された入力画像Ａ1とを比較して、画像動きを生成するものである。なお、参照画像蓄積手段１６ａと動き推定手段１６ｂには同じタイミングで入力画像Ａ2が入力される。また、動き推定手段１６ｂは、比較対象となるフレームが存在しない場合、つまり、参照画像蓄積手段１６ａからの出力がない場合、処理を行わない。
Motion estimation means 16b (16Ab) generates a temporally preceding frame image A n-1 and compared to the image motion and image A n of the current frame (preceding frame) (motion vector t n) Is.
For example described above, the
動き推定手段１６ｂは、例えば、入力画像Ａ2を複数のブロックに分割し、各ブロック内の画素値列と類似する領域を入力画像Ａ1内から探索する（ブロックマッチングする）ことによって、当該ブロックの場所における動きベクトルｔ2（入力画像Ａ1からみた入力画像Ａ2の動きの大きさと方向）を生成する。なお、類似性は、例えば、画素値列間の相互相関の最大化や、画素値列の誤差和（二乗誤差和や絶対値誤差和）の最小化によって評価することができる。また、各ブロックの大きさは、符号化装置４０Ａ（図１参照）で用いられる符号化方式に応じて適宜決定されるが、例えば、符号化装置４０Ａ（図１参照）で符号化方式としてＭＰＥＧ−２方式を想定する場合、１６×１６画素のマクロブロックに分割する。このようにして求められた動きベクトルｔ2は、動き補償手段１６ｃに出力される。
For example, the
動き補償手段１６ｃ（１６Ａｃ）は、動き推定手段１６ｂから動きベクトルを入力するとともに、参照画像蓄積手段１６ａから遅延して出力された前フレームの画像Ａn-1を入力し、動きベクトルに基づいて前フレームの画像Ａn-1から現フレームの画像Ａnを予測した予測画像Ｌnを生成するものである。前記した例の場合、動き補償手段１６ｃは、参照画像蓄積手段１６ａから入力画像Ａ1を入力し、動き推定手段１６ｂから入力された動きベクトルｔ2に基づいて入力画像Ａ1をブロックごとに移動させて動き補償して、入力画像Ａ1が動きベクトル分動いた動き補償画像を、入力画像Ａ1から入力画像Ａ2を予測した予測画像Ｌ2として生成する。
The
残差画像生成手段１６ｄ（１６Ａｄ）は、動き補償手段１６ｃで生成された予測画像Ｌnと、外部から入力された現フレームの画像Ａnとの間で差分をとり、予測誤差を残差画像Ｐnとして生成するものである。前記した例の場合、残差画像生成手段１６ｄは、動き補償手段１６ｃで生成された予測画像Ｌ2を入力し、外部から入力された入力画像Ａ2との差分をとり、残差画像Ｐ2を生成する。このようにして生成された残差画像Ｐ2は、変換手段１１および減算手段１５に出力される。
Residual image generating means 16d (16Ad) takes the predicted image L n generated by the
これと同様にして、予測残差推定手段１６Ｂ，１６Ｃは、動き推定手段１６Ｂｂ，１６Ｃｂによって動きベクトルｔnを求め、動き補償手段１６Ｂｃ，１６Ｃｃによって予測画像Ｍn，Ｎnを生成し、残差画像生成手段１６Ｂｄ，１６Ｃｄによって残差画像Ｑn，Ｒnを生成する。 Similarly, the prediction residual estimation means 16B and 16C obtain the motion vector t n by the motion estimation means 16Bb and 16Cb, generate the prediction images M n and N n by the motion compensation means 16Bc and 16Cc, and the residuals. Residual images Q n and R n are generated by the image generating means 16Bd and 16Cd.
なお、色変換装置１Ａの予測残差推定手段１６による予測残差推定処理、変換手段１１Ａによる変換処理および量子化手段１２Ａによる量子化処理は、前記した「符号化模擬処理」に相当する。
Note that the prediction residual estimation process by the prediction
次に、符号化装置４０Ａの構成について、図７を参照して説明する。
図７に示すように、符号化装置４０Ａは、一般的な動画像の符号化装置と同様に、変換手段４１と、量子化手段４２と、符号化手段４３と、予測残差推定手段４４（第２予測残差推定手段）と、逆量子化手段４５と、逆変換手段４６と、加算手段４７とを備えている。ここで、変換手段４１と、量子化手段４２と、符号化手段４３とは、前記した符号化装置４０において説明したのと同様であるので、ここでは詳細な説明を省略する。
Next, the configuration of the
As shown in FIG. 7, the
予測残差推定手段４４（第２予測残差推定手段）は、参照画像蓄積手段４４ａと、動き推定手段４４ｂと、動き補償手段４４ｃと、残差画像生成手段４４ｄとを備えている。予測残差推定手段４４は、色変換装置１の予測残差推定手段１６と同様の手順で残差画像を生成するものである。すなわち、予測残差推定手段４４は、フレーム間予測、イントラ予測、あるいは、フレーム間予測＋イントラ予測のいずれを行うものとしてもよいが、ここでは、フレーム間予測を行うものとする。
The prediction residual estimation unit 44 (second prediction residual estimation unit) includes a reference
参照画像蓄積手段４４ａは、予測残差推定手段１６の参照画像蓄積手段１６ａと同様の手順で、加算手段４７で生成された画像Ｘ，ＹおよびＺの時間的に１つ前のフレーム（前フレーム）の画像を、次に入力されるフレーム（現フレーム）の予測画像を生成する際の参照画像として蓄積しておくものである。ここでは、参照画像蓄積手段４４ａは、加算手段４７で劣化模擬画像と予測画像とを加算して生成された時間的に１つ前のフレームの画像を参照画像として蓄積する。
The reference
動き推定手段４４ｂは、予測残差推定手段１６の動き推定手段１６ｂと同様の手順で、参照画像蓄積手段４４ａに蓄積された前フレームの画像（参照画像）と現フレームの画像とを比較して画像動き（動きベクトル）を生成するものである。ここで生成された動きベクトルは、動き補償手段４４ｃおよび符号化手段４３に出力される。
The
動き補償手段４４ｃは、予測残差推定手段１６の動き補償手段１６ｃと同様の手順で、動き推定手段４４ｂで生成された動きベクトルに基づいて、参照画像蓄積手段４４ａに蓄積された前フレームの画像（参照画像）から現フレームの画像を予測した予測画像を生成するものである。ここで生成された予測画像は、残差画像生成手段４４ｄに出力される。
The
残差画像生成手段４４ｄは、予測残差推定手段１６の残差画像生成手段１６ｄと同様の手順で、色変換装置１Ａから出力された現フレームの画像と動き補償手段４４ｃで生成された予測画像との差分をとった残差画像をそれぞれ生成するものである。この残差画像は、符号化対象画像（現フレームの画像）と、その動きを予測した予測画像（動き補償画像）との予測誤差を示すものである。ここで生成された残差画像は、変換手段４１に出力される。
The residual
逆量子化手段４５は、量子化手段４２で生成された量子化データに対して、逆量子化を行うことで、量子化データを逆量子化データに変換するものである。逆量子化手段４５は、色変換装置１Ａの逆量子化手段１３と同じ手順で逆量子化を行い、逆量子化データを生成する。ここで変換された逆量子化データは、逆変換手段４６に出力される。
The inverse quantization means 45 converts the quantized data into inverse quantized data by performing inverse quantization on the quantized data generated by the quantizing means 42. The inverse quantization means 45 performs inverse quantization in the same procedure as the inverse quantization means 13 of the
逆変換手段４６は、逆量子化手段４５で変換された逆量子化データに対して、変換手段４１で行った変換の逆変換を行うものである。逆変換手段４６は、色変換装置１Ａの逆変換手段１４と同じ手順で逆変換を行い、逆量子化データから空間領域の画像データを再構築し、残差復号画像（符号化劣化後の残差画像を復号した画像）を生成する。この逆変換手段４６で逆変換によって生成された残差復号画像は、加算手段４７に出力される。
The inverse transform means 46 performs inverse transform of the transform performed by the transform means 41 on the inversely quantized data transformed by the
加算手段４７は、逆変換手段４６から出力される残差復号画像と、予測残差推定手段４４の動き補償手段４４ｃから出力される予測画像とを加算して、復号画像を生成するものである。ここで生成された復号画像は、次に入力されるフレームの予測画像を生成する際の参照画像の候補として予測残差推定手段４４の参照画像蓄積手段４４ａに蓄積される。
The adding
符号化装置４０Ａにおいて、符号化手段４３は、量子化手段４２で生成された量子化データと、予測残差推定手段４４の動き推定手段４４ｂで生成された動きベクトルをエントロピ符号化し、色変換装置１Ａで生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化することで符号化データを生成する。
In the
＜符号化器Ｃｍ１の動作＞
次に、第二実施形態に係る符号化器Ｃｍ１の動作について、図８，９を参照して説明する。
図８に示すように、符号化器Ｃｍ１は、色変換装置１Ａの予測残差推定手段１６（１６Ａ，１６Ｂおよび１６Ｃ）によって、外部から入力画像Ａn，ＢnおよびＣnを入力しフレーム間残差予測推定処理を行う（ステップＳ１２１）。このステップＳ１２１は、図９に示すように、ステップＳ１４１〜ステップＳ１４６を含むものである。図９に示すように、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、予測残差推定手段１６の参照画像蓄積手段１６ａ（１６Ａａ，１６Ｂａおよび１６Ｃａ）によって、動画像の１フレーム目の色成分Ａ，ＢおよびＣの集合である入力画像Ａ1，Ｂ1およびＣ1（Ａn-1，Ｂn-1およびＣn-1）をそれぞれ入力し記憶する（ステップＳ１４１）。
<Operation of Encoder Cm1>
Next, the operation of the encoder Cm1 according to the second embodiment will be described with reference to FIGS.
As shown in FIG. 8, the encoder Cm1 is the prediction residual estimation means 16 of the
次に、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、予測残差推定手段１６の参照画像蓄積手段１６ａによって、動画像の２フレーム目の色成分Ａ，ＢおよびＣの集合である入力画像Ａ2，Ｂ2およびＣ2（Ａn，ＢnおよびＣn）を入力し、すでに記憶した入力画像Ａ1，Ｂ1およびＣ1を動き推定手段１６ｂ（１６Ａｂ，１６Ｂｂおよび１６Ｃｂ）および動き補償手段１６ｃ（１６Ａｃ，１６Ｂｃおよび１６Ｃｃ）に出力するとともに、入力画像Ａ1，Ｂ1およびＣ1を入力画像Ａ2，Ｂ2およびＣ2に書き換えて記憶する（ステップＳ１４２）。
Next, the encoder Cm1 is a set of color components A, B, and C of the second frame of the moving image by the reference
続いて、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き推定手段１６ｂによって、参照画像蓄積手段１６ａから入力画像Ａ1，Ｂ1およびＣ1をそれぞれ入力するとともに、外部から入力画像Ａ2，Ｂ2およびＣ2をそれぞれ入力し、入力画像Ａ1，Ｂ1およびＣ1と入力画像Ａ2，Ｂ2およびＣ2とをそれぞれ比較して、動きベクトルｔ2をそれぞれ検出する（ステップＳ１４３）。
Subsequently, in step S121 of the
符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き推定手段１６ｂによって、検出した動きベクトルｔ2を動き補償手段１６ｃに出力する。続いて、色変換装置１Ａは、動き補償手段１６ｃによって、動き推定手段１６ｂから動きベクトルｔ2を入力すると、この動きベクトルｔ2に基づき、外部から入力された入力画像Ａ2，Ｂ2およびＣ2を予め定めたブロックごとに移動させて動き補償し、入力画像Ａ1，Ｂ1およびＣ1から入力画像Ａ2，Ｂ2およびＣ2をそれぞれ予測した予測画像Ｌ2，Ｍ2，Ｎ2をそれぞれ生成する（ステップＳ１４４）。
Encoder Cm1 in step S121 in the
符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き補償手段１６ｃによって、生成した予測画像Ｌ2，Ｍ2，Ｎ2を残差画像生成手段１６ｄ（１６Ａｄ，１６Ｂｄおよび１６Ｃｄ）に出力する。そして、色変換装置１Ａは、ステップＳ１２１において、残差画像生成手段１６ｄによって、動き補償手段１６ｃから予測画像Ｌ2，Ｍ2，Ｎ2を入力すると、この予測画像Ｌ2，Ｍ2，Ｎ2と、外部から入力された入力画像Ａ2，Ｂ2およびＣ2との間で差分をとり、残差画像Ｐ2，Ｑ2，Ｒ2を生成することによって、予測画像Ｌ2，Ｍ2，Ｎ2と入力画像Ａ2，Ｂ2，Ｃ2との間の画素値の差を画素位置ごとに生成する（ステップＳ１４５）。これによって、時間的に前のフレームである入力画像Ａ1，Ｂ1およびＣ1からの動きと方向を現フレームである入力画像Ａ2，Ｂ2およびＣ2から予測するとともに、予測結果と現フレームとの誤差を生成することができる。
In step S121 of the
そして、色変換装置１Ａは、ステップＳ１２１において、残差画像生成手段１６ｄによって、生成した残差画像Ｐ2，Ｑ2，Ｒ2（Ｐ，Ｑ，Ｒ）を変換手段１１（１１Ａ，１１Ｂおよび１１Ｃ）、および、減算手段１５（１５Ａ，１５Ｂおよび１５Ｃ）にそれぞれ出力する（ステップＳ１４６）。予測残差推定手段１６は、動画像の各フレームが時系列に沿って順次入力される間、ステップＳ１４１〜Ｓ１４６を繰り返す。
In step S121, the
続いて、符号化器Ｃｍ１は色変換装置１Ａによって、図８に示す各Ｓ１２２〜Ｓ１２９のステップを実行する。
さらに続いて、符号化器Ｃｍ１は符号化装置４０Ａによって、図８に示す各Ｓ１３０〜Ｓ１３４のステップを実行する。
Subsequently, the encoder Cm1 executes steps S122 to S129 shown in FIG. 8 by the
Subsequently, the encoder Cm1 executes steps S130 to S134 shown in FIG. 8 by the
なお、図８に示す符号化器Ｃｍ１のステップＳ１２２〜Ｓ１２９の動作と前記した第一実施形態に係る符号化器ＣｍのステップＳ１０２〜Ｓ１０９（図４参照）の動作は、前者の入力が残差画像Ｐ，ＱおよびＲであり、後者の入力が入力画像Ａ，ＢおよびＣである点では相違するが、実質的な動作の内容は同様であるので、前記した第一実施形態に係る符号化器ＣｍのステップＳ１０２〜Ｓ１０９（図４参照）の説明を参照することとし、ここでは詳細な説明を省略する。 The operations of steps S122 to S129 of the encoder Cm1 and the operations of steps S102 to S109 (see FIG. 4) of the encoder Cm according to the first embodiment shown in FIG. Although the images P, Q, and R are different in that the latter input is the input images A, B, and C, the content of the substantial operation is the same, so that the encoding according to the first embodiment described above is performed. Reference is made to the description of steps S102 to S109 (see FIG. 4) of the container Cm, and detailed description thereof is omitted here.
図８に示すように、符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、色変換装置１Ａで生成された出力画像Ｘn，Ｙn，Ｚnを入力する（ステップＳ１３０）。
As shown in FIG. 8, the encoder Cm1 receives the output images X n , Y n and Z n generated by the
続いて、符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、色変換装置１Ａで生成された出力画像Ｘn，ＹnおよびＺnに対し、色変換装置１Ａの予測残差推定手段１６と同じ予測残差推定処理（ここでは、フレーム間予測残差推定処理）を行い、残差画像Ｐn，ＱnおよびＲnを生成する（ステップＳ１３１）。符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、残差画像Ｐn，ＱnおよびＲnを変換手段４１に出力する。
Subsequently, the encoder Cm1 performs the prediction residual of the
さらに、符号化器Ｃｍ１は、符号化装置４０Ａの変換手段４１によって、予測残差推定手段４４で生成された残差画像Ｐn，ＱnおよびＲnを入力し、この残差画像Ｐn，ＱnおよびＲnに対し、色変換装置１Ａの変換手段１１と同じ変換処理を行い、変換係数列を生成する（ステップＳ１３２）。符号化器Ｃｍ１は、符号化装置４０Ａの変換手段４１によって、生成した変換係数列を量子化手段４２に出力する。
Further, the encoder Cm1 inputs the residual images P n , Q n and R n generated by the prediction residual estimation unit 44 by the
さらに、符号化器Ｃｍ１は、符号化装置４０Ａの量子化手段４２によって、変換手段４１で生成された変換係数列を入力し、変換係数列に対し、色変換装置１Ａの量子化手段１２と同じ量子化処理を行い、量子化データを生成する（ステップＳ１３３）。符号化器Ｃｍ１は、符号化装置４０Ａの量子化手段４２によって、生成した量子化データを符号化手段４３に出力する。
Further, the encoder Cm1 receives the transform coefficient sequence generated by the
そして、符号化器Ｃｍ１は、符号化装置４０Ａの符号化手段４３によって、量子化手段４２で生成された量子化データと予測残差推定手段４４の動き推定手段４４ｂで生成された動きベクトルとをエントロピ符号化し、さらに、色変換装置１Ａで生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化し、符号化データを生成する（ステップＳ１３４）。
符号化器Ｃｍ１は、以上のように動作する。
Then, the encoder Cm1 outputs the quantized data generated by the quantizing
The encoder Cm1 operates as described above.
第二実施形態に係る符号化器Ｃｍ１によれば、色変換装置１Ａの劣化推定手段１０Ａの予測残差推定手段１６によって、入力画像Ａ，ＢおよびＣに対して符号化装置４０Ａで行われる動画像符号化の動き補償を模擬することができるので、動き補償を有する動画像符号化方式における動画像の各フレームの画質劣化をより厳密に考慮することができ、これによって、動画像の色変換をより適切かつ効果的に行うことができる。
According to the encoder Cm1 according to the second embodiment, the moving image performed by the
［復号器］
以下、図１０および図１〜３，５〜７を適宜参照して、本発明の復号器Ｄｍについて簡単に説明する。復号器Ｄｍは、以上説明したような符号化器ＣｍまたはＣｍ１で生成されたデータを画像形式のデータに復号するものである。
[Decoder]
Hereinafter, the decoder Dm of the present invention will be briefly described with reference to FIG. 10 and FIGS. The decoder Dm decodes the data generated by the encoder Cm or Cm1 as described above into image format data.
図１に示すように、復号器Ｄｍは、復号装置５０と、色復元装置６０とを備える。ここで、復号装置５０について、図１０を参照して説明する。
復号装置５０は、符号化器ＣｍまたはＣｍ１（図１参照）の色変換装置１または１Ａ（図２または図５参照）で新たな色空間に変換されたカラー画像Ｘ，ＹおよびＺを、符号化装置４０または４０Ａ（図３または図７参照）で符号化した符号化データからカラー画像Ｘ，ＹおよびＺを復号するものである。図１０に示すように、復号装置５０は、一般的な復号装置と同様に、符号化データ復号手段５１と、逆量子化手段５２（第２逆量子化手段）と、逆変換手段５３（第２逆変換手段）と、加算手段５４と、動き補償手段５５と、参照画像蓄積手段５６とを備えている。
As shown in FIG. 1, the decoder Dm includes a
The
符号化データ復号手段５１は、符号化器ＣｍまたはＣｍ１（図１参照）で生成された符号化データを復号するものである。なお、この符号化データ復号手段５１は、符号化装置４０（４０Ａ）の符号化手段４３（４３Ａ）とは逆の手順を行うことで、符号化データから、量子化データと、動きベクトル（動き情報）とを復号する。また、符号化データ復号手段５１は、符号化データに多重化された色変換行列Ｍを分離する。ここで復号された量子化データは、逆量子化手段５２に出力される。また、動きベクトルは、動き補償手段５５に出力される。また、ここで分離された色変換行列Ｍは、色復元装置６０に出力される。
The encoded data decoding means 51 decodes the encoded data generated by the encoder Cm or Cm1 (see FIG. 1). The encoded data decoding means 51 performs the reverse procedure of the encoding means 43 (43A) of the encoding device 40 (40A), thereby converting the quantized data and the motion vector (motion) from the encoded data. Information). The encoded data decoding means 51 separates the color conversion matrix M multiplexed on the encoded data. The quantized data decoded here is output to the inverse quantization means 52. The motion vector is output to the
逆量子化手段５２（第２逆量子化手段）は、符号化データ復号手段５１で復号された量子化データを逆量子化することで、変換係数列を生成するものである。なお、逆量子化手段５２は、色変換装置１（１Ａ）の逆量子化手段１３と同じ手順を行うことで、言い換えれば、符号化装置４０（４０Ａ）の量子化手段４２による量子化処理とは逆の逆量子化処理を行うことで、変換係数列を生成する。なお、この逆量子化手段５２には、色変換装置１（１Ａ）の逆量子化手段１３と同一の量子化テーブルを保持し、量子化時と同じ量子化テーブルが参照される。ここで生成された変換係数列は、逆変換手段５３に出力される。 The inverse quantization means 52 (second inverse quantization means) generates a transform coefficient sequence by inversely quantizing the quantized data decoded by the encoded data decoding means 51. The inverse quantization means 52 performs the same procedure as the inverse quantization means 13 of the color conversion device 1 (1A), in other words, the quantization processing by the quantization means 42 of the encoding device 40 (40A). Performs a reverse inverse quantization process to generate a transform coefficient sequence. The inverse quantization means 52 holds the same quantization table as that of the inverse quantization means 13 of the color conversion device 1 (1A), and the same quantization table as that at the time of quantization is referred to. The transform coefficient sequence generated here is output to the inverse transform means 53.
逆変換手段５３（第２逆変換手段）は、逆量子化手段５２で生成された変換係数列に対して、色変換装置１（１Ａ）の逆変換手段１４と同じ手順を行うことで、言い換えれば、符号化装置４０（４０Ａ）の変換手段４１による変換処理とは逆の逆変換化処理を行うことで、差分画像を再構築するものである。ここで生成された差分画像は、加算手段５４に出力される。
In other words, the inverse transform unit 53 (second inverse transform unit) performs the same procedure as the
加算手段５４は、逆変換手段５３で生成された差分画像と、後記する動き補償手段５５で生成された予測画像（動き補償画像）とを加算することで、復号データ（カラー画像Ｘ，ＹおよびＺ）を生成するものである。ここで生成された復号データ（カラー画像Ｘ，ＹおよびＺ）は、復号装置５０における復号結果として色復元装置６０に出力されるとともに、参照画像蓄積手段５６に蓄積される。
The adding
動き補償手段５５は、符号化データ復号手段５１で復号された動きベクトルと、参照画像蓄積手段５６に蓄積された参照画像とに基づいて、参照画像が動きベクトル分動いた画像（動き補償画像）を予測画像として生成するものである。ここで生成された予測画像は、加算手段５４に出力される。
The
参照画像蓄積手段５６は、加算手段５４で生成された復号データを参照画像（フレーム）として蓄積するものである。なお、動画像の１フレーム目は、動きベクトルが０なので、加算手段５４で生成された復号データは、逆変換手段５３で生成された空間領域の画像データと同じものとなる。
The reference
なお、復号器Ｄｍは、符号化器Ｃｍ（図１参照）で符号化された符号化データを復号する場合、符号化データ復号手段５１と逆量子化手段５２と逆変換手段５３とを経て復号データを生成する。このようにして生成された復号データは、色復元装置６０に出力される。
The decoder Dm decodes the encoded data encoded by the encoder Cm (see FIG. 1) through the encoded data decoding means 51, the inverse quantization means 52, and the inverse transform means 53. Generate data. The decoded data generated in this way is output to the
次に、色復元装置６０について、図１を参照して説明する。
色復元装置６０は、図１に示すように、復号装置５０で復号された復号データ（カラー画像Ｘ，ＹおよびＺ）の色成分Ｘ，ＹおよびＺを、元の色成分Ａ，ＢおよびＣに変換してカラー画像Ａ，ＢおよびＣを復元するための色空間復元手段６１を備える。
Next, the
As shown in FIG. 1, the
色復元装置６０は、色空間復元手段６１によって、復号装置５０から色変換行列Ｍまたは色変換行列Ｍの逆行列Ｍ-1を入力する。色復元装置６０は、色空間復元手段６１によって、復号装置５０から色変換行列Ｍを入力した場合、この色変換行列Ｍから逆行列Ｍ-1を生成する。
色復元装置６０は、色空間復元手段６１によって、復号装置５０で復号された画像データＸ，ＹおよびＺのそれぞれの色成分からなる色ベクトル［Ｘ，Ｙ，Ｚ］に対して、左側から色変換行列Ｍの逆行列Ｍ-1を乗算する。これにより、色復元装置６０は、画像データＸ，ＹおよびＺを、符号化器ＣｍまたはＣｍ１の色変換装置１または１Ａによる処理前の元の色空間の色成分Ａ，ＢおよびＣからなる画像データＡ，ＢおよびＣに戻すことができる。
The
The
＜復号器Ｄｍの動作＞
次に、復号器Ｄｍの動作について、図１１を参照して説明する。なお、ここでは、復号器Ｄｍが前記した符号化器Ｃｍ１（図１，３）で生成された符号化データを復号する場合について説明する。
<Operation of Decoder Dm>
Next, the operation of the decoder Dm will be described with reference to FIG. Here, a case where the decoder Dm decodes the encoded data generated by the encoder Cm1 (FIGS. 1 and 3) will be described.
図１１に示すように、復号器Ｄｍは、復号装置５０の符号化データ復号手段５１によって、符号化器Ｃｍ１で生成された符号化データを入力して量子化データと、動きベクトル（動き情報）とを復号するとともに、符号化データに多重化された色変換行列Ｍを分離する。復号器Ｄｍは、復号装置５０の符号化データ復号手段５１によって、復号した量子化データを、逆量子化手段５２に出力し、動きベクトルを、動き補償手段５５に出力し、分離した色変換行列Ｍを、色復元装置６０に出力する（ステップＳ１５１）。
As shown in FIG. 11, the decoder Dm receives the encoded data generated by the encoder Cm1 by the encoded data decoding means 51 of the
次に、復号器Ｄｍは、復号装置５０の逆量子化手段５２によって、符号化データ復号手段５１で復号された量子化データを入力し、この量子化データに対し、色変換装置（１Ａ）の逆量子化手段１３と同じ手順を行うことで、変換係数列を生成する（ステップＳ１５２）。復号器Ｄｍは、復号装置５０の逆量子化手段５２によって、生成した変換係数列を逆変換手段５３に出力する。
Next, the decoder Dm receives the quantized data decoded by the encoded
さらに、復号器Ｄｍは、復号装置５０の逆変換手段５３によって、逆量子化手段５２で生成された変換係数列を入力し、この変換係数列に対して、色変換装置１（１Ａ）の逆変換手段１４と同じ手順を行うことで、残差画像Ｐn，ＱnおよびＲnを再構築する（ステップＳ１５３）。復号器Ｄｍは、復号装置５０の逆変換手段５３によって、生成した残差画像Ｐn，ＱnおよびＲnを、加算手段５４に出力する。
Further, the decoder Dm receives the transform coefficient sequence generated by the
続いて、復号器Ｄｍは、復号装置５０の動き補償手段５５によって、符号化データ復号手段５１で復号された動きベクトルを入力し、この動きベクトルと、参照画像蓄積手段５６に蓄積された参照画像Ｘn-1，Ｙn-1およびＺn-1とに基づいて、参照画像Ｘn-1，Ｙn-1およびＺn-1が動きベクトル分動いた画像（動き補償画像）を予測画像Ｌn，ＭnおよびＮnとして生成する（ステップＳ１５４）。復号器Ｄｍは、復号装置５０の動き補償手段５５によって、生成した予測画像Ｌn，ＭnおよびＮnを加算手段５４に出力する。
Subsequently, the decoder Dm inputs the motion vector decoded by the encoded
続いて、復号器Ｄｍは、復号装置５０の加算手段５４によって、逆変換手段５３で生成された残差画像Ｐn，ＱnおよびＲnを入力するとともに、動き補償手段５５で生成された予測画像Ｌn，ＭnおよびＮnを入力し、残差画像Ｐn，ＱnおよびＲnと予測画像Ｌn，ＭnおよびＮnとを加算することで、復号データＸn，ＹnおよびＺn（カラー画像Ｘ，ＹおよびＺ）を生成する（ステップＳ１５５）。復号器Ｄｍは、復号装置５０の加算手段５４によって、生成した復号データＸn，Ｙn，Ｚnを、色復元装置６０に出力するとともに、参照画像蓄積手段５６に蓄積する（ステップＳ１５６）。
Subsequently, the decoder Dm inputs the residual images P n , Q n, and R n generated by the
そして、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号装置５０で生成された復号データＸn，ＹnおよびＺnを入力する（ステップＳ１５７）。そして、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号データＸn，ＹnおよびＺnに、復号装置５０の符号化データ復号手段５１から予め入力された色変換行列Ｍの逆行列Ｍ-1を生成して復号データＸn，ＹnおよびＺnに乗算し、カラー画像Ａn，ＢnおよびＣnを復元する（ステップＳ１５８）。なお、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号装置５０の符号化データ復号手段５１で復号された逆行列Ｍ-1を入力した場合、ステップＳ１５８において、逆行列Ｍ-1をそのまま復号データＸn，ＹnおよびＺnに乗算する。
復号器Ｄｍは、以上のように動作する。
Then, the decoder Dm inputs the decoded data X n , Y n and Z n generated by the
The decoder Dm operates as described above.
なお、復号器Ｄｍは、符号化器Ｃｍ（図１参照）で符号化された符号化データを復号する場合、復号装置５０によって、図１１に示すステップＳ１４１〜Ｓ１４３を実行して復号データＸ，ＹおよびＺを生成する。そして、復号器Ｄｍは、復号装置５０によって、ステップＳ１４７を実行し、色復元装置６０の色空間復元手段６１によって、図１１に示すステップＳ１４８を実行して復号データＸ，ＹおよびＺからカラー画像Ａ，ＢおよびＣを復元する。なお、この場合、符号化器Ｃｍ（図１参照）で符号化された符号化データに動きベクトルは含まれていない。
When decoding the encoded data encoded by the encoder Cm (see FIG. 1), the decoder Dm executes steps S141 to S143 shown in FIG. Y and Z are generated. Then, the decoder Dm executes step S147 by the
以上説明した復号器Ｄｍは、復号装置５０によって、符号化器ＣｍまたはＣｍ１で生成された符号化データから新たな色空間の各色成分の画像データを復号し、色復元装置６０によって、例えば、色成分Ａ，ＢおよびＣ（例えば、Ｒ，ＧおよびＢ）からなる三原色に逆変換したり、表示デバイスの表色系に合致した色表現に変換したりすることが可能となる。
The decoder Dm described above decodes the image data of each color component of the new color space from the encoded data generated by the encoder Cm or Cm1 by the
以上、本発明の実施形態に係る符号化器Ｃｍ，Ｃｍ１および復号器Ｄｍについて説明したが、本発明は、前記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
例えば、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、前記した実施形態では、色成分Ａ，ＢおよびＣでなる画像Ａ，ＢおよびＣの色変換を行うこととしているが、これに替えて、輝度成分Ｙと色差成分ＣB，ＣRからなる画像の輝度・色差成分の変換を行うこととしてもよい。
また例えば、前記した実施形態では、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、主成分分析手段２０によって、分散・共分散行列Ｓを生成することで主成分分析を行っているが、これに替えて、その他の一般的な主成分分析の手法を用いてもよいことはもちろんである。
The encoders Cm and Cm1 and the decoder Dm according to the embodiment of the present invention have been described above. However, the present invention is not limited to the above-described embodiment, and may be appropriately selected without departing from the spirit of the present invention. It can be changed.
For example, the
Further, for example, in the above-described embodiment, the
また、前記した実施形態では、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、色空間変換手段３０によって、色変換行列Ｍを符号化装置４０，４０Ａに出力していたが、色変換行列Ｍから逆行列Ｍ-1を生成し、この逆行列Ｍ-1を符号化装置４０，４０Ａに出力してもよい。
In the above-described embodiment, the
なお、前記した符号化器Ｃｍ，Ｃｍ１、色変換装置１，１Ａまたは復号器Ｄｍは、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（符号化プログラム、色変換プログラムまたは復号プログラム）とすることも可能である。この場合、各プログラムは、対応する装置と同様の効果を奏する。
Each of the encoders Cm and Cm1, the
１，１Ａ 色変換装置
１０，１０Ａ 劣化推定手段
１１（１１Ａ，１１Ｂ，１１Ｃ） 変換手段
１２（１２Ａ，１２Ｂ，１２Ｃ） 量子化手段
１３（１３Ａ，１３Ｂ，１３Ｃ） 逆量子化手段
１４（１４Ａ，１４Ｂ，１４Ｃ） 逆変換手段
１５（１５Ａ，１５Ｂ，１５Ｃ） 減算手段
１６（１６Ａ，１６Ｂ，１６Ｃ） 予測残差推定手段
１６ａ（１６Ａａ，１６Ｂａ，１６Ｃａ） 参照画像蓄積手段
１６ｂ（１６Ａｂ，１６Ｂｂ，１６Ｃｂ） 動き推定手段
１６ｃ（１６Ａｃ，１６Ｂｃ，１６Ｃｃ） 動き補償手段
１６ｄ（１６Ａｄ，１６Ｂｄ，１６Ｃｄ） 残差画像生成手段
２０ 主成分分析手段
３０ 色空間変換手段
４０，４０Ａ 符号化装置
４１ 変換手段（第２変換手段）
４２ 量子化手段（第２量子化手段）
４３ 符号化手段
４４ 予測残差推定手段（第２予測残差推定手段）
４４ａ 参照画像蓄積手段
４４ｂ 動き推定手段
４４ｃ 動き補償手段
４４ｄ 残差画像生成手段
４５ 逆量子化手段
４６ 逆変換手段
４７ 加算手段
５０ 復号装置
５１ 符号化データ復号手段
５２ 逆量子化手段（第２逆量子化手段）
５３ 逆変換手段（第２逆変換手段）
５４ 加算手段
５５ 動き補償手段
５６ 参照画像蓄積手段
６０ 色復元装置
Ｃｍ，Ｃｍ１ 符号化器
Ｄｍ 復号器
Ｓ 画像処理システム
1, 1A color conversion device 10, 10A degradation estimation means 11 (11A, 11B, 11C) conversion means 12 (12A, 12B, 12C) quantization means 13 (13A, 13B, 13C) inverse quantization means 14 (14A, 14B) 14C) Inverse conversion means 15 (15A, 15B, 15C) Subtraction means 16 (16A, 16B, 16C) Prediction residual estimation means 16a (16Aa, 16Ba, 16Ca) Reference image storage means 16b (16Ab, 16Bb, 16Cb) Motion Estimation means 16c (16Ac, 16Bc, 16Cc) Motion compensation means 16d (16Ad, 16Bd, 16Cd) Residual image generation means 20 Principal component analysis means 30 Color space conversion means 40,
42 Quantization means (second quantization means)
43 Coding means 44 Prediction residual estimation means (second prediction residual estimation means)
44a Reference image storage means 44b Motion estimation means 44c Motion compensation means 44d Residual image generation means 45 Inverse quantization means 46 Inverse transformation means 47 Addition means 50
53 Inverse conversion means (second inverse conversion means)
54
Claims (9)
前記色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定する劣化推定手段と、
前記劣化推定手段によって推定された前記符号化劣化成分を主成分分析する主成分分析手段と、
前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各前記入力画像に乗算して、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換し、新たな各色成分からなる画像をそれぞれ生成する色空間変換手段と、を備えることを特徴とする色変換装置。 A color conversion device that converts each color component constituting a color image into a new color component that reduces image quality degradation during encoding,
Degradation estimating means for inputting an image for each color component and estimating an encoding degradation component added at the time of encoding of the input image for each pixel;
Principal component analysis means for principal component analysis of the encoded deterioration component estimated by the deterioration estimation means;
Each input image is multiplied by a color conversion matrix based on a coupling coefficient obtained by principal component analysis by the principal component analysis means, and each color component is changed to the new color space different from the color space of the color component. A color conversion device comprising: color space conversion means for converting each color component to generate an image composed of each new color component.
前記入力画像に対し周波数変換を行い複数の周波数係数からなる変換係数列を生成する変換手段と、
前記変換手段により求められた変換係数列の各周波数係数を量子化テーブルの量子化ステップで除算して量子化データを生成する量子化手段と、
前記量子化手段により生成された前記量子化データに対し、前記量子化ステップを乗算して逆量子化データを生成する逆量子化手段と、
前記逆量子化手段により生成された逆量子化データに対して、前記変換手段による周波数変換の逆変換を行い、劣化模擬画像を生成する逆変換手段と、
前記逆変換手段で生成された前記劣化模擬画像と前記入力画像との差分をとり、前記符号化劣化成分である差分画像を生成する減算手段と、を備えることを特徴とする請求項１に記載の色変換装置。 The deterioration estimating means is
Conversion means for performing frequency conversion on the input image to generate a conversion coefficient sequence composed of a plurality of frequency coefficients;
Quantization means for generating quantized data by dividing each frequency coefficient of the transform coefficient sequence obtained by the transform means by a quantization step of a quantization table;
Dequantizing means for multiplying the quantized data generated by the quantizing means by multiplying the quantization step to generate dequantized data;
Inverse transform means for performing inverse transform of frequency transform by the transform means on the inverse quantized data generated by the inverse quantizer, and generating a degradation simulation image;
The subtracting means for taking a difference between the deterioration simulated image generated by the inverse conversion means and the input image and generating a difference image which is the encoded deterioration component. Color conversion device.
前記入力画像に対し動き補償による予測残差を推定し、予測残差を示す残差画像を生成する予測残差推定手段と、
前記予測残差推定手段で生成された前記残差画像に対し周波数変換を行い複数の周波数係数からなる変換係数列を生成する変換手段と、
前記変換手段により求められた変換係数列の各周波数係数を量子化テーブルの量子化ステップで除算して情報量を削減する量子化手段と、
前記量子化手段により量子化された前記各周波数係数に対し、前記量子化ステップを乗算して逆量子化データを生成する逆量子化手段と、
前記逆量子化手段により生成された逆量子化データに対して、前記変換手段による周波数変換の逆変換を行い、劣化模擬画像を生成する逆変換手段と、
前記逆変換手段で生成された前記劣化模擬画像と前記残差画像との差分をとり、前記符号化劣化成分である差分画像を生成する減算手段と、を備えることを特徴とする請求項１に記載の色変換装置。 The deterioration estimating means is
A prediction residual estimation means for estimating a prediction residual by motion compensation for the input image and generating a residual image indicating the prediction residual;
Conversion means for performing frequency conversion on the residual image generated by the prediction residual estimation means and generating a conversion coefficient sequence composed of a plurality of frequency coefficients;
Quantization means for reducing the amount of information by dividing each frequency coefficient of the transform coefficient sequence obtained by the transform means by a quantization step of a quantization table;
Inverse quantization means for generating inverse quantization data by multiplying each frequency coefficient quantized by the quantization means by the quantization step;
Inverse transform means for performing inverse transform of frequency transform by the transform means on the inverse quantized data generated by the inverse quantizer, and generating a degradation simulation image;
2. A subtracting unit that takes a difference between the degradation simulation image generated by the inverse conversion unit and the residual image, and generates a difference image that is the encoded degradation component. The color conversion device described.
請求項２に記載の色変換装置と、
前記色変換装置で生成された前記新たな各色成分でなる画像を入力し、前記新たな各色成分でなる画像に対し、前記色変換装置の変換手段と同じ変換を行って変換係数列を生成する第２変換手段と、
前記第２変換手段で生成された変換係数列に対し、前記色変換装置の量子化手段と同じ量子化を行って量子化データを生成する第２量子化手段と、
前記第２量子化手段で生成された量子化データおよび前記色変換行列のデータを符号化する符号化手段と、
を備えることを特徴とする符号化器。 An encoder for encoding a color image,
A color conversion device according to claim 2;
An image composed of the new color components generated by the color conversion device is input, and a conversion coefficient sequence is generated by performing the same conversion as the conversion means of the color conversion device on the image composed of the new color components. A second conversion means;
Second quantizing means for generating quantized data by performing the same quantization as the quantizing means of the color conversion device on the transform coefficient sequence generated by the second converting means;
Encoding means for encoding the quantized data generated by the second quantization means and the data of the color conversion matrix;
An encoder comprising:
請求項３に記載の色変換装置と、
前記色変換装置で生成された前記新たな各色成分でなる画像を入力し、前記色変換装置の予測残差推定手段と同じ推定処理を行って、残差画像を生成する第２予測残差推定手段と、
前記第２予測残差推定手段で生成された残差画像に対し、前記色変換装置の変換手段と同じ変換を行って変換係数列を生成する第２変換手段と、
前記第２変換手段で生成された変換係数列に対し、前記色変換装置の量子化手段と同じ量子化を行って量子化データを生成する第２量子化手段と、
前記第２量子化手段で生成された量子化データおよび前記色変換行列のデータを符号化する符号化手段と、
を備えることを特徴とする符号化器。 An encoder for encoding a color image,
A color conversion device according to claim 3;
Second prediction residual estimation for generating a residual image by inputting an image composed of the new color components generated by the color conversion device and performing the same estimation process as the prediction residual estimation means of the color conversion device Means,
Second conversion means for generating a conversion coefficient string by performing the same conversion as the conversion means of the color conversion apparatus on the residual image generated by the second prediction residual estimation means;
Second quantizing means for generating quantized data by performing the same quantization as the quantizing means of the color conversion device on the transform coefficient sequence generated by the second converting means;
Encoding means for encoding the quantized data generated by the second quantization means and the data of the color conversion matrix;
An encoder comprising:
前記符号化器からのデータを復号して量子化データおよび前記色変換行列のデータを生成する符号化データ復号手段と、
前記符号化データ復号手段で生成された量子化データに対し、前記符号化器における第２量子化手段とは逆の逆量子化を行って、複数の周波数係数からなる変換係数列を生成する第２逆量子化手段と、
前記第２逆量子化手段で生成された変換係数列に対し、前記符号化器における第２変換手段とは逆の逆変換を行って、前記新たな各色成分でなる画像を生成する第２逆変換手段と、を有する復号装置と、
前記復号装置で生成された前記新たな各色成分でなる画像を入力し、この新たな各色成分からなる画像に、前記色変換装置で生成された前記色変換行列の逆行列をそれぞれ乗算して、前記各色成分からなる画像を復元する色空間復元手段を備える色復元装置と、
を備えることを特徴とする復号器。 A decoder for decoding the data generated by the encoder according to claim 4 or 5, comprising:
Encoded data decoding means for decoding the data from the encoder to generate quantized data and color conversion matrix data;
The quantized data generated by the encoded data decoding means is subjected to inverse quantization opposite to the second quantizing means in the encoder to generate a transform coefficient sequence consisting of a plurality of frequency coefficients. 2 inverse quantization means;
A second inverse that generates an image composed of the new color components by performing an inverse transform on the transform coefficient sequence generated by the second inverse quantization means, which is reverse to the second transform means in the encoder. A decoding device having conversion means;
Input an image composed of the new color components generated by the decoding device, multiply the image composed of the new color components by an inverse matrix of the color conversion matrix generated by the color conversion device, respectively. A color restoration device comprising color space restoration means for restoring the image composed of each color component;
A decoder comprising:
前記色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定する劣化推定手段、
前記劣化推定手段によって推定された前記符号化劣化成分を主成分分析する主成分分析手段、
前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各前記入力画像に乗算して、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換し、新たな各色成分からなる画像をそれぞれ生成する色空間変換手段、として機能させるための色変換プログラム。 In order to convert a plurality of color components constituting a color image into new color components,
Degradation estimation means for inputting an image for each color component and estimating for each pixel a coding deterioration component added when the input image is encoded,
Principal component analysis means for principal component analysis of the encoded degradation component estimated by the degradation estimation means;
Each input image is multiplied by a color conversion matrix based on a coupling coefficient obtained by principal component analysis by the principal component analysis means, and each color component is changed to the new color space different from the color space of the color component. A color conversion program for functioning as color space conversion means for converting each color component and generating an image composed of each new color component.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012111867A JP5909149B2 (en) | 2012-05-15 | 2012-05-15 | COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012111867A JP5909149B2 (en) | 2012-05-15 | 2012-05-15 | COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013239923A JP2013239923A (en) | 2013-11-28 |
| JP5909149B2 true JP5909149B2 (en) | 2016-04-26 |
Family
ID=49764594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012111867A Active JP5909149B2 (en) | 2012-05-15 | 2012-05-15 | COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5909149B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6030989B2 (en) * | 2013-04-05 | 2016-11-24 | 日本電信電話株式会社 | Image encoding method, image decoding method, image encoding device, image decoding device, program thereof, and recording medium recording the program |
| BR122022001646B1 (en) | 2014-03-04 | 2023-03-07 | Microsoft Technology Licensing, Llc | COMPUTER READABLE MEMORY OR STORAGE DEVICE, METHOD AND COMPUTER SYSTEM |
| WO2015131330A1 (en) | 2014-03-04 | 2015-09-11 | Microsoft Technology Licensing, Llc | Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths |
| CN105432077B (en) | 2014-03-27 | 2017-12-29 | 微软技术许可有限责任公司 | Adjust quantization/scaling and re-quantization/scaling when switching color space |
| US10687069B2 (en) | 2014-10-08 | 2020-06-16 | Microsoft Technology Licensing, Llc | Adjustments to encoding and decoding when switching color spaces |
| CN110267038B (en) * | 2019-06-28 | 2022-07-29 | 广东中星微电子有限公司 | Encoding method and device, and decoding method and device |
| CN114449241B (en) * | 2022-02-18 | 2024-04-02 | 复旦大学 | Color space conversion algorithm suitable for image compression |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005099249A1 (en) * | 2004-04-09 | 2005-10-20 | Olympus Corporation | Compression device, color conversion device, methods therefor, program, look-up table and recording medium |
| JP5227987B2 (en) * | 2010-03-10 | 2013-07-03 | 日本放送協会 | Encoding device, decoding device, and program |
-
2012
- 2012-05-15 JP JP2012111867A patent/JP5909149B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013239923A (en) | 2013-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8111914B2 (en) | Method and apparatus for encoding and decoding image by using inter color compensation | |
| JP5909149B2 (en) | COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF | |
| CN101507277B (en) | Image encoding/decoding method and apparatus | |
| KR101261526B1 (en) | An video encoding/decoding method and apparatus | |
| US8553768B2 (en) | Image encoding/decoding method and apparatus | |
| US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
| US7925107B2 (en) | Adaptive variable block transform system, medium, and method | |
| EP1509045A2 (en) | Lossless image encoding/decoding method and apparatus using intercolor plane prediction | |
| US9794556B2 (en) | Method and device for simplifying encoding and decoding of ultra-high definition images | |
| JP5421757B2 (en) | Image encoding device | |
| WO2007108642A1 (en) | Image encoding/decoding method and apparatus | |
| JP2006246474A (en) | Prediction image generation method and apparatus using single coding mode for all color components, and image and video encoding and decoding methods and apparatuses using the same | |
| CN105850124B (en) | Method and apparatus for encoding and decoding video signal using additional control of quantization error | |
| MX2014015293A (en) | Encoding device, decoding device, and program. | |
| US20190089955A1 (en) | Image encoding method, and image encoder and image decoder using same | |
| US9549205B2 (en) | Method and device for encoding video | |
| JP5455229B2 (en) | Image encoding apparatus and image decoding apparatus | |
| WO2006084419A1 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| JP5667269B2 (en) | Image encoding device, image decoding device, image encoding / decoding device, image encoding / decoding method, and image encoding / decoding program | |
| US10051268B2 (en) | Method for encoding, decoding video signal and device therefor | |
| JP2000513914A (en) | Method and apparatus for encoding and decoding digital images | |
| JP2014222936A (en) | Image decoding device, image decoding method, image encoding/decoding method and image decoding program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5909149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |