JP6163022B2 - Encoding apparatus and program - Google Patents
Encoding apparatus and program Download PDFInfo
- Publication number
- JP6163022B2 JP6163022B2 JP2013120080A JP2013120080A JP6163022B2 JP 6163022 B2 JP6163022 B2 JP 6163022B2 JP 2013120080 A JP2013120080 A JP 2013120080A JP 2013120080 A JP2013120080 A JP 2013120080A JP 6163022 B2 JP6163022 B2 JP 6163022B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- image
- unit
- space
- reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 56
- 238000011946 reduction process Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000006731 degradation reaction Methods 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 22
- 238000009499 grossing Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムに関する。 The present invention relates to an encoding apparatus and a program for encoding and outputting a space / tone reduction image obtained by performing gradation reduction processing and space reduction processing on an original image.
従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である（非特許文献１及び２参照）。 Conventionally, a technique for performing space reduction processing of an original image and a technique for performing gradation reduction processing of an original image are known. Spatial reduction processing can be performed by, for example, simple pixel thinning or wavelet decomposition. The gradation reduction process can be performed by, for example, simple reduction of the number of gradations or the Lloyd-Max method. The Lloyd-Max method is a method of examining the histogram showing the frequency for each tone value (luminance value) of the image and assigning more tones as the tone value has a higher frequency when performing tone reduction. (See Non-Patent Documents 1 and 2).
また、画像を空間方向に拡大又は超解像処理して元の画像よりも解像度の高い画像を生成する技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（特許文献１参照）。 In addition, a technique for generating an image having a higher resolution than the original image by enlarging or super-resolution processing the image in the spatial direction is known. For example, the illumination equation parameter of the subject is estimated, the resolution of the estimated illumination equation parameter is increased, and a high-resolution image is generated by synthesizing the increased illumination equation parameter. At that time, the estimated illumination equation parameter When there is a pixel whose estimation accuracy does not satisfy the predetermined accuracy, a technique for increasing the resolution of the image of the subject by feeding back the illumination equation parameter having a higher resolution and estimating the illumination equation parameter again Is known (see Patent Document 1).
また、画像の中間階調値を補間して元の画像よりも階調数の多い画像を生成する技術が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（特許文献２参照）。 There is also known a technique for generating an image having more gradations than the original image by interpolating the intermediate gradation values of the image. For example, a plurality of threshold values and interpolation calculation errors are set for the print density of the processing target pixel, and the sum of the processing target pixel and the average of interpolation calculation errors of adjacent pixels is compared with the plurality of threshold values. A technique for interpolating intermediate gradations using a close threshold value as an execution threshold is known (see Patent Document 2).
原画像を空間縮小処理及び階調削減処理してから符号化することにより、ビットレートを大幅に低減することができる。しかし、画像に対して空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要があった。このため、空間縮小処理と階調削減処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。 By encoding the original image after performing spatial reduction processing and gradation reduction processing, the bit rate can be greatly reduced. However, in order to perform space reduction processing and gradation reduction processing on an image, it is necessary to separately apply space reduction processing and gradation reduction processing. For this reason, the space reduction process and the gradation reduction process cannot be optimized in a unified manner, and it has been difficult to perform both processes simultaneously with high accuracy.
また、画像に対して空間拡大処理及び階調補間処理を行うには、空間拡大処理と階調補間処理とを別々に適用する必要があった。このため、空間拡大処理と階調補間処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。 In addition, in order to perform space enlargement processing and gradation interpolation processing on an image, it is necessary to separately apply space expansion processing and gradation interpolation processing. For this reason, the space enlargement process and the gradation interpolation process cannot be optimized in a unified manner, and it has been difficult to perform both processes simultaneously with high accuracy.
かかる事情に鑑みてなされた本発明の目的は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムにおいて、パラメータを一元的に最適化し、高画質かつ高圧縮な符号化を実現することにある。 An object of the present invention made in view of such circumstances is to provide parameters in an encoding apparatus and a program for encoding and outputting a space / tone-reduced image obtained by performing gradation reduction processing and space reduction processing on an original image. The aim is to realize a high-quality and high-compression encoding that is optimized centrally.
上記課題を解決するため、本発明に係る符号化装置は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置であって、原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、を備え、前記階調削減部は、前記原画像を空間方向に周波数分解して、最も周波数が高い帯域成分である空間最高周波数帯域成分、及び最も周波数が低い帯域成分である空間最低周波数帯域成分を含む複数の空間周波数帯域成分を生成する周波数分解部と、前記原画像の前記空間最高周波数帯域成分のパワーの割合とｊ個の雑音閾値とを比較して、該パワーの割合が前記雑音閾値を超え且つ孤立している要素を除去したｊ枚の雑音除去画像を生成するか、又は前記原画像の前記空間最低周波数帯域成分のパワーの割合とｊ個のグラデーション閾値とを比較して、該パワーの割合が前記グラデーション閾値を超える領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、を備え、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。 In order to solve the above problems, an encoding apparatus according to the present invention is an encoding apparatus that encodes and outputs a space / gradation-reduced image obtained by performing gradation reduction processing and space reduction processing on an original image. , A gradation reduction unit that performs gradation reduction processing of the original image using j (j ≧ 1) parameters to generate j gradation reduction images, and k gradation reduction images (k ≧ 1) ) And a space reduction unit that generates j × k space / tone-reduced images by performing space reduction processing, and j × k types of the j × k space / tone-reduced images encoded. A coding unit that generates a coded signal, a local decoding unit that locally decodes the j × k types of coded signals to generate j × k local decoded images, and the j × k local decoding Each image is subjected to space expansion processing using l (l ≧ 1) parameters to generate j × k × l space expansion images. And j × k × l × m (where j × k), and the above-described space expansion image and j × k × l space expansion images are subjected to gradation interpolation processing using m (m ≧ 1) parameters. × 1 × m ≧ 2) gradation interpolating unit for generating space / tone restored images, and comparing the j × k × 1 × m space / tone restored images with the original image, An optimization unit that determines a space / gradation restored image with less degradation and outputs an encoded signal corresponding to the least degraded space / gradation restored image among the j × k types of coded signals; The gradation reduction unit frequency-resolves the original image in a spatial direction to obtain a highest spatial frequency band component that is a highest frequency band component and a lowest spatial frequency band component that is a lowest frequency band component. A frequency resolving unit for generating a plurality of spatial frequency band components, and the highest spatial frequency band of the original image The power ratio of the component is compared with the j noise thresholds to generate j noise-removed images in which the power ratio exceeds the noise threshold and the isolated elements are removed, or the original An image generation unit that compares the power ratio of the lowest spatial frequency band component of the image with j gradation threshold values and generates j gradation images including only regions where the power ratio exceeds the gradation threshold value; The j tone reduction is performed by the Lloyd-Max method using, as training data, a histogram weighted so as to increase the frequency of the gradation value of the gradation image with respect to the histogram of the noise-removed image or the original image. A gradation determination unit that generates an image, and the noise threshold value or the gradation threshold value is based on a correspondence table associated with a space reduction rate or a gradation reduction rate. The correspondence table associates such that the noise threshold or the gradation threshold decreases as the spatial reduction ratio increases, or the noise threshold or the gradation decreases as the gradation reduction ratio increases. characterized that you have correspondence to the gradation threshold is increased.
さらに、本発明に係る符号化装置において、前記空間縮小部は、ｋ種類の縮小劣化過程を模擬したフィルタ又はウェーブレットフィルタを用いて空間縮小処理することを特徴とする。 Furthermore, in the encoding device according to the present invention, the space reduction unit performs space reduction processing using a filter or wavelet filter that simulates k kinds of reduction degradation processes.
さらに、本発明に係る符号化装置において、前記空間拡大部は、前記局部復号画像を前記原画像の解像度以上のｌ種類の解像度に空間拡大処理し、前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする。 Further, in the encoding device according to the present invention, the space enlargement unit performs space enlargement processing of the local decoded image to l kinds of resolutions equal to or higher than the resolution of the original image, and the tone interpolation unit includes the space enlargement image. Are subjected to gradation interpolation processing so that the number of gradations becomes the number of gradations of the original image, and space reduction processing is performed so that the resolution becomes the resolution of the original image.
さらに、本発明に係る符号化装置において、前記空間拡大部は、ウェーブレット変換を用いて前記局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記ｌ種類の解像度に空間拡大処理することを特徴とする。 Furthermore, in the encoding device according to the present invention, the space enlarging unit recursively performs the super-resolution processing of the local decoded image twice each in the horizontal direction and the vertical direction by using wavelet transform. It is characterized by spatial expansion processing to various resolutions.
さらに、本発明に係る符号化装置において、前記階調補間部は、前記空間拡大画像の階調数を前記原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理することを特徴とする。 Furthermore, in the encoding device according to the present invention, the gradation interpolation unit uses a filter that simulates m kinds of reduction degradation processes by expanding the number of gradations of the spatially enlarged image to the number of gradations of the original image. The halftone is interpolated by convolution, and then reduced so that the resolution becomes the resolution of the original image.
さらに、本発明に係る符号化装置において、前記最適化部は、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像と前記原画像とのＰＳＮＲ値又はＳＳＩＭ値を算出し、該ＰＳＮＲ値又はＳＳＩＭ値が最小となる空間・階調復元画像を前記最も劣化の少ない空間・階調復元画像として決定することを特徴とする。 Furthermore, in the encoding device according to the present invention, the optimization unit calculates a PSNR value or an SSIM value between the j × k × l × m space / tone restoration images and the original image, and the PSNR The space / tone restoration image having the smallest value or SSIM value is determined as the space / tone restoration image with the least deterioration.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the encoding device.
本発明によれば、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。 According to the present invention, it is possible to significantly reduce the bit rate of an encoded signal while maintaining high image quality.
まず、本発明の概要について説明する。以下の説明において、画像の階調数を削減（階調削減処理）し、且つ解像度（標本化周波数）を縮小（空間縮小処理）することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。また、画像の解像度を拡大（空間拡大処理）し、且つ画像の階調数を拡大（階調補間処理）することを「空間・階調復元処理」といい、空間・階調復元処理された画像のことを「空間・階調復元画像」という。 First, an outline of the present invention will be described. In the following description, reducing the number of gradations of an image (gradation reduction processing) and reducing the resolution (sampling frequency) (spatial reduction processing) is called “space / gradation reduction processing”. An image that has been subjected to gradation reduction processing is referred to as a “space / gradation reduction image”. Enlarging the resolution of the image (spatial enlarging process) and enlarging the number of gradations of the image (gradation interpolation process) is called “space / gradation restoration process”. The image is called a “space / gradation restored image”.
図１は、本発明に係る符号化装置の処理の概要を説明する図である。図１に示す例では、「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の原画像から「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の空間・階調削減画像を生成し、この空間・階調削減画像の最適な符号化信号を生成する際の処理概要を示している。本発明に係る符号化装置は、原画像をまず空間・階調削減処理して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の複数の空間・階調削減画像を生成し、この複数の階調削減画像を符号化して符号化信号を作成する。 FIG. 1 is a diagram for explaining the outline of the processing of the encoding apparatus according to the present invention. In the example shown in FIG. 1, a space / tone-reduced image of “4K × 2K resolution, 8-bit gradation” is generated from an original image of “8K × 4K resolution, 10-bit gradation”. The process outline | summary at the time of producing | generating an optimal encoding signal is shown. The encoding apparatus according to the present invention first performs space / gradation reduction processing on an original image to generate a plurality of space / gradation-reduced images of “4K × 2K resolution, 8-bit gradation”. An encoded signal is generated by encoding an image.
次に、最適な符号化信号を決定するために、符号化信号を局部復号して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の局部復号画像を生成する。さらに、局部復号画像を空間・階調復元処理して「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の空間・階調復元画像を複数生成する。そして、原画像を基準として、空間・階調削減処理及び空間・階調復元処理に用いたパラメータを一元的に最適化し、最適なパラメータを最適補助情報として選択する。最後に、最適補助情報、及び該最適補助情報に対応する符号化信号を復号側へ出力する。 Next, in order to determine the optimum encoded signal, the encoded signal is locally decoded to generate a locally decoded image of “4K × 2K resolution, 8 bit gradation”. Furthermore, the local decoded image is subjected to space / gradation restoration processing to generate a plurality of “8K × 4K resolution, 10-bit gradation” space / gradation restored images. Then, using the original image as a reference, the parameters used for the space / tone reduction processing and the space / tone restoration processing are optimized in an integrated manner, and the optimum parameters are selected as the optimum auxiliary information. Finally, the optimal auxiliary information and the encoded signal corresponding to the optimal auxiliary information are output to the decoding side.
以下、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail.
（第１の実施形態）
図２は、本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。図２に示す例では、符号化装置１は、空間・階調削減部１０と、符号化部２０と、局部復号部３０と、空間・階調復元部４０と、最適化部５０とを備える。
(First embodiment)
FIG. 2 is a block diagram illustrating a configuration example of the encoding device according to the first embodiment of the present invention. In the example illustrated in FIG. 2, the encoding device 1 includes a space /
空間・階調削減部１０は、原画像を階調削減処理して階調を削減するとともに、空間縮小処理して解像度を縮小し、１以上の空間・階調削減画像を生成し、符号化部２０に出力する。空間・階調削減部１０は、空間・階調削減画像を１以上生成するために、ｊ個（ｊ≧１）のパラメータを用いて階調削減処理するとともに、ｋ個（ｋ≧１）のパラメータを用いて空間縮小処理し、その結果ｊ×ｋ枚の空間・階調削減画像を生成する。空間・階調削減部１０は、階調削減部１１と、空間縮小部１２とを備える。
The space /
階調削減部１１は、原画像をｊ個のパラメータを用いて階調削減処理して、ｊ枚の階調削減画像を生成し、空間縮小部１２に出力する。階調削減処理は、既知の手法である階調数の単純削減やLloyd-Max法などにより行う。
The
例えばｎ種類のルックアップテーブルを参照することにより階調削減処理を行う場合には、ｊ＝ｎとなる。階調削減部１１は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
For example, when gradation reduction processing is performed by referring to n types of lookup tables, j = n. The
空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像を、それぞれｋ個のパラメータを用いて空間縮小処理して、ｊ×ｋ枚の空間・階調削減画像を生成する。空間縮小処理は、既知の手法である画素の単純間引きやウェーブレット分解などにより行う。
The
また、空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像をそれぞれ平滑化処理した後、画素を単純間引きしてもよい。平滑化は、解像度の縮小劣化過程（ぼやけ）を模擬したフィルタを用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬したフィルタとして、例えば、点拡がり関数（ＰＳＦ：Point spread function）又はガウシアン関数を用いることができる。
In addition, the
例えばｎ種類のフィルタを用いて空間縮小処理を行う場合には、ｋ＝ｎとなる。空間縮小部１２は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。平滑化処理を行う場合には、用いた関数のタップ数、分散値、及びゲイン情報を補助情報とする。
For example, when the space reduction process is performed using n types of filters, k = n. The
符号化部２０は、空間・階調削減部１０により生成された１以上（ｊ×ｋ）の空間・階調削減画像をそれぞれ符号化して１以上の符号化信号を生成し、局部復号部３０に出力する。符号化は、ＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。
The
局部復号部３０は、符号化部２０により生成された１以上（ｊ×ｋ）の符号化信号をそれぞれ局部復号して１以上の局部復号画像を生成し、空間・階調復元部４０に出力する。局部復号は、符号化と同じＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。
The
空間・階調復元部４０は、局部復号部３０により生成された１以上（ｊ×ｋ）の局部復号画像をそれぞれ空間拡大処理及び階調補間処理し、原画像と同じ解像度及び階調数を有する空間・階調復元画像を複数枚生成し、最適化部５０に出力する。空間・階調復元部４０は、ｊ×ｋ枚の局部復号画像に対し、ｌ個（ｌ≧１）のパラメータを用いて空間拡大処理するとともに、ｍ個（ｍ≧１）のパラメータを用いて階調補間処理し、その結果ｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する。空間・階調復元部４０は、空間拡大部４１と、階調補間部４２とを備える。
The space /
空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれｌ個のパラメータを用いて原画像の解像度まで空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。空間拡大処理は、既知の手法であるbi-cubic、Lanczos-3などの線形フィルタやウェーブレットフィルタを用いて行われる。
The space enlarging unit 41 performs space enlarging processing on the j × k local decoded images generated by the
例えばｎ種類のフィルタを用いて空間拡大処理を行う場合には、ｌ＝ｎとなる。空間拡大部４１は、空間拡大処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
For example, when the space expansion process is performed using n types of filters, l = n. The space enlarging unit 41 outputs information on parameters used for the space enlarging process to the
階調補間部４２は、空間拡大部４１により生成されたｊ×ｋ×ｌ枚の空間拡大画像を、それぞれｍ個のパラメータを用いて原画像の階調数まで階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。階調補間処理は、既知の手法である階調数の単純拡大により行われる。
The
例えばｎ種類のルックアップテーブルを参照することにより階調補間処理を行う場合には、ｍ＝ｎとなる。階調補間部４２は、階調補間処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
For example, when the gradation interpolation process is performed by referring to n types of lookup tables, m = n. The
最適化部５０は、空間・階調復元部４０により生成された複数の空間・階調復元画像から、原画像と比較して最も劣化の少ない（最も差分の少ない）空間・階調復元画像を決定し、該空間・階調復元画像に対応する符号化信号を出力する。
The
例えば、原画像と空間階調復元画像との差分は、原画像を基準としたＰＳＮＲ（Peak Signal to Noise Ratio）値で計算することができる。ＰＳＮＲは、画像の最大階調数をＭＡＸ（例えば８ｂｉｔ深度画像の場合は２５６）とすると、式（１）により算出される。式（１）における平均二乗誤差ＭＳＥは、水平ｍ画素、垂直ｎラインの基準画像Ｉと評価画像Ｋにおいて、式（２）により求まる。 For example, the difference between the original image and the spatial tone restoration image can be calculated by a PSNR (Peak Signal to Noise Ratio) value based on the original image. The PSNR is calculated by Expression (1) when the maximum number of gradations of the image is MAX (for example, 256 for an 8-bit depth image). The mean square error MSE in Expression (1) is obtained by Expression (2) in the reference image I and the evaluation image K of horizontal m pixels and vertical n lines.
また、最適化部５０は、ＰＳＮＲによる評価の他に、視覚特性を考慮してＰＳＮＲよりも人間の主観画質評価結果に近いといわれるＳＳＩＭ（Structural Similarity）値で計算してもよい。ＳＳＩＭは、基準画像及び評価画像の平均μ１，μ２、分散σｘ ２，σｙ ２、共分散２σｘｙを用いて、式（３）により算出される。式（３）におけるＣ１，Ｃ２は式（４）により算出される。ここで、Ｋ１，Ｋ２は定数であり、通常０．０１，０．０３が使われる。また、Ｌは画像のダイナミックレンジであり、通常８ｂｉｔ深度画像では２５５が使われる。
In addition to the evaluation by PSNR, the
また、最適化部５０は、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を入力し、決定した局部復号画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び符号化信号を用いて、原画像を復元することができるようになる。なお、符号化部２０により生成された複数の符号化信号と、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を最適化部５０に直接入力させるのではなく、いったん記憶部（図示せず）に記憶し、決定した局部復号画像に対応する符号化信号及び補助情報を記憶部から取得するようにしてもよい。
Further, the
以上説明したように、符号化装置１は、階調削減部１１により原画像をｊ個のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成するとともに、空間縮小部１２により階調削減画像をｋ個のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する。そして、符号化部２０によりｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成し、局部復号部３０によりｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する。続いて、空間拡大部４１によりｊ×ｋ枚の局部復号画像をそれぞれｌ個のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成するとともに、階調補間部４２によりｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。最後に、最適化部５０によりｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する。このため、符号化装置１によれば、空間縮小処理、階調削減処理、空間拡大処理、及び階調補間処理を一元的に最適化することができ、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。
As described above, in the encoding device 1, the
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、第１の実施形態と異なる手法により階調削減処理を行う。階調削減処理は、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、第２の実施形態では、雑音、グラデーション、又は双方を考慮して階調削減処理を行う。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the second embodiment, gradation reduction processing is performed by a method different from that in the first embodiment. In the gradation reduction process, image degradation is large when the number of gradations is simply reduced. In addition, since the Lloyd-Max method assigns a large number of gradations to gradation values with high frequency and performs gradation reduction, it is optimal from the viewpoint of minimizing the error between the original image and the gradation-reduced image. Although it can be said to be a reduction method, it cannot be said to be an optimum gradation reduction from the viewpoint of visual and signal processing. This is because, in the Lloyd-Max method, for example, even in a gradation value where noise is dominant, if the frequency is high, gradation is reduced by assigning many gradations. Therefore, in the second embodiment, gradation reduction processing is performed in consideration of noise, gradation, or both.
第２の実施形態に係る符号化装置２の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置２における階調削減部１１の処理内容についてのみ説明する。
The schematic configuration of the encoding device 2 according to the second embodiment is as shown in FIG. 2, and only the gradation reduction process is different. Therefore, only the processing content of the
図３は、符号化装置２における階調削減部１１の構成例を示すブロック図である。図３に示す例では、階調削減部１１は、周波数分解部１１１と、雑音閾値決定部１１２と、雑音除去画像生成部１１３と、グラデーション閾値決定部１１４と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。
FIG. 3 is a block diagram illustrating a configuration example of the
周波数分解部１１１は、原画像を周波数分解（例えば、ウェーブレットパケット分解）して、複数の周波数帯域成分を生成し、雑音閾値決定部１１２及び雑音除去画像生成部１１３に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。
The
図４は、周波数分解部１１１による空間方向の周波数分解処理を説明する図である。図４では、原画像を空間方向に２階ウェーブレットパケット分解した場合の分解図を示しており、太線は１階ウェーブレットパケット分解の各周波数帯域を示している。図４に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図４に示すように、左上は空間最低周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分）となり、右下は空間最高周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分）となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。
FIG. 4 is a diagram for explaining frequency resolution processing in the spatial direction by the
図４では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部１１３１にて原画像の画素単位で孤立点（雑音）を除去することができるようにするために、周波数分解部１１１はデシメーション無し（すなわち、周波数帯域成分の画像サイズの縮小無し）で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。
For the convenience of explanation, FIG. 4 shows an exploded view when wavelet packet decomposition is performed with decimation, but an isolated point (noise) is removed in pixel units of the original image by an isolated
雑音閾値決定部１１２は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合（以下、「空間最高周波数帯域成分の割合」という）を、各要素位置について算出する。そして、雑音閾値決定部１１２は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部１１３に出力する。例えば、０％から、空間最高周波数帯域成分の割合の平均値までをａ等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が１０％、ａ＝５とすると、２％、４％、６％、８％、１０％が雑音閾値となる。雑音閾値決定部１１２により決定された雑音閾値は、補助情報（パラメータ情報）として最適化部５０に出力される。
The noise threshold
雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び雑音閾値決定部１１２により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。
The noise-removed
図５は、雑音除去画像生成部１１３の構成例を示すブロック図である。図５に示すように、雑音除去画像生成部１１３は、孤立点検出部１１３１と、再構成部１１３２とを備える。
FIG. 5 is a block diagram illustrating a configuration example of the noise removal
孤立点検出部１１３１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部１１３１は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部１１３１は、雑音閾値決定部１１２により決定された複数の雑音閾値のうちの１つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Ｔｈ１を超える要素の値を１とし、雑音閾値Ｔｈ１以下の要素の値を０とする２値化画像Ｂを生成する。
The isolated
孤立点検出部１１３１は、２値化画像Ｂの要素値が１である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Ｔｈ２とを比較する。２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ２を超える場合には、当該要素は孤立点要素ではないと判定し、２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ２以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。
The isolated
図６は、孤立点検出部１１３１による孤立点判定処理を説明する図である。図６に示す例では、判定領域は３×３要素である。閾値Ｔｈ２を１とすると、２値化画像Ｂの要素値が１となる要素素の周囲の８要素の要素値が０であるときのみ、２値化画像Ｂの要素値が１である要素を孤立要素とみなす。よって、閾値Ｔｈ２＝１の場合、図中の要素Ｐ１は孤立点要素であると判定され、要素Ｐ２と要素Ｐ３は孤立点要素と判定されない。
FIG. 6 is a diagram for explaining isolated point determination processing by the isolated
そして、孤立点検出部１１３１は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を０とし、再構成部１１３２に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。
Then, the isolated
再構成部１１３２は、孤立点検出部１１３１から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をｎ階ウェーブレットパケット再構成する。
The
グラデーション閾値決定部１１４は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合（以下、「空間最低周波数帯域成分の割合」という）を、各要素位置について算出する。そして、グラデーション閾値決定部１１４は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部１１５に出力する。例えば、空間最低周波数帯域成分の割合の平均値から１００％までをｂ等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が９０％、ｂ＝５とすると、９０％、９２％、９４％、９６％、９８％がグラデーション閾値となる。グラデーション閾値決定部１１４により決定されたグラデーション閾値は、補助情報として最適化部５０に出力される。
The gradation threshold
グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及びグラデーション閾値決定部１１４により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。
The gradation
図７は、グラデーション画像生成部１１５の構成例を示すブロック図である。図７に示すように、グラデーション画像生成部１１５は、グラデーション領域検出部１１５１と、再構成部１１５２とを備える。
FIG. 7 is a block diagram illustrating a configuration example of the gradation
グラデーション領域検出部１１５１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部１１５１は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部１１５１は、グラデーション閾値決定部１１４により決定された複数のグラデーション閾値のうちの１つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部１１５２に出力する。
The gradation
再構成部１１５２は、グラデーション領域検出部１１５１から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をｎ階ウェーブレット再構成する。
The
階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率（階調削減ビット数）に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。
The gradation reduction initial
図８は、階調削減初期情報生成部１１６の構成例を示すブロック図である。図８に示すように、階調削減初期情報生成部１１６は、ヒストグラム生成部１１６１と、重み付け部１１６２と、階調変換テーブル生成部１１６３とを備える。
FIG. 8 is a block diagram illustrating a configuration example of the gradation reduction initial
ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成し、階調決定部１１７に出力する。
The
重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部１１７に出力する。例えば、グラデーション画像の階調値の度数を、所定の１を超える値（例えば、１．２）を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部１１７にて階調削減を行う際に、グラデーション領域に、より多くの階調を割り当てることができる。
The
階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成し、階調決定部１１７に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。
The gradation conversion
図９は、階調削減部１０がグラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。
FIG. 9 is a block diagram illustrating a configuration example of the gradation reduction initial
図１０は、階調削減部１０が雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部１１６２に出力する。重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。
FIG. 10 is a block diagram illustrating a configuration example of the gradation reduction initial
階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部１１７は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。
The
また、階調決定部１１７は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部５０に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。
Also, the
雑音除去画像生成部１１３は、雑音閾値決定部１１２により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部１１５は、グラデーション閾値決定部１１４により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部１１２により決定された雑音閾値がａ個、グラデーション閾値決定部１１４により決定されたグラデーション閾値がｂ個の場合には、階調削減初期情報生成部１１６によりａ×ｂ種類の訓練データが生成され、階調決定部１１７によりａ×ｂ種類の階調削減画像（階調削減画像群）が生成される。
The noise-removed
以上説明したように、符号化装置２においては、前記階調削減部１０は、ｊ個の雑音閾値を用いて、原画像から孤立点を除去したｊ枚の雑音除去画像を生成するか、又はｊ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｊ枚のグラデーション画像を生成する画像生成部（雑音除去画像生成部１１３又はグラデーション画像生成部１１５）と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したｊ枚の階調削減画像を生成する階調決定部１１７と、を備える。このように、雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができ、実施例１の符号化装置１に比べて更に高精度な符号化信号を生成することができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。
As described above, in the encoding device 2, the
なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部１１３によりａ個の雑音閾値を用いて、原画像から孤立点を除去したａ枚の雑音除去画像を生成し、ｂ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｂ枚のグラデーション画像を生成し、階調決定部１１７によりｊ＝ａ×ｂ枚の階調削減画像を生成する。
When considering both noise and gradation, the noise-removed
（第３の実施形態）
次に、第２の実施形態の階調削減処理の変形例について、第３の実施形態として説明する。第２の実施形態では原画像を解析して閾値を決定したが、第３の実施形態では空間縮小率及び／又は階調削減率から閾値を決定する。第３の実施形態に係る符号化装置３の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置３における階調削減部１１の処理内容についてのみ説明する。
(Third embodiment)
Next, a modification of the gradation reduction process of the second embodiment will be described as a third embodiment. In the second embodiment, the threshold value is determined by analyzing the original image. In the third embodiment, the threshold value is determined from the space reduction ratio and / or the gradation reduction ratio. The schematic configuration of the encoding device 3 according to the third embodiment is as shown in FIG. 2, and only the gradation reduction process is different. Therefore, only the processing content of the
図１１は、本発明の第３の実施形態に係る符号化装置３における階調削減部の構成を示すブロック図である。図１１に示す例では、階調削減部１１は、階調削減閾値決定部１１８と、周波数分解部１１１と、雑音除去画像生成部１１３と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。
FIG. 11 is a block diagram showing a configuration of a gradation reducing unit in the encoding apparatus 3 according to the third embodiment of the present invention. In the example illustrated in FIG. 11, the
階調削減閾値決定部１１８は、空間縮小率及び／又は階調削減率に基づいて、雑音閾値及び／又はグラデーション閾値を決定する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。階調削減閾値決定部１１８は、決定した雑音閾値を雑音除去画像生成部１１３に出力し、決定したグラデーション閾値をグラデーション画像生成部１１５に出力する。
The gradation reduction
階調削減閾値決定部１１８は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表１に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表１では、Ｎ１＜Ｎ２＜Ｎ３＜Ｎ４、Ｇ１＜Ｇ２＜Ｇ３＜Ｇ４とする。
The gradation reduction threshold
表１の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が１／２、階調削減率が１/８の場合に表１を用いて雑音閾値Ｎ及びグラデーション閾値Ｇを求めると、Ｎ＝（αＮ４＋βＮ３）／２、Ｇ＝（αＧ４＋βＧ３）／２となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。 When the noise threshold value and the gradation threshold value are determined using the correspondence table of Table 1, it is preferable to use the weight α for the space reduction process and the weight β for the gradation reduction process. For example, when the space reduction ratio is 1/2 and the gradation reduction ratio is 1/8, the noise threshold value N and the gradation threshold value G are obtained using Table 1, N = (αN 4 + βN 3 ) / 2, G = (ΑG 4 + βG 3 ) / 2. When importance is attached to the accuracy of the space reduction process, a large weight is given to α, and when importance is attached to the accuracy of the gradation reduction process, a large weight is assigned to β. A plurality of sets of noise threshold values and gradation threshold values may be selected.
雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。
The noise removal
グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。
The gradation
階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。
The gradation reduction initial
階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。
The
以上説明したように、符号化装置３は、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、符号化装置３によれば、第２の実施形態の符号化装置２と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。 As described above, the encoding device 3 determines the noise threshold value or the gradation threshold value based on the correspondence table in which the threshold value is associated with the space reduction rate or the gradation reduction rate. For this reason, according to the encoding device 3, in addition to the same effects as those of the encoding device 2 of the second embodiment, it is possible to quickly determine the noise threshold value or the gradation threshold value to shorten the processing time. Become.
（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、第１の実施形態と異なる手法により空間・階調復元処理を行う。第４の実施形態に係る符号化装置４の概略構成は図２に示したとおりである。そこで、以下は、符号化装置４における空間・階調復元部４０の処理内容についてのみ説明する。
(Fourth embodiment)
Next, a fourth embodiment will be described. In the fourth embodiment, space / gradation restoration processing is performed by a method different from that of the first embodiment. The schematic configuration of the encoding device 4 according to the fourth embodiment is as shown in FIG. Therefore, only the processing contents of the space /
局所復号画像を無限に高い解像度（標本化周波数）まで空間超解像（オーバーサンプリング）処理を行い、これを原画像の解像度まで縮小する時に階値補間処理を行えば、理想的な空間・階調復元処理となる。しかしこれは不可能なため、第４の実施形態では原画像の解像度以上の解像度まで局所復号画像を空間超解像処理して、これを原画像の解像度まで縮小する際に階調補間処理を行う。 If spatial super-resolution (oversampling) processing is performed on a locally decoded image to an infinitely high resolution (sampling frequency), and scale interpolation processing is performed when reducing this to the resolution of the original image, an ideal space / floor It is a key restoration process. However, since this is not possible, in the fourth embodiment, the spatial decoding process is performed on the local decoded image to a resolution higher than the resolution of the original image, and the gradation interpolation process is performed when reducing the resolution to the resolution of the original image. Do.
符号化装置４における空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれ原画像の解像度以上のｌ種類の解像度まで空間超解像処理（空間オーバーサンプリング処理）して、原画像の解像度以上の解像度を有するｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。
The space enlarging unit 41 in the encoding device 4 performs spatial super-resolution processing (spatial oversampling) on the j × k locally decoded images generated by the
図１２は、第４の実施形態に係る符号化装置４における空間拡大部４１の構成例を示すブロック図である。図１２に示す例では、空間拡大部４１は、オーバーサンプリング値決定部４１１と、オーバーサンプリング部４１２とを備える。
FIG. 12 is a block diagram illustrating a configuration example of the space expanding unit 41 in the encoding device 4 according to the fourth embodiment. In the example illustrated in FIG. 12, the space enlargement unit 41 includes an oversampling value determination unit 411 and an
オーバーサンプリング値決定部４１１は、空間拡大画像の解像度を示す空間オーバーサンプリング値を決定し、オーバーサンプリング部４１２に出力する。空間オーバーサンプリング値は、例えば、階調補間部４２で階調数を△ｂｉｔ増加させる場合、水平方向及び垂直方向ともに原画像の解像度の２（△＋１）倍までの解像度とする。例えば局部復号画像の解像度及び階調数を「４Ｋ×２Ｋ、８ｂｉｔ」とし、原画像の解像度及び階調数を「８Ｋ×４Ｋ、１０ｂｉｔ」とすると、階調数を２ｂｉｔ増加させるため、空間オーバーサンプリング値は水平方向及び垂直方向ともに原画像の解像度の２倍、４倍、８倍となる。
The oversampling value determination unit 411 determines a spatial oversampling value indicating the resolution of the spatially enlarged image, and outputs the spatial oversampling value to the
なお、空間オーバーサンプリング値の最大値は原画像の解像度の２（△＋１）倍に限定されるものではない。また、空間オーバーサンプリング値が示す解像度が原画像の解像度と同一であってもよく、その場合には、後述する空間縮小処理は行わないこととなる。また、オーバーサンプリング値決定部４１１を設けずに、ユーザが空間オーバーサンプリング値を直接設定するようにしてもよい。 Note that the maximum value of the spatial oversampling value is not limited to 2 (Δ + 1) times the resolution of the original image. Further, the resolution indicated by the spatial oversampling value may be the same as the resolution of the original image, and in that case, the spatial reduction process described later is not performed. Further, the user may directly set the spatial oversampling value without providing the oversampling value determination unit 411.
オーバーサンプリング部４１２は、局部復号部３０により生成された局部復号画像を、空間オーバーサンプリング値によって指定されたｌ種類の解像度まで空間オーバーサンプリング処理し、空間拡大画像を生成する。空間オーバーサンプリング処理を行う際には、局部復号画像を一気に高解像度にするのではなく、例えばウェーブレット変換を用いて水平方向・垂直方向各２倍の超解像処理を再帰的に行うことにより、空間拡大画像を生成するのが好適である。これにより原画像の折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。なお、ウェーブレット超解像処理については、例えば特開２０１１−２３４１１６号公報を参照されたい。
The
符号化装置４における階調補間部４２は、空間拡大部４１により生成された空間拡大画像を階調数が原画像の階調数となるように階調補間処理を行うともに、原画像の解像度まで空間縮小処理を行って空間・階調復元画像を出力する。
The
図１３は、第４の実施形態に係る符号化装置４における階調補間部４２の構成例を示すブロック図である。図１３に示す例では、階調補間部４２は、空間拡大画像階調補間部４２１と、空間縮小部４２２とを備える。
FIG. 13 is a block diagram illustrating a configuration example of the
空間拡大画像階調補間部４２１は、空間拡大画像の階調数を原画像の階調数まで△ｂｉｔ増加させる場合、まず、単純に全画素の階調値を２△倍に線形拡大した階調拡大画像を生成する。例えば△＝２の場合、空間拡大画像内の各画素の階調値ｘを４ｘとする。
When increasing the number of gradations of the spatially expanded image to the number of gradations of the original image, the spatially expanded image
次に、空間拡大画像階調補間部４２１は、階調拡大画像を平滑化処理して階調復元画像を生成し、空間縮小部４２２に出力する。具体的には、空間拡大画像階調補間部４２１は、解像度の縮小劣化過程（ぼやけ）を模擬したｍ種類のフィルタを用いて階調拡大画像を畳み込むことにより平滑化処理し、中間階調値を補間する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数（ＰＳＦ）又はガウシアン関数を用いることができる。また、空間拡大画像階調補間部４２１は、平滑化処理の代わりに、バイキュービック法、バイリニア法などにより階調拡大画像の中間階調値を補間してもよい。
Next, the space expansion image
空間縮小部４２２は、空間拡大画像階調補間部４２１により生成された階調復元画像を原画像の解像度になるように空間縮小処理することで空間・階調復元画像を生成し、最適化部５０に出力する。空間縮小処理は、単純間引きにより行ってもよいし、空間拡大画像階調補間部４２１により生成された階調超解像画像を原画像の解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調復元画像としてもよい。
The space reduction unit 422 generates a space / tone restoration image by performing space reduction processing on the tone restoration image generated by the space enlargement image
以上説明したように、符号化装置４は、空間拡大部４１により、局部復号画像を原画像の解像度以上のｌ種類の解像度に空間拡大処理した後、階調補間部４２により、空間拡大画像を、階調数が原画像の階調数となるように階調補間処理するとともに、解像度が原画像の解像度となるように空間縮小処理する。このため、符号化装置４によれば、実施例１の符号化装置１に比べて更に高精度な空間・階調復元画像を生成することができる。
As described above, the encoding device 4 performs spatial expansion processing on the local decoded image to l kinds of resolutions equal to or higher than the resolution of the original image by the spatial expansion unit 41, and then converts the spatial expansion image by the
また、空間拡大部４１は、ウェーブレット変換を用いて局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより生成するのが好適である。これにより、折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。 Moreover, it is preferable that the space enlarging unit 41 generates a locally decoded image by recursively performing double super-resolution processing in the horizontal direction and the vertical direction using wavelet transform. As a result, highly accurate oversampling using the aliasing component can be performed, and the jaggedness of the edges can be suppressed.
また、階調補間部４２は、空間拡大画像の階調を原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理するのが好適である。これにより、高精度に中間階調値を補間することができる。
Further, the
なお、上述した符号化装置１，２，３，４として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、符号化装置１，２，３，４の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。 In addition, a computer can be used to function as the above-described encoding devices 1, 2, 3, and 4, and such a computer performs processing contents for realizing each function of the encoding devices 1, 2, 3, and 4. Is stored in a storage unit of the computer, and the program is read and executed by the CPU of the computer. This program can be recorded on a computer-readable recording medium.
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.
このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。 As described above, the present invention is useful for any application for generating a space / gradation reduced image by performing gradation reduction processing and space reduction processing of an original image.
１，２，３，４ 符号化装置
１０ 空間・階調削減部
１１ 階調削減部
１２ 空間縮小部
２０ 符号化部
３０ 局部復号部
４０ 空間・階調復元部
４１ 空間拡大部
４２ 階調補間部
５０ 最適化部
１１１ 周波数分解部
１１２ 雑音閾値決定部
１１３ 雑音除去画像生成部
１１４ グラデーション閾値決定部
１１５ グラデーション画像生成部
１１６ 階調削減初期情報生成部
１１７ 階調決定部
１１８ 階調削減閾値決定部
４１１ オーバーサンプリング値決定部
４１２ オーバーサンプリング部
４２１ 空間拡大画像階調補間部
４２２ 空間縮小部
１１３１ 孤立点検出部
１１３２ 再構成部
１１５１ グラデーション領域検出部
１１５２ 再構成部
１１６１ ヒストグラム生成部
１１６２ 重み付け部
１１６３ 階調変換テーブル生成部
1, 2, 3, 4
Claims (7)
原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、
前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、
前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、
前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、
前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、
前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、
前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、
を備え、
前記階調削減部は、
前記原画像を空間方向に周波数分解して、最も周波数が高い帯域成分である空間最高周波数帯域成分、及び最も周波数が低い帯域成分である空間最低周波数帯域成分を含む複数の空間周波数帯域成分を生成する周波数分解部と、
前記原画像の前記空間最高周波数帯域成分のパワーの割合とｊ個の雑音閾値とを比較して、該パワーの割合が前記雑音閾値を超え且つ孤立している要素を除去したｊ枚の雑音除去画像を生成するか、又は前記原画像の前記空間最低周波数帯域成分のパワーの割合とｊ個のグラデーション閾値とを比較して、該パワーの割合が前記グラデーション閾値を超える領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、
前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、
を備え、
前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする符号化装置。 An encoding device that encodes and outputs a space / gradation-reduced image obtained by performing gradation reduction processing and space reduction processing on an original image,
A gradation reduction unit that performs gradation reduction processing on the original image using j (j ≧ 1) parameters to generate j gradation-reduced images;
A space reduction unit that generates a j × k space / gradation reduction image by subjecting the gradation reduction image to a space reduction process using k (k ≧ 1) parameters;
An encoding unit that encodes the j × k space / gradation-reduced images to generate j × k types of encoded signals;
A local decoding unit for locally decoding the j × k types of encoded signals to generate j × k local decoded images;
A spatial expansion unit that generates a spatial expansion image of j × k × l by performing spatial expansion processing on each of the j × k local decoded images using l (l ≧ 1) parameters;
J × k × l × m (where j × k × l × m ≧ 2) is obtained by performing tone interpolation processing on each of the j × k × l spatially enlarged images using m (m ≧ 1) parameters. ) A tone interpolation unit for generating a single space / tone restoration image;
The j × k × l × m space / tone restoration images are compared with the original image to determine a space / tone restoration image with the least deterioration, and among the j × k types of encoded signals An optimization unit that outputs an encoded signal corresponding to the least degraded space / gradation restoration image;
Equipped with a,
The gradation reduction unit
The original image is frequency-resolved in the spatial direction to generate a plurality of spatial frequency band components including the highest spatial frequency band component that is the highest frequency band component and the lowest spatial frequency band component that is the lowest frequency band component. A frequency resolving unit to perform,
Comparing the power ratio of the highest spatial frequency band component of the original image with j noise thresholds, j noise removals in which the power ratio exceeds the noise threshold and isolated elements are removed An image is generated or the ratio of power of the lowest spatial frequency band component of the original image is compared with j gradation thresholds, and j powers consisting of only regions where the power ratio exceeds the gradation threshold An image generation unit for generating a gradation image;
According to the Lloyd-Max method using as a training data a histogram weighted so as to increase the frequency of the gradation value of the gradation image with respect to the histogram of the noise-removed image or the original image, the j gradation-reduced images. A gradation determining unit for generating
With
The noise threshold or the gradation threshold is determined based on a correspondence table associated with a space reduction rate or a gradation reduction rate,
The correspondence table associates such that the noise threshold or the gradation threshold decreases as the spatial reduction ratio increases, or the noise threshold or the gradation threshold increases as the gradation reduction ratio increases. so as to correspond have coding apparatus according to claim Rukoto.
前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする、請求項１又は２に記載の符号化装置。 The space enlarging unit performs a space enlarging process on the local decoded image to l kinds of resolutions higher than the resolution of the original image,
The gradation interpolation unit performs gradation interpolation processing on the spatially enlarged image so that the number of gradations becomes the number of gradations of the original image, and also performs space reduction processing so that the resolution becomes the resolution of the original image. wherein the encoding apparatus according to claim 1 or 2.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013120080A JP6163022B2 (en) | 2013-06-06 | 2013-06-06 | Encoding apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013120080A JP6163022B2 (en) | 2013-06-06 | 2013-06-06 | Encoding apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014239301A JP2014239301A (en) | 2014-12-18 |
| JP6163022B2 true JP6163022B2 (en) | 2017-07-12 |
Family
ID=52136154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013120080A Active JP6163022B2 (en) | 2013-06-06 | 2013-06-06 | Encoding apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6163022B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5452337B2 (en) * | 2010-04-21 | 2014-03-26 | 日本放送協会 | Image coding apparatus and program |
| WO2012124591A1 (en) * | 2011-03-15 | 2012-09-20 | シャープ株式会社 | Signal processing device, control program, and integrated circuit |
-
2013
- 2013-06-06 JP JP2013120080A patent/JP6163022B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014239301A (en) | 2014-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5921794B1 (en) | Method and apparatus for interpolating video using asymmetric interpolation filter | |
| US20070036450A1 (en) | Data processing apparatus and method and recording medium | |
| JP5727873B2 (en) | Motion vector detection device, encoding device, and program thereof | |
| JP5140638B2 (en) | Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program | |
| Harikrishna et al. | Satellite image resolution enhancement using dwt technique | |
| JP4889403B2 (en) | Image encoding apparatus and decoding apparatus using TV method | |
| JP6276596B2 (en) | Spatial super-resolution / tone interpolation device and program | |
| JP6174903B2 (en) | Spatial / gradation super-resolution device and program | |
| JP2007181186A (en) | Adaptive resolution conversion apparatus for input image and resolution conversion method | |
| JP6163022B2 (en) | Encoding apparatus and program | |
| JP3743077B2 (en) | Image signal conversion apparatus and method | |
| JP6388476B2 (en) | Encoding apparatus and program | |
| JP6190170B2 (en) | Space / gradation reduction apparatus and program | |
| JP5255116B2 (en) | Interlaced image encoding method, encoding apparatus, and encoding program | |
| JP5878785B2 (en) | Gradation reduction apparatus and program | |
| JPH08322041A (en) | Block distortion eliminator | |
| JP5934031B2 (en) | Gradation reduction apparatus and program | |
| JP3775180B2 (en) | Image processing method and apparatus | |
| JP7419044B2 (en) | Encoding device, imaging device, control method, and program | |
| JP6030896B2 (en) | Gradation reduction apparatus and program | |
| JP6101009B2 (en) | Gradation reduction coding apparatus, gradation restoration decoding apparatus, and programs thereof | |
| Kulthe et al. | High Quality Color Image Compression using DWT and Multi-level Block Partition Encoding-Decoding Technique | |
| JP2019205137A (en) | Bandwidth limiting device and program | |
| Temizel | Wavelet Domain Image Resolution Enhancement Methods | |
| JPH10294942A (en) | Image data encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6163022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |