JP6388476B2

JP6388476B2 - Encoding apparatus and program

Info

Publication number: JP6388476B2
Application number: JP2014007883A
Authority: JP
Inventors: 康孝松尾; 境田　慎一; 慎一境田; 俊枝三須; 俊輔岩村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-01-20
Filing date: 2014-01-20
Publication date: 2018-09-12
Anticipated expiration: 2034-01-20
Also published as: JP2015138995A

Description

本発明は、原画像を解像度及び階調数を削減した後に符号化する符号化装置及びプログラムに関する。 The present invention relates to an encoding apparatus and a program for encoding an original image after reducing the resolution and the number of gradations.

従来、ＡＶＣ／Ｈ．２６４方式やＨＥＶＣ／Ｈ．２６５方式などにより、画像を符号化する技術が知られている。近年では、表示装置の高精細化が進んでおり、いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像では、従来のハイビジョン（ＨＶ）映像の１６倍の高解像度を有する。そこで、さらに符号化効率を高めるために、従来の符号化を行う前段で、解像度や階調数を削減することが検討されている。 Conventionally, AVC / H. H.264 system and HEVC / H. A technique for encoding an image by a H.265 system or the like is known. In recent years, display devices have become higher definition, and an ultra-high definition video such as a super high vision (SHV) called a so-called 8K system has 16 times higher resolution than a conventional high vision (HV) video. Therefore, in order to further increase the encoding efficiency, it has been studied to reduce the resolution and the number of gradations before the conventional encoding.

一方、画像を空間方向に空間超解像処理して元の画像よりも解像度の高い画像を生成する空間超解像技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（例えば、特許文献１参照）。 On the other hand, a spatial super-resolution technique for generating an image having a higher resolution than the original image by performing spatial super-resolution processing on the image in the spatial direction is known. For example, the illumination equation parameter of the subject is estimated, the resolution of the estimated illumination equation parameter is increased, and a high-resolution image is generated by synthesizing the increased illumination equation parameter. At that time, the estimated illumination equation parameter When there is a pixel whose estimation accuracy does not satisfy the predetermined accuracy, a technique for increasing the resolution of the image of the subject by feeding back the illumination equation parameter having a higher resolution and estimating the illumination equation parameter again Is known (see, for example, Patent Document 1).

また、画像を階調方向に補間処理して元の画像よりも階調数の多い画像を生成する階調補間装置が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（例えば、特許文献２参照）。 There is also known a gradation interpolation device that generates an image having a larger number of gradations than the original image by performing interpolation processing on the image in the gradation direction. For example, a plurality of threshold values and interpolation calculation errors are set for the print density of the processing target pixel, and the sum of the processing target pixel and the average of interpolation calculation errors of adjacent pixels is compared with the plurality of threshold values. A technique for interpolating intermediate gradations by using a near threshold value as an execution threshold is known (for example, see Patent Document 2).

特許第４１３９８５３号公報Japanese Patent No. 4139533 特開平４−１８８５５号公報Japanese Patent Laid-Open No. 4-18855

原画像を解像度及び階調数を削減した後に符号化することで圧縮率を高めることができる。しかし、従来、解像度削減処理及び階調削減処理は原画像に応じて最適化されているわけではないため、符号化効率及び符号化精度を更に向上させる余地があった。 The compression rate can be increased by encoding the original image after reducing the resolution and the number of gradations. However, since the resolution reduction process and the gradation reduction process have not been optimized according to the original image, there is room for further improvement in encoding efficiency and encoding accuracy.

かかる事情に鑑みてなされた本発明の目的は、画像を効率的且つ高精度に符号化することができる符号化装置及びプログラムを提供することにある。 An object of the present invention has been made in view of such circumstances is to provide a code KaSo 置及 beauty program image can Rukoto the sign turn into efficiently and highly accurately.

上記課題を解決するため、本発明に係る符号化装置は、原画像の解像度及び階調数を削減した空間・階調削減画像を符号化した符号化信号を出力する符号化装置であって、原画像の階調数を削減した階調削減画像を生成する階調削減部と、複数の画像縮小パラメータを用いて前記階調削減画像の解像度を削減した複数の空間・階調削減画像を生成する空間縮小部と、前記複数の空間・階調削減画像をそれぞれ符号化して複数の符号化信号を生成するとともに、該複数の符号化信号をそれぞれ局部復号した複数の局部復号画像を生成する符号化・局部復号部と、前記複数の局部復号画像をそれぞれ解像度及び階調数が原画像と等しくなるように復元した複数の空間・階調復元画像を生成する空間・階調復元部と、前記複数の空間・階調復元画像と原画像とを比較し、前記複数の画像縮小パラメータのうち、誤差が最小となる空間・階調復元画像の生成に用いられた画像縮小パラメータを最適パラメータと決定するパラメータ最適化部と、を備え、前記符号化・局部復号部は、前記最適パラメータを用いて生成された空間・階調削減画像を符号化した符号化信号を出力し、前記空間・階調復元部は、前記局部復号画像を前記原画像と等しい階調数に再量子化した再量子化画像を生成する再量子化部と、前記再量子化画像を周波数分解して高周波帯域成分を生成する周波数分解部と、前記再量子化画像及び前記高周波帯域成分をフィルタ処理により階調補間して、再量子化整形画像及び高周波帯域整形成分を生成する階調補間部と、前記再量子化整形画像を低周波帯域成分とし前記高周波帯域整形成分を高周波帯域成分として周波数再構成して、前記空間・階調復元画像を生成する周波数再構成部と、を備えることを特徴とする。 In order to solve the above problems, an encoding apparatus according to the present invention is an encoding apparatus that outputs an encoded signal obtained by encoding a space / tone-reduced image in which the resolution and the number of gradations of an original image are reduced, A tone reduction unit that generates a tone-reduced image in which the number of tones of the original image is reduced, and a plurality of space / tone-reduced images in which the resolution of the tone-reduced image is reduced using a plurality of image reduction parameters. A space reduction unit that encodes each of the plurality of space / gradation-reduced images to generate a plurality of encoded signals, and a code that generates a plurality of locally decoded images by locally decoding the plurality of encoded signals, respectively. A local / decoding unit, and a space / tone restoration unit for generating a plurality of spatial / grayscale restored images obtained by restoring the local decoded images so that the resolution and the number of gradations are equal to the original image, Multiple spatial and gradation restoration images A parameter optimization unit that compares an original image and determines, among the plurality of image reduction parameters, an image reduction parameter that is used to generate a space / tone restoration image that minimizes an error as an optimum parameter; The encoding / local decoding unit outputs an encoded signal obtained by encoding the space / gradation reduced image generated using the optimal parameter, and the space / gradation restoring unit outputs the local decoded image. A requantization unit that generates a requantized image requantized to the same number of gradations as the original image, a frequency decomposition unit that generates a high-frequency band component by frequency resolving the requantized image, and the requantization A gradation interpolator for generating a requantized shaped image and a high-frequency band shaped component by performing gradation interpolation on the quantized image and the high-frequency band component by filtering, and the high-frequency band component using the requantized shaped image as a low-frequency band component And frequency reconstructing the frequency shaping components as a high frequency band component, and frequency reconstruction unit for generating the spatial and gray level restored image, and wherein the Rukoto equipped with.

さらに、本発明に係る符号化装置において、前記階調削減部は、前記原画像のヒストグラムに基づいて量子化テーブルを生成し、該量子化テーブルを用いて階調数を削減することを特徴とする。 Moreover, in the coding apparatus according to the present invention, the gradation reduction unit generates a quantization table based on the histogram of the original image, the Rukoto lessen cutting the number of gradations using a quantization table Features.

さらに、本発明に係る符号化装置において、前記周波数分解部は、ウェーブレット分解して前記高周波帯域成分を生成し、前記階調補間部は、バイラテラルフィルタを用いて前記フィルタ処理を行うことを特徴とする。 Furthermore, in the encoding device according to the present invention, the frequency decomposing unit generates a high-frequency band component by performing wavelet decomposition, and the gradation interpolating unit performs the filtering process using a bilateral filter. And

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。 In order to solve the above problems, the program according to the present invention, a computer, characterized in that to function in the above code KaSo location.

本発明によれば、画像を効率的且つ高精度に符号化／復号することができるようになる。 According to the present invention, an image can be encoded / decoded efficiently and with high accuracy.

本発明に係る符号化装置の処理概要を説明する図である。It is a figure explaining the process outline | summary of the encoding apparatus which concerns on this invention. 本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る符号化装置における階調削減部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the gradation reduction part in the encoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る符号化装置における空間・階調復元部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the space and the gradation decompression | restoration part in the encoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る符号化装置における空間・階調復元部の処理概要を説明する図である。It is a figure explaining the process outline | summary of the space and a gradation restoration | reconstruction part in the encoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る符号化装置における空間・階調復元部の動作例を示すブロック図である。It is a block diagram which shows the operation example of the space and the gradation decompression | restoration part in the encoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る復号装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the decoding apparatus which concerns on one Embodiment of this invention.

図１は、本発明に係る符号化装置の処理概要を説明する図である。ただし、図１に示す解像度及び階調は一例であり、この値に限られるものではない。 FIG. 1 is a diagram for explaining an outline of processing of an encoding apparatus according to the present invention. However, the resolution and gradation shown in FIG. 1 are examples, and are not limited to these values.

図１に示す例では、まず「解像度８Ｋ×４Ｋ、階調１２ｂｉｔ」の原画像の解像度及び階調数を削減し、「解像度４Ｋ×２Ｋ、階調８ｂｉｔ」の複数の空間・階調削減画像を生成する。次に、各空間・階調削減画像を符号化して複数の符号化信号を生成するとともに、各空間・階調削減画像を局部復号して複数の空間・階調復号画像を生成する。次に、各空間・階調復号画像を原画像と同じ「解像度８Ｋ×４Ｋ、階調１２ｂｉｔ」に復元した複数の空間・階調復元画像を生成する。そして、原画像と複数の空間・階調復元画像とを比較し、誤差が最小となる空間・階調復元画像の生成に用いたパラメータを最適化パラメータとして外部に出力する。また、最適化パラメータを用いて生成した符号化信号を外部に出力する。 In the example shown in FIG. 1, first, the resolution and the number of gradations of the original image having “resolution 8K × 4K, gradation 12 bits” are reduced, and a plurality of space / gradation reduction images having “resolution 4K × 2K, gradation 8 bits” are obtained. Is generated. Next, each space / tone-reduced image is encoded to generate a plurality of encoded signals, and each space / tone-reduced image is locally decoded to generate a plurality of space / tone-decoded images. Next, a plurality of space / gradation restored images are generated by restoring each space / gradation decoded image to the same “resolution 8K × 4K, gradation 12 bits” as the original image. Then, the original image is compared with a plurality of space / tone restoration images, and the parameters used to generate the space / tone restoration image with the smallest error are output to the outside as optimization parameters. Further, the encoded signal generated using the optimization parameter is output to the outside.

以下、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail.

［符号化装置］
図２は、本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。図２に示す例では、符号化装置１は、階調削減部１０と、空間縮小部２０と、符号化・局部復号部３０と、空間・階調復元部４０と、パラメータ最適化部５０とを備える。 [Encoding device]
FIG. 2 is a block diagram illustrating a configuration example of an encoding device according to an embodiment of the present invention. In the example illustrated in FIG. 2, the encoding device 1 includes a tone reduction unit 10, a space reduction unit 20, an encoding / local decoding unit 30, a space / tone restoration unit 40, and a parameter optimization unit 50. Is provided.

階調削減部１０は、原画像を入力し、原画像の階調数を削減した階調削減画像を生成し、空間縮小部２０に出力する。最も単純な方法としては、階調数を１２ｂｉｔから８ｂｉｔに削減する場合には、画素値を１／１６倍する。あるいは、階調変換前の画素値と階調変換後の画素値とを対応付けた量子化テーブルを有する場合には、量子化テーブルに基づいて画素値を変換する。また、階調削減部１０は、複数の階調削減パラメータ（量子化テーブル）を用いて複数の階調削減画像を生成し、空間縮小部２０に出力してもよい。 The gradation reduction unit 10 receives the original image, generates a gradation reduced image in which the number of gradations of the original image is reduced, and outputs it to the space reduction unit 20. As the simplest method, when the number of gradations is reduced from 12 bits to 8 bits, the pixel value is multiplied by 1/16. Alternatively, when a quantization table in which pixel values before gradation conversion are associated with pixel values after gradation conversion is provided, the pixel values are converted based on the quantization table. Further, the gradation reduction unit 10 may generate a plurality of gradation reduction images using a plurality of gradation reduction parameters (quantization tables) and output the generated images to the space reduction unit 20.

階調削減部１０は、原画像のヒストグラムに基づいて量子化テーブルを生成し、該量子化テーブルを用いて階調数を削減してもよい。ヒストグラムを考慮することにより、原画像に応じた階調削減を行うことができる。 The gradation reduction unit 10 may generate a quantization table based on the histogram of the original image, and reduce the number of gradations using the quantization table. By considering the histogram, gradation reduction according to the original image can be performed.

図３は階調削減部１０の構成例を示すブロック図である。図３に示す例では、階調削減部１０は、ヒストグラム検出部１１と、量子化テーブル生成部１２と、量子化部１３とを備える。 FIG. 3 is a block diagram illustrating a configuration example of the gradation reduction unit 10. In the example illustrated in FIG. 3, the gradation reduction unit 10 includes a histogram detection unit 11, a quantization table generation unit 12, and a quantization unit 13.

ヒストグラム検出部１１は、原画像の各画素値を検出してヒストグラムを生成し、量子化テーブル生成部１２に出力する。 The histogram detection unit 11 detects each pixel value of the original image, generates a histogram, and outputs the histogram to the quantization table generation unit 12.

量子化テーブル生成部１２は、ヒストグラム検出部１１により生成されたヒストグラムの頻度をカウントし、階調削減後の画素値の頻度が均等になるように階調削減前の画素値及び階調削減後の画素値を対応付けた量子化テーブルを生成し、量子化部１３、空間・階調復元部４０、及び外部に出力する。 The quantization table generation unit 12 counts the frequency of the histogram generated by the histogram detection unit 11, and the pixel value before gradation reduction and after gradation reduction so that the frequency of the pixel value after gradation reduction is uniform. A quantization table in which the pixel values are associated with each other is generated and output to the quantization unit 13, the space / tone restoration unit 40, and the outside.

量子化部１３は、量子化テーブル生成部１２により生成された量子化テーブルに基づいて原画像の階調数を削減し、階調削減画像を空間縮小部２０に出力する。階調削減後の画素値の頻度を均等化しようとすると、階調削減後の画素値が１つに定まらない場合も考えられる。例えば、図３に示すように階調削減前の画素値「４」に対して階調削減後の画素値が「０」と「１」をとり得る場合、頻度が均等となるように所定の確率で「０」と「１」を振り分けてもよいし、周辺の画素値から誤差の少ないと推定されるほうを選択してもよい。 The quantization unit 13 reduces the number of gradations of the original image based on the quantization table generated by the quantization table generation unit 12, and outputs the gradation reduced image to the space reduction unit 20. If the frequency of pixel values after gradation reduction is to be equalized, the pixel value after gradation reduction may not be determined as one. For example, as shown in FIG. 3, when the pixel value after gradation reduction can take “0” and “1” with respect to the pixel value “4” before gradation reduction, a predetermined value is set so that the frequencies are equal. “0” and “1” may be sorted according to the probability, or one that is estimated to have less error from surrounding pixel values may be selected.

空間縮小部２０は、複数の画像縮小パラメータを用いて、階調削減部１０により生成された階調削減画像の解像度を削減した複数の空間・階調削減画像（空間・階調削減画像群）を生成し、符号化・局部復号部３０に出力する。例えば、空間縮小部２０は、複数のフィルタを用いて階調削減画像を周波数分解（例えば、ウェーブレット分解）し、低周波帯域成分を整数化して出力することにより、空間・階調削減画像群を生成することができる。 The space reduction unit 20 uses a plurality of image reduction parameters to reduce a plurality of space / tone reduction images (space / tone reduction image group) in which the resolution of the tone reduction image generated by the tone reduction unit 10 is reduced. Is generated and output to the encoding / local decoding unit 30. For example, the space reduction unit 20 performs frequency decomposition (for example, wavelet decomposition) on the gradation-reduced image using a plurality of filters, converts the low frequency band component into an integer, and outputs the result, thereby generating a space / tone-reduced image group. Can be generated.

符号化・局部復号部３０は、空間縮小部２０により生成された空間・階調削減画像群を既知の方式で符号化し、複数の符号化信号（符号化信号群）を生成する。例えば、符号化装置１に静止画が入力される場合にはＪＰＥＧ２０００方式などにより符号化し、符号化装置１に動画が入力される場合にはＡＶＣ／Ｈ．２６４方式やＨＥＶＣ／Ｈ．２６５方式などにより符号化する。そして、符号化信号群のうち、後述するパラメータ最適化部５０から入力される最適パラメータを用いて生成された空間・階調削減画像を符号化した符号化信号を外部に出力する。 The encoding / local decoding unit 30 encodes the space / tone reduction image group generated by the space reduction unit 20 by a known method, and generates a plurality of encoded signals (encoded signal group). For example, when a still image is input to the encoding device 1, encoding is performed according to the JPEG2000 method, and when a moving image is input to the encoding device 1, AVC / H. H.264 system and HEVC / H. Encoding is performed by the H.265 method or the like. Then, an encoded signal obtained by encoding the space / tone-reduced image generated using the optimal parameter input from the parameter optimization unit 50 described later in the encoded signal group is output to the outside.

また、符号化・局部復号部３０は、符号化信号群をそれぞれ局部復号した複数の局部復号画像（局部復号画像群）を生成し、空間・階調復元部４０に出力する。例えば、動き推定、離散コサイン変換、及び量子化処理した画像を符号化して符号化信号を生成した場合には、該画像を逆量子化処理、逆離散コサイン変換、及び動き補償して符号化信号の局部復号画像を生成する。 Also, the encoding / local decoding unit 30 generates a plurality of local decoded images (local decoded image groups) obtained by local decoding of the encoded signal groups, respectively, and outputs them to the space / gradation restoration unit 40. For example, when an encoded signal is generated by encoding an image subjected to motion estimation, discrete cosine transform, and quantization processing, the encoded signal is generated by performing inverse quantization processing, inverse discrete cosine transform, and motion compensation on the image. The local decoded image is generated.

空間・階調復元部４０は、符号化・局部復号部３０により生成された局部復号画像群の解像度及び階調数が原画像と等しくなるように復元した複数の空間・階調復元画像（空間・階調復元画像群）を生成し、パラメータ最適化部５０に出力する。解像度の復元は、Lanczos法などの線形フィルタ拡大や、周波数分解（例えば、ウェーブレット分解）を用いた超解像処理により行うことができる。階調の復元は、最も単純な方法としては、階調数を８ｂｉｔから１２ｂｉｔに再量子化する場合には、例えば画素値を単純に１６倍する。あるいは、階調削減部１０により量子化テーブルが生成される場合には、該量子化テーブルの逆テーブルを用いて階調を復元する。空間・階調復元部４０のより好適な構成については後述する。 The space / tone restoration unit 40 includes a plurality of space / tone restoration images (spaces) restored so that the resolution and the number of gradations of the local decoded image group generated by the encoding / local decoding unit 30 are equal to those of the original image. A tone restoration image group) is generated and output to the parameter optimization unit 50. The resolution can be restored by linear filter expansion such as Lanczos method or super-resolution processing using frequency decomposition (for example, wavelet decomposition). To restore the gradation, as the simplest method, when the number of gradations is requantized from 8 bits to 12 bits, for example, the pixel value is simply multiplied by 16. Alternatively, when a quantization table is generated by the gradation reduction unit 10, the gradation is restored using an inverse table of the quantization table. A more preferable configuration of the space / tone restoration unit 40 will be described later.

パラメータ最適化部５０は、空間・階調復元部４０により生成された空間・階調復元画像群と原画像とを比較し、誤差が最小となる空間・階調復元画像の生成に用いられた画像縮小パラメータを最適パラメータとして符号化・局部復号部３０に出力する。ここで、誤差は、原画像と複数の空間・階調復元画像の差の絶対値の和、差の絶対値の積、又は差の二乗和など、種々の演算方法によって定めることができる。なお、階調削減部１０にて複数の階調削減パラメータを用いて階調削減を行った場合には、誤差が最小となる空間・階調復元画像の生成に用いられた階調削減パラメータも最適パラメータに含める。また、パラメータ最適化部５０は、最適パラメータ及び空間・階調復元部４０で用いるフィルタの情報を含むパラメータを外部に出力する。 The parameter optimization unit 50 compares the space / tone restoration image group generated by the space / tone restoration unit 40 with the original image, and is used to generate a space / tone restoration image in which the error is minimized. The image reduction parameter is output to the encoding / local decoding unit 30 as the optimum parameter. Here, the error can be determined by various calculation methods such as a sum of absolute values of differences between the original image and a plurality of space / tone restoration images, a product of absolute values of differences, or a sum of squares of differences. Note that when the tone reduction unit 10 performs tone reduction using a plurality of tone reduction parameters, the tone reduction parameters used to generate the space / tone restoration image that minimizes the error are also included. Include in optimal parameters. Further, the parameter optimization unit 50 outputs parameters including filter parameters used by the optimum parameter and the space / tone restoration unit 40 to the outside.

［空間・階調復元部］
次に、空間・階調復元部４０の好適な構成について詳細に説明する。図４は、空間・階調復元部４０の構成例を示すブロック図である。図４に示す例では、空間・階調復元部４０は、再量子化部４１と、空間超解像・階調補間部４２とを備える。空間・階調復元部４０は、複数の局部復号画像をそれぞれ処理して複数の空間・階調復元画像を生成するが、各画像に対する処理は同じであるため、以下では１つの局部復号画像から１つの空間・階調復元画像を生成する処理について説明する。 [Space and gradation restoration part]
Next, a preferred configuration of the space / tone restoration unit 40 will be described in detail. FIG. 4 is a block diagram illustrating a configuration example of the space / tone restoration unit 40. In the example illustrated in FIG. 4, the space / gradation restoration unit 40 includes a requantization unit 41 and a spatial super-resolution / gradation interpolation unit 42. The space / gradation restoration unit 40 processes each of the plurality of locally decoded images to generate a plurality of space / gradation restored images. However, since the processing for each image is the same, in the following, from one locally decoded image Processing for generating one space / tone restoration image will be described.

図５は、空間・階調復元部４０の処理概要を説明する図である。ただし、図５に示す解像度及び階調は一例であり、この値に限られるものではない。 FIG. 5 is a diagram for explaining the processing outline of the space / tone restoration unit 40. However, the resolution and gradation shown in FIG. 5 are examples, and are not limited to these values.

再量子化部４１は、局部復号画像を原画像と等しい階調数に再量子化した再量子化画像を生成し、空間超解像・階調補間部４２に出力する。例えば、図５に示すように階調数を８ｂｉｔから１２ｂｉｔに再量子化する場合には、単純な方法としては画素値を１６倍する。あるいは、変換前の画素値と変換後の画素値とを対応付けた量子化テーブルが階調削減部１０から入力される場合には、量子化テーブルを用いて（量子化テーブルを逆テーブルにして）画素値を変換する。 The requantization unit 41 generates a requantized image obtained by requantizing the locally decoded image to the same number of gradations as the original image, and outputs the requantized image to the spatial super-resolution / gradation interpolation unit 42. For example, when the number of gradations is requantized from 8 bits to 12 bits as shown in FIG. 5, the pixel value is multiplied by 16 as a simple method. Alternatively, when a quantization table in which the pixel value before conversion and the pixel value after conversion are associated is input from the gradation reduction unit 10, the quantization table is used (the quantization table is changed to an inverse table). ) Convert the pixel value.

空間超解像・階調補間部４２は、図５に示すように、再量子化部４１により生成された「解像度４Ｋ×２Ｋ、階調１２ｂｉｔ」の再量子化画像を、原画像と等しい解像度に空間超解像するとともにフィルタを用いて同時に階調補間し、「解像度８Ｋ×４Ｋ、階調１２ｂｉｔ」の空間・階調復元画像を生成する。空間超解像・階調補間部４２は、周波数分解部４２１と、階調補間部４２２と、周波数再構成部４２３とを備える。 As shown in FIG. 5, the spatial super-resolution / gradation interpolation unit 42 converts the re-quantized image of “resolution 4K × 2K, gradation 12 bits” generated by the re-quantization unit 41 to the same resolution as the original image. In addition, the spatial super-resolution and the gradation interpolation at the same time using a filter generate a space / gradation restoration image of “resolution 8K × 4K, gradation 12 bits”. The spatial super-resolution / tone interpolation unit 42 includes a frequency resolution unit 421, a tone interpolation unit 422, and a frequency reconstruction unit 423.

周波数分解部４２１は、再量子化部４１により生成された再量子化画像をデシメーション無しで（つまり、周波数帯域成分の画像サイズの縮小を行わずに）周波数分解（例えば、ウェーブレット分解）し、再量子化画像の空間標本化周波数を超える高周波帯域成分を階調補間部４２２に出力する。 The frequency decomposition unit 421 performs frequency decomposition (for example, wavelet decomposition) on the requantized image generated by the requantization unit 41 without decimation (that is, without reducing the image size of the frequency band component), The high frequency band component exceeding the spatial sampling frequency of the quantized image is output to the gradation interpolation unit 422.

階調補間部４２２は、再量子化部４１により生成された再量子化画像、及び周波数分解部４２１により生成された高周波帯域成分に波形整形用のフィルタを適用して再量子化整形画像、及び高周波帯域整形成分を生成し、周波数再構成部４２３に出力する。フィルタ処理を行うことにより、同時に階調補間を行うことができる。階調補間部４２２で用いるフィルタとして、例えば、原画像の撮影時における光学的な劣化過程を模擬した低域通過フィルタである点拡がり関数（ＰＳＦ：Point spread function）のフィルタ、ガウシアン関数のフィルタ、Lanczosフィルタなどを用いることができる。 The gradation interpolation unit 422 applies a waveform shaping filter to the requantized image generated by the requantization unit 41 and the high frequency band component generated by the frequency decomposition unit 421, and A high frequency band shaping component is generated and output to the frequency reconstruction unit 423. By performing filter processing, gradation interpolation can be performed simultaneously. As a filter used in the gradation interpolation unit 422, for example, a point spread function (PSF) filter, a Gaussian function filter, which is a low-pass filter simulating an optical degradation process at the time of capturing an original image, Lanczos filters can be used.

あるいは、階調補間部４２２で用いる低域通過フィルタとして、バイラテラルフィルタを用いることができる。バイラテラルフィルタは、画像はエッジ領域以外では階調が滑らかに変化すると仮定し、エッジを保持しながら低域通過フィルタ処理を行うフィルタである。バイラテラルフィルタを用いて波形整形及び階調補間を同時に行うことで、標本化と量子化間の高い相関を利用した空間超解像・階調補間が可能となる。例えば、輝度変化が少ない平坦な空間領域では、空間高周波帯域のパワーが低く輝度値が滑らかに変化するように作用する。また、輝度変化が大きいエッジ領域では、空間高周波帯域のパワーが高く輝度値が大きく変化するように作用する。 Alternatively, a bilateral filter can be used as the low-pass filter used in the gradation interpolation unit 422. The bilateral filter is a filter that performs low-pass filter processing while maintaining an edge on the assumption that the gradation of the image changes smoothly except in the edge region. By simultaneously performing waveform shaping and gradation interpolation using a bilateral filter, spatial super-resolution and gradation interpolation using a high correlation between sampling and quantization becomes possible. For example, in a flat space area where the luminance change is small, the power in the spatial high frequency band is low and the luminance value is changed smoothly. Further, in the edge region where the luminance change is large, the power in the spatial high frequency band is high and the luminance value is greatly changed.

周波数再構成部４２３は、階調補間部４２２により生成された再量子化整形画像を空間低周波帯域とし、階調補間部４２２により生成された高周波帯域整形成分を空間高周波帯域成分として、周波数再構成（例えば、ウェーブレット再構成）し、空間・階調復元画像を生成し、出力する。 The frequency reconstruction unit 423 uses the requantized shaped image generated by the gradation interpolation unit 422 as a spatial low frequency band, and uses the high frequency band shaped component generated by the gradation interpolation unit 422 as a spatial high frequency band component. A configuration (for example, wavelet reconstruction) is performed, and a space / tone restoration image is generated and output.

図６は、空間超解像・階調補間部４２の動作例を説明する図であり、空間超解像処理により解像度を縦横それぞれ２倍にする例を示している。まず、周波数分解部４２１により、再量子化画像Ｓを周波数分解する（ステップＳ１０１）。ここでは、周波数分解としてデシメーション無しの１階離散ウェーブレット分解を行っている。ＬＬは低周波帯域成分であり、ＬＨは水平方向高周波帯域成分であり、ＨＬは垂直方向高周波帯域成分であり、ＨＨは斜め方向高周波帯域成分である。低周波帯域成分ＬＬを除くＬＨ、ＨＬ、及びＨＨを高周波帯域成分とする。 FIG. 6 is a diagram for explaining an example of the operation of the spatial super-resolution / tone interpolation unit 42, and shows an example in which the resolution is doubled both vertically and horizontally by the spatial super-resolution processing. First, the frequency decomposition unit 421 performs frequency decomposition on the requantized image S (step S101). Here, first-order discrete wavelet decomposition without decimation is performed as frequency decomposition. LL is a low frequency band component, LH is a horizontal high frequency band component, HL is a vertical high frequency band component, and HH is a diagonal high frequency band component. LH, HL, and HH excluding the low frequency band component LL are set as the high frequency band components.

次に、階調補間部４２２により、再量子化画像Ｓ及び高周波帯域成分ＬＨ，ＨＬ，ＨＨに波形整形用のフィルタを適用し、再量子化整形画像Ｓ’、及び高周波帯域整形成分ＬＨ’，ＨＬ’，ＨＨ’を生成する（ステップＳ１０２）。 Next, the tone interpolation unit 422 applies a waveform shaping filter to the re-quantized image S and the high-frequency band components LH, HL, and HH, so that the re-quantized shaped image S ′ and the high-frequency band shaped components LH ′, HL ′ and HH ′ are generated (step S102).

次に、周波数再構成部４２３により、再量子化整形画像Ｓ’を空間低周波帯域とし、高周波帯域整形成分ＬＨ’，ＨＬ’，ＨＨ’を空間高周波帯域成分として配置する（ステップＳ１０３）。そして、周波数再構成部４２３により、ステップＳ１０３にて配置した周波帯域成分をウェーブレット再構成し、空間・階調復元画像を生成する（ステップＳ１０４）。 Next, the frequency reconstruction unit 423 arranges the requantized shaped image S ′ as a spatial low frequency band and arranges the high frequency band shaped components LH ′, HL ′, and HH ′ as spatial high frequency band components (step S <b> 103). Then, the frequency reconstruction unit 423 reconstructs the frequency band components arranged in step S103 to generate a space / tone restoration image (step S104).

なお、上述した符号化装置１として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。 A computer can be used to function as the encoding apparatus 1 described above, and such a computer stores a program describing processing contents for realizing each function of the encoding apparatus 1 in a storage unit of the computer. It can be realized by reading and executing this program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

以上説明したように、本発明に係る符号化装置又はそのプログラムによれば、原画像の階調数及び解像度を削減した空間・階調削減画像群を生成し、該空間・階調削減画像群をそれぞれ符号化して符号化信号群を生成するとともに、該符号化信号群をそれぞれ局部復号した局部復号画像群を生成する。次に、局部復号画像群をそれぞれ解像度及び階調数が原画像と等しくなるように復元した空間・階調復元画像群を生成する。そして、空間・階調復元画像群と原画像とを比較し、誤差が最小となる空間・階調復元画像の生成に用いられたパラメータを決定し、最終的に該パラメータを用いて生成された空間・階調削減画像を符号化した符号化信号を出力する。このため、効率的且つ高精度な符号化信号を得ることができる。 As described above, according to the encoding device or the program thereof according to the present invention, a space / tone reduction image group in which the number of gradations and resolution of the original image are reduced is generated, and the space / tone reduction image group is generated. Are encoded to generate an encoded signal group, and a local decoded image group is generated by locally decoding the encoded signal group. Next, a spatial and gradation restored image group is generated by restoring the local decoded image group so that the resolution and the number of gradations are the same as those of the original image. Then, the space / tone restoration image group is compared with the original image, the parameter used to generate the space / tone restoration image that minimizes the error is determined, and the parameter is finally generated using the parameter. An encoded signal obtained by encoding the space / tone-reduced image is output. For this reason, an efficient and highly accurate encoded signal can be obtained.

局部復号画像群をそれぞれ解像度及び階調数が原画像と等しくなるように復元して空間・階調復元画像群を生成する際には、空間超解像処理及び階調補間処理を同時に行うのが好適である。これにより、標本化と量子化間の高い相関を利用することができ、より効率的且つ高精度な符号化信号を得ることができる。 When the local decoded image group is restored so that the resolution and the number of gradations are the same as those of the original image and the spatial / gradation restored image group is generated, the spatial super-resolution processing and the gradation interpolation processing are performed simultaneously. Is preferred. Thereby, a high correlation between sampling and quantization can be used, and a more efficient and highly accurate encoded signal can be obtained.

［復号装置］
次に、符号化装置１により生成された符号化信号を復号する復号装置について説明する。図７は、本発明の一実施形態に係る復号装置の構成例を示すブロック図である。図７に示す例では、復号装置２は、復号部６０と、空間・階調復元部４０とを備える。 [Decoding device]
Next, a decoding device that decodes the encoded signal generated by the encoding device 1 will be described. FIG. 7 is a block diagram illustrating a configuration example of a decoding device according to an embodiment of the present invention. In the example illustrated in FIG. 7, the decoding device 2 includes a decoding unit 60 and a space / gradation restoration unit 40.

復号部６０は、符号化装置１により生成された符号化信号を、符号化方式に対応する方式により復号して復号画像（つまり、符号化装置１により原画像の解像度及び階調数が削減された空間・階調削減画像）を生成し、空間・階調復元部４０に出力する。 The decoding unit 60 decodes the encoded signal generated by the encoding device 1 by a method corresponding to the encoding method, and reduces the resolution and the number of gradations of the original image (that is, the original image is reduced by the encoding device 1). A space / tone reduction image) is generated and output to the space / tone restoration unit 40.

復号装置２の空間・階調復元部４０は、符号化装置１の空間・階調復元部４０と同じ構成とする。ただし、符号化装置１の空間・階調復元部４０は局部復号画像群を入力して処理するのに対し、復号装置２の空間・階調復元部４０は、復号部６０により生成された復号画像を入力して処理する。 The space / tone restoration unit 40 of the decoding device 2 has the same configuration as the space / tone restoration unit 40 of the encoding device 1. However, the space / gradation restoration unit 40 of the encoding device 1 inputs and processes a locally decoded image group, whereas the space / gradation restoration unit 40 of the decoding device 2 uses the decoding generated by the decoding unit 60. Input the image and process it.

つまり、空間・階調復元部４０は、復号部６０により生成された復号画像の解像度及び階調数が原画像と等しくなるように復元した空間・階調復元画像を生成し、外部に出力する。より詳細には、空間・階調復元部４０は、まず復号画像を原画像と等しい階調数に再量子化した再量子化画像を生成する。符号化装置１において量子化テーブルを用いて階調削減を行った場合には、符号化装置１から入力される量子化テーブルを用いて（量子化テーブルを逆テーブルにして）、復号画像を原画像と等しい階調数に再量子化した再量子化画像を生成する。そして、符号化装置１から入力されるパラメータを用いて、再量子化画像を原画像と等しい解像度に空間超解像するとともに、フィルタ処理により階調補間して、空間・階調復元画像を生成する。 That is, the space / tone restoration unit 40 generates a space / tone restoration image restored so that the resolution and the number of gradations of the decoded image generated by the decoding unit 60 are equal to those of the original image, and outputs to the outside. . More specifically, the space / gradation restoration unit 40 first generates a requantized image obtained by requantizing the decoded image to the same number of gradations as the original image. When gradation reduction is performed using the quantization table in the encoding device 1, the decoded image is generated using the quantization table input from the encoding device 1 (with the quantization table as an inverse table). A requantized image that is requantized to the same number of gradations as the image is generated. Then, using the parameters input from the encoding device 1, the re-quantized image is spatially super-resolved to the same resolution as the original image, and gradation interpolation is performed by filter processing to generate a spatial / tone-reconstructed image To do.

なお、上述した復号装置２として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、復号装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。 A computer can be used to function as the decoding device 2 described above, and such a computer stores a program describing processing contents for realizing each function of the decoding device 2 in a storage unit of the computer. In addition, it can be realized by reading and executing this program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

以上説明したように、本発明に係る復号装置又はそのプログラムによれば、原画像の解像度及び階調数を削減した空間・階調削減画像を符号化した符号化信号を復号して復号画像（空間・階調削減画像）を生成する。そして、原画像の解像度及び階調数を削減した際のパラメータを用いて、復号画像を解像度及び階調数が原画像と等しくなるように復元した空間・階調復元画像を生成する。このため、符号化信号を復号して、原画像との誤差が少ない高精度な復元画像を得ることができる。 As described above, according to the decoding apparatus or the program thereof according to the present invention, the encoded image obtained by encoding the space / tone-reduced image in which the resolution and the number of gradations of the original image are reduced is decoded and the decoded image ( Spatial / tone-reduced images) are generated. Then, using the parameters when the resolution and the number of gradations of the original image are reduced, a space / gradation restoration image is generated by restoring the decoded image so that the resolution and the number of gradations are equal to those of the original image. Therefore, it is possible to decode the encoded signal and obtain a highly accurate restored image with little error from the original image.

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.

このように、本発明は原画像を符号化／復号する任意の用途に有用である。 Thus, the present invention is useful for any application for encoding / decoding an original image.

１符号化装置
２復号装置
１０階調削減部
２０空間縮小部
３０符号化・局部復号部
４０空間・階調復元部
５０パラメータ最適化部
６０復号部
４０空間・階調復元部
４１再量子化部
４２空間超解像・階調補間部
４２１周波数分解部
４２２階調補間部
４２３周波数再構成部 DESCRIPTION OF SYMBOLS 1 Encoding apparatus 2 Decoding apparatus 10 Tone reduction part 20 Spatial reduction part 30 Encoding / local decoding part 40 Spatial / gradation restoration part 50 Parameter optimization part 60 Decoding part 40 Spatial / tone restoration part 41 Requantization part 42 spatial super-resolution / tone interpolation unit 421 frequency resolution unit 422 tone interpolation unit 423 frequency reconstruction unit

Claims

原画像の解像度及び階調数を削減した空間・階調削減画像を符号化した符号化信号を出力する符号化装置であって、
原画像の階調数を削減した階調削減画像を生成する階調削減部と、
複数の画像縮小パラメータを用いて前記階調削減画像の解像度を削減した複数の空間・階調削減画像を生成する空間縮小部と、
前記複数の空間・階調削減画像をそれぞれ符号化して複数の符号化信号を生成するとともに、該複数の符号化信号をそれぞれ局部復号した複数の局部復号画像を生成する符号化・局部復号部と、
前記複数の局部復号画像をそれぞれ解像度及び階調数が原画像と等しくなるように復元した複数の空間・階調復元画像を生成する空間・階調復元部と、
前記複数の空間・階調復元画像と原画像とを比較し、前記複数の画像縮小パラメータのうち、誤差が最小となる空間・階調復元画像の生成に用いられた画像縮小パラメータを最適パラメータと決定するパラメータ最適化部と、を備え、
前記符号化・局部復号部は、前記最適パラメータを用いて生成された空間・階調削減画像を符号化した符号化信号を出力し、
前記空間・階調復元部は、
前記局部復号画像を前記原画像と等しい階調数に再量子化した再量子化画像を生成する再量子化部と、
前記再量子化画像を周波数分解して高周波帯域成分を生成する周波数分解部と、
前記再量子化画像及び前記高周波帯域成分をフィルタ処理により階調補間して、再量子化整形画像及び高周波帯域整形成分を生成する階調補間部と、
前記再量子化整形画像を低周波帯域成分とし前記高周波帯域整形成分を高周波帯域成分として周波数再構成して、前記空間・階調復元画像を生成する周波数再構成部と、を備えることを特徴とする符号化装置。 An encoding apparatus that outputs an encoded signal obtained by encoding a space / tone-reduced image in which the resolution and the number of gradations of an original image are reduced,
A gradation reduction unit that generates a gradation-reduced image in which the number of gradations of the original image is reduced;
A space reduction unit that generates a plurality of space / gradation-reduced images in which the resolution of the gradation-reduced image is reduced using a plurality of image reduction parameters;
An encoding / local decoding unit that generates a plurality of encoded signals by encoding each of the plurality of space / gradation-reduced images, and generates a plurality of locally decoded images obtained by locally decoding the plurality of encoded signals, respectively ,
A space / tone restoration unit that generates a plurality of space / tone restoration images obtained by restoring the plurality of local decoded images so that the resolution and the number of gradations are equal to those of the original image;
The plurality of space / tone restoration images and the original image are compared, and among the plurality of image reduction parameters, the image reduction parameter used to generate the space / tone restoration image with the smallest error is used as the optimum parameter. A parameter optimization unit for determining,
The encoding / local decoding unit outputs an encoded signal obtained by encoding the space / tone-reduced image generated using the optimum parameter ,
The space / tone restoration unit
A requantization unit that generates a requantized image obtained by requantizing the locally decoded image to the same number of gradations as the original image;
A frequency resolving unit that generates a high frequency band component by frequency resolving the requantized image;
A gradation interpolation unit that performs gradation interpolation on the requantized image and the high-frequency band component by filtering, and generates a re-quantized shaped image and a high-frequency band shaped component;
Wherein Rukoto and a frequency reconstruction unit which performs frequency reconstruction, to generate the space-gradation restored image as a high-frequency band component of the requantization shaping image and the low frequency band component the high frequency band shaping component An encoding device.

前記階調削減部は、前記原画像のヒストグラムに基づいて量子化テーブルを生成し、該量子化テーブルを用いて階調数を削減することを特徴とする、請求項１に記載の符号化装置。 The gradation reduction unit, on the basis of the histogram of the original image to generate a quantization table, and wherein Rukoto lessen cutting the number of gradations using a quantization table, the code according to claim 1 Device.

前記周波数分解部は、ウェーブレット分解して前記高周波帯域成分を生成し、
前記階調補間部は、バイラテラルフィルタを用いて前記フィルタ処理を行うことを特徴とする、請求項１又は２に記載の符号化装置。 The frequency resolving unit generates the high frequency band component by wavelet decomposition,
The tone interpolation unit, and performing the filtering process using the bilateral filter, the encoding apparatus according to claim 1 or 2.

コンピュータを、請求項１から３のいずれか一項に記載の符号化装置として機能させるためのプログラム。 The program for functioning a computer as an encoding apparatus as described in any one of Claim 1 to 3 .