JP6190170B2 - Space / gradation reduction apparatus and program - Google Patents

Space / gradation reduction apparatus and program Download PDF

Info

Publication number
JP6190170B2
JP6190170B2 JP2013120010A JP2013120010A JP6190170B2 JP 6190170 B2 JP6190170 B2 JP 6190170B2 JP 2013120010 A JP2013120010 A JP 2013120010A JP 2013120010 A JP2013120010 A JP 2013120010A JP 6190170 B2 JP6190170 B2 JP 6190170B2
Authority
JP
Japan
Prior art keywords
gradation
reduction
space
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013120010A
Other languages
Japanese (ja)
Other versions
JP2014238657A (en
Inventor
康孝 松尾
康孝 松尾
境田 慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2013120010A priority Critical patent/JP6190170B2/en
Publication of JP2014238657A publication Critical patent/JP2014238657A/en
Application granted granted Critical
Publication of JP6190170B2 publication Critical patent/JP6190170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、原画像の解像度(標本化周波数)の縮小(空間縮小)及び階調数の削減(階調削減)を行い、空間・階調削減画像を生成する空間・階調削減装置及びプログラムに関する。   The present invention relates to a space / tone reduction apparatus and program for generating a space / tone-reduced image by reducing the resolution (sampling frequency) of an original image (space reduction) and reducing the number of gradations (gradation reduction). About.

従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である(非特許文献1及び2参照)。   Conventionally, a technique for performing space reduction processing of an original image and a technique for performing gradation reduction processing of an original image are known. Spatial reduction processing can be performed by, for example, simple pixel thinning or wavelet decomposition. The gradation reduction process can be performed by, for example, simple reduction of the number of gradations or the Lloyd-Max method. The Lloyd-Max method is a method of examining the histogram showing the frequency for each tone value (luminance value) of the image and assigning more tones as the tone value has a higher frequency when performing tone reduction. (See Non-Patent Documents 1 and 2).

その他、空間縮小した後でRGB空間からYIQ空間へ変換後、量子化及び符号化を行うことを特徴とし、色空間をRGBからYIQに変換することで,人の目につきにくい色差成分等の情報量を削減する方法が知られている(特許文献1参照)。   In addition, after converting the space from RGB space to YIQ space, quantization and encoding are performed. By converting the color space from RGB to YIQ, information such as color difference components that are not easily noticeable by humans A method for reducing the amount is known (see Patent Document 1).

特開平3−267880号公報JP-A-3-267880

S.P.Lloyd, “Least squares quantization in PCM”, IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982S.P.Lloyd, “Least squares quantization in PCM”, IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982 J.Max, “Quantizing for minimum distortion”, IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960J. Max, “Quantizing for minimum distortion”, IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960

しかし、原画像の空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要がある。このため、効率的な処理を行うことができず、また、空間縮小処理と階調削減処理とを一元的に最適化することはできなかった。   However, in order to perform space reduction processing and gradation reduction processing of an original image, it is necessary to separately apply space reduction processing and gradation reduction processing. For this reason, efficient processing cannot be performed, and space reduction processing and gradation reduction processing cannot be optimized in an integrated manner.

かかる事情に鑑みてなされた本発明の目的は、効率的且つ高精度に空間・階調削減画像を得ることができる空間・階調削減装置及びプログラムを提供することにある。   An object of the present invention made in view of such circumstances is to provide a space / gradation reduction apparatus and program capable of obtaining a space / gradation reduction image efficiently and with high accuracy.

上記課題を解決するため、本発明に係る空間・階調削減装置は、原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する空間・階調削減装置であって、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、を備え、前記階調削減部は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、を備え、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。 In order to solve the above problems, a space / tone reduction device according to the present invention is a space / tone reduction device that generates a space / tone reduction image by performing tone reduction processing and space reduction processing of an original image. A gradation reduction unit that generates gradation reduction images by performing gradation reduction processing on the original image using j parameters (j ≧ 1), and k gradation reduction images (k ≧ 1). 1) a space reduction unit that generates a space reduction / gradation image of j × k (where j × k ≧ 2) by performing space reduction processing using the parameters of 1), and the j × k space / gradation An optimization unit that compares the reduced image with the original image and selects a space / tone-reduced image with the least deterioration, and the gradation reducing unit uses the j noise thresholds to Generate j noise-removed images from which isolated points are removed from the original image, or use j gradation threshold values to generate a graph of the original image. A histogram weighted so that the gradation value of the gradation image is higher than the histogram of the noise-removed image or the original image. A gradation determination unit that generates the j gradation-reduced images by the Lloyd-Max method used as training data, and the noise threshold or the gradation threshold is associated with a space reduction ratio or a gradation reduction ratio The correspondence table is associated with the noise threshold or the gradation threshold to be smaller as the spatial reduction ratio is higher, or the gradation reduction ratio is higher as the spatial reduction ratio is higher. The noise threshold value or the gradation threshold value is associated so as to increase.

さらに、本発明に係る空間・階調削減装置において、前記空間縮小部は、解像度の縮小劣化過程を模擬した関数、又はウェーブレット分解を用いて前記空間・階調削減画像を生成することを特徴とする。 Furthermore, in the space / gradation reduction apparatus according to the present invention, the space reduction unit generates the space / tone reduction image using a function that simulates a resolution reduction deterioration process or wavelet decomposition. To do.

さらに、本発明に係る空間・階調削減装置において、前記最適化部は、前記原画像に対する空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を選択することを特徴とする。   Furthermore, in the space / gradation reduction apparatus according to the present invention, the optimization unit calculates a power spectrum difference value and a histogram difference value of the space / gradation reduction image with respect to the original image, and a total value of both is the smallest. It is characterized by selecting a space / tone-reduced image.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間・階調削減装置として機能させることを特徴とする。   In order to solve the above problems, a program according to the present invention causes a computer to function as the space / gradation reduction apparatus.

本発明によれば、効率的且つ高精度に空間・階調削減画像を得ることができるようになる。   According to the present invention, an image with reduced space and gradation can be obtained efficiently and with high accuracy.

本発明に係る空間・階調削減処理の概要を説明する図である。It is a figure explaining the outline | summary of the space and gradation reduction process which concerns on this invention. 本発明の第1の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における階調削減部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the gradation reduction part in the space and gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における周波数分解部の処理を説明する図である。It is a figure explaining the process of the frequency decomposition part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における雑音除去画像生成部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the noise removal image generation part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における孤立点検出部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the isolated point detection part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置におけるグラデーション画像生成部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the gradation image generation part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第1の構成例を示すブロック図である。It is a block diagram which shows the 1st structural example of the gradation reduction initial information generation part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第2の構成例を示すブロック図である。It is a block diagram which shows the 2nd structural example of the gradation reduction initial information generation part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第3の構成例を示すブロック図である。It is a block diagram which shows the 3rd structural example of the gradation reduction initial information generation part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における空間縮小部の処理例を説明する図である。It is a figure explaining the process example of the space reduction part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る空間・階調削減装置における最適化部の処理例を説明する図である。It is a figure explaining the process example of the optimization part in the space and the gradation reduction apparatus which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the space and the gradation reduction apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る空間・階調削減装置における階調削減部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the gradation reduction part in the space and the gradation reduction apparatus which concerns on the 2nd Embodiment of this invention.

まず、本発明の概要について説明する。以下の説明において、原画像を階調削減処理し、且つ空間縮小処理することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。   First, an outline of the present invention will be described. In the following explanation, gradation reduction processing and space reduction processing of an original image are referred to as “space / gradation reduction processing”, and images subjected to space / gradation reduction processing are referred to as “space / gradation reduction processing”. It is called “image”.

図1は、本発明に係る空間・階調削減処理の概要を説明する図である。図1に示す例では、「8K×4K解像度、10bit階調」の原画像から「4K×2K解像度、8bit階調」の空間・階調削減画像を生成する際の処理概要を示している。本発明に係る空間・階調削減装置は、原画像をまず階調削減処理して「8K×4K解像度、8bit階調」の複数の階調削減画像を生成する。次に、この複数の階調削減画像を「4K×2K解像度、8bit階調」の画像に空間縮小し、複数の空間・階調削減画像を生成する。そして、原画像を基準として、階調削減処理及び空間縮小処理に用いたパラメータを一元的に最適化し、最適な空間・階調削減画像を選択する。   FIG. 1 is a diagram for explaining the outline of the space / gradation reduction processing according to the present invention. The example shown in FIG. 1 shows an outline of processing when generating a space / gradation-reduced image of “4K × 2K resolution, 8 bit gradation” from an original image of “8K × 4K resolution, 10 bit gradation”. The space / gradation reduction apparatus according to the present invention first performs gradation reduction processing on an original image to generate a plurality of gradation reduction images of “8K × 4K resolution, 8 bit gradation”. Next, the plurality of gradation-reduced images are spatially reduced to an image of “4K × 2K resolution, 8-bit gradation” to generate a plurality of space / gradation-reduced images. Then, using the original image as a reference, the parameters used for gradation reduction processing and space reduction processing are optimized in an integrated manner, and an optimal space / tone reduction image is selected.

以下、本発明の実施形態について、詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail.

(第1の実施形態)
図2は、本発明の第1の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。図2に示すように、空間・階調削減装置1は、階調削減部10と、空間縮小部20と、最適化部30とを備える。
(First embodiment)
FIG. 2 is a block diagram showing a configuration example of the space / gradation reduction apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the space / gradation reduction apparatus 1 includes a gradation reduction unit 10, a space reduction unit 20, and an optimization unit 30.

[階調削減部について]
まず、階調削減部10について説明する。階調削減部10は、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20に出力する。階調削減処理は、従来の階調数の単純削減やLloyd-Max法などにより行うことができる。ただし、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、以下に説明するように雑音、グラデーション、又は双方を考慮して階調削減処理を行うのが好適である。
[About gradation reduction part]
First, the gradation reduction unit 10 will be described. The gradation reduction unit 10 performs gradation reduction processing on the original image using j (j ≧ 1) parameters to generate j gradation reduction images, and outputs them to the space reduction unit 20. The gradation reduction processing can be performed by a conventional simple reduction of the number of gradations or the Lloyd-Max method. However, image degradation is large when the number of gradations is simply reduced. In addition, since the Lloyd-Max method assigns a large number of gradations to gradation values with high frequency and performs gradation reduction, it is optimal from the viewpoint of minimizing the error between the original image and the gradation-reduced image. Although it can be said to be a reduction method, it cannot be said to be an optimum gradation reduction from the viewpoint of visual and signal processing. This is because, in the Lloyd-Max method, for example, even in a gradation value where noise is dominant, if the frequency is high, gradation is reduced by assigning many gradations. Therefore, as described below, it is preferable to perform the tone reduction process in consideration of noise, gradation, or both.

図3は、階調削減部10の構成例を示すブロック図である。図3に示す例では、階調削減部10は、周波数分解部11と、雑音閾値決定部12と、雑音除去画像生成部13と、グラデーション閾値決定部14と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部12及び雑音除去画像生成部13を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部14及びグラデーション画像生成部15を備えないで原画像の雑音のみを考慮するようにしてもよい。   FIG. 3 is a block diagram illustrating a configuration example of the gradation reduction unit 10. In the example illustrated in FIG. 3, the gradation reduction unit 10 includes a frequency resolution unit 11, a noise threshold value determination unit 12, a noise removal image generation unit 13, a gradation threshold value determination unit 14, a gradation image generation unit 15, A tone reduction initial information generation unit 16 and a tone determination unit 17 are provided. Here, a case where both noise and gradation are considered will be described. However, only the gradation of the original image may be considered without including the noise threshold value determination unit 12 and the noise-removed image generation unit 13, or gradation. Only the noise of the original image may be considered without providing the threshold value determination unit 14 and the gradation image generation unit 15.

周波数分解部11は、原画像を周波数分解(例えば、ウェーブレットパケット分解)して、複数の周波数帯域成分を生成し、雑音閾値決定部12、雑音除去画像生成部13、グラデーション閾値決定部14、及びグラデーション画像生成部15に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。   The frequency decomposition unit 11 performs frequency decomposition (for example, wavelet packet decomposition) on the original image to generate a plurality of frequency band components, a noise threshold value determination unit 12, a noise removal image generation unit 13, a gradation threshold value determination unit 14, and Output to the gradation image generation unit 15. By analyzing the frequency band components, the noise threshold value and the gradation threshold value are determined as will be described later. Hereinafter, for convenience of explanation, a minimum unit constituting an image decomposed for each frequency band such as a frequency resolution component is referred to as an “element”, and a minimum unit constituting an image not frequency-resolved like an original image is referred to as “element”. These are referred to as “pixels” to distinguish them.

図4は、周波数分解部11による空間方向の周波数分解処理を説明する図である。図4では、原画像を空間方向に2階ウェーブレットパケット分解した場合の分解図を示しており、太線は1階ウェーブレットパケット分解の各周波数帯域を示している。図4に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図4に示すように、左上は空間最低周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分)となり、右下は空間最高周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分)となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。   FIG. 4 is a diagram for explaining frequency resolution processing in the spatial direction by the frequency resolution unit 11. FIG. 4 shows an exploded view when the original image is subjected to the second-order wavelet packet decomposition in the spatial direction, and the thick line indicates each frequency band of the first-order wavelet packet decomposition. In the example of wavelet packet decomposition shown in FIG. 4, frequency decomposition is performed equally on the low frequency side and the high frequency side in the spatial direction. In this exploded view, the spatial frequency component is a higher frequency component on the right side in the horizontal direction and a higher frequency component on the lower side in the vertical direction. Therefore, as shown in FIG. 4, the upper left is the lowest spatial frequency band component (the lowest frequency component among the plurality of frequency resolved components generated by the frequency resolving unit 11), and the lower right is the highest spatial frequency band component ( (The band component having the highest frequency among the plurality of frequency decomposition components generated by the frequency decomposition unit 11). Note that frequency decomposition may be performed in the time direction in addition to the spatial direction.

図4では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部131にて原画像の画素単位で孤立点(雑音)を除去することができるようにするために、周波数分解部11はデシメーション無し(すなわち、周波数帯域成分の画像サイズの縮小無し)で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。   For convenience of explanation, FIG. 4 shows an exploded view when wavelet packet decomposition is performed with decimation, but an isolated point (noise) is removed in pixel units of the original image by an isolated point detection unit 131 described later. Therefore, the frequency resolving unit 11 may perform frequency decomposition without decimation (that is, without reducing the image size of the frequency band component), and the generated image size of each frequency band component may be the same.

雑音閾値決定部12は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合(以下、「空間最高周波数帯域成分の割合」という)を、各要素位置について算出する。そして、雑音閾値決定部12は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部13に出力する。例えば、0%から、空間最高周波数帯域成分の割合の平均値までをa等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が10%、a=5とすると、2%、4%、6%、8%、10%が雑音閾値となる。雑音閾値決定部12により決定された雑音閾値は、補助情報(パラメータ情報)として最適化部30に出力される。   The noise threshold value determination unit 12 determines the ratio of the power of the highest spatial frequency band component to the entire band component of the frequency decomposition component generated by the frequency decomposition unit 11 (hereinafter referred to as “the ratio of the highest spatial frequency band component”) for each element Calculate for position. Then, the noise threshold determination unit 12 determines the ratio of the plurality of highest spatial frequency band components as the noise threshold with reference to the average value of the ratio of the highest spatial frequency band components, and outputs the determined noise threshold to the noise removal image generation unit 13. For example, a plurality of values obtained by equally dividing a range from 0% to the average value of the ratio of the highest spatial frequency band component are determined as the noise threshold. In this case, if the average value of the ratio of the highest spatial frequency band component is 10% and a = 5, 2%, 4%, 6%, 8%, and 10% are noise threshold values. The noise threshold value determined by the noise threshold value determination unit 12 is output to the optimization unit 30 as auxiliary information (parameter information).

雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び雑音閾値決定部12により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。   The noise-removed image generation unit 13 detects an isolated point of the original image using the frequency band component generated by the frequency decomposition unit 11 and the noise threshold value determined by the noise threshold value determination unit 12, and determines the isolated point as noise. I reckon. Then, a noise-removed image from which noise has been removed from the original image is generated and output to the gradation reduction initial information generating unit 16.

図5は、雑音除去画像生成部13の構成例を示すブロック図である。図5に示すように、雑音除去画像生成部13は、孤立点検出部131と、再構成部132とを備える。   FIG. 5 is a block diagram illustrating a configuration example of the noise removal image generation unit 13. As illustrated in FIG. 5, the noise removal image generation unit 13 includes an isolated point detection unit 131 and a reconstruction unit 132.

孤立点検出部131は、周波数分解部11により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部131は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部131は、雑音閾値決定部12により決定された複数の雑音閾値のうちの1つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Thを超える要素の値を1とし、雑音閾値Th以下の要素の値を0とする2値化画像Bを生成する。 The isolated point detection unit 131 analyzes the frequency band component generated by the frequency decomposition unit 11 and detects an isolated point of the original image. Specifically, the isolated point detection unit 131 calculates the ratio of the highest spatial frequency band component for each element position. The isolated point detection unit 131 selects one of a plurality of noise threshold determined by the noise threshold value determining section 12, exceeds a noise threshold value Th 1 for the ratio of the calculated spatial highest frequency band component has been selected element A binarized image B having a value of 1 as 1 and a value of an element equal to or less than the noise threshold Th 1 as 0 is generated.

孤立点検出部131は、2値化画像Bの要素値が1である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Thとを比較する。2値化画像Bの判定領域内の要素値の合計値が閾値Thを超える場合には、当該要素は孤立点要素ではないと判定し、2値化画像Bの判定領域内の要素値の合計値が閾値Th以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。 The isolated point detection unit 131 compares the total value of the element values in a predetermined determination region centered on the element having the element value of 1 in the binarized image B with a predetermined threshold Th 2. . If the sum of the element value of the determination area of the binarized image B exceeds the threshold Th 2 is the element is determined not to be an isolated point element, the element value of the determination area of the binarized image B If the total value is the threshold value Th 2 or less determines it determines the element an isolated point element, a pixel of the original image corresponding to the isolated point elements as isolated point.

図6は、孤立点検出部131による孤立点判定処理を説明する図である。図6に示す例では、判定領域は3×3要素である。閾値Thを1とすると、2値化画像Bの要素値が1となる要素素の周囲の8要素の要素値が0であるときのみ、2値化画像Bの要素値が1である要素を孤立要素とみなす。よって、閾値Th=1の場合、図中の要素P1は孤立点要素であると判定され、要素P2と要素P3は孤立点要素と判定されない。 FIG. 6 is a diagram for explaining isolated point determination processing by the isolated point detection unit 131. In the example shown in FIG. 6, the determination area is 3 × 3 elements. When the threshold Th 2 is 1, an element whose element value of the binarized image B is 1 only when the element values of the 8 elements around the element element whose element value of the binarized image B is 1 are 0 Is considered an isolated element. Therefore, when the threshold Th 2 = 1, the element P1 in the figure is determined to be an isolated point element, and the elements P2 and P3 are not determined to be isolated point elements.

そして、孤立点検出部131は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を0とし、再構成部132に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。   Then, the isolated point detection unit 131 sets the element value at the element position determined to be an isolated point element to 0 for each frequency band component, and outputs the value to the reconstruction unit 132. However, if the DC component contains noise, it may not be detected as an isolated point element, so it is preferable not to change the gradation value for the lowest spatial frequency band component having a DC component.

再構成部132は、孤立点検出部131から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をn階ウェーブレットパケット再構成する。   The reconstruction unit 132 performs reconstruction processing using the frequency band component after the isolated point detection input from the isolated point detection unit 131, generates a noise-removed image, and outputs it to the gradation reduction initial information generation unit 16. . For example, when the frequency decomposition unit 11 performs n-th order wavelet packet decomposition to generate a frequency band component, the frequency band component after the isolated point is detected is reconfigured to the nth-order wavelet packet.

グラデーション閾値決定部14は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合(以下、「空間最低周波数帯域成分の割合」という)を、各要素位置について算出する。そして、グラデーション閾値決定部14は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部15に出力する。例えば、空間最低周波数帯域成分の割合の平均値から100%までをb等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が90%、b=5とすると、90%、92%、94%、96%、98%がグラデーション閾値となる。グラデーション閾値決定部14により決定されたグラデーション閾値は、補助情報として最適化部30に出力される。   The gradation threshold value determining unit 14 determines the ratio of the power of the lowest spatial frequency band component to the entire band component of the frequency resolved component generated by the frequency resolving unit 11 (hereinafter referred to as “ratio of the lowest spatial frequency band component”). Calculate for position. Then, the gradation threshold determining unit 14 determines the ratio of the plurality of spatial minimum frequency band components as the gradation threshold with reference to the average value of the ratio of the spatial minimum frequency band components, and outputs the gradation threshold to the gradation image generating unit 15. For example, a plurality of values obtained by equally dividing 100% from the average value of the ratio of the lowest spatial frequency band components into b are determined as gradation threshold values. In this case, assuming that the ratio average value of the lowest spatial frequency band component is 90% and b = 5, 90%, 92%, 94%, 96%, and 98% are gradation threshold values. The gradation threshold value determined by the gradation threshold value determination unit 14 is output to the optimization unit 30 as auxiliary information.

グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及びグラデーション閾値決定部14により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。   The gradation image generation unit 15 detects the gradation region of the original image using the frequency band component generated by the frequency decomposition unit 11 and the gradation threshold value determined by the gradation threshold value determination unit 14, and the gradation composed only of the gradation region. Generate an image. Then, the gradation image is output to the gradation reduction initial information generation unit 16.

図7は、グラデーション画像生成部15の構成例を示すブロック図である。図7に示すように、グラデーション画像生成部15は、グラデーション領域検出部151と、再構成部152とを備える。   FIG. 7 is a block diagram illustrating a configuration example of the gradation image generation unit 15. As shown in FIG. 7, the gradation image generation unit 15 includes a gradation region detection unit 151 and a reconstruction unit 152.

グラデーション領域検出部151は、周波数分解部11により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部151は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部151は、グラデーション閾値決定部14により決定された複数のグラデーション閾値のうちの1つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部152に出力する。   The gradation area detection unit 151 analyzes the frequency band component generated by the frequency decomposition unit 11 and detects the gradation area of the original image. Specifically, the gradation area detection unit 151 calculates the ratio of the lowest spatial frequency band component for each element position. Then, the gradation area detection unit 151 selects one of the plurality of gradation threshold values determined by the gradation threshold value determination unit 14, and gradations the region where the calculated spatial minimum frequency band component ratio exceeds the selected gradation threshold value. Determine the area. Then, an image including only the gradation area is output to the reconstruction unit 152.

再構成部152は、グラデーション領域検出部151から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をn階ウェーブレット再構成する。   The reconstruction unit 152 performs reconstruction processing using the frequency band component after gradation region detection input from the gradation region detection unit 151, generates a gradation image, and outputs the gradation image to the gradation reduction initial information generation unit 16. For example, in the case where the frequency decomposition unit 11 performs the nth-order wavelet packet decomposition to generate the frequency band component, the frequency band component after the gradation region detection is reconfigured to the nth-order wavelet.

階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率(階調削減ビット数)に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。   The gradation reduction initial information generation unit 16 generates training data based on the noise-removed image generated by the noise-removed image generation unit 13 and the gradation image generated by the gradation image generation unit 15, and the gradation reduction rate A gradation conversion table based on (the number of gradation reduction bits) is generated. Then, the training data and the gradation conversion table are output to the gradation determining unit 17.

図8は、階調削減初期情報生成部16の構成例を示すブロック図である。図8に示すように、階調削減初期情報生成部16は、ヒストグラム生成部161と、重み付け部162と、階調変換テーブル生成部163とを備える。   FIG. 8 is a block diagram illustrating a configuration example of the gradation reduction initial information generation unit 16. As illustrated in FIG. 8, the gradation reduction initial information generation unit 16 includes a histogram generation unit 161, a weighting unit 162, and a gradation conversion table generation unit 163.

ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。   The histogram generation unit 161 generates a histogram indicating the frequency for each gradation value for the noise-removed image generated by the noise-removed image generation unit 13 and outputs the histogram to the weighting unit 162.

重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部17に出力する。例えば、グラデーション画像の階調値の度数を、所定の1を超える値(例えば、1.2)を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部17にて階調削減を行う際に、グラデーション領域により多くの階調を割り当てることができる。   The weighting unit 162 detects the gradation value of the gradation image generated by the gradation image generation unit 15, and the frequency of the gradation value of the gradation image is determined with respect to the histogram of the noise-removed image generated by the histogram generation unit 161. Weight to be higher. Then, the weighted histogram is output to the gradation determination unit 17 as training data. For example, the frequency of the gradation value of the gradation image is changed to a value obtained by multiplying a predetermined value exceeding 1 (for example, 1.2). Note that the weight may be increased as the gradation value of the gradation image having a higher frequency. By using the weighted histogram as training data, more gradations can be assigned to the gradation area when the gradation determination unit 17 performs gradation reduction.

階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成し、階調決定部17に出力する。階調変換テーブルは、原画像の色深度がnビット(階調数2)、階調削減ビット数がmビットの場合、nビットを(n−m)ビットに線形変換する階調変換テーブルである。 The gradation conversion table generation unit 163 generates a gradation conversion table according to the gradation reduction rate and outputs the gradation conversion table to the gradation determination unit 17. The gradation conversion table is a gradation conversion table that linearly converts n bits into (nm) bits when the color depth of the original image is n bits (number of gradations 2 n ) and the number of gradation reduction bits is m bits. It is.

図9は、階調削減部10がグラデーション閾値決定部14及びグラデーション画像生成部15を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。   FIG. 9 is a block diagram illustrating a configuration example of the gradation reduction initial information generation unit 16 when the gradation reduction unit 10 does not include the gradation threshold determination unit 14 and the gradation image generation unit 15. In this case, the histogram generation unit 161 generates, as training data, a histogram indicating the frequency for each gradation value for the noise-removed image generated by the noise-removed image generation unit 13. The gradation conversion table generation unit 163 generates a gradation conversion table according to the gradation reduction rate.

図10は、階調削減部10が雑音閾値決定部12及び雑音除去画像生成部13を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。   FIG. 10 is a block diagram illustrating a configuration example of the gradation reduction initial information generation unit 16 when the gradation reduction unit 10 does not include the noise threshold value determination unit 12 and the noise-removed image generation unit 13. In this case, the histogram generation unit 161 generates a histogram indicating the frequency for each gradation value for the original image, and outputs the histogram to the weighting unit 162. The weighting unit 162 detects the gradation value of the gradation image generated by the gradation image generation unit 15 and performs weighting so that the frequency of the gradation image is higher than the histogram of the original image generated by the histogram generation unit 161. The weighted histogram is used as training data. The gradation conversion table generation unit 163 generates a gradation conversion table according to the gradation reduction rate.

階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部17は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。   The gradation determination unit 17 generates a gradation-reduced image in which the gradation of the original image is reduced by the Lloyd-Max method using the training data and the gradation conversion table generated by the gradation reduction initial information generation unit 16 as initial values. Generate. The gradation determination unit 17 determines a quantization step for each gradation according to the frequency of the training data and generates a gradation reduced image, and then performs inverse gradation conversion on the gradation reduced image to obtain the same gradation as the original image. Generate a number of images. Then, the training data and the gradation conversion table are updated and the gradation reduction process is repeated until the difference value between the original image and the image obtained by inverse gradation conversion is equal to or less than a predetermined threshold. According to the Lloyd-Max method, since the quantization step is reduced as the frequency becomes higher, the error between the original image and the gradation-reduced image can be reduced.

また、階調決定部17は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部30に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。   In addition, the gradation determination unit 17 generates an inverse quantization table for restoring the generated gradation reduction unit to the original number of gradations, and outputs it to the optimization unit 30 as auxiliary information. Here, the inverse quantization table is a table in which the input value of the gradation conversion table when the gradation-reduced image is generated is the output value, and the output value of the gradation conversion table is the input value.

雑音除去画像生成部13は、雑音閾値決定部12により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部15は、グラデーション閾値決定部14により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部12により決定された雑音閾値がa個、グラデーション閾値決定部14により決定されたグラデーション閾値がb個の場合には、階調削減初期情報生成部16によりa×b種類の訓練データが生成され、階調決定部17によりj=a×b枚の階調削減画像(階調削減画像群)が生成される。   The noise-removed image generation unit 13 generates a noise-removed image for each noise threshold determined by the noise threshold determination unit 12. The gradation image generation unit 15 generates a gradation image for each gradation threshold determined by the gradation threshold determination unit 14. Therefore, when the number of noise threshold values determined by the noise threshold value determination unit 12 is a and the number of gradation threshold values determined by the gradation threshold value determination unit 14 is b, the gradation reduction initial information generation unit 16 generates a × b types of noise threshold values. Training data is generated, and the gradation determination unit 17 generates j = a × b gradation-reduced images (gradation-reduced image group).

[空間縮小部について]
次に、空間縮小部20について説明する。空間縮小部20は、階調削減部10により生成されたj枚の階調削減画像をそれぞれk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成し、最適化部30に出力する。
[About the space reduction section]
Next, the space reduction unit 20 will be described. The space reduction unit 20 performs space reduction processing on each of the j gradation-reduced images generated by the gradation reduction unit 10 using k (k ≧ 1) parameters, and j × k (where j × A space / tone-reduced image of k ≧ 2) is generated and output to the optimization unit 30.

図11は、空間縮小部20の構成例を示すブロック図である。図11に示す例では、空間縮小部20は、平滑化部21と、縮小部22とを備える。   FIG. 11 is a block diagram illustrating a configuration example of the space reduction unit 20. In the example illustrated in FIG. 11, the space reduction unit 20 includes a smoothing unit 21 and a reduction unit 22.

平滑化部21は、階調削減画像群をそれぞれ平滑化処理して平滑化画像群を生成し、縮小部22に出力する。平滑化は、解像度の縮小劣化過程(ぼやけ)を模擬した関数を用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数(PSF:Point spread function)又はガウシアン関数を用いることができる。平滑化部21は、タップ数、分散値、ゲイン情報などを変更したk個の関数(パラメータ)を用いて平滑化処理を行う。また、平滑化部21は、用いた関数のタップ数、分散値、ゲイン情報を、補助情報として最適化部30に出力する。   The smoothing unit 21 generates a smoothed image group by performing a smoothing process on each gradation-reduced image group, and outputs the smoothed image group to the reducing unit 22. The smoothing process is performed by convolving the gradation-enlarged image with a function that simulates the resolution degradation process (blurring) of the resolution. For example, a point spread function (PSF) or a Gaussian function can be used as a function simulating the resolution degradation process of the resolution. The smoothing unit 21 performs a smoothing process using k functions (parameters) in which the number of taps, the variance value, the gain information, and the like are changed. Further, the smoothing unit 21 outputs the number of taps of the used function, the variance value, and the gain information to the optimization unit 30 as auxiliary information.

縮小部22は、平滑化部21により生成された平滑化画像群をそれぞれ目標解像度になるように空間縮小処理し、空間・階調削減画像群を生成し、最適化部30に出力する。空間縮小処理は、単純間引きにより行ってもよいし、平滑化画像を目標解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調削減画像としてもよい。ウェーブレット分解を行った場合には、そのフィルタの情報も補助情報として最適化部30に出力される。   The reduction unit 22 performs space reduction processing on each of the smoothed image groups generated by the smoothing unit 21 so as to have a target resolution, generates a space / tone reduction image group, and outputs the image to the optimization unit 30. The space reduction processing may be performed by simple thinning, or wavelet decomposition may be performed on the smoothed image so as to achieve the target resolution, and the spatial low frequency component may be used as a space / gradation reduced image. When wavelet decomposition is performed, information on the filter is also output to the optimization unit 30 as auxiliary information.

[最適化部について]
次に、最適化部30について説明する。最適化部30は、空間縮小部20により生成されたj×k枚(但し、j×k≧2)の空間・階調削減画像から、原画像と比較して最も劣化の少ない(最も差分の少ない)画像を選択して出力する。例えば、原画像とパワースペクトルの概形、ヒストグラムの概形、又はその両者の概形が最も近い画像を最も劣化の少ない画像とすることができる。また、最適化部30は、階調削減部10及び空間縮小部20により生成された補助情報を入力し、選択した空間・階調削減画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び空間・階調削減画像を用いて、元の原画像を復元することができるようになる。
[About the optimization unit]
Next, the optimization unit 30 will be described. The optimization unit 30 has the least degradation (the smallest difference) from the original image from the j × k (where j × k ≧ 2) space / gradation-reduced images generated by the space reduction unit 20. Select (few) images and output. For example, an image having the closest approximate shape of the original image and the power spectrum, the approximate shape of the histogram, or both can be the image with the least deterioration. Further, the optimization unit 30 receives the auxiliary information generated by the gradation reduction unit 10 and the space reduction unit 20, and outputs auxiliary information corresponding to the selected space / gradation reduction image as optimal auxiliary information. By outputting the optimum auxiliary information, it is possible to restore the original original image using the optimum auxiliary information and the space / gradation reduction image.

図12は、最適化部30の処理の一例を説明する図である。図12に示す例では、最適化部30は、原画像に対する各空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を最も劣化の少ない画像として選択する。   FIG. 12 is a diagram for explaining an example of processing of the optimization unit 30. In the example illustrated in FIG. 12, the optimization unit 30 calculates the power spectrum difference value and the histogram difference value of each space / gradation-reduced image with respect to the original image, and selects the space / gradation-reduced image having the smallest total value of both. Select the image with the least deterioration.

具体的には、最適化部30は、パワースペクトル差分値を算出するために、原画像及び空間・階調削減画像群をそれぞれn階ウェーブレット分解する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各n階帯域のRMS(Root Mean Square)パワー値の差分合計値のα倍の値を算出する。なお、図12では空間・階調削減画像の水平方向の解像度が原画像の1/2倍の場合を示している。   Specifically, the optimization unit 30 performs n-th wavelet decomposition on the original image and the space / tone-reduced image group, respectively, in order to calculate the power spectrum difference value. Then, for each combination of the original image and the space / gradation-reduced image, a value that is α times the difference total value of RMS (Root Mean Square) power values of each n-th band is calculated. FIG. 12 shows a case where the resolution in the horizontal direction of the space / gradation reduction image is ½ times that of the original image.

また、最適化部30は、ヒストグラム差分値を算出するために、原画像及び空間・階調削減画像群のヒストグラムを求め、各ヒストグラムのレベルをmレベルに量子化する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各mレベルの頻度の差合計値のβ倍の値を計算する。なお、図12では空間・階調削減画像の階調数が原画像の1/4倍の場合を示している。ここで、α及びβは外部から設定可能であり、空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与えることができる。   Further, the optimization unit 30 obtains histograms of the original image and the space / tone-reduced image group to calculate the histogram difference value, and quantizes the level of each histogram to m level. Then, for each combination of the original image and the space / tone-reduced image, a value that is β times the total difference value of the frequencies of each m level is calculated. FIG. 12 shows a case where the number of gradations of the space / gradation reduction image is 1/4 times that of the original image. Here, α and β can be set from the outside, and if importance is attached to the accuracy of the space reduction processing, a large weight is given to α, and if importance is given to the accuracy of the gradation reduction processing, a large weight may be given to β. it can.

最後に、最適化部30は、パワースペクトル差分値及びヒストグラム差分値の和をパワースペクトル・ヒストグラム差分値として算出し、この値が最小となる空間・階調削減画像を選択する。   Finally, the optimization unit 30 calculates the sum of the power spectrum difference value and the histogram difference value as a power spectrum / histogram difference value, and selects a space / tone-reduction image that minimizes this value.

以上説明したように、空間・階調削減装置1は、階調削減部10により原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20によりj枚の階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する。そして、最適化部30によりj×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する。このため、空間・階調削減装置1によれば、階調削減処理と空間縮小処理とを個別に行う場合よりも、効率的且つ高精度に空間・階調削減画像を得ることができる。   As described above, the space / gradation reduction apparatus 1 performs gradation reduction processing on the original image using the j (j ≧ 1) parameters by the gradation reduction unit 10 to generate j gradation-reduced images. Then, the space reduction unit 20 performs space reduction processing on the j gradation-reduced images using k (k ≧ 1) parameters, and j × k (where j × k ≧ 2) space / floor. A tone-reduced image is generated. Then, the optimization unit 30 compares the j × k space / gradation-reduced images with the original image, and selects the space / gradation-reduced image with the least deterioration. For this reason, according to the space / tone reduction device 1, a space / tone reduction image can be obtained more efficiently and with higher accuracy than when the tone reduction processing and the space reduction processing are performed separately.

また、前記階調削減部10は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部(雑音除去画像生成部13又はグラデーション画像生成部15)と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したj枚の階調削減画像を生成する階調決定部17と、を備えるのが好適である。雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。   Further, the gradation reduction unit 10 generates j noise-removed images obtained by removing isolated points from the original image using j noise threshold values, or uses the j gradation threshold values to generate the original image. The gradation of the gradation image with respect to the image generation unit (noise removal image generation unit 13 or gradation image generation unit 15) that generates j gradation images consisting of only the gradation region and the histogram of the noise removal image or the original image A gradation determination unit 17 that generates j gradation-reduced images in which the gradation of the original image has been reduced by the Lloyd-Max method using a histogram weighted so as to increase the frequency of the values as training data. Is preferred. By performing gradation conversion in consideration of noise or gradation, it is possible to perform gradation reduction that is excellent in visual and signal processing and optimized for each image. Further, by performing gradation reduction before space reduction, it is possible to prevent unnecessary noise components from being included in the space-reduced image as aliasing components.

なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部13によりa個の雑音閾値を用いて、原画像から孤立点を除去したa枚の雑音除去画像を生成し、b個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるb枚のグラデーション画像を生成し、階調決定部17によりj=a×b枚の階調削減画像を生成する。   When both noise and gradation are taken into consideration, the noise-removed image generation unit 13 generates a noise-removed images obtained by removing isolated points from the original image using a noise threshold value, and b pieces. B gradation images consisting only of the gradation area of the original image are generated, and the gradation determination unit 17 generates j = a × b gradation reduced images.

(第2の実施形態)
次に、本発明による第2の実施形態について説明する。図13は、本発明の第2の実施形態に係る空間・階調削減装置の構成を示すブロック図である。図13に示すように、空間・階調削減装置2は、階調削減閾値決定部40と、階調削減部100と、空間縮小部20と、最適化部30とを備える。第2の実施形態の空間・階調削減装置2は、第1の実施形態の空間・階調削減装置1と比較して、階調削減閾値決定部40を更に設けて、第1の実施形態の空間・階調削減装置1と異なる方法で階調削減時の閾値を決定する。空間縮小部20及び最適化部30については第1の実施形態と同一であるため、説明を省略する。
(Second Embodiment)
Next, a second embodiment according to the present invention will be described. FIG. 13 is a block diagram showing a configuration of a space / gradation reduction apparatus according to the second embodiment of the present invention. As illustrated in FIG. 13, the space / gradation reduction apparatus 2 includes a gradation reduction threshold determination unit 40, a gradation reduction unit 100, a space reduction unit 20, and an optimization unit 30. Compared with the space / gradation reduction apparatus 1 of the first embodiment, the space / gradation reduction apparatus 2 of the second embodiment further includes a gradation reduction threshold value determination unit 40, and the first embodiment The threshold for gradation reduction is determined by a method different from that of the space / gradation reduction apparatus 1 of FIG. Since the space reduction unit 20 and the optimization unit 30 are the same as those in the first embodiment, description thereof is omitted.

階調削減閾値決定部40は、空間縮小率及び/又は階調削減率に基づいて、雑音閾値及び/又はグラデーション閾値を決定し、階調削減部100に出力する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。   The gradation reduction threshold determination unit 40 determines a noise threshold and / or a gradation threshold based on the space reduction rate and / or the gradation reduction rate, and outputs the noise threshold and / or gradation threshold to the gradation reduction unit 100. Here, a case where the noise threshold value and the gradation threshold value are determined based on the space reduction rate and the gradation reduction rate will be described.

階調削減閾値決定部40は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表1に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表1では、N<N<N<N、G<G<G<Gとする。 The gradation reduction threshold determination unit 40 has a correspondence table in which the space reduction ratio and gradation reduction ratio are associated with the noise threshold and the gradation threshold in advance. An example of the correspondence table is shown in Table 1. Regarding the relationship between the spatial reduction ratio, the noise threshold value, and the gradation threshold value, the noise threshold value and the gradation threshold value are decreased as the spatial reduction ratio increases. This is because when the space reduction ratio is high, the influence of the aliasing of the noise component is small, and it is not necessary to detect the gradation area with high accuracy. As for the relationship between the gradation reduction rate, the noise threshold value, and the gradation threshold value, it is preferable to increase the noise threshold value and the gradation threshold value as the gradation reduction rate increases. This is because when the gradation reduction rate is high, it is necessary to set a high noise removal threshold so that gradation is not assigned to noise, and it is necessary to set a high gradation area detection threshold to prevent false contours. . That is, in Table 1, it is assumed that N 1 <N 2 <N 3 <N 4 and G 1 <G 2 <G 3 <G 4 .

Figure 0006190170
Figure 0006190170

表1の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が1/2、階調削減率が1/8の場合に表1を用いて雑音閾値N及びグラデーション閾値Gを求めると、N=(αN+βN)/2、G=(αG+βG)/2となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。 When the noise threshold value and the gradation threshold value are determined using the correspondence table of Table 1, it is preferable to use the weight α for the space reduction process and the weight β for the gradation reduction process. For example, when the space reduction ratio is 1/2 and the gradation reduction ratio is 1/8, the noise threshold value N and the gradation threshold value G are obtained using Table 1, N = (αN 4 + βN 3 ) / 2, G = (ΑG 4 + βG 3 ) / 2. When importance is attached to the accuracy of the space reduction process, a large weight is given to α, and when importance is attached to the accuracy of the gradation reduction process, a large weight is assigned to β. A plurality of sets of noise threshold values and gradation threshold values may be selected.

図14は、階調削減部100の構成例を示すブロック図である。図14に示す例では、階調削減部10は、周波数分解部11と、雑音除去画像生成部13と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。各構成部の詳細な処理内容は第1の実施形態で説明した通りであるため、ここでは概略のみ述べる。   FIG. 14 is a block diagram illustrating a configuration example of the gradation reduction unit 100. In the example illustrated in FIG. 14, the gradation reduction unit 10 includes a frequency decomposition unit 11, a noise-removed image generation unit 13, a gradation image generation unit 15, a gradation reduction initial information generation unit 16, and a gradation determination unit 17. With. Since the detailed processing content of each component is as described in the first embodiment, only the outline will be described here.

雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。   The noise removal image generation unit 13 detects an isolated point of the original image using the frequency band component generated by the frequency decomposition unit 11 and the noise threshold value determined by the gradation reduction threshold value determination unit 40, and detects the isolated point. Consider it noise. Then, a noise-removed image from which noise has been removed from the original image is generated and output to the gradation reduction initial information generating unit 16.

グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。   The gradation image generation unit 15 detects the gradation region of the original image using the frequency band component generated by the frequency decomposition unit 11 and the gradation threshold value determined by the gradation reduction threshold value determination unit 40, and only from the gradation region. Generate a gradient image. Then, the gradation image is output to the gradation reduction initial information generation unit 16.

階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。   The gradation reduction initial information generation unit 16 generates training data based on the noise-removed image generated by the noise-removed image generation unit 13 and the gradation image generated by the gradation image generation unit 15, and the gradation reduction rate A gradation conversion table based on is generated. Then, the training data and the gradation conversion table are output to the gradation determining unit 17.

階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。また、階調決定部17は逆量子化テーブルを生成し、補助情報として最適化部30に出力する。   The gradation determination unit 17 generates a gradation-reduced image in which the gradation of the original image is reduced by the Lloyd-Max method using the training data and the gradation conversion table generated by the gradation reduction initial information generation unit 16 as initial values. Generate. Also, the gradation determination unit 17 generates an inverse quantization table and outputs it to the optimization unit 30 as auxiliary information.

以上説明したように、空間・階調削減装置2は、階調削減閾値決定部40を更に備え、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、空間・階調削減装置2によれば、第1の実施形態の空間・階調削減装置1と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。   As described above, the space / gradation reduction apparatus 2 further includes the gradation reduction threshold determination unit 40, and associates the noise threshold or the gradation threshold with the threshold and the space reduction ratio or gradation reduction ratio. Determine based on the correspondence table. Therefore, according to the space / gradation reduction apparatus 2, in addition to the same effect as the space / gradation reduction apparatus 1 of the first embodiment, the noise threshold or the gradation threshold is quickly determined to shorten the processing time. Will be able to.

なお、上述した空間・階調削減装置1,2として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、空間・階調削減装置1,2の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。   In addition, a computer can be used to function as the space / gradation reduction devices 1 and 2 described above, and such a computer describes processing contents for realizing each function of the space / gradation reduction devices 1 and 2. This program can be realized by storing the program in a storage unit of the computer, and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。   Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.

このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。   As described above, the present invention is useful for any application for generating a space / gradation reduced image by performing gradation reduction processing and space reduction processing of an original image.

1,2 空間・階調削減装置
10 階調削減部
11 周波数分解部
12 雑音閾値決定部
13 雑音除去画像生成部
14 グラデーション閾値決定部
15 グラデーション画像生成部
16 階調削減初期情報生成部
17 階調決定部
20 空間縮小部
21 平滑化部
22 縮小部
30 最適化部
40 階調削減閾値決定部
100 階調削減部
131 孤立点検出部
132 再構成部
151 グラデーション領域検出部
152 再構成部
161 ヒストグラム生成部
162 重み付け部
163 階調変換テーブル生成部
DESCRIPTION OF SYMBOLS 1, 2 Space | grayscale reduction apparatus 10 Tone reduction part 11 Frequency decomposition part 12 Noise threshold value determination part 13 Noise removal image generation part 14 Gradation threshold value determination part 15 Gradation image generation part 16 Tone reduction initial information generation part 17 Tone Determination unit 20 Spatial reduction unit 21 Smoothing unit 22 Reduction unit 30 Optimization unit 40 Gradation reduction threshold determination unit 100 Gradation reduction unit 131 Isolated point detection unit 132 Reconstruction unit 151 Gradation area detection unit 152 Reconstruction unit 161 Histogram generation Unit 162 weighting unit 163 gradation conversion table generating unit

Claims (4)

原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する空間・階調削減装置であって、
原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、
前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、
前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、
を備え、
前記階調削減部は、
j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、
前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、
を備え、
前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする空間・階調削減装置。
A space / gradation reduction apparatus for generating a space / gradation reduction image by performing gradation reduction processing and space reduction processing of an original image,
A gradation reduction unit that performs gradation reduction processing on the original image using j (j ≧ 1) parameters to generate j gradation-reduced images;
A space reduction unit that performs space reduction processing on the gradation-reduced images using k (k ≧ 1) parameters to generate j × k (where j × k ≧ 2) space / gradation reduction images; ,
An optimization unit that compares the j × k space / gradation-reduced images with the original image and selects a space / gradation-reduced image with the least deterioration;
With
The gradation reduction unit
Generate j noise-removed images by removing isolated points from the original image using j noise thresholds, or use j gradation thresholds and j gradations consisting only of the gradation area of the original image An image generation unit for generating an image;
According to the Lloyd-Max method using as a training data a histogram weighted so as to increase the frequency of the gradation value of the gradation image with respect to the histogram of the noise-removed image or the original image, the j gradation-reduced images. A gradation determining unit for generating
With
The noise threshold or the gradation threshold is determined based on a correspondence table associated with a space reduction rate or a gradation reduction rate,
The correspondence table associates such that the noise threshold or the gradation threshold decreases as the spatial reduction ratio increases, or the noise threshold or the gradation threshold increases as the gradation reduction ratio increases. that are associated so that spatial tone reduction device you characterized.
前記空間縮小部は、解像度の縮小劣化過程を模擬した関数、又はウェーブレット分解を用いて前記空間・階調削減画像を生成することを特徴とする、請求項1に記載の空間・階調削減装置。 The space / gradation reduction apparatus according to claim 1, wherein the space reduction unit generates the space / tone reduction image using a function simulating resolution reduction deterioration process or wavelet decomposition. . 前記最適化部は、前記原画像に対する空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を選択することを特徴とする、請求項1又は2に記載の空間・階調削減装置。 The optimization unit calculates a power spectrum difference value and a histogram difference value of a space / tone-reduction image with respect to the original image, and selects a space / tone-reduction image having the smallest total value of both. The space / gradation reduction apparatus according to claim 1 or 2 . コンピュータを、請求項1からのいずれか一項に記載の空間・階調削減装置として機能させるためのプログラム。 A program for causing a computer to function as the space / gradation reduction device according to any one of claims 1 to 3 .
JP2013120010A 2013-06-06 2013-06-06 Space / gradation reduction apparatus and program Active JP6190170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013120010A JP6190170B2 (en) 2013-06-06 2013-06-06 Space / gradation reduction apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120010A JP6190170B2 (en) 2013-06-06 2013-06-06 Space / gradation reduction apparatus and program

Publications (2)

Publication Number Publication Date
JP2014238657A JP2014238657A (en) 2014-12-18
JP6190170B2 true JP6190170B2 (en) 2017-08-30

Family

ID=52135789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120010A Active JP6190170B2 (en) 2013-06-06 2013-06-06 Space / gradation reduction apparatus and program

Country Status (1)

Country Link
JP (1) JP6190170B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7057694B2 (en) * 2018-03-27 2022-04-20 日本放送協会 Image denoising device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056277B2 (en) * 2002-03-27 2008-03-05 富士フイルム株式会社 Color reduction processing apparatus and color reduction processing method
JP5452337B2 (en) * 2010-04-21 2014-03-26 日本放送協会 Image coding apparatus and program

Also Published As

Publication number Publication date
JP2014238657A (en) 2014-12-18

Similar Documents

Publication Publication Date Title
Rahman et al. Tripartite sub-image histogram equalization for slightly low contrast gray-tone image enhancement
Mittal et al. Bit-depth expansion using minimum risk based classification
JP2006295877A5 (en)
WO2014186886A1 (en) System and method having transparent composite model for transform coefficients
Lee et al. Two-stage false contour detection using directional contrast and its application to adaptive false contour reduction
Sonker et al. Comparison of histogram equalization techniques for image enhancement of grayscale images of dawn and dusk
Ernawan et al. The optimal quantization matrices for JPEG image compression from psychovisual threshold
JP6276596B2 (en) Spatial super-resolution / tone interpolation device and program
Maragatham et al. Contrast enhancement by object based histogram equalization
JP2014146988A (en) Dynamic image encoder
JP6174903B2 (en) Spatial / gradation super-resolution device and program
JP6190170B2 (en) Space / gradation reduction apparatus and program
JP6807795B2 (en) Noise reduction device and program
KR102401783B1 (en) Image displaying apparatus and method of controlling the same
JP5934031B2 (en) Gradation reduction apparatus and program
JP5878785B2 (en) Gradation reduction apparatus and program
JP5837844B2 (en) Pseudo contour region detection device and program
Taujuddin et al. Progressive Pixel-to-Pixel Evaluation to Obtain the Hard and Smooth Region for Image Compression
JP6163022B2 (en) Encoding apparatus and program
JP6030896B2 (en) Gradation reduction apparatus and program
KR101854611B1 (en) Image Processing Method Based on Weight Assignment using Entropy
Agarwal Bit planes histogram equalization for tone mapping of high contrast images
JP6388476B2 (en) Encoding apparatus and program
JP6101009B2 (en) Gradation reduction coding apparatus, gradation restoration decoding apparatus, and programs thereof
Saito et al. Image denoising with hard color-shrinkage and grouplet transform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250