JP2009060481A

JP2009060481A - Image processing device and method, learning device and method, and program

Info

Publication number: JP2009060481A
Application number: JP2007227350A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Tsutomu Watanabe; 勉渡辺
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-19

Abstract

PROBLEM TO BE SOLVED: To generate an image of which the level is not limited from a level-limited image. SOLUTION: A class classification section 21 performs class classification to a pixel to be generated from an output image at a position corresponding to a target pixel focused in input images where a pixel value is level-limited to a fixed range to a prescribed reproduction range. In this case, the class classification section 21 determines whether the pixel value of the target pixel has been level-limited, and performs class classification using a same-order hierarchy class tap or an upper-level hierarchy class tap according to the determination result. A data generation section 23 performs prediction computation of the pixel value of generated pixels using a conversion coefficient obtained for the class of generated pixels by a class classification means in advance, and a prediction tap. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は画像処理装置及び方法、学習装置及び方法、並びにプログラムに関し、特に、画素値がレベル制限された画像から、レベル制限されていない画像を生成するようにした画像処理装置及び方法、学習装置及び方法、並びにプログラムに関する。 The present invention relates to an image processing device and method, a learning device and method, and a program, and in particular, an image processing device and method, and a learning device that generate an image whose level is not limited from an image whose pixel value is level limited. And a method and a program.

放送やパッケージメディアなどの映像コンテンツの色再現範囲を規定する規格として、xvYCCという規格が2006年10月に成立した。このxvYCC規格では、従来のITU-R BT.709の色域（sRGB規格と同等）との互換性を確保しながら、色空間が広げられている。 A standard called xvYCC was established in October 2006 as a standard that defines the color reproduction range of video content such as broadcasting and package media. In the xvYCC standard, the color space is expanded while ensuring compatibility with the conventional ITU-R BT.709 color gamut (equivalent to the sRGB standard).

ITU-R BT.709の色差方式では、図１の上の欄に示されるように、量子化数が８ビットの場合、色情報について、本来の色再現範囲（“１”乃至“２５４”）に対して、下限値が“１６”で上限値が“２４０”となる範囲にレベル制限されている。 In the color difference method of ITU-R BT.709, as shown in the upper column of FIG. 1, when the quantization number is 8 bits, the original color reproduction range (“1” to “254”) is obtained for color information. On the other hand, the level is limited to a range where the lower limit value is “16” and the upper limit value is “240”.

これに対してxvYCC規格では、図１の下の欄に示されているように、そのようなレベル制限がなされていない。 On the other hand, in the xvYCC standard, as shown in the lower column of FIG. 1, such level restriction is not made.

従ってxvYCC規格に準拠して処理すれば、色再現範囲がsRGB規格を上回るテレビ受像機において、本来の色空間を有する映像コンテンツを再生することができる。 Therefore, if processing is performed in accordance with the xvYCC standard, video content having an original color space can be reproduced on a television receiver having a color reproduction range exceeding the sRGB standard.

しかしながら、例えば既に録画されて保存されている映像コンテンツの中には、図１に示したように、色再現範囲がレベル制限されたものが多く存在する。このようにレベル制限されている映像コンテンツを、色再現範囲が拡大されたテレビ受像機で再生しても、結局は、本来の色空間で映像コンテンツは再生されない。 However, for example, there are many video contents that have already been recorded and stored, as shown in FIG. 1, in which the color reproduction range is limited in level. Even if the video content whose level is limited in this way is reproduced on a television receiver with an expanded color reproduction range, the video content is not reproduced in the original color space after all.

画素値を創造する技術としてクラス分類適用処理が開発されている。色信号についてのクラス分類適応処理とし、単板CCDが出力する画像データから、３板CCD出力相当の画像データを求めるものもある（例えば、特許文献１参照）。
特開２００２−６４８３６号公報 Class classification application processing has been developed as a technique for creating pixel values. There is also a class classification adaptive process for color signals, in which image data equivalent to 3-plate CCD output is obtained from image data output by a single-plate CCD (see, for example, Patent Document 1).
JP 2002-64836 A

しなしながら、従来においては、クラス分類適用処理により色空間自体を拡張する方法は存在しない。 However, conventionally, there is no method for extending the color space itself by the classification application process.

本発明は、このような状況に鑑みてなされたものであり、クラス分類適用処理により、例えば色再現範囲がレベル制限されている映像コンテンツから、本来の色再現範囲を有する映像コンテンツを生成することできるようにするものである。 The present invention has been made in view of such circumstances, and generates video content having an original color reproduction range from, for example, video content in which the color reproduction range is limited by class classification application processing. It is something that can be done.

本発明の一側面の画像処理装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段と、前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段と、前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段とを備え、前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う。 An image processing apparatus according to one aspect of the present invention is an image processing apparatus that generates an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. The generated pixel generated from the output image at the position corresponding to the target pixel of interest in the input image is generated using the class tap generated from the plurality of pixels of the input image including the target pixel. Class classification means for classifying into any one of a plurality of classes, and a plurality of pixels used for predicting the generated pixel, and a predetermined plurality of the input images including the target pixel Predictive tap extracting means for extracting the pixels of the input image as predictive taps, a coefficient obtained in advance for the class of the generated pixels by the class classifying means, Prediction classifying means for predicting and calculating the pixel value of the generated pixel using a prediction tap; and first determination means for determining whether or not the pixel value of the target pixel is level-limited, the class classification The means performs the class classification including the determination result by the first determination means.

前記画像処理装置には、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段と、前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段と、前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段とを更に設け、前記クラス分類手段には、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行わせることができる。 The image processing apparatus includes: an extraction unit that extracts a predetermined plurality of pixels of the input image including the target pixel as a target hierarchical class tap from the input image; and a predetermined plurality of the input image including the target pixel. Are extracted from the input image, and using the pixel values of those pixels, an upper layer class tap generation unit that generates an upper layer class tap having the same number of pixels as the target layer class tap, and the extraction unit A second determination unit that determines whether or not the pixel values of all the pixels constituting the extracted target hierarchy class tap are level-limited, and the class determination unit includes the second determination unit. According to the determination result by the means, the class classification may be performed using the target hierarchy class tap or the upper hierarchy class tap as a class tap. Kill.

前記クラス分類手段には、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行わせることができる。 The class classification unit may further include the determination result by the second determination unit to perform the class classification.

前記上位階層クラスタップ生成手段には、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成させることができる。 The upper layer class tap generation means obtains pixel values of a plurality of predetermined pixels of the input image including the extracted target pixel, calculates an average value of the pixel values for each predetermined pixel, and obtains the result. The upper layer class tap can be generated from the obtained pixel value.

前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、前記予測演算手段には、前記生成画素の色差値又は輝度値を、予測演算させることができる。 The level of the input image is limited within a certain range with respect to color information or luminance information, and the prediction calculation means can predict the color difference value or luminance value of the generated pixel.

前記上位階層クラスタップ生成手段には、レベル制限されている色情報又は輝度情報と異なる情報で、前記上位階層クラスタップを生成させることができる。 The upper layer class tap generation unit can generate the upper layer class tap with information different from the color information or luminance information whose level is limited.

前記入力画像が、xvYCC規格に準拠した画像フォーマットであるようにすることができる。 The input image may be in an image format conforming to the xvYCC standard.

本発明の一側面の画像処理方法は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップとを含み、前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う。 An image processing method according to an aspect of the present invention is an image processing apparatus that generates an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. In the image processing method, a generation pixel generated from an output image at a position corresponding to a target pixel of interest in the input image is a class generated from a plurality of pixels of the input image including the target pixel. A class classification step for classifying into one of a plurality of classes using a tap; and a plurality of pixels used for predicting the generated pixel, the input image including the pixel of interest A prediction tap extraction step of extracting a predetermined plurality of pixels as prediction taps from the input image, and a class of the generation pixel in the class classification step in advance A prediction calculation step of predicting and calculating a pixel value of the generated pixel using the coefficient and the prediction tap, and a determination step of determining whether or not the pixel value of the pixel of interest is level-limited. In the class classification step, the class classification is performed including the determination result in the determination step.

本発明の一側面のプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップとを含み、前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う画像処理をコンピュータに実行させる。 A program according to an aspect of the present invention executes, on a computer, image processing for generating an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. A class tap generated from a plurality of pixels of the input image including the target pixel, the generated pixel of the output image at a position corresponding to the target pixel of interest of the input image A class classification step for classifying into any one of a plurality of classes, and a plurality of pixels used for predicting the generated pixel, the input image including the target pixel A prediction tap extraction step of extracting a predetermined plurality of pixels as prediction taps from the input image, and a generation pixel class in the class classification step. A prediction calculation step for predicting and calculating a pixel value of the generated pixel using a coefficient obtained in advance for a pixel and the prediction tap, and a determination for determining whether or not the pixel value of the target pixel is level-limited The class classification step causes a computer to execute image processing for performing the class classification including the determination result in the determination step.

本発明の一側面の画像処理装置及び方法、並びにプログラムにおいては、入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類が行われ、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素が、前記入力画像から予測タップとして抽出され、前記生成画素のクラスについて予め求められている係数と前記予測タップを用いて、前記生成画素の画素値が予測演算され、前記注目画素の画素値がレベル制限されているか否かが判定され、その判定結果を含めて前記クラス分類が行われる。 In the image processing apparatus and method, and the program according to one aspect of the present invention, the generated pixel generated from the output image at the position corresponding to the target pixel of interest in the input image includes the target pixel. Using the class taps generated from a plurality of pixels of the input image, class classification is performed to classify into any of a plurality of classes, a plurality of pixels used to predict the generated pixels, A plurality of predetermined pixels of the input image including the target pixel are extracted as prediction taps from the input image, and the coefficients of the generation pixels are calculated using coefficients and the prediction taps obtained in advance for the generation pixel class. A pixel value is predicted and determined, and it is determined whether or not the pixel value of the target pixel is level-restricted, and the class classification is performed including the determination result.

本発明の一側面の学習装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段と、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段とを備える。 The learning device according to one aspect of the present invention provides a conversion used for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range. A learning device for generating a coefficient, which is generated from an output image at a position corresponding to a target pixel of interest of a student image whose level is limited within a certain range with respect to the predetermined reproduction range. Classifying means for classifying a generated pixel into any one of a plurality of classes using a class tap generated from a plurality of pixels of the student image including the target pixel; and the generation A prediction tap extracting unit that extracts a plurality of predetermined pixels of the student image including the target pixel as prediction taps, which are a plurality of pixels used for predicting a pixel; Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, And an arithmetic means for obtaining the conversion coefficient corresponding to the class of the generated pixel, which is used for predicting a pixel value.

前記教師画像が、前記所定の再現範囲に対して一定の範囲内にレベル制限されているようにすることができる。 The teacher image may be level-limited within a certain range with respect to the predetermined reproduction range.

本発明の一側面の学習方法は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップとを含む。 A learning method according to an aspect of the present invention provides a conversion used to generate an output image of a predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range. A learning method of a learning device for generating a coefficient, wherein an output image at a position corresponding to a target pixel of interest of a student image whose level is limited within a certain range with respect to the predetermined reproduction range A class classification step for classifying the generated pixels generated from the classifier into any one of a plurality of classes using class taps generated from a plurality of pixels of the student image including the target pixel; A prediction unit that extracts a plurality of predetermined pixels of the student image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel. Extracting a teacher pixel value corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, the prediction tap And calculating the conversion coefficient corresponding to the class of the generated pixel, which is used to predict the pixel value of the generated pixel.

本発明の一側面のプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップとを含む学習処理をコンピュータに実行させる。 A program according to an aspect of the present invention is a conversion coefficient used for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range. An output image at a position corresponding to a target pixel of interest of a student image whose level is limited within a certain range with respect to the predetermined reproduction range. Class classification for classifying a generated pixel generated from now into one of a plurality of classes using a class tap generated from a plurality of pixels of the student image including the target pixel A plurality of pixels used for predicting the generated pixel, wherein a predetermined plurality of pixels of the student image including the target pixel are predicted from the student image. A prediction tap extraction step for extracting as a tap, and a teacher pixel value corresponding to the generated pixel is extracted from a teacher image having the predetermined reproduction range, and the extracted pixel value of the teacher pixel and the prediction tap are used. Then, the computer is caused to perform a learning process including a calculation step for obtaining the conversion coefficient corresponding to the class of the generated pixel, which is used for predicting the pixel value of the generated pixel from the prediction tap.

本発明の一側面の学習装置及び学習方法、並びにプログラムにおいては、所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類が行われ、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素が、前記生徒画像から予測タップとして抽出され、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値が抽出され、抽出された前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数が求められる。 In the learning apparatus, the learning method, and the program according to one aspect of the present invention, an output at a position corresponding to a target pixel of interest of a student image whose level is limited within a certain range with respect to a predetermined reproduction range. Class classification is performed in which generated pixels generated from the current image are classified into one of a plurality of classes using class taps generated from a plurality of pixels of the student image including the target pixel. , A plurality of pixels used for predicting the generated pixel, wherein a plurality of predetermined pixels of the student image including the target pixel are extracted as prediction taps from the student image and have the predetermined reproduction range From the teacher image, the pixel value of the teacher pixel corresponding to the generated pixel is extracted, and the extracted pixel value of the teacher pixel and the prediction tap are used to extract from the prediction tap. Are used to predict the pixel value of the serial generated pixel, the transform coefficients corresponding to the class of the generated pixel is obtained.

本発明の一側面によれば、クラス分類適用処理により、再現範囲がレベル制限されている画像から、本来の再現範囲を有する画像を生成することができる。 According to one aspect of the present invention, an image having an original reproduction range can be generated from an image whose reproduction range is limited by the class classification application process.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

本発明の一側面の画像処理装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段（例えば、図２のクラス分類部２１）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段（例えば、図２の予測タップ抽出部４１）と、
前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段（例えば、図２の演算部４２）と、
前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段（例えば、図２のクラスタップ抽出部３２）と
を備え、
前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う。 An image processing apparatus according to one aspect of the present invention is an image processing apparatus that generates an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. ,
Using the class tap generated from the plurality of pixels of the input image including the target pixel, the generated pixel generated from the output image at the position corresponding to the target pixel of interest of the input image, Class classification means (for example, the class classification unit 21 in FIG. 2) for performing class classification to classify into any of a plurality of classes;
Prediction tap extraction means (for example, FIG. 2) that extracts a plurality of predetermined pixels of the input image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel. Prediction tap extraction unit 41),
Prediction calculation means (for example, the calculation unit 42 in FIG. 2) that predicts and calculates the pixel value of the generated pixel using the coefficient obtained in advance for the class of the generated pixel by the class classification means and the prediction tap. ,
First determination means for determining whether or not the pixel value of the target pixel is level-limited (for example, the class tap extraction unit 32 in FIG. 2),
The class classification unit performs the class classification including a determination result by the first determination unit.

前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段（例えば、図２のクラスタップ抽出部３２）と、
前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段（例えば、図２の上位階層クラスタップ生成部３３）と、
前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段（例えば、図２のADRC処理部３４）と
を更に備え、
前記クラス分類手段は、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行う。 Extraction means (for example, the class tap extraction unit 32 in FIG. 2) that extracts a predetermined plurality of pixels of the input image including the target pixel as a target hierarchical class tap from the input image;
A plurality of predetermined pixels of the input image including the target pixel are extracted from the input image, and an upper layer class tap having the same number of pixels as the target layer class tap is generated using pixel values of the pixels. Upper layer class tap generation means (for example, the upper layer class tap generation unit 33 in FIG. 2);
Second determination means (for example, ADRC processing unit 34 in FIG. 2) for determining whether or not the pixel values of all the pixels constituting the target hierarchy class tap extracted by the extraction means are level limited; In addition,
The class classification unit performs the class classification using the target layer class tap or the upper layer class tap as a class tap according to a determination result by the second determination unit.

前記クラス分類手段は、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行う（例えば、図２のクラス値生成部３５）。 The class classification unit performs the class classification further including the determination result by the second determination unit (for example, the class value generation unit 35 in FIG. 2).

前記上位階層クラスタップ生成手段は、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成する（例えば、図４）。 The upper layer class tap generation means obtains pixel values of a plurality of predetermined pixels of the input image including the extracted target pixel, and calculates an average value of the pixel values for each predetermined pixel, and the result is obtained. The upper layer class tap is generated from the pixel value (for example, FIG. 4).

前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、
前記予測演算手段は、前記生成画素の色差値又は輝度値を、予測演算する（例えば、図１０）。 The input image is limited in level within a certain range for color information or luminance information,
The prediction calculation means performs a prediction calculation on the color difference value or the luminance value of the generated pixel (for example, FIG. 10).

本発明の一側面の画像処理方法又はプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、又は画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップ（例えば、図６のステップＳ１３）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップ（例えば、図６のステップＳ１５）と、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップ（例えば、図６のステップＳ１６）と、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップ（例えば、図７のステップＳ２１）と
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う（例えば、図７のステップＳ３２）。 An image processing method or program according to one aspect of the present invention is an image processing for generating an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. In the image processing method of the apparatus, the computer executes image processing for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range In the program
Using the class tap generated from the plurality of pixels of the input image including the target pixel, the generated pixel generated from the output image at the position corresponding to the target pixel of interest of the input image, A class classification step (for example, step S13 in FIG. 6) for classifying into any of a plurality of classes;
A prediction tap extracting step of extracting a plurality of predetermined pixels of the input image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel (for example, FIG. 6). Step S15),
A prediction calculation step (for example, step S16 in FIG. 6) for predicting and calculating the pixel value of the generated pixel using the coefficient obtained in advance for the class of the generated pixel in the class classification step and the prediction tap; ,
A determination step (for example, step S21 in FIG. 7) for determining whether or not the pixel value of the target pixel is level-limited,
In the class classification step, the class classification is performed including the determination result in the determination step (for example, step S32 in FIG. 7).

本発明の一側面の学習装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段（例えば、図８のクラス分類部６２）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部８１）と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段（例えば、図８の係数生成部６４）と
を備える。 The learning device according to one aspect of the present invention provides a conversion used for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range. A learning device that generates coefficients,
The generation pixel generated from the output image at the position corresponding to the target pixel of interest of the student image whose level is limited within a certain range with respect to the predetermined reproduction range includes the target pixel Class classification means (for example, class classification unit 62 in FIG. 8) that performs class classification to classify into any of a plurality of classes using class taps generated from a plurality of pixels of the student image;
Prediction tap extraction means (for example, FIG. 8) that extracts a plurality of predetermined pixels of the student image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel. Prediction tap extraction unit 81),
Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, And a calculation unit (for example, a coefficient generation unit 64 in FIG. 8) for obtaining the conversion coefficient corresponding to the class of the generation pixel, which is used for predicting a pixel value.

本発明の一側面の学習方法又はプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、又は画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップ（例えば、図９のステップＳ５３）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップ（例えば、図９のステップＳ５４）と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップ（例えば、図９のステップＳ５７）と
を含む。 A learning method or program according to one aspect of the present invention is used to generate an output image of a predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range. A learning method for a learning device that generates a conversion coefficient, or generates an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range A program for causing a computer to execute a learning process for generating a conversion coefficient used for
The generation pixel generated from the output image at the position corresponding to the target pixel of interest of the student image whose level is limited within a certain range with respect to the predetermined reproduction range includes the target pixel Using a class tap generated from a plurality of pixels of the student image, a class classification step for classifying the class image into any of a plurality of classes (for example, step S53 in FIG. 9);
A prediction tap extraction step (for example, FIG. 9) that extracts a plurality of predetermined pixels of the student image including the target pixel as prediction taps that are a plurality of pixels used for predicting the generated pixel. Step S54),
Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, A calculation step (for example, step S57 in FIG. 9) for obtaining the conversion coefficient corresponding to the class of the generated pixel, which is used for predicting a pixel value.

以下、図面を参照して、本発明を適用した実施の形態について説明する。 Embodiments to which the present invention is applied will be described below with reference to the drawings.

図２は、本発明を適用した画像処理装置１１の構成例を示している。 FIG. 2 shows a configuration example of the image processing apparatus 11 to which the present invention is applied.

画像処理装置１１には、画素値が所定の再現範囲に対して一定の範囲内にレベル制限された画像が入力画像として入力される。画像処理装置１１は、この入力画像から、クラス分類適応処理により、本来の再現範囲の画像（則ちレベル制限されていない画像に相当する画像）（以下、出力画像と称する）を生成する。則ちレベル制限されている画像が、レベル制限されていない画像に変換される。 An image whose pixel value is level-limited within a predetermined range with respect to a predetermined reproduction range is input to the image processing apparatus 11 as an input image. The image processing apparatus 11 generates an image in the original reproduction range (that is, an image corresponding to an image whose level is not limited) (hereinafter referred to as an output image) from the input image by class classification adaptive processing. In other words, an image whose level is limited is converted into an image whose level is not limited.

この場合、図１の上段の欄に示されるように、色情報についての本来の色再現範囲（“１”乃至“２５４”）に対して、下限値が“１６”で上限値が“２４０”となる範囲にレベル制限されているITU-R BT.709規格に準拠した動画が、入力画像として入力されるものとする。画像処理装置１１は、この入力画像から、xvYCC規格に準拠した画像に相当する画像、則ち色情報について本来の色再現範囲を有する出力画像を生成する。 In this case, as shown in the upper column of FIG. 1, the lower limit value is “16” and the upper limit value is “240” with respect to the original color reproduction range (“1” to “254”) for color information. It is assumed that a moving image conforming to the ITU-R BT.709 standard that is level-limited to the range is input as an input image. From this input image, the image processing apparatus 11 generates an image corresponding to an image compliant with the xvYCC standard, that is, an output image having an original color reproduction range for color information.

画像処理装置１１は、クラス分類部２１、係数読み出し部２２、データ生成部２３、表示制御部２４、及び表示部２５から構成される。 The image processing apparatus 11 includes a class classification unit 21, a coefficient reading unit 22, a data generation unit 23, a display control unit 24, and a display unit 25.

クラス分類部２１及びデータ生成部２３には、入力画像が例えばフレーム単位で供給される。 An input image is supplied to the class classification unit 21 and the data generation unit 23, for example, in units of frames.

クラス分類部２１は、供給された入力画像を用いて、これから生成しようとする出力画像を構成する画素（現段階では存在しないため、仮想的に想定される画素）（以下、生成画素と称する）を、後述するように、各クラスタップの特性（例えば、輝度値）に基づいて複数のクラスのうちの何れかにクラス分けするクラス分類を行う。 The class classification unit 21 uses the supplied input image, and constitutes an output image to be generated from now on (a pixel that is virtually assumed since it does not exist at this stage) (hereinafter referred to as a generated pixel) As described later, class classification is performed to classify each of the plurality of classes into one of a plurality of classes based on the characteristics (for example, luminance value) of each class tap.

クラス分類部２１は、このクラス分類の結果としての生成画素のクラス値（以下、クラス値classと称する）を係数読み出し部２２に供給する。 The class classification unit 21 supplies the coefficient reading unit 22 with the class value of the generated pixel (hereinafter referred to as class value class) as a result of this class classification.

係数読み出し部２２は、生成画素のクラス値classから定まる変換係数を保持している。係数読み出し部２２は、保持している変換係数のうち、クラス分類部２１から供給されたクラス値classから定まる変換係数を読み出してデータ生成部２３に供給する。 The coefficient reading unit 22 holds a conversion coefficient determined from the class value class of the generated pixel. The coefficient reading unit 22 reads a conversion coefficient determined from the class value class supplied from the class classification unit 21 among the held conversion coefficients, and supplies the conversion coefficient to the data generation unit 23.

データ生成部２３は、供給された入力画像及び係数読み出し部２２から供給された変換係数を用いて、生成画素の画素値を予測演算し、その結果得られた画素値を表示制御部２２４に供給する。 The data generation unit 23 predicts the pixel value of the generated pixel using the supplied input image and the conversion coefficient supplied from the coefficient reading unit 22, and supplies the pixel value obtained as a result to the display control unit 224. To do.

なおこの例の場合、本来の色再現範囲を有する出力画像が生成されるので、ここで予測される画素値は、色差値であり、輝度値はそのまま保持されるものとする。また以下において、特に言及する場合を除き、“画素値”は、色差値を意味するものとする。 In the case of this example, an output image having an original color reproduction range is generated. Therefore, the pixel value predicted here is a color difference value, and the luminance value is held as it is. In the following description, “pixel value” means a color difference value unless otherwise specified.

表示制御部２４は、データ生成部２３から供給された画素値を用いて、出力画像を生成し、表示部２５に供給して表示させる。 The display control unit 24 generates an output image using the pixel value supplied from the data generation unit 23, supplies the output image to the display unit 25, and displays the output image.

表示部２５は、xvYCC規格に準拠した色空間で映像信号を表示する機能を有している。表示部２５は、表示制御部２４から供給された出力画像を表示する。 The display unit 25 has a function of displaying a video signal in a color space compliant with the xvYCC standard. The display unit 25 displays the output image supplied from the display control unit 24.

次にクラス分類部２１の構成について説明する。 Next, the configuration of the class classification unit 21 will be described.

クラス分類部２１は、レベル制限判定部３１、クラスタップ抽出部３２、上位階層クラスタップ生成部３３、ADRC（Adaptive Dynamic Range coding）処理部３４、及びクラス値生成部３５から構成されている。 The class classification unit 21 includes a level restriction determination unit 31, a class tap extraction unit 32, an upper layer class tap generation unit 33, an ADRC (Adaptive Dynamic Range coding) processing unit 34, and a class value generation unit 35.

レベル制限判定部３１、クラスタップ抽出部３２、及び上位階層クラスタップ生成部３３のそれぞれには、入力画像が供給される。 An input image is supplied to each of the level restriction determination unit 31, the class tap extraction unit 32, and the upper layer class tap generation unit 33.

レベル制限判定部３１は、入力画像を構成するある画素に注目し、その注目画素の画素値（この例の場合、色差値）がレベル制限されているか否かを判定し、その判定結果を、クラス値生成部３５に供給する。 The level restriction determination unit 31 pays attention to a certain pixel constituting the input image, determines whether or not the pixel value of the target pixel (in this example, the color difference value) is level limited, and the determination result is This is supplied to the class value generation unit 35.

この例の場合、レベル制限判定部３１は、注目画素の画素値がレベル制限されているか否かの判定結果に基づいて、レベル制限情報をクラス化し、そのクラス値（以下、クラス値pclassと称する）を、クラス値生成部３５に供給する。 In this example, the level restriction determination unit 31 classifies the level restriction information based on the determination result of whether or not the pixel value of the pixel of interest is level restricted, and class value thereof (hereinafter referred to as a class value pclass). ) Is supplied to the class value generation unit 35.

具体的には、レベル制限判定部３１は、注目画素の画素値がレベル制限の下限値（“１６”）であるか若しくは上限値（“２４０”）であるか、又はそれ以外の値（“１７”乃至“２３９”）であるか否かを判定する。 Specifically, the level restriction determination unit 31 determines whether the pixel value of the target pixel is the lower limit value (“16”) of the level restriction, the upper limit value (“240”), or other values (“ 17 "to" 239 ").

レベル制限判定部３１は、その判定結果を示すクラス値pclass（例えば、注目画素が、下限値にレベル制限されていることを示すクラス値pclass（例えば、２）、上限値にレベル制限されていることを示すクラス値pclass（例えば、１）、又は上限値若しくは下限値以外の値であってレベル制限されていないことを示すクラス値pclass）（例えば、３））を、クラス値生成部３５に供給する。 The level restriction determination unit 31 is limited to a class value pclass indicating the determination result (for example, a class value pclass (for example, 2) indicating that the target pixel is level-restricted to a lower limit value) and an upper limit value. Class value pclass (for example, 1), or a class value pclass (for example, 3) that is a value other than the upper limit value or the lower limit value and is not level-restricted) (for example, 3)). Supply.

クラスタップ抽出部３２は、入力画像から、注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補（以下、クラスタップ候補と称する）として抽出する。 The class tap extraction unit 32 extracts a pixel of interest and a pixel having a predetermined positional relationship with the pixel of interest from the input image as class tap candidates (hereinafter referred to as class tap candidates).

この例の場合、図３に示すように、図中、黒丸で示されている注目画素を中心とする３×３の画素の合計９個の画素がクラスタップ候補として抽出される。 In the case of this example, as shown in FIG. 3, a total of nine pixels of 3 × 3 pixels centering on the target pixel indicated by a black circle in the drawing are extracted as class tap candidates.

クラスタップ抽出部３２は、出力画像上の、入力画像における注目画素の位置と同じ位置にある生成画素について、抽出したクラスタップ候補を用いてADRC処理によるクラス化が可能であるか否かを判定し、その判定結果を示すフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。 The class tap extraction unit 32 determines whether the generated pixel at the same position as the target pixel position in the input image on the output image can be classified by ADRC processing using the extracted class tap candidate. Then, a flag indicating the determination result is supplied to the ADRC processing unit 34 and the class value generation unit 35.

この例の場合、クラスタップ抽出部３２は、抽出したクラスタップ候補の全ての画素の画素値がレベル制限されている（例えば、下限値又は上限値である）か否かを判定する。 In the case of this example, the class tap extraction unit 32 determines whether or not the pixel values of all the extracted class tap candidates are level-limited (for example, a lower limit value or an upper limit value).

クラスタップ抽出部３２は、抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値ではないと判定した場合、則ちそれ以外の値の画素値が少なくとも1個含まれている場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化が可能であるとして、フラグの値を０とする。 When the class tap extraction unit 32 determines that the pixel values of all the extracted class tap candidates are not the lower limit value or the upper limit value, that is, when at least one pixel value of any other value is included. Assuming that the generated pixels can be classified by ADRC processing using class tap candidates, the value of the flag is set to 0.

クラスタップ抽出部３２はまた、抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値である場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化ができないものとして、全ての画素値が上限値であるとき、フラグの値を１とし、全ての画素の画素値が下限値であるとき、フラグの値を２とする。 The class tap extraction unit 32 also assumes that the generated pixels cannot be classified by ADRC processing using the class tap candidate when the pixel values of all the extracted class tap candidates are the lower limit value or the upper limit value. When the pixel value is the upper limit value, the flag value is 1, and when the pixel values of all the pixels are the lower limit value, the flag value is 2.

クラスタップ候補の全ての画素の画素値が上限値又は下限値である場合、その画素値はレベル制限されている可能性があり、その場合その値は本来の画素値でない。則ち、空間的な画像情報が欠落しているので、そのクラスタップ候補を用いたADRC処理による生成画素のクラス値aclassは、ADRC処理による生成画素のクラスを適切に表していない。 If the pixel values of all the pixels of the class tap candidate are the upper limit value or the lower limit value, the pixel value may be limited in level, and in that case, the value is not the original pixel value. In other words, since spatial image information is missing, the class value aclass of the generated pixel by ADRC processing using the class tap candidate does not appropriately represent the class of the generated pixel by ADRC processing.

そこで抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値である場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化ができないものとする。 Therefore, if the pixel values of all the extracted class tap candidates are the lower limit value or the upper limit value, the generated pixels cannot be classified by ADRC processing using the class tap candidates.

クラスタップ抽出部３２は、ADRC処理部３４からの要求に応じてクラスタップ候補を、ADRC処理部３４に供給する。 The class tap extraction unit 32 supplies class tap candidates to the ADRC processing unit 34 in response to a request from the ADRC processing unit 34.

上位階層クラスタップ生成部３３は、入力画像から、注目画素及びその注目画素と所定の位置関係にある画素を抽出するとともに、それらから、上位階層のクラスタップとしての縮小画像を生成する。なおクラスタップ候補、則ち本来注目しているクラスタップを、注目階層クラスタップとも称するものとする。 The upper layer class tap generation unit 33 extracts a pixel of interest and a pixel having a predetermined positional relationship with the pixel of interest from the input image, and generates a reduced image as a class tap of an upper layer from them. A class tap candidate, that is, a class tap that is originally focused on is also referred to as a focused hierarchy class tap.

この例の場合、図４の左側に示すように、図中、黒丸で示されている注目画素を中心とする９×９の画素の合計８１個の画素が抽出され、図中点線で囲われている３×３の画素毎にそれらの画素の画素値の平均値が求められる。則ち図４の右側に示すように、その平均値を画素値とする３×３画素の縮小画像が生成される。また、３×３画素の平均値ではなく、重みつき平均などを用いて縮小画像を生成することもできる。
In the case of this example, as shown on the left side of FIG. 4, a total of 81 pixels of 9 × 9 pixels centering on the pixel of interest indicated by a black circle in the figure are extracted and surrounded by a dotted line in the figure. For each 3 × 3 pixel, the average value of the pixel values of these pixels is obtained. That is, as shown on the right side of FIG. 4, a reduced image of 3 × 3 pixels having the average value as the pixel value is generated. In addition, a reduced image can be generated using a weighted average instead of the average value of 3 × 3 pixels.

上位階層クラスタップ生成部３３は、ADRC処理部３４からの要求に応じて生成した縮小画像を、ADRC処理部３４に供給する。 The upper layer class tap generation unit 33 supplies the reduced image generated in response to the request from the ADRC processing unit 34 to the ADRC processing unit 34.

ADRC処理部３４は、クラスタップ抽出部３２から供給されたフラグの値に応じて、クラスタップ抽出部３２からのクラスタップ候補又は上位階層クラスタップ生成部３３からの縮小画像をクラスタップとして、それにADRC処理を施して生成画素をクラス分類し、その結果としての生成画素のクラスを示すクラス値（以下、クラス値aclassと称する）を、クラス値生成部３５に供給する。 The ADRC processing unit 34 uses the class tap candidate from the class tap extraction unit 32 or the reduced image from the upper layer class tap generation unit 33 as a class tap according to the value of the flag supplied from the class tap extraction unit 32. The generated pixels are classified by performing ADRC processing, and a class value indicating the generated pixel class (hereinafter referred to as a class value aclass) is supplied to the class value generating unit 35.

例えば、ADRC処理部３４は、クラスタップに１ビットADRC処理を施す。則ち、クラスタップを構成する画素の画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）が、クラスタップを構成する画素の集合の局所的なダイナミックレンジとされる。このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素の画素値が１ビットに再量子化される。つまり、クラスタップを構成する各画素の画素値から最小値MINが減算され、その減算値がDR/2で除算（量子化）される。 For example, the ADRC processing unit 34 performs 1-bit ADRC processing on the class tap. That is, the difference DR (DR = MAX−MIN) between the maximum value MAX and the minimum value MIN of the pixels constituting the class tap is the local dynamic range of the set of pixels constituting the class tap. . Based on this dynamic range DR, the pixel values of the pixels constituting the class tap are requantized to 1 bit. That is, the minimum value MIN is subtracted from the pixel value of each pixel constituting the class tap, and the subtracted value is divided (quantized) by DR / 2.

そして、ADRC処理部３４は、クラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列であるクラス値aclassをクラス値生成部３５に出力する。 Then, the ADRC processing unit 34 outputs to the class value generating unit 35 a class value aclass that is a bit string in which pixel values of 1-bit pixels constituting the class tap are arranged in a predetermined order.

この例の場合、クラスタップは３×３の９個の画素であるので、ADRC処理部３４からクラス値生成部３５には、９ビットのクラス値aclass（１乃至512）が供給される。 In this example, since the class tap is 9 pixels of 3 × 3, the 9-bit class value aclass (1 to 512) is supplied from the ADRC processing unit 34 to the class value generation unit 35.

クラス値生成部３５は、レベル制限判定部３１から供給された注目画素のレベル制限情報のクラス値pclass、クラスタップ抽出部３２から供給されたフラグ、及びADRC処理部３４から供給されたADRC処理の結果としての生成画素のクラス値aclassを統合して、１つのクラス値classを生成し、それを係数読み出し部２２に供給する。 The class value generation unit 35 includes the class value pclass of the level restriction information of the pixel of interest supplied from the level restriction determination unit 31, the flag supplied from the class tap extraction unit 32, and the ADRC processing supplied from the ADRC processing unit 34. The resulting class values aclass of the generated pixels are integrated to generate one class value class, which is supplied to the coefficient reading unit 22.

次にデータ生成部２３の構成例について説明する。 Next, a configuration example of the data generation unit 23 will be described.

データ生成部２３は、予測タップ抽出部４１及び演算部４２から構成される。 The data generation unit 23 includes a prediction tap extraction unit 41 and a calculation unit 42.

予測タップ抽出部４１は、供給された入力画像から、注目画素及びその注目画素と所定の位置関係にある画素を、生成画素の画素値を予測するために用いられる予測タップとして抽出する。予測タップ抽出部４１は、抽出した予測タップを演算部４２に供給する。 The prediction tap extraction unit 41 extracts a target pixel and a pixel having a predetermined positional relationship with the target pixel from the supplied input image as a prediction tap used to predict the pixel value of the generated pixel. The prediction tap extraction unit 41 supplies the extracted prediction tap to the calculation unit 42.

この例の場合、図５に示すように、図中、黒丸で示されている注目画素を中心とする９×９の画素の合計８１個の画素が、予測タップとして抽出される。 In the case of this example, as shown in FIG. 5, a total of 81 pixels of 9 × 9 pixels centering on the pixel of interest indicated by a black circle in the drawing are extracted as prediction taps.

演算部４２は、予測タップ抽出部４１から供給された予測タップを構成する画素の画素値に、係数読み出し部２２から供給された変換係数を乗算して、生成画素の画素値を予測演算する。演算部４２は、予測演算により得られた生成画素の画素値を表示制御部２４に供給する。 The computing unit 42 predicts the pixel value of the generated pixel by multiplying the pixel value of the pixel constituting the prediction tap supplied from the prediction tap extraction unit 41 by the transform coefficient supplied from the coefficient reading unit 22. The calculation unit 42 supplies the display control unit 24 with the pixel value of the generated pixel obtained by the prediction calculation.

次に、画像処理装置１１における画像生成処理を、図６のフローチャートを参照して説明する。 Next, image generation processing in the image processing apparatus 11 will be described with reference to the flowchart of FIG.

ステップＳ１１において、クラス分類部２１は、入力画像から注目画素を決定し、ステップＳ１２において、注目画素の画素値（この例の場合、色差値）を取得する。 In step S11, the class classification unit 21 determines a target pixel from the input image, and in step S12, acquires a pixel value of the target pixel (in this example, a color difference value).

ステップＳ１３において、クラス分類部２１は、クラス分類処理を実行する。このクラス分類処理を、図７のフローチャートを参照して説明する。 In step S13, the class classification unit 21 executes a class classification process. This class classification process will be described with reference to the flowchart of FIG.

ステップＳ２１において、クラス分類部２１のレベル制限判定部３１は、注目画素のレベル制限情報をクラス化する。 In step S21, the level restriction determination unit 31 of the class classification unit 21 classifies the level restriction information of the target pixel.

具体的には上述したように、レベル制限判定部３１は、注目画素の画素値が下限値（“１６”）であるか若しくは上限値（“２４０”）であるか、又はそれ以外の値（“１７”乃至“２３９”）であるか否かを判定する。 Specifically, as described above, the level restriction determination unit 31 determines whether the pixel value of the target pixel is the lower limit value (“16”), the upper limit value (“240”), or any other value ( It is determined whether it is “17” to “239”).

レベル制限判定部３１は、その判定結果に基づいて、画素値が“１６”である場合、クラス値pclassを、注目画素が下限値にレベル制限されていることを示す２とし、画素値が“２４０”である場合、クラス値pclassを、注目画素が上限値にレベル制限されていることを示す１とし、画素値が“１７”乃至“２３９”の何れかの値である場合、注目画素がレベル制限されていないことを示す０とする。 When the pixel value is “16” based on the determination result, the level restriction determination unit 31 sets the class value pclass to 2 indicating that the target pixel is restricted to the lower limit value, and the pixel value is “ When the pixel value is 240 ”, the class value pclass is set to 1 indicating that the target pixel is limited to the upper limit value. When the pixel value is any one of“ 17 ”to“ 239 ”, the target pixel is It is set to 0 indicating that the level is not limited.

レベル制限判定部３１は、このように決定したクラス値pclassを、クラス値生成部３５に供給する。 The level restriction determination unit 31 supplies the class value pclass determined in this way to the class value generation unit 35.

ステップＳ２２において、クラスタップ抽出部３２は、図３に示したように、入力画像から、図６のステップＳ１１で決定された注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補として抽出する。 In step S22, as shown in FIG. 3, the class tap extraction unit 32 classifies the target pixel determined in step S11 of FIG. 6 and a pixel having a predetermined positional relationship with the target pixel from the input image. Extract as a candidate.

ステップＳ２３において、クラスタップ抽出部３２は、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値であるか否かを判定する。 In step S23, the class tap extraction unit 32 determines whether or not the pixel values of all the pixels constituting the class tap candidate are the upper limit value or the lower limit value.

ステップＳ２３で、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値でないと判定された場合、則ち上限値又は下限値でもない値の画素値が少なくとも１つ含まれている場合、クラスタップ抽出部３２は、ステップＳ２４において、フラグの値を、クラスタップ候補を用いてADRC処理により生成画素のクラス化が可能であるとことを示す０とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。 If it is determined in step S23 that the pixel values of all the pixels constituting the class tap candidate are not the upper limit value or the lower limit value, at least one pixel value that is neither the upper limit value nor the lower limit value is included. In this case, in step S24, the class tap extraction unit 32 sets the flag value to 0 indicating that the generated pixel can be classified by ADRC processing using the class tap candidate, and sets the flag to the ADRC processing unit. 34 and the class value generator 35.

次にステップＳ２５において、ADRC処理部３４は、ステップＳ２２で抽出されたクラスタップ候補をクラスタップ抽出部３２から取得し、クラスタップとする。 Next, in step S25, the ADRC processing unit 34 acquires the class tap candidate extracted in step S22 from the class tap extraction unit 32, and sets it as a class tap.

ステップＳ２３で、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値であると判定された場合、ステップＳ２６において、クラスタップ抽出部３２は、クラスタップ候補を構成する全ての画素の画素値が上限値であるか否かを判定する。 If it is determined in step S23 that the pixel values of all the pixels constituting the class tap candidate are the upper limit value or the lower limit value, in step S26, the class tap extraction unit 32 selects all the pixels constituting the class tap candidate. It is determined whether or not the pixel value is an upper limit value.

ステップＳ２６で、全ての画素値が上限値であると判定した場合、クラスタップ抽出部３２は、ステップＳ２７において、フラグの値を、クラスタップ候補の全ての画素の画素値が上限値であるためクラスタップ候補を用いたADRC処理により注目画素のクラス化ができないことを示す１とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。 If it is determined in step S26 that all the pixel values are the upper limit value, the class tap extraction unit 32 sets the flag value in step S27 and the pixel values of all the class tap candidate pixels are the upper limit value. It is set to 1 indicating that the pixel of interest cannot be classified by ADRC processing using class tap candidates, and the flag is supplied to the ADRC processing unit 34 and the class value generation unit 35.

ステップＳ２８において、ADRC処理部３４は、上位階層クラスタップ生成部３３から、図６のステップＳ１１で決定された注目画素等から生成された縮小画像を取得し、その画素をクラスタップとする。 In step S28, the ADRC processing unit 34 acquires a reduced image generated from the target pixel or the like determined in step S11 of FIG. 6 from the upper layer class tap generation unit 33, and sets the pixel as a class tap.

ステップＳ２６で、クラスタップ候補を構成する全ての画素の画素値が上限値ではないと判定された場合、則ち全ての画素値が下限値である場合、ステップＳ２９において、クラスタップ抽出部３２は、フラグの値を、クラスタップ候補の全ての画素の画素値が下限値であるためにクラスタップ候補を用いたADRC処理により注目画素のクラス化ができないことを示す２とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。 If it is determined in step S26 that the pixel values of all the pixels constituting the class tap candidate are not the upper limit value, that is, if all the pixel values are the lower limit value, in step S29, the class tap extraction unit 32 The flag value is set to 2 to indicate that the pixel of interest cannot be classified by ADRC processing using the class tap candidate because the pixel value of all the pixels of the class tap candidate is the lower limit value, and the flag is set to ADRC. The data is supplied to the processing unit 34 and the class value generation unit 35.

ステップＳ３０において、ADRC処理部３４は、上位階層クラスタップ生成部３３から、図６のステップＳ１１で決定された注目画素等から生成された縮小画像を取得し、その画素をクラスタップとする。 In step S30, the ADRC processing unit 34 acquires a reduced image generated from the target pixel or the like determined in step S11 of FIG. 6 from the upper layer class tap generation unit 33, and sets the pixel as a class tap.

ステップＳ２５、ステップＳ２８、又はステップＳ３０でクラスタップを取得したADRC処理部３４は、ステップＳ３１において、クラスタップ抽出部３２から取得したクラスタップ（則ち、クラスタップ候補）、又は上位階層クラスタップ生成部３３から取得したクラスタップ（則ち、縮小画像）にADRC処理を施し、その結果としての生成画素のクラスを示すクラス値aclassを、クラス値生成部３５に供給する。 The ADRC processing unit 34 that has acquired the class tap in step S25, step S28, or step S30 generates the class tap (that is, the class tap candidate) acquired from the class tap extraction unit 32 or the upper layer class tap in step S31. The class tap (that is, the reduced image) acquired from the unit 33 is subjected to ADRC processing, and the class value aclass indicating the class of the generated pixel as a result is supplied to the class value generating unit 35.

ステップＳ３２において、クラス値生成部３５は、レベル制限判定部３１から供給されたクラス値pclass、クラスタップ抽出部３２から供給されたフラグ、及びADRC処理部３４から供給されたクラス値aclassに基づいて、生成画素をクラス分類し、その結果得られるクラス値classを、係数読み出し部２２に供給する。 In step S32, the class value generation unit 35 is based on the class value pclass supplied from the level restriction determination unit 31, the flag supplied from the class tap extraction unit 32, and the class value aclass supplied from the ADRC processing unit 34. The generated pixels are classified, and the class value class obtained as a result is supplied to the coefficient reading unit 22.

具体的には、レベル制限判定部３１から供給されたクラス値pclass（0乃至2）、ADRC処理部３４から供給されたクラス値aclass（1乃至512）、及びクラスタップ抽出部３２から供給されたフラグ（0乃至2）が、その順番に結合されて得られるビット列がクラス値classとされる。クラス値pclassとなり得る値は、0乃至2であり、クラス値aclassとなり得る値は、1乃至512であり、フラグの値となり得る値は、0乃至2であるので、クラス値classの総数は、この例の場合４６０８（＝3×512×3）個となる。 Specifically, the class value pclass (0 to 2) supplied from the level restriction determination unit 31, the class value aclass (1 to 512) supplied from the ADRC processing unit 34, and the class tap extraction unit 32 A bit string obtained by combining the flags (0 to 2) in that order is used as the class value class. The value that can be the class value pclass is 0 to 2, the value that can be the class value aclass is 1 to 512, and the value that can be the flag value is 0 to 2, so the total number of class values class is In this example, 4608 (= 3 × 512 × 3).

このようにクラス分類処理が行われると、処理は図６のステップＳ１４に進み、係数読み出し部２２は、保持している変換係数のうち、クラス分類部２１のクラス値生成部３５から供給されたクラス値classから定まる変換係数を読み出して、読み出した変換係数をデータ生成部２３の演算部４２に供給する。 When the class classification process is performed in this way, the process proceeds to step S14 in FIG. 6, and the coefficient reading unit 22 is supplied from the class value generation unit 35 of the class classification unit 21 among the held conversion coefficients. A conversion coefficient determined from the class value class is read, and the read conversion coefficient is supplied to the calculation unit 42 of the data generation unit 23.

ステップＳ１５において、データ生成部２３の予測タップ抽出部４１は、図５に示したように、入力画像から、ステップＳ１１で決定された注目画素及びその注目画素と所定の位置関係にある画素を、予測タップとして抽出し、抽出した予測タップを演算部４２に供給する。 In step S15, as shown in FIG. 5, the prediction tap extraction unit 41 of the data generation unit 23 extracts, from the input image, the target pixel determined in step S11 and the pixel having a predetermined positional relationship with the target pixel. It extracts as a prediction tap, and supplies the extracted prediction tap to the calculating part 42.

ステップＳ１６において、データ生成部２３の演算部４２は、係数読み出し部２２から供給された変換係数を、予測タップ抽出部４１から供給された予測タップを構成する画素の画素値に乗算して、生成画素の画素値を予測演算する。演算部４２は、予測演算により得られた生成画素の画素値を表示制御部２４に出力する。 In step S 16, the calculation unit 42 of the data generation unit 23 multiplies the conversion coefficient supplied from the coefficient reading unit 22 by the pixel value of the pixel constituting the prediction tap supplied from the prediction tap extraction unit 41 to generate the conversion coefficient. Predicting the pixel value of the pixel. The calculation unit 42 outputs the pixel value of the generated pixel obtained by the prediction calculation to the display control unit 24.

表示制御部２４は、演算部４２から供給された生成画素の画素値を、注目画素の入力画像上の位置と同じ位置にある出力画像の画素の画素値とする。 The display control unit 24 sets the pixel value of the generated pixel supplied from the calculation unit 42 as the pixel value of the pixel of the output image at the same position as the position of the target pixel on the input image.

ステップＳ１７において、画像処理装置１１は、出力画素（例えば、１フレーム分の入力画像）の全ての画素について、予測演算を行ったか否かを判定し、まだ全ての画素について予測演算を行っていないと判定した場合、ステップＳ１１に戻り、次の注目画素が決定されて、その注目画素に対して、ステップＳ１２以降の処理が同様に行われ、その注目画素に対応する生成画素が生成される。 In step S17, the image processing apparatus 11 determines whether or not the prediction calculation has been performed for all the pixels of the output pixels (for example, the input image for one frame), and has not yet performed the prediction calculation for all the pixels. When the determination is made, the process returns to step S11, the next pixel of interest is determined, and the processing from step S12 onward is similarly performed on the pixel of interest, and a generated pixel corresponding to the pixel of interest is generated.

一方、ステップＳ１７において、全ての画素について予測演算を行ったと判定された場合、ステップＳ１８において、表示制御部２４は、生成した生成画素から出力画像を構成し、表示部２５に供給して表示させる。 On the other hand, when it is determined in step S17 that the prediction calculation has been performed for all the pixels, in step S18, the display control unit 24 configures an output image from the generated generated pixels and supplies the output image to the display unit 25 for display. .

このようにして色再現範囲がレベル制限されている入力画像から、本来の色再現範囲を有する出力画像が生成される。 In this way, an output image having the original color reproduction range is generated from the input image whose color reproduction range is limited.

次に、図２の係数読み出し部２２に記憶される変換係数と、データ生成部２３の演算部４２における予測演算の学習について説明する。 Next, learning of the conversion coefficient stored in the coefficient reading unit 22 of FIG. 2 and the prediction calculation in the calculation unit 42 of the data generation unit 23 will be described.

例えば、クラス分類適応処理として、入力画像から予測タップを抽出し、その予測タップと変換係数とを用いて、色再現範囲がレベル制限されていない画素の画素値を所定の予測演算によって求める（予測する）ことを考える。 For example, as a classification adaptation process, a prediction tap is extracted from an input image, and a pixel value of a pixel whose color reproduction range is not level-limited is obtained by a predetermined prediction calculation using the prediction tap and a conversion coefficient (prediction) Think about that.

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、生成画素の画素値ｙは、式（１）に示す線形１次式によって求められることになる。 For example, if a linear primary prediction calculation is adopted as the predetermined prediction calculation, the pixel value y of the generated pixel is obtained by a linear primary expression shown in Expression (1).

式（１）において、ｘ_iは、生成画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像の画素の画素値を表し、ｗ_iは、ｉ番目の入力画像の画素の画素値と乗算されるｉ番目の変換係数を表す。なお、式（１）では、予測タップがＮ個の画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。 In Expression (1), x _i represents the pixel value of the pixel of the i-th input image that constitutes the prediction tap for the pixel value y of the generated pixel, and w _i is the pixel of the pixel of the i-th input image. Represents the i-th transform coefficient multiplied by the value. In Equation (1), the prediction tap is assumed to be composed of N pixels x ₁ , x ₂ ,..., X _N.

ここで、生成画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって生成画素の画素値を求めるようにしてもよい。 Here, the pixel value y of the generated pixel can be obtained not by the linear primary expression shown in Expression (1) but by an expression of a higher-order linear function of the second or higher order. Further, the pixel value of the generated pixel may be obtained not only by a linear function but also by a nonlinear function.

いま、第ｓサンプルの生成画素の画素値の真値をｙ_sと表すとともに、式（１）によって得られるその真値ｙ_sの予測値をｙ_s'と表すと、その予測誤差ｅ_sは、次式（２）で表される。 Now, when the true value of the pixel value of the generated pixel of the sth sample is expressed as y _s and the predicted value of the true value y _s obtained by the equation (1) is expressed as y _s ′, the prediction error _es is Is represented by the following equation (2).

いま、式（２）の予測値ｙ_s'は、式（１）に従って求められるため、式（２）のｙ_s'を、式（１）に従って置き換えると、次式（３）が得られる。 Now, since the predicted value y _s ′ of the equation (2) is obtained according to the equation (1), when the y _s ′ of the equation (2) is replaced according to the equation (1), the following equation (3) is obtained.

式（３）において、ｘ_s,iは、第ｓサンプルの生成画素についての予測タップを構成するｉ番目の画素を表す。 In Expression (3), x _{s, i} represents the i-th pixel constituting the prediction tap for the generated pixel of the s-th sample.

式（３）（又は式（２））の予測誤差ｅ_sを０とする変換係数ｗ_iが、生成画素を予測するのに最適なものとなるが、全ての生成画素について、そのような変換係数ｗ_iを求めることは、一般には困難である。 Equation (3) (or Equation (2)) transform coefficient w _i of the prediction error e _s and 0 of is the optimal generation pixels to predict, for all the generated pixel, such conversion It is generally difficult to obtain the coefficient w _i .

そこで、変換係数ｗ_iが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な変換係数ｗ_iは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。 Therefore, if the least square method is adopted as a standard indicating that the conversion coefficient w _i is optimum, for example, the optimum conversion coefficient w _i is expressed by the square error represented by the following equation (4). It can be obtained by minimizing the sum E.

但し、式（４）において、Ｓは、生成画素ｙ_sと、その生成画素ｙ_sについての予測タップを構成する画素ｘ_s,1，ｘ_s,2，・・・，ｘ_s,Nとのセットのサンプル数（学習用のサンプルの数）を表す。 However, in the expression (4), S represents the generated pixel y _s and the pixels x _{s, 1} , x _{s, 2} ,..., X _{s, N} constituting the prediction tap for the generated pixel y _s . This represents the number of samples in the set (number of samples for learning).

式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを変換係数ｗ_iで偏微分したものを０とするｗ_iによって与えられる。 The minimum value (minimum value) of the sum E of square errors in equation (4) is given by w _i , which is 0 as a result of partial differentiation of the sum E with a conversion coefficient w _i as shown in equation (5).

一方、上述の式（３）を変換係数ｗ_iで偏微分すると、次式（６）が得られる。 On the other hand, when the above equation (3) is partially differentiated by the conversion coefficient w _i , the following equation (6) is obtained.

式（５）及び式（６）から、次式（７）が得られる。 From the equations (5) and (6), the following equation (7) is obtained.

式（７）のｅ_sに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。 To e _s of formula (7), by substituting equation (3), equation (7) can be represented by normal equations shown in Equation (8).

式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、変換係数ｗ_iについて解くことができる。 The normal equation of Expression (8) can be solved for the conversion coefficient w _i by using, for example, a sweeping method (Gauss-Jordan elimination method) or the like.

生成画素の各クラスについて、式（８）の正規方程式を立てて解くことにより、各クラスについて最適な変換係数ｗ_i（ここでは、自乗誤差の総和Ｅを最小にする変換係数ｗ_i）を求めることができる。 For each class of the generated pixel, by solving the normal equations in equation (8), (in this case, the conversion coefficient w _i that minimizes the sum E of square errors) optimal conversion coefficient w _i for each class seek be able to.

図２の演算部４２で、以上のような、各クラスに求められた変換係数ｗ_i、つまりクラスにより定まる変換係数ｗ_iを用いて、式（１）の演算を行うことにより、入力画像から出力画像を得ることができる。 The calculation unit 42 in FIG. 2 performs the calculation of the expression (1) using the conversion coefficient w _i obtained for each class as described above, that is, the conversion coefficient w _i determined by the class, from the input image. An output image can be obtained.

図８は、各クラスについて、式（８）の正規方程式を立てて解くことにより変換係数ｗ_iを求める学習を行い、図２の係数読み出し部２２に記憶される変換係数を生成する学習装置５１の構成例を示している。 FIG. 8 shows a learning apparatus 51 that performs learning for obtaining the conversion coefficient w _i by establishing and solving the normal equation of Expression (8) for each class, and generates the conversion coefficient stored in the coefficient reading unit 22 of FIG. The example of a structure is shown.

学習装置５１は、生徒画像生成部６１、クラス分類部６２、正規方程式生成部６３、及び係数生成部６４から構成される。 The learning device 51 includes a student image generation unit 61, a class classification unit 62, a normal equation generation unit 63, and a coefficient generation unit 64.

この学習装置５１には、変換係数ｗ_iの生成に用いられる、色再現範囲がレベル制限されていない動画（この例の場合、xvYCC規格に準拠した画像）が、教師画像として入力され、生徒画像生成部６１及び正規方程式生成部６３に供給される。 The learning device 51 receives a moving image (in this example, an image compliant with the xvYCC standard), which is used for generating the conversion coefficient w _{i and} whose color reproduction range is not limited in level, as a teacher image, and a student image The data is supplied to the generation unit 61 and the normal equation generation unit 63.

生徒画像生成部６１は、教師画像から、生徒画像としての色再現範囲がレベル制限された画像（この例の場合、ITU-R BT.709規格に準拠した動画）を生成し、クラス分類部６２及び正規方程式生成部６３のそれぞれに供給する。 The student image generation unit 61 generates, from the teacher image, an image in which the color reproduction range as a student image is level-limited (in this example, a moving image conforming to the ITU-R BT.709 standard), and the class classification unit 62 And the normal equation generation unit 63.

例えば、教師画像のダイナミックレンジを正規化し、マトリックス変換を行うとともに、変換後の画像データを、生徒画像のダイナミックレンジに適合させることにより、生徒画像が生成される。 For example, the student image is generated by normalizing the dynamic range of the teacher image, performing matrix conversion, and adapting the converted image data to the dynamic range of the student image.

クラス分類部６２は、生徒画像生成部６１から供給された生徒画像を用いて、色再現範囲がレベル制限されていない画像を構成する生成画素を、複数のクラスのうちの何れかにクラス分けするクラス分類を行う。 The class classification unit 62 uses the student image supplied from the student image generation unit 61 to classify generated pixels constituting an image whose color reproduction range is not level-limited into one of a plurality of classes. Perform classification.

クラス分類部６２は、このクラス分類の結果としての生成画素のクラス値classを正規方程式生成部６３に供給する。

正規方程式生成部６３は、クラス分類部６２から供給される生成画素のクラス値classで示される各クラスについて、式（８）の正規方程式を生成し、係数生成部６４に供給する。 The class classification unit 62 supplies the generated pixel class value class as a result of this class classification to the normal equation generation unit 63.

The normal equation generation unit 63 generates a normal equation of Expression (8) for each class indicated by the class value class of the generated pixel supplied from the class classification unit 62 and supplies the generated normal equation to the coefficient generation unit 64.

係数生成部６４は、正規方程式生成部６３から供給された、各クラスについて生成された正規方程式を解くことにより、各クラスについて、最適な変換係数ｗ_iを求めて出力する。 The coefficient generation unit 64 finds and outputs an optimum conversion coefficient w _i for each class by solving the normal equation generated for each class supplied from the normal equation generation unit 63.

係数生成部６４から出力された変換係数は、例えば図２の係数読み出し部２２に供給されて記憶される。また、係数生成部６４から出力された変換係数がROM（Read Only Memory）などの記録媒体に記録され、記録媒体から他の装置に供給されるようにしてもよい。 The conversion coefficient output from the coefficient generation unit 64 is supplied to and stored in, for example, the coefficient reading unit 22 in FIG. The conversion coefficient output from the coefficient generation unit 64 may be recorded on a recording medium such as a ROM (Read Only Memory) and supplied from the recording medium to another device.

次に、クラス分類部６２の構成例について説明する。クラス分類部６２は、レベル制限判定部７１、クラスタップ抽出部７２、上位階層クラスタップ生成部７３、ADRC処理部７４、及びクラス値生成部７５から構成されている。 Next, a configuration example of the class classification unit 62 will be described. The class classification unit 62 includes a level restriction determination unit 71, a class tap extraction unit 72, an upper layer class tap generation unit 73, an ADRC processing unit 74, and a class value generation unit 75.

レベル制限判定部７１、クラスタップ抽出部７２、及び上位階層クラスタップ生成部７３のそれぞれには、生徒画像生成部６１から生徒画像が供給される。 A student image is supplied from the student image generation unit 61 to each of the level restriction determination unit 71, the class tap extraction unit 72, and the upper layer class tap generation unit 73.

レベル制限判定部７１は、基本的には、図２のレベル制限判定部３１と同様の処理を行う。 The level restriction determination unit 71 basically performs the same processing as the level restriction determination unit 31 in FIG.

則ち、レベル制限判定部７１は、生徒画像を構成するある画素に注目し、その注目画素の画素値（この例の場合、色差値）がレベル制限されているか否かを判定し、その判定結果に基づいてレベル制限情報をクラス化し、そのクラス値pclassを、クラス値生成部７５に供給する。 That is, the level restriction determination unit 71 pays attention to a certain pixel constituting the student image, determines whether or not the pixel value of the target pixel (in this example, the color difference value) is level-limited, and the determination The level restriction information is classified based on the result, and the class value pclass is supplied to the class value generation unit 75.

クラスタップ抽出部７２は、基本的には、図２のクラスタップ抽出部３２と同様の処理を行う。 The class tap extraction unit 72 basically performs the same processing as the class tap extraction unit 32 of FIG.

則ちクラスタップ抽出部７２は、生徒画像から、注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補として抽出する。 That is, the class tap extraction unit 72 extracts a pixel of interest and a pixel having a predetermined positional relationship with the pixel of interest from the student image as class tap candidates.

クラスタップ抽出部７２はまた、抽出したクラスタップ候補を用いたADRC処理により注目画素のクラス化が可能であるか否かを判定し、その判定結果に応じた値を有するフラグを、ADRC処理部７４及びクラス値生成部７５に供給する。 The class tap extraction unit 72 also determines whether or not the pixel of interest can be classified by ADRC processing using the extracted class tap candidates, and sets a flag having a value corresponding to the determination result to the ADRC processing unit. 74 and the class value generator 75.

クラスタップ抽出部７２は更に、ADRC処理部７４からの要求に応じてクラスタップ候補を、ADRC処理部７４に供給する。 The class tap extraction unit 72 further supplies class tap candidates to the ADRC processing unit 74 in response to a request from the ADRC processing unit 74.

上位階層クラスタップ生成部７３は、基本的には、図２の上位階層クラスタップ生成部３３と同様の処理を行う。 The upper layer class tap generation unit 73 basically performs the same processing as the upper layer class tap generation unit 33 of FIG.

則ち上位階層クラスタップ生成部７３は、生徒画像から、注目画素及びその注目画素と所定の位置関係にある画素を抽出するとともに、それらから、上位階層のクラスタップとしての縮小画像を生成する。 That is, the upper layer class tap generation unit 73 extracts a target pixel and a pixel having a predetermined positional relationship with the target pixel from the student image, and generates a reduced image as a class tap of the upper layer from them.

上位階層クラスタップ生成部７３はまた、ADRC処理部７４からの要求に応じてその縮小画像を、ADRC処理部７４に供給する。 The upper layer class tap generation unit 73 also supplies the reduced image to the ADRC processing unit 74 in response to a request from the ADRC processing unit 74.

ADRC処理部７４は、基本的には、図２のADRC処理部３４と同様の処理を行う。 The ADRC processing unit 74 basically performs the same processing as the ADRC processing unit 34 in FIG.

則ちADRC処理部７４は、クラスタップ抽出部７２から供給されたフラグの値に応じて、クラスタップ抽出部７２からクラスタップ候補又は上位階層クラスタップ生成部７３から縮小画像を取得するとともに、それにADRC処理を施して生成画素をクラス分類し、その結果としての生成画素のクラスを示すクラス値aclassを、クラス値生成部７５に供給する。 That is, the ADRC processing unit 74 acquires a reduced image from the class tap candidate or the upper layer class tap generation unit 73 from the class tap extraction unit 72 according to the value of the flag supplied from the class tap extraction unit 72, and ADRC processing is performed to classify the generated pixels, and a class value aclass indicating the resulting generated pixel class is supplied to the class value generating unit 75.

クラス値生成部７５は、基本的には、図２のクラス値生成部３５と同様の処理を行う。 The class value generation unit 75 basically performs the same processing as the class value generation unit 35 of FIG.

則ちクラス値生成部７５は、レベル制限判定部７１から供給された注目画素のレベル制限情報のクラス値pclass、クラスタップ抽出部７２から供給されたフラグ、及びADRC処理部７４から供給されたADRC処理による生成画素のクラス値aclassを統合して、１つのクラス値classを生成し、それを正規方程式生成部６３に供給する。 That is, the class value generation unit 75 includes the class value pclass of the level restriction information of the pixel of interest supplied from the level restriction determination unit 71, the flag supplied from the class tap extraction unit 72, and the ADRC supplied from the ADRC processing unit 74. The class values aclass of the generated pixels by the processing are integrated to generate one class value class, which is supplied to the normal equation generation unit 63.

次に、正規方程式生成部６３の構成例について説明する。正規方程式生成部６３は、予測タップ抽出部８１及び足し込み部８２から構成される。 Next, a configuration example of the normal equation generation unit 63 will be described. The normal equation generation unit 63 includes a prediction tap extraction unit 81 and an addition unit 82.

予測タップ抽出部８１は、図２のデータ生成部２３の予測タップ抽出部４１と同様に、生徒画像生成部６１から供給された生徒画像から予測タップを抽出し、抽出した予測タップを足し込み部８２に供給する。 Like the prediction tap extraction unit 41 of the data generation unit 23 in FIG. 2, the prediction tap extraction unit 81 extracts a prediction tap from the student image supplied from the student image generation unit 61 and adds the extracted prediction taps. 82.

足し込み部８２は、供給された教師画像から、教師画像の、注目画素と同じ位置にある画素を順次、教師画素として抽出する。足し込み部８２はまた、抽出した教師画素と、予測タップ抽出部８１から供給された予測タップとの対応をとりながら、教師画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類部６２のクラス値生成部７５からのクラス値classに従って行う。 The adding unit 82 sequentially extracts pixels at the same position as the target pixel in the teacher image as teacher pixels from the supplied teacher image. The adding unit 82 also classifies the addition of the teacher pixel and the pixels constituting the prediction tap while classifying the extracted teacher pixel and the prediction tap supplied from the prediction tap extraction unit 81. This is performed according to the class value class from the class value generation unit 75 of the classification unit 62.

則ち、足し込み部８２は、教師画像の教師画素の画素値ｙ_sを抽出する。また、足し込み部８２には、予測タップ（を構成する生徒画像の画素の画素値）ｘ_s,i、及び教師画素（正確には、教師画素として生成される生成画像）のクラスを表すクラス値classが供給される。 That is, the adding unit 82 extracts the pixel value y _s of the teacher pixel of the teacher image. The addition unit 82 includes a class representing a class of prediction taps (pixel values of pixels of student images) x _{s, i} and teacher pixels (more precisely, generated images generated as teacher pixels). The value class is supplied.

そして、足し込み部８２は、クラス値classに対応する各クラスについて、予測タップ（生徒画像の画素の画素値）ｘ_s,iを用い、式（８）の左辺の行列における生徒画像の画素の画素値同士の乗算（ｘ_s,iｘ_s,i）、及びその乗算された値の総和の演算に相当する演算を行う。 Then, the adding unit 82 uses the prediction tap (pixel value of the pixel of the student image) x _{s, i} for each class corresponding to the class value class, and uses the prediction tap (the pixel value of the pixel of the student image) _{xs, i} An operation corresponding to the multiplication of the pixel values (x _{s, i} x _{s, i} ) and the sum of the multiplied values is performed.

更に、足し込み部８２は、各クラスについて、予測タップの画素値ｘ_s,i及び教師画素の画素値ｙ_sを用い、式（８）の右辺のベクトルにおける予測タップの画素値ｘ_s,i及び教師画素の画素値ｙ_sの乗算（ｘ_s,iｙ_s）、並びにその乗算された値の総和の演算に相当する演算を行う。 Furthermore, the adding unit 82 uses the pixel value x _{s, i} of the prediction tap and the pixel value y _s of the teacher pixel for each class, and uses the pixel value x _{s, i} of the prediction tap in the vector on the right side of Equation (8). Then, an operation corresponding to the multiplication (x _{s, i} y _s ) of the pixel value y _s of the teacher pixel and the sum of the multiplied values is performed.

則ち、足し込み部８２は、前回、教師画素の画素値について求められた式（８）における左辺の行列のコンポーネント（Σｘ_s,iｘ_s,i）と、右辺のベクトルのコンポーネント（Σｘ_s,iｙ_s）を記憶しており、その行列のコンポーネント（Σｘ_s,iｘ_s,i）又はベクトルのコンポーネント（Σｘ_s,iｙ_s）に対して、新たな教師画素の画素値について、その教師画素の画素値ｙ_s+1及び予測タップの画素の画素値ｘ_s+1,iを用いて計算される、対応するコンポーネントｘ_s+1,iｘ_s+1,i又はｘ_s+1,iｙ_s+1を足し込む（式（８）のΣで表される加算を行う）。 In other words, the adding unit 82 uses the left-side matrix component (Σx _{s, i} x _{s, i} ) and the right-side vector component (Σx _s ) in Expression (8) previously obtained for the pixel value of the teacher pixel. _{, i} y _s ) for the matrix component (Σx _{s, i} x _{s, i} ) or vector component (Σx _{s, i} y _s ), The corresponding component x _{s + 1, i} x _{s + 1, i} or x _{s +} is calculated using the pixel value y _{s + 1 of} the teacher pixel and the pixel value x _{s + 1, i} of the pixel of the prediction tap. _{1, i} y _{s + 1} is added (addition represented by Σ in equation (8) is performed).

そして、足し込み部８２は、教師画像の全ての画素を教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部６４に供給する。 Then, the addition unit 82 establishes (generates) the normal equation shown in Expression (8) for each class by performing the above-described addition using all the pixels of the teacher image as the teacher pixels. The normal equation is supplied to the coefficient generation unit 64.

次に、図９のフローチャートを参照して、学習装置５１による学習処理について説明する。この学習処理は、学習装置５１に、教師画像が供給されると開始される。 Next, the learning process by the learning device 51 will be described with reference to the flowchart of FIG. This learning process is started when a teacher image is supplied to the learning device 51.

ステップＳ５１において、学習装置５１は、生徒画像生成部６１により生成された生徒画像から注目画素を決定し、ステップＳ５２において、注目画素の画素値（この例の場合、色差値）を取得する。 In step S51, the learning device 51 determines a pixel of interest from the student image generated by the student image generation unit 61, and acquires the pixel value (color difference value in this example) of the pixel of interest in step S52.

ステップＳ５３において、クラス分類部６２は、クラス分類処理を実行する。このクラス分類処理では、基本的に図７のフローチャートを参照して説明したクラス分類処理と同様の処理が行われるので、その説明を省略する。 In step S53, the class classification unit 62 executes class classification processing. In this class classification process, basically the same process as the class classification process described with reference to the flowchart of FIG. 7 is performed, and thus the description thereof is omitted.

ステップＳ５４において、正規方程式生成部６３の予測タップ抽出部８１は、供給された生徒画像から、予測タップを抽出し、抽出した予測タップを足し込み部８２に供給する。 In step S 54, the prediction tap extraction unit 81 of the normal equation generation unit 63 extracts a prediction tap from the supplied student image, and supplies the extracted prediction tap to the addition unit 82.

ステップＳ５５において、足し込み部８２は、供給された教師画像から、注目画素と同じ位置にある教師画素を抽出する。足し込み部８２は、抽出した教師画素と、予測タップ抽出部８１から供給された予測タップとの対応をとりながら、教師画素と予測タップを構成する画素とを対象として、クラス分類部６２のクラス値生成部７５から供給されたクラス値classに対応するクラスについて、式（８）により示される正規方程式への足し込みを行う。 In step S55, the adding unit 82 extracts a teacher pixel at the same position as the target pixel from the supplied teacher image. The adding unit 82 sets the class of the class classification unit 62 for the teacher pixel and the pixels constituting the prediction tap while matching the extracted teacher pixel with the prediction tap supplied from the prediction tap extraction unit 81. The class corresponding to the class value class supplied from the value generation unit 75 is added to the normal equation represented by the equation (8).

ステップＳ５６において、学習装置５１は、教師画像の全ての画素について、足し込みを行ったか否かを判定し、まだ全ての画素について足し込みを行っていないと判定された場合、ステップＳ５１に戻り、それ以降の処理が同様に行われる。 In step S56, the learning apparatus 51 determines whether or not the addition has been performed for all the pixels of the teacher image. If it is determined that the addition has not been performed for all the pixels, the learning apparatus 51 returns to step S51. Subsequent processing is similarly performed.

則ち、学習装置５１は、生徒画像の画素のうち、まだ注目画素とされていない画素を新たな注目画素とし、ステップＳ５２以降の処理が同様に行う。 In other words, the learning device 51 sets a pixel that has not yet been selected as a pixel of interest among the pixels of the student image as a new pixel of interest, and similarly performs the processing from step S52.

一方、ステップＳ５６で、全ての画素について足し込みを行ったと判定された場合、正規方程式生成部６３の足し込み部８２は、ステップＳ５７において、各クラスについて立てた正規方程式を、係数生成部６４に供給する。係数生成部６４は、正規方程式生成部６３の足し込み部８２から供給された、各クラスについての正規方程式を、例えば、掃き出し法によって解くことにより各クラスについての変換係数ｗ_iを求めて出力し、学習処理は終了する。 On the other hand, if it is determined in step S56 that the addition has been performed for all the pixels, the addition unit 82 of the normal equation generation unit 63 sends the normal equation established for each class to the coefficient generation unit 64 in step S57. Supply. The coefficient generation unit 64 obtains and outputs the conversion coefficient w _i for each class by solving the normal equation for each class supplied from the addition unit 82 of the normal equation generation unit 63 by, for example, a sweeping method. The learning process ends.

このようにして図２の係数読み出し部２２に記憶される、生成画素のクラスから定まる変換係数が生成される。 In this way, conversion coefficients determined from the class of generated pixels stored in the coefficient reading unit 22 of FIG. 2 are generated.

上述した画像生成処理及び学習処理により、色再現範囲がレベル制限されている画像から、本来の色再現範囲を有する画像が生成される。 By the image generation process and the learning process described above, an image having the original color reproduction range is generated from the image whose color reproduction range is limited.

以上のように、注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて生成画素のクラス値（クラス値class）を生成できるようにしたので、例えば上限値又は下限値の注目画素に対応する生成画素の画素値を、適切に予測することができる。 As described above, since the class value (class value class) of the generated pixel including the class value (class value pclass) indicating the class of the level restriction information of the target pixel can be generated, for example, the upper limit value or the lower limit value It is possible to appropriately predict the pixel value of the generated pixel corresponding to the target pixel.

例えば変換係数の学習において、注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて得られた生成画素のクラス毎に、正規方程式（式（８））への足し込みが行われ、生成画素の生成時において注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて生成画素がクラス分類されるので、生成画像の生成時に、生成画素が、注目画素のレベル制限されている場合のクラスに分類されることによって、適切な変換係数が読み出され、その変換係数によって予測演算が行われる。則ち上限値又は下限値を超える方向で生成画素の画素値が予測演算される。 For example, in the conversion coefficient learning, for each generated pixel class including the class value (class value pclass) indicating the class of the level restriction information of the target pixel, addition to the normal equation (formula (8)) is performed. The generated pixel is classified into classes including the class value (class value pclass) indicating the level restriction information class of the target pixel at the time of generating the generated pixel. By classifying into a class when the level is limited, an appropriate conversion coefficient is read out, and a prediction calculation is performed using the conversion coefficient. That is, the pixel value of the generated pixel is predicted and calculated in a direction exceeding the upper limit value or the lower limit value.

またクラスタップ候補の全ての画素の画素値が上限値又は下限値である場合、上位階層クラスタップを用いてADRC処理による生成画素のクラス分類を行うようにしたので、生成画素を適切にクラス分類することができる。 In addition, when the pixel values of all the class tap candidates are the upper limit value or the lower limit value, the generated pixels are classified by ADRC processing using the upper layer class tap, so the generated pixels are appropriately classified. can do.

なお上述した学習処理では、レベル制限されていない画像を教師画像としたが、色目を変化させたくない場合や、中間レベルの階調を優先して高いレベルの階調を捨てたい場合は、教師画像に対して一定のレベル制限をかけることもできる。 In the learning process described above, an image that is not level-limited is used as a teacher image. However, if you do not want to change the color, or if you want to discard the high-level gradation by giving priority to the intermediate-level gradation, A certain level restriction can be applied to the image.

また以上においては、レベル制限された画像全体がレベル制限されていない画像に変換される場合を例として説明したが、入力画像の所定の範囲をユーザが指定して、その範囲についてのみレベル制限されていない画像に変換されるようにすることもできる。 In the above description, the case where the entire level-restricted image is converted into an image that is not level-restricted has been described as an example. However, the user designates a predetermined range of the input image and the level is limited only for that range. It can also be converted to a non-image.

また以上においては、動画が入力画像である場合を例として説明したが、静止画を入力画像とすることもできる。 In the above description, the case where the moving image is the input image has been described as an example. However, a still image can be used as the input image.

また以上においては、上限値及び下限値の2個の基準値でレベル制限されている場合を例として説明したが、1個の基準値又は3個以上の基準値でレベル制限されている場合においても本発明を適用することができる。 Also, in the above, the case where the level is limited by two reference values of the upper limit value and the lower limit value has been described as an example, but in the case where the level is limited by one reference value or three or more reference values, The present invention can also be applied.

また以上においては、色情報についてレベル制限されている場合について説明したが、輝度情報についてレベル制限されている場合においても、本発明を適用することができる。 In the above description, the case where the level of color information is limited has been described. However, the present invention can be applied to the case where the level of luminance information is limited.

例えば図１０の上段に示すように、撮像装置のCCDの受光量以上の情報が切り捨てられた映像に対して、本発明を適用することで、図１０の下段が示すように、受光量が拡大された映像を生成することができる。 For example, as shown in the upper part of FIG. 10, by applying the present invention to an image in which information equal to or greater than the amount of light received by the CCD of the imaging device is cut, the amount of received light is increased as shown in the lower part of FIG. Generated video can be generated.

なお図１０は、ある風景を撮像した場合のダイナミックレンジ領域のヒストグラムイメージである。 FIG. 10 is a histogram image of the dynamic range region when a certain landscape is captured.

また以上においては、色差値が予測演算される場合において、上位階層クラスタップが、入力画像の画素の色差値から生成される場合を例として説明したが、輝度値から生成されるようにすることもできる。則ち予測演算される情報と異なるプレーンを用いて上位階層クラスタップを生成することもできる。 In the above description, when the color difference value is predicted and calculated, the upper layer class tap is generated from the color difference value of the pixel of the input image as an example. However, the color difference value is generated from the luminance value. You can also. That is, it is possible to generate an upper layer class tap using a different plane from information to be predicted and calculated.

また図２の例では、全ての注目画素に対して上位階層クラスタップが生成されるようにしたが、例えば図７のステップＳ２３で全ての画素値が上限値又は下限値であると判定されたときに上位階層クラスタップが生成されるようにすることもできる。 In the example of FIG. 2, upper layer class taps are generated for all the target pixels. For example, in step S 23 of FIG. 7, all pixel values are determined to be upper limit values or lower limit values. Sometimes higher layer class taps can be generated.

また図７の例では、全てのクラスタップ候補について、クラスタップ候補の全ての画素の画素値が上限値又は下限値であるか否かの判定がなされたが（ステップＳ２３）、クラスタップ候補の全ての画素の画素値が同じ値である場合についてのみ、その判定を行うこともできる。この場合の、クラス分類処理を、図１１のフローチャートを参照して説明する。 Further, in the example of FIG. 7, for all class tap candidates, it is determined whether or not the pixel values of all the pixels of the class tap candidate are the upper limit value or the lower limit value (step S23). The determination can be made only when the pixel values of all the pixels are the same value. The class classification process in this case will be described with reference to the flowchart of FIG.

ステップＳ１０１及びステップＳ１０２においては、図７のステップＳ２１及びステップＳ２２における場合と同様の処理が行われるので、その説明は省略する。 In step S101 and step S102, the same processing as in step S21 and step S22 of FIG. 7 is performed, and thus the description thereof is omitted.

ステップＳ１０３において、クラス分類部２１のクラスタップ抽出部３２は、クラスタップ候補の全ての画素の画素値が同じであるか否かを判定し、同じであると判定した場合、ステップＳ１０４に進む。 In step S103, the class tap extraction unit 32 of the class classification unit 21 determines whether or not the pixel values of all the pixels of the class tap candidate are the same. If it is determined that they are the same, the process proceeds to step S104.

ステップＳ１０４において、クラスタップ抽出部３２は、クラスタップ候補の全ての画素の画素値が上限値又は下限値であるか否かを判定する。 In step S104, the class tap extraction unit 32 determines whether the pixel values of all the pixels of the class tap candidate are the upper limit value or the lower limit value.

ステップＳ１０３で、クラスタップ候補の全ての画素の画素値が同じではないと判定されたとき、又はステップＳ１０４で、クラスタップ候補の全ての画素が上限値又は下限値ではないと判定された場合（則ちクラスタップ候補の全ての画素の画素値が同じであるが“１６”又は“２４０”でない場合）、ステップＳ１０５に進む。 When it is determined in step S103 that the pixel values of all the class tap candidates are not the same, or when it is determined in step S104 that all the pixels of the class tap candidate are not the upper limit value or the lower limit value ( That is, when the pixel values of all the class tap candidates are the same but are not “16” or “240”), the process proceeds to step S105.

ステップＳ１０５乃至ステップＳ１１３においては、図７のステップＳ２４乃至ステップＳ３２の処理と同様の処理が行われるので、その説明は省略する。 In step S105 to step S113, the same processing as the processing of step S24 to step S32 in FIG. 7 is performed, and the description thereof is omitted.

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 12 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。 In a computer, a CPU (Central Processing Unit) 501, a ROM 502, and a RAM (Random Access Memory) 503 are connected to each other by a bus 504.

バス５０４には、更に、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。 An input / output interface 505 is further connected to the bus 504. The input / output interface 505 includes an input unit 506 including a keyboard, a mouse, and a microphone, an output unit 507 including a display and a speaker, a recording unit 508 including a hard disk and a non-volatile memory, and a communication unit 509 including a network interface. A drive 510 for driving a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、若しくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、或いは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供される。 The program executed by the computer (CPU 501) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor. It is recorded on a removable medium 511 which is a package medium composed of a memory or the like, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、予めインストールしておくことができる。 The program can be installed in the recording unit 508 via the input / output interface 505 by mounting the removable medium 511 on the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

ITU-R BT.709及びxvYCC規格を説明する図である。It is a figure explaining ITU-R BT.709 and xvYCC standard. 本発明を適用した画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus to which this invention is applied. クラスタップの例を示す図である。It is a figure which shows the example of a class tap. 上位階層クラスタップの生成方法の例を示す図である。It is a figure which shows the example of the production | generation method of an upper hierarchy class tap. 予測タップの例を示す図である。It is a figure which shows the example of a prediction tap. 画像生成処理を説明するフローチャートである。It is a flowchart explaining an image generation process. 図６のステップＳ１３の処理を説明するフローチャートである。It is a flowchart explaining the process of step S13 of FIG. 学習装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of a learning apparatus. 学習処理を説明するフローチャートである。It is a flowchart explaining a learning process. レベル制限の他の例を示す図である。It is a figure which shows the other example of a level restriction | limiting. 図６のステップＳ１３の他の処理を説明する他のフローチャートである。It is another flowchart explaining the other process of step S13 of FIG. コンピュータの構成例を示すブロック図である。It is a block diagram which shows the structural example of a computer.

符号の説明Explanation of symbols

１１画像処理装置，２１クラス分類部，２２係数読み出し部，２３データ生成部，２４表示制御部，２５表示部，３１レベル制限判定部，３２クラスタップ抽出部，３３上位階層クラスタップ生成部，３４ ADRC処理部，３５クラス値生成部，４１予測タップ抽出部，４２演算部，５１学習装置，６１生徒画像生成部，６２クラス分類部，６３正規方程式生成部，６４係数生成部，７１レベル制限判定部，７２クラスタップ抽出部，７３上位階層クラスタップ生成部，７４ ADRC処理部，７５クラス値生成部，８１予測タップ抽出部，８２足し込み部 DESCRIPTION OF SYMBOLS 11 Image processing apparatus, 21 Class classification part, 22 Coefficient reading part, 23 Data generation part, 24 Display control part, 25 Display part, 31 Level restriction | limiting determination part, 32 Class tap extraction part, 33 Higher-order class tap generation part, 34 ADRC processing unit, 35 class value generation unit, 41 prediction tap extraction unit, 42 calculation unit, 51 learning device, 61 student image generation unit, 62 class classification unit, 63 normal equation generation unit, 64 coefficient generation unit, 71 level limit determination Section, 72 class tap extraction section, 73 upper layer class tap generation section, 74 ADRC processing section, 75 class value generation section, 81 prediction tap extraction section, 82 addition section

Claims

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段と、
前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段と、
前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段と
を備え、
前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う
画像処理装置。 In an image processing apparatus that generates an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range,
Using the class tap generated from the plurality of pixels of the input image including the target pixel, the generated pixel generated from the output image at the position corresponding to the target pixel of interest of the input image, A class classification means for classifying into any of a plurality of classes,
A plurality of pixels used for predicting the generated pixel, and a prediction tap extracting unit that extracts a plurality of predetermined pixels of the input image including the target pixel as prediction taps from the input image;
Prediction calculating means for predicting and calculating the pixel value of the generated pixel using the coefficient obtained in advance for the class of the generated pixel by the class classification means and the prediction tap;
First determination means for determining whether a pixel value of the target pixel is level-limited,
The image processing apparatus, wherein the class classification unit performs the class classification including a determination result by the first determination unit.

前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段と、
前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段と、
前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段と
を更に備え、
前記クラス分類手段は、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行う
請求項１に記載の画像処理装置。 Extraction means for extracting a plurality of predetermined pixels of the input image including the target pixel as the target hierarchical class tap from the input image;
A plurality of predetermined pixels of the input image including the target pixel are extracted from the input image, and an upper layer class tap having the same number of pixels as the target layer class tap is generated using pixel values of the pixels. Upper layer class tap generation means;
Second determination means for determining whether or not the pixel values of all pixels constituting the target hierarchy class tap extracted by the extraction means are level-restricted;
The image processing apparatus according to claim 1, wherein the class classification unit performs the class classification using the target layer class tap or the upper layer class tap as a class tap according to a determination result by the second determination unit.

前記クラス分類手段は、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行う
請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the class classification unit performs the class classification further including a determination result by the second determination unit.

前記上位階層クラスタップ生成手段は、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成する
請求項２に記載の画像処理装置。 The upper layer class tap generation means obtains pixel values of a plurality of predetermined pixels of the input image including the extracted target pixel, and calculates an average value of the pixel values for each predetermined pixel, and the result is obtained. The image processing apparatus according to claim 2, wherein the upper layer class tap is generated from a pixel value.

前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、
前記予測演算手段は、前記生成画素の色差値又は輝度値を、予測演算する
請求項１に記載の画像処理装置。 The input image is limited in level within a certain range for color information or luminance information,
The image processing apparatus according to claim 1, wherein the prediction calculation unit performs a prediction calculation on a color difference value or a luminance value of the generated pixel.

前記上位階層クラスタップ生成手段は、レベル制限されている色情報又は輝度情報と異なる情報で、前記上位階層クラスタップを生成する
請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the upper layer class tap generation unit generates the upper layer class tap using information different from color information or luminance information whose level is limited.

前記入力画像は、xvYCC規格に準拠した画像フォーマットである
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the input image has an image format conforming to the xvYCC standard.

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップと
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う
画像処理方法。 In an image processing method of an image processing apparatus for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range,
Using the class tap generated from the plurality of pixels of the input image including the target pixel, the generated pixel generated from the output image at the position corresponding to the target pixel of interest of the input image, A class classification step for classifying into one of a plurality of classes,
A plurality of pixels used for predicting the generated pixel, and a predetermined tap of the input image including the target pixel is extracted as a prediction tap from the input image;
A prediction calculation step of predicting and calculating a pixel value of the generated pixel using a coefficient obtained in advance for the class of the generated pixel in the class classification step and the prediction tap;
Determining whether the pixel value of the pixel of interest is level-limited, and
The image processing method in which the class classification step performs the class classification including a determination result in the determination step.

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップと
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う
画像処理をコンピュータに実行させるプログラム。 In a program for causing a computer to execute image processing for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range,
Using the class tap generated from the plurality of pixels of the input image including the target pixel, the generated pixel generated from the output image at the position corresponding to the target pixel of interest of the input image, A class classification step for classifying into one of a plurality of classes,
A plurality of pixels used for predicting the generated pixel, and a predetermined tap of the input image including the target pixel is extracted as a prediction tap from the input image;
A prediction calculation step of predicting and calculating a pixel value of the generated pixel using a coefficient obtained in advance for the class of the generated pixel in the class classification step and the prediction tap;
Determining whether the pixel value of the pixel of interest is level-limited, and
The class classification step is a program that causes a computer to execute image processing for performing the class classification including the determination result in the determination step.

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段と
を備える学習装置。 A learning device for generating a conversion coefficient used for generating an output image of the predetermined reproduction range from an input image whose pixel value is level-limited within a certain range with respect to the predetermined reproduction range,
The generation pixel generated from the output image at the position corresponding to the target pixel of interest of the student image whose level is limited within a certain range with respect to the predetermined reproduction range includes the target pixel Class classification means for performing class classification to classify into any of a plurality of classes using a class tap generated from a plurality of pixels of the student image;
A plurality of pixels used for predicting the generated pixel, and a prediction tap extracting unit that extracts a predetermined plurality of pixels of the student image including the target pixel as a prediction tap from the student image;
Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, A learning device comprising: a calculation unit that obtains the conversion coefficient corresponding to the class of the generated pixel, which is used to predict a pixel value.

前記教師画像が、前記所定の再現範囲に対して一定の範囲内にレベル制限されている
請求項１０の学習装置。 The learning apparatus according to claim 10, wherein the level of the teacher image is limited within a certain range with respect to the predetermined reproduction range.

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップと
を含む学習方法。 A learning apparatus learning method for generating a conversion coefficient used for generating an output image of a predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range. There,
The generation pixel generated from the output image at the position corresponding to the target pixel of interest of the student image whose level is limited within a certain range with respect to the predetermined reproduction range includes the target pixel Using a class tap generated from a plurality of pixels of the student image, a class classification step for classifying into one of a plurality of classes,
A prediction tap extraction step of extracting a plurality of predetermined pixels of the student image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel;
Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, A learning method comprising: calculating a conversion coefficient corresponding to a class of the generated pixel, which is used for predicting a pixel value.

画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップと
を含む学習処理をコンピュータに実行させるプログラム。 A learning process for generating a conversion coefficient used for generating an output image of the predetermined reproduction range from an input image whose pixel value is limited within a certain range with respect to the predetermined reproduction range is executed on a computer A program to
The generation pixel generated from the output image at the position corresponding to the target pixel of interest of the student image whose level is limited within a certain range with respect to the predetermined reproduction range includes the target pixel Using a class tap generated from a plurality of pixels of the student image, a class classification step for classifying into one of a plurality of classes,
A prediction tap extraction step of extracting a plurality of predetermined pixels of the student image including the target pixel as prediction taps, which are a plurality of pixels used for predicting the generated pixel;
Extracting the pixel value of the teacher pixel corresponding to the generated pixel from the teacher image having the predetermined reproduction range, and using the extracted pixel value of the teacher pixel and the prediction tap, A program for causing a computer to execute a learning process including calculating a conversion coefficient corresponding to a class of the generated pixel, which is used to predict a pixel value.