JP2007235312A - Image signal processor and processing method, learning device, method and program, and recording medium - Google Patents
Image signal processor and processing method, learning device, method and program, and recording medium Download PDFInfo
- Publication number
- JP2007235312A JP2007235312A JP2006051763A JP2006051763A JP2007235312A JP 2007235312 A JP2007235312 A JP 2007235312A JP 2006051763 A JP2006051763 A JP 2006051763A JP 2006051763 A JP2006051763 A JP 2006051763A JP 2007235312 A JP2007235312 A JP 2007235312A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- block
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 130
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 230000003044 adaptive effect Effects 0.000 claims abstract description 21
- 230000000875 corresponding effect Effects 0.000 claims description 72
- 239000000284 extract Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000002596 correlated effect Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 7
- 230000001276 controlling effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 14
- 230000006978 adaptation Effects 0.000 description 9
- 239000000470 constituent Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
本発明は、画像信号処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関し、特に、常に適切な信号変換処理を行うことができるようにする画像信号処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関する。 The present invention relates to an image signal processing device and method, a learning device and method, a program, and a recording medium, and in particular, an image signal processing device and method, a learning device and a method capable of always performing appropriate signal conversion processing. , A program, and a recording medium.
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（Adaptive Dynamic Range Coding：適応的ダイナミックレンジ符号化）等を用いて求め、それを基にクラス分類を行い、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得るクラス分類適応処理を用いた方法が提案されている（例えば、特許文献１参照）。 For example, in order to convert a standard television signal (SD signal) into a high-resolution signal (HD signal), the characteristics of the class tap composed of the input SD signal are converted into ADRC (Adaptive Dynamic Range Coding). Etc., and classify based on this, and perform class classification adaptive processing for obtaining HD signals by calculating the prediction coefficient prepared for each class and the prediction tap composed of the input SD signal. A method used has been proposed (see, for example, Patent Document 1).
また、上述したクラス分類適応処理においてＳＤ信号をＨＤ信号に変換する処理のフィールド内補間およびフィールド間補間を用いるときの、飛び越し走査から順次走査への変換による画質の改善度が不充分になるという問題を解決し、出力信号に劣化を生じることなく、良好な補間画質を得ることができるようにする技術も提案されている（例えば、特許文献２参照）。 Further, when using the intra-field interpolation and inter-field interpolation of the process of converting the SD signal to the HD signal in the above-described class classification adaptive process, the degree of improvement in image quality due to the conversion from interlaced scanning to sequential scanning is insufficient. There has also been proposed a technique for solving the problem and obtaining a good interpolation image quality without causing deterioration in the output signal (see, for example, Patent Document 2).
図１は、従来のクラス分類適応処理の実行を制御する画像信号処理装置１の構成例を示すブロック図である。同図において、動き判定部１１は、入力された画像の信号（ＳＤ信号）に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
FIG. 1 is a block diagram illustrating a configuration example of an image
領域抽出部１２は、動き判定部１１の判定結果に基づいて、ＳＤ信号を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるＳＤ信号を構成する画素の幾つかを、クラスタップとして抽出する。
Based on the determination result of the
パターン検出部１３は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１４に出力する。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスを特定するためのパターンが検出される。
Based on the input class tap, the
クラスコード決定部１４は、動き判定部１１の判定結果と、パターン検出部１３で検出されたパターンに基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを予測係数メモリ１５に出力する。
The class
予測係数メモリ１５には、後述する学習によって求められたクラス毎の予測係数が予め記憶されている。予測係数メモリ１５は、例えば、その記憶した予測係数のうちの、クラスコード決定部１４から供給されるクラスコードに対応するアドレスに記憶されている入力されたクラスコードに対応する予測係数を、予測演算部１７に出力する。
In the
領域抽出部１６は、動き判定部１１の判定結果に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素（予測タップ）を抽出し、予測演算部１７に出力する。例えば、予測するＨＤ信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を予測するのに用いるＳＤ信号を構成する画素（の画素値）が、予測タップとして抽出される。
The region extraction unit 16 extracts pixels (prediction taps) necessary for predicting and generating an HD signal from the input SD signal based on the determination result of the
予測演算部１７は、領域抽出部１６から入力された予測タップと、予測係数メモリ１５から入力された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行い、ＨＤ信号を生成して出力する。
The
図２は、従来のクラス分類適応処理によりＳＤ信号をＨＤ信号に変換する信号変換処理の例を説明するフローチャートである。 FIG. 2 is a flowchart for explaining an example of signal conversion processing for converting an SD signal into an HD signal by conventional class classification adaptation processing.
最初にステップＳ１において、注目画素が選択される。 First, in step S1, a target pixel is selected.
ステップＳ２において、領域抽出部１２は、ＳＤ信号からクラスタップを抽出する。 In step S2, the region extraction unit 12 extracts a class tap from the SD signal.
図３は、このとき抽出されるクラスタップの例を示す図である。ここでは、変換の対象となる画像信号がインターレース方式の画像信号であるものとする。同図には、インターレース方式の１フレームを構成する＃−１で示されるフィールドと、＃０で示されるフィールドとが示されており、図中「×」で示される位置が注目画素の位置とされている。いまの場合、注目画素は、＃０のフィールドに存在しており、＃−１のフィールドから図中丸印で示される２つの画素と、＃０のフィールドから７つの画素がクラスタップとして抽出されている。 FIG. 3 is a diagram illustrating an example of class taps extracted at this time. Here, it is assumed that the image signal to be converted is an interlaced image signal. In the figure, a field indicated by # -1 and a field indicated by # 0 constituting one frame of the interlace method are shown, and the position indicated by “x” in the figure is the position of the target pixel. Has been. In this case, the target pixel exists in the # 0 field, and two pixels indicated by circles in the figure from the # -1 field and seven pixels from the # 0 field are extracted as class taps. Yes.
なお、図中の４つの黒い菱形は、この処理により、ＳＤ信号の注目画素に対応して生成されるＨＤ信号の画素の位置を示している。 Note that the four black rhombuses in the drawing indicate the positions of the pixels of the HD signal generated by this processing in correspondence with the target pixel of the SD signal.
ステップＳ３において、パターン検出部１３は、ステップＳ２の処理で抽出されたクラスタップに基づいて、ＳＤ信号のパターンを検出する。
In step S3, the
ステップＳ４において、クラスコード決定部１４は、ステップＳ３の処理で検出されたパターンに基づいてクラスコードを決定する。
In step S4, the class
ステップＳ５において、領域抽出部１６は、ＳＤ信号から予測タップを抽出する。 In step S5, the region extraction unit 16 extracts a prediction tap from the SD signal.
図４は、このとき抽出される予測タップの例を示す図である。同図には、図３の場合と同様に、インターレース方式の１フレームを構成する＃−１で示されるフィールドと、＃０で示されるフィールドとが示されており、＃−１のフィールドから６つの画素と、＃０のフィールドから７つの画素が予測タップとして抽出されている。 FIG. 4 is a diagram illustrating an example of prediction taps extracted at this time. In the same figure, as in the case of FIG. 3, the field indicated by # -1 and the field indicated by # 0 constituting one frame of the interlace method are shown. One pixel and seven pixels are extracted from the # 0 field as prediction taps.
ステップＳ６において、予測係数メモリ１５は、ステップＳ４の処理で決定されたクラスコードに基づいて予測係数を読み出す。
In step S6, the
ステップＳ７において、予測演算部１７は、ステップＳ５の処理で抽出された予測タップと、ステップＳ６の処理で読み出された予測係数とに基づいて予測演算を行う。
In step S7, the
ステップＳ８において、ステップＳ７の処理により演算された画素値に対応するＨＤ信号が生成される。すなわち、図３または図４示される４つの黒い菱形の位置の画素の画素値が演算されてＨＤ信号が生成されることになる。 In step S8, an HD signal corresponding to the pixel value calculated by the process in step S7 is generated. That is, the pixel values of the pixels at the four black diamond positions shown in FIG. 3 or FIG. 4 are calculated to generate an HD signal.
ステップＳ９において、ＳＤ信号の全画素に対して予測演算がおこなわれたか否かが判定され、全画素に対して予測演算がおこなわれたと判定されるまで、ステップＳ１乃至Ｓ８の処理が繰り返し実行されることになる。 In step S9, it is determined whether or not the prediction calculation has been performed on all the pixels of the SD signal, and the processes in steps S1 to S8 are repeatedly executed until it is determined that the prediction calculation has been performed on all the pixels. Will be.
図５は、インターレース方式のＳＤ信号に対応して生成されるＨＤ信号の画素の位置の関係の例を説明する図である。インターレース方式では、水平方向に一列の画素の走査が奇数番目のフィールドと偶数番目のフィールドで交互に行われるので、ＳＤ信号から抽出される画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかによって、ＳＤ信号の画素位置と、ＨＤ信号の画素位置の関係が異なったものとなる。 FIG. 5 is a diagram for explaining an example of the relationship between the positions of pixels of an HD signal generated corresponding to an interlaced SD signal. In the interlace method, scanning of pixels in a line in the horizontal direction is alternately performed in the odd-numbered field and the even-numbered field, so that the field where the pixels extracted from the SD signal exist is the odd-numbered field or the even-numbered field. Depending on whether it is the first field, the relationship between the pixel position of the SD signal and the pixel position of the HD signal differs.
例えば、図５ａに示されるように、１つの画素に対して、図中上下方向（ｙ方向）に所定の間隔を設定し、その間隔の長さを１とした場合、１ｓｔフィールドの１つの画素に対応してｙ方向上側1/4の位置と、下側3/4の位置にＨＤ信号の画素が生成され、２ｎｄフィールドの１つの画素に対応してｙ方向上側3/4の位置と、下側1/4の位置にＨＤ信号の画素が生成される。なお、図中の横方向（ｔ方向）は時間軸方向とされている。 For example, as shown in FIG. 5a, when a predetermined interval is set for one pixel in the vertical direction (y direction) in the drawing and the length of the interval is 1, one pixel in the 1st field HD signal pixels are generated at the upper 1/4 position in the y direction and the lower 3/4 position corresponding to the second position, and the upper 3/4 position in the y direction corresponding to one pixel in the 2nd field. A pixel of the HD signal is generated at the lower 1/4 position. In addition, the horizontal direction (t direction) in a figure is made into the time-axis direction.
このようにして生成されたＨＤ画像の画素は、図５ｂに示されるように、画面の縦方向（y方向）と、横方向（ｘ方向）にそれぞれ配置されることになる。なお、ＳＤ信号の画素に対して生成されるＨＤ信号の画素の水平方向の位置の関係は、ＳＤ信号から抽出される画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかに係らず一定である。 The pixels of the HD image generated in this way are arranged in the vertical direction (y direction) and the horizontal direction (x direction) of the screen, as shown in FIG. 5b. It should be noted that the horizontal position of the HD signal pixel generated with respect to the SD signal pixel is such that the field in which the pixel extracted from the SD signal exists is an odd field or an even field. It is constant regardless of whether it exists.
図６は、図１の予測係数メモリ１５に記憶する予測係数を、予め学習によって求める学習装置５１の構成例を示すブロック図である。
FIG. 6 is a block diagram illustrating a configuration example of the learning device 51 that obtains the prediction coefficient stored in the
同図において、２次元間引きフィルタ６１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成し、動き判定部６２、領域抽出部６３、および領域抽出部６６に出力する。
In the figure, a two-
動き判定部６２は、入力されたＳＤ信号に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
The
領域抽出部６３は、動き判定部６２の判定結果に基づいて、入力されたＳＤ信号から、クラス分類を行うために必要な画素をクラスタップとして抽出し、パターン検出部６４に出力する。
Based on the determination result of the
パターン検出部６４は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部６５に出力する。
The
クラスコード決定部６５は、動き判定部６２の判定結果、およびパターン検出部６４で検出されたパターンに基づいてクラスを決定し、そのクラスに対応するクラスコードを正規方程式生成部６７に出力する。
The class
領域抽出部６６は、動き判定部６２の判定結果に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素を予測タップとして抽出し、正規方程式生成部６７に出力する。
Based on the determination result of the
正規方程式生成部６７は、入力された教師画像であるＨＤ信号と、領域抽出部６６から入力された生徒画像である予測タップとから、クラスコード決定部６５から供給されるクラスコード毎に正規方程式を生成し、係数決定部６８に出力する。
The normal
係数決定部６８は、例えば最小自乗法を用いて正規方程式を解き、各クラスコードに対応する予測係数を演算する。そして、求めた予測係数を予測係数メモリ６９に出力し、記憶させる。この予測係数メモリ６９に記憶された予測係数が、図１の予測係数メモリ１５に書き込まれることになる。
The
図７は、図６の学習装置５１による学習処理の例を説明するフローチャートである。 FIG. 7 is a flowchart for explaining an example of learning processing by the learning device 51 of FIG.
ステップＳ３１において、２次元間引きフィルタ６１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成することで生徒画像（ＳＤ信号）を生成する。
In step S31, the two-
ステップＳ３２において、動き判定部６２は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から動きを判定する。
In step S32, the
ステップＳ３３において、領域抽出部６３は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から、クラスタップを抽出する。
In step S33, the
ステップＳ３４において、パターン検出部６４は、ステップＳ３３の処理で抽出されたクラスタップに基づいて、ＳＤ信号のパターンを検出する。
In step S34, the
ステップＳ３５において、クラスコード決定部６５は、ステップＳ３４の処理で検出されたパターンに基づいてクラスを決定する。
In step S35, the class
ステップＳ３６において、領域抽出部６６は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から予測タップを抽出する。
In step S36, the
ステップＳ３７において、正規方程式生成部６７は、入力された教師画像であるＨＤ信号と、ステップＳ３６の処理で抽出された予測タップとから、ステップＳ３５の処理で決定されたクラスに対応する正規方程式を生成する。
In step S37, the normal
ステップＳ３８において、係数決定部６８は、ステップＳ３７の処理で生成された正規方程式を、例えば最小自乗法を用いて解き、予測係数を決定する。
In step S38, the
ステップＳ３９において、ステップＳ３８の処理で決定された予測係数が予測係数メモリ６９に記憶される。
しかしながら、従来のクラス分類適応処理による信号変換においては、画像の中に物体のエッジなどが存在し、例えば、画像の中に斜めの線が形成される場合などは、必ずしも適切な処理を行えない場合があった。特に、予測演算に使用する画素範囲を超えて、斜めの線などが存在する場合、予測処理が上手くいかず、空間的な波形の連続性が失われて見える恐れがある。 However, in the signal conversion by the conventional classification adaptation processing, there is an object edge in the image, and for example, when an oblique line is formed in the image, appropriate processing cannot always be performed. There was a case. In particular, when an oblique line exists beyond the pixel range used for the prediction calculation, the prediction process may not be successful and the continuity of the spatial waveform may be lost.
本発明はこのような状況に鑑みてなされたものであり、常に適切な信号変換処理を行うことができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to always perform appropriate signal conversion processing.
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段とを備える画像信号処理装置である。 A first aspect of the present invention is an image signal processing device that converts a first image signal into a second image signal, and has a high correlation among images corresponding to the first image signal. Correlation detection means for detecting the position of the region, a straight line showing a characteristic of continuous high correlation in the image determined based on the detection result of the correlation detection means, and a predetermined value determined corresponding to the position of the target pixel On the basis of the position of the second image signal based on the position of the second image signal, specifying means for specifying the position of the pixel included in the first image signal necessary for generating the pixel of the second image signal, and the specifying means specified by the specifying means Based on the pixels included in one image signal, the first image signal is classified into classes according to the characteristics, and is specified by the specifying unit using a prediction coefficient for each class learned in advance. Included in the first image signal An image signal processing apparatus and a classification adaptive processing means for executing a process of generating a pixel of the by performing prediction computation second signal to the pixel.
前記相関検出手段は、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段とを備えるようにすることができる。 The correlation detection means extracts a first pixel block composed of a plurality of pixels centered on a target pixel in the first signal, and is within a preset range with respect to the target pixel. A plurality of second pixel blocks composed of a plurality of pixels centered on a pixel separated by a distance corresponding to a plurality of values, the first pixel block, and the plurality of the first pixels Block matching means for performing block matching with each of the two pixel blocks, and the position of the second pixel block having the highest correlation with the first pixel block based on the processing result of the block matching means. Selecting means for selecting.
前記ブロックマッチング手段は、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。 The block matching means extracts a plurality of pixel blocks positioned vertically above the first pixel block, and performs block matching between the first pixel block and each of the plurality of second pixel blocks. The upper block matching unit and a plurality of pixel blocks positioned in the lower vertical direction of the first pixel block are extracted to perform block matching between the first pixel block and each of the plurality of second pixel blocks. A lower block matching unit that performs the second block located on the upper side in the vertical direction of the first pixel block based on the processing results of the upper block matching unit and the lower block matching unit. The position of the second pixel block having the highest correlation among the pixel blocks and the vertical direction of the first pixel block It can be the position of the highest correlation the second pixel block of the second pixel block located on the side to be selected.
前記特定手段は、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成するようにすることができる。 The specifying unit generates a straight line having a characteristic of high correlation in the image based on the position of the target pixel and the position of the second pixel block selected by the selection unit. Can be.
前記特定手段は、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成するようにすることができる。 The specifying unit includes a position of the target pixel, a position of the second pixel block selected by the selection unit, the target pixel, and a pixel of the second image signal generated based on the target pixel. The straight line can be generated on the basis of the vertical difference from the position.
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。 The image processing apparatus further includes a motion determination unit that determines a motion of an image corresponding to the first image signal, and the specifying unit is configured to determine the first based on the determination result of the motion determination unit and the detection result of the correlation detection unit. It is possible to specify the positions of the pixels included in the first image signal necessary for generating the pixels of the second image signal.
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置の画像信号処理方法であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するステップを含む画像信号処理方法である。 A first aspect of the present invention is an image signal processing method of an image signal processing apparatus for converting a first image signal into a second image signal, and among the images corresponding to the first image signal. , Detecting a position of a highly correlated region, and a predetermined line determined in accordance with the position of the target pixel and a straight line showing a characteristic of continuous high correlation in the image determined based on the correlation detection result A position of a pixel included in the first image signal necessary for generating a pixel of the second image signal based on the position, and included in the specified first image signal Based on the pixels, the first image signal is classified into classes according to the features thereof, and is included in the identified first image signal by using a prediction coefficient for each class that has been learned in advance. The second signal is obtained by performing a prediction calculation on the pixel to be processed. An image signal processing method comprising the step of performing a process of generating a pixel.
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置に画像信号処理を実行させるプログラムであって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置の特定を制御し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理の実行を制御するステップを含むコンピュータが読み取り可能なプログラムである。 A first aspect of the present invention is a program for causing an image signal processing device that converts a first image signal into a second image signal to perform image signal processing, and an image corresponding to the first image signal. In the image, the detection of the position of the highly correlated area is controlled, and the straight line indicating the characteristic of high correlation in the image determined based on the detection result of the correlation and the position of the target pixel are supported. And specifying the position of the pixel included in the first image signal necessary for generating the pixel of the second image signal based on the predetermined position determined in this way, and Based on the pixels included in one image signal, the first image signal is classified into classes according to the features thereof, and the identified coefficients are used by using the prediction coefficient for each class learned in advance. Preliminary for pixels included in the first image signal Computer comprising a step of controlling the execution of the process of generating a pixel of the second signal by performing a computation is readable program.
本発明の第１の側面においては、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置が検出され、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置が特定され、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理が実行される。 In the first aspect of the present invention, a position of a highly correlated region is detected in an image corresponding to the first image signal, and the image is determined based on the correlation detection result. The first image signal necessary for generating the pixel of the second image signal based on a straight line showing a characteristic of continuous high correlation and a predetermined position determined corresponding to the position of the target pixel. The positions of the pixels included in the first image signal are identified, and the first image signal is classified into classes according to the characteristics based on the pixels included in the identified first image signal, and is learned in advance. A process of generating a pixel of the second signal is performed by performing a prediction calculation on the pixel included in the identified first image signal using the prediction coefficient for each class.
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段とを備える学習装置である。 A second aspect of the present invention is a learning device that learns a prediction coefficient used when converting a first image signal into a second image signal, wherein the second image signal is converted into an image signal. Based on the correlation detection means for detecting the position of a highly correlated area in the image corresponding to the first image signal obtained through the filter that thins out the number of pixels included, and the detection result of the correlation detection means Necessary for generating the pixel of the second image signal based on a straight line showing a characteristic of continuous high correlation in the image determined and a predetermined position determined corresponding to the position of the target pixel. Based on the pixels included in the first image signal specified by the specifying means and the specifying means for specifying the position of the pixel included in the first image signal, the first image signal is Classify into classes according to characteristics, and The second image signal based on the pixel of the first image signal by solving an equation representing the relationship between the pixel of the second image signal and the pixel of the first image signal, And a class classification adaptive processing means for executing a process for obtaining a prediction coefficient used when generating a pixel of the signal.
前記相関検出手段は、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段とを備えるようにすることができる。 The correlation detection means extracts a first pixel block composed of a plurality of pixels centered on a target pixel in the first signal, and is within a preset range with respect to the target pixel. A plurality of second pixel blocks composed of a plurality of pixels centered on a pixel separated by a distance corresponding to a plurality of values, the first pixel block, and the plurality of the first pixels Block matching means for performing block matching with each of the two pixel blocks, and the position of the second pixel block having the highest correlation with the first pixel block based on the processing result of the block matching means. Selecting means for selecting.
前記ブロックマッチング手段は、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。 The block matching means extracts a plurality of pixel blocks positioned vertically above the first pixel block, and performs block matching between the first pixel block and each of the plurality of second pixel blocks. The upper block matching unit and a plurality of pixel blocks positioned in the lower vertical direction of the first pixel block are extracted to perform block matching between the first pixel block and each of the plurality of second pixel blocks. A lower block matching unit that performs the second block located on the upper side in the vertical direction of the first pixel block based on the processing results of the upper block matching unit and the lower block matching unit. The position of the second pixel block having the highest correlation among the pixel blocks and the vertical direction of the first pixel block It can be the position of the highest correlation the second pixel block of the second pixel block located on the side to be selected.
前記特定手段は、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成するようにすることができる。 The specifying unit generates a straight line having a characteristic of high correlation in the image based on the position of the target pixel and the position of the second pixel block selected by the selection unit. Can be.
前記特定手段は、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成するようにすることができる。 The specifying unit includes a position of the target pixel, a position of the second pixel block selected by the selection unit, the target pixel, and a pixel of the second image signal generated based on the target pixel. The straight line can be generated on the basis of the vertical difference from the position.
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。 The image processing apparatus further includes a motion determination unit that determines a motion of an image corresponding to the first image signal, and the specifying unit is configured to determine the first based on the determination result of the motion determination unit and the detection result of the correlation detection unit. It is possible to specify the positions of the pixels included in the first image signal necessary for generating the pixels of the second image signal.
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置の学習方法であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するステップを含む学習方法である。 A second aspect of the present invention is a learning method of a learning device that learns a prediction coefficient used when converting a first image signal into a second image signal, wherein the second image signal is In the image corresponding to the first image signal obtained through a filter that thins out the number of pixels included in the image signal, the position of a highly correlated region is detected, and the position determined based on the correlation detection result The second image signal necessary for generating the pixel of the second image signal based on a straight line showing a characteristic of continuous high correlation in the image and a predetermined position determined corresponding to the position of the target pixel. Identifying a position of a pixel included in one image signal, classifying the first image signal into a class according to the feature based on the pixel included in the identified first image signal, The second image signal generated for each class By solving an equation representing a relationship between a pixel and a pixel of the first image signal, a prediction coefficient used when generating the pixel of the second signal based on the pixel of the first image signal is obtained. It is a learning method including the step which performs a process.
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置に学習処理を実行させるプログラムであって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理の実行を制御するステップを含むコンピュータが読み取り可能なプログラムである。 According to a second aspect of the present invention, there is provided a program for causing a learning device that learns a prediction coefficient used when converting a first image signal to a second image signal to execute a learning process. In the image corresponding to the first image signal obtained through a filter that thins out the number of pixels contained in the image signal, the detection of the position of the highly correlated region is controlled, and the detection of the correlation A pixel of the second image signal is generated based on a straight line showing a characteristic of high correlation in the image determined based on a result and a predetermined position determined corresponding to the position of the target pixel. The position of the pixel included in the first image signal necessary for the determination is specified, and the first image signal is determined according to the feature based on the pixel included in the specified first image signal. And classify them into classes. The pixel of the second signal based on the pixel of the first image signal by solving an equation representing the relationship between the pixel of the second image signal and the pixel of the first image signal Is a computer-readable program that includes a step of controlling execution of a process for obtaining a prediction coefficient used when generating.
本発明の第２の側面においては、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置が検出され、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置が特定され、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理が実行される。 In the second aspect of the present invention, the second image signal has a high correlation among images corresponding to the first image signal obtained through a filter that thins out the number of pixels included in the image signal. The position of the region is detected, based on a straight line showing a characteristic of high correlation in the image determined based on the correlation detection result, and a predetermined position determined corresponding to the position of the target pixel A position of a pixel included in the first image signal necessary for generating a pixel of the second image signal is specified, and based on the pixel included in the specified first image signal, The first image signal is classified into classes according to the characteristics thereof, and an equation representing the relationship between the pixels of the second image signal and the pixels of the first image signal generated for each class. By solving the pixel of the first image signal Process for obtaining a prediction coefficient used when generating pixels of the second signal is executed based.
本発明によれば、常に適切な信号変換処理を行うことができる。 According to the present invention, appropriate signal conversion processing can always be performed.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の第１の側面の画像信号処理装置は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段（例えば、図８の相関検出部１１２）と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段（例えば、図８のタップ生成部１１３）と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段（例えば、図８のクラス分類適応処理部１１４）とを備える。
An image signal processing device according to a first aspect of the present invention is an image signal processing device that converts a first image signal into a second image signal, and among the images corresponding to the first image signal. Correlation detection means for detecting the position of a highly correlated area (for example,
この画像信号処理装置は、前記相関検出手段が、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段（例えば、図９のブロックマッチング部１４１または１４２）と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段（例えば、図９の選択部１４３）とを備えるようにすることができる。
In the image signal processing apparatus, the correlation detection unit extracts a first pixel block including a plurality of pixels centered on a target pixel in the first signal, and applies to the target pixel. Extracting a plurality of second pixel blocks, each of which is a value within a preset range, and which is composed of a plurality of pixels centered on a pixel separated by a distance corresponding to a plurality of values, Based on the processing result of the block matching unit (for example, the
この画像信号処理装置は、前記ブロックマッチング手段が、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部（例えば、図９のブロックマッチング部１４１）と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部（例えば、図９のブロックマッチング部１４２）とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
In this image signal processing apparatus, the block matching unit extracts a plurality of pixel blocks positioned on the upper side in the vertical direction of the first pixel block and extracts the first pixel block and the plurality of second pixel blocks. An upper block matching unit (for example, the
この画像信号処理装置は、前記特定手段が、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）を生成するようにすることができる。 In the image signal processing device, the specifying unit has a characteristic in which high correlation continues in the image based on the position of the target pixel and the position of the second pixel block selected by the selection unit. Can be generated (for example, straight line L1 or L2).
この画像信号処理装置は、前記特定手段が、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分（例えば、図１５の垂直生成位相VP）に基づいて前記直線を生成するようにすることができる。 In the image signal processing device, the specifying unit is generated based on the position of the target pixel, the position of the second pixel block selected by the selection unit, the target pixel, and the target pixel. The straight line can be generated based on a vertical difference (for example, the vertical generation phase VP in FIG. 15) from the pixel position of the second image signal.
この画像信号処理装置は、前記第１の画像信号に対応する画像の動きを判定する動き判定手段（例えば、図８の動き判定部１１１）をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
The image signal processing apparatus further includes a motion determination unit (for example, the
本発明の第１の側面の画像信号処理方法は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置の画像信号処理方法であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し（例えば、図１０のステップS５２の処理）、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し（例えば、図１０のステップS５３の処理）、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理（例えば、図１０のステップS５４乃至S６０の処理）を実行するステップを含む。 An image signal processing method according to a first aspect of the present invention is an image signal processing method of an image signal processing apparatus that converts a first image signal into a second image signal, and corresponds to the first image signal. The position of a highly correlated area in the image to be detected (for example, the processing in step S52 of FIG. 10), and the characteristics in which high correlation continues in the image determined based on the detection result of the correlation The pixel of the second image signal is generated on the basis of a straight line (for example, straight line L1 or L2) indicating, and a predetermined position (for example, position P1 in FIG. 15) determined corresponding to the position of the target pixel The position of the pixel included in the first image signal necessary for the purpose is specified (for example, the process of step S53 in FIG. 10), and based on the pixel included in the specified first image signal, The first image signal is changed according to its characteristics. And generating a pixel of the second signal by performing a prediction calculation on the pixel included in the identified first image signal using the prediction coefficient for each class that has been learned in advance. This includes a step of executing processing (for example, processing of steps S54 to S60 in FIG. 10).
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段（例えば、図１６の相関検出部１８３）と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段（例えば、図１６のタップ生成部１８４）と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段（例えば、図１６のクラス分類適応処理部１８５）とを備える。
A second aspect of the present invention is a learning device that learns a prediction coefficient used when converting a first image signal into a second image signal, wherein the second image signal is converted into an image signal. Correlation detection means for detecting the position of a highly correlated area in the image corresponding to the first image signal obtained through the filter that thins out the number of pixels included (for example, the
この学習装置は、前記相関検出手段が、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段（例えば、図９のブロックマッチング部１４１または１４２）と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段（例えば、図９の選択部１４３）とを備えるようにすることができる。
In this learning apparatus, the correlation detection unit extracts a first pixel block composed of a plurality of pixels centered on a target pixel in the first signal, and pre- A plurality of second pixel blocks that are values within a set range and that are composed of a plurality of pixels centered on a pixel that is separated by a distance corresponding to the plurality of values, are extracted, and Based on the processing result of the block matching unit (for example, the
この学習装置は、前記ブロックマッチング手段が、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部（例えば、図９のブロックマッチング部１４１）と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部（例えば、図９のブロックマッチング部１４２）とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
In this learning apparatus, the block matching unit extracts a plurality of pixel blocks positioned vertically above the first pixel block, and each of the first pixel block and each of the plurality of second pixel blocks An upper block matching unit (for example, the
この学習装置は、前記特定手段が、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）を生成するようにすることができる。 In this learning apparatus, the specifying unit exhibits a characteristic in which high correlation continues in the image based on the position of the target pixel and the position of the second pixel block selected by the selection unit. A straight line (for example, straight line L1 or L2) may be generated.
この学習装置は、前記特定手段が、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分（例えば、図１５の垂直生成位相VP）に基づいて前記直線を生成するようにすることができる。 In this learning apparatus, the specifying unit is generated based on the position of the target pixel, the position of the second pixel block selected by the selection unit, the target pixel, and the second pixel. The straight line can be generated based on the vertical difference (for example, the vertical generation phase VP in FIG. 15) from the pixel position of the image signal.
この学習装置は、前記第１の画像信号に対応する画像の動きを判定する動き判定手段（例えば、図１６の動き判定部１８２）をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
The learning device further includes a motion determination unit (for example, a
本発明の第２の側面の学習方法は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置の学習方法であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し（例えば、図１７のステップS１５３の処理）、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し（例えば、図１７のステップS１５４の処理）、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理（例えば、図１７のＳ１５５乃至Ｓ１６１）を実行するステップを含む。 A learning method according to a second aspect of the present invention is a learning method of a learning device that learns a prediction coefficient used when converting a first image signal into a second image signal, wherein the second image The position of a highly correlated area is detected in the image corresponding to the first image signal obtained through a filter that thins out the number of pixels included in the image signal (for example, in step S153 in FIG. 17). Processing), a straight line (for example, straight line L1 or L2) showing a characteristic of high correlation in the image determined based on the detection result of the correlation, and a predetermined position determined corresponding to the position of the target pixel (For example, the position P1 in FIG. 15), the position of the pixel included in the first image signal necessary for generating the pixel of the second image signal is specified (for example, in FIG. 17). Processing in step S154) Based on the pixels included in the first image signal, the first image signal is classified into classes according to features thereof, and the pixels of the second image signal generated for each class; Processing for obtaining a prediction coefficient used when generating the pixel of the second signal based on the pixel of the first image signal by solving an equation representing the relationship with the pixel of the first image signal (for example, , S155 to S161 in FIG. 17 are executed.
以下、図面を参照して、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図８は、本発明を適用した画像信号処理装置の一実施形態に係る構成例を示すブロック図である。 FIG. 8 is a block diagram showing a configuration example according to an embodiment of an image signal processing apparatus to which the present invention is applied.
同図において画像信号処理装置１０１は、例えば、テレビジョン受像機などに組み込まれ、入力された標準テレビジョン信号を、高解像度のテレビジョン信号に変換して出力する。図中では、画像信号処理装置１０１に入力される標準テレビジョン信号（通常精度の信号）は、SD(Standard Definition)信号と示されており、画像信号処理装置１０１から出力される高解像度（高精度）の信号は、HD(High Definition)信号として示されている。また、ここでは、インターレース方式のSD信号が入力され、プログレッシブ方式のHD信号に変換されて出力されるものとして説明する。 In the figure, an image signal processing apparatus 101 is incorporated in, for example, a television receiver, and converts an input standard television signal into a high-resolution television signal and outputs it. In the figure, a standard television signal (normally accurate signal) input to the image signal processing apparatus 101 is shown as an SD (Standard Definition) signal, and a high resolution (high definition) output from the image signal processing apparatus 101 is shown. Signal) is shown as an HD (High Definition) signal. Here, an explanation will be given assuming that an interlaced SD signal is input, converted to a progressive HD signal, and output.
この画像信号処理装置１０１は、動き判定部１１１、相関検出部１１２、タップ生成部１１３、およびクラス分類適応処理部１１４により構成されており、クラス分類適応処理部１１４は、従来のクラス分類適応処理を行う機能ブロック（例えば、処理回路など）を用いて構成されている。
The image signal processing apparatus 101 includes a
動き判定部１１１は、例えば、注目画素を中心とする所定の数の画素で構成されるブロックについて、第ｎ番目のフレームと、第（ｎ−１）番目のフレームにおける差分絶対値和を演算するなど予め定められた方式で、画像の動きを判定し、その判定結果を表す所定の情報を生成して領域抽出部１２１、クラスコード決定部１２３、および領域抽出部１２６に供給する。
For example, the
相関検出部１１２は、後述する方式で注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックの位置を検出する。
The
タップ生成部１１３は、動き判定部１１１の判定結果と、相関検出部１１２の検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成し、領域抽出部１２１と領域抽出部１２６を制御する。
The
クラス分類適応処理部１１４の領域抽出部１２１は、動き判定部１１１から供給される情報、およびタップ生成部１１３の制御に基づいて、入力されたＳＤ信号を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる画素であって、ＳＤ信号を構成する画素の幾つかを、クラスタップとして抽出し、パターン検出部１２２に出力する。
Based on the information supplied from the
パターン検出部１２２は、入力されたクラスタップに基づいて、例えばＡＤＲＣ(Adaptive Dynamic Range Coding：適応的ダイナミックレンジ符号化)を用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１４に出力する。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスを特定するためのパターンが検出される。
Based on the input class tap, the
クラスコード決定部１２３は、動き判定部の判定結果、パターン検出部１３で検出されたパターン、およびタップ生成部１１３の制御に基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを予測係数メモリ１２４に出力する。
The class
予測係数メモリ１２４には、後述する学習によって求められたクラス毎の予測係数が予め記憶されている。予測係数メモリ１２４は、例えば、その記憶した予測係数のうちの、クラスコード決定部１２３から供給されるクラスコードに対応するアドレスに記憶されている予測係数を、予測演算部１２５に出力する。
The
領域抽出部１２６は、動き判定部１１１から供給される情報、およびタップ生成部１１３の制御に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素（予測タップ）を抽出し、予測演算部１２５に出力する。例えば、予測するＨＤ信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を予測するのに用いるＳＤ信号を構成する画素（の画素値）が、予測タップとして抽出される。
The
予測演算部１２５は、領域抽出部１２６から入力された予測タップと、予測係数メモリ１２４から入力された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行い、ＨＤ信号を生成して出力する。
The
図９は、相関検出部１１２の詳細な構成例を示すブロック図である。
FIG. 9 is a block diagram illustrating a detailed configuration example of the
同図において、ブロックマッチング部１４１は、ＳＤ信号の中の注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分上側に位置する複数のブロックのそれぞれについて、注目画素を中心とするブロックとのブロックマッチング処理を実行し、ブロックマッチングの結果を選択部１４３に出力する。
In the figure, the
ブロックマッチング部１４２は、ＳＤ信号の中の注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分下側に位置する複数のブロックのそれぞれについて、注目画素を中心とするブロックとのブロックマッチング処理を実行し、ブロックマッチングの結果を選択部１４３に出力する。
The
選択部１４３は、ブロックマッチング部１４１と、ブロックマッチング部１４２のそれぞれから出力されるブロックマッチングの結果に基づいて、注目画素を中心とするブロックと最も相関性の高いブロックの位置を表す情報を生成して出力する。すなわち、選択部１４３は、注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分上側に位置する複数のブロックのいずれか１つのブロックの位置を表す情報と、垂直方向に１画素分下側に位置する複数のブロックのいずれか１つの位置を表す情報とを出力することになる。
The
次に、図１０のフローチャートを参照して、画像信号処理装置１０１によるSD−HD信号変換処理の例について説明する。 Next, an example of SD-HD signal conversion processing by the image signal processing apparatus 101 will be described with reference to the flowchart of FIG.
ステップS５１において、動き判定部１１１は、画像の動きを判定し、その判定結果を表す所定の情報を生成して出力する。
In step S51, the
ステップS５２において相関検出部１１２は、図１１を参照して後述する相関検出処理を実行する。これにより、ＳＤ信号の中の注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値が演算され、注目画素を中心とするブロックと最も相関性の高いブロックの位置を表す情報が生成される。
In step S52, the
ステップS５３において、タップ生成部１１３は、ステップS５１の処理による動きの判定結果、およびステップS５２の処理による相関検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成する。
In step S53, the
ステップS５４において、領域抽出部１２１は、ステップS５１の処理による動き判定結果、およびステップS５３の処理により生成された情報に基づいて、入力されたＳＤ信号からクラスタップを抽出する。
In step S54, the
ステップS５５において、パターン検出部１２２は、ステップS５４の処理により抽出されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出する。
In step S55, the
ステップS５６において、クラスコード決定部１２３は、ステップS５５の処理により検出されたパターン、ステップS５１の処理による動き判定結果に基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを決定する。
In step S56, the class
ステップS５７において、領域抽出部１２６は、ステップS５３の処理で生成された情報、およびステップS５１の処理による動き判定結果に基づいて、入力されたＳＤ信号から予測タップを抽出する。
In step S57, the
ステップS５８において、予測係数メモリ１２４は、ステップS５６の処理で決定されたクラスコードに対応する予測係数を読み出す。
In step S58, the
ステップS５９において、予測演算部１２５は、ステップS５７の処理で抽出された予測タップと、ステップS５８の処理で読み出された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行う。これにより、予測すべきHD信号の画素の画素値が演算されることになる。
In step S59, the
ステップＳ６０において、ステップＳ５９の処理により演算された画素値に対応するＨＤ信号が生成される。 In step S60, an HD signal corresponding to the pixel value calculated by the process in step S59 is generated.
ステップＳ６１において、ＳＤ信号の全画素に対して予測演算が行われたか否かが判定され、全画素に対して予測演算が行われたと判定されるまで、ステップＳ５１乃至Ｓ６１の処理が繰り返し実行されることになる。 In step S61, it is determined whether or not the prediction calculation has been performed on all the pixels of the SD signal, and the processes of steps S51 to S61 are repeatedly executed until it is determined that the prediction calculation has been performed on all the pixels. Will be.
次に、図１１のフローチャートを参照して、図１０のステップS５２の相関検出処理の詳細について説明する。 Next, details of the correlation detection processing in step S52 in FIG. 10 will be described with reference to the flowchart in FIG.
ステップS８１において、ブロックマッチング部１４１は、１ライン上側のブロックマッチングを行う。
In step S81, the
このとき、例えば、図１２に示されるようにしてブロックマッチングが行われる。いま、ＳＤ信号の画像の中で注目画素を、画素Ｃとした場合、最初に画素Ｃを中心とする水平方向にＭ個、垂直方向にＮ個の画素で構成されるＭ×Ｎ個の画素のブロック２１１を取得する。
At this time, for example, block matching is performed as shown in FIG. Now, assuming that the pixel of interest in the image of the SD signal is the pixel C, first, M × N pixels composed of M pixels in the horizontal direction and N pixels in the vertical direction centering on the
そして、ブロックマッチングを行うために、画素Ｃより垂直方向に１画素分上に位置する画素を中心とするブロックであって、ブロック２１１と同じサイズ（Ｍ×Ｎ個の画素で構成される）のブロックを、予め設定された範囲から取得する。ここでは、画素Ｃの水平方向の位置から左右両側に距離Ｓだけはなれた位置の画素までの範囲が上述した範囲として設定されているものとする。 In order to perform block matching, the block is centered on a pixel located one pixel above the pixel C in the vertical direction and has the same size as the block 211 (consisting of M × N pixels). A block is acquired from a preset range. Here, it is assumed that the range from the horizontal position of the pixel C to the pixel at a position separated by a distance S on both the left and right sides is set as the above-described range.
すなわち、画素Ｃの水平方向の座標位置を０とした場合、水平方向の座標位置が−Ｓであり、かつ画素Ｃより垂直方向に１画素分上に位置する画素Ｃａを中心とするＭ×Ｎ個の画素で構成されるブロック２１２が取得され、ブロック２１１とブロック２１２との間でブロックマッチングが行われる。
That is, when the horizontal coordinate position of the pixel C is set to 0, the horizontal coordinate position is −S, and M × N centering on the pixel Ca positioned one pixel vertically above the pixel C. A
同様に、画素Ｃａと垂直方向の位置が同じであり、水平方向に図中右側に１画素移動した画素を中心とするＭ×Ｎ個の画素で構成されるブロックが取得され、ブロック２１１とそのブロックとの間でブロックマッチングが行われる。このように中心となる画素位置を水平方向にずらして、ブロックマッチングを行うブロックが１つずつ取得されてブロックマッチングが行われ、水平方向の座標位置が+Ｓであり、かつ画素Ｃより垂直方向に１画素分上に位置する画素Ｃｂを中心とするＭ×Ｎ個の画素で構成されるブロック２１３とブロック２１１との間でブロックマッチングが完了するまで処理が繰り返される。
Similarly, a block composed of M × N pixels centering on a pixel having the same position in the vertical direction as the pixel Ca and moved by one pixel to the right in the drawing in the horizontal direction is obtained, and block 211 and its Block matching is performed with the block. In this way, the center pixel position is shifted in the horizontal direction, and blocks for block matching are obtained one by one, and block matching is performed, the horizontal coordinate position is + S, and the pixel C is in the vertical direction. The processing is repeated until block matching is completed between the
なお、ブロックマッチングは、双方のブロックにおいて対応する個々の画素同士の差分の絶対値の和の演算として実行される。画素Ｃの座標位置を水平方向および垂直方向の座標位置を（Ｉ，Ｊ）とし、ブロック内の各画素値をｄａｔａ（ｉｘ，ｉｙ）で表すと、ブロックマッチング部１４１により演算される差分の絶対値の和ＢＭｕは、次式により表される。
Note that block matching is performed as a calculation of the sum of absolute values of differences between corresponding pixels in both blocks. If the coordinate position of the pixel C is (I, J) in the horizontal and vertical coordinate positions, and each pixel value in the block is represented by data (ix, iy), the absolute difference calculated by the
ここで、Ｘは、画素Ｃの水平方向の位置を中心とする距離を表しており、−Ｓから＋Ｓまでの範囲の値となる。このように、Ｘの値を、−Ｓから＋Ｓまでの範囲で１ずつ変えてＢＭｕ（ｘ）の値を演算することにより、合計２Ｓ＋１のブロックマッチング結果が得られることになる。 Here, X represents a distance centered on the horizontal position of the pixel C, and is a value in a range from -S to + S. Thus, by calculating the value of BMu (x) while changing the value of X by 1 in the range from −S to + S, a total of 2S + 1 block matching results can be obtained.
ステップS８２において、ブロックマッチング部１４２は、１ライン下側のブロックマッチングを行う。
In step S82, the
このとき、例えば、図１３に示されるようにしてブロックマッチングが行われる。いまの場合、ブロックマッチングを行うために、画素Ｃより垂直方向に１画素分下に位置する画素を中心とするブロックであって、ブロック２１１と同じサイズ（Ｍ×Ｎ個の画素で構成される）ブロックを、予め設定された範囲から取得する。ここでは、画素Ｃの水平方向の位置から左右両側にやはり距離Ｓだけはなれた位置の画素までの範囲が上述した範囲として設定されているものとする。 At this time, for example, block matching is performed as shown in FIG. In this case, in order to perform block matching, the block is centered on a pixel located one pixel below the pixel C in the vertical direction, and is composed of the same size as the block 211 (M × N pixels). ) Get a block from a preset range. Here, it is assumed that the range from the horizontal position of the pixel C to the pixel at a position that is separated from the left and right sides by a distance S is set as the above-described range.
すなわち、画素Ｃの水平方向の座標位置を０とした場合、水平方向の座標位置が−Ｓであり、かつ画素Ｃより垂直方向に１画素分下に位置する画素Ｃｃを中心とするＭ×Ｎ個の画素で構成されるブロック２１４が取得され、ブロック２１１とブロック２１４との間でブロックマッチングが行われる。
That is, when the horizontal coordinate position of the pixel C is set to 0, the horizontal coordinate position is −S, and M × N centering on the pixel Cc positioned one pixel below the pixel C in the vertical direction. A
同様に、画素Ｃｃと垂直方向の位置が同じであり、水平方向に図中右側に１画素移動した画素を中心とするＭ×Ｎ個の画素で構成されるブロックが取得され、ブロック２１１とそのブロックとの間でブロックマッチングが行われる。このように中心となる画素位置を水平方向にずらして、ブロックマッチングを行うブロックが１つずつ取得されてブロックマッチングが行われ、水平方向の座標位置が+Ｓであり、かつ画素Ｃより垂直方向に１画素分下に位置する画素Ｃｄを中心とするＭ×Ｎ個の画素で構成されるブロック２１５とブロック２１１との間でブロックマッチングが完了するまで処理が繰り返される。
Similarly, a block composed of M × N pixels centered on a pixel having the same position in the vertical direction as the pixel Cc and moved by one pixel to the right in the drawing in the horizontal direction is obtained. Block matching is performed with the block. In this way, the center pixel position is shifted in the horizontal direction, and blocks for block matching are obtained one by one, and block matching is performed, the horizontal coordinate position is + S, and the pixel C is in the vertical direction. The processing is repeated until block matching is completed between the
画素Ｃの座標位置を水平方向および垂直方向の座標位置を（Ｉ，Ｊ）とし、ブロック内の各画素値をｄａｔａ（ｉｘ，ｉｙ）で表すと、ブロックマッチング部１４２により演算される差分の絶対値の和ＢＭｌは、次式により表される。
If the coordinate position of the pixel C is (I, J) in the horizontal and vertical coordinate positions and each pixel value in the block is represented by data (ix, iy), the absolute value of the difference calculated by the
ここで、Ｘは、画素Ｃの水平方向の位置を中心とする距離を表しており、やはり−Ｓから＋Ｓまでの範囲の値となる。このように、Ｘの値を、−Ｓから＋Ｓまでの範囲で１ずつ変えてＢＭｌ（ｘ）の値を演算することにより、やはり合計２Ｓ＋１のブロックマッチング結果が得られることになる。 Here, X represents a distance centered on the horizontal position of the pixel C, and is also a value in the range from -S to + S. Thus, by calculating the value of BMl (x) while changing the value of X by 1 in the range from −S to + S, a total of 2S + 1 block matching results can be obtained.
ステップＳ８３において、選択部１４３は、２Ｓ＋１個のＢＭｕ（ｘ）のうち、値が最小となったものを選択し、そのＢＭｕ（ｘ）に対応するブロックを特定するとともに、２Ｓ＋１個のＢＭｌ（ｘ）のうち、値が最小となったものを選択し、そのＢＭｌ（ｘ）に対応するブロックを特定する。
In step S83, the
ステップＳ８４において選択部１４３は、ステップＳ８３の処理で選択された２つのブロックのそれぞれの位置を表す情報を出力する。ここでは、１ライン上のブロックのうち、ブロックマッチングの値（ＢＭｕ（ｘ））が最小となったブロックの位置の情報はＳｕとし、１ライン下のブロックのうち、ブロックマッチングの値（ＢＭｌ（ｘ））が最小となったブロックの位置の情報はＳｌとして出力されるものとする。
In step S84, the
次に、図１４のフローチャートを参照して、図１０のステップＳ５３のタップ生成処理の詳細について説明する。 Next, details of the tap generation processing in step S53 in FIG. 10 will be described with reference to the flowchart in FIG.
ステップＳ１０１において、タップ生成部１１３は、図１１の相関検出処理の処理結果として出力されるＳｕとＳｌを取得する。
In step S101, the
ステップＳ１０２において、タップ生成部１１３は、ステップＳ１０１の処理で取得されたＳｕとＳｌに基づいて、画像の中で高い相関性が連続すると考えられる特性を近似する直線Ｌ１を想定する。
In step S102, the
ステップＳ１０３において、タップ生成部１１３は、直線Ｌ１を垂直生成位相分だけ平行移動させた直線Ｌ２を想定する。
In step S103, the
ステップＳ１０４において、タップ生成部１１３は、予め設定されているクラスタップのうちの１つの画素であるタップ（位置）Ｐ１を選択する。
In step S <b> 104, the
ステップＳ１０５において、タップ生成部１１３は、ステップＳ１０４の処理で選択されたタップＰ１を通る直線であって画像の水平軸に平行な直線Ｌ３と、直線Ｌ２の交点Ｐ２を演算する。
In step S105, the
ステップＳ１０６において、タップ生成部１１３は、ステップＳ１０５の処理で演算された点Ｐ２の左右に位置する位置Ｐ３の画素と位置Ｐ４の画素からの距離に基づいて点Ｐ２の位置に対応する画素の画素値を演算する。
In step S106, the
図１５を参照してさらに詳細に説明する。図１５においては、ＳＤ信号の画像に配置される複数の画素が円で示されており、画像の垂直方向がｙ軸、水平方向がｘ軸として表されている。 This will be described in more detail with reference to FIG. In FIG. 15, a plurality of pixels arranged in an SD signal image are indicated by circles, and the vertical direction of the image is represented as the y-axis and the horizontal direction is represented as the x-axis.
いま、クラス分類適応処理を実行するにあたって、ＳＤ信号の中の注目画素（図１２または図１３の画素Ｃに対応する画素）の位置をＰ0とし、図１４のステップＳ１０１の処理で取得されたＳｕが水平方向に＋２（画素位置）を表すものであったとする。この場合、位置Ｐ0の画素を中心とするブロックと、位置Ｐ0から垂直方向上側に１、水平方向右側に２だけ離れた画素を中心とするブロックの相関性が高かったことになるので、当該画素の位置とＰ０を通る直線Ｌ１により画像の中で高い相関性が連続すると考えられる特性が近似されることになる。いまの場合、直線Ｌ１は次式で表される直線となる（ステップＳ１０２）。 Now, when executing the class classification adaptive processing, the position of the pixel of interest (pixel corresponding to the pixel C in FIG. 12 or FIG. 13) in the SD signal is set to P0, and the Su acquired in the processing of step S101 in FIG. Is represented as +2 (pixel position) in the horizontal direction. In this case, the correlation between the block centered on the pixel at the position P0 and the block centered on the pixel separated from the position P0 by 1 on the upper side in the vertical direction and 2 on the right side in the horizontal direction is high. And a straight line L1 passing through P0 approximate characteristics that are considered to have high correlation in the image. In this case, the straight line L1 is a straight line represented by the following equation (step S102).
ｙ＝（１／２）ｘ y = (1/2) x
ところで、上述したようにＳＤ信号は、インターレース方式の画像信号とされ、ＨＤ信号はプログレッシブ方式の画像信号とされる。インターレース方式では、水平方向に一列の画素の走査が奇数番目のフィールドと偶数番目のフィールドで交互に行われるので、ＳＤ信号の中の注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかによって、ＳＤ信号の画素位置と、ＨＤ信号の画素位置の関係が異なったものとなる。 As described above, the SD signal is an interlaced image signal, and the HD signal is a progressive image signal. In the interlace method, scanning of pixels in a row in the horizontal direction is alternately performed in the odd-numbered field and the even-numbered field, so that the field in which the target pixel exists in the SD signal is the odd-numbered field or the even-numbered field. Depending on whether it is the first field, the relationship between the pixel position of the SD signal and the pixel position of the HD signal differs.
例えば、ＳＤ信号の注目画素の位置を中心とし、注目画素の上下左右の４つの画素によりＨＤ信号の画像が構成される場合、１つの画素に対して、垂直方向に所定の間隔を設定し、その間隔の長さを１としたとき、第１番目のフィールドの１つの画素に対して垂直方向上側1/4の位置と、垂直方向下側3/4の位置にＨＤ信号の画素が生成され、２ｎｄフィールドの１つの画素に対応して垂直方向上側3/4の位置と、垂直方向下側1/4の位置にＨＤ信号の画素が生成されることになる。ＳＤ信号の１つの画素に対して生成されるＨＤ信号の画素の位置と、そのＳＤ信号の画素の位置との垂直方向の差分を、垂直生成位相と称する。
For example, when an image of an HD signal is composed of four pixels above, below, left, and right of the pixel of interest around the position of the pixel of interest of the SD signal, a predetermined interval is set in the vertical direction for one pixel, When the length of the interval is 1, HD signal pixels are generated at a position on the
なお、ＳＤ信号の画素に対して生成されるＨＤ信号の画素の水平方向の位置の関係は、ＳＤ信号の中の注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかに係らず一定である。 It should be noted that the horizontal position of the HD signal pixel generated with respect to the SD signal pixel is such that the field in which the pixel of interest exists in the SD signal is an odd field or an even field. It is constant regardless of whether it exists.
上述したステップＳ１０３の処理では、注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかにより、垂直生成位相ＶＰが特定され、直線Ｌ１を、垂直生成位相ＶＰだけ垂直方向に移動した直線Ｌ２が求められる。 In the process of step S103 described above, the vertical generation phase VP is specified depending on whether the field in which the pixel of interest exists is an odd-numbered field or an even-numbered field, and the straight line L1 is vertical by the vertical generation phase VP. A straight line L2 moved in the direction is obtained.
いま、図１５に示される位置P0の注目画素に対応して、垂直生成位相ＶＰだけ垂直方向上側に移動した位置PｈにＨＤ信号の画素が生成される場合を考える。同図において、直線Ｌ２は、直線Ｌ１と傾きが同じであり、垂直方向にＶＰだけ移動された直線とされている。すなわち、直線Ｌ２は、次式により表される直線とされている。 Consider a case in which a pixel of an HD signal is generated at a position Ph that has been moved vertically upward by the vertical generation phase VP corresponding to the target pixel at the position P0 shown in FIG. In the figure, the straight line L2 has the same inclination as the straight line L1, and is a straight line moved by VP in the vertical direction. That is, the straight line L2 is a straight line represented by the following equation.
ｙ＝（１／２）ｘ＋ＶＰ y = (1/2) x + VP
一方、ステップＳ１０４の処理では、予め設定されているクラスタップまたは予測タップのうちの１つ画素であるタップが選択される。図１５の例では、注目画素の垂直方向上側の位置Ｐ１に存在する画素が１つのタップとして選択されている。 On the other hand, in the process of step S104, a tap that is one pixel of a preset class tap or prediction tap is selected. In the example of FIG. 15, a pixel that exists at a position P <b> 1 above the target pixel in the vertical direction is selected as one tap.
そして、ステップＳ１０５の処理では、ステップＳ１０４の処理で選択されたタップを通る直線であって画像の水平軸に平行な直線Ｌ３と、直線Ｌ２の交点Ｐ２が求められる。 In the process of step S105, a straight line L3 that passes through the tap selected in the process of step S104 and is parallel to the horizontal axis of the image, and an intersection P2 of the straight line L2 are obtained.
このようにして求められた位置Ｐ２に対応する画素が、新たにクラスタップまたは予測タップを構成する画素のうちの１つの画素として特定されることになる。すなわち、上述した相関検出処理の処理結果に基づいて検出される画像の中で高い相関性が連続すると考えられる特性に基づいて、抽出されるタップが適応的に選択されることになる。 The pixel corresponding to the position P2 thus determined is specified as one of the pixels that newly constitute the class tap or the prediction tap. In other words, taps to be extracted are adaptively selected based on characteristics that are considered to have high correlation among images detected based on the processing result of the correlation detection process described above.
なお、図１５に示されるように、タップ抽出する位置P２に画素がない場合、位置P２の左右両側の位置Ｐ３と位置Ｐ４に位置する２つの画素から線形補間で画素値を生成し取得する（ステップS１０６）。 As shown in FIG. 15, when there is no pixel at the tap extraction position P2, a pixel value is generated and acquired by linear interpolation from two pixels located at the left and right positions P3 and P4 of the position P2 ( Step S106).
ここまで、位置P0の注目画素に対して垂直方向上側に生成されるHD信号の画素に関する処理について説明したが、位置P0の注目画素に対して垂直方向下側に生成されるHD信号の画素に関しても、ステップＳ１０１の処理で取得されたＳｌに基づいて直線Ｌ１が求められる。図１５の場合、Ｓｌに基づいて求められる直線Ｌ１は次式で表される直線とされている。 Up to this point, the processing related to the pixel of the HD signal generated vertically above the pixel of interest at position P0 has been described. However, the pixel of the HD signal generated vertically below the pixel of interest at position P0 has been described. Also, the straight line L1 is obtained based on S1 acquired in the process of step S101. In the case of FIG. 15, the straight line L1 obtained based on Sl is a straight line represented by the following equation.
ｙ＝ｘ y = x
そして、ステップＳ１０３乃至Ｓ１０７の処理が上述した場合と同様に実行され、やはり画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択される。 Then, the processes of steps S103 to S107 are executed in the same manner as described above, and taps are adaptively selected based on characteristics that are considered to have high correlation in the image.
図１４に戻って、ステップS１０６の処理の後、処理は、ステップS１０７に進み、全てのタップを選択したか否かが判定される。ステップS１０７において、まだ全てのタップを選択していないと判定された場合、処理は、ステップS１０４に戻り、予め設定されているクラスタップまたは予測タップを構成する画素のうち、別の１つの画素がタップとして選択される。 Returning to FIG. 14, after the process of step S <b> 106, the process proceeds to step S <b> 107, and it is determined whether all taps have been selected. If it is determined in step S107 that all taps have not yet been selected, the process returns to step S104, and another pixel among the pixels constituting the preset class tap or prediction tap is determined. Selected as a tap.
そして、予め設定されているクラスタップまたは予測タップを構成する個々の画素全てに対して、上述したステップS１０４乃至S１０６の処理が繰り返し実行されることになる。 Then, the processes in steps S104 to S106 described above are repeatedly executed for all the individual pixels constituting the preset class tap or prediction tap.
なお、ステップＳ５１の処理による動きの判定結果に対応してさらに適応的にタップが選択されるようにしてもよい。例えば、画像に動きがないと判定された場合（静止の場合）、直線Ｌ１またはＬ２の傾きを２倍にするなどしてもよい。 It should be noted that the tap may be selected more adaptively in accordance with the motion determination result obtained in step S51. For example, when it is determined that there is no motion in the image (when it is stationary), the slope of the straight line L1 or L2 may be doubled.
すなわち、直線Ｌ１またはＬ２の傾きをtiltで表すと、タップ生成処理により新たに特定されたタップの位置（図１５の位置Ｐ２）の垂直方向の座標をｙとし、新たに特定されたタップの位置から、注目画素の位置（図１５の位置Ｐ０）までの水平方向の距離をsiftは、次式により求められ、求められた距離siftに基づいて新たに特定されるタップの位置を決めることができる。 That is, when the inclination of the straight line L1 or L2 is represented by tilt, the vertical coordinate of the position of the tap newly identified by the tap generation process (position P2 in FIG. 15) is y, and the position of the newly identified tap The sift of the horizontal distance from the position of the pixel of interest to the position of the target pixel (position P0 in FIG. 15) is obtained by the following equation, and the position of the newly specified tap can be determined based on the obtained distance sift. .
sift = (tilt×( vp y )) /2.0 sift = (tilt × (vp y)) /2.0
このようにして、新たにタップの位置が特定されてタップの生成が行われる。 In this way, a tap position is newly specified and a tap is generated.
クラス分類適応処理では、学習によって教師画素値と予測値の誤差が最小になるように予測係数が決定されているので、精度の高い信号変換が可能であるが、固定的にタップを抽出する従来のクラス分類適応処理による信号変換においては、画像の中に物体のエッジなどが存在し、例えば、画像の中に斜めの線が形成される場合などは、必ずしも適切な処理を行えない場合があった。特に、予測演算に使用する画素範囲を超えて、斜めの線などが存在する場合、予測処理が上手くいかず、空間的な波形の連続性が失われて見える恐れがある。 In the classification adaptation process, the prediction coefficient is determined so that the error between the teacher pixel value and the predicted value is minimized by learning, so that highly accurate signal conversion is possible, but conventional tap extraction is fixed. In the signal conversion by the class classification adaptive processing, there is a case where an object edge or the like exists in the image. For example, when an oblique line is formed in the image, appropriate processing may not always be performed. It was. In particular, when an oblique line exists beyond the pixel range used for the prediction calculation, the prediction process may not be successful and the continuity of the spatial waveform may be lost.
これに対して、本発明においては、画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択される。その結果、常に適切な信号変換処理を行うことができる。 On the other hand, in the present invention, taps are adaptively selected based on characteristics that are considered to have high correlation in an image. As a result, appropriate signal conversion processing can always be performed.
なお、ここでは、クラスタップと予測タップが同じ方式で適応的に選択される例について説明したが、クラスタップと予測タップはそれぞれ別の方式で適応的に選択されるようにしてもよい。 Although an example in which the class tap and the prediction tap are adaptively selected by the same method has been described here, the class tap and the prediction tap may be adaptively selected by different methods.
図１６は、図８の予測係数メモリ１２４に記憶する予測係数を、予め学習によって求める学習装置１７１の構成例を示すブロック図である。
FIG. 16 is a block diagram illustrating a configuration example of the
同図において、学習装置１７１は、２次元間引きフィルタ１８１、相関検出部１８３、タップ生成部１８４、およびクラス分類適応処理部１８５により構成されており、クラス分類適応処理部１８５は、従来のクラス分類適応処理を行う機能ブロック（例えば、処理回路など）を用いて構成されている。
In the same figure, the
２次元間引きフィルタ１８１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成し、動き判定部１８２、相関検出部１８３、タップ生成部１８４、領域抽出部１９１、および領域抽出部１９４に出力する。
The two-
動き判定部１８２は、入力されたＳＤ信号に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
The
相関検出部１８３は、図１２と図１３を参照して上述したように注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックを検出する。
As described above with reference to FIGS. 12 and 13, the
タップ生成部１８４は、相関検出部１８３の検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成し、領域抽出部１９１と領域抽出部１９４を制御する。
The
クラス分類適応処理部１８５の領域抽出部１９１は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、ＳＤ信号から、クラス分類を行うために必要な画素をクラスタップとして抽出し、パターン検出部１９２に出力する。
The
パターン検出部１９２は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１９３に出力する。
Based on the input class tap, the
クラスコード決定部１９３は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、パターン検出部１９２で検出されたパターンに基づいてクラスを決定し、そのクラスに対応するクラスコードを正規方程式生成部１９５に出力する。
The class
領域抽出部１９４は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、ＳＤ信号から、ＨＤ信号を予測生成するために必要な画素を予測タップとして抽出し、正規方程式生成部１９５に出力する。
Based on the determination result by the
正規方程式生成部１９５は、入力された教師画像であるＨＤ信号と、領域抽出部１９４から入力された生徒画像である予測タップとから、クラスコード決定部１９３から供給されるクラスコード毎に正規方程式を生成し、係数決定部１９６に出力する。
The normal
係数決定部１９６は、例えば最小自乗法を用いて正規方程式を解き、各クラスコードに対応する予測係数を演算する。そして、求めた予測係数を予測係数メモリ１９７に出力し、記憶させる。この予測係数メモリ１９７に記憶された予測係数が、図８の予測係数メモリ１２４に書き込まれることになる。
The coefficient determination unit 196 solves a normal equation using, for example, the least square method, and calculates a prediction coefficient corresponding to each class code. Then, the obtained prediction coefficient is output to the
次に、図１７のフローチャートを参照して、図１６の学習装置１７１による学習処理の例について説明する。
Next, an example of learning processing by the
ステップＳ１５１において、２次元間引きフィルタ１８１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成することで生徒画像を生成する。
In step S151, the two-
ステップＳ１５２において、動き判定部１８２は、ステップＳ１５１の処理で生成された生徒画像のＳＤ信号から動きを判定する。
In step S152, the
ステップＳ１５３において、相関検出部１８３は、相関検出処理を実行する。この処理は、図１１を参照して上述した処理と同様なので詳細な説明は省略する。これにより、ステップＳ１５１の処理で生成されたＳＤ信号の注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックが検出される。
In step S153, the
ステップＳ１５４において、タップ生成部１８４は、タップ生成処理を実行する。この処理は、図１４を参照して上述した処理と同様なので詳細な説明は省略する。これにより、ステップＳ１５３の処理による検出結果に基づいて、ステップＳ１５１の処理で生成されたSD信号から抽出すべきタップを特定するための情報が生成される。
In step S154, the
ステップＳ１５５において、領域抽出部１９１は、ステップＳ１５２の処理による動きの判定結果、およびステップＳ１５４の処理で生成された情報に基づいて、ステップＳ１５１の処理で生成された生徒画像のＳＤ信号から、クラスタップを抽出する。
In step S155, the
ステップＳ１５６において、パターン検出部１９２は、ステップＳ１５５の処理で抽出されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出する。
In step S156, the
ステップＳ１５７において、クラスコード決定部１９３は、ステップＳ１５２の処理による動きの判定結果、ステップＳ１５４の処理で生成された情報、およびステップＳ１５６の処理で検出されたパターンに基づいてクラスを決定する。
In step S157, the class
ステップＳ１５８において、領域抽出部１９４は、ステップＳ１５２の処理による動きの判定結果、ステップＳ１５４の処理で生成された情報に基づいて、ステップＳ１５１の処理で生成されたＳＤ信号から予測タップを抽出する。
In step S158, the
ステップＳ１５９において、正規方程式生成部１９５は、入力された教師画像であるＨＤ信号と、ステップＳ１５８の処理で抽出された予測タップとから、クラスコード決定部１９３から供給されるクラスコード毎に正規方程式を生成する。
In step S159, the normal
ステップＳ１６０において、係数決定部１９６は、例えば最小自乗法を用いてステップＳ１５９の処理で生成された正規方程式を解き、各クラスコードに対応する予測係数を決定する。 In step S160, the coefficient determination unit 196 solves the normal equation generated in the process of step S159 using, for example, the least square method, and determines the prediction coefficient corresponding to each class code.
ステップＳ１６１において、ステップＳ１６０の処理で決定された予測係数が予測係数メモリ１９７に記憶される。
In step S161, the prediction coefficient determined in step S160 is stored in the
このようにして、学習処理が行われる。本発明においては、相関検出部１８３とタップ生成部１８４により、画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択されるようにしたので、固定的にタップを抽出する従来の学習処理の場合と比較して、より適切な信号変換処理を行うための予測係数を決定して記憶することが可能となる。
In this way, the learning process is performed. In the present invention, since the
以上においては、入力されたＳＤ信号の画像を、ＨＤ信号の画像に変換する用途で用いられる画像信号処理装置および学習装置の例について説明したが、入力信号の画像より画素数の少ない画像を得る用途においても本発明を適用することが可能である。 In the above, an example of an image signal processing device and a learning device used for converting an input SD signal image into an HD signal image has been described. However, an image having a smaller number of pixels than an input signal image is obtained. The present invention can also be applied to applications.
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
The series of processes described above can be executed by hardware, or can be executed by software. When the above-described series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose
図１８において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 18, a CPU (Central Processing Unit) 501 executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a program loaded from a
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
The
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
A
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as the
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
The recording medium shown in FIG. 18 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body. Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 511 but also those configured by a
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 The steps of executing the series of processes described above in this specification are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the order described. It also includes processing.
１０１ 画像信号処理装置， １１１ 動き判定部， １１２ 相関検出部， １１３ タップ生成部， １１４ クラス分類適応処理部， １２１ 領域抽出部， １２２ パターン検出部， １２３ クラスコード決定部， １２４ 予測係数メモリ， １２５ 予測演算部， １２６ 領域抽出部， １７１ 学習装置， １８１ ２次元フィルタ， １８２ 動き判定部， １８３ 相関検出部， １８４ タップ生成部， １８５ クラス分類適応処理部， １９１ 領域抽出部， １９２ パターン検出部， １９３ クラスコード決定部， １９４ 領域抽出部， １９５ 正規方程式生成部， １９６ 予測係数決定部， １９７ 予測係数メモリ DESCRIPTION OF SYMBOLS 101 Image signal processing apparatus, 111 Motion determination part, 112 Correlation detection part, 113 Tap production | generation part, 114 Class classification adaptive process part, 121 Area extraction part, 122 Pattern detection part, 123 Class code determination part, 124 Prediction coefficient memory, 125 Prediction calculation unit, 126 region extraction unit, 171 learning device, 181 two-dimensional filter, 182 motion determination unit, 183 correlation detection unit, 184 tap generation unit, 185 class classification adaptive processing unit, 191 region extraction unit, 192 pattern detection unit, 193 class code determination unit, 194 region extraction unit, 195 normal equation generation unit, 196 prediction coefficient determination unit, 197 prediction coefficient memory
Claims (18)
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、
前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、
前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段と
を備える画像信号処理装置。 An image signal processing device for converting a first image signal into a second image signal,
Correlation detecting means for detecting a position of a highly correlated region in an image corresponding to the first image signal;
The second image is based on a straight line showing a characteristic of continuous high correlation in the image determined based on the detection result of the correlation detection means and a predetermined position determined corresponding to the position of the target pixel. Specifying means for specifying a position of a pixel included in the first image signal necessary for generating a pixel of the signal;
Based on the pixels included in the first image signal specified by the specifying means, the first image signal is classified into classes according to the characteristics, and the prediction coefficient for each class that has been learned in advance. And a class classification adaptive processing means for executing a process of generating a pixel of the second signal by performing a prediction operation on a pixel included in the first image signal specified by the specifying means. Image signal processing device.
前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、
前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段と
を備える請求項１に記載の画像信号処理装置。 The correlation detection means includes
Extracting a first pixel block composed of a plurality of pixels centered on a target pixel in the first signal, and having a value within a preset range for the target pixel; Extracting a plurality of second pixel blocks composed of a plurality of pixels centered on a pixel separated by a distance corresponding to a plurality of values, and each of the first pixel block and the plurality of second pixel blocks A block matching means for performing block matching with
The image signal processing apparatus according to claim 1, further comprising: a selection unit that selects the first pixel block and a position of the second pixel block having the highest correlation based on a processing result of the block matching unit. .
第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、
第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、
前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択する
請求項２に記載の画像信号処理装置。 The block matching means includes
An upper block matching unit that extracts a plurality of pixel blocks located above the first pixel block in the vertical direction and performs block matching between each of the first pixel block and each of the plurality of second pixel blocks;
A lower block matching unit that extracts a plurality of pixel blocks positioned below the first pixel block in the vertical direction and performs block matching between the first pixel block and each of the plurality of second pixel blocks; Have
The selection means has the highest correlation among the second pixel blocks positioned on the upper side in the vertical direction of the first pixel block based on the processing results of the upper block matching unit and the lower block matching unit. The position of the second pixel block and the position of the second pixel block having the highest correlation among the second pixel blocks located on the lower side in the vertical direction of the first pixel block are respectively selected. 3. The image signal processing device according to 2.
前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成する
請求項３に記載の画像信号処理装置。 The specifying means is:
The straight line indicating a characteristic in which high correlation continues in the image is generated based on the position of the target pixel and the position of the second pixel block selected by the selection unit. Image signal processing device.
前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成する
請求項４に記載の画像信号処理装置。 The specifying means is:
The position of the target pixel, the position of the second pixel block selected by the selection unit, and the vertical position of the target pixel and the position of the pixel of the second image signal generated based on the target pixel The image signal processing apparatus according to claim 4, wherein the straight line is generated based on a difference in direction.
前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する
請求項１に記載の画像信号処理装置。 A motion determining means for determining a motion of an image corresponding to the first image signal;
The specifying unit is included in the first image signal necessary for generating a pixel of the second image signal based on the determination result of the motion determination unit and the detection result of the correlation detection unit. The image signal processing apparatus according to claim 1, wherein a position of a pixel is specified.
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するステップ
を含む画像信号処理方法。 An image signal processing method of an image signal processing apparatus for converting a first image signal into a second image signal,
Detecting the position of a highly correlated region in the image corresponding to the first image signal;
The second image signal based on a straight line showing a characteristic of continuous high correlation in the image determined based on the correlation detection result and a predetermined position determined corresponding to the position of the target pixel. A position of a pixel included in the first image signal necessary for generating the pixel of
Based on the pixels included in the identified first image signal, the first image signal is classified into classes according to the characteristics, and the prediction coefficient for each class learned in advance is used. An image signal processing method comprising: executing a process of generating a pixel of the second signal by performing a prediction operation on a pixel included in the identified first image signal.
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置の特定を制御し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理の実行を制御するステップ
を含むコンピュータが読み取り可能なプログラム。 A program for causing an image signal processing device that converts a first image signal into a second image signal to execute image signal processing,
In the image corresponding to the first image signal, control the detection of the position of a highly correlated region,
The second image signal based on a straight line showing a characteristic of continuous high correlation in the image determined based on the correlation detection result and a predetermined position determined corresponding to the position of the target pixel. Controlling the position of the pixel included in the first image signal necessary for generating the pixel of
Based on the pixels included in the identified first image signal, the first image signal is classified into classes according to the characteristics, and the prediction coefficient for each class learned in advance is used. A computer-readable program including a step of controlling execution of a process of generating a pixel of the second signal by performing a prediction calculation on a pixel included in the identified first image signal.
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、
前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、
前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段と
を備える学習装置。 A learning device that learns a prediction coefficient used when converting a first image signal into a second image signal,
Correlation detecting means for detecting a position of a highly correlated region in an image corresponding to the first image signal obtained by filtering the second image signal through a filter that thins out the number of pixels included in the image signal. When,
The second image is based on a straight line showing a characteristic of continuous high correlation in the image determined based on the detection result of the correlation detection means and a predetermined position determined corresponding to the position of the target pixel. Specifying means for specifying a position of a pixel included in the first image signal necessary for generating a pixel of the signal;
Based on the pixels included in the first image signal specified by the specifying means, the first image signal is classified into classes according to features thereof, and the second image signal is generated for each class. Used to generate the second signal pixel based on the first image signal pixel by solving an equation representing the relationship between the image signal pixel and the first image signal pixel. A learning apparatus comprising: class classification adaptive processing means for executing processing for obtaining a prediction coefficient.
前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、
前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段と
を備える請求項１０に記載の画像信号処理装置。 The correlation detection means includes
Extracting a first pixel block composed of a plurality of pixels centered on a target pixel in the first signal, and having a value within a preset range for the target pixel; Extracting a plurality of second pixel blocks composed of a plurality of pixels centered on a pixel separated by a distance corresponding to a plurality of values, and each of the first pixel block and the plurality of second pixel blocks A block matching means for performing block matching with
The image signal processing apparatus according to claim 10, further comprising: a selection unit that selects the first pixel block and a position of the second pixel block having the highest correlation based on a processing result of the block matching unit. .
第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、
第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、
前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択する
請求項１１に記載の画像信号処理装置。 The block matching means includes
An upper block matching unit that extracts a plurality of pixel blocks located above the first pixel block in the vertical direction and performs block matching between each of the first pixel block and each of the plurality of second pixel blocks;
A lower block matching unit that extracts a plurality of pixel blocks positioned below the first pixel block in the vertical direction and performs block matching between the first pixel block and each of the plurality of second pixel blocks; Have
The selection means has the highest correlation among the second pixel blocks positioned on the upper side in the vertical direction of the first pixel block based on the processing results of the upper block matching unit and the lower block matching unit. The position of the second pixel block and the position of the second pixel block having the highest correlation among the second pixel blocks located on the lower side in the vertical direction of the first pixel block are respectively selected. The image signal processing device according to 11.
前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成する
請求項１２に記載の画像信号処理装置。 The specifying means is:
The straight line showing a characteristic in which high correlation continues in the image is generated based on the position of the target pixel and the position of the second pixel block selected by the selection unit. Image signal processing device.
前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成する
請求項１３に記載の画像信号処理装置。 The specifying means is:
The position of the target pixel, the position of the second pixel block selected by the selection unit, and the vertical position of the target pixel and the position of the pixel of the second image signal generated based on the target pixel The image signal processing device according to claim 13, wherein the straight line is generated based on a difference in direction.
前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する
請求項１０に記載の画像信号処理装置。 A motion determining means for determining a motion of an image corresponding to the first image signal;
The specifying unit is included in the first image signal necessary for generating a pixel of the second image signal based on the determination result of the motion determination unit and the detection result of the correlation detection unit. The image signal processing apparatus according to claim 10, wherein a position of a pixel is specified.
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行する
ステップを含む学習方法。 A learning method of a learning device for learning a prediction coefficient used when converting a first image signal into a second image signal,
In the image corresponding to the first image signal obtained by filtering the second image signal through a filter that thins out the number of pixels included in the image signal, a position of a highly correlated region is detected,
The second image signal based on a straight line showing a characteristic of continuous high correlation in the image determined based on the correlation detection result and a predetermined position determined corresponding to the position of the target pixel. A position of a pixel included in the first image signal necessary for generating the pixel of
Based on the pixels included in the identified first image signal, the first image signal is classified into classes according to the characteristics thereof, and the second image signal is generated for each class. The prediction coefficient used when generating the pixel of the second signal based on the pixel of the first image signal by solving the equation representing the relationship between the pixel of the first image signal and the pixel of the first image signal A learning method including a step of executing a desired process.
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理の実行を制御する
ステップを含むコンピュータが読み取り可能なプログラム。 A program for causing a learning device that learns a prediction coefficient used when converting a first image signal to a second image signal to execute a learning process,
In the image corresponding to the first image signal obtained by filtering the second image signal through a filter that thins out the number of pixels included in the image signal, the detection of the position of a highly correlated region is controlled,
The second image signal based on a straight line showing a characteristic of continuous high correlation in the image determined based on the correlation detection result and a predetermined position determined corresponding to the position of the target pixel. A position of a pixel included in the first image signal necessary for generating the pixel of
Based on the pixels included in the identified first image signal, the first image signal is classified into classes according to the characteristics thereof, and the second image signal is generated for each class. The prediction coefficient used when generating the pixel of the second signal based on the pixel of the first image signal by solving the equation representing the relationship between the pixel of the first image signal and the pixel of the first image signal A computer-readable program that includes a step that controls the execution of the desired process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006051763A JP2007235312A (en) | 2006-02-28 | 2006-02-28 | Image signal processor and processing method, learning device, method and program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006051763A JP2007235312A (en) | 2006-02-28 | 2006-02-28 | Image signal processor and processing method, learning device, method and program, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007235312A true JP2007235312A (en) | 2007-09-13 |
Family
ID=38555490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006051763A Withdrawn JP2007235312A (en) | 2006-02-28 | 2006-02-28 | Image signal processor and processing method, learning device, method and program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007235312A (en) |
-
2006
- 2006-02-28 JP JP2006051763A patent/JP2007235312A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4265237B2 (en) | Image processing apparatus and method, learning apparatus and method, recording medium, and program | |
| JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
| US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4470899B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2001059751A1 (en) | Image processing device and method, and recording medium | |
| JP5201408B2 (en) | Frame frequency conversion apparatus, frame frequency conversion method, program for executing the method, computer-readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus | |
| JP4650683B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP2010118940A (en) | Image processing apparatus, image processing method, and program | |
| JP4507639B2 (en) | Image signal processing device | |
| JP2007235312A (en) | Image signal processor and processing method, learning device, method and program, and recording medium | |
| JP4655213B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP4770711B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5050944B2 (en) | Image processing apparatus, image processing method, learning apparatus, learning method, and program | |
| JP4240674B2 (en) | Motion detection device, motion detection method, and recording medium | |
| JP2007251690A (en) | Image processing apparatus and method therefor, learning apparatus and method therefor, and program | |
| JP4310691B2 (en) | Image processing apparatus and method, learning apparatus and method, recording medium, and program | |
| JP2009253873A (en) | Device and method for processing image, and program | |
| JP4650684B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP4232430B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP4273978B2 (en) | Information processing apparatus and method, recording medium, and program | |
| JP2006229615A (en) | Interpolated pixel generation circuit | |
| JP2006135478A (en) | Image scanning system converting device | |
| JP2002223420A (en) | Image processor and image processing method | |
| JP2006020347A (en) | Apparatus and method for generating coefficient |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |