JP3918759B2 - 画像データの生成装置および生成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば飛び越し走査において抜けている水平走査線を補間する走査線補間装置に適用することができる画像データの生成装置および生成方法に関する。
【０００２】
【従来の技術】
現行の標準的テレビジョン信号（例えばＮＴＳＣ方式）は、飛び越し走査のために、ラインフリッカ等の問題があった。この問題を解決するために、受像機側で抜けた走査線を補間し、順次走査のテレビジョン信号へ変換する走査線補間装置が既に提案されている。図５は、従来の動き適応形走査線補間装置の一例である。
【０００３】
２１で示す入力端子には、例えば１３．５ＭＨｚの周波数でサンプリングされ、１サンプル（１画素）が８ビットに量子化された、飛び越し走査のディジタルビデオ信号が供給される。この入力信号がフィールド内補間回路２２、フィールド間補間回路２３および動き検出回路２４にそれぞれ供給される。フィールド内補間回路２２は、同じフィールドの信号により補間を行う。例えば上下の走査線にそれぞれ位置する２サンプルの平均値が補間値とされる。フィールド間補間回路２３は、時間的に前フィールドの補間走査線と同一位置の走査線上で、補間画素と同一位置の画素で補間する回路である。
【０００４】
動き検出回路２４は、画素毎の動き量を検出する。動き検出回路２４は、動き係数ｋおよび１−ｋを発生する。動き係数ｋは、静止画素の場合に（ｋ＝１）となり、動き量が大きいほど、小となる係数である。
【０００５】
フィールド内補間回路２２の出力信号が乗算回路２５に供給され、フィールド間補間回路２３の出力信号が乗算回路２６に供給される。乗算回路２５によって１−ｋの係数が乗じられ、乗算回路２６によってｋの係数が乗じられる。これらの乗算回路２５および２６のそれぞれの出力信号が加算回路２７に供給され、加算回路２７から補間回路２２および２３の出力信号が混合された補間出力信号が発生する。
【０００６】
【発明が解決しようとする課題】
従来の補間回路は、動き量から想定される画像信号の特性に応じて経験的に定められた動き量に応じた重み付けによって、フィールド内補間信号とフィールド間補間信号とを混合するものである。しかしながら、想定された画像信号特性と、実際の画像信号の特性とが異なっている場合には、良好な補間ができないのみならず、出力信号に残像などの劣化が生じたりする問題があった。さらに、フィールド内補間およびフィールド間補間を用いているときには、補間装置の能力が充分でなく、飛び越し走査から順次走査への変換による画質の改善度が不十分であった。
【０００７】
従って、この発明の目的は、出力信号に劣化を生じることなく、良好な補間画質を得ることができる画像データの生成装置および生成方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１の発明は、入力画像信号に基づいて画素データを生成する画像データの生成装置において、
入力画像信号に基づいて、生成対象である注目画素位置での動き量を検出するための動き量検出手段と、
検出された動き量に基づき、クラスコードを発生するクラスコード発生手段と、
学習時に対象画素位置での動き量を求め、
対象画素位置での動き量に応じたクラスを作成し、
クラス毎に学習することで予め求められた予測係数を、クラス毎に記憶し、
クラスコードに対応するクラスに格納された予測係数を出力する係数記憶手段と、
係数記憶手段からの予測係数と注目画素に近傍な周辺画素データとの演算によって、注目画素の画素データを生成するための画素データ生成手段とを有することを特徴とする画像データの生成装置である。
【０００９】
予め学習によって、動き量毎に最適な画素値を生成するための予測係数が決定され、これがメモリに格納されている。実際の入力画像データの動き量が検出され、この動き量と対応する係数がメモリから読出され、係数と対象画素の空間的および時間的に近傍の画素データとの線形１次結合によって、画素値が生成される。
【００１０】
【発明の実施の形態】
以下、この発明を走査線補間装置に対して適用した一実施形態について説明する。図１において、１は、飛び越し走査のディジタルビデオ信号の入力端子である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。２は、入力信号をブロック構造の信号に変換するための時系列変換回路である。
【００１１】
時系列変換回路２の出力信号が補間演算回路３および動き検出回路５に供給される。補間演算回路３には、後述のように予め学習により獲得された予測係数が格納されているメモリ４が接続されている。この予測係数は、飛び越された水平走査線上の補間値を正確に推定するための係数である。
【００１２】
動き検出回路５は、後述のように、例えばブロック毎のフレーム間差分の絶対値和から動き量を検出する。フレーム間差分は、現フレームと時間的に前フレームの間で、同一位置の画素データを減算することによって求められる。このフレーム間差分を絶対値へ変換し、１ブロックについて集計した和を動き量としている。
【００１３】
動き検出回路５の出力信号がクラスコード発生回路６に供給される。補間の対象である、注目画素の動き量が例えば２５６通りのクラスへ分割され、このクラスを指示するクラスコードがクラスコード発生回路６によって形成される。
【００１４】
クラスコードがメモリ４にアドレスとして供給され、そのクラスと対応する予測係数がメモリ４から読出される。予測係数が補間演算回路３に供給され、注目画素の補間値が形成される。補間演算回路３から出力端子７に飛び越された走査線上の画素の補間値が出力される。存在している走査線のデータ（入力データ）と補間走査線のデータとは、図示しないがフレームメモリによって合成することができる。
【００１５】
図２は、クラス分類と補間演算を説明するためのもので、現フィールド（ｎ番目フィールド）と前フィールド（（ｎ−１）フィールド）のそれぞれの一部を示している。現フィールドの走査線ＬｎとＬn+2 の間の存在しない走査線Ｌn+1 上の画素の値ｙをを生成する場合、図示されている複数の画素の値を使用して補間演算がなされる。
【００１６】
一例として、現フィールド内の補間走査線上に位置し、補間画素の上下にそれぞれ位置する二つの画素の値ｘ2 、ｘ5 と、画素ｘ2 の両側の画素の値ｘ1 、ｘ3 と、画素ｘ5 の両側の画素の値ｘ4 、ｘ6 と、前フィールド内の走査線Ｌn+1上に位置し、注目画素と同一位置の画素の値ｘ8 と、その両側の画素の値ｘ7 、ｘ9 とが使用される。注目画素の補間値ｙは、予測係数をｗ1 〜ｗ9 で表すと、補間演算回路３によって、下記の線形１次結合によって生成される。
【００１７】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 ＋ｗ5 ｘ5 ＋ｗ6 ｘ6 ＋ｗ7 ｘ7 ＋ｗ8 ｘ8 ＋ｗ9 ｘ9 （１）
【００１８】
図３を参照して、動き検出の一例について述べる。ｎ番目のフレームは、図２のｎ番目のフィールドおよび（ｎ−１）番目のフィールドからなる。動き検出回路５では、現フレーム（ｎ番目のフレーム）内の上述の９画素（ｘ1 〜ｘ9 ）からなる１ブロックと、前フレーム（（ｎ−１）フレーム）内の同一位置の９画素（ｘ1 ´〜ｘ9 ´）からなる１ブロックとの間でフレーム差分の絶対値和ΣΔＦが求められる。すなわち、

【００１９】
この絶対値和ΣΔＦが２５６通りのクラスへ分割され、８ビットのクラスコードへ生成される。各クラスに対応した係数が予め学習により獲得される。
【００２０】
なお、フレーム差分の絶対値和としては、前フレームのみならず、後フレームのフレーム差分の絶対値和を併用しても良い。また、フレーム差分の絶対値から動き量を検出する方法に限らず、ブロックマッチング法等の既に知られている種々の既知の動き量検出の方法を使用することができる。
【００２１】
上述のメモリ４には、予め学習により獲得された予測係数が格納されている。図４は、学習をソフトウェア処理で行う時のその動作を示すフローチャートである。ステップ１１から学習処理の制御が開始され、ステップ１２の学習データ形成では、既知の画像に対応した学習データが形成される。具体的には、上述したように、図２および図３の配列の複数の画素を使用できる。ステップ１３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ１６の予測係数決定へ、終了していなければ、ステップ１４の動き検出、クラス決定へ制御が移る。
【００２２】
ステップ１４の動き検出、クラス決定は、上述のように、注目画素の動き量を検出し、動き量に応じて８ビットのクラスコードを生成するステップである。次のステップ１５の正規方程式加算では、後述する正規方程式が作成される。
【００２３】
ステップ１３のデータ終了から全データの処理が終了後、制御がステップ１６に移り、ステップ１６の予測係数決定では、後述する式（１０）を行列解法を用いて解いて、係数を決める。ステップ１７の予測係数ストアで、予測係数をメモリにストアし、ステップ１８で学習処理の制御が終了する。
【００２４】
図４中のステップ１５（正規方程式生成）およびステップ１６（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その予測値をｙ´とし、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
を設定する。学習前はｗi が未定係数である。
【００２５】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（３）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （４）
（但し、ｊ＝１，２，‥‥ｍ）
【００２６】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （５）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（６）を最小にする係数を求める。
【００２７】
【数１】

【００２８】
いわゆる最小自乗法による解法である。ここで式（６）のｗi による偏微分係数を求める。
【００２９】
【数２】

【００３０】
式（７）を０にするように各ｗi を決めればよいから、
【００３１】
【数３】

【００３２】
として、行列を用いると
【００３３】
【数４】

【００３４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解けば、予測係数ｗi が求まり、動き／静止の判定結果とクラスコードをアドレスとして、この予測係数ｗiをメモリに格納しておく。
【００３５】
図４は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成によって、学習を行うこともできる。また、この発明は、走査線補間に限らず、サブサンプリングにより間引かれた画素の値を補間する等、存在しない画素の値を補間する場合に対して適用することができる。
【００３６】
【発明の効果】
この発明は、動き量毎に最適な予測係数を予め学習により求めて、この予測係数をメモリに格納しておき、画素値の生成時にこの係数を利用しているので、出力信号に劣化を生じることなく、良好な画質を得ることができる。
【図面の簡単な説明】
【図１】この発明を走査線補間装置に対して適用した一実施形態のブロック図である。
【図２】この発明におけるクラス分類および補間のために使用する画素の配列を示す略線図である。
【図３】この発明において、動き量を検出する動作の説明のための略線図である。
【図４】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図５】従来の走査線補間装置のブロック図である。
【符号の説明】
３・・・補間演算回路、４・・・予測係数が格納されたメモリ、５・・・動き検出回路

Claims (4)

1. 入力画像信号に基づいて画素データを生成する画像データの生成装置において、
   上記入力画像信号に基づいて、生成対象である注目画素位置での動き量を検出するための動き量検出手段と、
   上記検出された動き量に基づき、クラスコードを発生するクラスコード発生手段と、
   学習時に対象画素位置での動き量を求め、
   上記対象画素位置での動き量に応じたクラスを作成し、
   上記クラス毎に学習することで予め求められた予測係数を、上記クラス毎に記憶し、
   上記クラスコードに対応する上記クラスに格納された予測係数を出力する係数記憶手段と、
   上記係数記憶手段からの予測係数と上記注目画素に近傍な周辺画素データとの演算によって、上記注目画素の画素データを生成するための画素データ生成手段とを有することを特徴とする画像データの生成装置。
2. 請求項１に記載の画像データの生成装置において、
   上記動き検出手段は、フレーム間差分に基づいて上記動き量を検出するようにした画像データの生成装置。
3. 請求項１に記載の画像データの生成装置において、
   入力画像信号が飛び越し走査信号であって、フィールド内の飛び越された水平走査線位置の画素データが上記画素データ生成手段で生成されることを特徴とする画像データの生成装置。
4. 入力画像信号に基づいて画素データを生成する画像データの生成方法において、
   上記入力画像信号に基づいて、生成対象である注目画素位置での動き量を検出するための動き量検出ステップと、
   上記検出された動き量に基づき、クラスコードを発生するクラスコード発生ステップと、
   学習用の画像信号中の対象画素位置での動き量を求め、
   上記対象画素位置での動き量に応じたクラスを作成し、
   上記クラス毎に学習することで予め求められた予測係数を、上記クラス毎に記憶し、
   上記クラスコードに対応する上記クラスに格納された予測係数を出力する係数記憶ステップと、
   上記係数記憶ステップからの予測係数と上記注目画素に近傍な周辺画素データとの演算によって、上記注目画素の画素データを生成するための画素データ生成ステップ
   とを有することを特徴とする画像データの生成方法。

Images