JP3480015B2 - 画像データの生成装置および生成方法 - Google Patents
画像データの生成装置および生成方法Info
- Publication number
- JP3480015B2 JP3480015B2 JP31734993A JP31734993A JP3480015B2 JP 3480015 B2 JP3480015 B2 JP 3480015B2 JP 31734993 A JP31734993 A JP 31734993A JP 31734993 A JP31734993 A JP 31734993A JP 3480015 B2 JP3480015 B2 JP 3480015B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- class
- generating
- temporally
- motion amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、例えば飛び越し
走査において抜けている水平走査線を補間する走査線補
間装置に適用することができる画像データの生成装置お
よび生成方法に関する。
走査において抜けている水平走査線を補間する走査線補
間装置に適用することができる画像データの生成装置お
よび生成方法に関する。
【０００２】
【従来の技術】現行の標準的テレビジョン信号（例えば
ＮＴＳＣ方式）は、飛び越し走査のために、ラインフリ
ッカ等の問題があった。この問題を解決するために、受
像機側で抜けた走査線を補間し、順次走査のテレビジョ
ン信号へ変換する走査線補間装置が既に提案されてい
る。図５は、従来の動き適応形走査線補間装置の一例で
ある。
ＮＴＳＣ方式）は、飛び越し走査のために、ラインフリ
ッカ等の問題があった。この問題を解決するために、受
像機側で抜けた走査線を補間し、順次走査のテレビジョ
ン信号へ変換する走査線補間装置が既に提案されてい
る。図５は、従来の動き適応形走査線補間装置の一例で
ある。
【０００３】２１で示す入力端子には、例えば１３．５
ＭＨｚの周波数でサンプリングされ、１サンプル（１画
素）が８ビットに量子化された、飛び越し走査のディジ
タルビデオ信号が供給される。この入力信号がフィール
ド内補間回路２２、フィールド間補間回路２３および動
き検出回路２４にそれぞれ供給される。フィールド内補
間回路２２は、同じフィールドの信号により補間を行
う。例えば上下の走査線にそれぞれ位置する２サンプル
の平均値が補間値とされる。フィールド間補間回路２３
は、時間的に前フィールドの補間走査線と同一位置の走
査線上で、補間画素と同一位置の画素で補間する回路で
ある。
ＭＨｚの周波数でサンプリングされ、１サンプル（１画
素）が８ビットに量子化された、飛び越し走査のディジ
タルビデオ信号が供給される。この入力信号がフィール
ド内補間回路２２、フィールド間補間回路２３および動
き検出回路２４にそれぞれ供給される。フィールド内補
間回路２２は、同じフィールドの信号により補間を行
う。例えば上下の走査線にそれぞれ位置する２サンプル
の平均値が補間値とされる。フィールド間補間回路２３
は、時間的に前フィールドの補間走査線と同一位置の走
査線上で、補間画素と同一位置の画素で補間する回路で
ある。
【０００４】動き検出回路２４は、画素毎の動き量を検
出する。動き検出回路２４は、動き係数ｋおよび１−ｋ
を発生する。動き係数ｋは、静止画素の場合に（ｋ＝
１）となり、動き量が大きいほど、小となる係数であ
る。
出する。動き検出回路２４は、動き係数ｋおよび１−ｋ
を発生する。動き係数ｋは、静止画素の場合に（ｋ＝
１）となり、動き量が大きいほど、小となる係数であ
る。
【０００５】フィールド内補間回路２２の出力信号が乗
算回路２５に供給され、フィールド間補間回路２３の出
力信号が乗算回路２６に供給される。乗算回路２５によ
って１−ｋの係数が乗じられ、乗算回路２６によってｋ
の係数が乗じられる。これらの乗算回路２５および２６
のそれぞれの出力信号が加算回路２７に供給され、加算
回路２７から補間回路２２および２３の出力信号が混合
された補間出力信号が発生する。
算回路２５に供給され、フィールド間補間回路２３の出
力信号が乗算回路２６に供給される。乗算回路２５によ
って１−ｋの係数が乗じられ、乗算回路２６によってｋ
の係数が乗じられる。これらの乗算回路２５および２６
のそれぞれの出力信号が加算回路２７に供給され、加算
回路２７から補間回路２２および２３の出力信号が混合
された補間出力信号が発生する。
【０００６】
【発明が解決しようとする課題】従来の補間回路は、動
き量から想定される画像信号の特性に応じて経験的に定
められた動き量に応じた重み付けによって、フィールド
内補間信号とフィールド間補間信号とを混合するもので
ある。しかしながら、想定された画像信号特性と、実際
の画像信号の特性とが異なっている場合には、良好な補
間ができないのみならず、出力信号に残像などの劣化が
生じたりする問題があった。さらに、フィールド内補間
およびフィールド間補間を用いているときには、補間装
置の能力が充分でなく、飛び越し走査から順次走査への
変換による画質の改善度が不十分であった。
き量から想定される画像信号の特性に応じて経験的に定
められた動き量に応じた重み付けによって、フィールド
内補間信号とフィールド間補間信号とを混合するもので
ある。しかしながら、想定された画像信号特性と、実際
の画像信号の特性とが異なっている場合には、良好な補
間ができないのみならず、出力信号に残像などの劣化が
生じたりする問題があった。さらに、フィールド内補間
およびフィールド間補間を用いているときには、補間装
置の能力が充分でなく、飛び越し走査から順次走査への
変換による画質の改善度が不十分であった。
【０００７】従って、この発明の目的は、出力信号に劣
化を生じることなく、良好な補間画質を得ることができ
る画像データの生成装置および生成方法を提供すること
にある。
化を生じることなく、良好な補間画質を得ることができ
る画像データの生成装置および生成方法を提供すること
にある。
【０００８】
【課題を解決するための手段】請求項１の発明は、入力
画像信号中に存在しない画素データを生成する画像デー
タの生成装置において、入力画像信号に基づいて、生成
対象である注目画素位置での動き量を検出するための動
き量検出手段と、検出された動き量および、注目画素位
置と空間的および／または時間的に近傍の複数の参照画
素のレベル分布のパターンに応じたクラスコードを発生
するクラスコード発生手段と、 学習時に対象画素位置で
の動き量を求め、対象画素位置での動き量および、対象
画素の空間的および／または時間的に近傍の複数の参照
画素のレベル分布のパターンに応じたクラスを作成し、
クラス毎に学習することで予め求められた予測係数を、
クラス毎に記憶し、クラスコードに対応するクラスに格
納された予測係数を出力する係数記憶手段と、係数記憶
手段からの予測係数と注目画素位置と空間的および／ま
たは時間的に近傍の複数の周辺画素データとの演算によ
って、注目画素位置の画素データを生成するための画素
データ生成手段とを有することを特徴とする画像データ
の生成装置である。
画像信号中に存在しない画素データを生成する画像デー
タの生成装置において、入力画像信号に基づいて、生成
対象である注目画素位置での動き量を検出するための動
き量検出手段と、検出された動き量および、注目画素位
置と空間的および／または時間的に近傍の複数の参照画
素のレベル分布のパターンに応じたクラスコードを発生
するクラスコード発生手段と、 学習時に対象画素位置で
の動き量を求め、対象画素位置での動き量および、対象
画素の空間的および／または時間的に近傍の複数の参照
画素のレベル分布のパターンに応じたクラスを作成し、
クラス毎に学習することで予め求められた予測係数を、
クラス毎に記憶し、クラスコードに対応するクラスに格
納された予測係数を出力する係数記憶手段と、係数記憶
手段からの予測係数と注目画素位置と空間的および／ま
たは時間的に近傍の複数の周辺画素データとの演算によ
って、注目画素位置の画素データを生成するための画素
データ生成手段とを有することを特徴とする画像データ
の生成装置である。
【０００９】
【作用】予め学習によって、動き量毎に最適な補間値を
生成するための予測係数が決定され、これがメモリに格
納されている。実際の入力画像データの動き量が検出さ
れ、この動き量と対応する動き量がメモリから読出さ
れ、読出し係数と補間対象画素の空間的および時間的に
近傍の画素データとの線形１次結合によって、補間値が
生成される。
生成するための予測係数が決定され、これがメモリに格
納されている。実際の入力画像データの動き量が検出さ
れ、この動き量と対応する動き量がメモリから読出さ
れ、読出し係数と補間対象画素の空間的および時間的に
近傍の画素データとの線形１次結合によって、補間値が
生成される。
【００１０】
【実施例】以下、この発明を走査線補間装置に対して適
用した一実施例について説明する。図１において、１
は、飛び越し走査のディジタルビデオ信号の入力端子で
ある。具体的には、放送などによる伝送、ＶＴＲ等から
の再生信号が入力端子１に供給される。２は、入力信号
をブロック構造の信号に変換するための時系列変換回路
である。
用した一実施例について説明する。図１において、１
は、飛び越し走査のディジタルビデオ信号の入力端子で
ある。具体的には、放送などによる伝送、ＶＴＲ等から
の再生信号が入力端子１に供給される。２は、入力信号
をブロック構造の信号に変換するための時系列変換回路
である。
【００１１】時系列変換回路２の出力信号が補間演算回
路３および動き検出回路５に供給される。補間演算回路
３には、後述のように予め学習により獲得された予測係
数が格納されているメモリ４ａ、４ｂが接続されてい
る。この予測係数は、飛び越された水平走査線上の補間
値を正確に推定するための係数である。
路３および動き検出回路５に供給される。補間演算回路
３には、後述のように予め学習により獲得された予測係
数が格納されているメモリ４ａ、４ｂが接続されてい
る。この予測係数は、飛び越された水平走査線上の補間
値を正確に推定するための係数である。
【００１２】動き検出回路５は、後述のように、例えば
ブロック毎のフレーム間差分の絶対値和から動き量を検
出する。フレーム間差分は、現フレームと時間的に前フ
レームの間で、同一位置の画素データを減算することに
よって求められる。このフレーム間差分を絶対値へ変換
し、１ブロックについて集計した和を所定のしきい値と
比較することによって、現フレームの注目画素が動き画
素か、あるいは静止画素かの判定を行う。
ブロック毎のフレーム間差分の絶対値和から動き量を検
出する。フレーム間差分は、現フレームと時間的に前フ
レームの間で、同一位置の画素データを減算することに
よって求められる。このフレーム間差分を絶対値へ変換
し、１ブロックについて集計した和を所定のしきい値と
比較することによって、現フレームの注目画素が動き画
素か、あるいは静止画素かの判定を行う。
【００１３】動き検出回路５の出力信号がクラスコード
発生回路６ａ、６ｂに供給される。補間の対象である、
注目画素の近傍の複数画素のレベル分布のパターン、す
なわち、クラスがクラスコード発生回路６ａ、６ｂによ
って決定される。このクラスを指示するクラスコードが
形成される。
発生回路６ａ、６ｂに供給される。補間の対象である、
注目画素の近傍の複数画素のレベル分布のパターン、す
なわち、クラスがクラスコード発生回路６ａ、６ｂによ
って決定される。このクラスを指示するクラスコードが
形成される。
【００１４】クラスコードがメモリ４ａ、４ｂにそれぞ
れアドレスとして供給され、そのクラスと対応する予測
係数がメモリ４ａ、４ｂからそれぞれ読出される。メモ
リ４ａ、４ｂは、別個のメモリに限らず、一つのメモリ
のメモリ領域を分割し、動き／静止の判定結果によっ
て、メモリ領域を選択する構成としても良い。予測係数
が補間演算回路３に供給され、注目画素の補間値が形成
される。補間演算回路３から出力端子７に飛び越された
走査線上の画素の補間値が出力される。存在している走
査線のデータ（入力データ）と補間走査線のデータと
は、図示しないがフレームメモリによって合成すること
ができる。
れアドレスとして供給され、そのクラスと対応する予測
係数がメモリ４ａ、４ｂからそれぞれ読出される。メモ
リ４ａ、４ｂは、別個のメモリに限らず、一つのメモリ
のメモリ領域を分割し、動き／静止の判定結果によっ
て、メモリ領域を選択する構成としても良い。予測係数
が補間演算回路３に供給され、注目画素の補間値が形成
される。補間演算回路３から出力端子７に飛び越された
走査線上の画素の補間値が出力される。存在している走
査線のデータ（入力データ）と補間走査線のデータと
は、図示しないがフレームメモリによって合成すること
ができる。
【００１５】図２は、クラス分類と補間演算を説明する
ためのもので、現フィールド（ｎ番目フィールド）と前
フィールド（（ｎ−１）フィールド）のそれぞれの一部
を示している。現フィールドの走査線ＬｎとＬn+2 の間
の存在しない走査線Ｌn+1 上の画素の値ｙをを生成する
場合、図示されている複数の画素の値を使用してレベル
分布と対応するクラス分類および補間演算がなされる。
ためのもので、現フィールド（ｎ番目フィールド）と前
フィールド（（ｎ−１）フィールド）のそれぞれの一部
を示している。現フィールドの走査線ＬｎとＬn+2 の間
の存在しない走査線Ｌn+1 上の画素の値ｙをを生成する
場合、図示されている複数の画素の値を使用してレベル
分布と対応するクラス分類および補間演算がなされる。
【００１６】一例として、現フィールド内の補間走査線
上に位置し、補間画素の上下にそれぞれ位置する二つの
画素の値ｘ2 、ｘ5 と、画素ｘ2 の両側の画素の値
ｘ1 、ｘ3 と、画素ｘ5 の両側の画素の値ｘ4 、ｘ
6 と、前フィールド内の走査線Ｌn+1上に位置し、注目
画素と同一位置の画素の値ｘ8 と、その両側の画素の値
ｘ7 、ｘ9 とが使用される。注目画素の補間値ｙは、予
測係数をｗ1 〜ｗ9 で表すと、補間演算回路３によっ
て、下記の線形１次結合によって生成される。
上に位置し、補間画素の上下にそれぞれ位置する二つの
画素の値ｘ2 、ｘ5 と、画素ｘ2 の両側の画素の値
ｘ1 、ｘ3 と、画素ｘ5 の両側の画素の値ｘ4 、ｘ
6 と、前フィールド内の走査線Ｌn+1上に位置し、注目
画素と同一位置の画素の値ｘ8 と、その両側の画素の値
ｘ7 、ｘ9 とが使用される。注目画素の補間値ｙは、予
測係数をｗ1 〜ｗ9 で表すと、補間演算回路３によっ
て、下記の線形１次結合によって生成される。
【００１７】ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4
ｘ4 ＋ｗ5 ｘ5 ＋ｗ6 ｘ6 ＋ｗ7 ｘ7 ＋ｗ8 ｘ8 ＋ｗ9
ｘ9 （１）
ｘ4 ＋ｗ5 ｘ5 ＋ｗ6 ｘ6 ＋ｗ7 ｘ7 ＋ｗ8 ｘ8 ＋ｗ9
ｘ9 （１）
【００１８】このような補間処理は、動き検出回路５に
よって判定された結果に応答して、動き画素および静止
画素のそれぞれについてなされる。また、クラスコード
発生回路６ａ、６ｂにおいて、レベル分布のパターン
は、例えば補間演算に使用されるものと同一の９画素を
参照して検出される。ここでは、クラス分類のために参
照される画素と補間演算に使用する画素とが同一とされ
ているが、必ずしもその必要はない。各画素の値が８ビ
ットの場合には、クラス数が非常に多くなり、メモリの
容量の増大等、ハードウエアの規模が大きくなるので、
これらの画素のビット数が圧縮される。
よって判定された結果に応答して、動き画素および静止
画素のそれぞれについてなされる。また、クラスコード
発生回路６ａ、６ｂにおいて、レベル分布のパターン
は、例えば補間演算に使用されるものと同一の９画素を
参照して検出される。ここでは、クラス分類のために参
照される画素と補間演算に使用する画素とが同一とされ
ているが、必ずしもその必要はない。各画素の値が８ビ
ットの場合には、クラス数が非常に多くなり、メモリの
容量の増大等、ハードウエアの規模が大きくなるので、
これらの画素のビット数が圧縮される。
【００１９】一例として、ＡＤＲＣ（Adaptive Dynamic
Range Coding)によって参照される画素の値が圧縮され
る。ＡＤＲＣは、画像の局所的な相関を利用してレベル
方向の冗長度を適応的に除去するものである。すなわ
ち、８ビットの原データの持つ０〜２５５のダイナミッ
クレンジの中で、空間的および時間的に近傍の複数画素
からなるブロック毎に再量子化するのに必要なブロック
内ダイナミックレンジが大幅に小さくなることに注目し
て、各画素の量子化ビット数を元の８ビットより大幅に
低減する。
Range Coding)によって参照される画素の値が圧縮され
る。ＡＤＲＣは、画像の局所的な相関を利用してレベル
方向の冗長度を適応的に除去するものである。すなわ
ち、８ビットの原データの持つ０〜２５５のダイナミッ
クレンジの中で、空間的および時間的に近傍の複数画素
からなるブロック毎に再量子化するのに必要なブロック
内ダイナミックレンジが大幅に小さくなることに注目し
て、各画素の量子化ビット数を元の８ビットより大幅に
低減する。
【００２０】より具体的には、１ビットＡＤＲＣを使用
できる。すなわち、上述の参照画素ｘ1 〜ｘ9 からなる
ブロックの最大値および最小値が検出され、最大値およ
び最小値の差であるダイナミックレンジが検出され、参
照画素の値がダイナミックレンジで割算され、その商が
０．５と比較され、０．５以上のものが`1' 、それより
小さいものが`0' に符号化される。従って、９ビットの
クラスコードが発生する。１ビット以外のビット数の出
力を発生するＡＤＲＣを採用しても良い。
できる。すなわち、上述の参照画素ｘ1 〜ｘ9 からなる
ブロックの最大値および最小値が検出され、最大値およ
び最小値の差であるダイナミックレンジが検出され、参
照画素の値がダイナミックレンジで割算され、その商が
０．５と比較され、０．５以上のものが`1' 、それより
小さいものが`0' に符号化される。従って、９ビットの
クラスコードが発生する。１ビット以外のビット数の出
力を発生するＡＤＲＣを採用しても良い。
【００２１】ＡＤＲＣに限らず、ＤＰＣＭ(Differentia
l pulse code modulation)、ＢＴＣ(Block Trancation
Coding) 、ＶＱ（ベクトル量子化）等の圧縮符号化のエ
ンコーダをクラスコード発生回路６ａ、６ｂとして使用
することができる。また、参照画素を同一のビット数の
データに変換しているが、注目画素と参照画素との間の
距離を考慮して、割り当てビット数を異ならせても良
い。すなわち、注目画素により近い参照画素の割り当て
ビット数がそれが遠いもののビット数より多くされる。
l pulse code modulation)、ＢＴＣ(Block Trancation
Coding) 、ＶＱ（ベクトル量子化）等の圧縮符号化のエ
ンコーダをクラスコード発生回路６ａ、６ｂとして使用
することができる。また、参照画素を同一のビット数の
データに変換しているが、注目画素と参照画素との間の
距離を考慮して、割り当てビット数を異ならせても良
い。すなわち、注目画素により近い参照画素の割り当て
ビット数がそれが遠いもののビット数より多くされる。
【００２２】図３を参照して、動き検出の一例について
述べる。ｎ番目のフレームは、図２のｎ番目のフィール
ドおよび（ｎ−１）番目のフィールドからなる。動き検
出回路５では、現フレーム（ｎ番目のフレーム）内の上
述の９画素（ｘ1 〜ｘ9 ）からなる１ブロックと、前フ
レーム（（ｎ−１）フレーム）内の同一位置の９画素
（ｘ1 ´〜ｘ9 ´）からなる１ブロックとの間でフレー
ム差分の絶対値和ΣΔＦが求められる。すなわち、 ΣΔＦ＝｜ｘ1 −ｘ1 ´｜＋｜ｘ2 −ｘ2 ´｜＋・・・
・・・＋｜ｘ9 −ｘ9´｜ （２）
述べる。ｎ番目のフレームは、図２のｎ番目のフィール
ドおよび（ｎ−１）番目のフィールドからなる。動き検
出回路５では、現フレーム（ｎ番目のフレーム）内の上
述の９画素（ｘ1 〜ｘ9 ）からなる１ブロックと、前フ
レーム（（ｎ−１）フレーム）内の同一位置の９画素
（ｘ1 ´〜ｘ9 ´）からなる１ブロックとの間でフレー
ム差分の絶対値和ΣΔＦが求められる。すなわち、 ΣΔＦ＝｜ｘ1 −ｘ1 ´｜＋｜ｘ2 −ｘ2 ´｜＋・・・
・・・＋｜ｘ9 −ｘ9´｜ （２）
【００２３】この絶対値和ΣΔＦが所定のしきい値と比
較され、しきい値より大きい時には、ブロック内の中心
の画素（ｘ8 ）が動き画素と判断され、しきい値より小
さい時には、これが静止画素と判断される。そして、上
述のように、動き画素に関して、クラスコード発生回路
６ａがレベル分布のパターンと対応するクラスコードを
形成し、静止画素に関して同様にクラスコード発生回路
６ｂがレベル分布のパターンと対応するクラスコードを
形成する。
較され、しきい値より大きい時には、ブロック内の中心
の画素（ｘ8 ）が動き画素と判断され、しきい値より小
さい時には、これが静止画素と判断される。そして、上
述のように、動き画素に関して、クラスコード発生回路
６ａがレベル分布のパターンと対応するクラスコードを
形成し、静止画素に関して同様にクラスコード発生回路
６ｂがレベル分布のパターンと対応するクラスコードを
形成する。
【００２４】なお、フレーム差分の絶対値和としては、
前フレームのみならず、後フレームのフレーム差分の絶
対値和を併用しても良い。また、フレーム差分の絶対値
から動き量を検出する方法に限らず、ブロックマッチン
グ法等の既に知られている種々の既知の動き量検出の方
法を使用することができる。
前フレームのみならず、後フレームのフレーム差分の絶
対値和を併用しても良い。また、フレーム差分の絶対値
から動き量を検出する方法に限らず、ブロックマッチン
グ法等の既に知られている種々の既知の動き量検出の方
法を使用することができる。
【００２５】上述のメモリ４ａ、４ｂには、予め学習に
より獲得された予測係数が格納されている。図４は、学
習をソフトウェア処理で行う時のその動作を示すフロー
チャートである。ステップ１１から学習処理の制御が開
始され、ステップ１２の学習データ形成では、既知の画
像に対応した学習データが形成される。具体的には、上
述したように、図２および図３の配列の複数の画素を使
用できる。ステップ１３のデータ終了では、入力された
全データ例えば１フレームのデータの処理が終了してい
れば、ステップ１６の予測係数決定へ、終了していなけ
れば、ステップ１４の動き検出、クラス決定へ制御が移
る。
より獲得された予測係数が格納されている。図４は、学
習をソフトウェア処理で行う時のその動作を示すフロー
チャートである。ステップ１１から学習処理の制御が開
始され、ステップ１２の学習データ形成では、既知の画
像に対応した学習データが形成される。具体的には、上
述したように、図２および図３の配列の複数の画素を使
用できる。ステップ１３のデータ終了では、入力された
全データ例えば１フレームのデータの処理が終了してい
れば、ステップ１６の予測係数決定へ、終了していなけ
れば、ステップ１４の動き検出、クラス決定へ制御が移
る。
【００２６】ステップ１４の動き検出、クラス決定は、
上述のように、注目画素の動き／静止を判定し、また、
注目画素を中心とするレベル分布のパターンを検出する
ステップである。次のステップ１５の正規方程式加算で
は、後述する正規方程式が作成される。
上述のように、注目画素の動き／静止を判定し、また、
注目画素を中心とするレベル分布のパターンを検出する
ステップである。次のステップ１５の正規方程式加算で
は、後述する正規方程式が作成される。
【００２７】ステップ１３のデータ終了から全データの
処理が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式（１０）を行列解法
を用いて解いて、係数を決める。ステップ１７の予測係
数ストアで、予測係数をメモリにストアし、ステップ１
８で学習処理の制御が終了する。
処理が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式（１０）を行列解法
を用いて解いて、係数を決める。ステップ１７の予測係
数ストアで、予測係数をメモリにストアし、ステップ１
８で学習処理の制御が終了する。
【００２８】図４中のステップ１５（正規方程式生成）
およびステップ１６（予測係数決定）の処理をより詳細
に説明する。注目画素の真値をｙとし、その予測値をｙ
´とし、その周囲の画素の値をｘ1 〜ｘn としたとき、
クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結
合 ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３） を設定する。学習前はｗi が未定係数である。
およびステップ１６（予測係数決定）の処理をより詳細
に説明する。注目画素の真値をｙとし、その予測値をｙ
´とし、その周囲の画素の値をｘ1 〜ｘn としたとき、
クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結
合 ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３） を設定する。学習前はｗi が未定係数である。
【００２９】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（３）に従って、 ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （４） （但し、ｊ＝１，２，‥‥ｍ）
データ数がｍの場合、式（３）に従って、 ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （４） （但し、ｊ＝１，２，‥‥ｍ）
【００３０】ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決ま
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （５） （但し、ｊ＝１，２，‥‥ｍ） と定義して、次の式（６）を最小にする係数を求める。
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （５） （但し、ｊ＝１，２，‥‥ｍ） と定義して、次の式（６）を最小にする係数を求める。
【００３１】
【数１】
【００３２】いわゆる最小自乗法による解法である。こ
こで式（６）のｗi による偏微分係数を求める。
こで式（６）のｗi による偏微分係数を求める。
【００３３】
【数２】
【００３４】式（７）を０にするように各ｗi を決めれ
ばよいから、
ばよいから、
【００３５】
【数３】
【００３６】として、行列を用いると
【００３７】
【数４】
【００３８】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解けば、予測係数ｗi が
求まり、動き／静止の判定結果とクラスコードをアドレ
スとして、この予測係数ｗiをメモリに格納しておく。
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解けば、予測係数ｗi が
求まり、動き／静止の判定結果とクラスコードをアドレ
スとして、この予測係数ｗiをメモリに格納しておく。
【００３９】図４は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成によって、学習を行
うこともできる。また、補間値を形成するのに、予測係
数による線形１次結合に限らず、データの値そのものを
学習によって予め作成し、この値を補間値としても良
い。さらに、この発明は、走査線補間に限らず、サブサ
ンプリングにより間引かれた画素の値を補間する等、存
在しない画素の値を補間する場合に対して適用すること
ができる。
示しているが、ハードウエアの構成によって、学習を行
うこともできる。また、補間値を形成するのに、予測係
数による線形１次結合に限らず、データの値そのものを
学習によって予め作成し、この値を補間値としても良
い。さらに、この発明は、走査線補間に限らず、サブサ
ンプリングにより間引かれた画素の値を補間する等、存
在しない画素の値を補間する場合に対して適用すること
ができる。
【００４０】
【発明の効果】この発明は、動き量毎に最適な予測係数
を予め学習により求めて、この予測係数をメモリに格納
しておき、補間時にこの係数を利用しているので、出力
信号に劣化を生じることなく、良好な補間画質を得るこ
とができる。
を予め学習により求めて、この予測係数をメモリに格納
しておき、補間時にこの係数を利用しているので、出力
信号に劣化を生じることなく、良好な補間画質を得るこ
とができる。
【図１】この発明を走査線補間装置に対して適用した一
実施例のブロック図である。
実施例のブロック図である。
【図２】この発明におけるクラス分類および補間のため
に使用する画素の配列を示す略線図である。
に使用する画素の配列を示す略線図である。
【図３】この発明において、動き量を検出する動作の説
明のための略線図である。
明のための略線図である。
【図４】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。
理で行う時のフローチャートである。
【図５】従来の走査線補間装置のブロック図である。
３ 補間演算回路
４ａ、４ｂ 予測係数が格納されたメモリ
５ 動き検出回路
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平５−167992（ＪＰ，Ａ)
特開 平１−108886（ＪＰ，Ａ)
特開 昭63−48088（ＪＰ，Ａ)
特開 平１−236881（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/00 - 7/088
Claims (4)
- 【請求項１】 入力画像信号中に存在しない画素データ
を生成する画像データの生成装置において、 上記入力画像信号に基づいて、生成対象である注目画素
位置での動き量を検出するための動き量検出手段と、上記検出された動き量および、上記注目画素位置と空間
的および／または時間的に近傍の複数の参照画素のレベ
ル分布のパターンに応じたクラスコードを発生するクラ
スコード発生手段と、 学習時に対象画素位置での動き量を求め、 上記対象画素位置での動き量および、上記対象画素の空
間的および／または時間的に近傍の複数の参照画素のレ
ベル分布のパターンに応じたクラスを作成し、 上記クラス毎に学習することで予め 求められた予測係数
を、上記クラス毎に記憶し、 上記クラスコードに対応する上記クラスに格納された 予
測係数を出力する係数記憶手段と、 上記係数記憶手段からの予測係数と上記注目画素位置と
空間的および／または時間的に近傍の複数の周辺画素デ
ータとの演算によって、上記注目画素位置の画素データ
を生成するための画素データ生成手段とを有することを
特徴とする画像データの生成装置。 - 【請求項２】 請求項１に記載の画像データの生成装置
において、 上記動き検出手段は、フレーム間差分に基づいて上記動
き量を検出するようにした画像データの生成装置。 - 【請求項３】 請求項１に記載の画像データの生成装置
において、 入力画像信号が飛び越し走査信号であって、フィールド
内の飛び越された水平走査線位置の画素データが上記画
素データ生成手段で生成されることを特徴とする画像デ
ータの生成装置。 - 【請求項４】 入力画像信号中に存在しない画素データ
を生成する画像データの生成方法において、 上記入力画像信号に基づいて、生成対象である注目画素
位置での動き量を検出 するための動き量検出 ステップ
と、上記検出された動き量および、上記注目画素位置と空間
的および／または時間的に近傍の複数の参照画素のレベ
ル分布のパターンに応じたクラスコードを発生するクラ
スコード発生ステップと、 学習時に対象画素位置での動き量を求め、 上記対象画素位置での動き量および、上記対象画素の空
間的および／または時間的に近傍の複数の参照画素のレ
ベル分布のパターンに応じたクラスを作成し、 上記クラス毎に学習することで予め求められた予測係数
を、上記クラス毎に記憶し、 上記クラスコードに対応する上記クラスに格納された予
測係数を出力する係数記憶ステップと、 上記係数記憶ステップからの予測係数と上記注目画素位
置と空間的および／または時間的に近傍の複数の周辺画
素データとの演算によって、上記注目画素位置の画素デ
ータを生成するための画素データ生成ステップとを有す
る ことを特徴とする画像データの生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31734993A JP3480015B2 (ja) | 1993-11-24 | 1993-11-24 | 画像データの生成装置および生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31734993A JP3480015B2 (ja) | 1993-11-24 | 1993-11-24 | 画像データの生成装置および生成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003091103A Division JP3918759B2 (ja) | 2003-03-28 | 2003-03-28 | 画像データの生成装置および生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07147670A JPH07147670A (ja) | 1995-06-06 |
| JP3480015B2 true JP3480015B2 (ja) | 2003-12-15 |
Family
ID=18087239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31734993A Expired - Lifetime JP3480015B2 (ja) | 1993-11-24 | 1993-11-24 | 画像データの生成装置および生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3480015B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4158232B2 (ja) | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
| JP4618956B2 (ja) | 2001-12-10 | 2011-01-26 | ソニー株式会社 | 信号処理装置、信号処理方法、信号処理システム、プログラム及び媒体 |
| US7694326B2 (en) | 2002-05-17 | 2010-04-06 | Sony Corporation | Signal processing system and method, signal processing apparatus and method, recording medium, and program |
-
1993
- 1993-11-24 JP JP31734993A patent/JP3480015B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07147670A (ja) | 1995-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| WO1994014278A1 (en) | Image signal converter | |
| JPH1175180A (ja) | 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JPH09172621A (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPH0846934A (ja) | ディジタル画像信号の処理装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JPH0851622A (ja) | ディジタル画像信号の処理装置 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP3173508B2 (ja) | 動画像復号化方法、及び、動画像復号化装置 | |
| JP3085289B2 (ja) | 動画像符号化方法、及び、動画像符号化装置 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JPH06178277A (ja) | 画像情報変換装置 | |
| JP3918759B2 (ja) | 画像データの生成装置および生成方法 | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3470380B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101010 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |