JP3608228B2 - ディジタル画像信号の変換装置 - Google Patents
ディジタル画像信号の変換装置 Download PDFInfo
- Publication number
- JP3608228B2 JP3608228B2 JP21041994A JP21041994A JP3608228B2 JP 3608228 B2 JP3608228 B2 JP 3608228B2 JP 21041994 A JP21041994 A JP 21041994A JP 21041994 A JP21041994 A JP 21041994A JP 3608228 B2 JP3608228 B2 JP 3608228B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- image signal
- digital image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、ディジタルテレビジョン信号等の入力ディジタル画像信号を受け取って、より画素数が多いディジタル画像信号を出力することができるディジタル画像信号の変換装置に関する。
【０００２】
【従来の技術】
テレビジョン信号を例にとると、既存の標準解像度（ＳＤと称する）の信号に対して、水平および垂直方向のそれぞれの解像度を約２倍とした高解像度（ＨＤと称する）信号が提案されている。ＳＤ方式とＨＤ方式とが混在している時には、ＳＤ画像信号をＨＤ画像信号へ変換する、所謂アップコンバージョンの処理が必要な場合が存在する。例えばＳＤ画像信号をＨＤ方式のモニタにより表示する場合には、かかる信号変換が必要である。
【０００３】
従来では、水平補間フィルタと垂直補間フィルタとを用意し、ＳＤ画像信号をこれらのフィルタを直列に介することによって、ＨＤ画像信号を形成していた。このように得られたＨＤ画像信号は、補間によって不足している画素を作るので、変換前のＳＤ画像信号のもの以上の解像度を持つことができなかった。
【０００４】
このような問題点を解決するための一つの方法として、本願出願人は、クラス分類適応処理によりアップコンバージョンを行なう信号変換装置を提案している。これは、注目ＨＤ画素の値をその周辺のＳＤ画素の値と係数の線形１次結合によって予測するものであり、その場合に、注目ＨＤ画素の周辺のＳＤ画素のレベル分布のパターンに対応するクラス分けを行い、クラス毎の係数を使用する。この係数は、予測誤差を最小とするものであり、予め標準的画像を使用した学習によって獲得されている。
【０００５】
ここで、ＳＤ画素とＨＤ画素の時間関係を図１４を参照して説明する。図１４は、ｋ番目のフィールドと（ｋ＋１）番目のフィールドのそれぞれにおいて、垂直方向に整列する複数画素を示している。図１４Ａに示すＨＤ画素（白いドットで示す）の各フィールドが１ライン毎に間引かれる。その結果、図１４Ｂに示すＳＤ画素（黒いドットで示す）が得られる。図１４Ｂにおいて、間引かれたライン位置を・で示す。図１４Ｂにおける（ｋ＋１）番目のフィールドのラインは、同一フィールドの上下のラインと、前のｋ番目のフィールドの同一位置のラインとを使用した補間処理で形成される。
【０００６】
時間的な関係の他の例を図１４ＣおよびＤに示す。この例では、ｋ番目および（ｋ＋１）番目のフィールドにおいて、ライン数が半分に間引かれるとともに、インターレス走査が保たれる位置にＳＤ画像のラインが形成される。
【０００７】
ＨＤ画像とＳＤ画像の空間的な位置関係を図１５ＡおよびＢに示す。図１５Ａは、同一フィールド内のＨＤ画素の配列を示す。垂直方向では、隣接する２ラインの１ラインが間引かれ、水平方向では、隣接する２画素の１画素が間引かれる。その結果、図１５Ｂに示す画素配列のＳＤ画像が形成される。
【０００８】
【発明が解決しようとする課題】
信号変換装置は、上述のように、ＨＤ画像からＳＤ画像が形成されている時に、ＳＤ画像に存在している画素を使用したクラス分類適応処理によって、ＨＤ画素（×）を形成する。この場合、注目ＨＤ画素と、その予測、あるいはクラス分けに使用する周辺の複数のＳＤ画素との間の時間差、空間的距離は、一定の関係ではない。
【０００９】
このような注目ＨＤ画素と、その予測、あるいはクラス分けに使用する周辺の複数のＳＤ画素との間の時間差、空間的距離の相違は、予測、あるいはクラス分けの精度の相違を生じさせる。一般的には、時間差、空間的距離がより近いＳＤ画素を使用した予測、あるいはクラス分けは、これらがより遠いＳＤ画素を使用したものと比較して精度が高いと言える。先に提案されているクラス分類適応処理の信号変換装置は、かかる時間差、空間的距離の相違により予測の精度が影響される点を考慮していなかった。その結果、精度が高い予測と、これが低い予測とが混在し、全体として、変換後のＨＤ画像の画質が不充分な問題があった。
【００１０】
従って、この発明の目的は、もとの画像データと変換後の画像データの空間的位置が近いものから、これが遠いものに順に予測、あるいはクラス分けを行なうことによって、精度の向上が可能なディジタル画像信号の変換装置を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
入力ディジタル画像信号中に含まれ、注目画素の空間的および／または時間的に近傍の複数の画素の値と係数の線形１次結合によって、注目画素の値を作成した時に、作成された値と注目画素の真値との誤差を最小とするような、係数をクラス毎に発生するための係数発生手段と、
係数と注目画素の空間的および／または時間的に近傍の複数の画素の値との線形１次結合によって、注目画素の予測値を生成するための演算手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【００１２】
請求項４に記載のディジタル画像信号の変換装置は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分け手段によって決定されたクラスと対応する代表値を注目画素の値として出力するためのメモリ手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【００１３】
【作用】
入力ディジタル画像信号（ＳＤ信号）が供給され、その画素数がより多い出力ディジタル画像信号（ＨＤ信号）が形成される。入力信号中に存在していないＨＤ画素を作成する時に、その対象の画素（注目ＨＤ画素）が周囲の画素のレベル分布のパターンに基づいてクラス分けされる。このクラス毎に予め予測係数が求められている。予測係数と周囲の画素との線形１次結合によって、注目ＨＤ画素の値が形成される。注目ＨＤ画素と、予測、あるいはクラス分けに使用する周辺画素との距離は、一定ではない。この距離が近いものから遠いものへ順に注目ＨＤ画素の予測がなされる。これによって、予測、あるいはクラス分けの精度を向上することができる。
【００１４】
請求項４に記載の発明では、予めクラス毎に画素の値が求められており、メモリに格納されている。注目ＨＤ画素のクラスが決定され、そのクラスの値が注目ＨＤ画素の値とされる。これによって、クラス分けの精度を向上できる。正規化された値を使用する場合には、予測の精度も向上する。
【００１５】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。この一実施例は、上述した図１４Ａおよび図１４Ｂに示す関係によって、ライン数が半分に間引かれ、また、図１５Ａおよび図１５Ｂに示す関係によって、水平方向に画素数を半分に間引かれた例である。さらに、実際のテレビジョン画像では、一般的にライン間隔の方が水平方向の画素間隔よりも大きいのが普通である。
【００１６】
図１において、１で示す入力端子には、ＳＤ（標準解像度）のディジタルビデオ信号が供給される。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。各画素の値は、８ビットのコードで表されている。入力ＳＤ信号が予測器２Ａ、クラス分け回路３Ａに供給される。この例では、処理の対象とする注目画素とその補正または予測に使用する周辺の画素との距離が近いものから遠い順に４段階の予測を行なう。予測器２Ａは、第１段階の予測動作を行なう。第１段階の予測では、入力されたＳＤ信号の補正を行ない、第２、第３および第４段階では、ＨＤ信号の画素を作成するための予測を行なう。各段階の予測およびクラス分けにおいて、前段階の予測結果を使用することができる。
【００１７】
ＨＤ信号を間引き処理でＳＤ信号を生成している時において、伝送されるＳＤ信号自身も間引き処理のためのフィルタリング処理を受けており、その結果、波形劣化が生じている。そこで、ＳＤ信号自身の補正を行なうようにしている。すなわち、クラス分け回路３Ａは、補正しようとするＳＤ信号の注目画素をその周辺のＳＤ画素を使用してクラス分けするものである。注目画素のクラスを指示するクラスコードがメモリ４Ａに対してアドレスとして供給される。メモリ４Ａから読出された予測係数が予測器２Ａに供給される。メモリ４Ａ内には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、注目画素の値を補正するために必要とされる。
【００１８】
予測器２Ａは、注目画素の補正値をメモリ４Ａからの係数と周囲のＳＤ画素の値との線形１次結合によって生成する。具体的には、予測器２Ａは、補正のために使用する複数のＳＤ画素を同時化するための時系列変換回路と、同時化された複数のＳＤ画素とメモリ４Ａからの複数の係数とをそれぞれ乗算する乗算器と、乗算出力を集計する加算器とによって構成される。補正されたＳＤ画素が予測器２Ａからセレクタ５を介してメモリ６に対して書込まれる。
【００１９】
メモリ６の読出し出力は、セレクタ７に供給される。セレクタ７は、読出し出力を予測器２Ｂ、２Ｃ、２Ｄとクラス分け回路３Ｂ、３Ｃ、３Ｄに与える状態と、出力端子８に出力する状態とを切り替えられるものである。セレクタ５および７の選択動作、メモリ６の書込み／読出し動作は、コントローラ９からの制御信号により制御される。セレクタ５は、予測器２Ａ、２Ｂ、２Ｃおよび２Ｄの出力を順に選択する。最終段階の予測の結果がメモリ６に書込まれた後で、メモリ６から補正されたＳＤ画素および作成されたＨＤ画素で構成されるＨＤ画像がセレクタ７を介して出力端子８に取り出される。
【００２０】
予測器２Ａが第１段階の予測（ＳＤ画素の補正）を行い、予測器２Ｂが第２段階の予測を行なう。予測器２Ｂは、セレクタ７を通じてメモリ６の読出し出力を受け取って、クラス分類適応処理によって、ＨＤ画素を生成する。基本的には、予測器２Ａ、クラス分け回路３Ａおよびメモリ４Ａと同様にして、予測器２Ｂにおいて、注目ＨＤ画素の値をメモリ４Ｂからの予測係数と周囲のＳＤ画素の値との線形１次結合によって生成する。第３段階のＨＤ画素の予測は、予測器２Ｃ、クラス分け回路３Ｃおよびメモリ４Ｃの構成によりなされる。第４段階のＨＤ画素の予測は、予測器２Ｄ、クラス分け回路３Ｄおよびメモリ４Ｄの構成によりなされる。
【００２１】
図２を参照して、この一実施例における予測動作を説明する。図２〜図８中で、各画素が異なる大きさの２種類の円で示されており、大きい方の円がＳＤ画素を表し、小さい方の円がＨＤ画素を表している。図２Ａは、予測器２Ａ、クラス分け回路３Ａおよびメモリ４Ａによりなされる、第１段階の補正動作を示す。Ａで示す注目ＳＤ画素は、その周囲の８個のＳＤ画素ａ〜ｈを使用して補正される。すなわち、注目ＳＤ画素Ａの上下、左右の画素と、その斜めに位置する画素とが補正に使用される。第１段階が終了すると、図３Ａにおいて、斜線で示すように、ＳＤ画素が補正される。補正後のＳＤ画素がセレクタ５を介してメモリ６に格納される。
【００２２】
予測器２Ｂ、クラス分け回路３Ｂおよびメモリ４Ｂによりなされる、第２段階では、図２Ｂに示すように、注目ＨＤ画素Ｂと同一ラインの左右のＳＤ画素ｃおよびｄと、その上側ラインの画素ａおよびｂと、その下側ラインの画素ｅおよびｆとを使用して、ＨＤ画素Ｂの値が生成される。これらのＳＤ画素は、全て第１段階で補正されたものである。第１および第２段階が終了すると、図３Ｂにおいて斜線を付して示すように、ＳＤ画素が補正され、また、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。
【００２３】
予測器２Ｃ、クラス分け回路３Ｃおよびメモリ４Ｃによりなされる、第３段階では、図２Ｃに示すように、注目ＨＤ画素Ｃの上側のラインの画素ａ、ｂおよびｃと、その下側ラインの画素ｄ、ｅ、ｆとを使用して、ＨＤ画素Ｃの値が生成される。ＳＤ画素ｂおよびｅは、第１段階で補正されたものであり、ＨＤ画素ａ、ｃ、ｄ、ｆは、第２段階で作成されたものである。第１、第２および第３段階が終了すると、図３Ｃにおいて斜線を付して示すように、ＳＤ画素が補正され、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。
【００２４】
予測器２Ｄ、クラス分け回路３Ｄおよびメモリ４Ｄによりなされる、第４段階では、図２Ｄに示すように、注目ＨＤ画素Ｄの上側のラインの画素ａ、ｂおよびｃと、同一ラインの左右の画素ｄ、ｅと、その下側ラインの画素ｆ、ｈとを使用して、ＨＤ画素Ｄの値が生成される。ＳＤ画素ａ、ｃ、ｆおよびｈは、第１段階で補正されたものであり、ＨＤ画素ｂ、ｄ、ｅ、ｇは、第２段階および第３段階で作成されたものである。第１、第２、第３および第４段階が終了すると、図３Ｄにおいて斜線を付して示すように、ＳＤ画素が補正され、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。この図３Ｄから分かるように、最終的に、所望のＨＤ画像がメモリ６に蓄えられる。このＨＤ画像がメモリ６から読出され、セレクタ７を介して出力端子８に取り出される。
【００２５】
作成すべきＨＤ画素は、第２、第３および第４段階のいずれかのパターンに必ず属している。ＨＤ画素を予測する時に、図２から分かるように、注目画素と距離が近いものから遠いものへ順に予測がなされる。すなわち、図２Ｂに示すように、距離が最も近い左右のＳＤ画素ｃおよびｄを含む複数画素を使用して、最初に画素Ｂが予測される。次に、図２Ｃに示すように、距離が次に近い上下のＳＤ画素ｂおよびｅを含む複数画素を使用して、画素Ｃが予測される。そして、図２Ｄに示すように、斜め方向のＳＤ画素ａ、ｃ、ｆ、ｈを含む複数画素を使用して、画素Ｄが予測される。
【００２６】
隣接する画素間の相関が強く、隣接画素間の距離が近いほど、この相関が強いので、予測される画素と、予測に使用する画素との距離が近いほど、予測の精度が高い。然も、この一実施例における段階的予測では、前段階で予測された画素を使用する。従って、上述のように、距離が近いものから開始して、段階的な予測を行なうことによって、予測の精度を向上することができる。
【００２７】
この発明は、このように、予測の精度を向上できるのみならず、クラス分けの精度も向上することもできる。クラス分けは、注目画素の周辺の画素のレベル分布のパターンに基づいて、その注目画素のクラスを決定する処理である。従って、クラス分けに使用する周辺の画素として、作成されたＨＤ画素をも使用する時には、ＨＤ画素の予測の精度が高いので、クラス分けを高精度に行なうことができる。また、上述のように、ＳＤ画素の補正を行なっているので、補正ＳＤ画素を使用することによって、クラス分けの精度が向上する。
【００２８】
クラス分けの幾つかの方法について以下に説明する。この説明では、注目画素をクラス分けする場合に使用する周辺の画素は、上述した補正あるいは予測のために使用する周辺の画素と同一とする。しかしながら、この関係は、必ずしも必要ではなく、補正あるいは予測とクラス分けに使用する画素が異なっていても良い。さらに、クラス分けの処理は、ＳＤ画素に対するものと、作成しようとするＨＤ画素に対するものとで、やや相違する。最初にＳＤ画素のクラス分けについて説明する。
【００２９】
クラス分け回路３Ａは、ＳＤ画素のクラス分けを行なう。一例として、ＳＤ画素のクラス分けは、注目ＳＤ画素の近傍のＳＤ画素のレベル分布のパターンに基づいて、この注目ＳＤ画素のクラスを決定する。図４Ａに示すように、注目ＳＤ画素Ａの上下左右の最も近い距離のＳＤ画素（ｂ、ｄ、ｅ、ｇ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図４Ｂに一例を示すように、平均値Ａｖより大きい値の場合は、｀１’ を割り当て、平均値Ａｖより小さい値の場合は、｀０’ を割り当てる。図４Ｂの例では、（０１０１）の４ビットのコードが得られる。
【００３０】
クラス分け回路３Ａが発生するクラスコードとしては、周辺画素のみならず、注目ＳＤ画素の値Ａ（ここでは、画素を指示する参照符号が画素自身の値をも表わすものとする。）の情報を含むものが使用される。例えば画素値Ａを平均値Ａｖと比較した１ビットを加えた５ビットが使用できる。この場合、注目ＳＤ画素を１ビットではなくて、注目ＳＤ画素の値ＡをＡＤＲＣによって圧縮した数ビットの量子化値とを組み合わせたものを使用しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００３１】
例えば１ビットＡＤＲＣの場合について説明すると、５画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素の値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、｀１’ とされ、商が０．５より少ない場合は、｀０’ とされる。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。２ビットＡＤＲＣの場合であれば、ＤＲ／２２ で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
【００３２】
図５は、ＳＤ画素のクラス分けの他の例を示す。これは、縦方向（図５Ａ）、斜め方向（図５Ｂ、図５Ｃ）、横方向（図５Ｄ）のそれぞれにおいて、差分の絶対値の最小値を求める。図５Ａに示す縦方向において隣接する二つのＳＤ画素に関しては、次の差分の絶対値が求められる。
｜ａ−ｄ｜、｜ｂ−Ａ｜、｜Ａ−ｇ｜、｜ｅ−ｈ｜
【００３３】
これらの絶対値差分の中の最小値が検出される。４個の絶対値差分に対して、それぞれ２ビットのコードが割り当てられており、検出最小値と対応する２ビットのコードが選択される。図５Ｂに示すように、右上がりの斜め方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ｂ−ｄ｜、｜ｃ−Ａ｜、｜Ａ−ｆ｜、｜ｅ−ｇ｜
【００３４】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。図５Ｃに示すように、左上がりの斜め方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ｄ−ｇ｜、｜ａ−Ａ｜、｜Ａ−ｈ｜、｜ｂ−ｅ｜
【００３５】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。図５Ｄに示すように、横方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ａ−ｂ｜、｜ｄ−Ａ｜、｜Ａ−ｅ｜、｜ｇ−ｈ｜
【００３６】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。最終的に４個の方向のそれぞれにおいて検出された最小値と対応する（２×４＝８）ビットが得られる。この８ビットが注目ＳＤ画素のクラスを指示するクラスコードとされる。さらに、この８ビットに対して、注目ＳＤ画素自身の値を量子化により圧縮した値を組み合わせても良い。
【００３７】
上述のＳＤ画素に関する二つのクラス分けの方法に限らず、他のクラス分けも可能である。例えば注目ＳＤ画素を中心として、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝Ａ−ｂ、 Ｄ１＝Ａ−ａ、 Ｄ２＝Ａ−ｄ、 Ｄ３＝Ａ−ｆ
Ｄ４＝Ａ−ｇ、 Ｄ５＝Ａ−ｈ、 Ｄ６＝Ａ−ｅ、 Ｄ７＝Ａ−ｃ
【００３８】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が３ビットの方向コードにより指示される。この３ビットの方向コードと、差分値の極性を示す１ビットと、注目ＳＤ画素Ａ自身の値の量子化値（例えば３ビット）とを合わせた７ビットがクラスコードとされる。
【００３９】
次に、ＨＤ画素を作成するためのクラス分けについて説明する。例えば第２段階の処理で作成されるＨＤ画素Ｂ（図２Ｂ参照）のクラス分けについて説明する。以下のクラス分けの方法は、第３および第４段階の処理で作成されるＨＤ画素（図２Ｃ、図２Ｄ）のクラス分けについても適用できるものである。但し、第２段階において、クラス分けに使用できる画素は、補正ＳＤ画素に限定されるのに対して、第３および第４段階においては、補正ＳＤ画素のみならず、前段階で作成されたＨＤ画素をもクラス分けに使用できる。従って、第３および第４段階では、上述したＳＤ画素に対するものと同様のクラス分けを注目ＨＤ画素に対して適用可能である。
【００４０】
図６Ａに示すように、注目ＨＤ画素Ｂの周辺には、６個の補正ＳＤ画素ａ〜ｆが存在している。これらの平均値Ａｖを計算する。そして、各画素と平均値Ａｖとを比較し、その結果に応じてクラスコードを発生する。図６Ｂに示す例では、（０１１０１０）の６ビットが発生する。
【００４１】
注目ＨＤ画素Ｂのクラス分けの他の例を図７を参照して説明する。図７Ａに示すように、注目ＨＤ画素Ｂを中心として、上側ラインの４画素、同一ラインの４画素、下側ラインの４画素の１２画素を使用する。１２画素は、補正ＳＤ画素である。そして、注目ＨＤ画素Ｂの左側および左上に位置する４画素の平均値ａ´（＝ １／４（ａ＋ｃ＋ｇ＋ｉ）を形成する。同様に、注目ＨＤ画素Ｂの左側および左下に位置する４画素の平均値ｃ´（＝ １／４（ｃ＋ｅ＋ｉ＋ｋ）を形成する。同様に、注目ＨＤ画素Ｂの右側および右上に位置する４画素の平均値ｂ´（＝ １／４（ｂ＋ｄ＋ｈ＋ｊ）を形成し、注目ＨＤ画素Ｂの右側および右下に位置する４画素の平均値ｃ´（＝ １／４（ｄ＋ｊ＋ｆ＋ｌ）を形成する。
【００４２】
これらの平均値は、上下左右のＳＤ画素を使用して、ＨＤ画素を推定したものである。従って、図７Ｂに示すＨＤ画素の位置に平均値ａ´、ｂ´、ｃ´、ｄ´が存在しているパターンと考えられる。この図７Ｂに示すパターンに対して、上述の図６と同様の考え方を適用し、１０ビットのクラスコードを形成することができる。
【００４３】
図８を参照して、注目ＨＤ画素Ｂのクラス分けのさらに他の例について説明する。図７Ａに示される画素配列と同様の配列において、注目ＨＤ画素Ｂと隣接する二つのＳＤ画素例えば左右に位置する画素ｃおよびｄを規定し、画素ｃおよびｄに関してそれぞれ方向性を調べる。図８Ａは、左側の画素ｃを使用して方向性を調べる様子を示し、図８Ｂは、右側の画素ｄを使用して方向性を調べる様子を示す。
【００４４】
図８Ａに示すように、画素ｃを中心として、左右の画素（ｉ、ｄ）、上下の画素（ａ、ｅ）、斜め上の画素（ｇ、ｂ）、斜め下の画素（ｋ、ｆ）の配列において、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝ｃ−ａ、 Ｄ１＝ｃ−ｇ、 Ｄ２＝ｃ−ｉ、 Ｄ３＝ｃ−ｋ
Ｄ４＝ｃ−ｅ、 Ｄ５＝ｃ−ｆ、 Ｄ６＝ｃ−ｄ、 Ｄ７＝ｃ−ｂ
【００４５】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が図８Ｃに示すように、３ビットの方向コードにより指示される。例えば差分値（Ｄ３）が最小であれば、方向コードが（０１１）とされる。図８Ｂに示すように、注目ＨＤ画素Ｂの右側の画素ｄを使用して、上述と同様に、次の差分値Ｄ０´〜Ｄ７´が形成される。
Ｄ０´＝ｄ−ｂ、 Ｄ１´＝ｄ−ａ、 Ｄ２´＝ｄ−ｃ、 Ｄ３´＝ｄ−ｅ
Ｄ４´＝ｄ−ｆ、 Ｄ５´＝ｄ−ｌ、 Ｄ６´＝ｄ−ｊ、 Ｄ７´＝ｄ−ｈ
【００４６】
そして、差分値Ｄ０´〜Ｄ７´の中の最小値が検出され、最小値が存在する方向が３ビットの方向コードで指示される。左側の画素について発生した方向コードと右側の画素について発生した方向コードの合計６ビットが注目ＨＤ画素Ｂのクラスコードとして採用される。また、必要に応じて、最小である二つの差分値の極性を示す符号ビット（２ビット）をクラスコードに加えて、合計８ビットのクラスコードを形成しても良い。
【００４７】
注目ＨＤ画素のクラス分けの方法は、上述した方法以外のものを使用することができる。例えば図５に示すようなＳＤ画素のクラス分けと同様の方法を使用してＨＤ画素のクラス分けを行なうことができる。
【００４８】
上述したＳＤ画素あるいはＨＤ画素に対するクラス分けは、少ないビット数、言い換えると少ないクラス数でもって注目画素のクラスを決定することができる。若し、周辺の画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。上述したクラス分けは、このような問題点を解消できる。
【００４９】
さて、予測器２Ａは、メモリ４Ａからの係数と周辺画素の値との線形１次結合によって、補正値を生成する。予測器２Ｂ、２Ｃ、２Ｄは、メモリ４Ｂ、４Ｃ、４Ｄからの予測係数と周片画素の値の線形１次結合によって、ＨＤ画素をそれぞれ作成する。メモリ４Ａ〜４Ｄにそれぞれ格納されている係数は、予め学習により獲得されたものである。
【００５０】
図９は、メモリ４Ａに格納される予測係数を決定するための学習時の構成を示す。１１で示す入力端子に、ＨＤ信号が供給され、間引きフィルタ１２によって、ＳＤ信号が形成される。間引きフィルタ１２は、水平方向および垂直方向のそれぞれで間引き処理を行ない、図２Ａに示すような画素配列のＳＤ信号を形成する。間引きフィルタ１２の出力信号が時系列変換回路１３に供給される。
【００５１】
入力端子１１に対して、時系列変換回路１４が接続されている。時系列変換回路１３および１４は、ラスター走査の順序からブロックの順序へデータを並び換える。時系列変換回路１３の出力信号が係数決定回路１５およびクラス分け回路１６に供給される。クラス分け回路１６は、クラス分け回路３Ａと同様に、周囲の画素を使用して注目ＳＤ画素のクラスを決定する。クラス分け回路１６からのクラスコードが係数決定回路１５およびメモリ１７にそれぞれ供給される。
【００５２】
係数決定回路１５は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路１４を介して係数決定回路１５に対して、注目画素の真値として供給される。係数決定回路１５は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ１７に格納される。格納アドレスは、クラス分け回路１６からのクラスコードで指示される。
【００５３】
係数決定をソフトウェア処理で行う動作について、図１０を参照して説明する。まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００５４】
ステップ４４のクラス決定は、上述したＳＤ画素についてのクラス決定処理を行い、クラスを指示するクラスコードを形成するテップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ１７にストアし、ステップ４８で学習処理の制御が終了する。
【００５５】
図１０中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目ＳＤ画素の真値ｙが既知である。注目ＳＤ画素の補正値をｙ´、その周囲の画素の値をｘ１ 〜ｘｎ としたとき、クラス毎に係数ｗ１ 〜ｗｎ によるｎタップの線形１次結合
ｙ´＝ｗ１ ｘ１ ＋ｗ２ ｘ２ ＋‥‥＋ｗｎ ｘｎ （１）
を設定する。学習前はｗｉ が未定係数である。
【００５６】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙｊ ´＝ｗ１ ｘｊ１＋ｗ２ ｘｊ２＋‥‥＋ｗｎ ｘｊｎ （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００５７】
ｍ＞ｎの場合、ｗ１ 〜ｗｎ は一意には決まらないので、誤差ベクトルＥの要素を
ｅｊ ＝ｙｊ −（ｗ１ ｘｊ１＋ｗ２ ｘｊ２＋‥‥＋ｗｎ ｘｊｎ） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００５８】
【数１】
【００５９】
いわゆる最小自乗法による解法である。ここで式（４）のｗｉ による偏微分係数を求める。
【００６０】
【数２】
【００６１】
式（５）を０にするように各ｗｉ を決めればよいから、
【００６２】
【数３】
【００６３】
として、行列を用いると
【００６４】
【数４】
【００６５】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗｉ について解けば、予測係数ｗｉ が求まり、クラスコードをアドレスとして、この予測係数ｗｉ をメモリ１７に格納しておく。
【００６６】
次に、メモリ４Ｂに格納される予測係数を求めるための学習について説明する。これは、図１１に示す構成によってなされる。この場合、上述のようにして求められた予測係数を使用して補正されたＳＤ信号が使用される。すなわち、入力端子１１にＨＤ信号が供給され、間引きフィルタ１２によってＳＤ信号が形成される。このＳＤ信号が時系列変換回路１３を介してクラス分け回路１６に供給され、クラス分け回路１６からのクラスコードがメモリ１７にアドレスとして供給される。
【００６７】
このメモリ１７には、図９の構成により獲得された係数が格納されている。この係数と時系列変換回路１３からのＳＤ信号とが予測器１８に供給される。予測器１８から補正されたＳＤ画素が得られる。この予測器１８は、予測器２Ａと同様に第１段階の予測（補正）を行なう。補正ＳＤ信号は、間引きフィルタ１２から出力されるＳＤ信号と比して、波形劣化が補正されたものである。
【００６８】
補正ＳＤ信号が時系列変換回路１９を介して係数決定回路２１およびクラス分け回路２２に供給される。クラス分け回路２２は、クラス分け回路３Ｂと同様に、図２Ｂに示すパターンにおける注目ＨＤ画素Ｂのクラスを決定する。係数決定回路２１には、時系列変換回路２０を介して注目ＨＤ画素Ｂの真値が供給される。係数決定回路２１は、上述の係数決定回路１５と同様に、最小二乗法によって、注目ＨＤ画素Ｂの真値と予測値との誤差を最小とするような予測係数を決定する。この決定された予測係数がメモリ２３に格納される。
【００６９】
メモリ４Ｃに格納される予測係数は、図２Ｃに示すパターンにおける注目ＨＤ画素Ｃに対するものである。上述の注目ＨＤ画素Ｂに対する予測係数と同様にして決定される。その場合に、補正されたＳＤ画素と、上述のように予測されたＨＤ画素Ｂとが使用される。さらに、メモリ４Ｄに格納される予測係数は、図２Ｄに示すパターンにおける注目ＨＤ画素Ｄに対するものである。この場合でも、補正されたＳＤ画素と、予測されたＨＤ画素ＢおよびＣとが使用される。これらの画素ＣおよびＤに対する予測係数の決定についての説明は、重複を避けるために省略する。
【００７０】
図１０は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、ＳＤ画素を補正し、ＨＤ画素を予測するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値をメモリに格納しても良い。
【００７１】
図１２は、データの値例えばＳＤ画素の値を予め作成するための学習処理を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００７２】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００７３】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００７４】
このように正規化された値を学習により求めておいた時には、例えばＳＤ画素の補正のために、図１３の構成が使用される。図１３に示すように、時系列変換回路３１からのＳＤ信号がクラス分け回路３２および検出回路３４に供給される。クラス分け回路３２からのクラスコードで指示されるメモリ３３のアドレスから正規化された代表値が読出される。また、検出回路３４は、注目画素の周辺の複数のＳＤ画素、すなわち、ブロックのダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００７５】
メモリ３３からの正規化代表値が乗算回路３５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路３５の出力が加算回路３６に供給され、検出された最小値ＭＩＮと加算される。この加算回路３６の出力信号が補正値である。
【００７６】
重心法により求められた代表値を使用する時には、段階的な予測によって、予測の精度が向上するとは言えない。しかしながら、クラス分けの精度を向上することができる。また、正規化代表値を使用する場合では、ブロックのダイナミックレンジＤＲ、最小値ＭＩＮ等が必要である。従って、ブロック内に前段階で補正、あるいは予測された画素を含む場合には、これらの補正、あるいは予測の精度が向上しているので、予測およびクラス分けの精度を向上できる。
【００７７】
また、この発明におけるクラス分けあるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００７８】
さらに、上述のこの発明の一実施例では、各段階の予測のために、別々の構成を設けているが、これらの構成を共通とすることも可能である。
【００７９】
【発明の効果】
この発明は、注目画素と予測に使用する周辺画素との距離が近いものから遠いものへ順に段階的に、注目画素を予測するので、予測、あるいはクラス分けの精度を向上することができる。従って、変換後のディジタル画像信号の品質を向上することができる。
【００８０】
また、この一実施例では、ＨＤ画素のみならず、ＳＤ画素の値も補正しているので、フィルタリング処理によって失われた高域成分を補償することができる。従って、変換後の信号の波形のなまりを補償でき、出力画像の品質を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】ＳＤ画素の段階的予測の動作を説明するための略線図である。
【図３】ＳＤ画素の段階的予測の動作を説明するための略線図である。
【図４】ＳＤ画素のクラス分けの方法の一例を説明するための略線図である。
【図５】ＳＤ画素のクラス分けの他の例を説明するための略線図である。
【図６】ＨＤ画素のクラス分けの方法の一例を説明するための略線図である。
【図７】ＨＤ画素のクラス分けの他の例を説明するための略線図である。
【図８】ＨＤ画素のクラス分けのさらに他の例を説明するための略線図である。
【図９】ＳＤ画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図１０】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１１】ＨＤ画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図１２】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１３】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１４】ライン数の間引き処理を説明するための略線図である。
【図１５】画素数の間引き処理を説明するための略線図である。
【符号の説明】
２Ａ〜２Ｄ 予測器
３Ａ〜３Ｄ クラス分け回路
４Ａ〜４Ｄ 予測係数が格納されたメモリ
【産業上の利用分野】
この発明は、ディジタルテレビジョン信号等の入力ディジタル画像信号を受け取って、より画素数が多いディジタル画像信号を出力することができるディジタル画像信号の変換装置に関する。
【０００２】
【従来の技術】
テレビジョン信号を例にとると、既存の標準解像度（ＳＤと称する）の信号に対して、水平および垂直方向のそれぞれの解像度を約２倍とした高解像度（ＨＤと称する）信号が提案されている。ＳＤ方式とＨＤ方式とが混在している時には、ＳＤ画像信号をＨＤ画像信号へ変換する、所謂アップコンバージョンの処理が必要な場合が存在する。例えばＳＤ画像信号をＨＤ方式のモニタにより表示する場合には、かかる信号変換が必要である。
【０００３】
従来では、水平補間フィルタと垂直補間フィルタとを用意し、ＳＤ画像信号をこれらのフィルタを直列に介することによって、ＨＤ画像信号を形成していた。このように得られたＨＤ画像信号は、補間によって不足している画素を作るので、変換前のＳＤ画像信号のもの以上の解像度を持つことができなかった。
【０００４】
このような問題点を解決するための一つの方法として、本願出願人は、クラス分類適応処理によりアップコンバージョンを行なう信号変換装置を提案している。これは、注目ＨＤ画素の値をその周辺のＳＤ画素の値と係数の線形１次結合によって予測するものであり、その場合に、注目ＨＤ画素の周辺のＳＤ画素のレベル分布のパターンに対応するクラス分けを行い、クラス毎の係数を使用する。この係数は、予測誤差を最小とするものであり、予め標準的画像を使用した学習によって獲得されている。
【０００５】
ここで、ＳＤ画素とＨＤ画素の時間関係を図１４を参照して説明する。図１４は、ｋ番目のフィールドと（ｋ＋１）番目のフィールドのそれぞれにおいて、垂直方向に整列する複数画素を示している。図１４Ａに示すＨＤ画素（白いドットで示す）の各フィールドが１ライン毎に間引かれる。その結果、図１４Ｂに示すＳＤ画素（黒いドットで示す）が得られる。図１４Ｂにおいて、間引かれたライン位置を・で示す。図１４Ｂにおける（ｋ＋１）番目のフィールドのラインは、同一フィールドの上下のラインと、前のｋ番目のフィールドの同一位置のラインとを使用した補間処理で形成される。
【０００６】
時間的な関係の他の例を図１４ＣおよびＤに示す。この例では、ｋ番目および（ｋ＋１）番目のフィールドにおいて、ライン数が半分に間引かれるとともに、インターレス走査が保たれる位置にＳＤ画像のラインが形成される。
【０００７】
ＨＤ画像とＳＤ画像の空間的な位置関係を図１５ＡおよびＢに示す。図１５Ａは、同一フィールド内のＨＤ画素の配列を示す。垂直方向では、隣接する２ラインの１ラインが間引かれ、水平方向では、隣接する２画素の１画素が間引かれる。その結果、図１５Ｂに示す画素配列のＳＤ画像が形成される。
【０００８】
【発明が解決しようとする課題】
信号変換装置は、上述のように、ＨＤ画像からＳＤ画像が形成されている時に、ＳＤ画像に存在している画素を使用したクラス分類適応処理によって、ＨＤ画素（×）を形成する。この場合、注目ＨＤ画素と、その予測、あるいはクラス分けに使用する周辺の複数のＳＤ画素との間の時間差、空間的距離は、一定の関係ではない。
【０００９】
このような注目ＨＤ画素と、その予測、あるいはクラス分けに使用する周辺の複数のＳＤ画素との間の時間差、空間的距離の相違は、予測、あるいはクラス分けの精度の相違を生じさせる。一般的には、時間差、空間的距離がより近いＳＤ画素を使用した予測、あるいはクラス分けは、これらがより遠いＳＤ画素を使用したものと比較して精度が高いと言える。先に提案されているクラス分類適応処理の信号変換装置は、かかる時間差、空間的距離の相違により予測の精度が影響される点を考慮していなかった。その結果、精度が高い予測と、これが低い予測とが混在し、全体として、変換後のＨＤ画像の画質が不充分な問題があった。
【００１０】
従って、この発明の目的は、もとの画像データと変換後の画像データの空間的位置が近いものから、これが遠いものに順に予測、あるいはクラス分けを行なうことによって、精度の向上が可能なディジタル画像信号の変換装置を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
入力ディジタル画像信号中に含まれ、注目画素の空間的および／または時間的に近傍の複数の画素の値と係数の線形１次結合によって、注目画素の値を作成した時に、作成された値と注目画素の真値との誤差を最小とするような、係数をクラス毎に発生するための係数発生手段と、
係数と注目画素の空間的および／または時間的に近傍の複数の画素の値との線形１次結合によって、注目画素の予測値を生成するための演算手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【００１２】
請求項４に記載のディジタル画像信号の変換装置は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分け手段によって決定されたクラスと対応する代表値を注目画素の値として出力するためのメモリ手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【００１３】
【作用】
入力ディジタル画像信号（ＳＤ信号）が供給され、その画素数がより多い出力ディジタル画像信号（ＨＤ信号）が形成される。入力信号中に存在していないＨＤ画素を作成する時に、その対象の画素（注目ＨＤ画素）が周囲の画素のレベル分布のパターンに基づいてクラス分けされる。このクラス毎に予め予測係数が求められている。予測係数と周囲の画素との線形１次結合によって、注目ＨＤ画素の値が形成される。注目ＨＤ画素と、予測、あるいはクラス分けに使用する周辺画素との距離は、一定ではない。この距離が近いものから遠いものへ順に注目ＨＤ画素の予測がなされる。これによって、予測、あるいはクラス分けの精度を向上することができる。
【００１４】
請求項４に記載の発明では、予めクラス毎に画素の値が求められており、メモリに格納されている。注目ＨＤ画素のクラスが決定され、そのクラスの値が注目ＨＤ画素の値とされる。これによって、クラス分けの精度を向上できる。正規化された値を使用する場合には、予測の精度も向上する。
【００１５】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。この一実施例は、上述した図１４Ａおよび図１４Ｂに示す関係によって、ライン数が半分に間引かれ、また、図１５Ａおよび図１５Ｂに示す関係によって、水平方向に画素数を半分に間引かれた例である。さらに、実際のテレビジョン画像では、一般的にライン間隔の方が水平方向の画素間隔よりも大きいのが普通である。
【００１６】
図１において、１で示す入力端子には、ＳＤ（標準解像度）のディジタルビデオ信号が供給される。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。各画素の値は、８ビットのコードで表されている。入力ＳＤ信号が予測器２Ａ、クラス分け回路３Ａに供給される。この例では、処理の対象とする注目画素とその補正または予測に使用する周辺の画素との距離が近いものから遠い順に４段階の予測を行なう。予測器２Ａは、第１段階の予測動作を行なう。第１段階の予測では、入力されたＳＤ信号の補正を行ない、第２、第３および第４段階では、ＨＤ信号の画素を作成するための予測を行なう。各段階の予測およびクラス分けにおいて、前段階の予測結果を使用することができる。
【００１７】
ＨＤ信号を間引き処理でＳＤ信号を生成している時において、伝送されるＳＤ信号自身も間引き処理のためのフィルタリング処理を受けており、その結果、波形劣化が生じている。そこで、ＳＤ信号自身の補正を行なうようにしている。すなわち、クラス分け回路３Ａは、補正しようとするＳＤ信号の注目画素をその周辺のＳＤ画素を使用してクラス分けするものである。注目画素のクラスを指示するクラスコードがメモリ４Ａに対してアドレスとして供給される。メモリ４Ａから読出された予測係数が予測器２Ａに供給される。メモリ４Ａ内には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、注目画素の値を補正するために必要とされる。
【００１８】
予測器２Ａは、注目画素の補正値をメモリ４Ａからの係数と周囲のＳＤ画素の値との線形１次結合によって生成する。具体的には、予測器２Ａは、補正のために使用する複数のＳＤ画素を同時化するための時系列変換回路と、同時化された複数のＳＤ画素とメモリ４Ａからの複数の係数とをそれぞれ乗算する乗算器と、乗算出力を集計する加算器とによって構成される。補正されたＳＤ画素が予測器２Ａからセレクタ５を介してメモリ６に対して書込まれる。
【００１９】
メモリ６の読出し出力は、セレクタ７に供給される。セレクタ７は、読出し出力を予測器２Ｂ、２Ｃ、２Ｄとクラス分け回路３Ｂ、３Ｃ、３Ｄに与える状態と、出力端子８に出力する状態とを切り替えられるものである。セレクタ５および７の選択動作、メモリ６の書込み／読出し動作は、コントローラ９からの制御信号により制御される。セレクタ５は、予測器２Ａ、２Ｂ、２Ｃおよび２Ｄの出力を順に選択する。最終段階の予測の結果がメモリ６に書込まれた後で、メモリ６から補正されたＳＤ画素および作成されたＨＤ画素で構成されるＨＤ画像がセレクタ７を介して出力端子８に取り出される。
【００２０】
予測器２Ａが第１段階の予測（ＳＤ画素の補正）を行い、予測器２Ｂが第２段階の予測を行なう。予測器２Ｂは、セレクタ７を通じてメモリ６の読出し出力を受け取って、クラス分類適応処理によって、ＨＤ画素を生成する。基本的には、予測器２Ａ、クラス分け回路３Ａおよびメモリ４Ａと同様にして、予測器２Ｂにおいて、注目ＨＤ画素の値をメモリ４Ｂからの予測係数と周囲のＳＤ画素の値との線形１次結合によって生成する。第３段階のＨＤ画素の予測は、予測器２Ｃ、クラス分け回路３Ｃおよびメモリ４Ｃの構成によりなされる。第４段階のＨＤ画素の予測は、予測器２Ｄ、クラス分け回路３Ｄおよびメモリ４Ｄの構成によりなされる。
【００２１】
図２を参照して、この一実施例における予測動作を説明する。図２〜図８中で、各画素が異なる大きさの２種類の円で示されており、大きい方の円がＳＤ画素を表し、小さい方の円がＨＤ画素を表している。図２Ａは、予測器２Ａ、クラス分け回路３Ａおよびメモリ４Ａによりなされる、第１段階の補正動作を示す。Ａで示す注目ＳＤ画素は、その周囲の８個のＳＤ画素ａ〜ｈを使用して補正される。すなわち、注目ＳＤ画素Ａの上下、左右の画素と、その斜めに位置する画素とが補正に使用される。第１段階が終了すると、図３Ａにおいて、斜線で示すように、ＳＤ画素が補正される。補正後のＳＤ画素がセレクタ５を介してメモリ６に格納される。
【００２２】
予測器２Ｂ、クラス分け回路３Ｂおよびメモリ４Ｂによりなされる、第２段階では、図２Ｂに示すように、注目ＨＤ画素Ｂと同一ラインの左右のＳＤ画素ｃおよびｄと、その上側ラインの画素ａおよびｂと、その下側ラインの画素ｅおよびｆとを使用して、ＨＤ画素Ｂの値が生成される。これらのＳＤ画素は、全て第１段階で補正されたものである。第１および第２段階が終了すると、図３Ｂにおいて斜線を付して示すように、ＳＤ画素が補正され、また、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。
【００２３】
予測器２Ｃ、クラス分け回路３Ｃおよびメモリ４Ｃによりなされる、第３段階では、図２Ｃに示すように、注目ＨＤ画素Ｃの上側のラインの画素ａ、ｂおよびｃと、その下側ラインの画素ｄ、ｅ、ｆとを使用して、ＨＤ画素Ｃの値が生成される。ＳＤ画素ｂおよびｅは、第１段階で補正されたものであり、ＨＤ画素ａ、ｃ、ｄ、ｆは、第２段階で作成されたものである。第１、第２および第３段階が終了すると、図３Ｃにおいて斜線を付して示すように、ＳＤ画素が補正され、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。
【００２４】
予測器２Ｄ、クラス分け回路３Ｄおよびメモリ４Ｄによりなされる、第４段階では、図２Ｄに示すように、注目ＨＤ画素Ｄの上側のラインの画素ａ、ｂおよびｃと、同一ラインの左右の画素ｄ、ｅと、その下側ラインの画素ｆ、ｈとを使用して、ＨＤ画素Ｄの値が生成される。ＳＤ画素ａ、ｃ、ｆおよびｈは、第１段階で補正されたものであり、ＨＤ画素ｂ、ｄ、ｅ、ｇは、第２段階および第３段階で作成されたものである。第１、第２、第３および第４段階が終了すると、図３Ｄにおいて斜線を付して示すように、ＳＤ画素が補正され、ＨＤ画素が作成される。補正ＳＤ画素および作成されたＨＤ画素がセレクタ５を介してメモリ６に格納される。この図３Ｄから分かるように、最終的に、所望のＨＤ画像がメモリ６に蓄えられる。このＨＤ画像がメモリ６から読出され、セレクタ７を介して出力端子８に取り出される。
【００２５】
作成すべきＨＤ画素は、第２、第３および第４段階のいずれかのパターンに必ず属している。ＨＤ画素を予測する時に、図２から分かるように、注目画素と距離が近いものから遠いものへ順に予測がなされる。すなわち、図２Ｂに示すように、距離が最も近い左右のＳＤ画素ｃおよびｄを含む複数画素を使用して、最初に画素Ｂが予測される。次に、図２Ｃに示すように、距離が次に近い上下のＳＤ画素ｂおよびｅを含む複数画素を使用して、画素Ｃが予測される。そして、図２Ｄに示すように、斜め方向のＳＤ画素ａ、ｃ、ｆ、ｈを含む複数画素を使用して、画素Ｄが予測される。
【００２６】
隣接する画素間の相関が強く、隣接画素間の距離が近いほど、この相関が強いので、予測される画素と、予測に使用する画素との距離が近いほど、予測の精度が高い。然も、この一実施例における段階的予測では、前段階で予測された画素を使用する。従って、上述のように、距離が近いものから開始して、段階的な予測を行なうことによって、予測の精度を向上することができる。
【００２７】
この発明は、このように、予測の精度を向上できるのみならず、クラス分けの精度も向上することもできる。クラス分けは、注目画素の周辺の画素のレベル分布のパターンに基づいて、その注目画素のクラスを決定する処理である。従って、クラス分けに使用する周辺の画素として、作成されたＨＤ画素をも使用する時には、ＨＤ画素の予測の精度が高いので、クラス分けを高精度に行なうことができる。また、上述のように、ＳＤ画素の補正を行なっているので、補正ＳＤ画素を使用することによって、クラス分けの精度が向上する。
【００２８】
クラス分けの幾つかの方法について以下に説明する。この説明では、注目画素をクラス分けする場合に使用する周辺の画素は、上述した補正あるいは予測のために使用する周辺の画素と同一とする。しかしながら、この関係は、必ずしも必要ではなく、補正あるいは予測とクラス分けに使用する画素が異なっていても良い。さらに、クラス分けの処理は、ＳＤ画素に対するものと、作成しようとするＨＤ画素に対するものとで、やや相違する。最初にＳＤ画素のクラス分けについて説明する。
【００２９】
クラス分け回路３Ａは、ＳＤ画素のクラス分けを行なう。一例として、ＳＤ画素のクラス分けは、注目ＳＤ画素の近傍のＳＤ画素のレベル分布のパターンに基づいて、この注目ＳＤ画素のクラスを決定する。図４Ａに示すように、注目ＳＤ画素Ａの上下左右の最も近い距離のＳＤ画素（ｂ、ｄ、ｅ、ｇ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図４Ｂに一例を示すように、平均値Ａｖより大きい値の場合は、｀１’ を割り当て、平均値Ａｖより小さい値の場合は、｀０’ を割り当てる。図４Ｂの例では、（０１０１）の４ビットのコードが得られる。
【００３０】
クラス分け回路３Ａが発生するクラスコードとしては、周辺画素のみならず、注目ＳＤ画素の値Ａ（ここでは、画素を指示する参照符号が画素自身の値をも表わすものとする。）の情報を含むものが使用される。例えば画素値Ａを平均値Ａｖと比較した１ビットを加えた５ビットが使用できる。この場合、注目ＳＤ画素を１ビットではなくて、注目ＳＤ画素の値ＡをＡＤＲＣによって圧縮した数ビットの量子化値とを組み合わせたものを使用しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００３１】
例えば１ビットＡＤＲＣの場合について説明すると、５画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素の値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、｀１’ とされ、商が０．５より少ない場合は、｀０’ とされる。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。２ビットＡＤＲＣの場合であれば、ＤＲ／２２ で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
【００３２】
図５は、ＳＤ画素のクラス分けの他の例を示す。これは、縦方向（図５Ａ）、斜め方向（図５Ｂ、図５Ｃ）、横方向（図５Ｄ）のそれぞれにおいて、差分の絶対値の最小値を求める。図５Ａに示す縦方向において隣接する二つのＳＤ画素に関しては、次の差分の絶対値が求められる。
｜ａ−ｄ｜、｜ｂ−Ａ｜、｜Ａ−ｇ｜、｜ｅ−ｈ｜
【００３３】
これらの絶対値差分の中の最小値が検出される。４個の絶対値差分に対して、それぞれ２ビットのコードが割り当てられており、検出最小値と対応する２ビットのコードが選択される。図５Ｂに示すように、右上がりの斜め方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ｂ−ｄ｜、｜ｃ−Ａ｜、｜Ａ−ｆ｜、｜ｅ−ｇ｜
【００３４】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。図５Ｃに示すように、左上がりの斜め方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ｄ−ｇ｜、｜ａ−Ａ｜、｜Ａ−ｈ｜、｜ｂ−ｅ｜
【００３５】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。図５Ｄに示すように、横方向において隣接する二つのＳＤ画素に関して、次の差分の絶対値が求められる。
｜ａ−ｂ｜、｜ｄ−Ａ｜、｜Ａ−ｅ｜、｜ｇ−ｈ｜
【００３６】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する２ビットのコードが選択される。最終的に４個の方向のそれぞれにおいて検出された最小値と対応する（２×４＝８）ビットが得られる。この８ビットが注目ＳＤ画素のクラスを指示するクラスコードとされる。さらに、この８ビットに対して、注目ＳＤ画素自身の値を量子化により圧縮した値を組み合わせても良い。
【００３７】
上述のＳＤ画素に関する二つのクラス分けの方法に限らず、他のクラス分けも可能である。例えば注目ＳＤ画素を中心として、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝Ａ−ｂ、 Ｄ１＝Ａ−ａ、 Ｄ２＝Ａ−ｄ、 Ｄ３＝Ａ−ｆ
Ｄ４＝Ａ−ｇ、 Ｄ５＝Ａ−ｈ、 Ｄ６＝Ａ−ｅ、 Ｄ７＝Ａ−ｃ
【００３８】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が３ビットの方向コードにより指示される。この３ビットの方向コードと、差分値の極性を示す１ビットと、注目ＳＤ画素Ａ自身の値の量子化値（例えば３ビット）とを合わせた７ビットがクラスコードとされる。
【００３９】
次に、ＨＤ画素を作成するためのクラス分けについて説明する。例えば第２段階の処理で作成されるＨＤ画素Ｂ（図２Ｂ参照）のクラス分けについて説明する。以下のクラス分けの方法は、第３および第４段階の処理で作成されるＨＤ画素（図２Ｃ、図２Ｄ）のクラス分けについても適用できるものである。但し、第２段階において、クラス分けに使用できる画素は、補正ＳＤ画素に限定されるのに対して、第３および第４段階においては、補正ＳＤ画素のみならず、前段階で作成されたＨＤ画素をもクラス分けに使用できる。従って、第３および第４段階では、上述したＳＤ画素に対するものと同様のクラス分けを注目ＨＤ画素に対して適用可能である。
【００４０】
図６Ａに示すように、注目ＨＤ画素Ｂの周辺には、６個の補正ＳＤ画素ａ〜ｆが存在している。これらの平均値Ａｖを計算する。そして、各画素と平均値Ａｖとを比較し、その結果に応じてクラスコードを発生する。図６Ｂに示す例では、（０１１０１０）の６ビットが発生する。
【００４１】
注目ＨＤ画素Ｂのクラス分けの他の例を図７を参照して説明する。図７Ａに示すように、注目ＨＤ画素Ｂを中心として、上側ラインの４画素、同一ラインの４画素、下側ラインの４画素の１２画素を使用する。１２画素は、補正ＳＤ画素である。そして、注目ＨＤ画素Ｂの左側および左上に位置する４画素の平均値ａ´（＝ １／４（ａ＋ｃ＋ｇ＋ｉ）を形成する。同様に、注目ＨＤ画素Ｂの左側および左下に位置する４画素の平均値ｃ´（＝ １／４（ｃ＋ｅ＋ｉ＋ｋ）を形成する。同様に、注目ＨＤ画素Ｂの右側および右上に位置する４画素の平均値ｂ´（＝ １／４（ｂ＋ｄ＋ｈ＋ｊ）を形成し、注目ＨＤ画素Ｂの右側および右下に位置する４画素の平均値ｃ´（＝ １／４（ｄ＋ｊ＋ｆ＋ｌ）を形成する。
【００４２】
これらの平均値は、上下左右のＳＤ画素を使用して、ＨＤ画素を推定したものである。従って、図７Ｂに示すＨＤ画素の位置に平均値ａ´、ｂ´、ｃ´、ｄ´が存在しているパターンと考えられる。この図７Ｂに示すパターンに対して、上述の図６と同様の考え方を適用し、１０ビットのクラスコードを形成することができる。
【００４３】
図８を参照して、注目ＨＤ画素Ｂのクラス分けのさらに他の例について説明する。図７Ａに示される画素配列と同様の配列において、注目ＨＤ画素Ｂと隣接する二つのＳＤ画素例えば左右に位置する画素ｃおよびｄを規定し、画素ｃおよびｄに関してそれぞれ方向性を調べる。図８Ａは、左側の画素ｃを使用して方向性を調べる様子を示し、図８Ｂは、右側の画素ｄを使用して方向性を調べる様子を示す。
【００４４】
図８Ａに示すように、画素ｃを中心として、左右の画素（ｉ、ｄ）、上下の画素（ａ、ｅ）、斜め上の画素（ｇ、ｂ）、斜め下の画素（ｋ、ｆ）の配列において、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝ｃ−ａ、 Ｄ１＝ｃ−ｇ、 Ｄ２＝ｃ−ｉ、 Ｄ３＝ｃ−ｋ
Ｄ４＝ｃ−ｅ、 Ｄ５＝ｃ−ｆ、 Ｄ６＝ｃ−ｄ、 Ｄ７＝ｃ−ｂ
【００４５】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が図８Ｃに示すように、３ビットの方向コードにより指示される。例えば差分値（Ｄ３）が最小であれば、方向コードが（０１１）とされる。図８Ｂに示すように、注目ＨＤ画素Ｂの右側の画素ｄを使用して、上述と同様に、次の差分値Ｄ０´〜Ｄ７´が形成される。
Ｄ０´＝ｄ−ｂ、 Ｄ１´＝ｄ−ａ、 Ｄ２´＝ｄ−ｃ、 Ｄ３´＝ｄ−ｅ
Ｄ４´＝ｄ−ｆ、 Ｄ５´＝ｄ−ｌ、 Ｄ６´＝ｄ−ｊ、 Ｄ７´＝ｄ−ｈ
【００４６】
そして、差分値Ｄ０´〜Ｄ７´の中の最小値が検出され、最小値が存在する方向が３ビットの方向コードで指示される。左側の画素について発生した方向コードと右側の画素について発生した方向コードの合計６ビットが注目ＨＤ画素Ｂのクラスコードとして採用される。また、必要に応じて、最小である二つの差分値の極性を示す符号ビット（２ビット）をクラスコードに加えて、合計８ビットのクラスコードを形成しても良い。
【００４７】
注目ＨＤ画素のクラス分けの方法は、上述した方法以外のものを使用することができる。例えば図５に示すようなＳＤ画素のクラス分けと同様の方法を使用してＨＤ画素のクラス分けを行なうことができる。
【００４８】
上述したＳＤ画素あるいはＨＤ画素に対するクラス分けは、少ないビット数、言い換えると少ないクラス数でもって注目画素のクラスを決定することができる。若し、周辺の画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。上述したクラス分けは、このような問題点を解消できる。
【００４９】
さて、予測器２Ａは、メモリ４Ａからの係数と周辺画素の値との線形１次結合によって、補正値を生成する。予測器２Ｂ、２Ｃ、２Ｄは、メモリ４Ｂ、４Ｃ、４Ｄからの予測係数と周片画素の値の線形１次結合によって、ＨＤ画素をそれぞれ作成する。メモリ４Ａ〜４Ｄにそれぞれ格納されている係数は、予め学習により獲得されたものである。
【００５０】
図９は、メモリ４Ａに格納される予測係数を決定するための学習時の構成を示す。１１で示す入力端子に、ＨＤ信号が供給され、間引きフィルタ１２によって、ＳＤ信号が形成される。間引きフィルタ１２は、水平方向および垂直方向のそれぞれで間引き処理を行ない、図２Ａに示すような画素配列のＳＤ信号を形成する。間引きフィルタ１２の出力信号が時系列変換回路１３に供給される。
【００５１】
入力端子１１に対して、時系列変換回路１４が接続されている。時系列変換回路１３および１４は、ラスター走査の順序からブロックの順序へデータを並び換える。時系列変換回路１３の出力信号が係数決定回路１５およびクラス分け回路１６に供給される。クラス分け回路１６は、クラス分け回路３Ａと同様に、周囲の画素を使用して注目ＳＤ画素のクラスを決定する。クラス分け回路１６からのクラスコードが係数決定回路１５およびメモリ１７にそれぞれ供給される。
【００５２】
係数決定回路１５は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路１４を介して係数決定回路１５に対して、注目画素の真値として供給される。係数決定回路１５は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ１７に格納される。格納アドレスは、クラス分け回路１６からのクラスコードで指示される。
【００５３】
係数決定をソフトウェア処理で行う動作について、図１０を参照して説明する。まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００５４】
ステップ４４のクラス決定は、上述したＳＤ画素についてのクラス決定処理を行い、クラスを指示するクラスコードを形成するテップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ１７にストアし、ステップ４８で学習処理の制御が終了する。
【００５５】
図１０中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目ＳＤ画素の真値ｙが既知である。注目ＳＤ画素の補正値をｙ´、その周囲の画素の値をｘ１ 〜ｘｎ としたとき、クラス毎に係数ｗ１ 〜ｗｎ によるｎタップの線形１次結合
ｙ´＝ｗ１ ｘ１ ＋ｗ２ ｘ２ ＋‥‥＋ｗｎ ｘｎ （１）
を設定する。学習前はｗｉ が未定係数である。
【００５６】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙｊ ´＝ｗ１ ｘｊ１＋ｗ２ ｘｊ２＋‥‥＋ｗｎ ｘｊｎ （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００５７】
ｍ＞ｎの場合、ｗ１ 〜ｗｎ は一意には決まらないので、誤差ベクトルＥの要素を
ｅｊ ＝ｙｊ −（ｗ１ ｘｊ１＋ｗ２ ｘｊ２＋‥‥＋ｗｎ ｘｊｎ） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００５８】
【数１】
いわゆる最小自乗法による解法である。ここで式（４）のｗｉ による偏微分係数を求める。
【００６０】
【数２】
式（５）を０にするように各ｗｉ を決めればよいから、
【００６２】
【数３】
として、行列を用いると
【００６４】
【数４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗｉ について解けば、予測係数ｗｉ が求まり、クラスコードをアドレスとして、この予測係数ｗｉ をメモリ１７に格納しておく。
【００６６】
次に、メモリ４Ｂに格納される予測係数を求めるための学習について説明する。これは、図１１に示す構成によってなされる。この場合、上述のようにして求められた予測係数を使用して補正されたＳＤ信号が使用される。すなわち、入力端子１１にＨＤ信号が供給され、間引きフィルタ１２によってＳＤ信号が形成される。このＳＤ信号が時系列変換回路１３を介してクラス分け回路１６に供給され、クラス分け回路１６からのクラスコードがメモリ１７にアドレスとして供給される。
【００６７】
このメモリ１７には、図９の構成により獲得された係数が格納されている。この係数と時系列変換回路１３からのＳＤ信号とが予測器１８に供給される。予測器１８から補正されたＳＤ画素が得られる。この予測器１８は、予測器２Ａと同様に第１段階の予測（補正）を行なう。補正ＳＤ信号は、間引きフィルタ１２から出力されるＳＤ信号と比して、波形劣化が補正されたものである。
【００６８】
補正ＳＤ信号が時系列変換回路１９を介して係数決定回路２１およびクラス分け回路２２に供給される。クラス分け回路２２は、クラス分け回路３Ｂと同様に、図２Ｂに示すパターンにおける注目ＨＤ画素Ｂのクラスを決定する。係数決定回路２１には、時系列変換回路２０を介して注目ＨＤ画素Ｂの真値が供給される。係数決定回路２１は、上述の係数決定回路１５と同様に、最小二乗法によって、注目ＨＤ画素Ｂの真値と予測値との誤差を最小とするような予測係数を決定する。この決定された予測係数がメモリ２３に格納される。
【００６９】
メモリ４Ｃに格納される予測係数は、図２Ｃに示すパターンにおける注目ＨＤ画素Ｃに対するものである。上述の注目ＨＤ画素Ｂに対する予測係数と同様にして決定される。その場合に、補正されたＳＤ画素と、上述のように予測されたＨＤ画素Ｂとが使用される。さらに、メモリ４Ｄに格納される予測係数は、図２Ｄに示すパターンにおける注目ＨＤ画素Ｄに対するものである。この場合でも、補正されたＳＤ画素と、予測されたＨＤ画素ＢおよびＣとが使用される。これらの画素ＣおよびＤに対する予測係数の決定についての説明は、重複を避けるために省略する。
【００７０】
図１０は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、ＳＤ画素を補正し、ＨＤ画素を予測するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値をメモリに格納しても良い。
【００７１】
図１２は、データの値例えばＳＤ画素の値を予め作成するための学習処理を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００７２】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００７３】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００７４】
このように正規化された値を学習により求めておいた時には、例えばＳＤ画素の補正のために、図１３の構成が使用される。図１３に示すように、時系列変換回路３１からのＳＤ信号がクラス分け回路３２および検出回路３４に供給される。クラス分け回路３２からのクラスコードで指示されるメモリ３３のアドレスから正規化された代表値が読出される。また、検出回路３４は、注目画素の周辺の複数のＳＤ画素、すなわち、ブロックのダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００７５】
メモリ３３からの正規化代表値が乗算回路３５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路３５の出力が加算回路３６に供給され、検出された最小値ＭＩＮと加算される。この加算回路３６の出力信号が補正値である。
【００７６】
重心法により求められた代表値を使用する時には、段階的な予測によって、予測の精度が向上するとは言えない。しかしながら、クラス分けの精度を向上することができる。また、正規化代表値を使用する場合では、ブロックのダイナミックレンジＤＲ、最小値ＭＩＮ等が必要である。従って、ブロック内に前段階で補正、あるいは予測された画素を含む場合には、これらの補正、あるいは予測の精度が向上しているので、予測およびクラス分けの精度を向上できる。
【００７７】
また、この発明におけるクラス分けあるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００７８】
さらに、上述のこの発明の一実施例では、各段階の予測のために、別々の構成を設けているが、これらの構成を共通とすることも可能である。
【００７９】
【発明の効果】
この発明は、注目画素と予測に使用する周辺画素との距離が近いものから遠いものへ順に段階的に、注目画素を予測するので、予測、あるいはクラス分けの精度を向上することができる。従って、変換後のディジタル画像信号の品質を向上することができる。
【００８０】
また、この一実施例では、ＨＤ画素のみならず、ＳＤ画素の値も補正しているので、フィルタリング処理によって失われた高域成分を補償することができる。従って、変換後の信号の波形のなまりを補償でき、出力画像の品質を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】ＳＤ画素の段階的予測の動作を説明するための略線図である。
【図３】ＳＤ画素の段階的予測の動作を説明するための略線図である。
【図４】ＳＤ画素のクラス分けの方法の一例を説明するための略線図である。
【図５】ＳＤ画素のクラス分けの他の例を説明するための略線図である。
【図６】ＨＤ画素のクラス分けの方法の一例を説明するための略線図である。
【図７】ＨＤ画素のクラス分けの他の例を説明するための略線図である。
【図８】ＨＤ画素のクラス分けのさらに他の例を説明するための略線図である。
【図９】ＳＤ画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図１０】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１１】ＨＤ画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図１２】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１３】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１４】ライン数の間引き処理を説明するための略線図である。
【図１５】画素数の間引き処理を説明するための略線図である。
【符号の説明】
２Ａ〜２Ｄ 予測器
３Ａ〜３Ｄ クラス分け回路
４Ａ〜４Ｄ 予測係数が格納されたメモリ
Claims (7)
- 入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
上記入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
上記入力ディジタル画像信号中に含まれ、上記注目画素の空間的および／または時間的に近傍の複数の画素の値と係数の線形１次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするような、係数を上記クラス毎に発生するための係数発生手段と、
上記係数と上記注目画素の空間的および／または時間的に近傍の複数の画素の値との線形１次結合によって、上記注目画素の予測値を生成するための演算手段とからなり、
上記注目画素位置と上記入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、上記注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置。 - 請求項１に記載のディジタル画像信号の変換装置において、
上記係数発生手段は、最小二乗法によって係数を決定することを特徴とするディジタル画像信号の変換装置。 - 請求項１に記載のディジタル画像信号の変換装置において、
注目画素を段階的に予測する時に、予測あるいはクラス分けのために使用する複数の画素内に、前段階で予測された１以上の画素を含むことを特徴とするディジタル画像信号の変換装置。 - 入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
上記入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
予め学習により獲得された代表値が上記クラス毎に貯えられ、上記クラス分け手段によって決定された上記クラスと対応する上記代表値を上記注目画素の値として出力するためのメモリ手段とからなり、
上記注目画素位置と上記入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、上記注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置。 - 請求項４に記載のディジタル画像信号の変換装置において、
注目画素を段階的に予測する時に、予測あるいはクラス分けのために使用する複数の画素内に、前段階で予測された１以上の画素を含むことを特徴とするディジタル画像信号の変換装置。 - 請求項４に記載のディジタル画像信号の変換装置において、
上記メモリ手段に格納される代表値は、学習時に与えられる注目画素の真値を平均化した値であることを特徴とするディジタル画像信号の変換装置。 - 請求項４に記載のディジタル画像信号の変換装置において、
上記メモリ手段に格納される代表値は、注目画素を含むブロック内の複数画素の基準値と、上記ブロックのダイナミックレンジとによって、上記注目画素の真値を正規化した値であることを特徴とするディジタル画像信号の変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21041994A JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21041994A JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0856335A JPH0856335A (ja) | 1996-02-27 |
| JP3608228B2 true JP3608228B2 (ja) | 2005-01-05 |
Family
ID=16589008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21041994A Expired - Lifetime JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3608228B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4345231B2 (ja) | 1998-09-18 | 2009-10-14 | ソニー株式会社 | データ変換装置および方法、並びに記録媒体 |
| JP4470280B2 (ja) * | 2000-05-24 | 2010-06-02 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
-
1994
- 1994-08-11 JP JP21041994A patent/JP3608228B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0856335A (ja) | 1996-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
| JPH07162848A (ja) | ディジタル画像信号の処理装置 | |
| JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| US6501851B1 (en) | Image encoding/decoding by eliminating color components in pixels | |
| JP4892869B2 (ja) | 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3470403B2 (ja) | ディジタル画像信号の処理装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3608228B2 (ja) | ディジタル画像信号の変換装置 | |
| WO2001097510A1 (en) | Image processing system, image processing method, program, and recording medium | |
| JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4622762B2 (ja) | 画像データ圧縮・復元方法 | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP4014436B2 (ja) | 撮像装置 | |
| JP3480011B2 (ja) | 画像情報変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040921 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041004 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |