JP3608228B2 - ディジタル画像信号の変換装置 - Google Patents
ディジタル画像信号の変換装置 Download PDFInfo
- Publication number
- JP3608228B2 JP3608228B2 JP21041994A JP21041994A JP3608228B2 JP 3608228 B2 JP3608228 B2 JP 3608228B2 JP 21041994 A JP21041994 A JP 21041994A JP 21041994 A JP21041994 A JP 21041994A JP 3608228 B2 JP3608228 B2 JP 3608228B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- image signal
- digital image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
【産業上の利用分野】
この発明は、ディジタルテレビジョン信号等の入力ディジタル画像信号を受け取って、より画素数が多いディジタル画像信号を出力することができるディジタル画像信号の変換装置に関する。
【0002】
【従来の技術】
テレビジョン信号を例にとると、既存の標準解像度(SDと称する)の信号に対して、水平および垂直方向のそれぞれの解像度を約2倍とした高解像度(HDと称する)信号が提案されている。SD方式とHD方式とが混在している時には、SD画像信号をHD画像信号へ変換する、所謂アップコンバージョンの処理が必要な場合が存在する。例えばSD画像信号をHD方式のモニタにより表示する場合には、かかる信号変換が必要である。
【0003】
従来では、水平補間フィルタと垂直補間フィルタとを用意し、SD画像信号をこれらのフィルタを直列に介することによって、HD画像信号を形成していた。このように得られたHD画像信号は、補間によって不足している画素を作るので、変換前のSD画像信号のもの以上の解像度を持つことができなかった。
【0004】
このような問題点を解決するための一つの方法として、本願出願人は、クラス分類適応処理によりアップコンバージョンを行なう信号変換装置を提案している。これは、注目HD画素の値をその周辺のSD画素の値と係数の線形1次結合によって予測するものであり、その場合に、注目HD画素の周辺のSD画素のレベル分布のパターンに対応するクラス分けを行い、クラス毎の係数を使用する。この係数は、予測誤差を最小とするものであり、予め標準的画像を使用した学習によって獲得されている。
【0005】
ここで、SD画素とHD画素の時間関係を図14を参照して説明する。図14は、k番目のフィールドと(k+1)番目のフィールドのそれぞれにおいて、垂直方向に整列する複数画素を示している。図14Aに示すHD画素(白いドットで示す)の各フィールドが1ライン毎に間引かれる。その結果、図14Bに示すSD画素(黒いドットで示す)が得られる。図14Bにおいて、間引かれたライン位置を・で示す。図14Bにおける(k+1)番目のフィールドのラインは、同一フィールドの上下のラインと、前のk番目のフィールドの同一位置のラインとを使用した補間処理で形成される。
【0006】
時間的な関係の他の例を図14CおよびDに示す。この例では、k番目および(k+1)番目のフィールドにおいて、ライン数が半分に間引かれるとともに、インターレス走査が保たれる位置にSD画像のラインが形成される。
【0007】
HD画像とSD画像の空間的な位置関係を図15AおよびBに示す。図15Aは、同一フィールド内のHD画素の配列を示す。垂直方向では、隣接する2ラインの1ラインが間引かれ、水平方向では、隣接する2画素の1画素が間引かれる。その結果、図15Bに示す画素配列のSD画像が形成される。
【0008】
【発明が解決しようとする課題】
信号変換装置は、上述のように、HD画像からSD画像が形成されている時に、SD画像に存在している画素を使用したクラス分類適応処理によって、HD画素(×)を形成する。この場合、注目HD画素と、その予測、あるいはクラス分けに使用する周辺の複数のSD画素との間の時間差、空間的距離は、一定の関係ではない。
【0009】
このような注目HD画素と、その予測、あるいはクラス分けに使用する周辺の複数のSD画素との間の時間差、空間的距離の相違は、予測、あるいはクラス分けの精度の相違を生じさせる。一般的には、時間差、空間的距離がより近いSD画素を使用した予測、あるいはクラス分けは、これらがより遠いSD画素を使用したものと比較して精度が高いと言える。先に提案されているクラス分類適応処理の信号変換装置は、かかる時間差、空間的距離の相違により予測の精度が影響される点を考慮していなかった。その結果、精度が高い予測と、これが低い予測とが混在し、全体として、変換後のHD画像の画質が不充分な問題があった。
【0010】
従って、この発明の目的は、もとの画像データと変換後の画像データの空間的位置が近いものから、これが遠いものに順に予測、あるいはクラス分けを行なうことによって、精度の向上が可能なディジタル画像信号の変換装置を提供することにある。
【0011】
【課題を解決するための手段】
請求項1に記載の発明は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
入力ディジタル画像信号中に含まれ、注目画素の空間的および/または時間的に近傍の複数の画素の値と係数の線形1次結合によって、注目画素の値を作成した時に、作成された値と注目画素の真値との誤差を最小とするような、係数をクラス毎に発生するための係数発生手段と、
係数と注目画素の空間的および/または時間的に近傍の複数の画素の値との線形1次結合によって、注目画素の予測値を生成するための演算手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【0012】
請求項4に記載のディジタル画像信号の変換装置は、入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分け手段によって決定されたクラスと対応する代表値を注目画素の値として出力するためのメモリ手段とからなり、
注目画素位置と入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置である。
【0013】
【作用】
入力ディジタル画像信号(SD信号)が供給され、その画素数がより多い出力ディジタル画像信号(HD信号)が形成される。入力信号中に存在していないHD画素を作成する時に、その対象の画素(注目HD画素)が周囲の画素のレベル分布のパターンに基づいてクラス分けされる。このクラス毎に予め予測係数が求められている。予測係数と周囲の画素との線形1次結合によって、注目HD画素の値が形成される。注目HD画素と、予測、あるいはクラス分けに使用する周辺画素との距離は、一定ではない。この距離が近いものから遠いものへ順に注目HD画素の予測がなされる。これによって、予測、あるいはクラス分けの精度を向上することができる。
【0014】
請求項4に記載の発明では、予めクラス毎に画素の値が求められており、メモリに格納されている。注目HD画素のクラスが決定され、そのクラスの値が注目HD画素の値とされる。これによって、クラス分けの精度を向上できる。正規化された値を使用する場合には、予測の精度も向上する。
【0015】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。この一実施例は、上述した図14Aおよび図14Bに示す関係によって、ライン数が半分に間引かれ、また、図15Aおよび図15Bに示す関係によって、水平方向に画素数を半分に間引かれた例である。さらに、実際のテレビジョン画像では、一般的にライン間隔の方が水平方向の画素間隔よりも大きいのが普通である。
【0016】
図1において、1で示す入力端子には、SD(標準解像度)のディジタルビデオ信号が供給される。具体的には、放送などによる伝送、VTR等からの再生信号が入力端子1に供給される。各画素の値は、8ビットのコードで表されている。入力SD信号が予測器2A、クラス分け回路3Aに供給される。この例では、処理の対象とする注目画素とその補正または予測に使用する周辺の画素との距離が近いものから遠い順に4段階の予測を行なう。予測器2Aは、第1段階の予測動作を行なう。第1段階の予測では、入力されたSD信号の補正を行ない、第2、第3および第4段階では、HD信号の画素を作成するための予測を行なう。各段階の予測およびクラス分けにおいて、前段階の予測結果を使用することができる。
【0017】
HD信号を間引き処理でSD信号を生成している時において、伝送されるSD信号自身も間引き処理のためのフィルタリング処理を受けており、その結果、波形劣化が生じている。そこで、SD信号自身の補正を行なうようにしている。すなわち、クラス分け回路3Aは、補正しようとするSD信号の注目画素をその周辺のSD画素を使用してクラス分けするものである。注目画素のクラスを指示するクラスコードがメモリ4Aに対してアドレスとして供給される。メモリ4Aから読出された予測係数が予測器2Aに供給される。メモリ4A内には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、注目画素の値を補正するために必要とされる。
【0018】
予測器2Aは、注目画素の補正値をメモリ4Aからの係数と周囲のSD画素の値との線形1次結合によって生成する。具体的には、予測器2Aは、補正のために使用する複数のSD画素を同時化するための時系列変換回路と、同時化された複数のSD画素とメモリ4Aからの複数の係数とをそれぞれ乗算する乗算器と、乗算出力を集計する加算器とによって構成される。補正されたSD画素が予測器2Aからセレクタ5を介してメモリ6に対して書込まれる。
【0019】
メモリ6の読出し出力は、セレクタ7に供給される。セレクタ7は、読出し出力を予測器2B、2C、2Dとクラス分け回路3B、3C、3Dに与える状態と、出力端子8に出力する状態とを切り替えられるものである。セレクタ5および7の選択動作、メモリ6の書込み/読出し動作は、コントローラ9からの制御信号により制御される。セレクタ5は、予測器2A、2B、2Cおよび2Dの出力を順に選択する。最終段階の予測の結果がメモリ6に書込まれた後で、メモリ6から補正されたSD画素および作成されたHD画素で構成されるHD画像がセレクタ7を介して出力端子8に取り出される。
【0020】
予測器2Aが第1段階の予測(SD画素の補正)を行い、予測器2Bが第2段階の予測を行なう。予測器2Bは、セレクタ7を通じてメモリ6の読出し出力を受け取って、クラス分類適応処理によって、HD画素を生成する。基本的には、予測器2A、クラス分け回路3Aおよびメモリ4Aと同様にして、予測器2Bにおいて、注目HD画素の値をメモリ4Bからの予測係数と周囲のSD画素の値との線形1次結合によって生成する。第3段階のHD画素の予測は、予測器2C、クラス分け回路3Cおよびメモリ4Cの構成によりなされる。第4段階のHD画素の予測は、予測器2D、クラス分け回路3Dおよびメモリ4Dの構成によりなされる。
【0021】
図2を参照して、この一実施例における予測動作を説明する。図2〜図8中で、各画素が異なる大きさの2種類の円で示されており、大きい方の円がSD画素を表し、小さい方の円がHD画素を表している。図2Aは、予測器2A、クラス分け回路3Aおよびメモリ4Aによりなされる、第1段階の補正動作を示す。Aで示す注目SD画素は、その周囲の8個のSD画素a〜hを使用して補正される。すなわち、注目SD画素Aの上下、左右の画素と、その斜めに位置する画素とが補正に使用される。第1段階が終了すると、図3Aにおいて、斜線で示すように、SD画素が補正される。補正後のSD画素がセレクタ5を介してメモリ6に格納される。
【0022】
予測器2B、クラス分け回路3Bおよびメモリ4Bによりなされる、第2段階では、図2Bに示すように、注目HD画素Bと同一ラインの左右のSD画素cおよびdと、その上側ラインの画素aおよびbと、その下側ラインの画素eおよびfとを使用して、HD画素Bの値が生成される。これらのSD画素は、全て第1段階で補正されたものである。第1および第2段階が終了すると、図3Bにおいて斜線を付して示すように、SD画素が補正され、また、HD画素が作成される。補正SD画素および作成されたHD画素がセレクタ5を介してメモリ6に格納される。
【0023】
予測器2C、クラス分け回路3Cおよびメモリ4Cによりなされる、第3段階では、図2Cに示すように、注目HD画素Cの上側のラインの画素a、bおよびcと、その下側ラインの画素d、e、fとを使用して、HD画素Cの値が生成される。SD画素bおよびeは、第1段階で補正されたものであり、HD画素a、c、d、fは、第2段階で作成されたものである。第1、第2および第3段階が終了すると、図3Cにおいて斜線を付して示すように、SD画素が補正され、HD画素が作成される。補正SD画素および作成されたHD画素がセレクタ5を介してメモリ6に格納される。
【0024】
予測器2D、クラス分け回路3Dおよびメモリ4Dによりなされる、第4段階では、図2Dに示すように、注目HD画素Dの上側のラインの画素a、bおよびcと、同一ラインの左右の画素d、eと、その下側ラインの画素f、hとを使用して、HD画素Dの値が生成される。SD画素a、c、fおよびhは、第1段階で補正されたものであり、HD画素b、d、e、gは、第2段階および第3段階で作成されたものである。第1、第2、第3および第4段階が終了すると、図3Dにおいて斜線を付して示すように、SD画素が補正され、HD画素が作成される。補正SD画素および作成されたHD画素がセレクタ5を介してメモリ6に格納される。この図3Dから分かるように、最終的に、所望のHD画像がメモリ6に蓄えられる。このHD画像がメモリ6から読出され、セレクタ7を介して出力端子8に取り出される。
【0025】
作成すべきHD画素は、第2、第3および第4段階のいずれかのパターンに必ず属している。HD画素を予測する時に、図2から分かるように、注目画素と距離が近いものから遠いものへ順に予測がなされる。すなわち、図2Bに示すように、距離が最も近い左右のSD画素cおよびdを含む複数画素を使用して、最初に画素Bが予測される。次に、図2Cに示すように、距離が次に近い上下のSD画素bおよびeを含む複数画素を使用して、画素Cが予測される。そして、図2Dに示すように、斜め方向のSD画素a、c、f、hを含む複数画素を使用して、画素Dが予測される。
【0026】
隣接する画素間の相関が強く、隣接画素間の距離が近いほど、この相関が強いので、予測される画素と、予測に使用する画素との距離が近いほど、予測の精度が高い。然も、この一実施例における段階的予測では、前段階で予測された画素を使用する。従って、上述のように、距離が近いものから開始して、段階的な予測を行なうことによって、予測の精度を向上することができる。
【0027】
この発明は、このように、予測の精度を向上できるのみならず、クラス分けの精度も向上することもできる。クラス分けは、注目画素の周辺の画素のレベル分布のパターンに基づいて、その注目画素のクラスを決定する処理である。従って、クラス分けに使用する周辺の画素として、作成されたHD画素をも使用する時には、HD画素の予測の精度が高いので、クラス分けを高精度に行なうことができる。また、上述のように、SD画素の補正を行なっているので、補正SD画素を使用することによって、クラス分けの精度が向上する。
【0028】
クラス分けの幾つかの方法について以下に説明する。この説明では、注目画素をクラス分けする場合に使用する周辺の画素は、上述した補正あるいは予測のために使用する周辺の画素と同一とする。しかしながら、この関係は、必ずしも必要ではなく、補正あるいは予測とクラス分けに使用する画素が異なっていても良い。さらに、クラス分けの処理は、SD画素に対するものと、作成しようとするHD画素に対するものとで、やや相違する。最初にSD画素のクラス分けについて説明する。
【0029】
クラス分け回路3Aは、SD画素のクラス分けを行なう。一例として、SD画素のクラス分けは、注目SD画素の近傍のSD画素のレベル分布のパターンに基づいて、この注目SD画素のクラスを決定する。図4Aに示すように、注目SD画素Aの上下左右の最も近い距離のSD画素(b、d、e、g)のレベル分布のパターンをクラスとして決定する。一例として、この参照される4画素の平均値Avを求め、平均値Avに対する大小関係によって、周囲の画素を8ビットから1ビットへ圧縮する。すなわち、図4Bに一例を示すように、平均値Avより大きい値の場合は、`1’ を割り当て、平均値Avより小さい値の場合は、`0’ を割り当てる。図4Bの例では、(0101)の4ビットのコードが得られる。
【0030】
クラス分け回路3Aが発生するクラスコードとしては、周辺画素のみならず、注目SD画素の値A(ここでは、画素を指示する参照符号が画素自身の値をも表わすものとする。)の情報を含むものが使用される。例えば画素値Aを平均値Avと比較した1ビットを加えた5ビットが使用できる。この場合、注目SD画素を1ビットではなくて、注目SD画素の値AをADRCによって圧縮した数ビットの量子化値とを組み合わせたものを使用しても良い。すなわち、ADRCは、複数の画素のダイナミックレンジDRおよび最小値MINを検出し、各画素の値から最小値MINを減算し、最小値が減算された値をダイナミックレンジDRで除算し、商を整数化する処理である。
【0031】
例えば1ビットADRCの場合について説明すると、5画素の中の最大値MAXおよび最小値MINが検出され、ダイナミックレンジDR(=MAX−MIN)が計算される。各画素の値から最小値MINが減算され、最小値除去後の値がダイナミックレンジDRで割算される。この割算の商が0.5と比較され、0.5以上の場合は、`1’ とされ、商が0.5より少ない場合は、`0’ とされる。1ビットADRCは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。2ビットADRCの場合であれば、DR/22 で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
【0032】
図5は、SD画素のクラス分けの他の例を示す。これは、縦方向(図5A)、斜め方向(図5B、図5C)、横方向(図5D)のそれぞれにおいて、差分の絶対値の最小値を求める。図5Aに示す縦方向において隣接する二つのSD画素に関しては、次の差分の絶対値が求められる。
|a−d|、|b−A|、|A−g|、|e−h|
【0033】
これらの絶対値差分の中の最小値が検出される。4個の絶対値差分に対して、それぞれ2ビットのコードが割り当てられており、検出最小値と対応する2ビットのコードが選択される。図5Bに示すように、右上がりの斜め方向において隣接する二つのSD画素に関して、次の差分の絶対値が求められる。
|b−d|、|c−A|、|A−f|、|e−g|
【0034】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する2ビットのコードが選択される。図5Cに示すように、左上がりの斜め方向において隣接する二つのSD画素に関して、次の差分の絶対値が求められる。
|d−g|、|a−A|、|A−h|、|b−e|
【0035】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する2ビットのコードが選択される。図5Dに示すように、横方向において隣接する二つのSD画素に関して、次の差分の絶対値が求められる。
|a−b|、|d−A|、|A−e|、|g−h|
【0036】
これらの絶対値差分の中の最小値が検出され、検出最小値と対応する2ビットのコードが選択される。最終的に4個の方向のそれぞれにおいて検出された最小値と対応する(2×4=8)ビットが得られる。この8ビットが注目SD画素のクラスを指示するクラスコードとされる。さらに、この8ビットに対して、注目SD画素自身の値を量子化により圧縮した値を組み合わせても良い。
【0037】
上述のSD画素に関する二つのクラス分けの方法に限らず、他のクラス分けも可能である。例えば注目SD画素を中心として、次の差分値D0〜D7を計算する。
D0=A−b、 D1=A−a、 D2=A−d、 D3=A−f
D4=A−g、 D5=A−h、 D6=A−e、 D7=A−c
【0038】
これらの差分値D0〜D7の中の最小値を検出する。この最小値が存在する方向が3ビットの方向コードにより指示される。この3ビットの方向コードと、差分値の極性を示す1ビットと、注目SD画素A自身の値の量子化値(例えば3ビット)とを合わせた7ビットがクラスコードとされる。
【0039】
次に、HD画素を作成するためのクラス分けについて説明する。例えば第2段階の処理で作成されるHD画素B(図2B参照)のクラス分けについて説明する。以下のクラス分けの方法は、第3および第4段階の処理で作成されるHD画素(図2C、図2D)のクラス分けについても適用できるものである。但し、第2段階において、クラス分けに使用できる画素は、補正SD画素に限定されるのに対して、第3および第4段階においては、補正SD画素のみならず、前段階で作成されたHD画素をもクラス分けに使用できる。従って、第3および第4段階では、上述したSD画素に対するものと同様のクラス分けを注目HD画素に対して適用可能である。
【0040】
図6Aに示すように、注目HD画素Bの周辺には、6個の補正SD画素a〜fが存在している。これらの平均値Avを計算する。そして、各画素と平均値Avとを比較し、その結果に応じてクラスコードを発生する。図6Bに示す例では、(011010)の6ビットが発生する。
【0041】
注目HD画素Bのクラス分けの他の例を図7を参照して説明する。図7Aに示すように、注目HD画素Bを中心として、上側ラインの4画素、同一ラインの4画素、下側ラインの4画素の12画素を使用する。12画素は、補正SD画素である。そして、注目HD画素Bの左側および左上に位置する4画素の平均値a´(= 1/4(a+c+g+i)を形成する。同様に、注目HD画素Bの左側および左下に位置する4画素の平均値c´(= 1/4(c+e+i+k)を形成する。同様に、注目HD画素Bの右側および右上に位置する4画素の平均値b´(= 1/4(b+d+h+j)を形成し、注目HD画素Bの右側および右下に位置する4画素の平均値c´(= 1/4(d+j+f+l)を形成する。
【0042】
これらの平均値は、上下左右のSD画素を使用して、HD画素を推定したものである。従って、図7Bに示すHD画素の位置に平均値a´、b´、c´、d´が存在しているパターンと考えられる。この図7Bに示すパターンに対して、上述の図6と同様の考え方を適用し、10ビットのクラスコードを形成することができる。
【0043】
図8を参照して、注目HD画素Bのクラス分けのさらに他の例について説明する。図7Aに示される画素配列と同様の配列において、注目HD画素Bと隣接する二つのSD画素例えば左右に位置する画素cおよびdを規定し、画素cおよびdに関してそれぞれ方向性を調べる。図8Aは、左側の画素cを使用して方向性を調べる様子を示し、図8Bは、右側の画素dを使用して方向性を調べる様子を示す。
【0044】
図8Aに示すように、画素cを中心として、左右の画素(i、d)、上下の画素(a、e)、斜め上の画素(g、b)、斜め下の画素(k、f)の配列において、次の差分値D0〜D7を計算する。
D0=c−a、 D1=c−g、 D2=c−i、 D3=c−k
D4=c−e、 D5=c−f、 D6=c−d、 D7=c−b
【0045】
これらの差分値D0〜D7の中の最小値を検出する。この最小値が存在する方向が図8Cに示すように、3ビットの方向コードにより指示される。例えば差分値(D3)が最小であれば、方向コードが(011)とされる。図8Bに示すように、注目HD画素Bの右側の画素dを使用して、上述と同様に、次の差分値D0´〜D7´が形成される。
D0´=d−b、 D1´=d−a、 D2´=d−c、 D3´=d−e
D4´=d−f、 D5´=d−l、 D6´=d−j、 D7´=d−h
【0046】
そして、差分値D0´〜D7´の中の最小値が検出され、最小値が存在する方向が3ビットの方向コードで指示される。左側の画素について発生した方向コードと右側の画素について発生した方向コードの合計6ビットが注目HD画素Bのクラスコードとして採用される。また、必要に応じて、最小である二つの差分値の極性を示す符号ビット(2ビット)をクラスコードに加えて、合計8ビットのクラスコードを形成しても良い。
【0047】
注目HD画素のクラス分けの方法は、上述した方法以外のものを使用することができる。例えば図5に示すようなSD画素のクラス分けと同様の方法を使用してHD画素のクラス分けを行なうことができる。
【0048】
上述したSD画素あるいはHD画素に対するクラス分けは、少ないビット数、言い換えると少ないクラス数でもって注目画素のクラスを決定することができる。若し、周辺の画素の8ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。上述したクラス分けは、このような問題点を解消できる。
【0049】
さて、予測器2Aは、メモリ4Aからの係数と周辺画素の値との線形1次結合によって、補正値を生成する。予測器2B、2C、2Dは、メモリ4B、4C、4Dからの予測係数と周片画素の値の線形1次結合によって、HD画素をそれぞれ作成する。メモリ4A〜4Dにそれぞれ格納されている係数は、予め学習により獲得されたものである。
【0050】
図9は、メモリ4Aに格納される予測係数を決定するための学習時の構成を示す。11で示す入力端子に、HD信号が供給され、間引きフィルタ12によって、SD信号が形成される。間引きフィルタ12は、水平方向および垂直方向のそれぞれで間引き処理を行ない、図2Aに示すような画素配列のSD信号を形成する。間引きフィルタ12の出力信号が時系列変換回路13に供給される。
【0051】
入力端子11に対して、時系列変換回路14が接続されている。時系列変換回路13および14は、ラスター走査の順序からブロックの順序へデータを並び換える。時系列変換回路13の出力信号が係数決定回路15およびクラス分け回路16に供給される。クラス分け回路16は、クラス分け回路3Aと同様に、周囲の画素を使用して注目SD画素のクラスを決定する。クラス分け回路16からのクラスコードが係数決定回路15およびメモリ17にそれぞれ供給される。
【0052】
係数決定回路15は、線形1次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子11に供給される原データが時系列変換回路14を介して係数決定回路15に対して、注目画素の真値として供給される。係数決定回路15は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ17に格納される。格納アドレスは、クラス分け回路16からのクラスコードで指示される。
【0053】
係数決定をソフトウェア処理で行う動作について、図10を参照して説明する。まず、ステップ41から処理の制御が開始され、ステップ42の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ43のデータ終了では、入力された全データ例えば1フレームのデータの処理が終了していれば、ステップ46の予測係数決定へ、終了していなければ、ステップ44のクラス決定へ制御が移る。
【0054】
ステップ44のクラス決定は、上述したSD画素についてのクラス決定処理を行い、クラスを指示するクラスコードを形成するテップである。次のステップ45の正規方程式生成では、後述する正規方程式が作成される。ステップ43のデータ終了から全データの処理が終了後、制御がステップ46に移り、ステップ46の予測係数決定では、後述する式(8)を行列解法を用いて解いて、係数を決める。ステップ47の予測係数ストアで、予測係数をメモリ17にストアし、ステップ48で学習処理の制御が終了する。
【0055】
図10中のステップ45(正規方程式生成)およびステップ46(予測係数決定)の処理をより詳細に説明する。学習時には、注目SD画素の真値yが既知である。注目SD画素の補正値をy´、その周囲の画素の値をx1 〜xn としたとき、クラス毎に係数w1 〜wn によるnタップの線形1次結合
y´=w1 x1 +w2 x2 +‥‥+wn xn (1)
を設定する。学習前はwi が未定係数である。
【0056】
上述のように、学習はクラス毎になされ、データ数がmの場合、式(1)に従って、
yj ´=w1 xj1+w2 xj2+‥‥+wn xjn (2)
(但し、j=1,2,‥‥m)
【0057】
m>nの場合、w1 〜wn は一意には決まらないので、誤差ベクトルEの要素を
ej =yj −(w1 xj1+w2 xj2+‥‥+wn xjn) (3)
(但し、j=1,2,‥‥m)
と定義して、次の式(4)を最小にする係数を求める。
【0058】
【数1】
【0059】
いわゆる最小自乗法による解法である。ここで式(4)のwi による偏微分係数を求める。
【0060】
【数2】
【0061】
式(5)を0にするように各wi を決めればよいから、
【0062】
【数3】
【0063】
として、行列を用いると
【0064】
【数4】
【0065】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、wi について解けば、予測係数wi が求まり、クラスコードをアドレスとして、この予測係数wi をメモリ17に格納しておく。
【0066】
次に、メモリ4Bに格納される予測係数を求めるための学習について説明する。これは、図11に示す構成によってなされる。この場合、上述のようにして求められた予測係数を使用して補正されたSD信号が使用される。すなわち、入力端子11にHD信号が供給され、間引きフィルタ12によってSD信号が形成される。このSD信号が時系列変換回路13を介してクラス分け回路16に供給され、クラス分け回路16からのクラスコードがメモリ17にアドレスとして供給される。
【0067】
このメモリ17には、図9の構成により獲得された係数が格納されている。この係数と時系列変換回路13からのSD信号とが予測器18に供給される。予測器18から補正されたSD画素が得られる。この予測器18は、予測器2Aと同様に第1段階の予測(補正)を行なう。補正SD信号は、間引きフィルタ12から出力されるSD信号と比して、波形劣化が補正されたものである。
【0068】
補正SD信号が時系列変換回路19を介して係数決定回路21およびクラス分け回路22に供給される。クラス分け回路22は、クラス分け回路3Bと同様に、図2Bに示すパターンにおける注目HD画素Bのクラスを決定する。係数決定回路21には、時系列変換回路20を介して注目HD画素Bの真値が供給される。係数決定回路21は、上述の係数決定回路15と同様に、最小二乗法によって、注目HD画素Bの真値と予測値との誤差を最小とするような予測係数を決定する。この決定された予測係数がメモリ23に格納される。
【0069】
メモリ4Cに格納される予測係数は、図2Cに示すパターンにおける注目HD画素Cに対するものである。上述の注目HD画素Bに対する予測係数と同様にして決定される。その場合に、補正されたSD画素と、上述のように予測されたHD画素Bとが使用される。さらに、メモリ4Dに格納される予測係数は、図2Dに示すパターンにおける注目HD画素Dに対するものである。この場合でも、補正されたSD画素と、予測されたHD画素BおよびCとが使用される。これらの画素CおよびDに対する予測係数の決定についての説明は、重複を避けるために省略する。
【0070】
図10は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、SD画素を補正し、HD画素を予測するのに、予測係数による線形1次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値をメモリに格納しても良い。
【0071】
図12は、データの値例えばSD画素の値を予め作成するための学習処理を説明するためのフローチャートである。制御の開始のステップ51、学習データ形成のステップ52、データ終了のステップ53およびクラス決定のステップ54は、上述の予測係数を決定するための学習におけるステップ41、42、43および44と同様の処理を行うステップである。
【0072】
代表値決定のステップ55は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値(ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値MIN、最大値MAX、平均値等である)とブロックのダイナミックレンジDRで正規化した値を代表値として求めても良い。
【0073】
すなわち、ブロックの基準値をB(例えばブロック内の画素の最小値)とし、ダイナミックレンジをDRで表すと、正規化された代表値Gは、
G=(y−B)/DR
で規定される。ステップ56において、決定された代表値がメモリに格納され、学習が終了する。
【0074】
このように正規化された値を学習により求めておいた時には、例えばSD画素の補正のために、図13の構成が使用される。図13に示すように、時系列変換回路31からのSD信号がクラス分け回路32および検出回路34に供給される。クラス分け回路32からのクラスコードで指示されるメモリ33のアドレスから正規化された代表値が読出される。また、検出回路34は、注目画素の周辺の複数のSD画素、すなわち、ブロックのダイナミックレンジDRおよび最小値MINを検出する。
【0075】
メモリ33からの正規化代表値が乗算回路35に供給され、正規化代表値と検出されたダイナミックレンジDRとが乗算される。乗算回路35の出力が加算回路36に供給され、検出された最小値MINと加算される。この加算回路36の出力信号が補正値である。
【0076】
重心法により求められた代表値を使用する時には、段階的な予測によって、予測の精度が向上するとは言えない。しかしながら、クラス分けの精度を向上することができる。また、正規化代表値を使用する場合では、ブロックのダイナミックレンジDR、最小値MIN等が必要である。従って、ブロック内に前段階で補正、あるいは予測された画素を含む場合には、これらの補正、あるいは予測の精度が向上しているので、予測およびクラス分けの精度を向上できる。
【0077】
また、この発明におけるクラス分けあるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素(例えば前フレームの同一の画素)も使用することができる。
【0078】
さらに、上述のこの発明の一実施例では、各段階の予測のために、別々の構成を設けているが、これらの構成を共通とすることも可能である。
【0079】
【発明の効果】
この発明は、注目画素と予測に使用する周辺画素との距離が近いものから遠いものへ順に段階的に、注目画素を予測するので、予測、あるいはクラス分けの精度を向上することができる。従って、変換後のディジタル画像信号の品質を向上することができる。
【0080】
また、この一実施例では、HD画素のみならず、SD画素の値も補正しているので、フィルタリング処理によって失われた高域成分を補償することができる。従って、変換後の信号の波形のなまりを補償でき、出力画像の品質を向上することができる。
【図面の簡単な説明】
【図1】この発明の一実施例のブロック図である。
【図2】SD画素の段階的予測の動作を説明するための略線図である。
【図3】SD画素の段階的予測の動作を説明するための略線図である。
【図4】SD画素のクラス分けの方法の一例を説明するための略線図である。
【図5】SD画素のクラス分けの他の例を説明するための略線図である。
【図6】HD画素のクラス分けの方法の一例を説明するための略線図である。
【図7】HD画素のクラス分けの他の例を説明するための略線図である。
【図8】HD画素のクラス分けのさらに他の例を説明するための略線図である。
【図9】SD画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図10】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図11】HD画素に関する予測係数を求めるための学習時の構成の一例のブロック図である。
【図12】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図13】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図14】ライン数の間引き処理を説明するための略線図である。
【図15】画素数の間引き処理を説明するための略線図である。
【符号の説明】
2A〜2D 予測器
3A〜3D クラス分け回路
4A〜4D 予測係数が格納されたメモリ
Claims (7)
- 入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
上記入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
上記入力ディジタル画像信号中に含まれ、上記注目画素の空間的および/または時間的に近傍の複数の画素の値と係数の線形1次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするような、係数を上記クラス毎に発生するための係数発生手段と、
上記係数と上記注目画素の空間的および/または時間的に近傍の複数の画素の値との線形1次結合によって、上記注目画素の予測値を生成するための演算手段とからなり、
上記注目画素位置と上記入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、上記注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置。 - 請求項1に記載のディジタル画像信号の変換装置において、
上記係数発生手段は、最小二乗法によって係数を決定することを特徴とするディジタル画像信号の変換装置。 - 請求項1に記載のディジタル画像信号の変換装置において、
注目画素を段階的に予測する時に、予測あるいはクラス分けのために使用する複数の画素内に、前段階で予測された1以上の画素を含むことを特徴とするディジタル画像信号の変換装置。 - 入力ディジタル画像信号を画素数がより多いディジタル画像信号へ変換するためのディジタル画像信号の変換装置において、
上記入力ディジタル画像信号が供給され、注目画素のクラスを指示するためのクラス分け手段と、
予め学習により獲得された代表値が上記クラス毎に貯えられ、上記クラス分け手段によって決定された上記クラスと対応する上記代表値を上記注目画素の値として出力するためのメモリ手段とからなり、
上記注目画素位置と上記入力画像の画素数が増える前における予測に使用する画素位置との距離が小さいものから順に、上記注目画素を段階的に予測することを特徴とするディジタル画像信号の変換装置。 - 請求項4に記載のディジタル画像信号の変換装置において、
注目画素を段階的に予測する時に、予測あるいはクラス分けのために使用する複数の画素内に、前段階で予測された1以上の画素を含むことを特徴とするディジタル画像信号の変換装置。 - 請求項4に記載のディジタル画像信号の変換装置において、
上記メモリ手段に格納される代表値は、学習時に与えられる注目画素の真値を平均化した値であることを特徴とするディジタル画像信号の変換装置。 - 請求項4に記載のディジタル画像信号の変換装置において、
上記メモリ手段に格納される代表値は、注目画素を含むブロック内の複数画素の基準値と、上記ブロックのダイナミックレンジとによって、上記注目画素の真値を正規化した値であることを特徴とするディジタル画像信号の変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21041994A JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21041994A JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0856335A JPH0856335A (ja) | 1996-02-27 |
JP3608228B2 true JP3608228B2 (ja) | 2005-01-05 |
Family
ID=16589008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21041994A Expired - Lifetime JP3608228B2 (ja) | 1994-08-11 | 1994-08-11 | ディジタル画像信号の変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3608228B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4345231B2 (ja) | 1998-09-18 | 2009-10-14 | ソニー株式会社 | データ変換装置および方法、並びに記録媒体 |
JP4470280B2 (ja) * | 2000-05-24 | 2010-06-02 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
-
1994
- 1994-08-11 JP JP21041994A patent/JP3608228B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0856335A (ja) | 1996-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
JPH07162848A (ja) | ディジタル画像信号の処理装置 | |
JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
US6501851B1 (en) | Image encoding/decoding by eliminating color components in pixels | |
JP4892869B2 (ja) | 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム | |
JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP3470403B2 (ja) | ディジタル画像信号の処理装置 | |
JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP3608228B2 (ja) | ディジタル画像信号の変換装置 | |
WO2001097510A1 (en) | Image processing system, image processing method, program, and recording medium | |
JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
JP3743077B2 (ja) | 画像信号変換装置および方法 | |
JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
JP3362463B2 (ja) | フレーム補間装置 | |
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
JP4622762B2 (ja) | 画像データ圧縮・復元方法 | |
JPH08317347A (ja) | 画像情報変換装置 | |
JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
JP4014436B2 (ja) | 撮像装置 | |
JP3480011B2 (ja) | 画像情報変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041004 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |