以下に本発明の実施の形態を説明する。
図1は、本発明を適用した画像処理システムの一実施の形態の構成を示す図である。
テレビジョン信号受信装置1は、図示せぬ放送局より送信されてくる放送信号を受信し、画像信号に変換して、システムコントローラ3に供給する。システムコントローラ3は、テレビジョン信号受信装置1より供給されてくる画像信号に各種の処理を施し、ディスプレイ2に表示させる。
システムコントローラ3には、後述する信号処理部120(図2)を内蔵しており、画像信号に対して各種の処理を施すに当たり、各種のボタン、または、つまみが操作されることにより、各種のパラメータが設定され、そのパラメータに基づいて、信号処理部120が各種の処理を施す。以下においては、そのボタン、または、つまみについて説明する。
ボタン11a,11bは、ズーム倍率ボリュームを設定するボタンであり、ズーム倍率を上げるときボタン11aが操作され、ズーム倍率を下げるときボタン11bが操作される。
ボタン12は、画像信号中の注目したい位置、すなわち、表示位置の中心にしたい位置を設定するとき操作され、表示されている画像上の注目したい位置を移動させるとき上下左右にボタン12a,12b,12c,12dがそれぞれ操作される。
つまみ13は、ノイズ低減ボリュームを変更するとき操作され、図中の矢印D方向に操作されることにより、ノイズ低減のボリュームが下げられ、逆に、矢印C方向に操作されることにより上げられる。
つまみ14は、鮮鋭度調整ボリュームを変更するとき操作され、図中の矢印B方向に操作されることにより、鮮鋭度調整のボリュームが下げられ、逆に、矢印A方向に操作されることにより上げられる。
ボタン15は、画像信号の画像メモリ121への書き込みを停止させると共に、画像メモリ121に蓄えられた画像信号を読み出して処理し、ディスプレイ2に供給させるように切り替える停止ボタンであり、再度、ボタン15が操作されると画像メモリ121への書き込みが開始され、テレビジョン信号受信装置1より供給された画像信号が後段に供給される。すなわち、システムコントローラ3の信号処理部120(図2)は、その内部に画像メモリ121(図2)が設けられており、テレビジョン信号受信装置1より供給される画像信号が、順次書き込まれると共に、最も古いフレームの画像信号が消去されることにより、常に直近の30秒分の画像信号(フレームレートが30(フレーム/秒)であるとすれば、900フレーム分の画像信号)が記憶される。
つまみ16a,16bは、矢印G方向に操作することができ、つまみ16aの位置が、画像メモリ121に蓄えられた画像信号のうちの再生開始位置を設定し、つまみ16bの位置が、画像メモリ121に蓄えられた画像信号のうちの再生終了位置を設定する。すなわち、つまみ16の右端がボタン15が操作された瞬間の時点のフレームの画像信号を示し、左端が、ボタン15が操作される30秒前の時点のフレームの画像信号を示しており、ボタン15が操作されると、つまみ16aで設定されたフレームから、つまみ16bで設定された画像信号が再生される。
つまみ17は、再生速度ボリューム(スピードボリューム)を設定するとき操作される。つまみ17は、矢印E方向に操作されると再生速度ボリュームが大きく設定され、再生速度が早くなる。逆に、つまみ17は、矢印F方向に操作されると再生速度ボリュームが小さく設定され、再生速度が低速となる。
つまみ18は、受信周波数を操作するつまみであり、後述するチューナ112(図2)は、この操作情報に対応した信号に基づいて、矢印H方向、または、I方向に操作させることにより受信周波数を変化させる。ボタン19は、後述する画像信号の変換方法を選択するとき操作されるボタンであり、一回押下される毎に変換方法が所定の順序で順次切り替えられ、最後の変換方法にまで切り替えられた状態で押下されると先頭の変換方法に戻る。
以上のシステムコントローラ3の操作情報が、図2で示される信号処理部120に供給され、それぞれの操作情報に対応した信号や、その信号により示される各種のパラメータに基づいて、処理が実行される。
次に、図2を参照して、テレビジョン信号受信装置1と、信号処理部120の詳細について説明する。
テレビジョン信号受信装置1は、受信アンテナ111と、この受信アンテナ111で捕らえられた放送信号(RF(Radio Frequency)変調信号)が供給され、選局処理、中間周波増幅処理、検波処理等を行って525i信号を得るチューナ112と、このチューナ112より出力される525i信号を一時的に保存するためのバッファメモリ113とを有している。
信号処理部120は、バッファメモリ113に一時的に保存される525i信号である画像信号Vinを、1080i信号またはXGA(Extended Graphics Array(1024画素×768画素))信号に変換し、あるいはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換して出力する。さらに、信号処理部120は、ボタン15、および、つまみ16a,16b,17の操作に応じて、画像メモリ121に蓄えられた画像信号のうちの任意のタイミングのものを、任意の再生速度で表示できるように、フレーム数を調整し(フレーム数を増やす必要がある場合は、フレームを補間生成し、または、必要に応じてフレームを間引き)、任意の再生速度でもなめらかな画像を表示できるように処理する。
信号処理部120の画像メモリ121は、ボタン15が操作されるまで、バッファメモリ113に記憶されている525i信号の直近の30秒分のフレームに対応する画像信号を順次記憶する。より詳細には、画像メモリ121は、30秒分のフレームに対応する画像信号を記憶すると、新しいフレームの画像信号を記憶すると共に、最も古いフレームに対応する画像信号を消去する。
フレーム選択回路122は、通常は、バッファメモリ113より供給される各フレームの画像信号を第1乃至第3のタップ選択回路123乃至125に供給する。また、フレーム選択回路122は、ボタン15が操作されると(停止ボタンが操作されると)、画像メモリ121の画像信号の書き込みを停止させ、つまみ16a,16bで設定される開始位置のフレームから終了位置のフレームまでの範囲で画像メモリ121に記憶されている画像信号を読み出して、第1乃至第3のタップ選択回路123乃至125に供給する。
第1のタップ選択回路123は、予測に使用する画素(「予測タップ」と称する)のデータを選択的に取り出すものである。第2のタップ選択回路124は、空間クラス分類に使用する画素(「空間クラスタップ」と称する)のデータを選択的に取り出すものである。第3のタップ選択回路125は、動きクラス分類に使用する画素(「動きクラスタップ」と称する)のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
空間クラス検出回路126は、第2のタップ選択回路124で選択的に取り出される空間クラスタップのデータ(複数個)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。
より詳細には、空間クラス検出回路126は、例えば、空間クラスタップのデータを、8ビットデータから2ビットデータに圧縮するような演算を実行する。そして、空間クラス検出回路126は、空間クラスタップのデータにそれぞれ対応した圧縮データを空間クラスのクラス情報として出力する。以下の説明において、空間クラス検出回路126は、ADRC(Adaptive Dynamic Range Coding)符号化処理によって、データの圧縮を行うものとするが、情報圧縮手段としては、ADRC符号化処理以外にDPCM(予測符号化)符号化処理や、VQ(ベクトル量子化)符号化処理などを用いるようにしてもよい。
本来、ADRC符号化処理は、VTR(Video Tape Recorder)向けに開発された適応再量子化符号化処理であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用に適したものであるといえる。また、ADRC符号化処理が使用される場合、空間クラスタップのデータの最大値がMAX、その最小値がMIN、空間クラスタップのデータのダイナミックレンジがDR(=MAX−MIN+1)、再量子化ビット数がPであるものとすると、空間クラスタップとして抽出された各画素のデータkiに対して、以下の式(1)の演算により、圧縮データとしての再量子化コードQiが得られる。ただし、式(1)において、[ ]は切り捨て処理を意味する。空間クラスタップのデータとして、Na個の画素データがあるとき、i=1乃至Naである。
Qi=[(ki−MIN+0.5)×(2P)/DR]
・・・(1)
動きクラス検出回路127は、第3のタップ選択回路125で選択的に取り出される動きクラスタップのデータ(複数個)より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する。
動きクラス検出回路127は、第3のタップ選択回路125で選択的に取り出される動きクラスタップのデータからフレーム間差分を算出し、さらにその差分の絶対値の平均値に対して閾値との比較に基づいた処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路127は、以下の式(2)で示される演算によって、差分の絶対値の平均値AVを算出する。例えば、第3のタップ選択回路125が、動きクラスタップのデータとして、注目画素に対応する今現在のフレームの6個の画素データm1乃至m6と、その1フレーム前の6個の画素データn1乃至n6が取り出された場合、以下の式(2)において、Nbは6となる。すなわち、以下の式(2)においては、Nbは、動きクラスを設定するために選択される動きクラスタップの数を示している。
動きクラス検出回路127は、上述したように算出された平均値AVが1個または複数個の閾値と比較されて動きクラスのクラス情報MVを設定する。例えば、3個の閾値th1,th2,th3(th1<th2<th3)が設定される場合、動きクラス検出回路127は、4つの動きクラスMVを設定し、AV≦th1のとき、動きクラスをMV=0に設定し、th1<AV≦th2のとき、動きクラスをMV=1に設定し、th2<AV≦th3のとき、動きクラスをMV=2に設定し、そして、th3<AVのとき、動きクラスをMV=3にそれぞれ設定する。
クラス合成回路128は、空間クラス検出回路126より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路127より出力される動きクラスのクラス情報MVとを合成し、作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素(注目画素)が属するクラスを示すクラスコードCLを生成し、出力する。
より具体的には、クラス合成回路128は、以下で示される式(3)を演算することによって、クラスコードCLを演算する。なお、以下の式(3)において、Naは空間クラスタップのデータの個数、PはADRC符号化処理における再量子化ビット数を示している。
後段の後処理回路131は、出力画像信号Voutとして、1080i信号を出力する場合と、XGA信号を出力する場合と、525i信号を出力する場合とで、その動作を切り替える。レジスタ132は、後処理回路131の動作を指定する動作指定情報を格納する。後処理回路131は、レジスタ132より供給される動作指定情報に従った動作をする。
レジスタ133は、第1のタップ選択回路123で選択される予測タップのタップ位置情報を格納する。第1のタップ選択回路123は、レジスタ133より供給されるタップ位置情報に従って予測タップを選択し、選択したタップである画素の画素値を取得する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
レジスタ134は、第2のタップ選択回路124で選択される空間クラスタップのタップ位置情報を格納する。第2のタップ選択回路124は、レジスタ134より供給されるタップ位置情報に従って空間クラスタップを選択する。
ここで、レジスタ134は、動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとを格納している。これらタップ位置情報A,Bのいずれを第2のタップ選択回路124に供給するかは、動きクラス検出回路127より出力される動きクラスのクラス情報MVによって選択される。
すなわち、動きがないか、あるいは動きが小さいために動きクラスがMV=0またはMV=1であった場合、例えば、タップ位置情報Aが第2のタップ選択回路124に供給され、この第2のタップ選択回路124で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにMV=2またはMV=3であるときは、タップ位置情報Bが第2のタップ選択回路124に供給される。
なお、上述したレジスタ133にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第1のタップ選択回路123に供給されるタップ位置情報が動きクラス検出回路127より出力される動きクラスのクラス情報MVによって選択されるようにしてもよい。
レジスタ135は、第3のタップ選択回路125で選択される動きクラスタップのタップ位置情報を格納するものである。第3のタップ選択回路125は、レジスタ135より供給されるタップ位置情報に従って動きクラスタップを選択する。
係数メモリ136は、後述する推定予測演算回路129で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、525i信号を1080i信号またはXGA信号に変換し、若しくはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換するため、または、再生速度ボリュームに応じて、例えば、スロー再生などで、フレームレートの変化に伴って生成される新たなフレームを補間生成するための情報である。係数メモリ136は、上述したクラス合成回路128より出力されるクラスコードCLを読み出しアドレス情報として取得し、クラスコードCLに対応した係数データを読み出し、推定予測演算回路129に供給する。
情報メモリバンク137は、レジスタ132に格納するための動作指定情報と、レジスタ133乃至135に格納するためのタップ位置情報が予め格納されている。
ここで、レジスタ132に格納するための動作指定情報として、情報メモリバンク137には、後処理回路131を1080i信号を出力するように動作させるための第1の動作指定情報と、後処理回路131をXGA信号を出力するように動作させるための第2の動作指定情報と、後処理回路131を525i信号を出力するように動作させるための第3の動作指定情報とが予め蓄えられている。
例えば、システムコントローラ3のボタン19がユーザにより操作されることにより、1080i信号を出力する第1の変換方法か、XGA信号を出力する第2の変換方法か、さらには525i信号を出力する第3の変換方法かが選択される。なお、第3の変換方法を選択するとき、ユーザは、さらに表示画像の倍率(画像サイズ)を指定できる。情報メモリバンク137にはシステムコントローラ3よりその変換方法の選択情報が供給され、この情報メモリバンク137よりレジスタ132にはその選択情報に従って第1、第2または第3の動作指定情報がロードされる。
また、情報メモリバンク137は、レジスタ133に格納するための予測タップのタップ位置情報として、第1の変換方法(1080i)に対応する第1のタップ位置情報と、第2の変換方法(XGA)に対応する第2のタップ位置情報と、第3の変換方法(525i)に対応する第3のタップ位置情報が予め蓄えられている。この情報メモリバンク137よりレジスタ133には、上述した変換方法の選択情報に従って第1、第2または第3のタップ位置情報がロードされる。
なお、情報メモリバンク137に、第3の変換方法に対応する第3のタップ位置情報として、表示画像の倍率に対応したタップ位置情報を予め蓄えておき、第3の変換方法が選択された場合に、併せて指定された倍率に対応したタップ位置情報を情報メモリバンク137よりレジスタ133にロードするようにしてもよい。このことは、後述するレジスタ134,135へのタップ情報のロードにおいても同様である。
また、情報メモリバンク137は、レジスタ134に格納するための空間クラスタップのタップ位置情報として、第1の変換方法(1080i)に対応する第1のタップ位置情報と、第2の変換方法(XGA)に対応する第2のタップ位置情報と、第3の変換方法(525i)に対応する第3のタップ位置情報とを予め蓄えている。第1、第2および第3のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク137よりレジスタ134には、上述した変換方法の選択情報に従って第1、第2または第3のタップ位置情報がロードされる。
さらに、情報メモリバンク137は、レジスタ135に格納するための動きクラスタップのタップ位置情報として、第1の変換方法(1080i)に対応する第1のタップ位置情報と、第2の変換方法(XGA)に対応する第2のタップ位置情報と、第3の変換方法(525i)に対応する第3のタップ位置情報とを予め蓄えている。情報メモリバンク137は上述した変換方法の選択情報に従って第1、第2または第3のタップ位置情報をロードさせる。
さらに、情報メモリバンク137は、各クラスの係数種データを予め蓄えている。この係数種データは、上述した係数メモリ136に格納するための係数データを生成するための、位相情報をパラメータとする生成式の係数データである。
後述する推定予測演算回路129では、予測タップのデータxiと、係数メモリ136より読み出される係数データWiとから、式(4)の推定式によって、作成すべき画素データyが演算される。第1のタップ選択回路123で選択される予測タップが10個であるとき、式(4)におけるnは10となる。
そして、この推定式の係数データWi(i=1乃至n)は、例えば式(5)で示されるように、空間位相を示す空間パラメータ(ph,pv)(ボタン12で設定される水平方向、および、垂直方向の位置)、画像処理に係る画質の調整の強度を設定するパラメータ(rh,rv)(つまみ13,14で設定される鮮鋭度のレベルとノイズの低減レベル)、および、フレーム位相値(t)(つまみ17で設定される再生速度に基づいて設定される、生成しようとするフレームの、既存のフレームに対するずれを示す値)をパラメータとする生成式によって生成される。情報メモリバンク137には、この生成式の係数データである係数種データw100乃至wn10が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
係数生成回路138は、各クラスの係数種データおよび空間位相を示す空間パラメータ(ph,pv)、画像処理に係る画質の調整の強度を設定するパラメータ(rh,rv)、および、フレーム位相値(t)とを用い、式(5)によって、クラス毎に、空間位相を示す空間パラメータ(ph,pv)、画像処理に係る画質の調整の強度を設定するパラメータ(rh,rv)、および、生成すべきフレームと既存のフレームとのずれ量を示すフレーム位相値(t)の値に対応した推定式の係数データWi(i=1乃至n)を生成する。係数生成回路138は、情報メモリバンク137より、各クラスの係数種データがロードされると共に、後述する水平垂直位相情報発生回路141で発生される出力画像信号Voutを構成する単位画素ブロック内の各画素の空間位相を示す空間パラメータ(ph,pv)、画像処理に係る画質の調整の強度を設定するパラメータ(rh,rv)、および、フレーム位相値(t)が供給される。係数生成回路138で生成される各クラスの空間位相を示す空間パラメータ(ph,pv)、画像処理に係る画質の調整の強度を設定するパラメータ(rh,rv)、および、時間(フレーム位相値)(t)に対応した係数データWi(i=1乃至n)は、上述した係数メモリ136に格納される。
水平垂直位相情報発生回路141は、システムコントローラ3のボタン11a,11b,12a,12b,12c,12d,19の操作に基づいて供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Vinと出力画像信号Voutにおける垂直方向、水平方向の各フィールドにおける画素数の対応関係情報n/mに基づいて、出力画像信号Voutを構成する単位画素ブロック内の各画素の水平方向、および、垂直方向の位相パラメータph,pvをそれぞれ発生させる。この水平垂直位相情報発生回路141は例えばROM(Read Only Memory)テーブルで構成される。
水平垂直位相情報発生回路141で発生される各画素の水平方向、および、垂直方向の位相パラメータph,pvは、それぞれ画素番号(タップ番号)と関連付けられて、係数生成回路138に供給される。なお、水平垂直位相情報発生回路141からは、入力画像信号Vinの奇数、偶数のフィールドのそれぞれに対応して位相パラメータph,pvが発生される。
例えば、図3で示されるように、第1の変換方法(525iから1080iへの変換)が選択される場合、垂直方向に関してn/m=9/4であり、水平方向に関してn/mは9/4である。尚、図3においては、525i信号と1080i信号の画素位置関係が示されており、大きなドットが525i信号の画素であり、小さなドットが1080i信号の画素である。また、奇数フィールドの画素位置が実線で示されており、偶数フィールドの画素位置が破線で示されている。
そのため、入力画像信号Vinとしての525i信号の4×4の画素ブロックに対して出力画像信号Voutとしての1080i信号の9×9の画素ブロックが対応したものとなる。この場合、出力画像信号Voutを構成する単位画素ブロックは9×9の画素ブロックということになる。
図3の場合、水平垂直位相情報発生回路141では、この9×9の単位画素ブロック内の各画素について、上述した525i信号の4×4の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータphとする。尚、この例においては、525i信号の垂直方向の画素間隔が16、水平方向の画素間隔が8とされて、上述の位相パラメータph,pvが求められる。これは、第2、第3の変換方法が選択される場合も同様である。
ここで、位相パラメータpvに関しては、9×9の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相パラメータphに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第2、第3の変換方法が選択される場合も同様である。
このように、第1の変換方法(525iから1080iへの変換)が選択される場合、水平垂直位相情報発生回路141では、奇数、偶数のフィールドのそれぞれに対応して、9×9の単位画素ブロックを構成する81個の画素のそれぞれついての位相パラメータph,pvが発生される。
また例えば、第2の変換方法(525iからXGAへの変換)が選択される場合、垂直方向に関してn/m=16/5であり、水平方向に関してn/mは8/5である。そのため、入力画像信号Vinとしての525i信号の5×5の画素ブロックに対して出力画像信号VoutとしてのXGA信号の8×16の画素ブロックが対応したものとなる。この場合、出力画像信号Voutを構成する単位画素ブロックは8×16の画素ブロックということになる。
この場合、水平垂直位相情報発生回路141では、この8×16の単位画素ブロック内の各画素について、上述した525i信号の5×5の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータphとする。
このように、第2の変換方法(XGA)が選択される場合、水平垂直位相情報発生回路141では、奇数、偶数のフィールドのそれぞれに対応して、8×16の単位画素ブロックを構成する128個の画素のそれぞれついての位相パラメータph,pvが発生される。
さらにまた例えば、第3の変換方法(525i)が選択される場合、指定された表示画像の倍率(画像サイズ)に応じて垂直方向および水平方向に関するn/mが一意的に決まる。垂直方向に関してn/m=nv/mv、水平方向に関してn/m=nh/mhであるとすると、入力画像信号Vinとしての525i信号のmh×mvの画素ブロックに対して出力画像信号Voutとしての525i信号のnh×nvの画素ブロックが対応したものとなる。この場合、出力画像信号Voutを構成する単位画素ブロックはnh×nvの画素ブロックということになる。
この場合、水平垂直位相情報発生回路141では、このnh×nvの単位画素ブロック内の各画素について、上述した入力画像信号Vinとしての525i信号のmh×mvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素(最短画素)までの距離を求めて位相パラメータphとする。
このように、第3の変換方法(525i)が選択される場合、水平垂直位相情報発生回路141では、奇数、偶数のフィールドのそれぞれに対応して、nh×nvの単位画素ブロックを構成する各画素についての位相パラメータph,pvが発生される。
画質情報発生回路142は、システムコントローラ3のつまみ13,14の操作に基づいて供給される、画質の調整の程度を規定するパラメータであるノイズ低減ボリュームに対応するパラメータrhと鮮鋭度調整ボリュームに対応するパラメータrvを発生し、係数生成回路138に供給する。この画質情報発生回路142は例えばROM(Read Only Memory)テーブルで構成される。
フレーム位相情報発生回路143は、システムコントローラ3のつまみ17の操作に基づいて供給される、再生速度ボリュームの情報に基づいて、生成すべきフレームの既存のフレームに対するずれ量を示すフレーム位相値を発生し、係数生成回路138に供給する。尚、フレーム位相値については、詳細を後述する。
正規化係数生成回路139は、係数生成回路138で生成される各クラスの各パラメータph,pvの係数データWi(i=1乃至n)に対応した正規化係数Sを、以下の式(6)によって演算する。ここで生成された正規化係数Sを、クラス毎に格納する正規化係数メモリ140を有している。正規化係数メモリ140には上述したクラス合成回路128より出力されるクラスコードCLが読み出しアドレス情報として供給され、この正規化係数メモリ140からはクラスコードCLに対応した正規化係数Sが読み出され、後述する正規化演算回路130に供給されることとなる。
推定予測演算回路129は、第1のタップ選択回路123で選択的に取り出される予測タップのデータxiと、係数メモリ136より読み出される係数データWiとから、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータを演算する。
推定予測演算回路129は、出力画像信号Voutを構成する画素データを単位画素ブロック毎に生成する。すなわち、推定予測演算回路129は、第1のタップ選択回路123からの単位画素ブロック内の各画素(注目画素)に対応した予測タップのデータxiと、係数メモリ136からの、その単位画素ブロックを構成する各画素に対応した係数データWiとに基づいて、単位画素ブロックを構成する各画素のデータを、それぞれ個別に上述した式(4)の推定式により演算する。
例えば、推定予測演算回路129は、第1の変換方法(1080i)が選択されている場合には、単位画素ブロックを構成する81個の画素のデータが同時的に生成され、第2の変換方法(XGA)が選択されている場合には、単位画素ブロックを構成する128個の画素のデータが同時的に生成され、さらに第3の変換方法(525i)が選択されている場合には、単位画素ブロックを構成する(nh×nv)個(nh,nvは、表示画像の指定倍率によって変化する)の画素データが同時的に生成される。
正規化演算回路130は、推定予測演算回路129より順次出力される出力画像信号Voutを構成する単位画素ブロック内の各画素のデータy1乃至yP(Pは単位ブロックを構成する画素の個数)を、正規化係数メモリ140より読み出し、それぞれの生成に使用された係数データWi(i=1乃至n)に対応した正規化係数Sで除算して正規化する。すなわち、係数生成回路138は、係数種データより生成式で推定式の係数データを求めるが、この際、生成される係数データは丸め誤差が含まれることになるため、係数データWi(i=1乃至n)の総和が1.0になることが保証されないことになる。そのため、推定予測演算回路129で演算される各画素のデータy1乃至yPは、丸め誤差によってレベル変動したものとなってしまう。そこで、正規化演算回路130が、これらを正規化することで、その変動を除去する。
後処理回路131は、正規化演算回路130で正規化されて順次供給される単位画素ブロック内の画素のデータy1′乃至yP′を、第1乃至第3の変換方法によって特定されるフォーマットにすることにより出力画像信号Voutを出力する。すなわち、この後処理回路131からは、第1の変換方法が選択されている場合には1080i信号が出力され、第2の変換方法が選択されている場合にはXGA信号が出力され、さらに第3の変換方法が選択されている場合には525i信号が出力される。この後処理回路131の動作指定情報は、上述したようにレジスタ132より供給される。
次に、図4のフローチャートを参照して、信号処理部120による画像処理について説明する。
ステップS1において、フレーム選択回路122は、ボタン15が操作されて、停止ボタンが操作された状態となったか否かを判定する。例えば、ボタン15が操作されないと判定された場合、その処理は、ステップS2に進む。
ステップS2において、各種のパラメータである係数ph,pv,rh,rv,tが生成される。すなわち、水平垂直位相情報発生回路141は、システムコントローラ3のボタン11a,11b,12a,12bの操作信号に応じて、対応する係数ph,pvを生成し、画質情報発生回路142は、システムコントローラ3のつまみ13,14の操作信号に応じて、対応する係数rh,rvを生成し、フレーム位相情報発生回路143は、システムコントローラ3のつまみ16a,16b,17の操作信号に応じて、対応する係数tを生成し、それぞれ係数生成回路138に供給する。尚、ステップS2の処理においては、ボタン15が操作されておらず、つまみ16a,16b,17の操作に対応する操作信号は、発生しないため(画像メモリ121に記憶された画像信号の再生がなされないため)、フレーム位相差は生じない(バッファメモリ113からのフレームに対応するフレームを利用して画像を生成するので、新たなフレームを生成する必要がない。結果として、ステップS2の場合、フレーム位相情報発生回路143は、常に、フレーム位相値tを0として出力することになる。
ステップS3において、フレーム選択回路122は、バッファメモリ113より供給される画像信号が終了したか否かを判定し、供給が終了したと判定された場合、その処理を終了する。また、供給が続けられていると判定された場合、その処理は、ステップS4に進む。
ステップS4において、係数種データから係数データが生成される。すなわち、係数生成回路138は、水平垂直位相情報発生回路141で発生された出力画像信号Voutを構成する単位画素ブロック内の各画素の空間位相パラメータph,pv、画質情報発生回路142で発生された画質パラメータrh,rv、および、フレーム位相差tに対応した各クラスの推定式の係数データWi(i=1乃至n)を生成し係数メモリ136に格納する。また、このとき、正規化係数生成回路139は、上述したように係数生成回路138で生成された各クラスおよび各位相情報の係数データWi(i=1乃至n)に対応した正規化係数Sを生成し、正規化係数メモリ140に格納する。
ステップS5において、フレーム選択回路122は、バッファメモリ113より供給されてくる画像信号の各画素値を取得し、第1乃至第3のタップ選択回路123乃至125に供給する。さらに、ステップS6において、画像メモリ121は、バッファメモリ113からの画像信号を最大30秒分を順次記憶する。
ステップS7において、フレーム選択回路122は、1フレーム分の画素が処理されたか否かを判定し、1フレーム分の画素が処理されていないと判定された場合、その処理は、ステップS8に進み、また、ステップS7において、1フレーム分の画素が処理されたと判定された場合、その処理は、ステップS1に戻る。
ステップS8において、クラスコードCLが生成される。すなわち、第2のタップ選択回路124は、レジスタ134より供給される、ユーザによって選択された変換方法、および動きクラス検出回路127で検出される動きクラスに対応したタップ位置情報に基づいて、入力された画素値より空間クラスタップのデータを選択的に取り出し、空間クラス検出回路126に供給する。空間クラス検出回路126は、空間クラスタップのデータとしての各画素データに対してADRC符号化処理を施して空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードQiを、上述の式(1)の演算により求めて、クラス合成回路128に供給する。
また、第3のタップ選択回路125は、バッファメモリ113に記憶されている入力画像信号Vinとしての525i信号より作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素(注目画素)の周辺に位置する動きクラスタップのデータ(画素データ)を選択的に取り出して、動きクラス検出回路127に供給する。この場合、第3のタップ選択回路125は、レジスタ135より供給される、ユーザによってボタン19が奏されることによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
動きクラス検出回路127は、動きクラスタップのデータとしての各画素データより動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVを演算により求め、クラス合成回路128に供給する。
以上の処理により、動き情報MVと上述した再量子化コードQiはクラス合成回路128に供給される。クラス合成回路128は、動き情報MVと再量子化コードQiに基づいて、作成すべき出力画像信号Voutを構成する単位画素ブロック毎にその単位画素ブロック内の各画素(注目画素)が属するクラスを示すクラスコードCLを上述した式(3)を演算することにより順次求め、係数メモリ136および正規化係数メモリ140に読み出しアドレス情報として供給する。
ステップS9において、係数メモリ136は、クラス合成回路128より供給されたクラスコードCLを読み出しアドレス情報に基づいて、クラスコードCLに対応した係数データWiを読み出し、推定予測演算回路129に供給する。
ステップS10において、推定予測演算が実行され、画素に所定の処理が施された後、出力し、その処理は、ステップS5に戻る。
すなわち、第1のタップ選択回路123は、入力画像信号Vinとしての525i信号より作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素(注目画素)の周辺に位置する予測タップのデータ(画素データ)xiを選択的に取り出し、推定予測演算回路129に供給する。この場合、第1のタップ選択回路123は、レジスタ133より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップを選択する。
さらに、推定予測演算回路129は、予測タップのデータxiと、係数メモリ136より読み出される係数データWiとに基づいて、作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素のデータy1乃至yPを、上述した式(4)を用いて同時に演算し、順次出力画像信号Voutを構成する単位画素ブロック内の各画素のデータy1乃至yPを正規化演算回路130に供給する。
また、正規化係数メモリ140は、クラス合成回路128より供給された読み出しアドレス情報としてのクラスコードCLに基づいて、正規化係数S、すなわち推定予測演算回路129より出力されるデータy1乃至yPの演算に使用された係数データWiに対応した正規化係数Sを読み出して正規化演算回路130に供給する。正規化演算回路130は、推定予測演算回路129より出力されるデータy1乃至yPをそれぞれ対応する正規化係数Sで除算して正規化する。この処理により、上述した式(5)の係数種データの生成式で、式(4)の推定式の係数データが求められる際に生じる丸め誤差によるデータy1乃至yPのレベル変動が除去される。
このように正規化演算回路130は、順次出力される単位画素ブロック内の各画素のデータy1′乃至yP′を正規化して後処理回路131に供給する。後処理回路131は、データy1′乃至yP′が第1乃至第3の変換方法によって特定されるフォーマットで出力画像信号Voutを出力し、例えば、第1の変換方法が選択されている場合には1080i信号を出力し、第2の変換方法が選択されている場合にはXGA信号を出力し、さらに第3の変換方法が選択されている場合には525i信号を出力する。
上述したように、係数生成回路138は、情報メモリバンク137よりロードされる各クラスの係数種データ、並びに、水平垂直位相情報発生回路141で発生される空間パラメータph,pv、画質情報発生回路142で発生される画質パラメータrh,rv、および、フレーム位相情報発生回路143により発生されるフレーム位相値tの値とをそれぞれ用い、クラス毎に、水平垂直位相情報発生回路141で発生される空間パラメータph,pv、画質情報発生回路142で発生される画質パラメータrh,rv、および、フレーム位相情報発生回路143により発生されるフレーム位相値tの値に対応した推定式の係数データWiを生成し、係数メモリ136に格納する。そして、係数メモリ136は、クラスコードCLに基づいて係数データWiを決定し、推定予測演算回路129が、この係数データWiを用いて、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータy1乃至yPを演算する。したがって、1080i信号やXGA信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合に大量の係数データを格納しておくメモリを省略することが可能となる。
また、ステップS1において、ボタン15が操作されて、停止ボタンが操作されたと判定された場合、その処理は、ステップS11に進む。
ステップS11において、フレーム選択回路122は、システムコントローラ3のつまみ16a,16bのそれぞれの位置の情報に基づいて、画像メモリ121の先頭フレームFSと終了フレームFEの位置を確認する。
ステップS12において、フレーム位相情報発生回路143は、システムコントローラ3のつまみ17の操作情報に基づいて、生成しようとする次のフレームまでのフレーム位相値を計算する。
ここで、フレーム位相値tについて説明する。例えば、つまみ17が操作されることにより、スロー再生が設定された場合、既存のフレームのみを用いてスロー再生させると、1フレームの表示時間を長くして表示することになるため、既存のフレームに対して、その間に新たなフレームを生成することで、なめらかなスロー再生を可能にする。
このとき、上述したフレーム位相値を用いて、新たに生成されるフレームの、既存のフレームに対する位置を設定する。より具体的には、フレーム位相値とは、生成しようとするフレームの位置を示すものであり、生成しようとするフレームの前後の(画像メモリ121上に存在する)フレームに対する相対的な位置を表すものである。例えば、図5デ示されるように、既存の画像メモリ121に記憶されたフレームAとフレームBの間に新たにフレームxを生成する場合、フレームAが撮影された時刻を時刻tA、フレームBが撮影された時刻をtBとし、生成しようとするフレームの時刻をtx(tA ≦ tx < tB)とすると、フレームxのフレーム位相値は(tx−tA)/(tB−tA)となる。
例えば、つまみ17が操作されて、0.5倍速再生が指定された場合、フレーム位相情報発生装置143は、それまでのフレームレートを倍にすることで、滑らかな再生が可能となるので(通常のフレームレートと同程度のフレームレートで0.5倍速再生を実現できるので)、既知のフレームに対する生成されるフレームのフレーム位相値tは、0.5となる。
ステップS13において、上述したステップS2と同様に、各種のパラメータである係数ph,pv,rh,rv,tが生成される。ただし、フレーム位相値tについては、ステップS12において、計算された値が発生されることになる。
ステップS14において、これから処理しようとするフレームが、画像メモリ121に記憶されている最終フレームであるか否かを判定し、最終フレームではないと判定された場合、その処理は、ステップS15に進む。
ステップS15において、上述したステップS4と同様に、係数種データから係数データが生成される。
ステップS16において、フレーム選択回路122は、バッファメモリ113より供給されてくる画像信号を停止させて、画像メモリ121に記憶されている画像信号を読み出す。より詳細には、フレーム選択回路122は、上述した先頭フレームFSから終了フレームFEのいずれかを順次、画像処理のタイミングに併せて読み出す。
ステップS17において、フレーム選択回路122は、1フレーム分の画素が処理されたか否かを判定し、1フレーム分の画素が処理されたと判定された場合、その処理は、ステップS12に戻る。また、ステップS17において、1フレーム分の画素が処理されていないと判定されていないと判定された場合、その処理は、ステップS18に進む。
尚、ステップS18乃至S20の処理は、上述したステップS8乃至S10と同様であるので、その説明は省略する。
ステップS14において、最終フレームであると判定された場合、ステップS21において、フレーム選択回路122は、ボタン15が操作されることなく停止ボタンが解除されていないと判定された場合、その処理は、ステップS11に戻る。すなわち、ボタン15が操作されて、停止ボタンが解除されるまで、ステップS12乃至S20の処理が繰り返されて、つまみ16a,16bで設定された時刻間の、画像メモリ121に記憶されている画像信号が、つまみ17で設定された再生速度で、繰り返し、再生されることになる。
そして、ステップS21において、ボタン15が再度操作されて、停止ボタンが解除されたと判定された場合、その処理は、ステップS1に戻り、それ以降の処理が繰り返される。
以上の処理により、所望とするシーンの画像信号を、画像中の位置を中心として、所望の画質で、さらに、所望の再生速度でなめらかに表示することが可能となる。
次に、係数種データについて説明する。
上述したように、係数種データは、クラス毎に情報メモリバンク137に記憶されている。係数種データは、予め学習によって生成されたものである。
まず、この生成方法の一例について説明する。式(5)で示される生成式における係数データである係数種データw100乃至wn10を求める例を示すものとする。ここで、以下の説明のため、式(7)のように、Ti(i=00乃至10)を定義する。
T00=1,T01=pv,T02=ph,T03=rv,T04=rh,T05=t,T06=(pv)2,T07=(ph)2,T08=(rv)2,T09=(rh)2,T10=(t)2
・・・(7)
この式(7)を用いると、式(5)は、式(8)のように書き換えられる。
最終的に、学習によって未定係数wjiが求められる。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値が決定される。いわゆる最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、式(4)および式(5)を用いて、Eは以下の式(9)で表される。ここで、xikは生徒画像のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応する教師画像のk番目の画素データを表している。
最小二乗法による解法では、式(9)のwjiによる偏微分方程式が0になるようなwjiを求める。すなわち、以下で示す式(10)のような偏微分方程式からWjiが求められる。
以下、式(11),式(12)のように、Xipjq、Yipを定義すると、式(10)は、行列を用いて式(13)のように書き換えられる。
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wxyについて解かれ、係数種データが算出される。
図6は、上述した係数種データの生成方法の概念を示している。教師信号としての高速度撮影HD信号(1050i信号)と、生徒信号としてのSD信号(525i信号)との関係から、パラメータph,pv,rh,rv,tで表現される係数Wjの各係数Wjiが係数種データとして求められる。
図6においては、高速度撮影されたHD信号のフレーム位相値t1乃至t6の6段階について生徒画像が設定されている。すなわち、通常のフレームレートは、1/60(フレーム/秒)であるが、高速度撮影により、例えば、図7で示されるように、通常のフレームレートの6倍のフレームレートで撮影する。
そして、6フレーム毎に生徒信号を設定し、それ以外のフレームを教師信号とすることにより、図7の場合、生徒信号間のフレーム位相値tが1/6となる教師信号t2、フレーム位相値が2/6となる教師信号t3、フレーム位相値tが3/6となる教師信号t4、フレーム位相値が4/6となる教師信号t5、フレーム位相値tが5/6となる教師信号t6のそれぞれの画素値データを用いることにより、フレーム位相値tを1/6間隔で係数種データを生成することができる。尚、フレーム位相値tが0/6となる生徒信号(図7中の生徒信号t1に対応する)については、既存のフレームの画像処理に関するものであるので、フレーム位相値tが0/6の画像信号間で、生徒信号と教師信号に基づいて学習が行われる。
さらに、各フレーム位相値tについて、画質パラメータについては、例えば、図6中で示されるように、ノイズの低減レベルを示すパラメータrh(rh1乃至rh8)と鮮鋭度を示すrv(rv1乃至rv4)について合計32種類の生徒信号が設定される。
また、図6においては、各画質パラメータ毎に、空間パラメータが水平方向のパラメータphと垂直方向のパラメータとしてpvがそれぞれ8段階と4段階設定されており、合計32種類のSD信号が生成される。
図8は、525i信号と1050i信号の画素位置関係を示している。ここで、大きなドットが525i信号の画素であり、小さなドットが1050i信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
このSD信号の位相を垂直方向に8段階、水平方向に4段階にシフトさせて、8×4=32種類のSD信号を生成する。図9は、垂直方向への8段階の位相シフト状態V1乃至V8を示している。ここでは、SD信号の垂直方向の画素間隔は16であり、下方向が正の方向とされている。また、「o」は奇数フィールドを、「e」は偶数フィールドを表している。
V1の状態はSD信号のシフト量が0とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、4,0,−4,−8の位相を持つようになる。V2の状態はSD信号のシフト量が1とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、7,3,−1,−5の位相を持つようになる。V3の状態はSD信号のシフト量が2とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、6,2,−2,−6の位相を持つようになる。V4の状態はSD信号のシフト量が3とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、5,1,−3,−7の位相を持つようになる。
V5の状態はSD信号のシフト量が4とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、4,0,−4,−8の位相を持つようになる。V6の状態はSD信号のシフト量が5とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、7,3,−1,−5の位相を持つようになる。V7の状態はSD信号のシフト量が6とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、6,2,−2,−6の位相を持つようになる。V8の状態はSD信号のシフト量が7とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、5,1,−3,−7の位相を持つようになる。
図10は、水平方向への4段階の位相シフト状態H1乃至H4を示している。ここでは、SD信号の水平方向の画素間隔は8であり、右方向が正の方向とされている。
H1の状態はSD信号のシフト量が0とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、0,−4の位相を持つようになる。H2の状態はSD信号のシフト量が1とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、3,−1の位相を持つようになる。H3の状態はSD信号のシフト量が2とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、2,−2の位相を持つようになる。さらに、H4の状態はSD信号のシフト量が3とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、1,−3の位相を持つようになる。
図11は、上述したように垂直方向に8段階、水平方向に4段階にシフトさせて得られた32種類のSD信号に関し、SD信号の画素を中心にした場合のHD信号の画素の位相を示している。すなわち、SD信号の画素に対して、HD信号の画素は、図中の黒丸印で示す位相を持つようになる。
図6に戻って、上述したようにフレーム位相値tについて6段階、画質パラメータとしてノイズの低減レベルrvについて8段階、鮮鋭度のレベルrhについて4段階、空間パラメータとして、垂直方向pvに8段階、水平方向phに4段階にシフトさせて得られた合計6144(=6×32×32)種類のSD信号とHD信号との間で学習が行われることにより、係数種データが生成される。
図12は、図6を参照して説明した概念で係数種データを生成する係数種データ生成装置150の構成を示している。この係数種データ生成装置150のSD信号生成回路152は、教師信号としての高速度撮影HD信号(1050i信号)が入力端子151に入力されると、この高速度撮影HD信号に対して水平および垂直の間引き処理を行って、入力信号としてのSD信号を生成し、空間位相シフト回路153に供給する。
空間位相シフト回路153は、垂直方向および水平方向への位相シフト値を指定するパラメータph,pvを変化させて、SD信号生成回路152より供給されるSD信号の位相を垂直方向に8段階、水平方向に4段階にシフトさせて、合計32種類のSD信号を生成し、ノイズ鮮鋭度シフト回路154に供給すると共に、そのパラメータph,pvを正規方程式生成部162に供給する。尚、空間位相シフト回路153は、例えばsinx/xの特性のフィルタで構成するようにしてもよいし、その他の位相シフトが可能な別のフィルタを用いてもよい。さらに、他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。
ノイズ鮮鋭度シフト回路154は、画質を改善させる強度であるノイズ低減レベル、および、鮮鋭度のレベルのシフト値を指定するパラメータrh,rvを変化させて、空間位相シフト回路153より供給されるSD信号の鮮鋭度のレベルのシフト値を指定するパラメータrvに8段階、ノイズ低減レベルのパラメータrhを4段階にシフトさせて、合計32種類のSD信号を生成し、第1乃至第3のタップ選択回路155乃至157に供給すると共に、そのパラメータrh,rvを正規方程式生成部162に供給する。より詳細には、ノイズ鮮鋭度シフト回路154は、ノイズのレベルのパラメータrhに応じて、空間位相シフト回路153より供給されるSD信号に4段階のレベルのノイズを付加すると共に、鮮鋭度のレベルを示すパラメータrvに応じて8段階の強度でLPF(Low Pass Filter)処理を施し、鮮鋭度を変化させる。
第1乃至第3のタップ選択回路155乃至157は、空間位相シフト回路153より出力される32種類のSD信号より、HD信号(1050i信号)に係る注目画素の周辺に位置する複数のSD画素のデータを選択的に取り出して、それぞれ、正規方程式生成部162、空間クラス検出回路159、および、動きクラス検出回路160に出力する。
尚、これら第1乃至第3のタップ選択回路155乃至157は、上述した信号処理部120の第1乃至第3のタップ選択回路123乃至125と同様のものである。これら第1乃至第3のタップ選択回路157乃至157で選択されるタップは、タップ選択制御回路158からのタップ位置情報によって指定される。
タップ選択制御回路158は、フレーム位相値tを変化させながら対応するフレームよりタップを抽出するように、第1乃至第3のタップ選択回路155乃至157を制御すると共に、後述する動きクラス検出回路160より出力される動きクラスのクラス情報MVに基づいて、第3のタップ選択回路157で選択されるタップ位置情報が動きが大きいか小さいかによって異なるタップを選択させるように第2のタップ選択回路156を制御する。
空間クラス検出回路159は、第2のタップ選択回路156で選択的に取り出される空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報をクラス合成回路161に出力する。この空間クラス検出回路159は、上述した信号処理部120の空間クラス検出回路126と同様のものである。この空間クラス検出回路159からは、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードQiが空間クラスを示すクラス情報として出力される。
動きクラス検出回路160は、第3のタップ選択回路157で選択的に取り出される動きクラスタップのデータ(SD画素データ)より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出回路160は、上述した信号処理部120の動きクラス検出回路127と同様に構成される。この動きクラス検出回路160では、第3のタップ選択回路157で選択的に取り出される動きクラスタップのデータ(SD画素データ)からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対して閾値処理が行われて動きの指標である動きクラスが検出される。
クラス合成回路161は、空間クラス検出回路159より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路160より出力される動きクラスのクラス情報MVに基づき、HD信号(1050i信号)に係る注目画素が属するクラスを示すクラスコードCLを生成して正規方程式生成部162に出力する。このクラス合成回路161も、上述した信号処理部120のクラス合成回路128と同様のものである。
正規方程式生成部162は、入力端子151に供給されるHD信号より得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路155で選択的に取り出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路161より出力されるクラスコードCLと、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phとから、各クラス毎に、係数種データw100乃至wn10を得るための、上述した式(13)で示される正規方程式を生成する。
この場合、一個のHD画素データyとそれに対応するn個の予測タップ画素データとの組み合わせで学習データが生成されるが、空間位相シフト回路153へのパラメータph,pvが順次変更されていって水平および垂直の位相シフト値が段階的に変化した32種類のSD信号が順次生成されていき、さらに、ノイズ鮮鋭度シフト回路154へのパラメータrh,rvが順次変更されていってノイズ、および、鮮鋭度のシフト値が段階に変化した32種類のSD信号が順次生成される。さらに、タップ選択制御回路158へのパラメータであるフレーム位相値tが順次変更されて、フレーム位相値について6段階に変化して6種類のフレーム位相値に対応したタップを抽出するように、第1乃至第3のタップ選択回路155乃至157が制御される。
これにより正規方程式生成部162は、多くの学習データが登録された正規方程式が生成され、SD信号を順次生成して学習データを登録することで、任意の空間位相、ノイズ鮮鋭度、および、フレーム位相値の画素データを得るための係数種データを求めることが可能となる。
なお、図示せずも、第1のタップ選択回路155の前段に時間合わせ用の遅延回路を配置することで、この第1のタップ選択回路155から正規方程式生成部162に供給されるSD画素データxiのタイミング合わせを行うことができる。
係数種データ決定部163は、正規方程式生成部162により供給されるクラス毎に生成された正規方程式をクラス毎に解いて、各クラスの係数種データw100乃至wn10を求め、係数種メモリ164に、求めた係数種データw100乃至wn10を記憶させる。係数種データ決定部163は、正規方程式を、例えば掃き出し法などにより係数データw100乃至wn10を求める。
次に、図13のフローチャートを参照して、図12に示す係数種データ生成装置150の動作を説明する。
ステップS31において、タップ選択制御回路158は、フレーム位相値tを選択する。すなわち、図6の例においては、フレーム位相値tは、6段階に変化させるため、未処理のフレーム位相値が選択される。
ステップS32において、ノイズ鮮鋭度シフト回路154は、ノイズ鮮鋭度シフト値である、ノイズの低減レベルのパラメータrhおよび鮮鋭度のレベルを示すパラメータrvの値の32種類の組み合わせの中から未処理の組み合わせを選択する。
ステップS33において、空間位相シフト回路153は、空間位相の水平方向のパラメータであるph、および、垂直方向のパラメータであるpvの値の32種類の組み合わせの中から未処理の組み合わせを選択する。
ステップS34において、空間位相シフト回路153は、空間位相シフト値のパラメータph,pvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップS35に進む。
ステップS35において、SD信号生成回路152および正規方程式生成部162は、既知のHD画素データの入力を受け付ける。
ステップS36において、SD信号生成回路152は、空間パラメータの1つの組み合わせについての全HD画素データを処理したか否かを判定し、空間パラメータの1つの組み合わせについての全HD画素データの処理が終了していないと判定した場合、その処理は、ステップS37に進み、空間パラメータの1つの組み合わせの全HD画素データについて処理が終了したと判定されると、その処理は、ステップS33に戻る。
ステップS37において、HD信号からSD信号が生成され、さらに、空間パラメータ、および、画質パラメータに基づいた処理が施される。
より詳細には、SD信号生成回路152は、入力端子151より供給された教師信号としての高速度撮影HD信号(1050i信号)に対して水平および垂直各画素に対して、間引き処理を実行して生徒信号としてSD信号(525i信号)を生成し、空間位相シフト回路153に供給する。
また、空間位相シフト回路153は、ステップS33の処理で選択された、空間パラメータph,pvに基づいて、このSD信号の位相を垂直方向に8段階、および、水平方向に4段階の、すなわち、32種類のいずれかに対応するSD信号を生成する。
さらに、ノイズ鮮鋭度シフト回路154は、ステップS32の処理で選択された、画質パラメータrh,rvに基づいて、このSD信号のノイズ低減レベルについて8段階、および、鮮鋭度のレベルについて4段階の、すなわち、32種類のいずれかのSD信号を生成する。
すなわち、空間位相シフト回路153、および、ノイズ鮮鋭度シフト回路154により、1024種類のSD信号が生成されることになる。
ステップS38において、空間クラス、または、動きクラスを求めるために必要な画素の画素値を取得する、すなわち、空間クラスタップとなる画素の画素値と、動きクラスタップとなる画素の画素値が取得される。
より詳細には、第2のタップ選択回路156は、ノイズ鮮鋭度シフト回路154より供給される、1024種類のうちのいずれかのSD信号より、HD信号に係る注目画素の周辺に位置する空間クラスタップのデータ(SD画素データ)が選択的に取り出される。すなわち、第2のタップ選択回路156は、タップ選択制御回路158より供給される、動きクラス検出回路160で検出される動きクラスに対応したタップ位置情報に基づいて、タップを選択し、選択されたタップに対応する画素の画素値を空間クラス検出回路159に供給する。
ステップS39において、係数種データ決定部163は、入力された1フレーム分の学習が終了したか否かを判定し、例えば、まだ、1フレーム分の学習が終了していないと判定した場合、その処理は、ステップS40に進む。
ステップS40において、クラスコードCLが生成される。
より詳細には、空間クラス検出回路159が、空間クラスタップのSD画素データに対してADRC符号化処理を実行し、空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードQiを式(1)を演算することにより求める。
また、第3のタップ選択回路157は、タップ選択制御回路158より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路154より供給される1024種類のSD信号より、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ(SD画素データ)を選択的に取り出し、動きクラス検出回路160に供給する。
動きクラス検出回路160は、動きクラスタップのデータとしての各SD画素データより動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVを計算する。
さらに、クラス合成回路161は、この動き情報MVと上述した再量子化コードQiとから、HD信号に係る注目画素が属するクラスを示すクラスコードCLを、上述した式(3)を演算することにより求める。
ステップS41において、クラスを示すクラスコードCLに基づいて、正規方程式が生成され、その処理は、ステップS38に戻る。
より詳細には、第1のタップ選択回路155は、タップ選択制御回路158より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路154より供給されるSD信号より、HD信号に係る注目画素の周辺に位置する予測タップのデータ(SD画素データ)を選択的に取り出し、正規方程式生成部162に供給する。
正規方程式生成部162は、入力端子151に供給される高速度撮影HD信号より得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路155で選択的に取り出された予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路161より出力されるクラスコードCLと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、各クラス毎に、係数種データw100乃至wn10を生成するために、上述した式(13)で示される正規方程式を生成する。
そして、ステップS39において、1フレーム分の学習が終了したと判定されるまで、ステップS38乃至S41の処理が繰り返され、ステップS39において、入力された1フレーム分の学習が終了したと判定された場合、その処理は、ステップS35に戻り、新たなフレームについて既知のHD画素データが入力される。
ステップS34において、空間位相シフト回路153は、空間位相シフト値のパラメータph,pvの全ての組み合わせについて処理が終了したと判定された場合、その処理は、ステップS42に進む。
ステップS42において、ノイズ鮮鋭度シフト回路152は、ノイズ鮮鋭度シフト値のパラメータrh,rvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップS32に戻り、未処理のノイズ鮮鋭度シフト値のパラメータrh,rvについて処理が繰り返される。そして、ステップS42において、全ての組み合わせについて処理が終了していると判定された場合、その処理は、ステップS43に進む。
ステップS43において、タップ選択制御回路158は、フレーム位相値tの全てについて処理が終了したか否かを判定し、例えば、全てのフレーム位相値tについて処理が終了していないと判定された場合、その処理は、ステップS31に戻り、未処理のフレーム位相値tについて処理が繰り返される。そして、ステップS43において、全てのフレーム位相値tについて処理が終了していると判定された場合、その処理は、ステップS44に進む。
すなわち、以上の処理により、全てのフレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および水平方向phに対応する正規方程式が生成されることになる。
ステップS44において、係数種データ決定部163は、係数種データを求め、ステップS45において、係数種メモリ164に、その係数種データを記憶させる。
より詳細には、係数種データ決定部163は、以上の処理により生成された正規方程式を解いて、各クラス毎の係数種データw100乃至wn10を求め、その係数種データw100乃至wn10をクラス別にアドレス分割された係数種メモリ164に記憶される。
以上の処理により、図12で示される係数種データ生成装置150は、図2の信号処理部120の情報メモリバンク137に記憶される各クラスの係数種データw100乃至wn10を生成する。
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式(5)の生成式における係数データである係数種データw100乃至wn10を求める例を示すものとする。
図14は、この例の概念を示している。上述した係数種データの生成方法の一例と同様に、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phによってフレーム位相値tについて6段階、画質パラメータとしてノイズの低減レベルrvについて8段階、鮮鋭度のレベルrhについて4段階、空間パラメータとして、垂直方向pvに8段階、水平方向phに4段階にシフトさせて得られた合計6144(=6×32×32)種類のSD信号を順次生成する。そして、各SD信号とHD信号との間で学習を行い、式(4)の推定式の係数データWiを生成する。そして、各SD信号に対応して生成された係数データWiを使用して係数種データを生成する。
まず、推定式の係数データの求め方を説明する。ここでは、式(4)の推定式の係数データWi(i=1乃至n)を最小二乗法により求める例を示すものとする。一般化した例として、Xを入力データ、Wを係数データ、Yを予測値として、以下のように示す式(14)の観測方程式を考える。この式(14)式において、mは学習データの数を示し、nは予測タップの数を示している。
式(14)の観測方程式により収集されたデータに最小二乗法を適用する。この式(14)の観測方程式をもとに、式(15)の残差方程式を考える。
式(15)の残差方程式から、各Wiの最確値は、式(16)のe2を最小にする条件が成り立つ場合と考えられる。すなわち、式(17)の条件を考慮すればよいことになる。
つまり、式(17)のiに基づくn個の条件を考え、これを満たす、W1,W2,・・・,Wnを算出すればよい。そこで、式(17)の残差方程式から、式(18)が得られる。さらに、式(18)と式(14)とから、式(19)が得られる。
そして、式(15)と式(19)とから、式(20)の正規方程式が得られる。
式(20)の正規方程式は、未知数の数nと同じ数の方程式を立てることが可能であるので、各Wiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
次に、各SD信号に対応して生成された係数データを使用しての係数種データの求め方を説明する。パラメータph,pv,rh,rv,tに対応したSD信号を用いた学習による、あるクラスの係数データが、k(ph)(pv)(rh)(rv)(t)iとなったとする。ここで、iは予測タップの番号である。このk(ph)(pv)(rh)(rv)(t)iから、このクラスの係数種データを求める。
各係数データWi(i=1乃至n)は、係数種データw100乃至wn10を使って、上述した式(5)で表現される。ここで、係数データWiに対して最小二乗法を使用することを考えると、残差は、以下の式(21)で示される。
ここで、tjは、上述の式(7)に示されている。式(21)に最小二乗法を作用させると、式(22)が得られる。
ここで、Xjk,Yjをそれぞれ式(23)、式(24)のように定義すると、式(22)は式(25)のように書き換えられる。この式(25)も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データw100乃至wn10を算出することができる。
図15は、図14に示す概念に基づいて係数種データを生成する係数種データ生成装置150の構成を示している。この図15において、図12と対応する部分には同一の番号を付しており、その説明は適宜省略するものとする。
正規方程式生成部171は、入力端子151に供給されるHD信号より得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路155で選択的に取り出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路161より出力されるクラスコードCLとから、クラス毎に、係数データWi(i=1乃至n)を得るための上述の式(20)で示される正規方程式を生成する。
この場合、一個のHD画素データyとそれに対応するn個の予測タップ画素データとの組み合わせで学習データが生成されるが、フレーム位相値tについて6段階、画質パラメータとしてノイズの低減レベルrvについて8段階、鮮鋭度のレベルrhについて4段階、空間パラメータとして、垂直方向pvに8段階、水平方向phに4段階にシフトさせて得られた合計6144(=6×32×32)種類のSD信号が順次生成されていき、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部171は、各SD信号のそれぞれ対応して、クラス毎に、係数データWi(i=1乃至n)を得るための正規方程式を生成し、係数データ決定部172に供給する。
係数データ決定部172は、正規方程式生成部171より供給された正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求め、正規方程式生成部173に供給する。正規方程式生成部173は、係数データ決定部172より供給される各SD信号に対応した各クラスの係数データWiを使用して、クラス毎に、係数種データw100乃至wn10を得るための上述した式(25)で示される正規方程式を生成し、係数種データ決定部174に供給する。
係数種データ決定部174は、正規方程式生成部173でクラス毎に生成された正規方程式のデータと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのパラメータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データw100乃至wn10を求め、この求められた係数種データw100乃至wn10を係数種メモリ175に記憶させる。
次に、図16のフローチャートを参照して、図15に示す係数種データ生成装置150による学習処理について説明する。尚、図16のフローチャートにおけるステップS61乃至S66,S68乃至S71,S73、および、S74の処理は、図13のフローチャートにおけるステップS31乃至S40,S42、および、S43の処理と同様であるので、その説明は省略する。
ステップS72において、正規方程式生成部171は、入力端子151に供給されるHD信号より得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路155で選択的に取り出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路161より出力されるクラスコードCLとから、ノイズ鮮鋭度シフト回路154で生成される各SD信号のそれぞれ対応して、クラス毎に、係数データWi(i=1乃至n)を得るための上述した式(20)である単独の正規方程式を生成する。
ステップS67において、係数データ決定部172は、1つの空間位相シフト値であるパラメータpv,phの組み合わせについて、ステップS72の処理により生成された単独の正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求める。
ステップS75において、正規方程式生成部173は、各SD信号にそれぞれ対応した各クラスの係数データWiと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、クラス毎に、係数種データw100乃至wn10を得るための上述した式(25)の正規方程式を生成する。
ステップS76において、係数種データ決定部174は、ステップS75の処理により生成された正規方程式を解いて、各クラスの係数種データw100乃至wn10を求め、ステップS77において、その係数種データw100乃至wn10をクラス別にアドレス分割された係数種メモリ175に記憶させる。
このように、図15に示す係数種データ生成装置150においても、図2の信号処理部120の情報メモリバンク137に記憶される各クラスの係数種データw100乃至wn10を生成することができる。
なお、図1の信号処理部120では、係数データWi(i=1乃至n)を生成するために式(5)の生成式を使用したが、例えば、式(26),式(27)などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
なお、以上においては、HD信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
また、以上においては、クラスコードCLを検出し、推定予測演算ではこのクラスコードに応じた係数データWiを使用するものを示したが、クラスコードCLの検出部分を省略したものも考えられる。その場合には、情報メモリバンク137に格納される係数種データは1種類のみとなる。
さらに、上述実施の形態においては、信号処理部120より出力される出力画像信号Voutをディスプレイ2に供給して、その出力画像信号Voutによる画像を表示するものを示したが、この出力画像信号Voutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路131の部分で、記録に最適なデータ構造となるように処理してもよい。
また、以上においては、入力画像信号Vinとしての525i信号を、出力画像信号Voutとしての1080i信号、XGA信号、あるいは倍率の異なる表示画像を得るための525i信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第1の画像信号を第2の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
さらに、井尾受においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
本発明によれば、第1の情報信号を第2の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第2の情報信号に係る注目点の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第2の情報信号に係る注目点の情報データを求め、かつ、再生速度を変化させても、対応するフレーム位相値に基づいて、新たにフレームを生成するようにしたので、再生速度を変化させながら、種々のフォーマットまたはサイズへの変換を行って画像を表示するようにしても、滑らかな画像を表示させることが可能になると共に、このような処理において、大量の係数データを係数種データとして格納しておくことができ、係数メモリの容量を節約することできるので、装置全体を安価に構成することが可能となる。
また、本発明によれば、係数種データを用いて生成された推定式の係数データの総和を求め、推定式を用いて生成された注目点の情報データをその総和で除算して正規化するものであり、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
さらに、本発明によれば、注目したいシーンの前後の動画像を注目したい位置を中心として拡大し、さらに、画質を高画質化すると共に、任意の再生速度で再生しても、滑らかな動画像になるようにすることが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図17は、図2の信号処理部120、または、図12,図15の係数種データ生成装置150の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU201は、パーソナルコンピュータの全体の動作を制御する。また、CPU201は、バス204および入出力インタフェース205を介してユーザからキーボードやマウスなどからなる入力部206から指令が入力されると、それに対応してROM(Read Only Memory) 202に格納されているプログラムを実行する。あるいはまた、CPU201は、ドライブ210に接続された磁気ディスク221、光ディスク222、光磁気ディスク223、または半導体メモリ224から読み出され、記憶部208にインストールされたプログラムを、RAM(Random Access Memory)203にロードして実行する。これにより、上述した図2の信号処理部120、または、図12,図15の係数種データ生成装置150の機能が、ソフトウェアにより実現されている。さらに、CPU201は、通信部209を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図17に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク221(フレキシブルディスクを含む)、光ディスク222(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク223(MD(Mini-Disc)を含む)、もしくは半導体メモリ224などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM202や、記憶部208に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
1 テレビジョン信号受信機, 2 ディスプレイ, 3 システムコントローラ, 121 画像メモリ, 122 フレーム選択回路, 123 第1のタップ選択回路, 124 第2のタップ選択回路, 125 第3のタップ選択回路, 126 空間クラス検出回路, 127 動きクラス検出回路, 128 クラス合成回路, 129 推定予測演算回路, 130 正規化演算回路, 131 後処理回路, 132乃至135 レジスタ, 136 係数メモリ, 137 情報メモリバンク, 138 係数生成回路, 139 正規化係数生成回路, 140 正規化係数メモリ, 141 位相情報発生回路, 150 係数種データ生成装置, 151 入力端子, 152 SD信号生成回路, 153 空間位相シフト回路, 154 ノイズ鮮鋭度シフト回路, 155 第1のタップ選択回路, 156 第2のタップ選択回路, 157 第3のタップ選択回路, 158 タップ選択制御回路, 159 空間クラス検出回路, 160 動きクラス検出回路, 161 クラス合成回路, 162 正規方程式生成部, 163 係数種データ決定部, 164 係数種メモリ, 171 正規方程式生成部, 172 係数データ決定部, 173 正規方程式生成部, 174 係数種データ決定部, 175 係数種メモリ