JP4310689B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

信号処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4310689B2
JP4310689B2 JP2003397191A JP2003397191A JP4310689B2 JP 4310689 B2 JP4310689 B2 JP 4310689B2 JP 2003397191 A JP2003397191 A JP 2003397191A JP 2003397191 A JP2003397191 A JP 2003397191A JP 4310689 B2 JP4310689 B2 JP 4310689B2
Authority
JP
Japan
Prior art keywords
image signal
class
signal
tap
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003397191A
Other languages
English (en)
Other versions
JP2005159830A (ja
Inventor
哲二郎 近藤
靖彦 管
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003397191A priority Critical patent/JP4310689B2/ja
Priority to US10/995,666 priority patent/US7483079B2/en
Publication of JP2005159830A publication Critical patent/JP2005159830A/ja
Application granted granted Critical
Publication of JP4310689B2 publication Critical patent/JP4310689B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、注目したいシーンをより鮮明で、かつ、より滑らかに再生できるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
入力された画像信号を高画質の画像信号に変換する技術が一般に普及しつつある。
また、入力された画像信号の注目したい位置を指定することにより、指定された画像信号上の位置を中心として拡大、または、縮小させた画像信号に変換する技術がある（例えば、特許文献１参照）。
特開２００２−１９６７３７号公報
ところで、複数のフレームが連続して再生される動画像信号を考えた場合、ユーザが、注目したいシーンというのは、一般に、注目したいシーンのフレームを含む、その前後の所定の時間内に再生されるべき、複数のフレームであるのが一般的である。さらに、その注目したいシーンをより詳細に見ようとすれば、いわゆるスロー再生と呼ばれる、通常の再生状態よりもゆっくりとした再生速度で見たいと考えるのが一般的である。
しかしながら、上述したような画像信号の変換処理は、指定されたフレームの画像信号が変換されるのみであるため、各フレームについて注目する指定された位置を中心として拡大することができるものの、1枚のフレーム当たりの表示時間を長くすることで、スロー再生を実現させることになるため、滑らかな動画像として再生させることができないという課題があった。
本発明はこのような状況に鑑みてなされたものであり、特に、注目したいシーンの前後のフレームを注目したい位置を中心として拡大し、さらに、高画質の画像にすると共に、任意の再生速度で再生しても、滑らかな動画像になるようにするものである。
本発明の信号処理装置は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納手段と、格納手段に格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定手段と、再生速度に基づいて第１の画像信号のフレーム間に生成すべき第２の画像信号のフレームの、第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算手段と、第２の画像信号を構成する各画素について、第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定手段と、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定手段と、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力手段と、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、クラス分類手段において得られたクラスのタップ係数との積和演算を行うことにより、第２の画像信号を求める演算手段とを備え、タップ係数は、高速度撮影された高解像度の画像信号から、所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、所定の再生速度の標準解像度にされるとともに低画質化された画像信号からクラスタップが選択され、クラスタップのレベル分布に応じたクラス分類が行われ、フレーム位相値、空間パラメータ、および、画質パラメータごとに、クラス毎の正規方程式が生成され、正規方程式が解かれることにより予め求められたものであることを特徴とする。
前記格納手段に格納された第１の画像信号のうちの、第２の画像信号に変換するフレームの範囲を設定する範囲設定手段をさらに設けるようにさせることができる。
前記空間位相値には、水平方向の空間位相値、および、垂直方向の空間位相値を含ませるようにすることができ、空間パラメータには、水平方向の空間位相値に対応する水平空間位相パラメータと、垂直方向の垂直空間位相パラメータとを含ませるようにすることができる。
前記画質には、鮮鋭度レベルとノイズレベルを含ませるようにすることができ、画質パラメータには、鮮鋭度レベルに対応する鮮鋭度パラメータと、ノイズレベルに対応するノイズパラメータとを含ませるようにすることができる。
本発明の信号処理方法は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいて第１の画像信号のフレーム間に生成すべき第２の画像信号のフレームの、第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号を構成する各画素について、第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、クラス分類手段において得られたクラスのタップ係数との積和演算を行うことにより、第２の画像信号を求める演算ステップとを含み、タップ係数は、高速度撮影された高解像度の画像信号から、所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、所定の再生速度の標準解像度にされるとともに低画質化された画像信号からクラスタップが選択され、クラスタップのレベル分布に応じたクラス分類が行われ、フレーム位相値、空間パラメータ、および、画質パラメータごとに、クラス毎の正規方程式が生成され、正規方程式が解かれることにより予め求められたものであることを特徴とする。
本発明の記録媒体のプログラムは、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいて第１の画像信号のフレーム間に生成すべき第２の画像信号のフレームの、第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号を構成する各画素について、第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、クラス分類手段において得られたクラスのタップ係数との積和演算を行うことにより、第２の画像信号を求める演算ステップとを含み、タップ係数は、高速度撮影された高解像度の画像信号から、所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、所定の再生速度の標準解像度にされるとともに低画質化された画像信号からクラスタップが選択され、クラスタップのレベル分布に応じたクラス分類が行われ、フレーム位相値、空間パラメータ、および、画質パラメータごとに、クラス毎の正規方程式が生成され、正規方程式が解かれることにより予め求められたものであることを特徴とする。
本発明のプログラムは、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいて第１の画像信号のフレーム間に生成すべき第２の画像信号のフレームの、第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号を構成する各画素について、第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、クラス分類手段において得られたクラスのタップ係数との積和演算を行うことにより、第２の画像信号を求める演算ステップとをコンピュータに実行させ、タップ係数は、高速度撮影された高解像度の画像信号から、所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、所定の再生速度の標準解像度にされるとともに低画質化された画像信号からクラスタップが選択され、クラスタップのレベル分布に応じたクラス分類が行われ、フレーム位相値、空間パラメータ、および、画質パラメータごとに、クラス毎の正規方程式が生成され、正規方程式が解かれることにより予め求められたものであることを特徴とする。
本発明の信号処理装置および方法、並びにプログラムにおいては、入力された第１の画像信号が最新の所定数のフレーム数だけ格納され、格納された第１の画像信号に対する第２の画像信号の再生速度が設定され、再生速度に基づいて第１の画像信号のフレーム間に生成すべき第２の画像信号のフレームの、第１の画像信号のフレームに対するズレ量を示すフレーム位相値が計算され、第２の画像信号を構成する各画素について、第１の画像信号を構成する各画素のうちの最も近い画素までの距離が、空間パラメータとして設定され、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータが設定され、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、第２の画像信号の注目画素が、複数のクラスのうちのいずれかのクラスに分類するクラス分類され、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数が出力され、第１の画像信号を構成する各画素のうちの、第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、クラスのタップ係数との積和演算が行われることにより、第２の画像信号が求められる。また、タップ係数は、高速度撮影された高解像度の画像信号から、所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、所定の再生速度の標準解像度にされるとともに低画質化された画像信号からクラスタップが選択され、クラスタップのレベル分布に応じたクラス分類が行われ、フレーム位相値、空間パラメータ、および、画質パラメータごとに、クラス毎の正規方程式が生成され、正規方程式が解かれることにより予め求められたものである。
本発明の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
本発明によれば、注目したいシーンの前後の動画像を注目したい位置を中心として拡大し、さらに、高画質の画像にすると共に、任意の再生速度で再生しても、なめらかな動画像になるようにすることが可能となる。
以下に本発明の実施の形態を説明する。
図１は、本発明を適用した画像処理システムの一実施の形態の構成を示す図である。
テレビジョン信号受信装置１は、図示せぬ放送局より送信されてくる放送信号を受信し、画像信号に変換して、システムコントローラ３に供給する。システムコントローラ３は、テレビジョン信号受信装置１より供給されてくる画像信号に各種の処理を施し、ディスプレイ２に表示させる。
システムコントローラ３には、後述する信号処理部１２０（図２）を内蔵しており、画像信号に対して各種の処理を施すに当たり、各種のボタン、または、つまみが操作されることにより、各種のパラメータが設定され、そのパラメータに基づいて、信号処理部１２０が各種の処理を施す。以下においては、そのボタン、または、つまみについて説明する。
ボタン１１ａ，１１ｂは、ズーム倍率ボリュームを設定するボタンであり、ズーム倍率を上げるときボタン１１ａが操作され、ズーム倍率を下げるときボタン１１ｂが操作される。
ボタン１２は、画像信号中の注目したい位置、すなわち、表示位置の中心にしたい位置を設定するとき操作され、表示されている画像上の注目したい位置を移動させるとき上下左右にボタン１２ａ，１２ｂ，１２ｃ，１２ｄがそれぞれ操作される。
つまみ１３は、ノイズ低減ボリュームを変更するとき操作され、図中の矢印Ｄ方向に操作されることにより、ノイズ低減のボリュームが下げられ、逆に、矢印Ｃ方向に操作されることにより上げられる。
つまみ１４は、鮮鋭度調整ボリュームを変更するとき操作され、図中の矢印Ｂ方向に操作されることにより、鮮鋭度調整のボリュームが下げられ、逆に、矢印Ａ方向に操作されることにより上げられる。
ボタン１５は、画像信号の画像メモリ１２１への書き込みを停止させると共に、画像メモリ１２１に蓄えられた画像信号を読み出して処理し、ディスプレイ２に供給させるように切り替える停止ボタンであり、再度、ボタン１５が操作されると画像メモリ１２１への書き込みが開始され、テレビジョン信号受信装置１より供給された画像信号が後段に供給される。すなわち、システムコントローラ３の信号処理部１２０（図２）は、その内部に画像メモリ１２１（図２）が設けられており、テレビジョン信号受信装置１より供給される画像信号が、順次書き込まれると共に、最も古いフレームの画像信号が消去されることにより、常に直近の30秒分の画像信号（フレームレートが30（フレーム／秒）であるとすれば、900フレーム分の画像信号）が記憶される。
つまみ１６ａ，１６ｂは、矢印Ｇ方向に操作することができ、つまみ１６ａの位置が、画像メモリ１２１に蓄えられた画像信号のうちの再生開始位置を設定し、つまみ１６ｂの位置が、画像メモリ１２１に蓄えられた画像信号のうちの再生終了位置を設定する。すなわち、つまみ１６の右端がボタン１５が操作された瞬間の時点のフレームの画像信号を示し、左端が、ボタン１５が操作される30秒前の時点のフレームの画像信号を示しており、ボタン１５が操作されると、つまみ１６ａで設定されたフレームから、つまみ１６ｂで設定された画像信号が再生される。
つまみ１７は、再生速度ボリューム（スピードボリューム）を設定するとき操作される。つまみ１７は、矢印Ｅ方向に操作されると再生速度ボリュームが大きく設定され、再生速度が早くなる。逆に、つまみ１７は、矢印Ｆ方向に操作されると再生速度ボリュームが小さく設定され、再生速度が低速となる。
つまみ１８は、受信周波数を操作するつまみであり、後述するチューナ１１２（図２）は、この操作情報に対応した信号に基づいて、矢印H方向、または、I方向に操作させることにより受信周波数を変化させる。ボタン１９は、後述する画像信号の変換方法を選択するとき操作されるボタンであり、一回押下される毎に変換方法が所定の順序で順次切り替えられ、最後の変換方法にまで切り替えられた状態で押下されると先頭の変換方法に戻る。
以上のシステムコントローラ３の操作情報が、図２で示される信号処理部１２０に供給され、それぞれの操作情報に対応した信号や、その信号により示される各種のパラメータに基づいて、処理が実行される。
次に、図２を参照して、テレビジョン信号受信装置１と、信号処理部１２０の詳細について説明する。
テレビジョン信号受信装置１は、受信アンテナ１１１と、この受信アンテナ１１１で捕らえられた放送信号（RF（Radio Frequency）変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って525i信号を得るチューナ１１２と、このチューナ１１２より出力される525i信号を一時的に保存するためのバッファメモリ１１３とを有している。
信号処理部１２０は、バッファメモリ１１３に一時的に保存される525i信号である画像信号Ｖinを、1080i信号またはXGA（Extended Graphics Array（1024画素×768画素））信号に変換し、あるいはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換して出力する。さらに、信号処理部１２０は、ボタン１５、および、つまみ１６ａ，１６ｂ，１７の操作に応じて、画像メモリ１２１に蓄えられた画像信号のうちの任意のタイミングのものを、任意の再生速度で表示できるように、フレーム数を調整し（フレーム数を増やす必要がある場合は、フレームを補間生成し、または、必要に応じてフレームを間引き）、任意の再生速度でもなめらかな画像を表示できるように処理する。
信号処理部１２０の画像メモリ１２１は、ボタン１５が操作されるまで、バッファメモリ１１３に記憶されている525i信号の直近の30秒分のフレームに対応する画像信号を順次記憶する。より詳細には、画像メモリ１２１は、30秒分のフレームに対応する画像信号を記憶すると、新しいフレームの画像信号を記憶すると共に、最も古いフレームに対応する画像信号を消去する。
フレーム選択回路１２２は、通常は、バッファメモリ１１３より供給される各フレームの画像信号を第１乃至第３のタップ選択回路１２３乃至１２５に供給する。また、フレーム選択回路１２２は、ボタン１５が操作されると（停止ボタンが操作されると）、画像メモリ１２１の画像信号の書き込みを停止させ、つまみ１６ａ，１６ｂで設定される開始位置のフレームから終了位置のフレームまでの範囲で画像メモリ１２１に記憶されている画像信号を読み出して、第１乃至第３のタップ選択回路１２３乃至１２５に供給する。
第１のタップ選択回路１２３は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２４は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２５は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
空間クラス検出回路１２６は、第２のタップ選択回路１２４で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。
より詳細には、空間クラス検出回路１２６は、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算を実行する。そして、空間クラス検出回路１２６は、空間クラスタップのデータにそれぞれ対応した圧縮データを空間クラスのクラス情報として出力する。以下の説明において、空間クラス検出回路１２６は、ADRC（Adaptive Dynamic Range Coding）符号化処理によって、データの圧縮を行うものとするが、情報圧縮手段としては、ADRC符号化処理以外にDPCM（予測符号化）符号化処理や、VQ（ベクトル量子化）符号化処理などを用いるようにしてもよい。
本来、ADRC符号化処理は、VTR（Video Tape Recorder）向けに開発された適応再量子化符号化処理であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用に適したものであるといえる。また、ADRC符号化処理が使用される場合、空間クラスタップのデータの最大値がMAX、その最小値がMIN、空間クラスタップのデータのダイナミックレンジがDR（＝MAX−MIN＋１）、再量子化ビット数がPであるものとすると、空間クラスタップとして抽出された各画素のデータkiに対して、以下の式（１）の演算により、圧縮データとしての再量子化コードQiが得られる。ただし、式（１）において、[ ]は切り捨て処理を意味する。空間クラスタップのデータとして、Na個の画素データがあるとき、ｉ＝１乃至Ｎａである。
Qi=［（ki−MIN＋0.5）×（2P）／DR］
・・・（１）
動きクラス検出回路１２７は、第３のタップ選択回路１２５で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する。
動きクラス検出回路１２７は、第３のタップ選択回路１２５で選択的に取り出される動きクラスタップのデータからフレーム間差分を算出し、さらにその差分の絶対値の平均値に対して閾値との比較に基づいた処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２７は、以下の式（２）で示される演算によって、差分の絶対値の平均値AVを算出する。例えば、第３のタップ選択回路１２５が、動きクラスタップのデータとして、注目画素に対応する今現在のフレームの６個の画素データｍ1乃至ｍ6と、その１フレーム前の６個の画素データｎ1乃至ｎ6が取り出された場合、以下の式（２）において、Nbは６となる。すなわち、以下の式（２）においては、Nbは、動きクラスを設定するために選択される動きクラスタップの数を示している。
Figure 0004310689
 ・・・（２）
動きクラス検出回路１２７は、上述したように算出された平均値AVが１個または複数個の閾値と比較されて動きクラスのクラス情報MVを設定する。例えば、３個の閾値th1，th2，th3（th1＜th2＜th3）が設定される場合、動きクラス検出回路１２７は、４つの動きクラスMVを設定し、AV≦th1のとき、動きクラスをMV＝０に設定し、th1＜AV≦th2のとき、動きクラスをMV＝１に設定し、th2＜AV≦th3のとき、動きクラスをMV＝２に設定し、そして、th3＜AVのとき、動きクラスをMV＝３にそれぞれ設定する。
クラス合成回路１２８は、空間クラス検出回路１２６より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路１２７より出力される動きクラスのクラス情報MVとを合成し、作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードCLを生成し、出力する。
より具体的には、クラス合成回路１２８は、以下で示される式（３）を演算することによって、クラスコードCLを演算する。なお、以下の式（３）において、Naは空間クラスタップのデータの個数、PはADRC符号化処理における再量子化ビット数を示している。
Figure 0004310689
 ・・・（３）
後段の後処理回路１３１は、出力画像信号Voutとして、1080i信号を出力する場合と、XGA信号を出力する場合と、525i信号を出力する場合とで、その動作を切り替える。レジスタ１３２は、後処理回路１３１の動作を指定する動作指定情報を格納する。後処理回路１３１は、レジスタ１３２より供給される動作指定情報に従った動作をする。
レジスタ１３３は、第１のタップ選択回路１２３で選択される予測タップのタップ位置情報を格納する。第１のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って予測タップを選択し、選択したタップである画素の画素値を取得する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
レジスタ１３４は、第２のタップ選択回路１２４で選択される空間クラスタップのタップ位置情報を格納する。第２のタップ選択回路１２４は、レジスタ１３４より供給されるタップ位置情報に従って空間クラスタップを選択する。
ここで、レジスタ１３４は、動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとを格納している。これらタップ位置情報A，Bのいずれを第２のタップ選択回路１２４に供給するかは、動きクラス検出回路１２７より出力される動きクラスのクラス情報MVによって選択される。
すなわち、動きがないか、あるいは動きが小さいために動きクラスがMV＝０またはMV＝１であった場合、例えば、タップ位置情報Aが第２のタップ選択回路１２４に供給され、この第２のタップ選択回路１２４で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにMV＝２またはMV＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２４に供給される。
なお、上述したレジスタ１３３にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２３に供給されるタップ位置情報が動きクラス検出回路１２７より出力される動きクラスのクラス情報MVによって選択されるようにしてもよい。
レジスタ１３５は、第３のタップ選択回路１２５で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２５は、レジスタ１３５より供給されるタップ位置情報に従って動きクラスタップを選択する。
係数メモリ１３６は、後述する推定予測演算回路１２９で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、525i信号を1080i信号またはXGA信号に変換し、若しくはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換するため、または、再生速度ボリュームに応じて、例えば、スロー再生などで、フレームレートの変化に伴って生成される新たなフレームを補間生成するための情報である。係数メモリ１３６は、上述したクラス合成回路１２８より出力されるクラスコードCLを読み出しアドレス情報として取得し、クラスコードCLに対応した係数データを読み出し、推定予測演算回路１２９に供給する。
情報メモリバンク１３７は、レジスタ１３２に格納するための動作指定情報と、レジスタ１３３乃至１３５に格納するためのタップ位置情報が予め格納されている。
ここで、レジスタ１３２に格納するための動作指定情報として、情報メモリバンク１３７には、後処理回路１３１を1080i信号を出力するように動作させるための第１の動作指定情報と、後処理回路１３１をXGA信号を出力するように動作させるための第２の動作指定情報と、後処理回路１３１を525i信号を出力するように動作させるための第３の動作指定情報とが予め蓄えられている。
例えば、システムコントローラ３のボタン１９がユーザにより操作されることにより、1080i信号を出力する第１の変換方法か、XGA信号を出力する第２の変換方法か、さらには525i信号を出力する第３の変換方法かが選択される。なお、第３の変換方法を選択するとき、ユーザは、さらに表示画像の倍率（画像サイズ）を指定できる。情報メモリバンク１３７にはシステムコントローラ３よりその変換方法の選択情報が供給され、この情報メモリバンク１３７よりレジスタ１３２にはその選択情報に従って第１、第２または第３の動作指定情報がロードされる。
また、情報メモリバンク１３７は、レジスタ１３３に格納するための予測タップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報が予め蓄えられている。この情報メモリバンク１３７よりレジスタ１３３には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
なお、情報メモリバンク１３７に、第３の変換方法に対応する第３のタップ位置情報として、表示画像の倍率に対応したタップ位置情報を予め蓄えておき、第３の変換方法が選択された場合に、併せて指定された倍率に対応したタップ位置情報を情報メモリバンク１３７よりレジスタ１３３にロードするようにしてもよい。このことは、後述するレジスタ１３４，１３５へのタップ情報のロードにおいても同様である。
また、情報メモリバンク１３７は、レジスタ１３４に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報とを予め蓄えている。第１、第２および第３のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３７よりレジスタ１３４には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
さらに、情報メモリバンク１３７は、レジスタ１３５に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報とを予め蓄えている。情報メモリバンク１３７は上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報をロードさせる。
さらに、情報メモリバンク１３７は、各クラスの係数種データを予め蓄えている。この係数種データは、上述した係数メモリ１３６に格納するための係数データを生成するための、位相情報をパラメータとする生成式の係数データである。
後述する推定予測演算回路１２９では、予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとから、式（４）の推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路１２３で選択される予測タップが１０個であるとき、式（４）におけるｎは１０となる。
Figure 0004310689
 ・・・（４）
そして、この推定式の係数データWi（ｉ＝１乃至ｎ）は、例えば式（５）で示されるように、空間位相を示す空間パラメータ（ph，pv）（ボタン１２で設定される水平方向、および、垂直方向の位置）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）（つまみ１３，１４で設定される鮮鋭度のレベルとノイズの低減レベル）、および、フレーム位相値（t）（つまみ１７で設定される再生速度に基づいて設定される、生成しようとするフレームの、既存のフレームに対するずれを示す値）をパラメータとする生成式によって生成される。情報メモリバンク１３７には、この生成式の係数データである係数種データｗ100乃至ｗn10が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
Figure 0004310689
 ・・・（５）
係数生成回路１３８は、各クラスの係数種データおよび空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、フレーム位相値（t）とを用い、式（５）によって、クラス毎に、空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、生成すべきフレームと既存のフレームとのずれ量を示すフレーム位相値（t）の値に対応した推定式の係数データWi（ｉ＝１乃至ｎ）を生成する。係数生成回路１３８は、情報メモリバンク１３７より、各クラスの係数種データがロードされると共に、後述する水平垂直位相情報発生回路１４１で発生される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、フレーム位相値（t）が供給される。係数生成回路１３８で生成される各クラスの空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、時間（フレーム位相値）（t）に対応した係数データWi（ｉ＝１乃至ｎ）は、上述した係数メモリ１３６に格納される。
水平垂直位相情報発生回路１４１は、システムコントローラ３のボタン１１ａ，１１ｂ，１２ａ，１２ｂ，１２ｃ，１２ｄ，１９の操作に基づいて供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応関係情報ｎ／ｍに基づいて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、および、垂直方向の位相パラメータph，pvをそれぞれ発生させる。この水平垂直位相情報発生回路１４１は例えばROM（Read Only Memory）テーブルで構成される。
水平垂直位相情報発生回路１４１で発生される各画素の水平方向、および、垂直方向の位相パラメータph，pvは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路１３８に供給される。なお、水平垂直位相情報発生回路１４１からは、入力画像信号Ｖinの奇数、偶数のフィールドのそれぞれに対応して位相パラメータph，pvが発生される。
例えば、図３で示されるように、第１の変換方法（525iから1080iへの変換）が選択される場合、垂直方向に関してｎ／ｍ＝９／４であり、水平方向に関してｎ／ｍは９／４である。尚、図３においては、525i信号と1080i信号の画素位置関係が示されており、大きなドットが525i信号の画素であり、小さなドットが1080i信号の画素である。また、奇数フィールドの画素位置が実線で示されており、偶数フィールドの画素位置が破線で示されている。
そのため、入力画像信号Ｖinとしての525i信号の４×４の画素ブロックに対して出力画像信号Ｖoutとしての1080i信号の９×９の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは９×９の画素ブロックということになる。
図３の場合、水平垂直位相情報発生回路１４１では、この９×９の単位画素ブロック内の各画素について、上述した525i信号の４×４の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。尚、この例においては、525i信号の垂直方向の画素間隔が１６、水平方向の画素間隔が８とされて、上述の位相パラメータph，pvが求められる。これは、第２、第３の変換方法が選択される場合も同様である。
ここで、位相パラメータpvに関しては、９×９の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相パラメータphに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第２、第３の変換方法が選択される場合も同様である。
このように、第１の変換方法（525iから1080iへの変換）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、９×９の単位画素ブロックを構成する８１個の画素のそれぞれついての位相パラメータph，pvが発生される。
また例えば、第２の変換方法（525iからXGAへの変換）が選択される場合、垂直方向に関してｎ／ｍ＝１６／５であり、水平方向に関してｎ／ｍは８／５である。そのため、入力画像信号Ｖinとしての525i信号の５×５の画素ブロックに対して出力画像信号ＶoutとしてのXGA信号の８×１６の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは８×１６の画素ブロックということになる。
この場合、水平垂直位相情報発生回路１４１では、この８×１６の単位画素ブロック内の各画素について、上述した525i信号の５×５の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。
このように、第２の変換方法（XGA）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、８×１６の単位画素ブロックを構成する１２８個の画素のそれぞれついての位相パラメータph，pvが発生される。
さらにまた例えば、第３の変換方法（525i）が選択される場合、指定された表示画像の倍率（画像サイズ）に応じて垂直方向および水平方向に関するｎ／ｍが一意的に決まる。垂直方向に関してｎ／ｍ＝ｎv／ｍv、水平方向に関してｎ／ｍ＝ｎh／ｍhであるとすると、入力画像信号Ｖinとしての525i信号のｍh×ｍvの画素ブロックに対して出力画像信号Ｖoutとしての525i信号のｎh×ｎvの画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックはｎh×ｎvの画素ブロックということになる。
この場合、水平垂直位相情報発生回路１４１では、このｎh×ｎvの単位画素ブロック内の各画素について、上述した入力画像信号Ｖinとしての525i信号のｍh×ｍvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。
このように、第３の変換方法（525i）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、ｎh×ｎvの単位画素ブロックを構成する各画素についての位相パラメータph，pvが発生される。
画質情報発生回路１４２は、システムコントローラ３のつまみ１３，１４の操作に基づいて供給される、画質の調整の程度を規定するパラメータであるノイズ低減ボリュームに対応するパラメータrhと鮮鋭度調整ボリュームに対応するパラメータrvを発生し、係数生成回路１３８に供給する。この画質情報発生回路１４２は例えばROM（Read Only Memory）テーブルで構成される。
フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１７の操作に基づいて供給される、再生速度ボリュームの情報に基づいて、生成すべきフレームの既存のフレームに対するずれ量を示すフレーム位相値を発生し、係数生成回路１３８に供給する。尚、フレーム位相値については、詳細を後述する。
正規化係数生成回路１３９は、係数生成回路１３８で生成される各クラスの各パラメータph，pvの係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、以下の式（６）によって演算する。ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１４０を有している。正規化係数メモリ１４０には上述したクラス合成回路１２８より出力されるクラスコードCLが読み出しアドレス情報として供給され、この正規化係数メモリ１４０からはクラスコードCLに対応した正規化係数Sが読み出され、後述する正規化演算回路１３０に供給されることとなる。
Figure 0004310689
 ・・・（６）
推定予測演算回路１２９は、第１のタップ選択回路１２３で選択的に取り出される予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとから、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータを演算する。
推定予測演算回路１２９は、出力画像信号Ｖoutを構成する画素データを単位画素ブロック毎に生成する。すなわち、推定予測演算回路１２９は、第１のタップ選択回路１２３からの単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータxiと、係数メモリ１３６からの、その単位画素ブロックを構成する各画素に対応した係数データWiとに基づいて、単位画素ブロックを構成する各画素のデータを、それぞれ個別に上述した式（４）の推定式により演算する。
例えば、推定予測演算回路１２９は、第１の変換方法（1080i）が選択されている場合には、単位画素ブロックを構成する８１個の画素のデータが同時的に生成され、第２の変換方法（XGA）が選択されている場合には、単位画素ブロックを構成する１２８個の画素のデータが同時的に生成され、さらに第３の変換方法（525i）が選択されている場合には、単位画素ブロックを構成する（ｎh×ｎv）個（ｎh，ｎvは、表示画像の指定倍率によって変化する）の画素データが同時的に生成される。
正規化演算回路１３０は、推定予測演算回路１２９より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙP（Ｐは単位ブロックを構成する画素の個数）を、正規化係数メモリ１４０より読み出し、それぞれの生成に使用された係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する。すなわち、係数生成回路１３８は、係数種データより生成式で推定式の係数データを求めるが、この際、生成される係数データは丸め誤差が含まれることになるため、係数データWi（ｉ＝１乃至ｎ）の総和が１．０になることが保証されないことになる。そのため、推定予測演算回路１２９で演算される各画素のデータｙ1乃至ｙPは、丸め誤差によってレベル変動したものとなってしまう。そこで、正規化演算回路１３０が、これらを正規化することで、その変動を除去する。
後処理回路１３１は、正規化演算回路１３０で正規化されて順次供給される単位画素ブロック内の画素のデータｙ1′乃至ｙP′を、第１乃至第３の変換方法によって特定されるフォーマットにすることにより出力画像信号Ｖoutを出力する。すなわち、この後処理回路１３１からは、第１の変換方法が選択されている場合には1080i信号が出力され、第２の変換方法が選択されている場合にはXGA信号が出力され、さらに第３の変換方法が選択されている場合には525i信号が出力される。この後処理回路１３１の動作指定情報は、上述したようにレジスタ１３２より供給される。
次に、図４のフローチャートを参照して、信号処理部１２０による画像処理について説明する。
ステップＳ１において、フレーム選択回路１２２は、ボタン１５が操作されて、停止ボタンが操作された状態となったか否かを判定する。例えば、ボタン１５が操作されないと判定された場合、その処理は、ステップＳ２に進む。
ステップＳ２において、各種のパラメータである係数ph，pv，rh，rv，tが生成される。すなわち、水平垂直位相情報発生回路１４１は、システムコントローラ３のボタン１１ａ，１１ｂ，１２ａ，１２ｂの操作信号に応じて、対応する係数ph，pvを生成し、画質情報発生回路１４２は、システムコントローラ３のつまみ１３，１４の操作信号に応じて、対応する係数rh，rvを生成し、フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１６ａ，１６ｂ，１７の操作信号に応じて、対応する係数tを生成し、それぞれ係数生成回路１３８に供給する。尚、ステップＳ２の処理においては、ボタン１５が操作されておらず、つまみ１６ａ，１６ｂ，１７の操作に対応する操作信号は、発生しないため（画像メモリ１２１に記憶された画像信号の再生がなされないため）、フレーム位相差は生じない（バッファメモリ１１３からのフレームに対応するフレームを利用して画像を生成するので、新たなフレームを生成する必要がない。結果として、ステップＳ２の場合、フレーム位相情報発生回路１４３は、常に、フレーム位相値tを０として出力することになる。
ステップＳ３において、フレーム選択回路１２２は、バッファメモリ１１３より供給される画像信号が終了したか否かを判定し、供給が終了したと判定された場合、その処理を終了する。また、供給が続けられていると判定された場合、その処理は、ステップＳ４に進む。
ステップＳ４において、係数種データから係数データが生成される。すなわち、係数生成回路１３８は、水平垂直位相情報発生回路１４１で発生された出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の空間位相パラメータph，pv、画質情報発生回路１４２で発生された画質パラメータrh，rv、および、フレーム位相差tに対応した各クラスの推定式の係数データWi（ｉ＝１乃至ｎ）を生成し係数メモリ１３６に格納する。また、このとき、正規化係数生成回路１３９は、上述したように係数生成回路１３８で生成された各クラスおよび各位相情報の係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを生成し、正規化係数メモリ１４０に格納する。
ステップＳ５において、フレーム選択回路１２２は、バッファメモリ１１３より供給されてくる画像信号の各画素値を取得し、第１乃至第３のタップ選択回路１２３乃至１２５に供給する。さらに、ステップＳ６において、画像メモリ１２１は、バッファメモリ１１３からの画像信号を最大30秒分を順次記憶する。
ステップＳ７において、フレーム選択回路１２２は、１フレーム分の画素が処理されたか否かを判定し、１フレーム分の画素が処理されていないと判定された場合、その処理は、ステップＳ８に進み、また、ステップＳ７において、１フレーム分の画素が処理されたと判定された場合、その処理は、ステップＳ１に戻る。
ステップＳ８において、クラスコードCLが生成される。すなわち、第２のタップ選択回路１２４は、レジスタ１３４より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２７で検出される動きクラスに対応したタップ位置情報に基づいて、入力された画素値より空間クラスタップのデータを選択的に取り出し、空間クラス検出回路１２６に供給する。空間クラス検出回路１２６は、空間クラスタップのデータとしての各画素データに対してADRC符号化処理を施して空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードQiを、上述の式（１）の演算により求めて、クラス合成回路１２８に供給する。
また、第３のタップ選択回路１２５は、バッファメモリ１１３に記憶されている入力画像信号Ｖinとしての525i信号より作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する動きクラスタップのデータ（画素データ）を選択的に取り出して、動きクラス検出回路１２７に供給する。この場合、第３のタップ選択回路１２５は、レジスタ１３５より供給される、ユーザによってボタン１９が奏されることによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
動きクラス検出回路１２７は、動きクラスタップのデータとしての各画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを演算により求め、クラス合成回路１２８に供給する。
以上の処理により、動き情報MVと上述した再量子化コードQiはクラス合成回路１２８に供給される。クラス合成回路１２８は、動き情報MVと再量子化コードQiに基づいて、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック毎にその単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードCLを上述した式（３）を演算することにより順次求め、係数メモリ１３６および正規化係数メモリ１４０に読み出しアドレス情報として供給する。
ステップＳ９において、係数メモリ１３６は、クラス合成回路１２８より供給されたクラスコードCLを読み出しアドレス情報に基づいて、クラスコードCLに対応した係数データWiを読み出し、推定予測演算回路１２９に供給する。
ステップＳ１０において、推定予測演算が実行され、画素に所定の処理が施された後、出力し、その処理は、ステップＳ５に戻る。
すなわち、第１のタップ選択回路１２３は、入力画像信号Ｖinとしての525i信号より作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する予測タップのデータ（画素データ）xiを選択的に取り出し、推定予測演算回路１２９に供給する。この場合、第１のタップ選択回路１２３は、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップを選択する。
さらに、推定予測演算回路１２９は、予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとに基づいて、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを、上述した式（４）を用いて同時に演算し、順次出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを正規化演算回路１３０に供給する。
また、正規化係数メモリ１４０は、クラス合成回路１２８より供給された読み出しアドレス情報としてのクラスコードCLに基づいて、正規化係数Ｓ、すなわち推定予測演算回路１２９より出力されるデータｙ1乃至ｙPの演算に使用された係数データWiに対応した正規化係数Ｓを読み出して正規化演算回路１３０に供給する。正規化演算回路１３０は、推定予測演算回路１２９より出力されるデータｙ1乃至ｙPをそれぞれ対応する正規化係数Ｓで除算して正規化する。この処理により、上述した式（５）の係数種データの生成式で、式（４）の推定式の係数データが求められる際に生じる丸め誤差によるデータｙ1乃至ｙPのレベル変動が除去される。
このように正規化演算回路１３０は、順次出力される単位画素ブロック内の各画素のデータｙ1′乃至ｙP′を正規化して後処理回路１３１に供給する。後処理回路１３１は、データｙ1′乃至ｙP′が第１乃至第３の変換方法によって特定されるフォーマットで出力画像信号Ｖoutを出力し、例えば、第１の変換方法が選択されている場合には1080i信号を出力し、第２の変換方法が選択されている場合にはXGA信号を出力し、さらに第３の変換方法が選択されている場合には525i信号を出力する。
上述したように、係数生成回路１３８は、情報メモリバンク１３７よりロードされる各クラスの係数種データ、並びに、水平垂直位相情報発生回路１４１で発生される空間パラメータph，pv、画質情報発生回路１４２で発生される画質パラメータrh，rv、および、フレーム位相情報発生回路１４３により発生されるフレーム位相値tの値とをそれぞれ用い、クラス毎に、水平垂直位相情報発生回路１４１で発生される空間パラメータph，pv、画質情報発生回路１４２で発生される画質パラメータrh，rv、および、フレーム位相情報発生回路１４３により発生されるフレーム位相値tの値に対応した推定式の係数データWiを生成し、係数メモリ１３６に格納する。そして、係数メモリ１３６は、クラスコードCLに基づいて係数データWiを決定し、推定予測演算回路１２９が、この係数データWiを用いて、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを演算する。したがって、1080i信号やXGA信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合に大量の係数データを格納しておくメモリを省略することが可能となる。
また、ステップＳ１において、ボタン１５が操作されて、停止ボタンが操作されたと判定された場合、その処理は、ステップＳ１１に進む。
ステップＳ１１において、フレーム選択回路１２２は、システムコントローラ３のつまみ１６ａ，１６ｂのそれぞれの位置の情報に基づいて、画像メモリ１２１の先頭フレームFSと終了フレームFEの位置を確認する。
ステップＳ１２において、フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１７の操作情報に基づいて、生成しようとする次のフレームまでのフレーム位相値を計算する。
ここで、フレーム位相値tについて説明する。例えば、つまみ１７が操作されることにより、スロー再生が設定された場合、既存のフレームのみを用いてスロー再生させると、１フレームの表示時間を長くして表示することになるため、既存のフレームに対して、その間に新たなフレームを生成することで、なめらかなスロー再生を可能にする。
このとき、上述したフレーム位相値を用いて、新たに生成されるフレームの、既存のフレームに対する位置を設定する。より具体的には、フレーム位相値とは、生成しようとするフレームの位置を示すものであり、生成しようとするフレームの前後の(画像メモリ１２１上に存在する)フレームに対する相対的な位置を表すものである。例えば、図５デ示されるように、既存の画像メモリ１２１に記憶されたフレームAとフレームBの間に新たにフレームxを生成する場合、フレームAが撮影された時刻を時刻tA、フレームBが撮影された時刻をtBとし、生成しようとするフレームの時刻をtx(tA ≦ tx ＜ tB)とすると、フレームxのフレーム位相値は（tx−tA）／（tB−tA）となる。
例えば、つまみ１７が操作されて、０．５倍速再生が指定された場合、フレーム位相情報発生装置１４３は、それまでのフレームレートを倍にすることで、滑らかな再生が可能となるので（通常のフレームレートと同程度のフレームレートで０．５倍速再生を実現できるので）、既知のフレームに対する生成されるフレームのフレーム位相値tは、０．５となる。
ステップＳ１３において、上述したステップＳ２と同様に、各種のパラメータである係数ph，pv，rh，rv，tが生成される。ただし、フレーム位相値tについては、ステップＳ１２において、計算された値が発生されることになる。
ステップＳ１４において、これから処理しようとするフレームが、画像メモリ１２１に記憶されている最終フレームであるか否かを判定し、最終フレームではないと判定された場合、その処理は、ステップＳ１５に進む。
ステップＳ１５において、上述したステップＳ４と同様に、係数種データから係数データが生成される。
ステップＳ１６において、フレーム選択回路１２２は、バッファメモリ１１３より供給されてくる画像信号を停止させて、画像メモリ１２１に記憶されている画像信号を読み出す。より詳細には、フレーム選択回路１２２は、上述した先頭フレームFSから終了フレームFEのいずれかを順次、画像処理のタイミングに併せて読み出す。
ステップＳ１７において、フレーム選択回路１２２は、１フレーム分の画素が処理されたか否かを判定し、１フレーム分の画素が処理されたと判定された場合、その処理は、ステップＳ１２に戻る。また、ステップＳ１７において、１フレーム分の画素が処理されていないと判定されていないと判定された場合、その処理は、ステップＳ１８に進む。
尚、ステップＳ１８乃至Ｓ２０の処理は、上述したステップＳ８乃至Ｓ１０と同様であるので、その説明は省略する。
ステップＳ１４において、最終フレームであると判定された場合、ステップＳ２１において、フレーム選択回路１２２は、ボタン１５が操作されることなく停止ボタンが解除されていないと判定された場合、その処理は、ステップＳ１１に戻る。すなわち、ボタン１５が操作されて、停止ボタンが解除されるまで、ステップＳ１２乃至Ｓ２０の処理が繰り返されて、つまみ１６ａ，１６ｂで設定された時刻間の、画像メモリ１２１に記憶されている画像信号が、つまみ１７で設定された再生速度で、繰り返し、再生されることになる。
そして、ステップＳ２１において、ボタン１５が再度操作されて、停止ボタンが解除されたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
以上の処理により、所望とするシーンの画像信号を、画像中の位置を中心として、所望の画質で、さらに、所望の再生速度でなめらかに表示することが可能となる。
次に、係数種データについて説明する。
上述したように、係数種データは、クラス毎に情報メモリバンク１３７に記憶されている。係数種データは、予め学習によって生成されたものである。
まず、この生成方法の一例について説明する。式（５）で示される生成式における係数データである係数種データｗ100乃至ｗn10を求める例を示すものとする。ここで、以下の説明のため、式（７）のように、Ti（ｉ＝00乃至10）を定義する。
T00＝１，T01＝pv，T02＝ph，T03＝rv，T04＝rh，T05＝t，T06＝（pv）2，T07＝（ph）2，T08＝（rv）2，T09＝（rh）2，T10＝（t）2
・・・（７）
この式（７）を用いると、式（５）は、式（８）のように書き換えられる。
Figure 0004310689
 ・・・（８）
最終的に、学習によって未定係数ｗjiが求められる。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値が決定される。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（４）および式（５）を用いて、Ｅは以下の式（９）で表される。ここで、ｘikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応する教師画像のｋ番目の画素データを表している。
Figure 0004310689
 ・・・（９）
最小二乗法による解法では、式（９）のｗjiによる偏微分方程式が０になるようなｗjiを求める。すなわち、以下で示す式（１０）のような偏微分方程式からWjiが求められる。
Figure 0004310689
 ・・・（１０）
以下、式（１１），式（１２）のように、Ｘipjq、Ｙipを定義すると、式（１０）は、行列を用いて式（１３）のように書き換えられる。
Figure 0004310689
 ・・・（１１）
Figure 0004310689
 ・・・（１２）
Figure 0004310689
 ・・・（１３）
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データが算出される。
図６は、上述した係数種データの生成方法の概念を示している。教師信号としての高速度撮影HD信号（1050i信号）と、生徒信号としてのSD信号（525i信号）との関係から、パラメータph，pv，rh，rv，tで表現される係数Wjの各係数Wjiが係数種データとして求められる。
図６においては、高速度撮影されたHD信号のフレーム位相値ｔ１乃至ｔ６の６段階について生徒画像が設定されている。すなわち、通常のフレームレートは、1/60（フレーム／秒）であるが、高速度撮影により、例えば、図７で示されるように、通常のフレームレートの6倍のフレームレートで撮影する。
そして、6フレーム毎に生徒信号を設定し、それ以外のフレームを教師信号とすることにより、図７の場合、生徒信号間のフレーム位相値tが1/6となる教師信号ｔ２、フレーム位相値が2/6となる教師信号ｔ３、フレーム位相値tが3/6となる教師信号ｔ４、フレーム位相値が4/6となる教師信号ｔ５、フレーム位相値tが5/6となる教師信号ｔ６のそれぞれの画素値データを用いることにより、フレーム位相値tを1/6間隔で係数種データを生成することができる。尚、フレーム位相値tが0/6となる生徒信号（図７中の生徒信号ｔ１に対応する）については、既存のフレームの画像処理に関するものであるので、フレーム位相値tが0/6の画像信号間で、生徒信号と教師信号に基づいて学習が行われる。
さらに、各フレーム位相値tについて、画質パラメータについては、例えば、図６中で示されるように、ノイズの低減レベルを示すパラメータrh（rh1乃至rh8）と鮮鋭度を示すrv（rv1乃至rv4）について合計３２種類の生徒信号が設定される。
また、図６においては、各画質パラメータ毎に、空間パラメータが水平方向のパラメータphと垂直方向のパラメータとしてpvがそれぞれ８段階と４段階設定されており、合計３２種類のSD信号が生成される。
図８は、525i信号と1050i信号の画素位置関係を示している。ここで、大きなドットが525i信号の画素であり、小さなドットが1050i信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
このSD信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、８×４＝３２種類のSD信号を生成する。図９は、垂直方向への８段階の位相シフト状態V1乃至V8を示している。ここでは、SD信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「o」は奇数フィールドを、「e」は偶数フィールドを表している。
V1の状態はSD信号のシフト量が0とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、４，０，−４，−８の位相を持つようになる。V2の状態はSD信号のシフト量が１とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、７，３，−１，−５の位相を持つようになる。V3の状態はSD信号のシフト量が２とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、６，２，−２，−６の位相を持つようになる。V4の状態はSD信号のシフト量が３とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、５，１，−３，−７の位相を持つようになる。
V5の状態はSD信号のシフト量が４とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、４，０，−４，−８の位相を持つようになる。V6の状態はSD信号のシフト量が５とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、７，３，−１，−５の位相を持つようになる。V7の状態はSD信号のシフト量が６とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、６，２，−２，−６の位相を持つようになる。V8の状態はSD信号のシフト量が７とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、５，１，−３，−７の位相を持つようになる。
図１０は、水平方向への４段階の位相シフト状態Ｈ１乃至Ｈ４を示している。ここでは、SD信号の水平方向の画素間隔は８であり、右方向が正の方向とされている。
H1の状態はSD信号のシフト量が０とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、０，−４の位相を持つようになる。H2の状態はSD信号のシフト量が１とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、３，−１の位相を持つようになる。H3の状態はSD信号のシフト量が２とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、２，−２の位相を持つようになる。さらに、H4の状態はSD信号のシフト量が３とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、１，−３の位相を持つようになる。
図１１は、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた３２種類のSD信号に関し、SD信号の画素を中心にした場合のHD信号の画素の位相を示している。すなわち、SD信号の画素に対して、HD信号の画素は、図中の黒丸印で示す位相を持つようになる。
図６に戻って、上述したようにフレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号とHD信号との間で学習が行われることにより、係数種データが生成される。
図１２は、図６を参照して説明した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。この係数種データ生成装置１５０のSD信号生成回路１５２は、教師信号としての高速度撮影HD信号（1050i信号）が入力端子１５１に入力されると、この高速度撮影HD信号に対して水平および垂直の間引き処理を行って、入力信号としてのSD信号を生成し、空間位相シフト回路１５３に供給する。
空間位相シフト回路１５３は、垂直方向および水平方向への位相シフト値を指定するパラメータph，pvを変化させて、SD信号生成回路１５２より供給されるSD信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、合計３２種類のSD信号を生成し、ノイズ鮮鋭度シフト回路１５４に供給すると共に、そのパラメータph，pvを正規方程式生成部１６２に供給する。尚、空間位相シフト回路１５３は、例えばsinｘ／ｘの特性のフィルタで構成するようにしてもよいし、その他の位相シフトが可能な別のフィルタを用いてもよい。さらに、他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。
ノイズ鮮鋭度シフト回路１５４は、画質を改善させる強度であるノイズ低減レベル、および、鮮鋭度のレベルのシフト値を指定するパラメータrh，rvを変化させて、空間位相シフト回路１５３より供給されるSD信号の鮮鋭度のレベルのシフト値を指定するパラメータrvに８段階、ノイズ低減レベルのパラメータrhを４段階にシフトさせて、合計３２種類のSD信号を生成し、第１乃至第３のタップ選択回路１５５乃至１５７に供給すると共に、そのパラメータrh，rvを正規方程式生成部１６２に供給する。より詳細には、ノイズ鮮鋭度シフト回路１５４は、ノイズのレベルのパラメータrhに応じて、空間位相シフト回路１５３より供給されるSD信号に４段階のレベルのノイズを付加すると共に、鮮鋭度のレベルを示すパラメータrvに応じて８段階の強度でLPF（Low Pass Filter）処理を施し、鮮鋭度を変化させる。
第１乃至第３のタップ選択回路１５５乃至１５７は、空間位相シフト回路１５３より出力される３２種類のSD信号より、HD信号（1050i信号）に係る注目画素の周辺に位置する複数のSD画素のデータを選択的に取り出して、それぞれ、正規方程式生成部１６２、空間クラス検出回路１５９、および、動きクラス検出回路１６０に出力する。
尚、これら第１乃至第３のタップ選択回路１５５乃至１５７は、上述した信号処理部１２０の第１乃至第３のタップ選択回路１２３乃至１２５と同様のものである。これら第１乃至第３のタップ選択回路１５７乃至１５７で選択されるタップは、タップ選択制御回路１５８からのタップ位置情報によって指定される。
タップ選択制御回路１５８は、フレーム位相値ｔを変化させながら対応するフレームよりタップを抽出するように、第１乃至第３のタップ選択回路１５５乃至１５７を制御すると共に、後述する動きクラス検出回路１６０より出力される動きクラスのクラス情報MVに基づいて、第３のタップ選択回路１５７で選択されるタップ位置情報が動きが大きいか小さいかによって異なるタップを選択させるように第２のタップ選択回路１５６を制御する。
空間クラス検出回路１５９は、第２のタップ選択回路１５６で選択的に取り出される空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報をクラス合成回路１６１に出力する。この空間クラス検出回路１５９は、上述した信号処理部１２０の空間クラス検出回路１２６と同様のものである。この空間クラス検出回路１５９からは、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードQiが空間クラスを示すクラス情報として出力される。
動きクラス検出回路１６０は、第３のタップ選択回路１５７で選択的に取り出される動きクラスタップのデータ（SD画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出回路１６０は、上述した信号処理部１２０の動きクラス検出回路１２７と同様に構成される。この動きクラス検出回路１６０では、第３のタップ選択回路１５７で選択的に取り出される動きクラスタップのデータ（SD画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対して閾値処理が行われて動きの指標である動きクラスが検出される。
クラス合成回路１６１は、空間クラス検出回路１５９より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路１６０より出力される動きクラスのクラス情報MVに基づき、HD信号（1050i信号）に係る注目画素が属するクラスを示すクラスコードCLを生成して正規方程式生成部１６２に出力する。このクラス合成回路１６１も、上述した信号処理部１２０のクラス合成回路１２８と同様のものである。
正規方程式生成部１６２は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLと、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phとから、各クラス毎に、係数種データｗ100乃至ｗn10を得るための、上述した式（１３）で示される正規方程式を生成する。
この場合、一個のHD画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、空間位相シフト回路１５３へのパラメータph，pvが順次変更されていって水平および垂直の位相シフト値が段階的に変化した３２種類のSD信号が順次生成されていき、さらに、ノイズ鮮鋭度シフト回路１５４へのパラメータrh，rvが順次変更されていってノイズ、および、鮮鋭度のシフト値が段階に変化した３２種類のSD信号が順次生成される。さらに、タップ選択制御回路１５８へのパラメータであるフレーム位相値tが順次変更されて、フレーム位相値について6段階に変化して6種類のフレーム位相値に対応したタップを抽出するように、第１乃至第３のタップ選択回路１５５乃至１５７が制御される。
これにより正規方程式生成部１６２は、多くの学習データが登録された正規方程式が生成され、SD信号を順次生成して学習データを登録することで、任意の空間位相、ノイズ鮮鋭度、および、フレーム位相値の画素データを得るための係数種データを求めることが可能となる。
なお、図示せずも、第１のタップ選択回路１５５の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５５から正規方程式生成部１６２に供給されるSD画素データxiのタイミング合わせを行うことができる。
係数種データ決定部１６３は、正規方程式生成部１６２により供給されるクラス毎に生成された正規方程式をクラス毎に解いて、各クラスの係数種データｗ100乃至ｗn10を求め、係数種メモリ１６４に、求めた係数種データｗ100乃至ｗn10を記憶させる。係数種データ決定部１６３は、正規方程式を、例えば掃き出し法などにより係数データｗ100乃至ｗn10を求める。
次に、図１３のフローチャートを参照して、図１２に示す係数種データ生成装置１５０の動作を説明する。
ステップＳ３１において、タップ選択制御回路１５８は、フレーム位相値tを選択する。すなわち、図６の例においては、フレーム位相値tは、6段階に変化させるため、未処理のフレーム位相値が選択される。
ステップＳ３２において、ノイズ鮮鋭度シフト回路１５４は、ノイズ鮮鋭度シフト値である、ノイズの低減レベルのパラメータrhおよび鮮鋭度のレベルを示すパラメータrvの値の３２種類の組み合わせの中から未処理の組み合わせを選択する。
ステップＳ３３において、空間位相シフト回路１５３は、空間位相の水平方向のパラメータであるph、および、垂直方向のパラメータであるpvの値の３２種類の組み合わせの中から未処理の組み合わせを選択する。
ステップＳ３４において、空間位相シフト回路１５３は、空間位相シフト値のパラメータph，pvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップＳ３５に進む。
ステップＳ３５において、SD信号生成回路１５２および正規方程式生成部１６２は、既知のHD画素データの入力を受け付ける。
ステップＳ３６において、SD信号生成回路１５２は、空間パラメータの１つの組み合わせについての全HD画素データを処理したか否かを判定し、空間パラメータの１つの組み合わせについての全HD画素データの処理が終了していないと判定した場合、その処理は、ステップＳ３７に進み、空間パラメータの１つの組み合わせの全HD画素データについて処理が終了したと判定されると、その処理は、ステップＳ３３に戻る。
ステップＳ３７において、HD信号からSD信号が生成され、さらに、空間パラメータ、および、画質パラメータに基づいた処理が施される。
より詳細には、SD信号生成回路１５２は、入力端子１５１より供給された教師信号としての高速度撮影HD信号（1050i信号）に対して水平および垂直各画素に対して、間引き処理を実行して生徒信号としてSD信号（525i信号）を生成し、空間位相シフト回路１５３に供給する。
また、空間位相シフト回路１５３は、ステップＳ３３の処理で選択された、空間パラメータph，pvに基づいて、このSD信号の位相を垂直方向に８段階、および、水平方向に４段階の、すなわち、３２種類のいずれかに対応するSD信号を生成する。
さらに、ノイズ鮮鋭度シフト回路１５４は、ステップＳ３２の処理で選択された、画質パラメータrh，rvに基づいて、このSD信号のノイズ低減レベルについて８段階、および、鮮鋭度のレベルについて４段階の、すなわち、３２種類のいずれかのSD信号を生成する。
すなわち、空間位相シフト回路１５３、および、ノイズ鮮鋭度シフト回路１５４により、１０２４種類のSD信号が生成されることになる。
ステップＳ３８において、空間クラス、または、動きクラスを求めるために必要な画素の画素値を取得する、すなわち、空間クラスタップとなる画素の画素値と、動きクラスタップとなる画素の画素値が取得される。
より詳細には、第２のタップ選択回路１５６は、ノイズ鮮鋭度シフト回路１５４より供給される、1024種類のうちのいずれかのSD信号より、HD信号に係る注目画素の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。すなわち、第２のタップ選択回路１５６は、タップ選択制御回路１５８より供給される、動きクラス検出回路１６０で検出される動きクラスに対応したタップ位置情報に基づいて、タップを選択し、選択されたタップに対応する画素の画素値を空間クラス検出回路１５９に供給する。
ステップＳ３９において、係数種データ決定部１６３は、入力された１フレーム分の学習が終了したか否かを判定し、例えば、まだ、１フレーム分の学習が終了していないと判定した場合、その処理は、ステップＳ４０に進む。
ステップＳ４０において、クラスコードCLが生成される。
より詳細には、空間クラス検出回路１５９が、空間クラスタップのSD画素データに対してADRC符号化処理を実行し、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードQiを式（１）を演算することにより求める。
また、第３のタップ選択回路１５７は、タップ選択制御回路１５８より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路１５４より供給される1024種類のSD信号より、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ（SD画素データ）を選択的に取り出し、動きクラス検出回路１６０に供給する。
動きクラス検出回路１６０は、動きクラスタップのデータとしての各SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを計算する。
さらに、クラス合成回路１６１は、この動き情報MVと上述した再量子化コードQiとから、HD信号に係る注目画素が属するクラスを示すクラスコードCLを、上述した式（３）を演算することにより求める。
ステップＳ４１において、クラスを示すクラスコードCLに基づいて、正規方程式が生成され、その処理は、ステップＳ３８に戻る。
より詳細には、第１のタップ選択回路１５５は、タップ選択制御回路１５８より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路１５４より供給されるSD信号より、HD信号に係る注目画素の周辺に位置する予測タップのデータ（SD画素データ）を選択的に取り出し、正規方程式生成部１６２に供給する。
正規方程式生成部１６２は、入力端子１５１に供給される高速度撮影HD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出された予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、各クラス毎に、係数種データｗ100乃至ｗn10を生成するために、上述した式（１３）で示される正規方程式を生成する。
そして、ステップＳ３９において、１フレーム分の学習が終了したと判定されるまで、ステップＳ３８乃至Ｓ４１の処理が繰り返され、ステップＳ３９において、入力された１フレーム分の学習が終了したと判定された場合、その処理は、ステップＳ３５に戻り、新たなフレームについて既知のHD画素データが入力される。
ステップＳ３４において、空間位相シフト回路１５３は、空間位相シフト値のパラメータph，pvの全ての組み合わせについて処理が終了したと判定された場合、その処理は、ステップＳ４２に進む。
ステップＳ４２において、ノイズ鮮鋭度シフト回路１５２は、ノイズ鮮鋭度シフト値のパラメータrh，rvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップＳ３２に戻り、未処理のノイズ鮮鋭度シフト値のパラメータrh，rvについて処理が繰り返される。そして、ステップＳ４２において、全ての組み合わせについて処理が終了していると判定された場合、その処理は、ステップＳ４３に進む。
ステップＳ４３において、タップ選択制御回路１５８は、フレーム位相値tの全てについて処理が終了したか否かを判定し、例えば、全てのフレーム位相値tについて処理が終了していないと判定された場合、その処理は、ステップＳ３１に戻り、未処理のフレーム位相値tについて処理が繰り返される。そして、ステップＳ４３において、全てのフレーム位相値tについて処理が終了していると判定された場合、その処理は、ステップＳ４４に進む。
すなわち、以上の処理により、全てのフレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および水平方向phに対応する正規方程式が生成されることになる。
ステップＳ４４において、係数種データ決定部１６３は、係数種データを求め、ステップＳ４５において、係数種メモリ１６４に、その係数種データを記憶させる。
より詳細には、係数種データ決定部１６３は、以上の処理により生成された正規方程式を解いて、各クラス毎の係数種データｗ100乃至ｗn10を求め、その係数種データｗ100乃至ｗn10をクラス別にアドレス分割された係数種メモリ１６４に記憶される。
以上の処理により、図１２で示される係数種データ生成装置１５０は、図２の信号処理部１２０の情報メモリバンク１３７に記憶される各クラスの係数種データｗ100乃至ｗn10を生成する。
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式（５）の生成式における係数データである係数種データｗ100乃至ｗn10を求める例を示すものとする。
図１４は、この例の概念を示している。上述した係数種データの生成方法の一例と同様に、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phによってフレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号を順次生成する。そして、各SD信号とHD信号との間で学習を行い、式（４）の推定式の係数データWiを生成する。そして、各SD信号に対応して生成された係数データWiを使用して係数種データを生成する。
まず、推定式の係数データの求め方を説明する。ここでは、式（４）の推定式の係数データWi(ｉ＝１乃至ｎ)を最小二乗法により求める例を示すものとする。一般化した例として、Xを入力データ、Wを係数データ、Yを予測値として、以下のように示す式（１４）の観測方程式を考える。この式（１４）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
Figure 0004310689
 ・・・（１４）
式（１４）の観測方程式により収集されたデータに最小二乗法を適用する。この式（１４）の観測方程式をもとに、式（１５）の残差方程式を考える。
Figure 0004310689
 ・・・（１５）
式（１５）の残差方程式から、各Ｗiの最確値は、式（１６）のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、式（１７）の条件を考慮すればよいことになる。
Figure 0004310689
 ・・・（１６）
Figure 0004310689
 ・・・（１７）
つまり、式（１７）のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、式（１７）の残差方程式から、式（１８）が得られる。さらに、式（１８）と式（１４）とから、式（１９）が得られる。
Figure 0004310689
 ・・・（１８）
Figure 0004310689
 ・・・（１９）
そして、式（１５）と式（１９）とから、式（２０）の正規方程式が得られる。
Figure 0004310689
 ・・・（２０）
式（２０）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
次に、各SD信号に対応して生成された係数データを使用しての係数種データの求め方を説明する。パラメータph，pv，rh，rv，tに対応したSD信号を用いた学習による、あるクラスの係数データが、ｋ(ph)(pv)(rh)(rv)(t)iとなったとする。ここで、ｉは予測タップの番号である。このｋ(ph)(pv)(rh)(rv)(t)iから、このクラスの係数種データを求める。
各係数データＷi（ｉ＝１乃至ｎ）は、係数種データｗ100乃至ｗn10を使って、上述した式（５）で表現される。ここで、係数データＷiに対して最小二乗法を使用することを考えると、残差は、以下の式（２１）で示される。
Figure 0004310689
 ・・・（２１）
ここで、ｔjは、上述の式（７）に示されている。式（２１）に最小二乗法を作用させると、式（２２）が得られる。
Figure 0004310689
 ・・・（２２）
ここで、Ｘjk，Ｙjをそれぞれ式（２３）、式（２４）のように定義すると、式（２２）は式（２５）のように書き換えられる。この式（２５）も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ100乃至ｗn10を算出することができる。
Figure 0004310689
 ・・・（２３）
Figure 0004310689
 ・・・（２４）
Figure 0004310689
 ・・・（２５）
図１５は、図１４に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０の構成を示している。この図１５において、図１２と対応する部分には同一の番号を付しており、その説明は適宜省略するものとする。
正規方程式生成部１７１は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLとから、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための上述の式（２０）で示される正規方程式を生成する。
この場合、一個のHD画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、フレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号が順次生成されていき、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１は、各SD信号のそれぞれ対応して、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための正規方程式を生成し、係数データ決定部１７２に供給する。
係数データ決定部１７２は、正規方程式生成部１７１より供給された正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求め、正規方程式生成部１７３に供給する。正規方程式生成部１７３は、係数データ決定部１７２より供給される各SD信号に対応した各クラスの係数データWiを使用して、クラス毎に、係数種データｗ100乃至ｗn10を得るための上述した式（２５）で示される正規方程式を生成し、係数種データ決定部１７４に供給する。
係数種データ決定部１７４は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのパラメータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ100乃至ｗn10を求め、この求められた係数種データｗ100乃至ｗn10を係数種メモリ１７５に記憶させる。
次に、図１６のフローチャートを参照して、図１５に示す係数種データ生成装置１５０による学習処理について説明する。尚、図１６のフローチャートにおけるステップＳ６１乃至Ｓ６６，Ｓ６８乃至Ｓ７１，Ｓ７３、および、Ｓ７４の処理は、図１３のフローチャートにおけるステップＳ３１乃至Ｓ４０，Ｓ４２、および、Ｓ４３の処理と同様であるので、その説明は省略する。
ステップＳ７２において、正規方程式生成部１７１は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLとから、ノイズ鮮鋭度シフト回路１５４で生成される各SD信号のそれぞれ対応して、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための上述した式（２０）である単独の正規方程式を生成する。
ステップＳ６７において、係数データ決定部１７２は、１つの空間位相シフト値であるパラメータpv，phの組み合わせについて、ステップＳ７２の処理により生成された単独の正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求める。
ステップＳ７５において、正規方程式生成部１７３は、各SD信号にそれぞれ対応した各クラスの係数データWiと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、クラス毎に、係数種データｗ100乃至ｗn10を得るための上述した式（２５）の正規方程式を生成する。
ステップＳ７６において、係数種データ決定部１７４は、ステップＳ７５の処理により生成された正規方程式を解いて、各クラスの係数種データｗ100乃至ｗn10を求め、ステップＳ７７において、その係数種データｗ100乃至ｗn10をクラス別にアドレス分割された係数種メモリ１７５に記憶させる。
このように、図１５に示す係数種データ生成装置１５０においても、図２の信号処理部１２０の情報メモリバンク１３７に記憶される各クラスの係数種データｗ100乃至ｗn10を生成することができる。
なお、図１の信号処理部１２０では、係数データWi（ｉ＝１乃至ｎ）を生成するために式（５）の生成式を使用したが、例えば、式（２６），式（２７）などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
Figure 0004310689
 ・・・（２６）
Figure 0004310689
 ・・・（２７）
なお、以上においては、HD信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
また、以上においては、クラスコードCLを検出し、推定予測演算ではこのクラスコードに応じた係数データWiを使用するものを示したが、クラスコードCLの検出部分を省略したものも考えられる。その場合には、情報メモリバンク１３７に格納される係数種データは１種類のみとなる。
さらに、上述実施の形態においては、信号処理部１２０より出力される出力画像信号Ｖoutをディスプレイ２に供給して、その出力画像信号Ｖoutによる画像を表示するものを示したが、この出力画像信号Ｖoutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路１３１の部分で、記録に最適なデータ構造となるように処理してもよい。
また、以上においては、入力画像信号Ｖinとしての525i信号を、出力画像信号Ｖoutとしての1080i信号、XGA信号、あるいは倍率の異なる表示画像を得るための525i信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
さらに、井尾受においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
本発明によれば、第１の情報信号を第２の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第２の情報信号に係る注目点の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求め、かつ、再生速度を変化させても、対応するフレーム位相値に基づいて、新たにフレームを生成するようにしたので、再生速度を変化させながら、種々のフォーマットまたはサイズへの変換を行って画像を表示するようにしても、滑らかな画像を表示させることが可能になると共に、このような処理において、大量の係数データを係数種データとして格納しておくことができ、係数メモリの容量を節約することできるので、装置全体を安価に構成することが可能となる。
また、本発明によれば、係数種データを用いて生成された推定式の係数データの総和を求め、推定式を用いて生成された注目点の情報データをその総和で除算して正規化するものであり、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
さらに、本発明によれば、注目したいシーンの前後の動画像を注目したい位置を中心として拡大し、さらに、画質を高画質化すると共に、任意の再生速度で再生しても、滑らかな動画像になるようにすることが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図１７は、図２の信号処理部１２０、または、図１２，図１５の係数種データ生成装置１５０の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してROM(Read Only Memory) ２０２に格納されているプログラムを実行する。あるいはまた、CPU２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。これにより、上述した図２の信号処理部１２０、または、図１２，図１５の係数種データ生成装置１５０の機能が、ソフトウェアにより実現されている。さらに、CPU２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図１７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク２２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明を適用した画像処理システムの位置実施の形態の構成を示す図である。 図１のシステムコントローラに内蔵される信号処理部の構成を示すブロック図である。 SD信号（525i信号）とHD信号（1080i信号）との位相関係を示す図である。 図２の信号処理部による画像処理を説明するフローチャートである。 フレーム位相値を説明する図である。 係数種データの生成方法の一例の概念を示す図である。 フレーム位相値に基づいた係数種データの生成方法の一例の概念を示す図である。 525i信号（SD信号）と1050i信号（HD信号）の画素位置関係を示す図である。 垂直方向への８段階の位相シフトを説明するための図である。 水平方向への４段階の位相シフトを説明するための図である。 SD信号（525i信号）とHD信号（1050i信号）との位相関係を示す図である。 係数種データ生成装置の構成例を示すブロック図である。 図１２の係数種データ生成装置による学習処理を説明するフローチャートである。 係数種データの生成方法の他の例の概念を示す図である。 係数種データ生成装置の他の構成例を示すブロック図である。 図１５の係数種データ生成装置による学習処理を説明するフローチャートである。 記録媒体を説明する図である。
符号の説明
１ テレビジョン信号受信機， ２ ディスプレイ， ３ システムコントローラ， １２１ 画像メモリ， １２２ フレーム選択回路， １２３ 第１のタップ選択回路， １２４ 第２のタップ選択回路， １２５ 第３のタップ選択回路， １２６ 空間クラス検出回路， １２７ 動きクラス検出回路， １２８ クラス合成回路， １２９ 推定予測演算回路， １３０ 正規化演算回路， １３１ 後処理回路， １３２乃至１３５ レジスタ， １３６ 係数メモリ， １３７ 情報メモリバンク， １３８ 係数生成回路， １３９ 正規化係数生成回路， １４０ 正規化係数メモリ， １４１ 位相情報発生回路， １５０ 係数種データ生成装置， １５１ 入力端子， １５２ SD信号生成回路， １５３ 空間位相シフト回路， １５４ ノイズ鮮鋭度シフト回路， １５５ 第１のタップ選択回路， １５６ 第２のタップ選択回路， １５７ 第３のタップ選択回路， １５８ タップ選択制御回路， １５９ 空間クラス検出回路， １６０ 動きクラス検出回路， １６１ クラス合成回路， １６２ 正規方程式生成部， １６３ 係数種データ決定部， １６４ 係数種メモリ， １７１ 正規方程式生成部， １７２ 係数データ決定部， １７３ 正規方程式生成部， １７４ 係数種データ決定部， １７５ 係数種メモリ

Claims (7)

  1. 所定の再生速度の第１の画像信号を高解像度化または拡大するとともに高画質化し、前記再生速度とは異なる再生速度で再生される第２の画像信号に変換する信号処理装置において、
    入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納手段と、
    前記格納手段に格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定手段と、
    前記再生速度に基づいて前記第１の画像信号のフレーム間に生成すべき前記第２の画像信号のフレームの、前記第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算手段と、
    前記第２の画像信号を構成する各画素について、前記第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定手段と、
    前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定手段と、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、前記第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段と、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、前記クラス分類手段において得られた前記クラスのタップ係数との積和演算を行うことにより、前記第２の画像信号を求める演算手段と
    を備え、
    前記タップ係数は、
    高速度撮影された高解像度の画像信号から、前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、
    前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号から前記クラスタップが選択され、
    前記クラスタップのレベル分布に応じたクラス分類が行われ、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータごとに、クラス毎の正規方程式が生成され、
    前記正規方程式が解かれることにより予め求められたものである
    ことを特徴とする信号処理装置。
  2. 前記格納手段に格納された前記第１の画像信号のうちの、前記第２の画像信号に変換するフレームの範囲を設定する範囲設定手段をさらに備える
    ことを特徴とする請求項１に記載の信号処理装置。
  3. 前記空間位相値は、水平方向の空間位相値、および、垂直方向の空間位相値を含み、前
    記空間パラメータは、前記水平方向の空間位相値に対応する水平空間位相パラメータと、
    前記垂直方向の垂直空間位相パラメータとを含む
    ことを特徴とする請求項１に記載の信号処理装置。
  4. 前記画質は、鮮鋭度レベルとノイズレベルを含み、前記画質パラメータは、前記鮮鋭度
    レベルに対応する鮮鋭度パラメータと、前記ノイズレベルに対応するノイズパラメータと
    を含む
    ことを特徴とする請求項１に記載の信号処理装置。
  5. 所定の再生速度の第１の画像信号を高解像度化または拡大するとともに高画質化し、前記再生速度とは異なる再生速度で再生される第２の画像信号に変換する信号処理装置の信号処理方法において、
    入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
    前記格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、
    前記再生速度に基づいて前記第１の画像信号のフレーム間に生成すべき前記第２の画像信号のフレームの、前記第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、
    前記第２の画像信号を構成する各画素について、前記第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、
    前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、前記第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、前記クラス分類ステップにおいて得られた前記クラスのタップ係数との積和演算を行うことにより、前記第２の画像信号を求める演算ステップと
    を含み、
    前記タップ係数は、
    高速度撮影された高解像度の画像信号から、前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、
    前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号から前記クラスタップが選択され、
    前記クラスタップのレベル分布に応じたクラス分類が行われ、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータごとに、クラス毎の正規方程式が生成され、
    前記正規方程式が解かれることにより予め求められたものである
    ことを特徴とする信号処理方法。
  6. 所定の再生速度の第１の画像信号を高解像度化または拡大するとともに高画質化し、前記再生速度とは異なる再生速度で再生される第２の画像信号に変換する信号処理装置を制御するプログラムであって、
    入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
    前記格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、
    前記再生速度に基づいて前記第１の画像信号のフレーム間に生成すべき前記第２の画像信号のフレームの、前記第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、
    前記第２の画像信号を構成する各画素について、前記第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、
    前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、前記第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学
    習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、前記クラス分類ステップにおいて得られた前記クラスのタップ係数との積和演算を行うことにより、前記第２の画像信号を求める演算ステップと
    を含み、
    前記タップ係数は、
    高速度撮影された高解像度の画像信号から、前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、
    前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号から前記クラスタップが選択され、
    前記クラスタップのレベル分布に応じたクラス分類が行われ、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータごとに、クラス毎の正規方程式が生成され、
    前記正規方程式が解かれることにより予め求められたものである
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  7. 所定の再生速度の第１の画像信号を高解像度化または拡大するとともに高画質化し、前記再生速度とは異なる再生速度で再生される第２の画像信号に変換する信号処理装置を制御するコンピュータに、
    入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
    前記格納ステップの処理で格納された第１の画像信号の再生速度に対する第２の画像信号の再生速度を設定する再生速度設定ステップと、
    前記再生速度に基づいて前記第１の画像信号のフレーム間に生成すべき前記第２の画像信号のフレームの、前記第１の画像信号のフレームに対するズレ量を示すフレーム位相値を計算するフレーム位相値計算ステップと、
    前記第２の画像信号を構成する各画素について、前記第１の画像信号を構成する各画素のうちの最も近い画素までの距離を、空間パラメータとして設定する空間パラメータ設定ステップと、
    前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素であるクラスタップのレベル分布に応じて、前記第２の画像信号の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学
    習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
    前記第１の画像信号を構成する各画素のうちの、前記第２の画像信号の注目画素の周辺に位置する複数の画素である予測タップと、前記クラス分類ステップにおいて得られた前記クラスのタップ係数との積和演算を行うことにより、前記第２の画像信号を求める演算ステップと
    を実行させるプログラムであって、
    前記タップ係数は、
    高速度撮影された高解像度の画像信号から、前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号が生成され、
    前記所定の再生速度の標準解像度にされるとともに低画質化された画像信号から前記クラスタップが選択され、
    前記クラスタップのレベル分布に応じたクラス分類が行われ、
    前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータごとに、クラス毎の正規方程式が生成され、
    前記正規方程式が解かれることにより予め求められたものである
    ことを特徴とするプログラム。
JP2003397191A 2003-11-27 2003-11-27 信号処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4310689B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003397191A JP4310689B2 (ja) 2003-11-27 2003-11-27 信号処理装置および方法、記録媒体、並びにプログラム
US10/995,666 US7483079B2 (en) 2003-11-27 2004-11-23 Signal processing apparatus, signal processing method, storage medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003397191A JP4310689B2 (ja) 2003-11-27 2003-11-27 信号処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005159830A JP2005159830A (ja) 2005-06-16
JP4310689B2 true JP4310689B2 (ja) 2009-08-12

Family

ID=34674822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003397191A Expired - Fee Related JP4310689B2 (ja) 2003-11-27 2003-11-27 信号処理装置および方法、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US7483079B2 (ja)
JP (1) JP4310689B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724984B1 (ko) * 2005-06-16 2007-06-04 삼성전자주식회사 디지털 멀티미디어 방송을 다양한 방식으로 재생하는 방법및 그에 따른 디지털 멀티미디어 방송 수신장치
JP4510749B2 (ja) * 2005-11-16 2010-07-28 Ｋｄｄｉ株式会社 ショット境界検出装置
EP1958460B1 (en) * 2005-12-06 2014-04-23 March Networks Corporation System and method for automatic camera health monitoring
KR101407634B1 (ko) * 2007-09-20 2014-06-13 삼성전자주식회사 다중 채널의 영상을 동시에 재생하는 장치 및 방법
JP4835949B2 (ja) * 2007-12-21 2011-12-14 ソニー株式会社 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP5131534B2 (ja) * 2008-03-28 2013-01-30 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5661313B2 (ja) * 2010-03-30 2015-01-28 キヤノン株式会社 記憶装置
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
TW201923776A (zh) * 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694484A (en) * 1995-05-15 1997-12-02 Polaroid Corporation System and method for automatically processing image data to provide images of optimal perceptual quality
US5933537A (en) * 1996-07-29 1999-08-03 Polaroid Corporation Method and apparatus for conversion of frequency-coefficient matrices
US6763136B1 (en) * 2000-09-19 2004-07-13 Bae Systems Mission Solutions, Inc. Method and apparatus for determining spectral similarity

Also Published As

Publication number Publication date
US7483079B2 (en) 2009-01-27
JP2005159830A (ja) 2005-06-16
US20050134942A1 (en) 2005-06-23

Similar Documents

Publication Publication Date Title
US20050226529A1 (en) Signal processing apparatus and method, and command-sequence data structure
CN100359940C (zh) 信息信号处理装置和信息信号处理方法
JP4277446B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
WO2004055775A1 (ja) 画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP4310689B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
US7602442B2 (en) Apparatus and method for processing information signal
JP4691812B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
KR101089853B1 (ko) 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체
JP4691835B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体
JP2001238185A (ja) 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
JP4311166B2 (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4803279B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP2000092455A (ja) 画像情報変換装置および画像情報変換方法
JP4457276B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP4441860B2 (ja) 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP4349086B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4310691B2 (ja) 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP2005236634A (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP4692800B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP4193236B2 (ja) 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機
JP4329453B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP2006020347A (ja) 係数生成装置および方法
JP2000092454A (ja) 画像情報変換装置および画像情報変換方法
JP2001203986A (ja) データ処理装置およびデータ処理方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090429

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees