JP4512978B2 - 画像処理装置および画像処理方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および画像処理方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4512978B2
JP4512978B2 JP2004042905A JP2004042905A JP4512978B2 JP 4512978 B2 JP4512978 B2 JP 4512978B2 JP 2004042905 A JP2004042905 A JP 2004042905A JP 2004042905 A JP2004042905 A JP 2004042905A JP 4512978 B2 JP4512978 B2 JP 4512978B2
Authority
JP
Japan
Prior art keywords
image
frame
tap
class
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004042905A
Other languages
English (en)
Other versions
JP2005236634A (ja
Inventor
泰宏 湯川
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004042905A priority Critical patent/JP4512978B2/ja
Publication of JP2005236634A publication Critical patent/JP2005236634A/ja
Application granted granted Critical
Publication of JP4512978B2 publication Critical patent/JP4512978B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、例えば、テレビジョン受像機において、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにする画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。
従来のテレビジョン受像機には、ユーザが多数のチャンネルの中から、所望のチャンネルを選択することを支援するために、複数のチャンネルをマルチ画面で表示する機能を備えるものがある（例えば、特許文献１および２参照）。
特開2001-333346号公報。 特開平07-067061号公報。
特許文献１に記載の方法では、１つのチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献１に記載の方法では、１つのチューナで、複数チャンネルの画像を順次受信するため、複数のチャンネルの画像それぞれは、コマ落ちしたものとなり、その結果、マルチ画面において、各チャンネルの画像は、動きの粗い、見にくいものとなる。
一方、特許文献２に記載の方法では、複数のチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献２に記載の方法では、複数のチューナで、複数チャンネルの画像を受信するため、マルチ画面において、各チャンネルの画像は、動きの滑らかなものとなる。しかしながら、特許文献２に記載の方法では、マルチ画面で表示する画像のチャンネル数だけのチューナが必要となり、装置が大規模化することになる。
そして、今後、ますます多チャンネル化が進むことを考えると、少ないチューナの数、即ち、究極には、１つのチューナで、動きの滑らかなマルチ画面を表示する技術に対する要請は高い。
本発明は、このような状況に鑑みてなされたものであり、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにするものである。
本発明の一側面の画像処理装置、プログラム、又は、記録媒体は、伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理装置において、入力画像を取得する取得手段と、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとの動作モードの切り替えの制御を行う制御手段とを備え、前記フィールド／フレーム生成手段は、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段とを有し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記動作モードが、前記マルチ画面モードである場合、前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、前記動作モードが、前記通常画面モードである場合、前記取得手段は、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する画像処理装置、そのような画像処理装置として、コンピュータを機能させるためのプログラム、又は、そのようなプログラムが記録されている記録媒体である。
本発明の一側面の画像処理方法は、伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理方法において、入力画像を取得する取得ステップと、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとの動作モードの切り替えの制御を行う制御ステップとを備え、前記フィールド／フレーム生成ステップは、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択ステップと、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択ステップと、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算を行う演算ステップとを有し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記動作モードが、前記マルチ画面モードである場合、前記取得ステップは、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、前記動作モードが、前記通常画面モードである場合、前記取得ステップは、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する画像処理方法である。
本発明の一側面においては、入力画像が取得され、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームが生成される。そして、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームが生成される。
また、動作モードとして、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとがある。
さらに、前記出力画像のフィールドまたはフレームの生成では、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップが、前記入力画像の画素から選択され、前記クラスタップに基づいて、前記注目画素がクラス分類される。そして、学習処理により求められたタップ係数との演算に用いる予測タップが、前記入力画像の画素から選択され、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算が行われる。
この場合に、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶している。前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものになっている。
そして、前記動作モードが、前記マルチ画面モードである場合、複数のチャンネルの伝送信号が時分割で受信されることにより、その複数のチャンネルの画像が、前記複数系統の入力画像として取得されて出力され、前記マルチ画面モード用のタップ係数が、前記演算手段に供給される。一方、前記動作モードが、前記通常画面モードである場合、１つのチャンネルの伝送信号が受信されることにより、その１つのチャンネルの画像が、前記入力画像として取得されて出力され、前記通常画面モード用のタップ係数が、前記演算手段に供給される。
本発明によれば、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることが可能となる。
以下、図面を参照して、発明の実施の形態を説明する。
図１は、本発明を適用したテレビジョン受像機１０１の一実施の形態の構成例を示している。
テレビジョン受像機１０１には、アンテナ１０２が接続されている。アンテナ１０２は、図示せぬ放送局から送信されてくる放送波（電波）としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機１０１に供給する。テレビジョン受像機１０１は、アンテナ１０１からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組を、リモコン（リモートコマンダ）１０３からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。
即ち、テレビジョン受像機１０１は、１つのチューナ部１１１を有しており、アンテナ１０１からの伝送信号は、チューナ部１１１に供給される。チューナ部１１１は、アンテナ１０１からの伝送信号を受信し、システムコントローラ１１８の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像（データ）および音声（データ）を選局することにより取得する。
さらに、チューナ部１１１は、選局したチャンネルの音声を、増幅回路１１２に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部１１４，１１５，１１６に、それぞれ供給する。
増幅部１１２は、チューナ部１１１からの音声を増幅し、スピーカ１１３に供給する。スピーカ１１３は、増幅部１１２からの音声を出力する。
信号処理部１１４乃至１１６は、システムコントローラ１１８からの制御にしたがい、チューナ部１１１からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ１１７に供給する。ディスプレイ１１７は、信号処理部１１４乃至１１６それぞれから供給されるＲ，Ｇ，Ｂ信号に対応した画像を表示する。
システムコントローラ１１８は、リモコン受信部１１９から供給される操作信号にしたがって、チューナ部１１１および信号処理部１１４乃至１１６に制御信号を供給することにより、チューナ部１１１および信号処理部１１４乃至１１６を制御する。
リモコン受信部１１９は、ユーザがリモコン１０３を操作することにより、リモコン０１３から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ１１８に供給する。
以上のように構成されるテレビジョン受像機１０１では、チューナ部１１１は、アンテナ１０１からの伝送信号を受信し、システムコントローラ１１８の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。そして、チューナ部１１１は、選局したチャンネルの音声を、増幅回路１１２に供給するとともに、画像のR信号、G信号、B信号を、信号処理部１１４乃至１１６に、それぞれ供給する。
増幅部１１２では、チューナ部１１１からの音声が増幅され、スピーカ１１３に供給されて出力される。
一方、信号処理部１１４乃至１１６では、システムコントローラ１１８からの制御にしたがい、チューナ部１１１からの画像のR信号、G信号、B信号が、それぞれ信号処理される。そして、信号処理部１１４では、それぞれの信号処理の結果得られる信号が、ディスプレイ１１７に供給され、ディスプレイ１１７において、対応する画像が表示される。
なお、テレビジョン受像機１０１において受信する放送は、特に限定されるものではない。即ち、テレビジョン受像機１０１では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。
また、以下においては、音声に関する説明は、特に必要がない限り省略する。
次に、図１のシステムコントローラ１１８によるチューナ部１１１および信号処理部１１４乃至１１６の制御について説明する。
ここで、信号処理部１１４乃至１１６では、それぞれで処理される信号が、R信号、G信号、Ｂ信号であることを除いて同一の処理が行われるため、以下では、特に必要がない限り、信号処理部１１４乃至１１６のうちの、信号処理部１１４についてだけ説明する。
また、以下においては、チューナ部１１１が出力する画像がプログレッシブ画像（ノンインタレース方式の画像）であるとして説明を行う。但し、チューナ部１１１が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の記載における「フレーム」は、「フィールド」とすることができる。
システムコントローラ１１８は、リモコン１０３からリモコン受信部１１９を介して供給される操作信号にしたがい、後述するマルチ画面モードと通常画面モードとの動作モードの切り換え制御を行う。即ち、システムコントローラ１１８は、ユーザによるリモコン１０３の操作に応じて、テレビジョン受像機１０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部１１１および信号処理部１１４乃至１１６を制御する。
従って、チューナ部１１１および信号処理部１１４乃至１１６は、システムコントローラ１１８の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。
ここで、チューナ１１１から信号処理部１１４に供給（入力）される画像を、入力画像というとともに、信号処理部１１４における信号処理の結果得られる画像を、出力画像というものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像それぞれの同一フレームが、いわゆるマルチ画面表示された出力画像を得て、ディスプレイ１１７に表示するモードであり、通常画面モードとは、１チャンネルの入力画像に対応する出力画像を得て、ディスプレイ１１７に表示するモードである。
マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、複数のチャンネルの中から、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。
なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル（例えば、枠）を表示し、そのカーソルを、ユーザによるリモコン１０３の操作に応じて移動させることができる。この場合、スピーカ１１３からは、カーソルによって指定されている画像のチャンネル（フォーカスされているチャンネル）の音声を出力するようにすることができる。
図２は、図１のシステムコントローラ１１８によるチューナ部１１１の制御を説明するための図である。なお、図２では、縦軸が、画像の垂直方向を表し、横軸が時間（の経過）を表す。
動作モードが通常画面モードの場合、システムコントローラ１１８は、ユーザによるリモコン１０３の操作に対応したチャンネルを選局するように、チューナ部１１１を制御する。
従って、例えば、いま、ユーザが、リモコン１０３を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部１１１は、アンテナ１０２からの伝送信号から、チャンネルCH1を選局し続け、これにより、図２上側に示すように、フレーム周期で、チャンネルCH1の画像を、信号処理部１１４に供給する。
一方、動作モードがマルチ画面モードの場合、システムコントローラ１１８は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部１１１を制御する。
従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の４チャンネルであるとすると、チューナ部１１１は、例えば、図２下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3，CH4を順次選局する。その後、チューナ部１１１は、再び、チャンネルCH１を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを時分割で選局する。その結果、フレーム周期をT1で表すこととすると、チューナ部１１１から信号処理部１１４に対しては、チャンネルCH1の画像が、フレーム周期T1の４倍の周期で供給される。即ち、チューナ部１１１からは、フレーム周期T1の４倍の周期で、３フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。他のチャンネルCH2乃至CH4それぞれの画像についても、同様である。
ここで、選局の変更対象のチャンネル数は、４チャンネルに限定されるものではない。選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象の各チャンネルの画像が、チューナ部１１１から信号処理部１１４に供給される周期は、フレーム周期T1のN倍になる。
また、マルチ画面モードでは、例えば、テレビジョン受像機１０１で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、１フレームに表示される画像のチャンネル数が所定の数より多い場合には、画像をスクロールして表示するようにすることが可能である。
また、本実施の形態では、マルチ画面モードにおいて、チューナ部１１１が、フレーム周期T1で、選局するチャンネルを変更することとするが、選局するチャンネルの変更は、その他、フレーム同期T1の２倍や３倍等の同期で行うことも可能である。
ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部１１１の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4とされているものとする。
次に、図３は、通常画面モードにおいてチューナ部１１１で得られた１つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部１１１で得られた４チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、４分割のマルチ画面で単に表示した場合とを示している。
なお、マルチ画面モードでは、１フレームが、例えば、２×２の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。また、ここでは、４分割のマルチ画面のうちの、例えば、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。
通常画面モードでは、チューナ部１１１において、図２で説明したように、１つのチャンネルCH1の画像が、フレーム周期T1で得られる。従って、チューナ部１１１で得られた１つのチャンネルCH1の画像を単に表示した場合は、図３上側に示すように、フレーム周期T1で、チャンネルCH1の画像が表示される。
一方、マルチ画面モードでは、チューナ部１１１において、図２で説明したように、４チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T1の４倍の周期4T1で得られる。従って、チューナ部１１１で得られた４チャンネルCH1乃至CH4それぞれの画像を、４分割のマルチ画面で単に表示した場合には、図３下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部１１１で得られたチャンネルCH1の画像の最初のフレームが表示され、２番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部１１１で得られたチャンネルCH2の画像の２番目のフレームが表示される。さらに、３番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部１１１で得られたチャンネルCH3の画像の３番目のフレームが表示され、４番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部１１１で得られたチャンネルCH4の画像の４番目のフレームが表示される。その後、５番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部１１１で得られたチャンネルCH1の画像の５番目のフレームが表示され、以下、同様にして、チューナ部１１１において、周期4T1で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。
マルチ画面モードにおいて、チューナ部１１１であるチャンネルが選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部１１１では、４チャンネルCH1乃至CH4それぞれが、時分割で、周期4T1で選局されるために、マルチ画面に表示される４チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。
図１のテレビジョン受像機１０１では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部１１４において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。
即ち、図４は、図１の信号処理部１１４の構成例を示している。
図１のチューナ部１１１が出力する画像としての入力画像は、入力メモリ１３１に供給されるようになっている。
入力メモリ１３１は、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からの入力画像を、例えばフレーム単位で一時記憶し、記憶した入力画像を、そのまま、高画質化処理部１３２に供給する。
また、入力メモリ１３１は、動作モードがマルチ画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からの入力画像を、例えば、フレーム単位で記憶し、その記憶した入力画像のフレームをマルチ画面の小画面のサイズに縮小した縮小画像を生成して、高画質化処理部１３２に供給する。
即ち、システムコントローラ１１８が出力する制御信号には、入力メモリ１３１の書き込みアドレスと読み出しアドレスが含まれており、入力メモリ１３１は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、チューナ部１１１からの入力画像を書き込む（記憶する）。さらに、入力メモリ１３１は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、記憶した入力画像を読み出すことにより、即ち、記憶した入力画像を構成する画素（の画素値）を、水平方向と垂直方向それぞれについて所定の画素数おきに読み出すことにより、入力画像を縮小した縮小画像を生成し、高画質化処理部１３２に供給する。
なお、入力メモリ１３１では、入力画像の書き込み時に、その入力画像の書き込みを所定の画素数おきに行うことで縮小画像を生成することも可能である。
高画質化処理部１３２は、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される入力画像のフレームの画質を向上させたフレームを生成し、即ち、例えば、入力メモリ１３１から供給される入力画像のフレームからノイズを除去し、出力メモリ１３３に供給する。
また、高画質化処理部１３２は、動作モードがマルチ画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される縮小画像のフレームと、他のフレームとの間のフレームを生成し、出力メモリ１３３に供給する。
即ち、動作モードがマルチ画面モードの場合、チューナ部１１１は、上述したように、周期4T1で、３フレームずつのコマ落ちが生じた４チャンネルCH1乃至CH4の入力画像を、信号処理部１１４に供給する。従って、入力メモリ１３１から高画質化処理部１３２に供給される、４チャンネルCH1乃至CH4の入力画像を縮小した縮小画像にも、それぞれ、周期4T1で、３フレームずつのコマ落ちが生じている。
例えば、いま、そのコマ落ちが生じているフレームを、欠損フレームというものとすると、高画質化処理部１３２は、例えば、入力メモリ１３１から供給される縮小画像が存在する隣接する２つのフレームの間の欠損フレーム（の画像）を生成することにより、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ１３３に供給する。
なお、高画質化処理部１３２では、縮小画像が存在するフレームについては、その縮小画像を、そのまま、そのフレームの画像として採用することもできるし、また、欠損フレームの画像と同様にして、画像を生成することもできる。
出力メモリ１３３は、動作モードが通常画面モードの場合は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部１３２が出力する画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
また、出力メモリ１３３は、動作モードがマルチ画面モードの場合は、システムコントローラ１１８からの制御信号にしたがって、高画質化処理部１３２からのチャンネルCH1乃至CH4の縮小画像の同一フレームを合成することにより、そのチャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ１１７に供給する。
即ち、システムコントローラ１１８が出力する制御信号には、出力メモリ１３３の書き込みアドレスと読み出しアドレスが含まれており、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部１３２からのチャンネルCH1乃至CH4の同一フレームの縮小画像を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域に書き込む（記憶する）ことにより、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成（記憶）する。さらに、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、生成（記憶）した出力画像のフレームを読み出し、ディスプレイ１１７に供給する。
次に、図５を参照して、動作モードが通常画面モードの場合の図４の信号処理部１１４の処理の概要について説明する。なお、図５では、i番目のフレーム（の画像）を、tiと表してある。
通常画面モードにおいて、チューナ部１１１（図１）が、チャンネルCH1を選局している場合、図５上側に示すように、高画質化処理部１３２には、入力メモリ１３１を介して、チャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次入力される。そして、高画質化処理部１３２では、そこに入力されるチャンネルCH1の入力画像のフレームtiからノイズが除去され、図５下側に示すように、そのノイズが除去されたチャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次出力され、出力メモリ１３３を介してディスプレイ１１７（図１）に供給される。
次に、図６を参照して、動作モードがマルチ画面モードの場合の図４の信号処理部１１４の処理の概要について説明する。なお、図６では、チャンネルCH#kのi番目のフレームを、CH#k(ti)と表してある。
マルチ画面モードにおいて、チューナ部１１１が、チャンネルCH1乃至CH4を時分割で選局している場合、図６一番上に示すように、高画質化処理部１３２には、入力メモリ１３１において縮小画像とされたチャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
即ち、図６では、フレームt1のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t1)が、フレームt2のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t2)が、フレームt3のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t3)が、フレームt4のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t4)が、フレームt5のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t5)が、高画質化処理部１３２に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
高画質化処理部１３２では、図６上から２番目に示すように、チャンネルCH1の欠損フレームであるフレーム（の画像）CH1(t2),CH1(t3),CH1(t4),CH1(t6),・・・が生成され、さらに、チャンネルCH2の欠損フレームであるフレームCH2(t1),CH2(t3),CH2(t4),CH2(t5),・・・が生成される。また、高画質化処理部１３２では、チャンネルCH3の欠損フレームであるフレームCH3(t1),CH3(t2),CH3(t4),CH3(t5),・・・が生成され、さらに、チャンネルCH4の欠損フレームであるフレームCH4(t1),CH4(t2),CH4(t3),CH4(t5),・・・が生成される。
このようにして、高画質化処理部１３２は、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ１３３に供給する。
出力メモリ１３３では、図６上から３番目（一番下）に示すように、高画質化処理部１３２から供給される４チャンネルCH1乃至CH4それぞれの縮小画像の同一フレームCH1(ti),CH2(ti),CH3(ti),CH4(ti)が合成されることにより、それらをマルチ画面表示するフレームtiの出力画像が生成され、ディスプレイ１１７（図１）に供給される。
以上のように、信号処理部１１４では、 複数チャンネルの入力画像それぞれについて、１のフレームと、他の１のフレームとの間のフレームを生成するとともに、複数チャンネルの入力画像それぞれの同一フレームを合成することにより、出力画像のフレームを生成するようにしたので、１つのチューナ部１１１を用いて、即ち、テレビジョン受像機１０１の規模を抑えて、動きの滑らかなマルチ画面を得ることができる。
次に、図７のフローチャートを参照して、動作モードが通常画面モードの場合の図４の信号処理部１１４の処理について説明する。なお、以下においては、動作モードが通常画面モードの場合、チューナ部１１１において、例えば、チャンネルCH1が選局されるものとする。
入力メモリ１３１は、チューナ部１１１（図１）から供給されるチャンネルCH1の画像を記憶する。そして、入力メモリ１３１は、ステップＳ１０１において、そのチャンネルCH1の画像を読み出し、高画質化処理部１３２に供給して、ステップＳ１０２に進む。
ステップＳ１０２では、高画質化処理部１３２は、入力メモリ１３１から供給されるチャンネルCH1の画像からノイズを除去し、その結果得られるノイズ除去画像を、出力画像として、出力メモリ１３３を介して、ディスプレイ１１７（図１）に供給して、処理を終了する。
なお、図７のフローチャートにしたがった処理は、例えば、チューナ部１１１から信号処理部１１４に対して画像が供給されなくなるまで、または動作モードが通常画面モードからマルチ画面モードに切り換えられるまで繰り返し行われる。
次に、図８のフローチャートを参照して、動作モードがマルチ画面モードの場合の図４の信号処理部１１４の処理について説明する。
入力メモリ１３１は、チューナ部１１１（図１）から供給されるチャンネルCH1乃至CH4の（いずれかの）画像を記憶する。そして、入力メモリ１３１は、ステップＳ１１１において、記憶した画像を、システムコントローラ１１８からの制御信号にしたがって読み出すことにより縮小画像を生成し、高画質化処理部１３２に供給して、ステップＳ１１２に進む。
ステップＳ１１２では、高画質化処理部１３２は、入力メモリ１３１から供給された縮小画像のチャンネルについて、欠損フレームの縮小画像を生成し、出力メモリ１３３に供給する。さらに、ステップＳ１１２では、出力メモリ１３３は、高画質化処理部１３２から供給される縮小画像を、システムコントローラ１１８からの制御信号にしたがって書き込むことにより、チャンネルCH1乃至CH4の同一フレームの縮小画像を合成し、その結果得られる、チャンネルCH1乃至CH4の同一フレームの縮小画像をマルチ画面表示する出力画像を、ディスプレイ１１７（図１）に供給して、処理を終了する。
なお、図８のフローチャートにしたがった処理は、例えば、チューナ部１１１から信号処理部１１４に対して画像が供給されなくなるまで、または動作モードがマルチ画面モードから通常画面モードに切り換えられるまで繰り返し行われる。
ところで、上述したように、信号処理部１１４では、マルチ画面モードにおいて、欠損フレームを生成する。信号処理部１１４において、この欠損フレームを生成することにより、マルチ画面における画像の動きを滑らかなものとするため、欠損フレームは、チューナ部１１１で受信されたフレーム（以下、適宜、非欠損フレームという）における画像の動きを考慮して生成するのが望ましい。
そこで、信号処理部１１４では、非欠損フレームを用いて、画像の動きベクトルを検出し、その動きベクトルに基づいて、マルチ画面モードの処理と、通常画面モードの処理とを行うようになっている。
但し、通常画面モードでは、欠損フレームが存在しないことから、注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。一方、マルチ画面モードでは、欠損フレームが存在することから、注目している非欠損フレームが第nフレームであり、上述したように３フレームのコマ落ち（欠損フレーム）が存在する場合には、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。
従って、動作モードが、通常画面モードの場合とマルチ画面モードの場合とでは、信号処理部１１４における動きベクトルを検出する処理が異なるため、信号処理部１１４では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。
ここで、図４の信号処理部１１４では、動きベクトルの検出は、高画質化処理部１３２において行われるようになっている。
なお、動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。
また、本実施の形態では、動きベクトルは、例えば、画素単位で検出するものとし、従って、各画素に対して動きベクトルが得られるものとする。但し、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができ、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。
さらに、本実施の形態では、動きベクトルを、例えば画素精度で行うものとする。但し、動きベクトルの検出は、画素より小さい、または大きい精度で行ってもよい。
次に、図９のフローチャートを参照して、図１のシステムコントローラ１１８が行う処理について説明する。
システムコントローラ１１８は、ステップＳ１２１において、動作モードが、マルチ画面モードかどうかを判定し、マルチ画面モードでないと判定した場合、即ち、動作モードが通常画面モードである場合、ステップＳ１２２に進み、例えば、ユーザがリモコン１０３を操作することにより指定したチャンネルなどのある１チャンネルを選局するように、チューナ部１１１（図１）を制御して、ステップＳ１２３に進む。これにより、チューナ部１１１は、システムコントローラ１１８からの制御にしたがったチャンネルの選局を行い、そのチャンネルの画像を、信号処理部１１４乃至１１６に出力する。
ステップＳ１２３では、システムコントローラ１１８は、チューナ部１１１から信号処理部１１４乃至１１６に供給される画像を書き込み、その書き込んだ画像を読み出すように、信号処理部１１４乃至１１６の入力メモリ１３１（図４）を制御して、ステップＳ１２４に進む。これにより、入力メモリ１３１は、システムコントローラ１１８の制御にしたがい、チューナ部１１１から供給される画像を記憶し、その記憶した画像を読み出して、高画質化処理部１３２に供給する。
ステップＳ１２４では、システムコントローラ１１８は、入力メモリ１３１から供給される画像について、通常画面モード用の動きベクトルの検出処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１２５に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される画像を対象に、通常画面モード用の動きベクトルを検出する。
ステップＳ１２５では、システムコントローラ１１８は、入力メモリ１３１から供給される画像を対象として、ノイズ除去処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１２６に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される画像を対象として、その画像から検出された動きベクトルに基づくノイズ除去処理を行い、その結果得られる画像としてのノイズ除去画像を出力する。
ステップＳ１２６では、システムコントローラ１１８は、高画質化処理部１３２が出力するノイズ除去画像を書き込み、その書き込んだノイズ除去画像を読み出すように、出力メモリ１３３（図４）を制御する。これにより、出力メモリ１３３は、システムコントローラ１１８の制御にしたがい、高画質化処理部１３２が出力するノイズ除去画像を記憶し、その記憶した画像を、出力画像として読み出して、ディスプレイ１１７（図１）に供給する。
一方、システムコントローラ１１８は、ステップＳ１２１において、動作モードが、マルチ画面モードであると判定した場合、ステップＳ１３１に進み、複数チャンネルであるチャンネルCH1乃至CH4それぞれを、時分割で選局するように、チューナ部１１１（図１）を制御して、ステップＳ１３２に進む。これにより、チューナ部１１１は、システムコントローラ１１８からの制御にしたがい、時分割でチャンネルCH1乃至CH4の選局を時分割で行い、チャンネルCH1乃至CH4の画像それぞれを、そのチャンネル数に等しい４フレーム周期で、信号処理部１１４乃至１１６に出力する。従って、チャンネルCH1乃至CH4のうちの１チャンネルに注目すると、チューナ部１１１から信号処理部１１４乃至１１６に出力される、その１チャンネルの画像は、４フレームにつき１フレームしか画像が存在しない、即ち、４フレームのうちの３フレームが欠損フレームとなっている画像である。
ステップＳ１３２では、システムコントローラ１１８は、チューナ部１１１から信号処理部１１４乃至１１６に供給される画像を書き込み、その書き込んだ画像の画素（の画素値）を読み出すように、信号処理部１１４乃至１１６の入力メモリ１３１（図４）を制御して、ステップＳ１３３に進む。これにより、入力メモリ１３１は、システムコントローラ１１８の制御にしたがい、チューナ部１１１から供給される画像を記憶し、その記憶した画像を間引いて読み出すことにより、縮小画像を生成して、高画質化処理部１３２に供給する。従って、高画質化処理部１３２に対しては、４フレームにつき３フレームが欠損フレームとなっているチャンネルCH1乃至CH4の縮小画像それぞれが供給される。
ステップＳ１３３では、システムコントローラ１１８は、入力メモリ１３１から供給される縮小画像について、マルチ画面モード用の動きベクトルの検出処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１３４に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される縮小画像を対象に、通常画面モード用の動きベクトルを検出する。
ステップＳ１３４では、システムコントローラ１１８は、入力メモリ１３１から供給される縮小画像から、チャンネルCH1乃至CH4それぞれの欠損フレームを生成する欠損フレーム生成処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１３５に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される縮小画像を用い、その縮小画像から検出された動きベクトルに基づく欠損フレーム生成処理を行い、その結果得られる、欠損フレームがない画像としての欠損フレームなし画像を出力する。
ステップＳ１３４では、システムコントローラ１１８は、高画質化処理部１３２が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を、マルチ画面を構成する小画面に対応する記憶領域に書き込み、その書き込みによって生成されるマルチ画面の出力画像を読み出すように、出力メモリ１３３（図４）を制御する。これにより、出力メモリ１３３は、システムコントローラ１１８の制御にしたがい、高画質化処理部１３２が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を記憶することにより、マルチ画面の出力画像を生成し、その出力画像を読み出して、ディスプレイ１１７（図１）に供給する。
次に、図４の高画質化処理部１３２は、上述したように、動作モードが通常画面モードの場合には、ノイズ除去処理を行い、動作モードがマルチ画面モードの場合には、欠損フレーム生成処理を行う。
このノイズ除去処理と欠損フレーム生成処理としては、従来の方法を採用することも可能であるが、ここでは、クラス分類適応処理により、ノイズ除去処理と欠損フレーム生成処理を行うこととする。
クラス分類適応処理は、例えば、第１の画像を第２の画像に変換する画像変換処理でもあり、第２の画像を構成する各画素をクラス分けするクラス分類を行い、その各画素が属するクラスに応じたタップ係数と、第１の画像とを用いた演算としての適応処理を行うことで、第１の画像から第２の画像を構成する各画素（の画素値）を求めるものである。
ここで、例えば、第１の画像を、空間解像度が低解像度の画像とするとともに、第２の画像を、空間解像度が高解像度の画像とすれば、クラス分類適応処理は、空間解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像を、低Ｓ／Ｎ(Siginal/Noise)の画像とするとともに、第２の画像を、高Ｓ／Ｎの画像とすれば、クラス分類適応処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像を所定のサイズの画像とするとともに、第２の画像を、第１の画像のサイズを大きくまたは小さくした画像とすれば、クラス分類適応処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。また、例えば、第２の画像を欠損フレームが存在しない画像とするとともに、第１の画像を、第２の画像から一部のフレームを欠落（欠損）させた、欠損フレームが存在する画像とすれば、クラス分類適応処理は、欠損フレームを生成する欠損フレーム生成処理ということができる。
なお、欠損フレーム生成処理としてのクラス分類適応処理は、欠損フレームが存在する第１の画像を、欠損フレームが存在しない第２の画像に変換することから、第２の画像は、第１の画像と比較して、時間解像度が向上したものとなっており、かかる観点からは、時間解像度を向上させる解像度向上処理ともいうことができる。
以上のように、クラス分類適応処理によれば、第１および第２の画像をどのように定義するかによって、様々な画像変数処理を実現することができる。
図１０は、クラス分類適応処理を行う高画質化処理部１３２の構成例を示している。
高画質化処理部１３２には、入力メモリ１３１（図４）から、第１の画像としての通常の画像または縮小画像が供給される。即ち、動作モードが通常画面モードの場合は、入力メモリ１３１から高画質化処理部１３２に対して、例えば、チューナ部１１１が出力するチャンネルCH1の欠損フレームがない画像が、第１の画像として供給される。また、動作モードがマルチ画面モードの場合は、入力メモリ１３１から高画質化処理部１３２に対して、例えば、チャンネルCH1乃至CH4の画像を縮小した縮小画像であって、欠損フレームがある画像が、第１の画像として供給される。
そして、高画質化処理部１３２では、入力メモリ１３１からの第１の画像が、動きベクトル検出部１５１、クラスタップ選択部１５４、および予測タップ選択部１５６に供給される。
高画質化処理部１３２では、注目画素選択部１５０が、第２の画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、高画質化処理部１３２の必要なブロックに供給する。
動きベクトル検出部１５１は、システムコントローラ１１８（図１）から供給される制御信号にしたがって、入力メモリ１３１（図４）から供給される第１の画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５に供給する。
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、通常画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力する。
動きベクトル検出部１５１は、システムコントローラ１１８が出力する制御信号に、通常画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、通常画面モード用の動きベクトルの検出処理、即ち、上述したように、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理を行う。
また、動きベクトル検出部１５１は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、マルチ画面モード用の動きベクトルの検出処理、即ち、上述したように、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理を行う。
クラスタップ構造決定部１５２は、システムコントローラ１１８から供給される制御信号、および動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップとなる第１の画像を構成する複数の画素を決定し、その画素を表す情報としてのクラスタップ情報を、クラスタップ選択部１５４に供給する。
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、後述する通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、後述するマルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力する。
クラスタップ構造決定部１５２は、システムコントローラ１１８が出力する制御信号に、通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
また、クラスタップ構造決定部１５２は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
予測タップ構造決定部１５３は、システムコントローラ１１８から供給される制御信号、および動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素（の画素値）を求めるときのタップ係数との演算に用いる予測タップとなる第１の画像を構成する複数の画素を決定し、その画素を表す情報としての予測タップ情報を、予測タップ選択部１５６に供給する。
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力する。
予測タップ構造決定部１５３は、システムコントローラ１１８が出力する制御信号に、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
また、予測タップ構造決定部１５３は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
なお、クラスタップ構造決定部１５２と、予測タップ構造決定部１５３とでは、通常画面モード用のタップ構造の画素として、同一のタップ構造の画素を決定することもできるし、異なるタップ構造の画素を決定することもできる。マルチ画面モード用のタップ構造の画素についても、同様である。
クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、そこに供給される第１の画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部１５５に供給する。
ここで、上述したように、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部１５２は、動きベクトル検出部１５１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部１５４では、動きベクトル検出部１５１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
クラス生成部１５５は、例えば、動きベクトル検出部１５１から供給される動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
いま、例えば、クラスタップのみをクラス分類に用いることとすると、ADRCを用いるクラス分類では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（例えば、小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラス生成部１５５は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして生成（出力）する。
なお、クラス生成部１５５には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス生成部１５５が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス生成部１５５においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
ここで、クラス生成部１５５は、上述したように、注目画素についてのクラスタップだけでなく、動きベクトル検出部１５１が検出した動きベクトルにも基づいてクラス分類を行う。即ち、クラス生成部１５５は、例えば、動きベクトルの大きさやｘ方向およびｙ方向の成分を対象に２値化等の量子化を行って得られる値を、注目画素についてのクラスタップをADRC処理することにより得られるADRCコードの上位ビットまたは下位ビットとして付加し、その結果得られるビット列を、注目画素のクラスを表すクラスコードとして出力する。
予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、そこに供給される第１の画像から複数の画素（の画素値）を選択し、予測タップとして、積和演算部１５８に供給する。
ここで、上述したように、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部１５３は、動きベクトル検出部１５１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部１５６では、動きベクトル検出部１５１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
係数メモリ１５７は、後述する学習によって求められた複数のクラスそれぞれのタップ係数を記憶している。即ち、係数メモリ１５７は、動作モードが通常画面モードの場合に行われるノイズ除去処理に用いられるクラスごとのタップ係数（ノイズ除去処理用のタップ係数）を記憶している通常画面モードメモリ１５７1と、動作モードがマルチ画面モードの場合に行われる欠損フレーム生成処理に用いられるクラスごとのタップ係数（欠損フレーム生成処理用のタップ係数）を記憶しているマルチ画面モードメモリ１５７2とを有している。そして、係数メモリ１５７は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、通常画面モードメモリ１５７1またはマルチ画面モードメモリ１５７2のうちの一方を選択し、その選択したメモリから、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
積和演算部１５８は、予測タップ選択部１５６からの予測タップと、係数メモリ１５７からのタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素（の真値の予測値）を求める所定の演算を行う。これにより、積和演算部１５８は、注目画素（の画素値（の予測値））、即ち、第２の画像を構成する画素（の画素値）を求めて出力する。
次に、図１０の積和演算部１５８における演算と、その演算に用いられるタップ係数の学習について説明する。
いま、高画質の画像（高画質画像）を第２の画像とするとともに、その高画質画像にノイズを付加する等してその画質を低下させた低画質の画像（低画質画像）を第１の画像として、低画質画像から予測タップ（となる複数の画素）を選択し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の演算によって求める（予測する）ことを考える。
いま、所定の演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004512978
 ・・・（１）
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成するｎ番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、そのｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004512978
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0004512978
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なもの、即ち、いまの場合、ノイズのない高画質画素を求めるのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004512978
 ・・・（４）
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004512978
・・・（５）
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 0004512978
 ・・・（６）
式（５）と（６）から、次式が得られる。
Figure 0004512978
・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004512978
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式をクラスごとにたてて解くことにより、ノイズのない画素を求めるのに最適なタップ係数（自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
図１０の通常画面モードメモリ１５７1に、以上のようにして求められるノイズ除去に（ノイズのない画像を求めるのに）最適なタップ係数ｗnを記憶させておき、積和演算部１５８において、そのタップ係数ｗnを用いて、式（１）の演算を行うことにより、第１の画像からノイズを除去した第２の画像を求めるノイズ除去処理を行うことができる。
なお、上述の場合には、高画質画像を第２の画像とするとともに、その高画質画像にノイズを付加した低画質画像を第１の画像として、ノイズ除去に最適なタップ係数、即ち、ノイズ除去処理用のタップ係数を求める（学習する）場合について説明したが、欠損フレームのない画像を第２の画像とするとともに、その第２の画像のフレームを間引く等して得られる、欠損フレームが存在する画像を第１の画像として、上述したようにしてタップ係数を求めることにより、欠損フレームを生成するのに最適なタップ係数、即ち、欠損フレーム生成処理用のタップ係数を得ることができる。
そして、図１０のマルチ画面モードメモリ１５７2に、そのようにして求められる欠損フレームを生成するのに最適なタップ係数ｗnを記憶させておき、積和演算部１５８において、そのタップ係数ｗnを用いて、式（１）の演算を行うことにより、第１の画像から欠損フレームのない第２の画像を求める欠損フレーム生成処理を行うことができる。
次に、図１１は、式（８）の正規方程式をたてて解くことにより、図１０の通常画面モードメモリ１５７1に記憶させるノイズ除去処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
学習装置には、タップ係数ｗnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、ノイズのない高画質画像を用いることができる。
学習装置において、学習用画像は、教師データ生成部１７１と生徒データ生成部１７３に供給される。
教師データ生成部１７１は、そこに供給される学習用画像から、第２の画像に対応する、学習の教師（真値）となる教師データを生成し、教師データ記憶部１７２に供給する。即ち、ここでは、教師データ生成部１７１は、学習用画像としての高画質画像を、そのまま教師データとして、教師データ記憶部１７２に供給する。
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしての高画質画像を記憶する。
生徒データ生成部１７３は、学習用画像から、第１の画像に対応する、学習の生徒となる生徒データを生成し、生徒データ記憶部１７４に供給する。即ち、生徒データ生成部１７３は、学習用画像としての高画質画像にノイズを付加することにより、そのS/Nを低下させることで、低画質画像を生成し、この低画質画像を、生徒データとして、生徒データ記憶部１７４に供給する。
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データとしての低画質画像を記憶する。
係数生成処理部１７５は、教師データ記憶部１７２に記憶された教師データとしての高画質画像と、生徒データ記憶部１７４に記憶された生徒データとしての低画質画像とを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力する。
図１２は、図１１の学習装置で用いられる学習用画像から生成される教師データとしての高画質画像と、生徒データとしての低画質画像とを示している。なお、図１２において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
図１２の１番上は、図１１の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がＴ1の、ノイズのない高画質画像が採用されている。
図１２の上から２番目は、学習用画像から生成される教師データとしての高画質画像を示している。
図１１の教師データ生成部１７１では、学習用画像が、そのまま教師データとされるため、教師データは、学習用画像と同一の画像となっている。
図１２の一番下は、学習用画像から生成される生徒データとしての低画質画像を示している。
図１１の生徒データ生成部１７３では、教師データに等しい学習用画像に、ノイズが付加されることによって、生徒データが生成されるため、生徒データは、教師データである高画質画像にノイズが付加されたS/Nの低い低画質画像となっている。
図１１の係数生成処理部１７５では、以上のような、ノイズを有する生徒データから、そのノイズがない教師データを、式（１）の演算によって求める（予測する）ための、式（１）のタップ係数ｗnが、クラスごとに求められる。
図１３は、図１１の係数生成処理部１７５の構成例を示している。
図１１の教師データ記憶部１７２に記憶された教師データとしての画像（以下、適宜、教師画像ともいう）は、予測係数作成部１８７に供給され、生徒データ記憶部１７４に記憶された生徒データとしての画像（以下、適宜、生徒画像ともいう）は、動きベクトル検出部１８１、クラスタップ選択部１８４、および予測タップ選択部１８６に供給される。
注目画素選択部１８０は、図１０の注目画素選択部１５０と同様に、第２の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、係数生成処理部１７５の必要なブロックに供給する。
動きベクトル検出部１８１は、図１０の動きベクトル検出部１５１が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部１７４（図１１）から供給される第１の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、およびクラス生成部１８５に供給する。
クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルにしたがい、図１０のクラスタップ構造決定部１５２が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１８４に供給する。
予測タップ構造決定部１８３は、動きベクトル検出部１８１から供給される動きベクトルにしたがい、図１０の予測タップ構造決定部１５３が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
クラスタップ選択部１８４は、クラスタップ構造決定部１８２からのクラスタップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部１８５に供給する。
ここで、上述したように、クラスタップ選択部１８４は、クラスタップ構造決定部１８２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部１８４では、動きベクトル検出部１８１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
なお、注目画素について、クラスタップ構造決定部１８２が出力するクラスタップ情報は、図１０のクラスタップ構造決定部１５２が通常画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部１８４は、注目画素について、通常画面モード時における図１０のクラスタップ選択部１５４と同一のタップ構造のクラスタップを出力する。
クラス生成部１８５は、動きベクトル検出部１８１から供給される動きベクトルと、クラスタップ選択部１８４から供給される注目画素についてのクラスタップとに基づき、図１０のクラス生成部１５５における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、予測係数作成部１８７に供給する。
予測タップ選択部１８６は、予測タップ構造決定部１８３からの予測タップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、予測タップとして、予測係数作成部１８７に供給する。
ここで、上述したように、予測タップ選択部１８６は、予測タップ構造決定部１８３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部１８３は、動きベクトル検出部１８１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部１８６では、動きベクトル検出部１８１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
なお、注目画素について、予測タップ構造決定部１８３が出力する予測タップ情報は、図１０の予測タップ構造決定部１８２が通常画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部１８６は、注目画素について、通常画面モード時における図１０の予測タップ選択部１５６と同一のタップ構造の予測タップを出力する。
予測係数作成部１８７は、教師データ記憶部１７２から供給される教師画像を構成する画素のうちの、注目画素を取得し、その注目画素（の画素値）と、予測タップ選択部１８６から供給される注目画素について構成された予測タップを構成する生徒画像の画素（画素値）とを対象とした足し込みを、クラス生成部１８５から供給されるクラスコードごとに行う。
即ち、予測係数作成部１８７は、クラス生成部１８５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像を構成する画素（以下、適宜、生徒画素ともいう））ｘn,kを用い、式（８）の左辺の行列における生徒画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、予測係数作成部１８７は、やはり、クラス生成部１８５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）ｘn,kと注目画素としての教師画像の画素（以下、適宜、教師画素ともいう）ｙkを用い、式（８）の右辺のベクトルにおける生徒画素ｘn,kおよび教師画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、予測係数作成部１８７は、前回、注目画素とされた教師画素について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画素について、その教師画素ｙk+1および生徒画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、予測係数作成部１８７は、教師データ記憶部１７２に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、ノイズ除去処理に最適なタップ係数ｗn、即ち、ノイズ除去処理用のタップ係数ｗnを求めて出力する。
次に、図１４を参照して、図１３のクラスタップ構造決定部１８２が、動きベクトル検出部１８１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
なお、上述したことから、この決定方法は、動作モードが通常画面モードの場合に、図１０のクラスタップ構造決定部１５２が、通常画面モード用のタップ構造の画素を決定するときの決定方法でもある。
図１４上側は、第２の画像に対応する、図１１の教師データ生成部１７１で生成される教師画像（教師データ）を示しており、図１４下側は、第１の画像に対応する、図１１の生徒データ生成部１７３で生成される生徒画像（生徒データ）を示している。
なお、図１４においては、図１２における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
例えば、いま、図１４上側に示すように、第ｔ1フレームの教師画像のある画素（教師画素）が注目画素とされたとする。
この場合、クラスタップ構造決定部１８２は、図１４下側に示すように、注目画素のフレームと同一の第ｔ1フレームの生徒画像において、注目画素と（空間的に）同一の位置にある画素を、注目画素に対応する対応画素とする。
また、クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルのうちの、対応画素の動きベクトルを認識する。さらに、クラスタップ構造決定部１８２は、第ｔ1フレームの生徒画像の対応画素の動きベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その動きベクトルの終点の、第ｔ1フレームの次の第ｔ2フレームの位置を第２のタップ中心位置とする。なお、第ｔ2フレームは、第ｔ1フレームの対応画素の動きベクトルが検出されるときに参照されるフレームである。
そして、クラスタップ構造決定部１８２は、第ｔ1フレームの第１のタップ中心位置に最も近い位置の生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ2フレームの第２のタップ中心位置に最も近い位置の生徒画素を、第２のタップ中心画素として決定する
ここで、いまの場合、第１のタップ中心位置は、対応画素の動きベクトルの始点の位置なので、その第１のタップ中心位置は、対応画素の位置に一致し、従って、第１のタップ中心画素は、対応画素となる。
また、本実施の形態では、動きベクトルの検出は、上述したように画素の精度で行われる。そして、第２のタップ中心位置は、対応画素の動きベクトルの終点の位置なので、第２のタップ中心画素は、第ｔ1フレームの対応画素の、第ｔ2フレームでの動き先の画素となる。
その後、クラスタップ構造決定部１８２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心として、そのタップ中心画素に近い（空間的に近い）複数の画素を、クラスタップを構成する画素として決定する。
図１３の予測タップ構造決定部１８３、および通常画面モード用時の図１０の予測タップ構造決定部１５３も同様にして、予測タップを構成する画素を決定する。
図１５は、クラスタップおよび予測タップを構成する画素の例を示している。
ここで、図１５において、○印は、生徒画像の画素を示している。そして、○印のうちの●印は、タップ中心画素を示している。さらに、○印のうちの、模様を付していないものは、予測タップのみを構成する画素を示しており、網掛けを付してある○印は、予測タップとクラスタップを構成する画素を示している。即ち、●印と網掛けを付してある○印が、クラスタップを構成する画素であり、●印、網掛けを付してある○印、および模様を付していない○印が予測タップを構成する画素である。
図１５においては、６パターンのタップ構造のクラスタップおよび予測タップを示してあるが、この６パターンのうちの、例えば、左から１番目のタップ構造が採用される場合、第ｔ1フレームの注目画素については、第ｔ1フレームの生徒画像のタップ中心画素（第１のタップ中心画素）、およびその上下左右それぞれに隣接する画素、並びに第ｔ2フレームの生徒画像のタップ中心画素（第２のタップ中心画素）、およびその上下左右それぞれに隣接する画素の合計１０画素が、クラスタップと予測タップそれぞれを構成する画素として決定される。
なお、クラスタップおよび予測タップのタップ構造は、図１５に示した６パターンに限定されるものではない。
次に、図１６のフローチャートを参照して、図１１の学習装置の処理（学習処理）について、説明する。
まず最初に、ステップＳ１５１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１７１は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部１７３は、学習用画像にノイズを付加することにより、生徒画像を生成する。
教師データ生成部１７１が生成した教師画像は、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が生成した生徒画像は、生徒データ記憶部１７４に供給されて記憶される。
その後、ステップＳ１５２に進み、係数生成処理部１７５（図１３）の注目画素選択部１８０は、教師データ記憶部１７２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１５３に進む。
ステップＳ１５３では、動きベクトル検出部１８１、クラスタップ構造決定部１８２、および予測タップ構造決定部１８３が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ１５４に進む。
ステップＳ１５４では、動きベクトル検出部１８１が、ステップＳ１５３で認識した対応画素の動きベクトルを、その対応画素のフレームの次のフレームの生徒画像を参照することにより検出し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、クラス生成部１８５に供給して、ステップＳ１５５に進む。
ステップＳ１５５では、クラスタップ構造決定部１８２が、ステップＳ１８２で認識した対応画素、および動きベクトル検出部１８１から供給される対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ１５５では、クラスタップ構造決定部１８２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部１８４に供給して、ステップＳ１５６に進む。
なお、ステップＳ１５５では、予測タップ構造決定部１８３も、クラスタップ構造決定部１８２と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部１８６に供給する。
ステップＳ１５６では、クラスタップ選択部１８４が、生徒データ記憶部１７４（図１１）に記憶された生徒画像から、クラスタップ構造決定部１８２から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部１８５に供給する。さらに、ステップＳ１５６では、予測タップ選択部１８６が、生徒データ記憶部１７４に記憶された生徒画像から、予測タップ構造決定部１８３から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部１８７に供給して、ステップＳ１５７に進む。
ステップＳ１５７では、クラス生成部１８５は、クラスタップ選択部１８４から供給された注目画素についてのクラスタップと、動きベクトル検出部１８１から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部１８７に出力して、ステップＳ１５８に進む。
ステップＳ１５８では、予測係数作成部１８７は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、予測タップ選択部１８６から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式（８）の足し込みを、クラス生成部１８５から供給されるクラスコードごとに行い、ステップＳ１５９に進む。
ステップＳ１５９では、注目画素選択部１８０が、教師データ記憶部１７２に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップＳ１５９において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ１５２に戻り、注目画素選択部１８０は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ１５９において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ１６０に進み、予測係数作成部１８７は、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
図１０の通常画面モードメモリ１５７1には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
次に、図１７は、式（８）の正規方程式をたてて解くことにより、図１０のマルチ画面モードメモリ１５７2に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
学習装置には、タップ係数ｗnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、欠損フレームのない画像を用いることができる。
学習装置において、学習用画像は、教師データ生成部１９１と生徒データ生成部１９３に供給される。
教師データ生成部１９１は、そこに供給される学習用画像から、第２の画像に対応する教師画像を生成し、教師データ記憶部１９２に供給する。
ここで、動作モードがマルチ画面モードの場合においては、図１０の高画質化処理部１３２がクラス分類適応処理を利用した画像変換の対象とする第１の画像は、４フレームにつき３フレームの欠損フレームが存在する縮小画像である。そして、その第１の画像を対象とした画像変換によって得られる第２の画像は、欠損フレームがない縮小画像である欠損フレームなし縮小画像である。
このため、教師データ生成部１９１は、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームがない縮小画像を、教師画像として生成し、教師データ記憶部１９２に供給する。
教師データ記憶部１９２は、教師データ生成部１９１から供給される教師画像としての欠損フレームのない縮小画像を記憶する。
生徒データ生成部１９３は、学習用画像から、第１の画像に対応する生徒画像を生成し、生徒データ記憶部１９４に供給する。即ち、生徒データ生成部１９３は、教師データ生成部１９１と同様に、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成する。さらに、生徒データ生成部１９３は、その欠損フレームなし縮小画像のフレームを間引くことにより、４フレームにつき３フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部１９４に供給する。
生徒データ記憶部１９４は、生徒データ生成部１９３から供給される生徒画像を記憶する。
係数生成処理部１９５は、教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像と、生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームがある縮小画像（以下、適宜、欠損フレームあり縮小画像という）とを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力する。
図１８は、図１７の学習装置で用いられる学習用画像から生成される教師画像としての欠損フレームなし縮小画像と、生徒画像としての欠損フレームあり縮小画像とを示している。なお、図１８において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
図１８の１番上は、図１７の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がＴ1の、欠損フレームがない画像が採用されている。
図１８の上から２番目は、学習用画像から生成される教師画像としての欠損フレームなし縮小画像を示している。
図１７の教師データ生成部１９１では、学習用画像が縮小されることによって、教師画像が生成されるため、教師画像は、学習用画像を縮小しただけの、フレーム周期がＴ1の欠損フレームなし縮小画像となっている。
図１８の一番下は、学習用画像から生成される生徒画像としての欠損フレームあり縮小画像を示している。
図１７の生徒データ生成部１９３では、学習用画像が縮小され、さらにフレームが間引かれることによって、生徒画像が生成されるため、生徒画像は、学習用画像を縮小した、欠損フレームが存在する欠損フレームあり縮小画像となっている。
なお、動作モードがマルチ画面モードの場合に、図１０の高画質化処理部１３２がクラス分類適応処理を利用した画像変換の対象とする第１の画像は、上述したように、４フレームにつき３フレームの欠損フレームが存在する縮小画像であるため、生徒データ生成部１９３は、そのような縮小画像を生徒画像として生成する。
即ち、生徒データ生成部１９３では、学習用画像を縮小しただけの欠損フレームなし縮小画像のフレームのうちの４フレームにつき３フレームを間引くことにより、第１の画像に対応する生徒画像を生成する。従って、生徒画像は、画像が４×Ｔ1おきにしか存在しない欠損フレームあり縮小画像となる。
図１９の係数生成処理部１９５では、以上のような、欠損フレームあり縮小画像である生徒画像から、欠損フレームなし縮小画像である教師画像を、式（１）の演算によって求める（予測する）ための、式（１）のタップ係数ｗnが、クラスごとに求められる。
なお、欠損フレームあり縮小画像である生徒画像を、欠損フレームなし縮小画像である教師画像に変換することは、あるフレームレートの画像を、他のフレームレートに変換することと捉えることができる。従って、例えば、いま、学習用画像のフレームレートを、Ｒf［フレーム／秒］と表すこととして、その学習用画像のフレームを間引くことにより、フレームレートがＲf／Ｎの教師画像を生成するとともに、フレームレートがＲf／Ｍの生徒画像を生成して、係数生成処理部１９５でタップ係数ｗnの学習を行えば、第１の画像を、そのフレームレートのＮ／Ｍのフレームレートの第２の画像に変換するタップ係数ｗnが得られることになる。
図１９は、図１７の係数生成処理部１９５の構成例を示している。
図１７の教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像は、予測係数作成部２０７に供給され、生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームあり縮小画像は、動きベクトル検出部２０１、クラスタップ選択部２０４、および予測タップ選択部２０６に供給される。
注目画素選択部２００は、図１０の注目画素選択部１５０と同様に、第２の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、係数生成処理部１９５の必要なブロックに供給する。
動きベクトル検出部２０１は、図１０の動きベクトル検出部１５１が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部１９４（図１７）から供給される第１の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給する。
即ち、動きベクトル検出部２０１は、生徒画像である欠損フレームあり縮小画像の非欠損フレームの画素それぞれの動きベクトルを、その次の非欠損フレームを参照することにより検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給する。
具体的には、本実施の形態では、生徒画像である欠損フレームあり縮小画像は、教師画像である欠損フレームなし縮小画像のフレームと比較すると、４フレームごとにしか非欠損フレームが存在しないため、非欠損フレームである第ｎフレームの生徒画素の動きベクトルは、その次の非欠損フレームである第ｎ＋４フレームを参照して検出される。
クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルにしたがい、図１０のクラスタップ構造決定部１５２が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部２０４に供給する。
予測タップ構造決定部２０３は、動きベクトル検出部２０１から供給される動きベクトルにしたがい、図１０の予測タップ構造決定部１５３が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
クラスタップ選択部２０４は、クラスタップ構造決定部２０２からのクラスタップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部２０５に供給する。
ここで、上述したように、クラスタップ選択部２０４は、クラスタップ構造決定部２０２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部２０４では、動きベクトル検出部２０１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
なお、注目画素について、クラスタップ構造決定部２０２が出力するクラスタップ情報は、図１０のクラスタップ構造決定部１５２がマルチ画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部２０４は、注目画素について、マルチ画面モード時における図１０のクラスタップ選択部１５４と同一のタップ構造のクラスタップを出力する。
クラス生成部２０５は、動きベクトル検出部２０１から供給される動きベクトルと、クラスタップ選択部２０４から供給される注目画素についてのクラスタップとに基づき、図１０のクラス生成部１５５における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、予測係数作成部２０７に供給する。
予測タップ選択部２０６は、予測タップ構造決定部２０３からの予測タップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、予測タップとして、予測係数作成部２０７に供給する。
ここで、上述したように、予測タップ選択部２０６は、予測タップ構造決定部２０３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部２０３は、動きベクトル検出部２０１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部２０６では、動きベクトル検出部２０１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
なお、注目画素について、予測タップ構造決定部２０３が出力する予測タップ情報は、図１０の予測タップ構造決定部１５３がマルチ画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部２０６は、注目画素について、マルチ画面モード時における図１０の予測タップ選択部１５６と同一のタップ構造の予測タップを出力する。
予測係数作成部２０７は、教師データ記憶部１９２から供給される教師画像を構成する画素のうちの、注目画素を取得し、図１３の予測係数作成部１８７における場合と同様に、注目画素（の画素値）と、予測タップ選択部２０６から供給される注目画素について構成された予測タップを構成する生徒画像の画素（画素値）とを対象とした足し込みを、クラス生成部２０５から供給されるクラスコードごとに行う。
そして、予測係数作成部２０７は、教師データ記憶部１９２に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、欠損フレーム生成処理に最適なタップ係数ｗn、即ち、欠損フレーム生成処理用のタップ係数ｗnを求めて出力する。
次に、図２０を参照して、図１９のクラスタップ構造決定部２０２が、動きベクトル検出部２０１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
なお、上述したことから、この決定方法は、動作モードがマルチ画面モードの場合に、図１０のクラスタップ構造決定部１５２が、マルチ画面モード用のタップ構造の画素を決定するときの決定方法でもある。
図２０の上から１番目は、第２の画像に対応する、図１７の教師データ生成部１９１で生成される教師画像（教師画像）を示しており、図２０の上から２番目および３番目は、第１の画像に対応する、図１７の生徒データ生成部１９３で生成される生徒画像（生徒画像）を示している。
なお、図２０においては、図１８における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
上述したように、教師画像は、フレーム周期Ｔ1でフレームが存在する欠損フレームなし画像（縮小画像）となっており（図２０の上から１番目）、生徒画像は、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり画像（縮小画像）となっている。
なお、図２０では、教師画像の第ｔ1フレームを最初のフレームとして、ｉ番目のフレームを、第ｔiフレームと表してある。従って、生徒画像の最初の非欠損フレームを、第ｔ1フレームとすると、その次の非欠損フレームは、第ｔ5フレームである。
例えば、いま、図２０の一番上に示すように、第ｔ2フレームの教師画像のある画素（教師画素）Ａ1が注目画素とされたとする。
この場合、クラスタップ構造決定部２０２は、例えば、図２０の上から２番目に示すように、その注目画素Ａ1の第ｔ2フレームの直前の生徒画像の非欠損フレームである第ｔ1フレームにおいて、注目画素Ａ1と（空間的に）同一の位置にある生徒画素Ｂ2を、注目画素に対応する対応画素とする。
また、クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルのうちの、対応画素Ｂ2の動きベクトルを認識する。さらに、クラスタップ構造決定部２０２は、第ｔ1フレームの生徒画像の対応画素Ｂ2の動きベクトルを、図２０の上から２番目に点線で示すように、注目画素Ａ1を通るように補正し、その結果得られる補正ベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その補正ベクトルの終点の、第ｔ1フレームの次の非欠損フレームである第ｔ5フレームの位置を第２のタップ中心位置とする。
そして、クラスタップ構造決定部２０２は、例えば、第ｔ1フレームの第１のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ5フレームの第２のタップ中心位置に最も近い生徒画素を、第２のタップ中心画素として決定する
ここで、図２０の上から２番目においては、第１のタップ中心位置は、第ｔ1フレームの生徒画素のうちの対応画素Ｂ2からが最も近い位置になっており、従って、第１のタップ中心画素は、対応画素Ｂ2となる。
また、第２のタップ中心位置は、第ｔ5フレームの生徒画素のうちの生徒画素Ｂ4からが最も近い位置になっており、従って、第２のタップ中心画素は、生徒画素Ｂ4となる。
即ち、図２０の上から２番目においては、結果的に、対応画素Ｂ2の動きベクトルの始点の画素Ｂ2と終点の画素Ｂ4が、それぞれ第１と第２のタップ中心画素となっている。
一方、例えば、図２０の一番上に示すように、第ｔ2フレームの２フレーム後の第ｔ4フレームの教師画像のある画素（教師画素）Ａ2が注目画素とされた場合、クラスタップ構造決定部２０２は、図２０の上から３番目に示すように、やはり、その注目画素Ａ2の第ｔ4フレームの直前の生徒画像の非欠損フレームである第ｔ1フレームにおいて、注目画素Ａ2と（空間的に）同一の位置にある生徒画素Ｂ2を、注目画素に対応する対応画素とする。
また、クラスタップ構造決定部２０２は、上述した場合と同様に、動きベクトル検出部２０１から供給される動きベクトルのうちの、対応画素Ｂ2の動きベクトルを認識し、その対応画素Ｂ2の動きベクトルを、図２０の上から３番目に点線で示すように、注目画素Ａ2を通るように補正し、その結果得られる補正ベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その補正ベクトルの終点の、第ｔ1フレームの次の非欠損フレームである第ｔ5フレームの位置を第２のタップ中心位置とする。
そして、クラスタップ構造決定部２０２は、例えば、第ｔ1フレームの第１のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ5フレームの第２のタップ中心位置に最も近い生徒画素を、第２のタップ中心画素として決定する
ここで、図２０の上から３番目（１番下）においては、第１のタップ中心位置は、第ｔ1フレームの生徒画素のうちの、対応画素Ｂ2ではない生徒画素Ｂ1からが最も近い位置になっており、従って、第１のタップ中心画素は、対応画素Ｂ1となる。
また、第２のタップ中心位置は、第ｔ5フレームの生徒画素のうちの生徒画素Ｂ3からが最も近い位置になっており、従って、第２のタップ中心画素は、生徒画素Ｂ3となる。
その後、クラスタップ構造決定部２０２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心として、例えば、上述の図１５に示したように、そのタップ中心画素に近い（空間的に近い）複数の生徒画素を、クラスタップを構成する画素として決定する。
図１９の予測タップ構造決定部２０３、およびマルチ画面モード用時の図１０の予測タップ構造決定部１５３も同様にして、予測タップを構成する画素を決定する。
次に、図２１のフローチャートを参照して、図１７の学習装置の処理（学習処理）について、説明する。
まず最初に、ステップＳ１７１において、教師データ生成部１９１と生徒データ生成部１９３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１９１は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部１９３は、学習用画像を縮小し、さらに、フレームを間引くことにより、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
教師データ生成部１９１が生成した教師画像は、教師データ記憶部１９２に供給されて記憶され、生徒データ生成部１９３が生成した生徒画像は、生徒データ記憶部１９４に供給されて記憶される。
その後、ステップＳ１７２に進み、係数生成処理部１９５（図１９）の注目画素選択部２００は、教師データ記憶部１９２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１７３に進む。
ステップＳ１７３では、動きベクトル検出部２０１、クラスタップ構造決定部２０２、および予測タップ構造決定部２０３が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ１７４に進む。
ステップＳ１７４では、動きベクトル検出部２０１が、ステップＳ１７３で認識した対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームの生徒画像を参照することにより検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給して、ステップＳ１７５に進む。
ステップＳ１７５では、クラスタップ構造決定部２０２および予測タップ構造決定部２０３が、対応画素の動きベクトルを、図２０で説明したように、注目画素を通るように補正することにより、補正ベクトルを求めて、ステップＳ１７６に進む。
ここで、補正ベクトルは、正確には、ベクトルではなく、動きベクトルの方向の、注目画素（の位置）を通る、その注目画素のフレームの直前の非欠損フレームと直後の非欠損フレームとで区切られる線分である。なお、非欠損フレームが、注目画素のフレームと一致する場合には、その非欠損フレームは、注目画素のフレームの直前の非欠損フレーム、または直後の非欠損フレームのうちのいずれか一方（例えば、注目画素のフレームの直前の非欠損フレーム）とみなすこととする。
ステップＳ１７６では、クラスタップ構造決定部２０２が、ステップＳ１７３で認識した対応画素、およびＳ１７５で求めた補正ベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ１７６では、クラスタップ構造決定部２０２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部２０４に供給して、ステップＳ１７７に進む。
なお、ステップＳ１７６では、予測タップ構造決定部２０３も、クラスタップ構造決定部２０２と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部２０６に供給する。
ステップＳ１７７では、クラスタップ選択部２０４が、生徒データ記憶部１９４（図１７）に記憶された生徒画像から、クラスタップ構造決定部２０２から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部２０５に供給する。さらに、ステップＳ１７７では、予測タップ選択部２０６が、生徒データ記憶部１９４に記憶された生徒画像から、予測タップ構造決定部２０３から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部２０７に供給して、ステップＳ１７８に進む。
ステップＳ１７８では、クラス生成部２０５は、クラスタップ選択部２０４から供給された注目画素についてのクラスタップと、動きベクトル検出部２０１から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部２０７に出力して、ステップＳ１７９に進む。
ステップＳ１７９では、予測係数作成部２０７は、教師データ記憶部１９２から、注目画素を読み出し、その注目画素と、予測タップ選択部２０６から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式（８）の足し込みを、クラス生成部２０５から供給されるクラスコードごとに行い、ステップＳ１８０に進む。
ステップＳ１８０では、注目画素選択部２００が、教師データ記憶部１９２に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップＳ１８０において、注目画素としていない教師画素が、まだ、教師データ記憶部１９２に記憶されていると判定された場合、ステップＳ１７２に戻り、注目画素選択部２００は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ１８０において、注目画素としていない教師画素が、教師データ記憶部１９２に記憶されていないと判定された場合、ステップＳ１８１に進み、予測係数作成部２０７は、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
図１０のマルチ画面モードメモリ１５７2には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
次に、図２２のフローチャートを参照して、以上のようなタップ係数を記憶している図１０の高画質化処理部１３２の処理について説明する。
まず最初に、ステップＳ２０１において、動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７が、システムコントローラ１１８（図１）から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップＳ２０２に進む。
ステップＳ２０２では、注目画素選択部１５０は、入力メモリ１３１（図４）から高画質化処理部１３２に供給される第１の画像をクラス分類適応処理により変換することによって得られる第２の画像を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素として選択し、ステップＳ２０３に進む。
ステップＳ２０３では、動きベクトル検出部１５１は、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、注目画素に対応する対応画素の動きベクトルを検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５に供給して、ステップＳ２０４に進む。
ステップＳ２０４では、クラスタップ構造決定部１５２は、動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素について、第１と第２のタップ中心位置を求め、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、第１と第２のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第１と第２のタップ中心画素として求める。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第１の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
また、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
その後、ステップＳ２０４からＳ２０５に進み、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についてのクラスタップとして、クラス生成部１５５に供給する。さらに、ステップＳ２０５では、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についての予測タップとして、積和演算部１５８に供給して、ステップＳ２０６に進む。
ステップＳ２０６では、クラス生成部１５５は、動きベクトル検出部１５１から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給して、ステップＳ２０７に進む。
ステップＳ２０７では、係数メモリ１５７は、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給し、ステップＳ２０８に進む。
ステップＳ２０８では、積和演算部１５８は、予測タップ選択部１５６からの注目画素についての予測タップと、係数メモリ１５７からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）の演算を行うことにより、注目画素（の画素値）を求めて出力する。
その後、ステップＳ２０８からＳ２０９に進み、注目画素選択部１５０は、第２の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２０９において、まだ注目画素としていない第２の画像の画素があると判定された場合、ステップＳ２０２に戻り、注目画素選択部１５０は、まだ注目画素としていない第２の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ２０９において、まだ注目画素としていない第２の画像の画素がないと判定された場合、処理を終了する。
ところで、動作モードが通常画面モードの場合には、図７等で説明したように、高画質化処理部１３２（図４）には、入力メモリ１３１から、チューナ部１１１（図１）が出力するチャンネルCH1などのある１チャンネルの画像（通常の画像）が供給される。そして、高画質化処理部１３２（図１０）は、その通常の画像を、第１の画像として、ノイズ除去処理としてのクラス分類適応処理を行い、その通常の画像からノイズを除去したノイズ除去画像を、第２の画像として求める。
一方、動作モードがマルチ画面モードの場合には、図８等で説明したように、高画質化処理部１３２（図４）には、入力メモリ１３１から、例えば、チューナ部１１１（図１）で１フレームごとに時分割に受信された４つのチャンネルCH1乃至CH4の画像それぞれの欠損フレームあり縮小画像が供給される。そして、高画質化処理部１３２（図１０）は、その４つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、第１の画像として、欠損フレーム生成処理としてのクラス分類適応処理を行い、４つのチャンネルCH1乃至CH4それぞれについて、欠損フレームなし縮小画像を、第２の画像として求める。
このように、高画質化処理部１３２では、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
そこで、図１のシステムコントローラ１１８は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部１３２（図１０）の動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７に供給（送信）する。
そして、動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７は、図２２のステップＳ２０１で説明したように、システムコントローラ１１８から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
具体的には、動作モードが通常画面モードの場合、図２２のステップＳ２０３において、動きベクトル検出部１５１は、注目画素と同一フレームの第１の画像としてのチャンネルCH1の通常の画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップＳ２０３では、動きベクトル検出部１５１は、対応画素の動きベクトルを、その対応画素のフレームの次のフレームのチャンネルCH1の通常の画像を参照することにより検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、クラス生成部１５５に供給する。
また、ステップＳ２０４では、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
同様に、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
また、ステップＳ２０７では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちの通常画面モードメモリ１５７1を選択し、その選択した通常画面モードメモリ１５７1に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
一方、動作モードがマルチ画面モードの場合、第１の画像としての４つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある１チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図２２のステップＳ２０３において、動きベクトル検出部１５１は、注目画素のフレームの直前の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップＳ２０３では、動きベクトル検出部１５１は、対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像を参照することにより検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、クラス生成部１５５に供給する。
また、ステップＳ２０４では、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
同様に、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
また、ステップＳ２０７では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちのマルチ画面モードメモリ１５７2を選択し、その選択したマルチ画面モードメモリ１５７2に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
次に、図２３は、図１の信号処理部１１４（さらには、信号処理部１１５および１１６）の他の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の信号処理部１１４は、高画質化処理部１３２に代えて高画質化処理部２３２が設けられているとともに、動きベクトル検出部２３４が新たに設けられている他は、図４における場合と同様に構成されている。
高画質化処理部２３２は、動作モードが通常画面モードの場合、図４の高画質化処理部１３２と同様に、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される第１の画像としての、例えば、チャンネルCH1の通常の画像のフレームの画質を向上させたフレームを生成するノイズ除去処理を行い、即ち、入力メモリ１３１から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去し、その結果得られる第２の画像としての、ノイズが除去（低減）されたチャンネルCH1の画像のフレームを、出力メモリ１３３に供給する。
また、高画質化処理部２３２は、動作モードがマルチ画面モードの場合、やはり、図４の高画質化処理部１３２と同様に、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される第１の画像としての、例えば、チャンネルCH1乃至CH４の欠損フレームあり縮小画像それぞれから、第２の画像としてのチャンネルCH1乃至CH４の欠損フレームなし縮小画像それぞれを生成する欠損フレーム生成処理を行い、その第２の画像としてのチャンネルCH1乃至CH４の欠損フレームなし縮小画像それぞれを、出力メモリ１３３に供給する。
但し、高画質化処理部２３２は、ノイズ除去処理および欠損フレーム生成処理を、動きベクトル検出部２３４から供給される動きベクトルを用いて行うようになっている。
動きベクトル検出部２３４には、図１のチューナ部１１１が入力メモリ１３１に供給するのと同一の画像が供給されるようになっている。従って、動作モードが通常画面モードである場合、動きベクトル検出部２３４には、入力メモリ１３１から高画質化処理部２３２に供給される第１の画像と同一の、例えば、チャンネルCH１の通常の画像が供給される。
動きベクトル検出部２３４は、動作モードが通常画面モードの場合、システムコントローラ１１８（図１）から供給される制御信号にしたがい、通常画面モード用の動きベクトルを検出する通常画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部１１１が出力するチャンネルCH１の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部２３２に供給する。
一方、動作モードがマルチ画面モードである場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像それぞれが供給される。
動きベクトル検出部２３４は、動作モードがマルチ画面モードの場合、システムコントローラ１１８（図１）から供給される制御信号にしたがい、マルチ画面モード用の動きベクトルを検出するマルチ画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像のうちの、あるチャンネルとしての、例えば、チャンネルCH１の欠損フレームあり画像に注目すると、チャンネルCH1の欠損フレームあり画像の非欠損フレームを構成する各画素の動きベクトルを、チャンネルCH1の、その次の非欠損フレームを参照して検出する動きベクトル検出処理を行う。さらに、動きベクトル検出部２３４は、その動きベクトル検出処理の結果得られる動きベクトルの大きさを、後述する理由により１／２に縮小し、その１／２の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
動作モードがマルチ画面モードの場合、動きベクトル検出部２３４は、他のチャンネルCH2乃至CH4の欠損フレームあり画像についても、同様にして、マルチ画面モード用の動きベクトルを求め、高画質化処理部２３２に供給する。
なお、動作モードがマルチ画面モードの場合に、動きベクトル検出部２３４において、非欠損フレームの画素について検出した動きベクトルを、１／２の大きさにするのは、次のような理由による。
即ち、マルチ画面モードでは、上述したように、１フレームが、２×２（横×縦）の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の縮小画像が、それぞれ表示される。このため、入力メモリ１３１から高画質化処理部２３２に対しては、チューナ部１１１が出力するチャンネルCH1乃至CH４の欠損フレームあり画像それぞれを、小画面の大きさに縮小した大きさ、即ち、１フレームの画像の横と縦の画素数を、それぞれ１／２に縮小した（間引いた）大きさの欠損フレームあり縮小画像が供給される。
一方、動きベクトル検出部２３４では、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）それぞれを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、欠損フレームあり縮小画像を対象として動きベクトルを検出した場合の大きさの２倍となる。このため、動作モードがマルチ画面モードの場合、動きベクトル検出部２３４は、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）それぞれを対象に検出した動きベクトルを、欠損フレームあり縮小画像を対象として検出した動きベクトルに対応させるために、１／２の大きさに縮小して、高画質化処理部２３２に供給するようになっている。
以上のように構成される信号処理部１１４では、動作モードが通常画面モードの場合、チューナ部１１１から、例えば、チャンネルCH1の通常の画像が、入力メモリ１３１と動きベクトル検出部２３４に供給される。
入力メモリ１３１は、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からのチャンネルCH１の通常の画像を一時記憶し、その記憶した画像を、そのまま、高画質化処理部１３２に供給する。
また、動きベクトル検出部２３４は、システムコントローラ１１８からの制御信号にしたがい、チューナ部１１１が出力するチャンネルCH１の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部２３２に供給する。
高画質化処理部２３２は、システムコントローラ１１８からの制御信号にしたがい、動きベクトル検出部２３４からの動きベクトルを用いて、入力メモリ１３１から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去するノイズ除去処理としてのクラス分類適応処理を行い、そのノイズ除去処理結果としてのノイズ除去画像を、第２の画像として、出力メモリ１３３に供給する。
出力メモリ１３３は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部２３２が出力する第２の画像としてのチャンネルCH1のノイズ除去画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
一方、動作モードがマルチ画面モードの場合、チューナ部１１１から、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像それぞれが、入力メモリ１３１と動きベクトル検出部２３４に供給される。
入力メモリ１３１は、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からのチャンネルCH1乃至CH4の欠損フレームあり画像を記憶するとともに読み出すことで、各フレームのサイズ（大きさ）を、マルチ画面の小画面のサイズに縮小し、即ち、フレームの横と縦の画素数を、それぞれ１／２に縮小（間引き）し、その結果得られるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、高画質化処理部２３２に供給する。
また、動きベクトル検出部２３４は、システムコントローラ１１８からの制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1乃至CH４の欠損フレームあり画像それぞれの非欠損フレームを構成する画素の動きベクトルを検出し、その動きベクトルの大きさを１／２に縮小する。そして、動きベクトル検出部２３４は、その１／２の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
高画質化処理部２３２は、システムコントローラ１１８からの制御信号にしたがい、動きベクトル検出部２３４からの動きベクトルを用いて、入力メモリ１３１から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを第１の画像として、欠損フレームを生成する欠損フレーム生成処理としてのクラス分類適応処理を行い、その欠損フレーム生成処理の結果得られる第２の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像を、出力メモリ１３３に供給する。
出力メモリ１３３は、システムコントローラ１１８からの制御信号にしたがって、高画質化処理部２３２からのチャンネルCH1乃至CH4の欠損フレームなし縮小画像の書き込みを行うことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像の同一フレームを合成し、その結果得られる、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを、ディスプレイ１１７に供給する。
次に、図２４は、図２３の動きベクトル検出部２３４の構成例を示すブロック図である。
チューナ部１１１（図１）が出力する画像（入力画像）は、フレームメモリ２４１および動き検出回路２４４に供給される。
フレームメモリ２４１は、そこに供給される入力画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。従って、動き検出回路２４４に、第ｎ＋４フレームの入力画像が供給されるとき、フレームメモリ２４１から遅延回路２４２およびセレクタ２４３には、その１フレーム前の第ｎ＋３フレームの入力画像が供給される。
遅延回路２４２は、フレームメモリ２４１から供給される入力画像のフレームを、３フレーム分だけ遅延して、セレクタ２４３に供給する。従って、チューナ部１１１から動きベクトル検出部２３４に供給される入力画像のフレームは、フレームメモリ２４１および遅延回路２４２で、合計４フレーム分だけ遅延され、セレクタ２４３に供給されるから、動き検出回路２４４に、第ｎ＋４フレームの入力画像が供給されるとき、遅延回路２４２からセレクタ２４３には、その４フレーム前の第ｎフレームの入力画像が供給される。
セレクタ２４３には、上述したように、フレームメモリ２４１から第ｎ＋３フレームの入力画像が供給されるとともに、遅延回路２４２から第ｎフレームの入力画像が供給される。セレクタ２４３は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、フレームメモリ２４１からの第ｎ＋３フレームの入力画像、または遅延回路２４２からの第ｎフレームの入力画像のうちの一方を選択し、動き検出回路２４４に供給する。
動き検出回路２４４は、セレクタ２４３から供給される入力画像のフレームの各画素の動きベクトルを、チューナ部１１１（図１）から供給される第ｎフレームの入力画像を参照することにより検出し、選択部２４５に供給する。
選択部２４５は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、動き検出回路２４４から供給される動きベクトルをそのまま、またはその大きさを１／２に縮小し、高画質化処理部２３２に供給する。
以上のように構成される動きベクトル検出部２３２では、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがい、通常画面モード用の動きベクトルが検出される。
即ち、動作モードが通常画面モードの場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力する、例えば、チャンネルCH１の通常の画像が供給され、このチャンネルCH１の通常の画像は、フレームメモリ２４１および動きベクトル検出回路２４４に供給される。
フレームメモリ２４１は、そこに供給されるチャンネルCH１の通常の画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。セレクタ２４３は、システムコントローラ１１８からの制御信号にしたがい、フレームメモリ２４１からのチャンネルCH１の通常の画像のフレームを選択し、動き検出回路２４４に供給する。
ここで、上述したことから、動き検出回路２４４に、第ｎ＋４フレームのチャンネルCH１の通常の画像が供給されるとき、フレームメモリ２４１からセレクタ２４３には、その１フレーム前の第ｎ＋３フレームのチャンネルCH1の通常の画像が供給される。そして、いまの場合、セレクタ２４３は、フレームメモリ２４１からのチャンネルCH１の通常の画像のフレームを選択し、動き検出回路２４４に供給するから、第ｎ＋３フレームと第ｎ＋４フレームのチャンネルCH１の通常の画像、即ち、チャンネルCH１の通常の画像のあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路２４４に供給される。
動き検出回路２４４は、注目フレームのチャンネルCH１の通常の画像の各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH１の通常の画像を参照することにより検出し、選択部２４５に供給する。
選択部２４５は、システムコントローラ１１８からの制御信号にしたがい、動き検出回路２４４から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
一方、動作モードがマルチ画面モードの場合、動きベクトル検出部２３２では、システムコントローラ１１８からの制御信号にしたがい、マルチ画面モード用の動きベクトルが検出される。
即ち、動作モードがマルチ画面モードの場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力する、例えば、チャンネルCH１乃至CH4の欠損フレームあり画像が供給され、このチャンネルCH１乃至CH4の欠損フレームあり画像は、フレームメモリ２４１および動きベクトル検出回路２４４に供給される。
フレームメモリ２４１は、そこに供給されるチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。遅延回路２４２は、フレームメモリ２４１から供給されるチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを、さらに、３フレーム分だけ遅延し、セレクタ２４３に供給する。
セレクタ２４３は、システムコントローラ１１８からの制御信号にしたがい、遅延回路２４２からのチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを選択し、動き検出回路２４４に供給する。
ここで、上述したことから、動き検出回路２４４に、第ｎ＋４フレームの画像が供給されるとき、遅延回路２４２からセレクタ２４３には、その４フレーム前の第ｎフレームの画像が供給される。そして、いまの場合、セレクタ２４３は、遅延回路２４２からの第ｎフレームを選択し、動き検出回路２４４に供給するから、動き検出回路２４４には、第ｎフレームと第ｎ＋４フレームの画像が供給される。
一方、動作モードがマルチ画面モードの場合、チューナ部１１８から動きベクトル検出部２３４には、上述したように、チャンネルCH１乃至CH4の欠損フレームあり画像が供給される。このチャンネルCH１乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが４フレームごとに存在する画像であるから、動き検出回路２４４には、チャンネルCH１乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレームが、動き検出回路２４４に供給される。
動き検出回路２４４は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部２４５に供給する。
選択部２４５は、システムコントローラ１１８からの制御信号にしたがい、動き検出回路２４４から供給される動きベクトルを、１／２の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
次に、図２５は、図２３の高画質化処理部２３２の構成例を示している。なお、図中、図１０の高画質化処理部１３２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の高画質化処理部２３２は、動きベクトル検出部１５１が設けられていない他は、図１０の高画質化処理部１３２と同様に構成されている。
高画質化処理部２３２では、図１０の高画質化処理部１３２における場合と同様の処理が行われる。
但し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５は、動きベクトル検出部１５１（図１０）から供給される動きベクトルではなく、動きベクトル検出部２３４（図２３）から供給される動きベクトルを用いて、図１０の高画質化処理部１３２における場合と同様の処理を行う。
また、図２３の高画質化処理部２３２の係数メモリ１５７を構成する通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2には、それぞれ、図１１と図１７の学習装置で得られたタップ係数ではなく、後述する学習装置によって得られたタップ係数が記憶されている。
但し、図２３の高画質化処理部２３２における通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2に記憶されているタップ係数も、それぞれ、図１０の高画質化処理部１３２における通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2に記憶されているタップ係数と同様に、ノイズ除去処理用のタップ係数と欠損フレーム生成処理用のタップ係数であることに変わりはない。
次に、図２６は、図２５の高画質化処理部２３２の処理を説明するフローチャートである。
まず最初に、ステップＳ２１１において、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７が、システムコントローラ１１８（図１）から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップＳ２１２に進む。
ステップＳ２１２では、注目画素選択部１５０は、入力メモリ１３１（図４）から高画質化処理部１３２に供給される第１の画像をクラス分類適応処理により変換することによって得られる第２の画像を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素として選択し、ステップＳ２１３に進む。
ステップＳ２１３では、クラスタップ構造決定部１５２は、動きベクトル検出部２３４（図２３）から供給される動きベクトルにしたがい、注目画素について、第１と第２のタップ中心位置を求め、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、第１と第２のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第１と第２のタップ中心画素として求める。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第１の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
また、ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
その後、ステップＳ２１３からＳ２１４に進み、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についてのクラスタップとして、クラス生成部１５５に供給する。さらに、ステップＳ２１４では、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についての予測タップとして、積和演算部１５８に供給して、ステップＳ２１５に進む。
ステップＳ２１５では、クラス生成部１５５は、動きベクトル検出部２３４（図２３）から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給して、ステップＳ２１６に進む。
ステップＳ２１６では、係数メモリ１５７は、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給し、ステップＳ２１７に進む。
ステップＳ２１７では、積和演算部１５８は、予測タップ選択部１５６からの注目画素についての予測タップと、係数メモリ１５７からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）の演算を行うことにより、注目画素（の画素値）を求めて出力する。
その後、ステップＳ２１７からＳ２１８に進み、注目画素選択部１５０は、第２の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２１８において、まだ注目画素としていない第２の画像の画素があると判定された場合、ステップＳ２１２に戻り、注目画素選択部１５０は、まだ注目画素としていない第２の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ２１８において、まだ注目画素としていない第２の画像の画素がないと判定された場合、処理を終了する。
ここで、図２５の高画質化処理部２３２では、上述した高画質化処理部１３２（図１０）と同様に、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
そこで、図１のシステムコントローラ１１８は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部２３２のクラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７に供給（送信）する。
そして、高画質化処理部２３２のクラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７は、図２６のステップＳ２１１で説明したように、システムコントローラ１１８から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
具体的には、動作モードが通常画面モードの場合、チューナ部１１１が、例えば、上述したように、チャンネルCH1の通常の画像を出力するものとすると、図２６のステップＳ２１３において、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
また、ステップＳ２１６では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちの通常画面モードメモリ１５７1を選択し、その選択した通常画面モードメモリ１５７1に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
一方、動作モードがマルチ画面モードの場合、チューナ部１１１が、例えば、上述したように、チャンネルCH1乃至CH4の欠損フレームあり画像を出力するものとして、チャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある１チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図２６のステップＳ２１３において、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
同様に、ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
また、ステップＳ２１６では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちのマルチ画面モードメモリ１５７2を選択し、その選択したマルチ画面モードメモリ１５７2に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
なお、動作モードが通常画面モードの場合、図２３の動きベクトル検出部２３４において、動きベクトルの検出対象の画像が、例えば、チャンネルCH1の通常の画像であるときには、高画質化処理部２３２における処理対象も、そのチャンネルCH1の通常の画像となるから、注目画素に対応する対応画素の動きベクトルは、一意に決まる。
即ち、動作モードが通常画面モードの場合には、高画質化処理部２３２では、処理対象としての第１の画像が、その第１の画像からノイズを除去した第２の画像に変換される。そして、第１の画像は、例えば、チャンネルCH1の通常の画像であり、そのチャンネルCH1の通常の画像の画素のうちの、第２の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる。
また、図２３の動きベクトル検出部２３４では、高画質化処理部２３２の処理対象と同一の第１の画像としてのチャンネルCH1の通常の画像の各画素について、動きベクトルが検出されるから、注目画素に対応する対応画素の動きベクトルは、チャンネルCH1の通常の画像の画素のうちの、対応画素となっている画素について検出された動きベクトルとなる。
一方、動作モードがマルチ画面モードの場合、高画質化処理部２３２では、例えば、チャンネルCH1乃至CH4の欠損フレームあり縮小画像を、第１の画像として、その第１の画像が、第１の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像に変換される。そして、第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちの、第２の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる点については、動作モードが通常画面モードである場合と同様である。
しかしながら、動作モードがマルチ画面モードの場合、図２３の動きベクトル検出部２３４では、高画質化処理部２３２の処理対象である第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像を縮小する前の、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）の各画素について、動きベクトルが検出される。
即ち、動作モードがマルチ画面モードの場合、対応画素は、高画質化処理部２３２の処理対象となる第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちのいずれかである。しかしながら、図２３の動きベクトル検出部２３４では、動きベクトルは、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像の画素について検出され、その縮小後のチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素については検出されない。
但し、チャンネルCH1乃至CH4の欠損フレームあり縮小画像（以下、適宜、単に、縮小画像ともいう）は、動きベクトルの検出対象である、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像（以下、適宜、縮小前画像ともいう）であり、縮小画像の１画素は、縮小前画像の複数の画素に対応する。
そこで、動作モードがマルチ画面モードの場合においては、縮小画素の１画素である対応画素の動きベクトルとしては、その対応画素に対応する、縮小前画像の複数の画素それぞれについて検出された動きベクトル（図２３の動きベクトル検出部２３４が出力する動きベクトル）に基づく動きベクトル、即ち、例えば、その複数の画素のうちの１画素について検出された動きベクトルや、その複数の画素それぞれについて検出された動きベクトルの平均ベクトルなどを採用することができる。
このことは、動作モードがマルチ画面モードの場合に図２５の高画質化処理部２３２で用いられる欠損フレーム生成処理用のタップ係数（図２５のマルチ画面モードメモリ１５７2に記憶されるタップ係数）を学習する、後述する学習装置においても、同様である。
次に、図２７は、式（８）の正規方程式をたてて解くことにより、図２５の通常画面モードメモリ１５７1に記憶させるノイズ除去処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の学習装置は、係数生成処理部１７５に代えて係数生成処理部２５５が設けられているとともに、動きベクトル検出部２５６が新たに設けられている他は、図１１の学習装置と同様に構成されている。
従って、図２７の学習装置においては、図１１における場合と同様に、例えば、ノイズのない高画質画像が、学習用画像として、教師データ生成部１７１と生徒データ生成部１７３に供給される。
教師データ生成部１７１は、そこに供給される学習用画像から、通常画面モード時の第２の画像に対応する教師画像を生成し、即ち、例えば、学習用画像としての高画質画像を、そのまま教師画像として、教師データ記憶部１７２に供給して記憶させる。
生徒データ生成部１７３は、学習用画像から、通常画面モード時の第１の画像に対応する生徒画像を生成し、即ち、例えば、学習用画像としての高画質画像にノイズを付加することにより、低画質画像を生成し、この低画質画像を、生徒画像として、生徒データ記憶部１７４に供給して記憶させる。
係数生成処理部２５５は、教師データ記憶部１７２に記憶された教師画像としての高画質画像、および生徒データ記憶部１７４に記憶された生徒画像としての低画質画像、さらには、動きベクトル検出部２５６から供給される動きベクトルを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力する。
動きベクトル検出部２５６は、生徒データ記憶部１７４に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部２５５に供給する。
図２８は、図２９の動きベクトル検出部２５６の構成例を示している。
動きベクトル検出部２５６においては、生徒データ記憶部１７４（図２７）に記憶された生徒画像が、例えば、フレーム単位で、フレームメモリ２６１と動き検出回路２６４に供給される。
フレームメモリ２６１は、生徒データ記憶部１７４から供給される生徒画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、動き検出回路２６４に供給する。従って、生徒データ記憶部１７４から動き検出回路２６４に、第ｎ＋１フレームの入力画像が供給されるとき、フレームメモリ２６１から動き検出回路２６４には、その１フレーム前の第ｎフレームの生徒画像が供給される。
動き検出回路２６４は、フレームメモリ２６１から供給される生徒画像の第ｎフレームの各画素の動きベクトルを、生徒データ記憶部１７４から供給される第ｎ＋１フレームの生徒画像を参照することにより検出し、選択部２６５に供給する。
選択部２６５は、動き検出回路２６４から供給される動きベクトルをそのまま、係数生成処理部２５５（図２７）に供給する。
以上のように構成される動きベクトル検出部２５６では、生徒データ記憶部１７４（図２７）に記憶された生徒画像の各画素について、動きベクトル（通常画面モード用の動きベクトル）が検出される。
即ち、動きベクトル検出部２５６には、生徒データ記憶部１７４に記憶された生徒画像が、例えば、フレーム単位で供給され、その生徒画像のフレームは、フレームメモリ２６１と動き検出回路２６４に供給される。
フレームメモリ２６１は、そこに供給される生徒画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、動き検出回路２６４に供給する。従って、フレームメモリ２６１から動き検出回路２６４に供給される生徒画像のフレームを注目フレームというものとすると、動き検出回路２６４には、注目フレームと、その注目フレームの次のフレームが供給される。
動き検出回路２６４は、注目フレームの生徒画像の各画素の動きベクトルを、その注目フレームの次のフレームの生徒画像を参照することにより検出し、選択部２６５に供給する。
選択部２６５は、動き検出回路２６４から供給される動きベクトルを、そのまま、係数生成処理部２５５（図２７）に供給する。
なお、選択部２６５が係数生成処理部２５５に供給する動きベクトルは、図２３の動きベクトル検出部２３４が、通常画面モード時に高画質化処理部２３２に供給する通常画面モード用の動きベクトルに相当する。
図２９は、図２７の係数生成処理部２５５の構成例を示している。なお、図中、図１３の係数生成処理部１７５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２９の係数生成処理部２５５は、動きベクトル検出部１８１が設けられていない他は、図１３の係数生成処理部１７５と同様に構成されている。
従って、図２９の係数生成処理部２５５では、図１３の係数生成処理部１７５における場合と同様の処理が行われる。
但し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、およびクラス生成部１８５は、動きベクトル検出部１８１（図１３）から供給される動きベクトルではなく、動きベクトル検出部２５６（図２３、図２４）から供給される通常画面モード用の動きベクトルを用いて、図１３の係数生成処理部１７５における場合と同様の処理を行う。
次に、図３０のフローチャートを参照して、図２７の学習装置の処理（学習処理）について、説明する。
まず最初に、ステップＳ２２１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１７１は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部１７３は、学習用画像にノイズを付加することにより、生徒画像を生成する。
教師データ生成部１７１が生成した教師画像は、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が生成した生徒画像は、生徒データ記憶部１７４に供給されて記憶される。
その後、ステップＳ２２２に進み、動きベクトル検出部２５６は、生徒データ記憶部１７４に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部２５５に供給して、ステップＳ２２３に進む。
ステップＳ２２３では、係数生成処理部２５５（図２９）の注目画素選択部１８０は、教師データ記憶部１７２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２２４に進む。
ステップＳ２２４では、クラスタップ構造決定部１８２、および予測タップ構造決定部１８３が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ２２５に進む。
ステップＳ２２５乃至Ｓ２２９では、図１６のステップＳ１５５乃至Ｓ１５９における場合とそれぞれ同様の処理が行われ、これにより、上述した式（８）の足し込みが、クラス生成部１８５から供給されるクラスコードごとに行われる。
そして、ステップＳ２２９において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ２２３に戻り、注目画素選択部１８０は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ２２９において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ２３０に進み、予測係数作成部１８７は、図１６のステップＳ１６０における場合と同様に、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
図２５の通常画面モードメモリ１５７1には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
次に、図３１は、式（８）の正規方程式をたてて解くことにより、図１０のマルチ画面モードメモリ１５７2に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３１の学習装置は、係数生成処理部１９５に代えて係数生成処理部２８５が設けられているとともに、動きベクトル検出部２８６が新たに設けられている他は、図１７の学習装置と同様に構成されている。
従って、図３１の学習装置においては、図１７の学習装置における場合と同様に、例えば、欠損フレームのない画像が、学習用画像として、教師データ生成部１９１と生徒データ生成部１９３に供給される。
さらに、図３１の学習装置においては、学習用画像が、動きベクトル検出部２８６にも供給される。
教師データ生成部１９１は、そこに供給される学習用画像から、マルチ画面モード時の第２の画像である欠損フレームなし縮小画像に対応する教師画像を生成し、即ち、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームなし縮小画像を、教師画像として生成し、教師データ記憶部１９２に供給して記憶させる。
生徒データ生成部１９３は、学習用画像から、マルチ画面モード時の第１の画像である欠損フレーム画像あり縮小画像に対応する生徒画像を生成し、即ち、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成し、さらに、その欠損フレームなし縮小画像のフレームを間引くことにより、４フレームにつき３フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部１９４に供給して記憶させる。
係数生成処理部２８５は、教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像、および生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームあり縮小画像、さらには、動きベクトル検出部２８６から供給される動きベクトルを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力する。
動きベクトル検出部２８６は、生徒データ生成部１９３において、画素およびフレームが間引かれる前（空間および時間方向の間引きが行われる前）の学習用画像の画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部２８５に供給する。
図３２は、図３１の動きベクトル検出部２８６の構成例を示している。
動きベクトル検出部２８６においては、生徒データ生成部１９３（図３１）に供給されるのと同一の学習用画像が、例えば、フレーム単位で、遅延回路２９２と動き検出回路２９４に供給される。
遅延回路２９２は、そこに供給される学習用画像のフレームを、例えば４フレーム分だけ遅延して、動き検出回路２９４に供給する。従って、動き検出回路２９４には、第ｎフレームの学習用画像と、その４フレーム後の第ｎ＋４フレームの学習用画像が供給される。
動き検出回路２９４は、学習用画像の第ｎフレームの各画素の動きベクトルを、学習用画像の第ｎ＋４フレームを参照することにより検出し、選択部２９５に供給する。
選択部２９５は、動き検出回路２６４から供給される動きベクトルを、その大きさを１／２に縮小し、その縮小の結果得られる動きベクトルを、高画質化処理部２３２に供給する。
以上のように構成される動きベクトル検出部２８６では、生徒データ生成部１９３（図３１）に供給されるのと同一の学習用画像の画素について、動きベクトル（マルチ画面モード用の動きベクトル）が検出される。
即ち、動きベクトル検出部２８６には、学習用画像が、例えば、フレーム単位で供給され、その学習用画像のフレームは、遅延回路２９２と動き検出回路２９４に供給される。
遅延回路２９２は、そこに供給される学習用画像のフレームを、４フレーム分だけ遅延して、動き検出回路２９４に供給する。即ち、これにより、上述したように、動き検出回路２９４には、第ｎフレームの学習用画像と、その４フレーム後の第ｎ＋４フレームの学習用画像が供給される。
動き検出回路２９４は、第ｎフレームの学習用画像の各画素の動きベクトルを、第ｎ＋４フレームの学習用画像を参照することにより検出し、選択部２９５に供給する。
選択部２９５は、動き検出回路２６４から供給される動きベクトルを縮小し、その縮小の結果得られる動きベクトルを、係数生成処理部２８５（図３１）に供給する。
なお、選択部２９５が係数生成処理部２８５に供給する動きベクトルは、図２３の動きベクトル検出部２３４が、マルチ画面モード時に高画質化処理部２３２に供給するマルチ画面モード用の動きベクトルに相当する。
即ち、マルチ画面モード時においては、図２３の高画質化処理部２３２の処理対象である第１の画像は、生徒データ生成部１９３（図３１）で生成される生徒画像に対応し、その処理後に得られる第２の画像は、教師データ生成部１９１（図３１）で生成される教師画像に対応する。さらに、図２３の動きベクトル検出部２３４では、上述したように、縮小画像である第２の画像を縮小する前の縮小前画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その４フレーム後を参照して求められる。
図３２の動きベクトル検出部２８６でも、生徒画像を縮小する前の学習用画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その４フレーム後を参照して求められるので、動きベクトル検出部２８６が検出する動きベクトルは、マルチ画面モード時に動きベクトル検出部２３４が高画質化処理部２３２に供給するマルチ画面モード用の動きベクトルに相当する。
次に、図３３は、図３１の係数生成処理部２８５の構成例を示している。なお、図中、図１９の係数生成処理部１９５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３３の係数生成処理部２８５は、動きベクトル検出部２０１が設けられていない他は、図１９の係数生成処理部１９５と同様に構成されている。
図３３の係数生成処理部２８５では、図１９の係数生成処理部１９５における場合と同様の処理が行われる。
但し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５は、動きベクトル検出部２０１（図１９）から供給される動きベクトルではなく、動きベクトル検出部２８６（図３１、図３２）から供給されるマルチ画面モード用の動きベクトルを用いて、図１９の係数生成処理部１９５における場合と同様の処理を行う。
次に、図３４のフローチャートを参照して、図３１の学習装置の処理（学習処理）について、説明する。
まず最初に、ステップＳ２５１において、教師データ生成部１９１と生徒データ生成部１９３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１９１は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部１９３は、学習用画像を縮小し、さらに、フレームを間引くことにより、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
教師データ生成部１９１が生成した教師画像は、教師データ記憶部１９２に供給されて記憶され、生徒データ生成部１９３が生成した生徒画像は、生徒データ記憶部１９４に供給されて記憶される。
その後、ステップＳ２５２に進み、動きベクトル検出部２８６は、学習用画像の各画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部２８５に供給して、ステップＳ２５３に進む。
ステップＳ２５３では、係数生成処理部２８５（図３３）の注目画素選択部２００は、教師データ記憶部１９２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２５４に進む。
ステップＳ２５４では、クラスタップ構造決定部２０２、および予測タップ構造決定部２０３が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ２５５に進む。
ステップＳ２５５乃至Ｓ２６０では、図２１のステップＳ１７５乃至Ｓ１８０における場合とそれぞれ同様の処理が行われ、これにより、上述した式（８）の足し込みが、クラス生成部１８５から供給されるクラスコードごとに行われる。
そして、ステップＳ２６０において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ２５３に戻り、注目画素選択部２００は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ２６０において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ２６１に進み、予測係数作成部２０７は、図２１のステップＳ１８１における場合と同様に、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
図２５のマルチ画面モードメモリ１５７2には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
次に、図３５は、図１の信号処理部１１４（さらには、信号処理部１１５および１１６）のさらに他の構成例を示している。
図３５では、信号処理部１１４は、図４の高画質化処理部１３２に相当する高画質化処理部３３２と、図４の出力メモリ１３３に相当する出力メモリ３３３とで構成されている。
即ち、図３５の信号処理部１１４は、図４の入力メモリ１３１に相当するメモリを設けずに構成されている。
図４では、通常画面モード時には、チューナ部１１１が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、入力メモリ１３１を介して、高画質化処理部１３２に供給され、マルチ画面モード時には、チューナ部１１１が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小前画像）を縮小したチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、入力メモリ１３１を介して、高画質化処理部１３２に供給されるようになっていたが、図３５では、通常画面モード時およびマルチ画面モード時のいずれであっても、チューナ部１１１が出力する画像が、そのまま、高画質化処理部３３２に供給されるようになっている。
従って、図３５では、通常画面モード時においては、図４における場合と同様に、チューナ部１１１が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、高画質化処理部３３２に供給される。
そして、高画質化処理部３３２は、システムコントローラ１１８から供給される制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1の通常の画像を第１の画像として、図４の高画質化処理部１３２における場合と同様のノイズ除去処理を行い、その結果得られるノイズ除去画像を、第２の画像として、出力メモリ３３３に供給する。
出力メモリ３３３は、動作モードが通常画面モードの場合は、図４の出力メモリ１３３と同様に、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部３３２が出力する第２の画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
一方、マルチ画面モード時においては、チューナ部１１１が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小前画像）が、そのまま、高画質化処理部３３２に供給される。
そして、高画質化処理部３３２は、システムコントローラ１１８から供給される制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像を第１の画像として、図４の高画質化処理部１３２における場合と同様の欠損フレーム生成処理を行い、その結果得られるチャンネルCH1乃至CH4の欠損フレームなし画像を、第２の画像として、出力メモリ３３３に供給する。
ここで、マルチ画面モード時において高画質化処理部３３２が欠損フレーム生成処理の対象とする第１の画像は、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像、即ち、縮小前画像であり、また、高画質化処理部３３２での欠損フレーム生成処理の結果得られる画像も、チャンネルCH1乃至CH4の欠損フレームなし画像、即ち、縮小前画像である。
このため、高画質化処理部３３２は、欠損フレーム生成処理用のタップ係数として、そのような縮小前画像の教師画像と生徒画像とを用いた学習により得られるものを記憶しており、その点が、図４の高画質化処理部１３２と異なっている。
出力メモリ３３３は、動作モードがマルチ画面モードの場合は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部１３２からの第２の画像としてのチャンネルCH1乃至CH4の欠損フレームなし画像の同一フレームを縮小しながら合成することにより、そのチャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ１１７（図１）に供給する。
即ち、システムコントローラ１１８が出力する制御信号には、出力メモリ３３３の書き込みアドレスと読み出しアドレスが含まれている。出力メモリ３３３は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部３３２からのチャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素（の画素値）を、水平方向と垂直方向それぞれについて所定の画素数おきに書き込むことにより、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を縮小した縮小画像を生成する。さらに、出力メモリ３３３は、その書き込みの際、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域にそれぞれ書き込むことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成（記憶）する。
そして、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、生成（記憶）した出力画像のフレームを読み出し、ディスプレイ１１７に供給する。
図４の信号処理部１１４では、動作モードがマルチ画面モードの場合に、入力メモリ１３１において、チャンネルCH1乃至CH4の欠損フレームあり画像が、縮小画像に縮小され、その後、高画質化処理部１３２において、そのチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、欠損フレームなし縮小画像に変換されるが、図３５の信号処理部１１４では、動作モードがマルチ画面モードの場合に、チャンネルCH1乃至CH4の欠損フレームあり画像が、欠損フレームなし画像に変換され、その後、出力メモリ３３３において、欠損フレームなし画像が、欠損フレームなし縮小画像に縮小される。
なお、図４の信号処理部１１４では、チューナ部１１１が出力する画像が、フレーム単位で、入力メモリ１３１に記憶されてから、高画質化処理部１３２に供給されるため、高画質化処理部１３２には、常時、ほぼ１フレーム分の時間の処理時間が与えられるので、動作モードの切り替え時において、高画質化処理部１３２が出力する画像（画面）の同期が比較的とりやすい。図２３の信号処理部１１４においても同様である。
一方、図３５の信号処理部１１４は、図４の入力メモリ１３１に相当するメモリを設けずに構成することができるので、装置の小規模化および低コスト化を図ることができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図３６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本実施の形態では、マルチ画面モード時において、４チャンネルCH1乃至CH4の縮小画像を表示するようにしたが、マルチ画面モードにおいて表示する縮小画像は、４チャンネルに限定されるものではない。
また、本実施の形態では、マルチ画面を、２×２の小画面で構成するようしたが、マルチ画面は、その他、例えば、１×４（４×１）や、その他の任意の数の小画面で構成することができる。さらに、マルチ画面は、ディスプレイ１１７（図１）の画面全体に表示されるものであっても良いし、その一部に表示されるものであっても良い。
また、本実施の形態では、チューナ部１１１を１つだけ設けるようにしたが、チューナ部１１１は、２以上設けても良い。２以上のチューナ部１１１を設ける場合には、例えば、その２以上のチューナ部１１１それぞれで、複数のチャンネルを分担して受信することにより、信号処理部１１４に対して、コマ落ちの少ない画像を供給することができる。
さらに、２以上のチューナ部１１１を設ける場合には、例えば、ある１以上のチューナ部１１１で複数チャンネルを受信して、その複数チャンネルの縮小画像からなるマルチ画面を、ディスプレイ１１７の一部の領域に表示し、他の１つのチューナ部１１１で、マルチ画面上でフォーカスされている縮小画像のチャンネルを受信して、ディスプレイ１１７の残りの領域に表示するようなことが可能となる。
また、本実施の形態では、放送局から放送されてくるテレビジョン番組放送のチャンネルを受信するようにしたが、例えば、VTRや、DVDプレーヤ、その他の画像を出力する複数の装置それぞれが出力する画像を受信し、マルチ画面で表示することも可能である。
さらに、本実施の形態では、例えば、図１０のクラス生成部１１５等において、クラスタップと動きベクトルに基づいてクラス分類を行うようにしたが、クラス分類は、その他、例えば、注目画素の空間的位相（位置）を表す情報としての、タップ中心位置とタップ中心画素の位置との位置関係（例えば、タップ中心位置とタップ中心画素の位置との距離や、タップ中心位置とタップ中心画素の位置のうちの一方を始点とするとともに、他方を終点とするベクトルなど）にも基づいて行うことが可能である。
また、クラス分類は、例えば、注目画素の時間的位相（位置）を表す情報、即ち、例えば、図２０において、非欠損フレームどうしの間隔ｔ5−ｔ1を１としたときの、注目画素Ａ1（Ａ2）の直前の非欠損フレーム（第ｔ1フレーム）から注目画素Ａ1のフレームまでの距離（時間）などにも基づいて行うことが可能である。
さらに、本実施の形態では、マルチ画面モード時に、クラス分類適応処理によって、欠損フレームを生成する欠損フレーム生成処理を行うようにしたが、その他、クラス分類適応処理によれば、画像の縮小（画素の間引き）と欠損フレームの生成とを同時に行うことも可能である。但し、この場合、そのようなクラス分類適応処理を行うためのタップ係数、即ち、例えば、欠損フレームのない縮小前画像を教師画像とするとともに、その教師画像のフレームと画素を間引いた画像（教師画像の時間的解像度および空間的解像度の両方を劣化させた画像）を生徒画像として学習を行うことにより得られるタップ係数を、あらかじめ求めておく必要がある。
また、本実施の形態では、通常画面モード時に、画質を向上させる処理として、ノイズ除去処理を行うようにしたが、画質を向上させる処理としては、その他、例えば、空間解像度を向上させる処理等を行うようにすることが可能である。
なお、欠損フレーム生成処理用のタップ係数は、上述した学習装置において得られるものを用いる他、本件出願人が先に提案しているクラス分類適応処理関係の出願において開示している学習処理によって求められる、フレーム（またはフィールド）間の画素の生成用のタップ係数を用いることができる。
本発明を適用したテレビジョン受像機の一実施の形態の構成例を示すブロック図である。 システムコントローラ１１８によるチューナ部１１１の制御を説明するための図である。 通常画面モードとマルチ画面モード時の画面表示を説明するための図である。 信号処理部１１４の第１実施の形態の構成例を示すブロック図である。 通常画面モード時の信号処理部１１４の処理の概要を説明するための図である。 マルチ画面モード時の信号処理部１１４の処理の概要を説明するための図である。 通常画面モード時の信号処理部１１４の処理を説明するフローチャートである。 マルチ画面モード時の信号処理部１１４の処理を説明するフローチャートである。 システムコントローラ１１８の処理を説明するフローチャートである。 高画質化処理部１３２の構成例を示すブロック図である。 ノイズ除去処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。 ノイズ除去処理用のタップ係数を学習するときに用いられる学習用画像、教師画像、および生徒画像を説明するための図である。 係数生成処理部１７５の構成例を示すブロック図である。 通常画面モード用のタップ構造の画素を決定する決定方法を説明するための図である。 クラスタップおよび予測タップを構成する画素（タップ構造）の例を示す図である。 ノイズ除去処理用のタップ係数を学習する学習処理を説明するフローチャートである。 欠損フレーム生成処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。 欠損フレーム生成処理用のタップ係数を学習するときに用いられる学習用画像、教師画像、および生徒画像を説明するための図である。 係数生成処理部１９５の構成例を示すブロック図である。 マルチ画面モード用のタップ構造の画素を決定する決定方法を説明するための図である。 欠損フレーム生成処理用のタップ係数を学習する学習処理を説明するフローチャートである。 高画質化処理部１３２の処理を説明するフローチャートである。 信号処理部１１４の第２実施の形態の構成例を示すブロック図である。 動きベクトル検出部２３４の構成例を示すブロック図である。 高画質化処理部２３２の構成例を示すブロック図である。 高画質化処理部２３２の処理を説明するフローチャートである。 ノイズ除去処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。 動きベクトル検出部２５６の構成例を示すブロック図である。 係数生成処理部２５５の構成例を示すブロック図である。 ノイズ除去処理用のタップ係数を学習する学習処理を説明するフローチャートである。 欠損フレーム生成処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。 動きベクトル検出部２８６の構成例を示すブロック図である。 係数生成処理部２８５の構成例を示すブロック図である。 欠損フレーム生成処理用のタップ係数を学習する学習処理を説明するフローチャートである。 信号処理部１１４の第３実施の形態の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１０１ テレビジョン受像機， １０２ アンテナ， １０３ リモコン， １１１ チューナ部， １１２ 増幅回路， １１３ スピーカ， １１４乃至１１６ 信号処理部， １１７ ディスプレイ， １１８ システムコントローラ， １１９ リモコン受信部， １３１ 入力メモリ， １３２ 高画質化処理部， １３３ 出力メモリ， １５０ 注目画素選択部， １５１ 動きベクトル検出部， １５２ クラスタップ構造決定部， １５３ 予測タップ構造決定部， １５４ クラスタップ選択部、１５５ クラス生成部， １５６ 予測タップ選択部， １５７ 係数メモリ， １５７1 通常画面モードメモリ， １５７2 マルチ画面モードメモリ， １５８ 積和演算部， １７１ 教師データ生成部， １７２ 教師データ記憶部， １７３ 生徒データ生成部， １７４ 生徒データ記憶部， １７５ 係数生成処理部， １８０ 注目画素選択部， １８１ 動きベクトル検出部， １８２ クラスタップ構造決定部， １８３ 予測タップ構造決定部， １８４ クラスタップ選択部、１８５ クラス生成部， １８６ 予測タップ選択部， １８７ 予測係数作成部， １９１ 教師データ生成部， １９２ 教師データ記憶部， １９３ 生徒データ生成部， １９４ 生徒データ記憶部， １９５ 係数生成処理部， ２００ 注目画素選択部， ２０１ 動きベクトル検出部， ２０２ クラスタップ構造決定部， ２０３ 予測タップ構造決定部， ２０４ クラスタップ選択部、２０５ クラス生成部， ２０６ 予測タップ選択部， ２０７ 予測係数作成部， ２３２ 高画質化処理部， ２３３ 動きベクトル検出部， ２４１ フレームメモリ， ２４２ 遅延回路， ２４３ セレクタ， ２４４ 動き検出回路， ２４５ 選択部， ２５５ 係数生成処理部， ２５６ 動きベクトル検出部， ２６１ フレームメモリ， ２６４ 動き検出回路， ２６５ 選択部， ２８５ 係数生成処理部， ２８６ 動きベクトル検出部， ２９２ 遅延回路， ２９４ 動き検出回路， ２９５ 選択部， ３３２ 高画質化処理部， ３３３ 出力メモリ， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (12)

  1. 伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理装置において、
    入力画像を取得する取得手段と、
    複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、
    前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
    ユーザの操作に応じて、
    前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
    任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
    の動作モードの切り替えの制御を行う制御手段と
    を備え、
    前記フィールド／フレーム生成手段は、
    所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
    前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
    学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
    前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
    前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
    を有し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
    前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記動作モードが、前記マルチ画面モードである場合、
    前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
    前記動作モードが、前記通常画面モードである場合、
    前記取得手段は、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
    画像処理装置。
  2. 前記取得手段は、前記複数のチャンネルの数のフィールドまたはフレームの周期のコマ落ちした前記入力画像を出力する
    請求項１に記載の画像処理装置。
  3. 前記取得手段は、前記伝送信号を受信する１つのチューナである
    請求項１に記載の画像処理装置。
  4. 前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段をさらに備え、
    前記フィールド／フレーム生成手段は、前記複数系統の縮小画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、
    前記合成手段は、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
    請求項１に記載の画像処理装置。
  5. 前記縮小画像生成手段は、前記入力画像を記憶する入力画像記憶手段であり、
    前記入力画像記憶手段は、前記入力画像を読み出すときの読み出しアドレスが制御されることにより、前記縮小画像を出力する
    請求項４に記載の画像処理装置。
  6. 前記合成手段は、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成することにより、前記複数系統の入力画像を縮小した前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
    請求項１に記載の画像処理装置。
  7. 前記合成手段は、前記入力画像を記憶する入力画像記憶手段であり、
    前記入力画像記憶手段は、前記入力画像が書き込まれるときの書き込みアドレスが制御されることにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成する
    請求項６に記載の画像処理装置。
  8. 前記入力画像の動きベクトルを検出する動きベクトル検出手段をさらに備え、
    前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルに基づいて、前記入力画像の画素から、前記クラスタップまたは予測タップを選択する
    請求項１に記載の画像処理装置。
  9. 前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段をさらに備え、
    前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルを縮小したものに基づいて、前記縮小画像の画素から、前記クラスタップまたは予測タップを選択する
    請求項８に記載の画像処理装置。
  10. 伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理方法において、
    入力画像を取得する取得ステップと、
    複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、
    前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと、
    ユーザの操作に応じて、
    前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
    任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
    の動作モードの切り替えの制御を行う制御ステップと
    を含み、
    前記フィールド／フレーム生成ステップは、
    所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択ステップと、
    前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
    学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択ステップと、
    前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算を行う演算ステップと
    を有し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
    前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記動作モードが、前記マルチ画面モードである場合、
    前記取得ステップは、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
    前記動作モードが、前記通常画面モードである場合、
    前記取得ステップは、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
    画像処理方法。
  11. 伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理を、コンピュータに行わせるプログラムにおいて、
    入力画像を取得する取得手段と、
    複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、
    前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
    ユーザの操作に応じて、
    前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
    任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
    の動作モードの切り替えの制御を行う制御手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記フィールド／フレーム生成手段は、
    所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
    前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
    学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
    前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
    前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
    を有し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
    前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記動作モードが、前記マルチ画面モードである場合、
    前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
    前記動作モードが、前記通常画面モードである場合、
    前記取得手段は、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
    プログラム。
  12. 伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
    入力画像を取得する取得手段と、
    複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、
    前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
    ユーザの操作に応じて、
    前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
    任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
    の動作モードの切り替えの制御を行う制御手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記フィールド／フレーム生成手段は、
    所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
    前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
    学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
    前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
    前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
    を有し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
    前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
    前記動作モードが、前記マルチ画面モードである場合、
    前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
    前記動作モードが、前記通常画面モードである場合、
    前記取得手段は、１つのチャンネルの伝送信号を受信することにより、その１つのチャンネルの画像を、前記入力画像として取得して出力し、
    前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
    プログラムが記録されている記録媒体。
JP2004042905A 2004-02-19 2004-02-19 画像処理装置および画像処理方法、プログラム、並びに記録媒体 Expired - Fee Related JP4512978B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004042905A JP4512978B2 (ja) 2004-02-19 2004-02-19 画像処理装置および画像処理方法、プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004042905A JP4512978B2 (ja) 2004-02-19 2004-02-19 画像処理装置および画像処理方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2005236634A JP2005236634A (ja) 2005-09-02
JP4512978B2 true JP4512978B2 (ja) 2010-07-28

Family

ID=35019143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004042905A Expired - Fee Related JP4512978B2 (ja) 2004-02-19 2004-02-19 画像処理装置および画像処理方法、プログラム、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4512978B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI384437B (zh) 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
TW200834537A (en) 2006-12-18 2008-08-16 Sony Corp Dynamic image signal processing device
JP2008178075A (ja) 2006-12-18 2008-07-31 Sony Corp 表示制御装置、表示制御方法、及びプログラム
JP2009027592A (ja) * 2007-07-23 2009-02-05 Sharp Corp テレビジョン放送受信装置及びそのチューニングにおける画像表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04220823A (ja) * 1990-12-20 1992-08-11 Fujitsu Ltd 画像信号伝送制御方式
JPH07152905A (ja) * 1993-11-30 1995-06-16 Fujitsu Ltd 画像データ処理装置
JP2000125268A (ja) * 1998-10-15 2000-04-28 Sony Corp 画像データ変換装置及び画像データ変換方法
JP2002199349A (ja) * 2000-12-25 2002-07-12 Sony Corp 画像処理装置および方法
JP2003244659A (ja) * 2002-02-14 2003-08-29 Toshiba Corp フレーム補間方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04220823A (ja) * 1990-12-20 1992-08-11 Fujitsu Ltd 画像信号伝送制御方式
JPH07152905A (ja) * 1993-11-30 1995-06-16 Fujitsu Ltd 画像データ処理装置
JP2000125268A (ja) * 1998-10-15 2000-04-28 Sony Corp 画像データ変換装置及び画像データ変換方法
JP2002199349A (ja) * 2000-12-25 2002-07-12 Sony Corp 画像処理装置および方法
JP2003244659A (ja) * 2002-02-14 2003-08-29 Toshiba Corp フレーム補間方法

Also Published As

Publication number Publication date
JP2005236634A (ja) 2005-09-02

Similar Documents

Publication Publication Date Title
JP5093557B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20100202711A1 (en) Image processing apparatus, image processing method, and program
US7630576B2 (en) Signal processing apparatus and method, and command-sequence data structure
CN111432273B (zh) 信号处理装置和包括该信号处理装置的图像显示设备
JP2002218413A (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
WO2004055775A1 (ja) 画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP3885786B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム
JP4650123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4512978B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
KR101110209B1 (ko) 신호 처리 장치 및 신호 처리 방법
US20050111749A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
JP4310689B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2011211437A (ja) 画像処理装置および方法、並びにプログラム
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP4363199B2 (ja) 情報信号処理装置および情報信号処理方法
JP4457276B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
CN101527807B (zh) 数据处理设备、数据处理方法和程序
JP4349086B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4311166B2 (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4674439B2 (ja) 信号処理装置および信号処理方法、並びに情報記録媒体
JP4232430B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2008124639A (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP2003224830A (ja) 情報信号処理装置、情報信号処理方法および画像表示装置、それに使用される係数種データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2009026026A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees