JP4517300B2 - 表示装置および表示方法、学習装置および学習方法、並びにプログラム - Google Patents

表示装置および表示方法、学習装置および学習方法、並びにプログラム Download PDF

Info

Publication number
JP4517300B2
JP4517300B2 JP2006001579A JP2006001579A JP4517300B2 JP 4517300 B2 JP4517300 B2 JP 4517300B2 JP 2006001579 A JP2006001579 A JP 2006001579A JP 2006001579 A JP2006001579 A JP 2006001579A JP 4517300 B2 JP4517300 B2 JP 4517300B2
Authority
JP
Japan
Prior art keywords
image signal
display
image
signal
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006001579A
Other languages
English (en)
Other versions
JP2007184774A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006001579A priority Critical patent/JP4517300B2/ja
Priority to US11/610,233 priority patent/US7876323B2/en
Priority to EP06127117A priority patent/EP1806924B1/en
Priority to KR1020070000502A priority patent/KR20070074467A/ko
Priority to CN2007100003033A priority patent/CN1997112B/zh
Publication of JP2007184774A publication Critical patent/JP2007184774A/ja
Application granted granted Critical
Publication of JP4517300B2 publication Critical patent/JP4517300B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Description

本発明は、表示装置および表示方法、学習装置および学習方法、並びにプログラムに関し、複数の装置から構成されるシステムの性能を最大化することができるようにする表示装置および表示方法、学習装置および学習方法、並びにプログラムに関する。
例えば、番組の送受信を行う放送システムは、画像を撮影するカメラ（ビデオカメラ）、カメラが出力する画像信号を送信する送信装置、送信装置からの画像信号を受信する受信装置、および受信装置で受信された画像信号に対応する画像を表示する表示装置といった複数の装置で構成される。
このように、複数の装置で構成されるシステムでは、装置どうしの間で、信号がやりとりされる。例えば、放送システムでは、画像信号が、カメラから送信装置に送信され、送信装置で受信される。また、画像信号は、送信装置から受信装置に送信され、受信装置で受信される。さらに、画像信号は、受信装置から表示装置に送信され、表示装置で受信される。
放送システムを構成する装置どうしの間では、上述のように、画像信号がやりとりされる。このように、画像信号を、装置どうしの間でやりとりすることができるようにするために、さらには、放送システムを構成するカメラ、送信装置、受信装置、または表示装置を、他のカメラ、送信装置、受信装置、または表示装置に交換しても、画像信号を、装置どうしの間でやりとりすることができるようにするために、画像信号については、そのフォーマットが、規格化または標準化されている。
画像信号のフォーマットとしては、例えば、D1と呼ばれるフォーマット（Y:Cb:Crが4:2:2のフォーマット）がある。例えば、D1フォーマットの画像信号の入出力を行うことができるインタフェースを有する装置どうしの間では、どのような装置どうしの間であっても、画像信号をやりとりすることができる。
一方、カメラや、送信装置、受信装置、表示装置では、各装置において固有の処理が行われる。
即ち、カメラが、例えば、１つのイメージャ（１枚のCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどの光電変換素子）を有する単板式のカメラである場合には、人の視覚特性を考慮して、例えば、ベイヤ配列のカラーフィルタが採用される。ベイヤ配列のカラーフィルタが採用されている場合、イメージャからは、RGB(Red, Green, Blue)のうちのG成分が多く、R成分とB成分が少ない、ベイヤ配列に応じたフォーマット（以下、適宜、ベイヤフォーマットという）の画像信号が得られる。ベイヤフォーマットの画像信号においては、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかなく、他の２つの色成分がないので、単板式のカメラでは、各画素につき、他の２つの色成分を補間し、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号を求める処理が行われる。
また、送信装置では、例えば、いわゆる白黒放送とカラー放送との共存を図るために、輝度信号と色信号とが別のコンポーネント信号を、輝度信号に色信号を重畳したコンポジット信号に変換する処理が行われる。
さらに、受信装置では、例えば、コンポジット信号を対象に、いわゆるY/C分離処理が行われ、コンポジット信号がコンポーネント信号に変換される。
また、表示装置では、例えば、画像を表示するディスプレイの表示フォーマットで、RGBのコンポーネント信号のR,G,Bを配列する処理が行われることにより、画像が表示される。なお、ディスプレイで画像を表示する表示フォーマット、即ち、R,G,Bの配列としては、例えば、ストライプ配列や、モザイク配列、デルタ配列などがある。
なお、ストライプ配列などの固定の表示フォーマットのカラー液晶ディスプレイが、例えば、特許文献１に開示されている（特に、0014段落）。
特開平10-301537号公報
放送システムを構成するカメラや、送信装置、受信装置、表示装置が、例えば、上述したように、D1フォーマットなどの、規格化または標準化されている信号フォーマットの画像信号の入出力を行うことができるインタフェースを有する限りは、画像信号のやりとりができなくなることはない。しかしながら、そのようなインタフェースを有する複数の装置を用いてシステムを構成しても、そのシステムの性能を最大化することができるとは限らない。
また、システムを構成する各装置では、各種の処理が行われるが、その処理は、システム全体の性能を考慮して行われるものではない。即ち、例えば、放送システムを構成するカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかないベイヤフォーマットの画像信号を、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（以下、適宜、RGB画像信号という）に変換する処理が行われるが、この処理は、カメラ自体の性能には影響するが、放送システム全体の性能の向上に影響するとは限らない。
つまり、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換する処理が、いわば高機能な処理であれば、即ち、例えば、その処理によって、解像度やS/N(Signal to Noise ratio)が高いRGB画像信号が得られるのであれば、カメラ自体の性能が良い、とは言うことができる。
一方、放送システムにおいては、最終的には、表示装置に画像が表示され、その画像をユーザが視聴する。従って、例えば、表示装置に表示された画像を視聴したユーザが、その画像を高画質の画像であると感じれば、放送システムの全体の性能が良い、ということができる。
しかしながら、カメラ自体が高性能であっても、即ち、例えば、カメラが解像度やS/Nが高いRGB画像信号を出力することができても、その後、送信装置、受信装置、および表示装置で処理が行われる放送システムにおいて、ユーザが高画質であると感じる画像が、最終的に表示装置に表示されるとは限らない。
むしろ、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換せずに、そのまま出力し、後段の送信装置、受信装置、または表示装置において、ベイヤフォーマットの画像信号を処理した方が、ユーザが高画質であると感じる画像が、表示装置に表示される可能性がある。
本発明は、このような状況に鑑みてなされたものであり、複数の装置から構成されるシステムの性能を向上させ、好ましくは最大化することができるようにするものである。
本発明の第１の側面の表示装置、又は、プログラムは、画像を表示する表示装置において、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行う画像変換手段と、前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像を、表示手段に表示させる表示制御手段とを備え、前記画像変換手段は、前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出するとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出し、前記クラスタップに基づいて、前記注目画素のクラス分類を行い、前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求めることにより、前記画像変換処理を行い、前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する前記画像変換処理を行う学習用画像変換手段と、前記学習用画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる学習用表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備える学習装置において、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数の表示フォーマットを決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記複数の表示フォーマットそれぞれについて、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記複数のタップ係数それぞれについて、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める学習処理を行うことにより得られたものである表示装置、又は、そのような表示装置として、コンピュータを機能させるためのプログラムである。
本発明の第１の側面の表示方法は、画像を表示する表示方法において、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行い、前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像を、表示手段に表示させるステップを含み、前記画像変換処理では、前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出するとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出し、前記クラスタップに基づいて、前記注目画素のクラス分類を行い、前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求め、前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する前記画像変換処理を行う学習用画像変換手段と、前記学習用画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる学習用表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備える学習装置において、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数の表示フォーマットを決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記複数の表示フォーマットそれぞれについて、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記複数のタップ係数それぞれについて、前記学習用画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める学習処理を行うことにより得られたものである表示方法である。
以上のような第１の側面においては、物体を撮影する撮影手段からの画像信号である撮影画像信号が、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換され、前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像が、表示手段に表示される。前記画像変換処理では、前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップが、前記撮影画像信号から抽出されるとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップが、前記撮影画像信号から抽出され、前記クラスタップに基づいて、前記注目画素のクラス分類が行われ、前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値が求められる。前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、上述の学習処理により求められたものになっている。
本発明の第２の側面の学習装置、又は、プログラムは、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置において、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、前記画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備え、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数の表示フォーマットを決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記複数の表示フォーマットそれぞれについて、前記表示制御手段が、前記高画質画像信号に対応する画像を、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める学習装置、又は、そのような学習装置として、コンピュータを機能させるためのプログラムである。
本発明の第２の側面の学習方法は、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置の学習方法であり、前記学習装置は、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、前記画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備え、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数の表示フォーマットを決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記複数の表示フォーマットそれぞれについて、前記表示制御手段が、前記高画質画像信号に対応する画像を、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求めるステップを含む学習方法である。
以上のような第２の側面においては、第１に、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記評価手段が、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定すること、第２に、前記決定手段が、複数の表示フォーマットを決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記複数の表示フォーマットそれぞれについて、前記表示制御手段が、前記高画質画像信号に対応する画像を、表示手段に表示させ、前記評価手段が、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定すること、および、第３に、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、前記複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、前記評価手段が、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価することにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定すること、が繰り返される。そして、その繰り返しが行われることにより、前記画像変換処理を行うのに用いられる前記タップ係数が求められるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットが求められる。
本発明の第１及び第２の側面によれば、システムの性能を向上させることが可能となる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、画像を処理する画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の構成例を示している。
図１において、画像処理システムは、カメラ（ビデオカメラ）１と表示装置２とで構成されている。
カメラ１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置２は、カメラ１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号に変換して、その高画質画像信号に対応する画像を表示する。
なお、カメラ１は、例えば、単板式のカメラであり、後述する学習によって決定された信号フォーマットの撮影画像信号を出力するようになっている。
即ち、学習によって決定された撮影画像信号の信号フォーマットが、例えば、ベイヤフォーマットであるとすると、カメラ１には、ベイヤ配列のカラーフィルタが採用され、カメラ１は、そのベイヤ配列のカラーフィルタによって得られるベイヤフォーマットの撮影画像信号を、RGB画像信号に変換することなく、そのまま出力する。
ここで、カメラ１が出力する撮影画像信号は、例えば、標準解像度の画像信号であるSD(Standard Definition)画像信号であるとし、そのSD画像信号を変換することにより得られる高画質画像信号は、高解像度の画像信号であるHD(High Definition)画像信号であるとする。なお、以下、適宜、SD画像信号に対応する画像をSD画像ともいい、HD画像信号に対応する画像をHD画像ともいう。
図２は、図１の表示装置２の構成例を示している。
表示装置２は、画像変換部１１、表示制御部１２、およびディスプレイ１３で構成される。
画像変換部１１は、カメラ１からのSD画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、HD画像信号に変換し、表示制御部１２に供給する。
表示制御部１２は、HD画像よりも高画質の画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる表示制御を行う。
ここで、以下、適宜、HD画像よりも高画質の画像を、SHD画像（Super HD画像）ともいい、その画像信号を、SHD画像信号という。
ディスプレイ１３は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)パネル等で構成される表示手段であり、表示制御部１２の制御にしたがって、画像を表示する。
次に、図３のフローチャートを参照して、図２の表示装置２の動作について説明する。
表示装置２には、カメラ１からのSD画像信号が供給される。表示装置２では、カメラ１からのSD画像信号が受信され、画像変換部１１に供給される。
画像変換部１１は、ステップＳ１において、カメラ１からのSD画像信号を、例えば、後述する学習によって得られたタップ係数を用いた演算によって、HD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部１２に供給して、ステップＳ２に進む。
ステップＳ２では、表示制御部１２が、SHD画像を用いて行われた後述する学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる。
以上のようにして、ディスプレイ１３では、HD画像が表示される。
次に、図２の画像変換部１１で行われる画像変換処理について説明する。
画像変換部１１は、第１の画像信号を、その第１の画像信号に対応する画像よりも高画質の画像の第２の画像信号に変換する画像変換処理を行う。
ここで、画像変換部１１は、カメラ１からのSD画像信号を第１の画像信号とするとともに、HD画像信号を第２の画像信号として、第１の画像信号を第２の画像信号に変換する画像変換処理を行うが、かかる画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。
即ち、例えば、第２の画像信号をHD画像信号とするとともに、第１の画像信号を、第２の画像信号の解像度と画素数を低下させたSD画像信号とすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。また、例えば、第２の画像信号を高S/Nの画像信号とするとともに、第１の画像信号を、第２の画像信号のS/Nを低下させた（第２の画像信号にノイズを付加した）低S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像信号を、ある画像信号とするとともに、第１の画像信号を、第２の画像信号の画素数を間引いた画像信号とすれば、画像変換処理は、画像を拡大する拡大処理ということができる。
図４は、図２の画像変換部１１の構成例を示している。
画像変換部１１は、タップ抽出部４１および４２、クラス分類部４３、係数メモリ４４、並びに予測部４５から構成される。
画像変換部１１には、カメラ１からのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部４１および４２に供給される。
タップ抽出部４１は、第１の画像信号を変換して得ようとする第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
具体的には、タップ抽出部４１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
タップ抽出部４２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、即ち、注目画素に対応する位置に対する位置関係が同一の複数の画素の画素値を採用することとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
タップ抽出部４１で得られた予測タップは、予測部４５に供給され、タップ抽出部４２で得られたクラスタップは、クラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ４４に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部４３には、例えば、クラスタップとしての複数の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素値で構成され、各画素値に、Ｋビットが割り当てられているとすると、クラス分類部４３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス分類部４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮し、その圧縮結果を用いて、クラス分類を行うのが好ましい。
また、クラス分類は、クラスタップの他、注目画素に対応する第１の画像信号の画像上の位置（以下、適宜、対応位置という）付近の動きを表すベクトル（動きベクトル）や、対応位置に最も近い第１の画像信号の画素と対応位置との位置関係を表すベクトル（位置関係ベクトル）などにも基づいて行うことができる。即ち、例えば、クラスタップのADRCコードと、動きベクトルや位置関係ベクトルのベクトル量子化結果としてのコード（シンボル）を表すビット列とを一列に並べたビット列などを、注目画素のクラスを表すクラスコードとすることが可能である。
係数メモリ４４は、後述する学習によってあらかじめ求められているクラスごとのタップ係数を記憶している。即ち、係数メモリ４４は、クラス分類部４３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。係数メモリ４４は、クラスごとのタップ係数のうちの、クラス分類部４３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
なお、タップ係数は、例えば、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
予測部４５は、タップ抽出部４１が出力する予測タップと、係数メモリ４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部４５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
次に、図５のフローチャートを参照して、図４の画像変換部１１が行う図３のステップＳ１の画像変換処理について説明する。
タップ抽出部４１では、カメラ１から供給される第１の画像信号としてのSD画像信号に対する第２の画像信号としてのHD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップＳ１１において、タップ抽出部４１と４２が、そこに供給される第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ１２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ４４に出力し、ステップＳ１３に進む。
ステップＳ１３では、係数メモリ４４が、クラス分類部４３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１４に進む。係数メモリ４４が出力するタップ係数は、予測部４５において取得（受信）される。
ステップＳ１４では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ４４から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部１２（図２）に出力する。
以上のように、画像変換部１１では、第２の画像信号の注目画素についての予測タップとクラスタップを、第１の画像信号から抽出し、クラスタップに基づき、注目画素のクラスを求め、そのクラスのタップ係数と、予測タップとを用いた演算を行って、第２の画像信号の注目画素の画素値（の予測値）を求めることにより、第１の画像信号が第２の画像信号に変換される。このように、注目画素のクラスを求め、そのクラスのタップ係数と第１の画像信号（予測タップ）とを用いた演算を行うことにより、注目画素の画素値を求める処理は、クラス分類適応処理と呼ばれる。
クラス分類適応処理では、上述のように、タップ係数が用いられるが、このタップ係数は、例えば、最小自乗法を利用した学習によって求めることができる。
即ち、例えば、いま、画像変換処理として、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素を間引き、LPF(Low Pass Filter)によってフィルタリングする等して得られるSD画像信号を第１の画像信号として、第１の画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、第２の画像信号の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像信号の画素（以下、適宜、第２の画素という）の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004517300
 ・・・（１）
但し、式（１）において、ｘnは、第２の画素ｙについての予測タップを構成する、ｎ番目の第１の画像信号の画素（以下、適宜、第１の画素という）の画素値を表し、ｗnは、ｎ番目の第１の画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、複数であるＮ個の第１の画素の画素値ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。この場合、タップ係数は、１クラスにつき、Ｎ個存在する。
ここで、第２の画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの第２の画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004517300
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0004517300
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの第２の画素についての予測タップを構成するｎ番目の第１の画素の画素値を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、第２の画素の画素値を予測するのに最適なものとなるが、すべての第２の画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004517300
 ・・・（４）
但し、式（４）において、Kは、第２の画素の画素値ｙkと、その第２の画素についての予測タップを構成する第１の画素の画素値ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004517300
 ・・・（５）
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 0004517300
 ・・・（６）
式（５）と式（６）から、次式が得られる。
Figure 0004517300
 ・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004517300
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
クラス分類適応処理によれば、以上のようにして求められるクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、第１の画像信号としてのSD画像信号が、第２の画像信号としてのHD画像信号に変換される。
なお、式（８）の正規方程式を、クラスごとにたてて解くことにより、クラスごとのタップ係数を求める方法（以下、適宜、正規方程式を用いる学習方法という）は、クラスごとのタップ係数を求める学習の一例である。図４の係数メモリ４４には、正規方程式を用いる学習方法ではなく、後述する総当たり学習によって求められたクラスごとのタップ係数が記憶されている。
ここで、以下においては、画像変換処理は、特に断らない限り、クラス分類適応処理によって第１の画像信号を第２の画像信号に変換する処理を意味することとする。
クラス分類適応処理は、式（１）だけを見る限りは、一見、FIR(Finite Impulse Response）フィルタによるフィルタリングのように見えるが、そのFIRフィルタの係数（フィルタ係数）に相当するタップ係数ｗが、例えば、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素数を少なくする等して得られるSD画像信号を第２の画像信号として、それらの第１の画像信号と第２の画像信号とを用いての学習により求められるため、第１の画像信号には含まれていないが、第２の画像信号には含まれる信号成分を再現することができる。このことから、クラス分類適応処理（による画像変換処理）は、いわば、第１の画像信号に含まれていない信号成分の創造作用がある処理であるということができる。
次に、図１の画像処理システムにおいて、カメラ１が出力するSD画像信号（撮影画像信号）の信号フォーマット、表示装置２（図２）の表示制御部１２がディスプレイ１３に表示させるHD画像の表示フォーマット、および表示装置２の画像変換部１１（図４）が画像変換処理に用いるタップ係数について説明をする。
上述したように、カメラ１は、学習によって決定された信号フォーマットのSD画像信号を出力し、表示装置２の表示制御部１２（図２）は、学習によって決定された表示フォーマットで、HD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１（図４）は、学習によって決定されたタップ係数を用いて、カメラ１からのSD画像信号を、HD画像信号に変換する画像変換処理を行う。
従って、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットは、いずれも、学習によって決定されるのであるが、信号フォーマット、タップ係数、および表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われる。
ここで、既存の表示フォーマットとしては、例えば、図６に示すような表示フォーマットがある。
即ち、図６は、既存の表示フォーマットの例を示している。
一般的な表示装置において、例えば、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（RGB画像信号）に対応した画像を表示する場合、同一の位置に、R,G,Bの３つの色成分を表示することは、物理的に困難であるため、表示装置では、１画素の画素値としてのR,G,Bの３つの色成分が、異なる位置に配列されて表示される。
即ち、表示装置では、表示画面上の１画素としての小領域が、R,G,Bそれぞれ用のさらに小さな領域（以下、適宜、サブピクセルという）に分割されており、１画素の画素値としてのR,G,Bが、R,G,B用のサブピクセルに、それぞれ表示される。
サブピクセルの配列パターンとしては、例えば、図６の左から１番目、２番目、３番目（右から１番目）にそれぞれ示すような配列パターンが知られている。
図６の左から１番目では、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。そして、各画素において、左から１番目、２番目、３番目のサブピクセルが、R,G,Bそれぞれ用のサブピクセルになっており、このようなサブピクセルの配列（表示フォーマット）は、ストライプと呼ばれる。
図６の左から２番目では、横長の長方形状のサブピクセルの横方向に並ぶ２つの第１と第２のサブピクセルと、その２つの第１と第２のサブピクセルの上または下の、サブピクセルの横の長さの半分だけずれた位置に配置された第３のピクセルとで、１画素が構成されている。そして、それらの第１乃至第３のサブピクセルのぞれぞれが、R,G,Bのうちのいずれか用のサブピクセルとなるのであるが、同一の色成分のサブピクセルは隣接しないようになっている。このようなサブピクセルの配列（表示フォーマット）は、デルタと呼ばれる。
図６の左から３番目では、図６の左から１番目のストライプと同様に、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。但し、図６の左から１番目のストライプでは、縦方向に、同一の色成分のサブピクセルが配置されているが、図６の左から３番目では、縦方向に、同一の色成分のサブピクセルが隣接しないように、即ち、同一の色成分のサブピクセルが斜め方向に並ぶようになっている。このようなサブピクセルの配列（表示フォーマット）は、モザイクと呼ばれる。
以上のような表示フォーマットのうちの、例えば、ストライプは、線、図形、文字の表示に適していると言われている。また、モザイクによれば、ストライプより自然な画像が得られると言われており、デルタによれば、より自然な画像が得られると言われている。
以上のような既存の表示フォーマットは、例えば、画像を表示する表示装置の処理の都合等により定められたものであり、従って、既存の表示フォーマットで表示される画像が、ユーザが高画質であると感じる画像であるとは限らない。即ち、既存の表示フォーマットで表示された画像よりも、ユーザが高画質であると感じる、既存の表示フォーマットではない表示フォーマットが存在する可能性がある。
ここで、図７は、既存の表示フォーマットでない表示フォーマットの例を示している。
即ち、図７は、ストライプを基準として、そのストライプを変形して得られる新たな表示フォーマットを示している。
図７の左上は、図６の左から１番目と同一のストライプの表示フォーマットを示している。
図７の左下は、図７の左上に示したストライプのサブピクセルで表示する色成分を変えた表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素の横方向に並ぶ３つのサブピクセルが、R,G,Bをそれぞれ表示するサブピクセルの順に並んでいるが、図７の左下の表示フォーマットでは、G,B,Rをそれぞれ表示するサブピクセルの順に並んでいる。
図７の右上は、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルが、縦方向については同一の位置に配置されているが、図７の右上の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されている。
図７の右下も、図７の右上に示した表示フォーマットと同様に、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。但し、図７の右下の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、Rのサブピクセルよりも下の位置に配置されており、かつ、Bのサブピクセルが、Rのサブピクセルよりも上の位置に配置されている。
表示制御部１２がディスプレイ１３に表示させる画像の表示フォーマットは、表示装置２（図２）においてユーザが高画質であると感じる画像が表示されるように、学習によって決定される。
次に、図８は、画像信号の信号フォーマットの例を（模式的に）示している。
図８の上は、ベイヤフォーマットの画像信号を表している。
上述したように、単板式のカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しか得られないので、他の２つの色成分を補間する処理の都合等のために定められた信号フォーマットがベイヤフォーマットである。従って、そのようなベイヤフォーマットの画像信号が表示装置２の画像変換部１１でHD画像信号に変換されてディスプレイ１３に最終的に表示されるHD画像が、適切な画像になるとは限らない。即ち、ベイヤフォーマットなどの既存の信号フォーマットよりも、ディスプレイ１３に最終的に表示されるHD画像が、より適切な画像となる信号フォーマットが存在する可能性がある。
ここで、図８の下は、既存の信号フォーマットでない信号フォーマットの例を示している。
即ち、図８の下は、ベイヤフォーマットを基準として、そのベイヤフォーマットを変形して得られる新たな信号フォーマットを（模式的に）示している。
図８の下の左は、図８の上に示したベイヤフォーマットの画素の位置を、１列おきに下方向にずらした信号フォーマットを示している。また、図８の下の右は、図８の上に示したベイヤフォーマットの画素の位置を、１行おきに右（または左）方向にずらした信号フォーマットを示している。
上述したように、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われるのであるが、図９は、そのような学習を行う学習装置の構成例を示している。
即ち、図９の学習装置では、カメラ１（図１）が出力するSD画像信号（撮影画像信号）を、そのSD画像信号に対応するSD画像よりも高画質の画像（HD画像）の高画質画像信号(HD画像信号）に変換する画像変換処理を行うのに画像変換部１１（図２）で用いられるタップ係数を求める学習が、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。さらに、図９の学習装置では、カメラ１が出力するSD画像信号の信号フォーマットと、そのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの学習も、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。
具体的には、図９の学習装置において、学習データ記憶部６１は、タップ係数、信号フォーマット、および表示フォーマットの学習に用いられる学習データとして、SHD画像信号（SHD画像）を記憶している。
疑似撮影画像生成部６２には、後述する制御部７２から、信号フォーマットを表す信号フォーマット情報が供給される。疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として順次選択し、その注目SHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、タップ抽出部６３および６４に供給する。
タップ抽出部６３，６４、クラス分類部６５、係数メモリ６６、予測部６７は、図４の画像変換部１１と同様の画像変換処理を行う画像変換部７３を構成しており、この画像変換部７３では、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）が、制御部７２から供給されるタップ係数との演算によって、HD画像信号に変換される。
即ち、タップ抽出部６３は、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
タップ抽出部６４は、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
クラス分類部６５は、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給する。
係数メモリ６６は、制御部７２の制御にしたがい、クラスごとのタップ係数を記憶する。そして、係数メモリ６６は、図４の係数メモリ４４と同様に、クラスごとのタップ係数のうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
予測部６７は、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
表示制御部６８には、制御部７２から、表示フォーマットを表す表示フォーマット情報が供給される。表示制御部６８は、予測部６７から供給されるHD画像信号に対応するHD画像を、制御部７２からの表示フォーマット情報が表す表示フォーマットで、ディスプレイ６９に表示させる。
ディスプレイ６９は、表示制御部６８の制御にしたがった表示フォーマットで、光としてのHD画像を表示する。
光検出器７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力する。
評価値算出部７１は、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１には、光検出器７０から表示画像信号が供給される他、学習データ記憶部６１から、注目SHD画像信号が供給される。評価値算出部７１は、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
制御部７２は、評価値算出部７１からの評価値に基づき、カメラ１（図１）が出力するSD画像信号に相当する、疑似撮影画像生成部６２に生成させる疑似撮影画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
また、制御部７２は、評価値算出部７１からの評価値に基づき、表示制御部６８が、予測部６７から供給されるHD画像信号に対応するHD画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
さらに、制御部７２は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
次に、図１０を参照して、図９の学習データ記憶部６１が学習データとして記憶しているSHD画像信号と、画像変換部７３（の予測部６７）が出力するHD画像信号（ディスプレイ６９に表示されるHD画像のHD画像信号）との関係を説明する。
SHD画像信号とHD画像信号とは、例えば、それぞれ、図１０の上と下に示すように、１画素につき、R,G,Bの３つの色成分を画素値として有する画像信号である点で共通している。
但し、HD画像信号は、SHD画像信号よりも画素数の少ない低解像度の画像信号になっている（SHD画像信号は、HD画像信号よりも画素数の多い高解像度の画像信号になっている）。
即ち、例えば、HD画像信号は、SHD画像信号の６×６画素が１画素に対応する画像信号になっている。なお、図１０では、HD画像信号の１画素と、SHD画像信号の６×６画素とが対応することを分かりやすくするために、HD画像信号の１画素と、SHD画像信号の６×６画素とを同一の大きさで図示してあるが、HD画像信号とSHD画像信号との画素の大きさ自体は、必ずしも、図１０に示した関係にある必要はない。このことは、SD画像信号とHD画像信号との画素の大きさについても同様である。
次に、図１１および図１２を参照して、図９の疑似撮影画像生成部６２が学習データとしてのSHD画像信号から疑似撮影画像信号（SD画像信号）を生成する生成方法について説明する。
疑似撮影画像生成部６２は、例えば、SHD画像信号から、図１０で説明した関係にあるHD画像信号を生成し、即ち、例えば、SHD画像信号の６×６画素のR,G,Bそれぞれの平均値を、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとして求めることにより、あるいは、SHD画像信号の６×６画素のうちのいずれか１画素のR,G,Bを、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとすることにより、HD画像信号を生成し、さらに、そのHD画像信号から、SD画像信号としての疑似撮影画像信号を生成する。
具体的には、いま、SD画像信号が、例えば、HD画像信号の２×２画素が１画素に対応する画像信号であるとし、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の上に示したベイヤフォーマットを表す信号フォーマット情報が供給されたとすると、疑似撮影画像生成部６２は、例えば、図１１に示すように、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、この場合、疑似撮影画像生成部６２は、図１１に示すように、ベイヤフォーマットのSD画像信号の各画素に対応する、HD画像信号の２×２画素を検出し、その２×２画素から、その２×２画素に対応するSD画像信号の１画素の画素値を求めることにより、疑似撮影画像信号としてのベイヤフォーマットのSD画像信号を生成する。
ここで、ベイヤフォーマットのSD画像信号の各画素は、R,G,Bのうちのいずれかの色成分だけを画素値として有するので、疑似撮影画像生成部６２は、HD画像信号の２×２画素から、その２×２画素に対応するSD画像信号の１画素が画素値として有する色成分だけを求める。
具体的には、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等が、注目画素の画素値として求められる。
また、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、B成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのB成分の平均値等が、注目画素の画素値として求められる。ベイヤフォーマットのSD画像信号の画素のうちの、R成分だけを画素値として有する画素についても、同様にして画素値が求められる。
なお、その他、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の下の左に示した、ベイヤフォーマットの画素の位置を１列おきに下方向にずらした信号フォーマットを表す信号フォーマット情報が供給された場合も、疑似撮影画像生成部６２は、図１１で説明したのと同様にして、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、疑似撮影画像生成部６２は、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等を、注目画素の画素値として求める。
また、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、R成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのR成分の平均値等が、注目画素の画素値として求められる。図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、B成分だけを画素値として有する画素についても、同様にして画素値が求められる。
次に、図９の学習装置では、表示制御部６８が、制御部７２から供給される表示フォーマット情報が表す表示フォーマットで、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させる。このため、ディスプレイ６９は、各種の表示フォーマットでHD画像を表示することができるように構成されている。
即ち、図１３は、ディスプレイ６９の表示画面と、HD画像との関係を示している。
ディスプレイ６９は、図１３の上に示すように、SHD画像の１画素に対応する領域を、色成分を表示することができる最小の単位である最小表示単位とする表示画面を有している。図１０で説明したように、SHD画像の６×６画素と、HD画像の１画素とが対応するので、SHD画像の１画素に対応する領域を最小表示単位とする表示画面については、その６×６個の最小表示単位が、図１３の下に示すHD画像の１画素と対応する。なお、表示画面において、HD画像の画素に対応する６×６個の最小表示単位を、以下、適宜、画素ともいう。
表示制御部６８は、例えば、図１４や図１５に示すように、制御部７２からの表示フォーマット情報が表す表示フォーマットで、HD画像を、ディスプレイ６９の表示画面に表示させる。
即ち、制御部７２からの表示フォーマット情報が、例えば、図７の左上に示したストライプを表している場合には、表示制御部６８は、図１４に示すように、表示画面の画素を、横方向に３等分するような、横×縦が２×６個の最小表示単位をサブピクセルとする。そして、表示制御部６８は、図１４に示すように、HD画像の画素のR,G,Bの色成分を、その画素に対応する表示画面の画素の左から１，２，３番目のサブピクセルに、それぞれ表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表すストライプで表示される。
また、制御部７２からの表示フォーマット情報が、例えば、図７の右上に示した、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットを表している場合には、表示制御部６８は、図１５に示すように、表示画面のR,G,Bの３つのサブピクセル（２×６個の最小表示単位）を、表示フォーマットと同様に、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されるように設定する。そして、表示制御部６８は、図１５に示すように、HD画像の画素のR,G,Bの色成分を、表示画面の対応するサブピクセルに表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表す表示フォーマットで表示される。
次に、図１６乃至図１８を参照して、図９の評価値算出部７１の処理について説明する。
評価値算出部７１は、図９で説明したように、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行う。
ここで、光検出部７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を、R,G,Bごとに検出し（光電変換し）、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
即ち、図１６の上に示すように、光検出部７０は、ディスプレイ６９の表示画面の６×６の最小表示単位で構成される各画素の光を、R,G,Bごとに検出し、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
一方、評価値算出部７１は、学習データ記憶部６１に記憶されている注目SHD画像信号から、表示画像信号の評価に用いるHD画像信号である評価用HD画像信号を生成する。
具体的には、評価値算出部７１は、HD画像信号の画素に対応する注目SHD画像信号の６×６画素の画素値から、HD画像信号の画素の画素値とする代表値を求める。即ち、評価値算出部７１は、例えば、HD画像信号の画素に対応する注目SHD画像信号の６×６画素のR,G,B成分それぞれの平均値や、その６×６画素のうちのいずれか１画素のR,G,B成分を、その６×６画素のR,G,B成分それぞれの代表値として求める。そして、評価値算出部７１は、注目SHD画像信号の６×６画素のR,G,B成分の代表値を、それぞれ、対応する画素のR,G,B成分とするHD画像信号を、評価用HD画像信号として生成する。
さらに、評価値算出部７１は、評価用HD画像信号の画素の画素値(R1,G1,B1)と、表示画像信号の対応する画素の画素値(R2,G2,B2)との自乗誤差（R1-R2)2+（G1-G2)2+（B1-B2)2を、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求め、そのすべての画素についての自乗誤差の総和に反比例する値を、評価値として求める。
従って、ディスプレイ６９において、HD画像が、例えば、図１４に示した表示フォーマットであるストライプで表示される場合には、光検出器７０（図９）において、図１７に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光、即ち、表示画面の１画素に含まれる、R,G,Bそれぞれのサブピクセル（２×６個の最小表示単位）のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
また、ディスプレイ６９において、HD画像が、例えば、図１５に示した、R,G,Bのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットで表示される場合には、光検出器７０（図９）において、図１８に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。
即ち、この場合、Rについては、光検出器７０において、表示画面の１画素に含まれる、Rの１つのサブピクセル（２×６個の最小表示単位）のRの光が検出され、そのRの光に対応する電気信号としてのR成分が、評価値算出部７１に供給される。Bについても、Rと同様に、光検出器７０において、表示画面の１画素に含まれる、Bの１つのサブピクセル（２×６個の最小表示単位）のBの光が検出され、そのBの光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
また、Gについては、RとBのサブピクセルよりも下の位置に配置されているため、表示画面の１画素には、２つのGのサブピクセルの一部が含まれる。このため、Gについては、光検出器７０において、表示画面の１画素に含まれる、Bの２つのサブピクセル（２×６個の最小表示単位）それぞれのBの光の一部を合成（合計）した光（図１８において斜線を付して示す部分）が検出され、その合成した光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
次に、図１９のフローチャートを参照して、図９の学習装置が行う、タップ係数、信号フォーマット、および表示フォーマットを学習する学習処理について説明する。
ステップＳ３１において、制御部７２は、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ３２に進む。
即ち、図９の学習装置には、例えば、ベイヤフォーマットその他の既存の信号フォーマットなどの複数の信号フォーマットが、学習処理の最初に用いる初期信号フォーマットとして設定（決定）されており、制御部７２は、複数の初期信号フォーマットそれぞれを表す信号フォーマット情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の信号フォーマット情報が表す複数の初期信号フォーマットのうちの、まだ注目信号フォーマットとしていないものの１つを注目信号フォーマットAiに決定（設定）し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
ここで、Aiは、例えば、複数の初期信号フォーマットのうちのi番目の初期信号フォーマットを表す。
ステップＳ３２では、制御部７２は、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ３３に進む。
即ち、図９の学習装置には、例えば、ストライプやデルタその他の既存の表示フォーマットなどの複数の表示フォーマットが、学習処理の最初に用いる初期表示フォーマットとして設定されており、制御部７２は、複数の初期表示フォーマットそれぞれを表す表示フォーマット情報を、内蔵するメモリに記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の表示フォーマット情報が表す複数の初期表示フォーマットのうちの、まだ注目表示フォーマットとしていないものの１つを注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。
ここで、Bjは、例えば、複数の初期表示フォーマットのうちのj番目の初期表示フォーマットを表す。
ステップＳ３３では、学習装置（図９）において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,jが決定される。
即ち、ステップＳ３３では、注目信号フォーマットAiのSD画像信号を第１の画像信号として、図４の画像変換部１１でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
そして、ステップＳ３３からステップＳ３４に進み、制御部７２は、内蔵するメモリに記憶されている複数の表示フォーマット情報が表す複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ３４において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ３２に戻り、制御部７２は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
また、ステップＳ３４において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ３５に進み、制御部７２は、内蔵するメモリに記憶されている複数の信号フォーマット情報が表す複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ３５において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ３１に戻り、制御部７２は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、以下、同様の処理を繰り返す。
また、ステップＳ３５において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップＳ３３で最適なタップ係数のセットが求められた場合、ステップＳ３６に進み、制御部７２は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせの中から、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
即ち、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３において、Ｉ×Ｊ通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、表示画像信号の評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
ステップＳ３６において、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップＳ３７に進み、現在の最適な表示フォーマットとタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップＳ３８に進む。
ステップＳ３８では、現在の最適な信号フォーマットとタップ係数のセットとの組み合わせについて、最適な表示フォーマットを仮決定する最適表示フォーマット決定処理が行われ、ステップＳ３９に進む。
ステップＳ３９では、現在の最適な信号フォーマットと表示フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ４０に進む。
ステップＳ４０では、制御部７２が、直前のステップＳ３７で求められた現在の最適な信号フォーマット、直前のステップＳ３８で求められた現在の最適な表示フォーマット、および直前のステップＳ３９で求められた現在の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ３９の最適タップ係数セット決定処理では、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせについて、後述するようにして評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップＳ４０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ３７に戻り、同様の処理が繰り返される。
また、ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合、制御部７２は、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせを、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせに最終的に決定し（最終決定し）、学習処理を終了する。
図１の画像処理システムにおいて、カメラ１は、図１９の学習処理によって最終決定された最適な信号フォーマットの撮影画像信号（SD画像信号）を出力する。また、表示装置２の表示制御部１２（図２）は、図１９の学習処理によって最終決定された最適な表示フォーマットでHD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１の係数メモリ４４には、図１９の学習処理によって最終決定された最適なタップ係数のセットが記憶されており、画像変換部１１は、そのタップ係数のセットを用いて、画像変換処理を行う。
その結果、図１のカメラ１と表示装置２との組み合わせである画像処理システムの性能を向上させることができる。即ち、図１のカメラ１と表示装置２との組み合わせである画像処理システムによれば、カメラ１が出力する撮影画像信号や、画像変換部１１が出力するHD画像信号のS/N(Signal to Noise ratio)等はともかく、ユーザが高画質であると感じる画像を、ディスプレイ１３に表示することができる。
なお、図１９では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
次に、図２０のフローチャートを参照して、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jを決定する図１９のステップＳ３３の処理について、詳述する。
制御部７２は、ステップＳ５１において、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβ（式（１）のＮ）と、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部７２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
そして、制御部７２は、注目タップ係数セットを、係数メモリ６６に供給して記憶させ、ステップＳ５１からＳ５２に進む。
ステップＳ５２では、制御部７２は、注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給し、これにより、疑似撮影画像生成部６２に、注目信号フォーマットAiの疑似撮影画像信号としてのSD画像信号を生成させる。
即ち、疑似撮影画像生成部６２は、制御部７２から、注目信号フォーマットAiを表す信号フォーマット情報が供給されると、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、注目信号フォーマットAiのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給する。
その後、ステップＳ５２からステップＳ５３に進み、画像変換部７３は、疑似撮影画像生成部６２から供給される注目信号フォーマットAiの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、例えば、１画素がR,G,B成分のすべてを有する第２の画像信号としてのHD画像信号に変換する画像変換処理を行う。
即ち、ステップＳ５３では、まず最初に、ステップＳ５３1において、画像変換部７３のタップ抽出部６３が、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
さらに、ステップＳ５３1では、タップ抽出部６４が、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
そして、ステップＳ５３1からステップＳ５３2に進み、クラス分類部６５が、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給して、ステップＳ５３3に進む。
ステップＳ５３3では、係数メモリ６６が、制御部７２の制御にしたがって記憶している注目タップ係数セットのうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を取得し、予測部６７に出力して、ステップＳ５３4に進む。
ステップＳ５３4では、予測部６７が、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算、即ち、例えば、式（１）の演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
ステップＳ５３の処理後は、ステップＳ５４に進み、制御部７２は、注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ５４からステップＳ５５に進む。
ステップＳ５５では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５６に進む。
ステップＳ５６では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ５２乃至Ｓ５６の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ５６からステップＳ５７に進み、制御部７２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、今回の図２０の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ５１に戻り、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ５８に進み、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについての最適なタップ係数のセットFi,jとして決定してリターンする。
ここで、図１９で説明したように、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３の処理である図２０の処理が、I×J回行われ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。図１９のステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、図２０の処理で得られる評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
なお、上述したように、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて評価値を算出し、その評価値が最も高いタップ係数を求めるタップ係数の学習を、総当たり学習と呼ぶ。
次に、図２１のフローチャートを参照して、図１９のステップＳ３７の最適信号フォーマット決定処理について詳述する。
ステップＳ７１において、制御部７２は、現在の仮の（仮決定された）最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定する。
即ち、例えば、いま、ベイヤフォーマットが、現在の仮の最適な信号フォーマットであるとすると、制御部７２は、例えば、図８に示したように、ベイヤフォーマットを僅かに変形して得られる信号フォーマットの幾つか（複数）を、最適な信号フォーマットの複数の候補として決定する。なお、最適な信号フォーマットの複数の候補を得るために、現在の仮の最適な信号フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な信号フォーマットを変形して、最適な信号フォーマットの複数の候補を決定する。
ステップＳ７１の処理後はステップＳ７２に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ７３に進む。
ステップＳ７３では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ７４に進む。
ステップＳ７４では、制御部７２が、現在の仮の最適なタップ係数のセットを、係数メモリ６６に記憶させる。さらに、ステップＳ７４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される注目信号フォーマットの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ７４の処理後は、ステップＳ７５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ７５からステップＳ７６に進む。
ステップＳ７６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ７７に進む。
ステップＳ７７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ７３乃至Ｓ７７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目信号フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ７７からステップＳ７８に進み、制御部７２は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ７２に戻り、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの１つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ７９に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマットとタップ係数のセットとの組み合わせに対する最適な信号フォーマットに、新たに仮決定してリターンする。
次に、図２２のフローチャートを参照して、図１９のステップＳ３８の最適表示フォーマット決定処理について詳述する。
ステップＳ９１において、制御部７２は、現在の仮の（仮決定された）最適な表示フォーマットを基準として、最適な表示フォーマットの複数の候補を決定する。
即ち、例えば、いま、ストライプが、現在の仮の最適な表示フォーマットであるとすると、制御部７２は、例えば、図７に示したように、ストライプを僅かに変形して得られる表示フォーマットの幾つか（複数）を、最適な表示フォーマットの複数の候補として決定する。なお、最適な表示フォーマットの複数の候補を得るために、現在の仮の最適な表示フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な表示フォーマットを変形して、最適な表示フォーマットの複数の候補を決定する。
ステップＳ９１の処理後はステップＳ９２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ９３に進む。
ステップＳ９３では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ９３の処理後はステップＳ９４に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ、注目表示フォーマットとしていないものの１つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ９５に進む。
ステップＳ９５では、表示制御部６８が、制御部７２からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ９６に進む。
ステップＳ９６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ９７に進む。
ステップＳ９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ９２およびＳ９３、並びにステップＳ９５乃至Ｓ９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目表示フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ９７からステップＳ９８に進み、制御部７２は、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ９４に戻り、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ注目表示フォーマットとしていないものの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ９９に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットとタップ係数のセットとの組み合わせに対する最適な表示フォーマットに、新たに仮決定してリターンする。
次に、図２３のフローチャートを参照して、図１９のステップＳ３９の最適タップ係数セット決定処理について詳述する。
ステップＳ１１１において、制御部７２は、現在の仮の（仮決定された）最適なタップ係数のセットを基準として、最適なタップ係数のセットの複数の候補を決定する。
即ち、制御部７２は、例えば、現在の仮の最適なタップ係数のセットの各タップ係数をコンポーネントとするZ次元のベクトル（この場合、クラスの総数と、１クラスあたりのタップ係数の数との積がZ）が表す、Z次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のZ次元のベクトル（のコンポーネント）を、最適なタップ係数のセットの複数の候補として決定する。なお、最適なタップ係数のセットの複数の候補を得るために、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部７２は、そのルールにしたがって、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適なタップ係数のセットの複数の候補を決定する。
ステップＳ１１１の処理後はステップＳ１１２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ１１３に進む。
ステップＳ１１３では、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ６６を制御することにより記憶させ、ステップＳ１１４に進む。
ステップＳ１１４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ１１４の処理後は、ステップＳ１１５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ１１６に進む。
ステップＳ１１６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ１１７に進む。
ステップＳ１１７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ１１２、およびステップＳ１１４乃至Ｓ１１７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ１１７からステップＳ１１８に進み、制御部７２は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ１１３に戻り、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ１１９に進み、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
以上のように、図９の学習装置では、図１９のステップＳ３７において、制御部７２が、最適な信号フォーマットの複数の候補として、複数の信号フォーマットを決定し、その複数の信号フォーマットそれぞれについて、疑似撮影画像生成部６２が、疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定されたある表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる信号フォーマットを、複数の信号フォーマットの中から仮決定する最適信号フォーマット決定処理（図２１）を行う。
さらに、図９の学習装置では、図１９のステップＳ３８において、制御部７２が、最適な表示フォーマットの複数の候補として、複数の表示フォーマットを決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、複数の表示フォーマットそれぞれについて、表示制御部６８が、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる表示フォーマットを、複数の表示フォーマットの中から仮決定する最適表示フォーマット決定処理（図２２）を行う。
また、図９の学習装置では、図１９のステップＳ３９において、制御部７２が、最適なタップ係数のセットの複数の候補として、複数のタップ係数（のセット）を決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、画像変換部７３が、疑似撮影画像信号を、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定された表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなるタップ係数を、複数のタップ係数の中から仮決定する最適タップ係数セット決定処理（図２３）を行う。
そして、図９の学習装置では、図１９で説明したように、以上の最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、ディスプレイ６９に表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数（のセット）、そのタップ係数を用いて行われる画像変換処理の対象となる撮影画像信号の信号フォーマット、および、その信号フォーマットの撮影画像信号を対象とした画像変換処理により得られるHD画像信号に対応するHD画像を表示する表示フォーマットを求める。
従って、図９の学習装置によれば、ディスプレイ６９に表示される表示画像がより高画質であるとユーザが感じるタップ係数、信号フォーマット、および表示フォーマット、つまりは、図１のカメラ１と表示装置２で構成される画像処理システムの性能をより向上させる最適な（適切な）タップ係数、信号フォーマット、および表示フォーマットを求めることができる。
そして、図１のカメラ１において、図９の学習装置で得られた最適な信号フォーマットの撮影画像信号を出力するとともに、図１の表示装置２において、図９の学習装置で得られた最適なタップ係数を用いて画像変換処理を行い、さらに、その画像変換処理によって得られるHD画像を、図９の学習装置で得られた最適な表示フォーマットで表示することにより、カメラ１と表示装置２との組み合わせで画像処理システムが構成される場合に、その画像処理システム全体として、最大の性能を発揮することができる。
なお、図２１の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図１９のステップＳ３７乃至Ｓ３９の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。表示フォーマットとタップ係数のセットについても同様である。
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。表示フォーマットとタップ係数のセットについても同様である。
次に、図２４は、画像を処理する画像処理システムの第２の構成例を示している。
図２４において、画像処理システムは、カメラ（ビデオカメラ）１０１と表示装置１０２とで構成されている。
カメラ１０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置１０２は、カメラ１０１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号に変換して、その高画質画像信号に対応する画像を表示する。
なお、カメラ１０１は、例えば、単板式のカメラであり、ある信号フォーマットの撮影画像信号を出力するようになっている。
即ち、例えば、カメラ１０１において、ベイヤ配列のカラーフィルタが採用されている場合、カメラ１０１は、そのベイヤ配列のカラーフィルタによって得られるベイヤフォーマットの撮影画像信号を、RGB画像信号に変換することなく、そのまま出力する。
ここで、カメラ１０１が出力する撮影画像信号は、図１のカメラ１が出力する撮影画像信号と同様に、SD画像信号であるとし、表示装置１０２において、そのSD画像信号を変換することにより得られる高画質画像信号は、図１の場合と同様に、HD画像信号であるとする。
図２４の画像処理システムにおいては、表示装置１０２が、カメラ１０１が出力する撮影画像信号の信号フォーマットを、例えば検出することにより取得し、その信号フォーマット用のタップ係数との演算によって、カメラ１０１が出力するSD画像信号である撮影画像信号を、HD画像信号に変換するようになっている。
即ち、図１の画像処理システムによれば、図９の学習装置で得られた最適な信号フォーマットの撮影画像信号を出力するカメラ１と、同じく図９の学習装置で得られた最適なタップ係数を用いて画像変換処理を行い、かつ、その画像変換処理によって得られるHD画像を、図９の学習装置で得られた最適な表示フォーマットで表示する表示装置２との組み合わせで画像処理システムが構成される場合に、その画像処理システム全体として、最大の性能を発揮することができる。
但し、例えば、表示装置２を、図９の学習装置で得られた最適な信号フォーマットではない信号フォーマットの撮影画像信号を出力するカメラと組み合わせて、画像処理システムを構成した場合に、その画像処理システムにおいて、ユーザが高画質であると感じる画像を表示することができるとは限らない。
そこで、図２４では、表示装置１０２が、任意の信号フォーマットの撮影画像信号を出力するカメラ１０１との組み合わせて、画像処理システムを構成する場合でも、そのカメラ１０１の撮影画像信号の信号フォーマットに応じて、ユーザが高画質であると感じる画像を表示するようになっている。
即ち、図２５は、図２４の表示装置１０２の構成例を示している。
表示装置１０２は、画像変換部１１１、表示制御部１１２、ディスプレイ１１３、および信号フォーマット検出部１１４で構成される。
画像変換部１１１には、カメラ１０１からSD画像信号である撮影画像信号が供給されるとともに、信号フォーマット検出部１１４から、その撮影画像信号の信号フォーマットを表す信号フォーマット情報が供給される。また、画像変換部１１１は、あらかじめ行われた学習によって得られた複数の信号フォーマットそれぞれについてクラスごとのタップ係数のセットを記憶している。画像変換部１１１は、複数の信号フォーマットそれぞれについてのタップ係数のセットのうちの、信号フォーマット検出部１１４からの信号フォーマット情報が表す信号フォーマット用のタップ係数のセットを選択し、そのタップ係数との演算によって、カメラ１０１からの撮影画像信号であるSD画像信号を、HD画像信号に変換し、表示制御部１１２に供給する。
表示制御部１１２は、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部１１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１１３に表示させる表示制御を行う。
ディスプレイ１１３は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部１１２の制御にしたがって、画像を表示する。
信号フォーマット検出部１１４には、カメラ１０１から撮影画像信号が供給される。信号フォーマット検出部１１４は、カメラ１０１からの撮影画像信号の信号フォーマットを検出することにより取得し、その信号フォーマットを表す信号フォーマット情報を、画像変換部１１１に供給する。
次に、図２６のフローチャートを参照して、図２５の表示装置１０２の動作について説明する。
表示装置１０２には、カメラ１０１からのSD画像信号が供給される。表示装置１０２では、カメラ１０１からのSD画像信号が受信され、画像変換部１１１と信号フォーマット検出部１１４に供給される。
信号フォーマット検出部１１４は、ステップＳ１２１において、カメラ１０１からのSD画像信号の信号フォーマットを検出し、その信号フォーマットを表す信号フォーマット情報を、画像変換部１１１に供給して、ステップＳ１２２に進む。
ここで、カメラ１０１からのSD画像信号には、例えば、その信号フォーマットを表す信号が含まれており、信号フォーマット検出部１１４は、その信号に基づいて、カメラ１０１からのSD画像信号の信号フォーマットを検出する。
ステップＳ１２２において、画像変換部１１１は、信号フォーマット検出部１１４からの信号フォーマット情報が表す信号フォーマットに基づき、カメラ１０１からのSD画像信号を、例えば、後述する学習によって得られたタップ係数を用いた演算によって、HD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部１１２に供給して、ステップＳ１２３に進む。
ステップＳ１２３では、表示制御部１１２が、SHD画像を用いて行われた後述する学習によって決定された表示フォーマットで、画像変換部１１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１１３に表示させる。
以上のようにして、ディスプレイ１１３では、HD画像が表示される。
図２７は、図２５の画像変換部１１１の構成例を示している。
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換部１１１は、図４の画像変換部１１と同様に、第１の画像信号を第２の画像信号に変換する画像変換処理を行うようになっており、タップ抽出部４１および４２、クラス分類部４３、並びに予測部４５を備える点で、図４の画像変換部１１と共通する。但し、画像変換部１１１は、係数メモリ４４に代えて、係数メモリ１２２が設けられているとともに、係数選択部１２１が新たに設けられている点で、図４の画像変換部１１と異なっている。
係数選択部１２１には、図２５の信号フォーマット検出部１１４から、カメラ１０１が出力するSD画像信号の信号フォーマットを表す信号フォーマット情報が供給される。係数選択部１２１は、係数メモリ１２２に記憶されているタップ係数のセットのうちの、信号フォーマット検出部１１４からの信号フォーマット情報に対応付けられているタップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ１２２を制御する。
係数メモリ１２２は、後述する学習によって、複数の信号フォーマットそれぞれに対してあらかじめ求められたクラスごとのタップ係数のセットを、その信号フォーマットを表す信号フォーマット情報に対応付けて記憶している。そして、係数メモリ１２２は、複数の信号フォーマット情報に対応付けて記憶しているタップ係数のセットから、係数選択部１２１の制御にしたがって有効なタップ係数のセットを選択し、その有効なタップ係数のセットのうちの、クラス分類部４３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を読み出すことにより取得し、予測部４５に出力する。
次に、図２８のフローチャートを参照して、図２７の画像変換部１１１が行う図２６のステップＳ１２２の画像変換処理について説明する。
画像変換部１１１では、ステップＳ１３１において、係数選択部１２１が、信号フォーマット検出部１１４からの信号フォーマット情報、即ち、カメラ１０１が出力するSD画像信号の信号フォーマットを表す信号フォーマット情報に対応付けられているタップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ１２２を制御する。これにより、係数メモリ１２２は、複数の信号フォーマット情報に対応付けて記憶しているタップ係数のセットの中から、係数選択部１２１の制御にしたがって有効なタップ係数のセットを選択し、ステップＳ１３２に進む。
ステップＳ１３２では、タップ抽出部４１が、カメラ１０１から供給される第１の画像信号としてのSD画像信号に対する第２の画像信号としてのHD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部４１と４２は、カメラ１０１からの第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ１３３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１２２に出力し、ステップＳ１３４に進む。
ステップＳ１３４では、係数メモリ１２２が、有効なタップ係数のセットのうちの、クラス分類部４３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１３５に進む。係数メモリ１２２が出力するタップ係数は、予測部４５において取得される。
ステップＳ１３５では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ１２２から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部１１２（図２５）に出力する。
以上のように、画像変換部１１１でも、図４の画像変換部１１と同様に、第２の画像信号の注目画素についての予測タップとクラスタップを、第１の画像信号から抽出し、クラスタップに基づき、注目画素のクラスを求め、そのクラスのタップ係数と、予測タップとを用いた演算を行って、第２の画像信号の注目画素の画素値（の予測値）を求めることにより、第１の画像信号を第２の画像信号に変換する画像変換処理としてのクラス分類適応処理を行う。
次に、上述したように、表示装置１０２（図２５）の表示制御部１１２は、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部１１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１１３に表示させる表示制御を行う。
図２９は、表示制御部１１２がディスプレイ１１３にHD画像を表示させる表示フォーマットの学習を行う学習装置の構成例を示している。
なお、図中、図９の学習装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２９の学習装置は、学習データ記憶部６１、表示制御部６８、ディスプレイ６９、光検出器７０、および評価値算出部７１が設けられている点で、図９の学習装置と共通するが、疑似撮影画像生成部６２と画像変換部７３が設けられていない点、制御部７２に代えて、制御部１４２が設けられている点、並びに、HD画像取得部１４１が新たに設けられている点が、図９の学習装置と異なっている。
HD画像取得部１４１は、学習データ記憶部６１に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として選択し、その注目SHD画像信号の画素数を間引くこと等によって、１画素の画素値として、R,G,Bの３つの色成分すべてを有するRGB画像信号であるHD画像信号を生成（取得）し、表示制御部６８に供給する。なお、HD画像取得部１４１は、例えば、図９の疑似撮影画像生成部６２が疑似撮影画像信号としてのSD画像信号を生成する前に、SHD画像信号からHD画像信号を生成するのと同様にして、SHD画像信号からHD画像信号を生成する。
制御部１４２は、評価値算出部７１からの評価値に基づき、表示制御部６８が、HD画像取得部１４１から供給されるHD画像信号に対応するHD画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
次に、図３０のフローチャートを参照して、図２９の学習装置が行う、表示フォーマットを学習する学習処理について説明する。
ステップＳ１５１において、HD画像取得部１４１は、学習データ記憶部６１に記憶されたSHD画像信号から、RGB画像信号であるHD画像信号を生成し、表示制御部６８に供給して、ステップＳ１５２に進む。
ステップＳ１５２では、制御部１４２は、例えば、あらかじめ定められた複数の表示フォーマットの中から、まだ、注目表示フォーマットとされていないものの１つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ１５３に進む。
ここで、制御部１４２では、例えば、図１９のステップＳ３２で説明した、既存の複数の表示フォーマットを、あらかじめ定められた複数の表示フォーマットとして、その中から、注目表示フォーマットを決定することができる。また、制御部１４２では、既存の複数の表示フォーマットそれぞれを基準として、各表示フォーマットを僅かに変形して得られる１以上の表示フォーマットのすべてを、あらかじめ定められた複数の表示フォーマットとして、その中から、注目表示フォーマットを決定することもできる。
ステップＳ１５３では、表示制御部６８が、制御部１４２からの表示フォーマット情報が表す注目表示フォーマットで、HD画像取得部１４１から供給されるHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ１５４に進む。
ステップＳ１５４では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ１５５に進む。
ステップＳ１５５では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部１４２に供給する。
ここで、ステップＳ１５１、並びにステップＳ１５３乃至Ｓ１５５の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部１４２は、注目表示フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ１５５からステップＳ１５６に進み、制御部１４２は、あらかじめ定められた複数の表示フォーマットのすべてについて、評価値を算出したかどうかを判定する。
ステップＳ１５６において、あらかじめ定められた複数の表示フォーマットのすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ１５２に戻り、制御部１４２は、あらかじめ定められた複数の表示フォーマットのうちの、まだ注目表示フォーマットとしていないものの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ１５６において、あらかじめ定められた複数の表示フォーマットのすべてについて、評価値を算出したと判定された場合、ステップＳ１５７に進み、制御部１４２は、あらかじめ定められた複数の表示フォーマットのうちの、評価値が最も高い表示フォーマットを、最適（適切）な表示フォーマットに決定し、表示フォーマットの学習処理を終了する。
図２５の表示制御部１１２は、図３０の学習処理によって最適な表示フォーマットに決定された表示フォーマットで、ディスプレイ１１３に画像を表示させる。
次に、図３１は、図３０の学習処理によって決定された最適（適切）な表示フォーマットと、各種の信号フォーマットとの組み合わせに対して、最適なタップ係数のセットを求める学習を行う学習装置の構成例を示している。
なお、図中、図９の学習装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３１の学習装置は、学習データ記憶部６１、疑似撮影画像生成部６２、ディスプレイ６９、光検出器７０、評価値算出部７１、および画像変換部７３が設けられている点で、図９の学習装置と共通しているが、表示制御部６８と制御部７２に代えて、それぞれ、表示制御部１６１と制御部１６２が設けられている点で、図９の学習装置と異なっている。
表示制御部１６１は、画像変換部７３（の予測部６７）から供給されるHD画像信号に対応するHD画像を、図３０の学習処理によって決定された最適な表示フォーマットで、ディスプレイ６９に表示させる。
制御部１６２は、疑似撮影画像生成部６２に生成させる疑似撮影画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
また、制御部１６２は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
次に、図３２のフローチャートを参照して、図３１の学習装置が行う、各種の信号フォーマットに対して、最適なタップ係数のセットを求める学習処理について説明する。
ステップＳ１７１において、制御部１６２は、例えば、あらかじめ定められた複数の信号フォーマットの中から、まだ、注目信号フォーマットとされていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ１７２に進む。
ここで、制御部１６２では、例えば、図１９のステップＳ３１で説明した、既存の複数の信号フォーマットを、あらかじめ定められた複数の信号フォーマットとして、その中から、注目信号フォーマットを決定することができる。また、制御部１６２では、既存の複数の信号フォーマットそれぞれを基準として、各信号フォーマットを僅かに変形して得られる１以上の信号フォーマットのすべてを、あらかじめ定められた複数の信号フォーマットとして、その中から、注目信号フォーマットを決定することもできる。
ステップＳ１７２では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部１６２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、画像変換部７３に供給して、ステップＳ１７３に進む。
ステップＳ１７３では、制御部１６２は、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、図２０のステップＳ５１で説明したように、クラスの総数をαと、各クラスのタップ係数の数をβと、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部１６２は、そのα×β×２γ通りのタップ係数のセットのうちの、図３２の学習処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
そして、制御部１６２は、注目タップ係数セットを、係数メモリ６６に供給して記憶させ、ステップＳ１７３からＳ１７４に進む。
ステップＳ１７４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部１６１に供給する。
ステップＳ１７４の処理後は、ステップＳ１７５に進み、表示制御部１６１は、図３０の学習処理によって決定された最適な表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ１７６に進む。
ステップＳ１７６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ１７７に進む。
ステップＳ１７７では、評価値算出部７１が、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部１６２に供給する。
ここで、ステップＳ１７２、およびステップＳ１７４乃至Ｓ１７７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部１６２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ１７７からステップＳ１７８に進み、制御部１６２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ１７８において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、図３２の学習処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ１７３に戻り、制御部１６２は、α×β×２γ通りのタップ係数のセットのうちの、図３２の学習処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ１７８において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ１７９に進み、制御部１６２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、図３０の学習処理によって決定された最適（適切）な表示フォーマットと、注目信号フォーマットとの組み合わせに対して、最適なタップ係数のセットに決定し、注目信号フォーマットを表す信号フォーマット情報と対応付けて記憶して、ステップＳ１８０に進む。
ステップＳ１８０では、制御部１６２は、例えば、あらかじめ定められた複数の信号フォーマットのすべてを、注目信号フォーマットとして、最適なタップ係数のセットを決定したかどうかを判定する。
ステップＳ１８０において、あらかじめ定められた複数の信号フォーマットのすべてに対して、まだ、最適なタップ係数のセットが決定されていないと判定された場合、ステップＳ１７１に戻り、制御部１６２は、あらかじめ定められた複数の信号フォーマットのうちの、まだ、注目信号フォーマットとしていないものの１つを、新たに、注目信号フォーマットに決定して、以下、同様の処理が繰り返される。
また、ステップＳ１８０において、あらかじめ定められた複数の信号フォーマットのすべてに対して、最適なタップ係数のセットが決定されたと判定された場合、図３１の学習装置は、図３２の学習処理を終了する。
表示装置１０２の画像変換部１１１（図２５）においては、図３２の学習処理によって、あらかじめ定められた複数の信号フォーマットのそれぞれに対して得られた最適なタップ係数のセットを、その信号フォーマットを表す信号フォーマット情報と対応付けて、係数メモリ１２２（図２７）に記憶している。
表示装置１０２では、上述したように、信号フォーマット検出部１１４において、カメラ１０１からのSD画像信号の信号フォーマットが取得され、画像変換部１１１において、その信号フォーマットを表す信号フォーマット情報に対応付けられているタップ係数のセットを用いた画像変換処理によって、カメラ１０１からのSD画像信号が、図３０の学習処理によって得られた最適な表示フォーマットで表示したときに、ユーザが高画質であると感じるHD画像信号に変換される。そして、表示制御部１１２において、画像変換部１１１の画像変換処理によって得られたHD画像信号に対応するHD画像が、図３０の学習処理によって得られた最適な表示フォーマットで表示される。
従って、表示装置１０２が、（図３２の学習処理において用いられるあらかじめ定められた複数の信号フォーマットに中の）任意の信号フォーマットの撮影画像信号を出力するカメラ１０１との組み合わせて、画像処理システムを構成する場合でも、そのカメラ１０１の撮影画像信号の信号フォーマットに応じて、ユーザが高画質であると感じる画像を表示することができる。
次に、図３３は、画像を処理する画像処理システムの第３の構成例を示している。
図３３において、画像処理システムは、カメラ（ビデオカメラ）２０１と表示装置２０２とで構成されている。
カメラ２０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置２０２は、カメラ２０１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の高画質画像信号であって、かつ、撮影画像信号に対応する画像を拡大した拡大高画質画像信号に変換して、その拡大高画質画像信号に対応する画像、即ち、撮影画像信号に対応する画像を拡大した拡大画像であって、高画質の拡大画像を表示する。
なお、カメラ２０１は、撮影画像信号として、例えば、RGB画像信号を出力する。
ここで、カメラ２０１が出力する撮影画像信号は、図１のカメラ１が出力する撮影画像信号と同様に、SD画像信号であるとし、そのSD画像信号を変換することにより得られる拡大高画質画像信号は、図１の場合と同様に、HD画像信号であるとする。
図３４は、図３３の表示装置２０２の構成例を示している。
表示装置２０２は、前処理部２１１、画像変換部２１２、表示制御部２１３、およびディスプレイ２１４で構成される。
前処理部２１１には、カメラ２０１からSD画像信号が供給される。前処理部２１１は、カメラ２０１からのSD画像信号に対して、そのSD画像信号に対応する画像を拡大するのに適した前処理を施し、その前処理の結果得られるSD画像信号（以下、適宜、前処理後SD画像信号ともいう）を、画像変換部２１２に供給する。
画像変換部２１２は、前処理部２１１からの前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号に対応する画像を拡大したHD画像の拡大画像（以下、適宜、拡大HD画像ともいう）に対応するHD画像信号（以下、適宜、拡大HD画像信号ともいう）を、第２の画像信号として、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としての前処理後SD画像信号を、第２の画像信号としての拡大HD画像信号に変換し、表示制御部２１３に供給する。
表示制御部２１３は、既存の表示フォーマット、あるいは、図２９の学習装置において図３０の学習処理が行われることにより決定された表示フォーマットなどの所定の表示フォーマットで、画像変換部２１２から供給される拡大HD画像信号に対応する拡大HD画像を、ディスプレイ２１４に表示させる表示制御を行う。
ディスプレイ２１４は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部２１３の制御にしたがって、画像（拡大HD画像）を表示する。
次に、図３５は、図３３の前処理部２１１の構成例を示している。
前処理部２１１は、例えば、前処理タップ抽出部２２１、前処理演算部２２２、および係数メモリ２２３から構成されている。
前処理タップ抽出部２２１は、カメラ２０１（図３３）からのSD画像信号に前処理を施して得ようとする前処理後SD画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ２０１からのSD画像信号から抽出する。
具体的には、前処理タップ抽出部２２１は、注目画素に対応する、カメラ２０１からのSD画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている、カメラ２０１からのSD画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、カメラ２０１からのSD画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、前処理タップとして抽出する。
そして、前処理タップ抽出部２２１は、注目画素に対して得た前処理タップを、前処理演算部２２２に供給する。
前処理演算部２２２は、係数メモリ２２３に記憶されている１つまたは複数の係数によって定義される所定の前処理用の関数の演算を、前処理タップ抽出部２２１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として出力する。
係数メモリ２２３は、後述する学習によってあらかじめ求められている、前処理用の関数を定義する係数（以下、適宜、前処理係数という）のセットを記憶している。
ここで、前処理用の関数f()として、例えば、線形一次式を採用することとすると、前処理用の関数f(x1,x2,・・・,xM）は、式f(x1,x2,・・・,xM）=p1x1+p2x2+・・・+pMxMで表される。但し、x1,x2,・・・,xMは、注目画素についての前処理タップとしての、カメラ２０１からのSD画像信号の複数の画素（M個の画素）の画素値を表し、p1,p2,・・・,pMは、係数メモリ２３３に記憶されている、前処理用の関数f()を定義する係数のセットを表す。
次に、図３６は、図３４の画像変換部２１２の構成例を示している。
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３６の画像変換部２１２は、タップ抽出部４１，４２、クラス分類部４３、および予測部４５が設けられている点で、図４の画像変換部１１と共通するが、係数メモリ４４に代えて、係数メモリ２３１が設けられている点で、図４の画像変換部１１と相違している。
係数メモリ２３１には、係数メモリ４４に記憶されているタップ係数のセットとは別の、後述する学習によって得られたタップ係数のセットが記憶されている。
画像変換部２１２では、係数メモリ２３１に記憶されているタップ係数のセットを用いて画像変換処理が行われ、これにより、前処理後SD画像信号が、拡大HD画像信号に変換される。
即ち、画像変換部２１２では、前処理部２１１からの前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、タップ抽出部４１が、第２の画像信号としての拡大HD画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後SD画像信号から、予測タップとする画素の画素値を抽出して、予測部４５に供給する。さらに、タップ抽出部４２が、注目画素について、第１の画像信号としての前処理後SD画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部４３に供給する。
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素のクラスを求めるクラス分類を行い、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ２３１に供給する。係数メモリ２３１は、クラス分類部４３からのクラスに対応して、そのクラスのタップ係数を読み出して、予測部４５に出力する。
予測部４５は、タップ抽出部４１からの予測タップと、係数メモリ２３１からのタップ係数とを用いて、例えば、上述した式（１）の演算を行い、これにより、第２の画像信号としての拡大HD画像信号の注目画素の画素値を求める（予測する）。
次に、図３７のフローチャートを参照して、図３４の表示装置２０２の動作について説明する。
表示装置２０２には、カメラ２０１からのSD画像信号が供給される。表示装置２０２では、カメラ２０１からのSD画像信号が受信され、前処理部２１１に供給される。
前処理部２１１は、ステップＳ２０１において、カメラ２０１からのSD画像信号に対して前処理を施し、その前処理の結果得られる前処理後SD画像信号を出力する。
即ち、前処理部２１１（図３５）では、前処理タップ抽出部２２１が、カメラ２０１からのSD画像信号に前処理を施して得ようとする前処理後SD画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ２０１からのSD画像信号から抽出して、前処理演算部２２２に供給する。
前処理演算部２２２は、係数メモリ２２３に記憶されている前処理係数によって定義される前処理用の関数の演算を、前処理タップ抽出部２２１からの前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として出力する。
以上のようにして、前処理部２１１が出力する前処理後SD画像信号は、画像変換部２１２に供給される。
画像変換部２１２は、ステップＳ２０２において、前処理部２１１からの前処理後SD画像信号を、係数メモリ２３１（図３６）に記憶された、後述する学習によって得られたタップ係数を用いた演算によって、カメラ２０１が出力するSD画像信号を拡大し、かつ高画質にした拡大HD画像信号に変換する画像変換処理を行い、その結果得られる拡大HD画像信号を、表示制御部２１３に供給して、ステップＳ２０３に進む。
ステップＳ２０３では、表示制御部２１３が、所定の表示フォーマットで、画像変換部２１２から供給される拡大HD画像信号に対応する拡大HD画像を、ディスプレイ２１４に表示させる。
以上のようにして、ディスプレイ２１４では、拡大HD画像が表示される。
図３４の表示装置２０２では、上述したように、画像変換部２１２において、前処理部２１１でカメラ２０１が出力するSD画像信号に前処理を施すことにより得られる前処理後SD画像信号を第１の画像信号とするとともに、カメラ２０１が出力するSD画像信号を拡大し、かつ高解像度にした拡大HD画像信号を第２の画像信号として、第１の画像信号を第２の画像信号に変換する画像変換処理が行われる。
ここで、画像変換部２１２では、前処理部２１１が出力する前処理後SD画像信号ではなく、カメラ２０１が出力するSD画像信号そのものを第１の画像信号として画像変換処理を行い、第２の画像信号としての拡大HD画像信号を得ることもできる。
しかしながら、第２の画像信号としての拡大HD画像信号を得る画像変換処理において第１の画像信号とする画像信号を、カメラ２０１が出力するSD画像信号そのものとすることが、必ずしも適切であるとは限らない。
即ち、カメラ２０１が出力するSD画像信号そのものではなく、そのSD画像信号に何らかの処理を施し、その結果得られる画像信号を第１の画像信号として、画像変換処理を行った方が、ユーザがより高画質であると感じる拡大HD画像信号を得ることができる可能性がある。
そこで、図３４の表示装置２０２では、画像変換部２１２の前段に設けられた前処理部２１１において、カメラ２０１からのSD画像信号に対して、そのSD画像信号を拡大し、かつ高画質にするのに適した前処理、つまり、ユーザがより高画質であると感じる拡大HD画像信号を画像変換処理によって得るのに適した画像信号に、カメラ２０１からのSD画像信号を変換する前処理が行われる。
次に、前処理部２１１（図３５）では、上述したように、前処理タップ抽出部２２１において、注目画素の画素値を求めるのに用いる、注目画素と所定の位置関係（タップ構造）にある複数の画素の画素値である前処理タップが、カメラ２０１からのSD画像信号から抽出される。そして、注目画素とどのような位置関係にある画素を、前処理タップとするか、つまり、前処理タップとなる画素の注目画素に対する位置関係（タップ構造）は、学習によって求められる。
さらに、前処理部２１１では、前処理演算部２２２において、係数メモリ２２３に記憶されている前処理係数によって定義される前処理用の関数の演算が、前処理タップとしての画素値を引数として行われることにより、注目画素の画素値（前処理後SD画像信号）が求められるが、前処理用の関数を定義する前処理係数も、学習によって求められる。
また、画像変換部２１２（図３４）では、前処理部２１１で得られた前処理後SD画像信号を、タップ係数との演算によって、拡大HD画像信号に変換する画像変換処理が行われるが、この拡大HD画像信号を得るための画像変換処理に用いられるタップ係数（以下、適宜、拡大用タップ係数ともいう）も、学習によって求められる。
図３８は、前処理タップ抽出部２２１（図３５）で得られる前処理タップのタップ構造、前処理演算部２２で演算される前処理用の関数を定義する前処理係数、および、拡大用タップ係数を学習する（求める）学習装置の構成例を示している。
図３８の学習装置は、学習データ記憶部２５１、学習対データ生成部２５２、制御部２５３、評価値算出部２５４、学習部２５５および２５６から構成されている。
学習データ記憶部２５１は、前処理タップのタップ構造、前処理係数、および、拡大用タップ係数の学習に用いられる学習データとして、例えば、SHD画像信号（SHD画像）を記憶している。
学習対データ生成部２５２は、学習データ記憶部２５１に記憶されている学習データから、図３４の表示装置２０２の前処理部２１１に供給されるSD画像信号に相当するSD画像信号と、そのSD画像信号を拡大した拡大HD画像信号（図３４の表示装置２０２の画像変換部２１２が出力する拡大HD画像信号に相当するHD画像信号）とを生成する。
ここで、ある入力信号に対する理想的な出力信号を、教師信号というとともに、その教師信号を得るために与えられる入力信号を、生徒信号ということとすると、学習対データ生成部２５２は、生徒信号としてのSD画像信号と、そのSD画像信号を拡大した、教師信号としての拡大HD画像信号とを生成する。
具体的には、学習対データ生成部２５２は、学習データ記憶部２５１に記憶されている学習データとしてのSHD画像信号のフレームを、順次、注目フレームとし、例えば、注目フレームの画素を、その間引く画素の数を変えて間引くことにより、生徒信号としてのSD画像信号を生成するとともに、そのSD画像信号を拡大した、そのSD画像信号よりも画素数の多い教師信号としての拡大HD画像信号とを生成する。
そして、学習対データ生成部２５２は、生徒信号としてのSD画像信号と、そのSD画像信号を拡大した、教師信号としての拡大HD画像信号とのセットを、学習対データとして、評価値算出部２５４、学習部２５５および２５６に供給する。
制御部２５３は、例えば、評価値算出部２５４から供給される、学習部２５５で得られた拡大HD画像信号の評価に基づき、学習部２５５および２５６を制御する。
評価値算出部２５４は、学習部２５５（の画像変換部２６２を構成する予測部２８５）が出力する拡大HD画像信号を評価し、その評価の結果を、制御部２５３に供給する。
即ち、評価値算出部２５４は、例えば、学習部２５５が出力する拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの、学習部２５５が出力する拡大HD画像信号に変換された生徒信号とセットになっている教師信号としての拡大HD画像信号とを比較することにより、学習部２５５が出力する拡大HD画像信号の、教師信号に対する、いわば近さ（一致している度合い）を表す評価値を算出し、制御部７２に供給する。
ここで、評価値算出部２５４が算出する評価値としては、例えば、学習部２５５が出力する拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差の総和に反比例する値などを採用することができる。
この場合、評価値算出部２５４では、学習部２５５が出力する拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差が、学習対データ生成部２５２で生成される学習対データを構成する教師信号としての拡大HD画像信号のすべての画素について求められ、それらの自乗誤差の総和に反比例する値が、評価値として求められる。
学習部２５５は、前処理部２６１と画像変換部２６２で構成される。
前処理部２６１は、前処理タップ抽出部２７１、前処理演算部２７２、および係数メモリ２７３から構成され、制御部２５３の制御にしたがい、図３４の表示装置２０２を構成する前処理部２１１と同様の処理を行う。
即ち、前処理タップ抽出部２７１は、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号（この前処理後SD信号は仮想的に想定される）を構成する画素を、順次、注目画素とし、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部２７２に供給する。
ここで、前処理タップ抽出部２７１は、制御部２５３からの制御にしたがったタップ構造の前処理タップを抽出する。即ち、前処理タップ抽出部２７１において得られる前処理タップを、注目画素とどのような位置関係にある画素（の画素値）とするかは、制御部２５３によって制御される。
前処理演算部２７２は、図３５の前処理演算部２２２と同様に、係数メモリ２７３に記憶されている前処理係数によって定義される前処理用の関数の演算を、前処理タップ抽出部２７１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
係数メモリ２７３は、制御部２５３から供給される前処理係数を（上書きする形で）記憶する。
画像変換部２６２は、タップ抽出部２８１，２８２、クラス分類部２８３、係数メモリ２８４、および予測部２８５から構成され、制御部２５３の制御にしたがい、図３４の表示装置２０２を構成する画像変換部２１２と同様の処理（タップ係数のセットを用いた画像変換処理）を行う。
即ち、画像変換部２６２では、前処理部２６１（の前処理演算部２７２）からの前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、タップ抽出部２８１は、第２の画像信号としての拡大HD画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後SD画像信号から、予測タップとする画素の画素値を抽出して、画像変換部２１２（図３６）のタップ抽出部４１で得られるのと同一のタップ構造の予測タップを、予測部２８５に供給する。
タップ抽出部２８２は、注目画素について、第１の画像信号としての前処理後SD画像信号から、クラスタップとする画素の画素値を抽出し、画像変換部２１２のタップ抽出部４２で得られるのと同一のタップ構造のクラスタップを、クラス分類部２８３に供給する。
クラス分類部２８３は、タップ抽出部２８２からのクラスタップに基づき、画像変換部２１２のクラス分類部４３が行うのと同様のクラス分類を行い、その結果得られる注目画素のクラスを、係数メモリ２８４に供給する。
係数メモリ２８４は、制御部２５３からの制御にしたがい、その制御部２５３から供給されるタップ係数のセットを（上書きする形で）記憶し、クラス分類部２８３からのクラスに対応して、そのクラスのタップ係数を読み出して、予測部２８５に出力する。
予測部２８５は、タップ抽出部２８１からの予測タップと、係数メモリ２８４からのタップ係数とを用いて、画像変換部２１２の予測部４５が行うのと同様の演算を行い、これにより、第２の画像信号としての拡大HD画像信号の注目画素の画素値を求めて（予測して）、評価値算出部２５４に供給する。
学習部２５６は、前処理部３０１とタップ係数学習部３０２とから構成される。
前処理部３０１は、前処理タップ抽出部３１１、前処理演算部３１２、および係数メモリ３１３から構成され、制御部２５３の制御にしたがい、前処理部２６１、ひいては、図３４の表示装置２０２を構成する前処理部２１１と同様の処理を行う。
即ち、前処理タップ抽出部３１１は、前処理タップ抽出部２７１と同様に、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部３１２に供給する。
ここで、前処理タップ抽出部３１１は、制御部２５３からの制御にしたがったタップ構造の前処理タップを抽出する。即ち、前処理タップ抽出部３１１において得られる前処理タップを、注目画素とどのような位置関係にある画素（の画素値）とするかは、制御部２５３によって制御される。
前処理演算部３１２は、前処理演算部２７２と同様に、係数メモリ３１３に記憶されている前処理係数によって定義される前処理用の関数の演算を、前処理タップ抽出部３１１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、タップ係数学習部３０２に供給する。
係数メモリ３１３は、制御部２５３から供給される前処理係数を（上書きする形で）記憶する。
タップ係数学習部３０２は、タップ抽出部３２１，３２２、クラス分類部３２３、正規方程式生成部３２４、およびタップ係数算出部３２５から構成され、上述した正規方程式を用いる学習方法、つまり、式（８）の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
即ち、タップ係数学習部３０２では、タップ抽出部３２１は、学習対データ生成部２５２から供給される学習対データのうちの教師信号としての拡大HD画像信号の画素を、順次、注目画素として、その注目画素について、前処理部３０１（の前処理演算部３１２）からの前処理後SD画像信号から、予測タップとする画素の画素値を抽出し、タップ抽出部２８１で得られるのと同一のタップ構造の予測タップを、正規方程式生成部３２４に供給する。
タップ抽出部３２２は、注目画素について、前処理部３０１（の前処理演算部３１２）からの前処理後SD画像信号から、クラスタップとする画素の画素値を抽出し、タップ抽出部２８２で得られるのと同一のタップ構造のクラスタップを、クラス分類部３２３に供給する。
クラス分類部３２３は、タップ抽出部３２２から供給されるクラスタップに基づき、クラス分類部２８３と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部３２４に供給する。
正規方程式生成部３２４は、学習対データ生成部２５２から供給される学習対データの教師信号としての拡大HD画像信号のうちの、注目画素（の画素値）ｙkと、タップ抽出部３２１から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、クラス分類部３２３から供給されるクラスコードごとに行う。
即ち、正規方程式生成部３２４は、クラス分類部３２３から供給されるクラスごとに、タップ抽出部３２１から供給される注目画素についての予測タップを構成する画素（以下、適宜、予測タップ画素ともいう）ｘn,kを用い、式（８）の左辺の行列における予測タップ画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、正規方程式生成部３２４は、やはり、クラス分類部３２３から供給されるクラスごとに、予測タップ画素ｘn,kと拡大HD画像信号の画素（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける、予測タップ画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、正規方程式生成部３２４は、前回、注目画素とされた拡大HD画像信号の画素（以下、適宜、拡大HD画素ともいう）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
そして、正規方程式生成部３２４は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた拡大HD画素についての予測タップを構成する予測タップ画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた拡大HD画素について、その拡大HD画素ｙk+1および予測タップ画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
正規方程式生成部３２４は、学習対データ生成部２５２から供給される学習対データの教師信号としての拡大HD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３２５に供給する。
タップ係数算出部３２５は、正規方程式生成部３２４から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数（式（４）の自乗誤差の総和Ｅを最小にするタップ係数）ｗnを求め、制御部２５３に供給する。
次に、図３９のフローチャートを参照して、図３８の学習装置が行う、前処理タップのタップ構造、前処理係数、および、拡大用タップ係数を学習する学習処理について説明する。
まず最初に、ステップＳ２１１において、学習対データ生成部２５２は、学習データ記憶部２５１に記憶されている学習データから、図３４の表示装置２０２の前処理部２１１に供給されるSD画像信号に相当するSD画像信号と、そのSD画像信号を拡大した拡大HD画像信号（図３４の表示装置２０２の画像変換部２１２が出力する拡大HD画像信号に相当するHD画像信号）とを生成する。そして、学習対データ生成部２５２は、そのSD画像信号と拡大HD画像信号とを、例えばフレームごとに対応付け、学習対データとして、評価値算出部２５４、学習部２５５および２５６に供給する。
その後、ステップＳ２１１からステップＳ２１２に進み、制御部２５３は、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、前処理部３０１の前処理タップ抽出部３１１に供給して、ステップＳ２１３に進む。
即ち、図３８の学習装置には、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の画素や、注目画素の位置に最も近い画素を中心として横方向に並ぶ９画素と縦方向に並ぶ５画素などといったような、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部２５３は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部２５３は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理タップ抽出部３１１に供給する。
ここで、Dmは、例えば、複数の初期タップ構造のうちのm番目の初期タップ構造を表す。
ステップＳ２１３では、制御部２５３は、前処理部３０１が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素（の画素値）の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×２Y通りだけ存在するが、制御部２５３は、そのX×２Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの１つ（１セット）を、注目前処理係数セットEnに決定する。
そして、制御部２５３は、注目前処理係数セットEnを、前処理部３０１の係数メモリ３１３に供給して記憶させ、ステップＳ２１３からステップＳ２１４に進む。
ステップＳ２１４では、学習装置（図３８）において、注目タップ構造Dmと注目前処理係数セットEnとの組み合わせについて、仮の最適な拡大用タップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fm,nが決定される。
即ち、ステップＳ２１４では、学習部２５６において、注目タップ構造Dmの前処理タップと、注目前処理係数セットEnとを用い、SD画像信号に対して前処理を施すことにより得られる前処理後SD画像信号を第１の画像信号として、拡大用タップ係数のセットを用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としての拡大HD画像信号と、学習対データ生成部２５２で生成された学習対データの教師信号としての拡大HD画像信号との自乗誤差の総和を最も小さくする拡大用タップ係数のセットが、最適な拡大用タップ係数のセットFm,nとして求められ、制御部２５３に供給される。
そして、ステップＳ２１４からステップＳ２１５に進み、制御部２５３は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
ステップＳ２１５において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップＳ２１３に戻り、制御部２５３は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの１つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
また、ステップＳ２１５において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップＳ２１６に進み、制御部２５３は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
ステップＳ２１６において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップＳ２１２に戻り、制御部２５３は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の１つを、注目タップ構造に新たに決定し、同様の処理を繰り返す。
また、ステップＳ２１６において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、複数の初期タップ構造それぞれと、各初期タップ構造の前処理タップに対して取り得る複数の前処理係数セットそれぞれとの組み合わせすべてについて、ステップＳ２１４で最適なタップ係数のセットが求められた場合、ステップＳ２１７に進み、制御部２５３は、初期タップ構造および前処理係数セットと、その初期タップ構造および前処理係数セットの組み合わせについての最適な拡大用タップ係数のセットとの組み合わせの中から、最適なタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
ステップＳ２１７において、最適なタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせが仮決定された後は、ステップＳ２１８に進み、現在の仮の最適な前処理係数セットと拡大用タップ係数のセットとの組み合わせについて、最適なタップ構造を仮決定する最適タップ構造決定処理が行われ、ステップＳ２１９に進む。
ステップＳ２１９では、現在の仮の最適なタップ構造と拡大用タップ係数のセットとの組み合わせについて、最適な前処理係数セットを仮決定する最適前処理係数セット決定処理が行われ、ステップＳ２２０に進む。
ステップＳ２２０では、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせについて、最適な拡大用タップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ２２１に進む。
ステップＳ２２１では、制御部２５３が、直前のステップＳ２１８で求められた現在の仮の最適なタップ構造、直前のステップＳ２１９で求められた現在の仮の最適な前処理係数セット、および直前のステップＳ２２０で求められた現在の仮の最適な拡大用タップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ２２０の最適タップ係数セット決定処理では、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせについて、評価値算出部２５４が算出する評価値を最大にする拡大用タップ係数のセットが、最適な拡大用タップ係数のセットとして仮決定されるが、ステップＳ２２１では、例えば、その最適な拡大用タップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適なタップ構造、現在の仮の最適な前処理係数セット、および現在の仮の最適な拡大用タップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップＳ２２１において、現在の仮の最適なタップ構造、現在の仮の最適な前処理係数セット、および現在の仮の最適な拡大用タップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ２２０で求められた現在の仮の最適な拡大用タップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ２１８に戻り、同様の処理が繰り返される。
また、ステップＳ２２１において、現在の仮の最適なタップ構造、現在の仮の最適な前処理係数セット、および現在の仮の最適な拡大用タップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ２２０で求められた現在の仮の最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合、制御部２５３は、現在の仮の最適なタップ構造、現在の仮の最適な前処理係数セット、および現在の仮の最適な拡大用タップ係数のセットの組み合わせを、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせに最終的に決定し（最終決定し）、学習処理を終了する。
図３４の表示装置２０２において、前処理部２１１は、図３９の学習処理によって最終決定された最適なタップ構造の前処理タップと、最適な前処理係数セットとを用いて、カメラ２０１からのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を出力する。さらに、画像変換部２１３は、図３９の学習処理によって最終決定された最適な拡大用タップ係数のセットを用いて、前処理部２１１が出力する前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理を行う。
従って、前処理部２１１が出力する前処理後SD画像信号のS/N等はともかく、画像変換部２１２では、学習対データの教師信号としての拡大HD画像信号の画質により近い画質の拡大HD画像信号を得ることができる。
なお、図３９では、最適タップ係数セット決定処理において求められた拡大用タップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、前処理タップのタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適タップ構造決定処理、最適前処理係数セット決定処理、および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、タップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
次に、図４０のフローチャートを参照して、注目タップ構造Dmと注目前処理係数セットEnとの組み合わせについて、仮の最適な拡大用タップ係数のセットFm,nを決定する図３９のステップＳ２１４の処理について、詳述する。
前処理部３０１（図３８）は、ステップＳ２４１において、制御部２５３から供給されるタップ構造情報と注目前処理係数セットEnとに基づき、学習対データ生成部２５２から供給される学習対データの生徒信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、タップ係数学習部３０２に供給する。
即ち、前処理部３０１では、前処理タップ抽出部３１１が、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、制御部２５３から供給されるタップ構造情報が表す注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部３１２に供給する。
前処理演算部３１２は、制御部２５３から供給され、係数メモリ３１３に記憶されている注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップ抽出部３１１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、タップ係数学習部３０２に供給する。
そして、タップ係数学習部３０２は、前処理部３０１から供給される前処理後SD画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を行うのに用いる最適な拡大用タップ係数のセットFm,nを、正規方程式を用いる学習方法によって求める。
即ち、タップ係数学習部３０２では、ステップＳ２４２において、タップ抽出部３２１が、学習対データ生成部２５２から供給される教師信号としての拡大HD画像信号の画素を、順次、注目画素として、その注目画素についての予測タップとなる画素の画素値を、前処理部３０１から供給される第１の画像信号としての前処理後SD画像信号から抽出し、正規方程式生成部３２４に供給する。
また、タップ抽出部３２２が、注目画素についてのクラスタップとなる画素の画素値を、前処理部３０１から供給される第１の画像信号としての前処理後SD画像信号から抽出し、クラス分類部３２３に供給する。
クラス分類部３２３は、ステップＳ２４３において、タップ抽出部３２２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部３２４に供給して、ステップＳ２４４に進む。
ステップＳ２４４では、正規方程式生成部３２４は、学習対データ生成部２５２から供給される学習対データのうちの注目画素（の画素値）と、タップ抽出部３２１から供給される注目画素について得られた予測タップを構成する前処理後SD画像信号の画素（の画素値）とを対象として、クラス分類部３２３から供給されるクラスについてたてられた式（８）の足し込みを、上述したように行う。
そして、タップ係数学習部３０２において、学習対データ生成部２５２から供給された学習対データの教師信号としての拡大HD画像信号の画素すべてを注目画素として、ステップＳ２４４の足し込みが行われると、正規方程式生成部３２４は、その足し込みによって得られた各クラスの正規方程式（クラスごとの式（８）における左辺の行列と、右辺のベクトル）を、タップ係数算出部３２５に供給して、ステップＳ２４４からステップＳ２４５に進む。
ステップＳ２４５では、タップ係数算出部３２５は、正規方程式生成部３２４から供給される各クラスの正規方程式（クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式）を解くことにより、各クラスごとのタップ係数のセットを求め、そのタップ係数のセットを、注目タップ構造Dmと注目前処理係数セットEnとの組み合わせについての最適な拡大用タップ係数のセットFm,nとして決定し、制御部２５３に供給してリターンする。
なお、学習用対データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３２５は、例えば、デフォルトのタップ係数を出力するようになっている。
次に、図４１のフローチャートを参照して、図３９のステップＳ２１７において、最適なタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせを仮決定する処理について詳述する。
ステップＳ２６１に進み、制御部２５３は、図３９のステップＳ２１２と同様に、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１の前処理タップ抽出部２７１に供給して、ステップＳ２６２に進む。
ステップＳ２６２では、制御部２５３は、図３９のステップＳ２１３と同様に、前処理部２６１が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素（の画素値）の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×２Y通りだけ存在するが、制御部２５３は、そのX×２Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットEnに決定する。
そして、制御部２５３は、注目前処理係数セットEnを、前処理部２６１の係数メモリ２７３に供給して記憶させ、ステップＳ２６２からステップＳ２６３に進む。
前処理部２６１は、ステップＳ２６３において、制御部２５３から供給されたタップ構造情報と注目前処理係数セットEnとに基づき、学習対データ生成部２５２から供給される学習対データの生徒信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１では、前処理タップ抽出部２７１が、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、制御部２５３から供給されるタップ構造情報が表す注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部２７２に供給する。
前処理演算部２７２は、制御部２５３から供給され、係数メモリ２７３に記憶されている注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップ抽出部２７１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
そして、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を行う。
即ち、ステップＳ２６４において、制御部２５３は、図３９のステップＳ２１４で、注目タップ構造Dmと注目前処理係数セットEnとの組み合わせについて決定された最適な拡大用タップ係数のセットFm,nを、画像変換部２６２の係数メモリ２８４に供給して記憶させる。
そして、ステップＳ２６４からステップＳ２６５に進み、タップ抽出部２８１は、前処理部２６１（の前処理演算部２７２）からの前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、第２の画像信号としての拡大HD画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後SD画像信号から、予測タップとする画素の画素値を抽出して、予測部２８５に供給する。
さらに、ステップＳ２６５では、タップ抽出部２８２が、注目画素について、前処理部２６１からの第１の画像信号としての前処理後SD画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部２８３に供給して、ステップＳ２６６に進む。
ステップＳ２６６では、クラス分類部２８３が、タップ抽出部２８２からのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、係数メモリ２８４に供給する。
係数メモリ２８４は、ステップＳ２６７において、直前のステップＳ２６４で記憶した拡大用タップ係数のセットFm,nのうちの、クラス分類部２８３からの注目画素のクラスに対応して、そのクラスのタップ係数（のセット）を読み出して、予測部２８５に出力する。
予測部２８５は、ステップＳ２６８において、タップ抽出部２８１からの予測タップと、係数メモリ２８４からの拡大用タップ係数とを用いて、画像変換部２１２（図４６）の予測部４５が行うのと同様の演算を行い、これにより、第２の画像信号としての拡大HD画像信号の注目画素の画素値を求めて（予測して）、評価値算出部２５４に供給する。
評価値算出部２５４は、ステップＳ２６９において、画像変換部２６２において以上のステップＳ２６５乃至Ｓ２６８で行われる画像変換処理によって得られる拡大HD画像信号を評価し、その評価の結果を、制御部２５３に供給する。
即ち、評価値算出部２５４は、例えば、画像変換部２６２から供給される第２の画像信号としての拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの、画像変換部２６２から供給される拡大HD画像信号に変換された生徒信号としてのSD画像信号とセットになっている教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差を、学習対データ生成部２５２から供給される学習対データを構成する教師信号としての拡大HD画像信号のすべての画素について求め、それらの自乗誤差の総和に反比例する値を、評価値として求める。
そして、評価値算出部２５４は、その評価値を、注目タップ構造Dm、注目前処理係数セットE、および拡大用タップ係数のセットFm,nの組み合わせ（注目タップ構造Dmと注目前処理係数セットE、およびその注目タップ構造Dmと注目前処理係数セットEnとの組み合わせについての最適な拡大用タップ係数のセットFm,nの組み合わせ）に対する評価値として、制御部２５３に供給する。
その後、ステップＳ２６９からＳ２７０に進み、制御部２５３は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
ステップＳ２７０において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップＳ２６２に戻り、制御部２５３は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの１つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
また、ステップＳ２７０において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップＳ２７１に進み、制御部２５３は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
ステップＳ２７１において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップＳ２６１に戻り、制御部２５３は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の１つを、注目タップ構造に新たに決定し、同様の処理を繰り返す。
また、ステップＳ２７１において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、図３９のステップＳ２１４で得られた、初期タップ構造D、前処理係数セットE、および、拡大用タップ係数のセットFの組み合わせすべてに対する評価値が得られた場合、ステップＳ２７２に進み、制御部２５３は、評価値算出部２５４からの評価値のうちの最大の評価値が得られた、初期タップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせを、最適な組み合わせ（タップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせ）に仮決定してリターンする。
次に、図４２のフローチャートを参照して、図３９のステップＳ２１８の最適タップ構造決定処理について詳述する。
ステップＳ２８０において、制御部２５３は、現在の仮の（仮決定された）最適な前処理タップ係数セットを、前処理部２６１の係数メモリ２７３に供給して記憶させるとともに、現在の仮の（仮決定された）最適な拡大用タップ係数のセットを、画像変換部２６２の係数メモリ２８４に供給して記憶させ、ステップＳ２８１に進む。
ステップＳ２８１において、制御部２５３は、現在の仮の（仮決定された）最適なタップ構造を基準として、最適なタップ構造の複数の候補を決定する。
即ち、例えば、いま、注目画素の位置に最も近い画素を中心とする横×縦が３×３の隣接する画素が、現在の仮の最適なタップ構造であるとすると、制御部２５３は、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の１画素おきの画素や、２画素おきの画素などの、現在の仮の最適なタップ構造を変形したタップ構造を、最適なタップ構造の複数の候補として決定する。
なお、最適なタップ構造の複数の候補を得るために、現在の仮の最適なタップ構造を、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部２５３は、その変形ルールにしたがって、現在の仮の最適なタップ構造を変形して、最適なタップ構造の複数の候補を決定する。
また、最適なタップ構造の複数の候補には、現在の仮の最適なタップ構造も含まれる。
ステップＳ２８１の処理後はステップＳ２８２に進み、制御部２５３は、最適なタップ構造の複数の候補のうちの、まだ、注目タップ構造としていないものの１つを、注目タップ構造に決定し、その注目タップ構造を表すタップ構造情報を、前処理部２６１に供給して、ステップＳ２８３に進む。
前処理部２６１は、ステップＳ２８３において、制御部２５３から供給されるタップ構造情報と、係数メモリ２７３に記憶されている現在の仮の前処理係数セットとに基づき、学習対データ生成部２５２から供給される学習対データの生徒信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、ステップＳ２８３において、前処理部２６１では、前処理タップ抽出部２７１が、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、制御部２５３から供給されるタップ構造情報が表す注目タップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部２７２に供給する。
前処理演算部２７２は、制御部２５３から供給され、係数メモリ２７３に記憶されている現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップ抽出部２７１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
そして、画像変換部２６２は、ステップＳ２８４において、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を、現在の仮の（仮決定された）最適な拡大用タップ係数のセットを用いて行う。
即ち、ステップＳ２８４では、タップ抽出部２８１は、前処理部２６１（の前処理演算部２７２）からの前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、第２の画像信号としての拡大HD画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後SD画像信号から、予測タップとする画素の画素値を抽出して、予測部２８５に供給する。
また、タップ抽出部２８２が、注目画素について、第１の画像信号としての前処理後SD画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部２８３に供給する。クラス分類部２８３が、タップ抽出部２８２からのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、係数メモリ２８４に供給する。係数メモリ２８４は、直前のステップＳ２８０で記憶した現在の仮の最適な拡大用タップ係数のセットのうちの、クラス分類部２８３からの注目画素のクラスのタップ係数（のセット）を読み出して、予測部２８５に出力する。
予測部２８５は、タップ抽出部２８１からの予測タップと、係数メモリ２８４からの拡大用タップ係数とを用いて、式（１）の演算を行い、これにより、第２の画像信号としての拡大HD画像信号の注目画素の画素値を求めて（予測して）、評価値算出部２５４に供給する。
その後、ステップＳ２８５において、評価値算出部２５４は、画像変換部２６２で行われた画像変換処理によって得られた拡大HD画像信号を評価し、その評価の結果を、制御部２５３に供給する。
即ち、評価値算出部２５４は、例えば、画像変換部２６２から供給される第２の画像信号としての拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの、画像変換部２６２から供給される拡大HD画像信号に変換された生徒信号としてのSD画像信号とセットになっている教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差を、学習対データ生成部２５２から供給される学習対データを構成する教師信号としての拡大HD画像信号のすべての画素について求め、それらの自乗誤差の総和に反比例する値を、評価値として求める。
そして、評価値算出部２５４は、その評価値を、注目タップ構造に対する評価値として、制御部２５３に供給する。
そして、ステップＳ２８５からステップＳ２８６に進み、制御部２５３は、ステップＳ２８１で決定した最適なタップ構造の複数の候補のすべてに対する評価値を算出したかどうかを判定する。
ステップＳ２８６において、最適なタップ構造の複数の候補のすべてに対する評価値を、まだ算出していないと判定された場合、ステップＳ２８２に戻り、制御部２５３は、最適なタップ構造の複数の候補のうちの、まだ注目タップ構造としていないものの１つを、注目タップ構造に新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ２８６において、最適なタップ構造の複数の候補のすべてに対する評価値を算出したと判定された場合、ステップＳ２８７に進み、制御部２５３は、最適なタップ構造の複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な前処理係数セットと拡大用タップ係数のセットとの組み合わせに対する最適なタップ構造に、新たに仮決定してリターンする。
次に、図４３のフローチャートを参照して、図３９のステップＳ２１９の最適前処理係数セット決定処理について詳述する。
ステップＳ２９０において、制御部２５３は、現在の仮の（仮決定された）最適なタップ構造を表すタップ構造情報を、前処理部２６１の前処理タップ抽出部２７１に供給するとともに、現在の仮の最適な拡大用タップ係数のセットを、画像変換部２６２の係数メモリ２８４に供給して記憶させ、ステップＳ２９１に進む。
ステップＳ２９１では、制御部２５３が、現在の仮の最適な前処理係数セットを基準として、最適な前処理係数セットの複数の候補を決定する。
即ち、制御部２５３は、例えば、現在の仮の最適な前処理係数セットの各前処理係数をコンポーネントとするΦ次元のベクトル（この場合、前処理係数セットとしての前処理係数の総数がΦ個）が表す、Φ次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のΦ次元のベクトル（のコンポーネント）を、最適な前処理係数セットの複数の候補として決定する。なお、最適な前処理係数セットの複数の候補を得るために、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部２５３は、そのルールにしたがって、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適な前処理係数セットの複数の候補を決定する。
ステップＳ２９１の処理後はステップＳ２９２に進み、制御部２５３は、最適な前処理係数セットの複数の候補のうちの、まだ、注目前処理係数セットとしていないものの１つを、注目前処理係数セットに決定し、その注目前処理係数セットを、前処理部２６１の係数メモリ２７３に供給して記憶させ、ステップＳ２９３に進む。
前処理部２６１は、ステップＳ２９３において、ステップＳ２９０で制御部２５３から供給されたタップ構造情報と、係数メモリ２７３に記憶されている注目前処理係数セットとに基づき、学習対データ生成部２５２から供給される学習対データの生徒信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、ステップＳ２９３において、前処理部２６１では、前処理タップ抽出部２７１が、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に対応する前処理後SD画像信号（生徒信号としてのSD画像信号に前処理を施して得られる前処理後SD画像信号）を構成する画素を、順次、注目画素とし、その注目画素について、制御部２５３からステップＳ２９０で供給されたタップ構造情報が表すタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部２７２に供給する。
前処理演算部２７２は、制御部２５３から供給され、係数メモリ２７３に記憶されている注目前処理係数セットによって定義される前処理用の関数の演算を、前処理タップ抽出部２７１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
そして、画像変換部２６２は、ステップＳ２９４において、図４２のステップＳ２８４と同様に、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を、ステップＳ２９０で係数メモリ２８４に記憶された現在の仮の最適な拡大用タップ係数のセットを用いて行い、その結果得られる第２の画像信号としての拡大HD画像信号を、評価値算出部２５４に供給して、ステップＳ２９５に進む。
ステップＳ２９５では、評価値算出部２５４は、画像変換部２６２で行われた画像変換処理によって得られる拡大HD画像信号を評価し、その評価の結果を、制御部２５３に供給する。
即ち、評価値算出部２５４は、例えば、画像変換部２６２から供給される第２の画像信号としての拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの、画像変換部２６２から供給される拡大HD画像信号に変換された生徒信号としてのSD画像信号とセットになっている教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差を、学習対データ生成部２５２から供給される学習対データを構成する教師信号としての拡大HD画像信号のすべての画素について求め、それらの自乗誤差の総和に反比例する値を、評価値として求める。
そして、評価値算出部２５４は、その評価値を、注目前処理係数セットに対する評価値として、制御部２５３に供給する。
そして、ステップＳ２９５からステップＳ２９６に進み、制御部２５３は、ステップＳ２９１で決定した最適な前処理係数セットの複数の候補のすべてに対する評価値を算出したかどうかを判定する。
ステップＳ２９６において、最適な前処理係数セットの複数の候補のすべてに対する評価値を、まだ算出していないと判定された場合、ステップＳ２９２に戻り、制御部２５３は、最適な前処理係数セットの複数の候補のうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ２９６において、最適な前処理係数セットの複数の候補のすべてに対する評価値を算出したと判定された場合、ステップＳ２９７に進み、制御部２５３は、最適な前処理係数セットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造と拡大用タップ係数のセットとの組み合わせに対する最適な前処理係数セットに、新たに仮決定してリターンする。
次に、図４４のフローチャートを参照して、図３９のステップＳ２２０の最適タップ係数セット決定処理について詳述する。
ステップＳ３００において、制御部２５３は、現在の仮の（仮決定された）最適なタップ構造を表すタップ構造情報を、前処理部２６１の前処理タップ抽出部２７１に供給するとともに、現在の仮の最適な前処理係数セットを、前処理部２６１の係数メモリ２７３に供給して記憶させ、ステップＳ３０１に進む。
ステップＳ３０１では、制御部２５３が、現在の仮の最適な拡大用タップ係数を基準として、最適な拡大用タップ係数のセットの複数の候補を決定する。
即ち、制御部２５３は、例えば、図２３のステップＳ１１１で説明したように、現在の仮の最適な拡大用タップ係数のセットの各タップ係数をコンポーネントとするZ次元のベクトルが表す、Z次元のベクトル空間の点を基準とする所定の範囲内の複数の点を、あらかじめ決められたルールにしたがって選択し、その複数の点それぞれを表す複数のZ次元のベクトル（のコンポーネント）を、最適な拡大用タップ係数のセットの複数の候補として決定する。
ステップＳ３０１の処理後はステップＳ３０２に進み、前処理部２６１は、ステップＳ３００で制御部２５３から供給されたタップ構造情報と、係数メモリ２７３に記憶された現在の仮の最適な前処理係数セットとに基づき、学習対データ生成部２５２から供給される学習対データの生徒信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、ステップＳ３０２において、前処理部２６１では、前処理タップ抽出部２７１が、学習対データ生成部２５２から供給される学習対データのうちの生徒信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、制御部２５３からステップＳ３００で供給されたタップ構造情報が表すタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部２５２からの生徒信号（SD画像信号）から抽出して、前処理演算部２７２に供給する。
前処理演算部２７２は、制御部２５３から供給され、係数メモリ２７３に記憶されている現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップ抽出部２７１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
その後、ステップＳ３０３において、制御部２５３は、最適な拡大用タップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、画像変換部２６２の係数メモリ２８４に供給して記憶させ、ステップＳ３０３に進む。
そして、画像変換部２６２は、ステップＳ３０４において、図４２のステップＳ２８４と同様に、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を、直前のステップＳ３０３で係数メモリ２８４に記憶された注目タップ係数セットを用いて行い、その結果得られる第２の画像信号としての拡大HD画像信号を、評価値算出部２５４に供給して、ステップＳ３０５に進む。
ステップＳ３０５では、評価値算出部２５４は、画像変換部２６２で行われた画像変換処理によって得られる拡大HD画像信号を評価し、その評価の結果を、制御部２５３に供給する。
即ち、評価値算出部２５４は、例えば、画像変換部２６２から供給される第２の画像信号としての拡大HD画像信号と、学習対データ生成部２５２から供給される学習対データの、画像変換部２６２から供給される拡大HD画像信号に変換された生徒信号としてのSD画像信号とセットになっている教師信号としての拡大HD画像信号との同一位置の画素の画素値どうしの自乗誤差を、学習対データ生成部２５２から供給される学習対データを構成する教師信号としての拡大HD画像信号のすべての画素について求め、それらの自乗誤差の総和に反比例する値を、評価値として求める。
そして、評価値算出部２５４は、その評価値を、注目タップ係数セットに対する評価値として、制御部２５３に供給する。
そして、ステップＳ３０５からステップＳ３０６に進み、制御部２５３は、ステップＳ３０１で決定した最適な拡大用タップ係数のセットの複数の候補のすべてに対する評価値を算出したかどうかを判定する。
ステップＳ３０６において、最適な拡大用タップ係数のセットの複数の候補のすべてに対する評価値を、まだ算出していないと判定された場合、ステップＳ３０３に戻り、制御部２５３は、最適な拡大用タップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ３０６において、最適な拡大用タップ係数のセットの複数の候補のすべてに対する評価値を算出したと判定された場合、ステップＳ３０７に進み、制御部２５３は、最適な拡大用タップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせに対する最適な拡大用タップ係数のセットに、新たに仮決定してリターンする。
以上のように、図３８の学習装置では、図３９で説明したように、現在の仮の最適な前処理係数セットと拡大用タップ係数のセットとの組み合わせについて最適なタップ構造を求めるステップＳ２１８の最適タップ構造決定処理（図４２）、現在の仮の最適なタップ構造と拡大用タップ係数のセットとの組み合わせについて最適な前処理係数セットを求めるステップＳ２１９の最適前処理係数セット決定処理（図４３）、および、現在の仮の最適なタップ構造と前処理係数との組み合わせについて最適な拡大用タップ係数のセットを求める最適タップ係数セット決定処理（図４４）を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、教師信号としての拡大HD画像信号により近い拡大HD画像信号を得るための前処理に用いられる前処理タップのタップ構造および前処理係数と、画像変換処理に用いられる拡大用タップ係数のセットを求める。
従って、図３４の表示装置２０２の前処理部２１１において、図３８の学習装置で得られた最適なタップ構造の前処理タップと、最適な前処理係数とを用いて、カメラ２０１が出力するSD画像信号の前処理を行い、さらに、画像変換部２１２において、前処理の結果得られる前処理後SD画像信号を、最適な拡大用タップ係数のセットを用いて、拡大HD画像信号に変換する画像変換処理を行うことにより、カメラ２０１が出力するSD画像信号を拡大したHD画像信号として、教師信号としての拡大HD画像信号の画質により近い画質のHD画像信号を得ることができる。
なお、図４２の最適タップ構造決定処理において、現在の仮の最適なタップ構造を基準として、最適なタップ構造の複数の候補を決定するにあたり、現在の仮の最適なタップ構造の変形のさせ方としては、図３９のステップＳ２１８乃至Ｓ２２０の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。前処理係数セットと拡大用タップ係数のセットについても同様である。
また、最適なタップ構造の候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適なタップ構造を、大きく変形して、最適なタップ構造の複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。前処理係数セットと拡大用タップ係数のセットについても同様である。
次に、図４５は、画像を処理する画像処理システムの第４の構成例を示している。
図４５において、画像処理システムは、カメラ（ビデオカメラ）４０１と表示装置４０２とで構成されている。
カメラ４０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号としてのSD画像信号を出力する。表示装置４０２は、カメラ４０１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号としてのHD画像信号に変換して、そのHD画像信号に対応するHD画像を表示する。
ここで、表示装置４０２は、ユーザの操作に応じて、カメラ４０１からのSD画像信号を、拡大HD画像信号または通常のサイズのHD画像信号（以下、適宜、通常HD画像信号ともいう）のうちのいずれかに変換し、対応するHD画像を表示する。
なお、カメラ４０１は、例えば、単板式のカメラであり、学習によって決定された信号フォーマット、即ち、例えば、図９の学習装置において最適な信号フォーマットに決定された信号フォーマットの撮影画像信号を出力するようになっている。
図４６は、図４５の表示装置４０２の構成例を示している。
表示装置４０２は、前処理部４１１、選択部４１２、画像変換部４１３、表示制御部４１４、ディスプレイ４１５、操作部４１６、および制御部４１７で構成される。
前処理部４１１には、カメラ４０１からSD画像信号が供給される。前処理部４１１は、カメラ４０１からのSD画像信号に対して、そのSD画像信号に対応する画像を拡大するのに適した前処理を施し、その前処理の結果得られる前処理後SD画像信号を、選択部４１２に供給する。
選択部４１２には、前処理部４１１から前処理後SD画像信号が供給される他、カメラ４０１からのSD画像信号（撮影画像信号）が供給される。選択部４１２は、制御部４１７からの制御にしたがい、前処理部４１１からの前処理後SD画像信号、またはカメラ４０１からのSD画像信号のうちのいずれか一方を選択し、その選択したSD画像信号（以下、適宜、選択SD画像信号ともいう）を、画像変換部４１３に供給する。
画像変換部４１３は、選択部４１２からの選択SD画像信号を、第１の画像信号とするとともに、所定のHD画像信号を、第２の画像信号として、制御部４１７の制御にしたがい、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としての選択SD画像信号を、第２の画像信号としてのHD画像信号に変換し、表示制御部４１４に供給する。
即ち、画像変換部４１３は、前処理部４１１からの選択SD画像信号が、前処理が施されていないSD画像信号、つまり、カメラ４０１が出力するSD画像信号である撮影画像信号そのものである場合、その撮影画像信号であるSD画像信号を、第１の画像信号とするとともに、そのSD画像信号を高画質化した通常サイズのHD画像信号（通常HD画像信号）を、第２の画像信号として、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としてのSD画像信号を、第２の画像信号としての通常HD画像信号に変換する画像変換処理を行い、その結果得られる通常HD画像信号を、表示制御部４１４に供給する。
また、画像変換部４１３は、前処理部４１１からの選択SD画像信号が、前処理部４１１で得られた前処理後SD画像信号である場合、その前処理後SD画像信号を、第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大したHD画像信号（拡大HD画像信号）を、第２の画像信号として、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としての前処理後SD画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理を行い、その結果得られる拡大HD画像信号を、表示制御部４１４に供給する。
ここで、画像変換部４１３において、カメラ４０１が出力するSD画像信号である撮影画像信号を、第１の画像信号として、その第１の画像信号を、第２の画像信号としての通常HD画像信号に変換する画像変換処理（以下、適宜、HD変換処理ともいう）で用いられるタップ係数のセットと、前処理後SD画像信号を、第１の画像信号として、その第１の画像信号を、第２の画像信号としての拡大HD画像信号に変換する画像変換処理（以下、適宜、拡大変換処理ともいう）で用いられるタップ係数のセットとは、異なる。
以下、適宜、HD変換処理で用いられるタップ係数のセットを、拡大変換処理で用いられるタップ係数のセットと区別するために、通常タップ係数のセットともいう。なお、拡大変換処理で用いられるタップ係数のセットは、上述したように、適宜、拡大用タップ係数のセットという。
表示制御部４１４は、制御部４１７の制御にしたがい、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部４１３から供給されるHD画像信号に対応するHD画像を、ディスプレイ４１５に表示させる表示制御を行う。
ディスプレイ４１５は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部４１４の制御にしたがって、画像を表示する。
操作部４１６は、ユーザによって操作され、ユーザの操作に対応した指示を表す指示信号を、制御部４１７に供給する。ここで、指示信号には、例えば、ディスプレイ４１５に画像を表示する表示モードを指示する信号があり、表示モードとしては、ディスプレイ４１５において、通常HD画像信号に対応するHD画像を表示する通常モードと、拡大HD画像信号に対応するHD画像を表示する拡大モードとがある。
制御部４１７は、制御部４１６から供給される指示信号に対応して、選択部４１２、画像変換部４１３、および表示制御部４１４を制御する。
次に、図４７は、図４６の前処理部４１１の構成例を示している。
前処理部４１１は、例えば、前処理タップ抽出部４２１、前処理演算部４２２、および係数メモリ４２３から構成されている。
前処理タップ抽出部４２１は、カメラ４０１（図４６）からのSD画像信号に前処理を施して得ようとする前処理後SD画像信号（カメラ４０１からのSD画像信号に対応する前処理後SD画像信号）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ４０１からのSD画像信号から抽出する。
具体的には、前処理タップ抽出部４２１は、注目画素に対応する、カメラ４０１からのSD画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている、カメラ４０１からのSD画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、カメラ４０１からのSD画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、前処理タップとして抽出する。
そして、前処理タップ抽出部４２１は、注目画素に対して得た前処理タップを、前処理演算部４２２に供給する。
なお、前処理タップ抽出部４２１は、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定されたタップ構造の前処理タップを、カメラ４０１からのSD画像信号から抽出する。
前処理演算部４２２は、係数メモリ４２３に記憶されている、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された前処理係数（セット）によって定義される所定の前処理用の関数の演算を、前処理タップ抽出部４２１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として出力する。
係数メモリ４２３は、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められている、前処理用の関数を定義する前処理係数セットを記憶している。
次に、図４８は、図４６の画像変換部４１３の構成例を示している。
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４８の画像変換部４１３は、タップ抽出部４１，４２、クラス分類部４３、および予測部４５が設けられている点で、図４の画像変換部１１と共通するが、係数メモリ４４に代えて、係数メモリ４３１が設けられている点で、図４の画像変換部１１と相違している。
係数メモリ４３１には、通常タップ係数のセットと、拡大用タップ係数のセットとの少なくとも２種類のタップ係数のセットが記憶されている。画像変換部４１３では、制御部４１７（図４６）からの制御にしたがい、係数メモリ４３１に記憶されている通常タップ係数のセットと拡大用タップ係数のセットとのうちのいずれかのタップ係数のセットが有効にされ、その有効なタップ係数のセット（以下、適宜、有効タップ係数のセットともいう）を用いて画像変換処理が行われる。
即ち、画像変換部４１３では、選択部４１２（図４６）からの選択SD画像信号を、第１の画像信号とするとともに、選択SD画像信号を高画質化した通常HD画像信号、または、選択SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、タップ抽出部４１が、第２の画像信号としてのHD画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての選択SD画像信号から、予測タップとする画素の画素値を抽出して、予測部４５に供給する。さらに、タップ抽出部４２が、注目画素について、第１の画像信号としての選択SD画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部４３に供給する。
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素のクラスを求めるクラス分類を行い、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ４３１に供給する。係数メモリ４３１は、有効タップ係数のセットのうちの、クラス分類部４３からのクラスのタップ係数（のセット）を読み出して、予測部４５に出力する。
予測部４５は、タップ抽出部４１からの予測タップと、係数メモリ４３１からのタップ係数とを用いて、例えば、上述した式（１）の演算を行い、これにより、第２の画像信号としてのHD画像信号の注目画素の画素値を求める（予測する）。
次に、図４９のフローチャートを参照して、図４６の表示装置４０２の動作について説明する。
表示装置４０２には、カメラ４０１からのSD画像信号が供給される。表示装置４０２では、カメラ４０１からのSD画像信号が受信され、前処理部４１１と、選択部４１２に供給される。
そして、ステップＳ４０１において、制御部４１７は、表示モードが拡大モードであるか否かを判定する。ステップＳ４０１において、表示モードが拡大モードでないと判定された場合、即ち、操作部４１６から制御部４１７に直前に供給された、表示モードを指示する指示信号が、通常モードを指示する信号であり、現在の表示モードが通常モードとなっている場合、制御部４１７は、通常モードを表す制御信号を、選択部４１２、画像変換部４１３、および表示制御部４１４に供給して、ステップＳ４０２に進む。
選択部４１２は、制御部４１７から通常モードを表す制御信号が供給されると、前処理部４１１の出力と、カメラ４０１が出力するSD画像信号のうちの、カメラ４０１が出力するSD画像信号を、選択SD画像信号として選択し、画像変換部４１３に供給する。
さらに、画像変換部４１３（図４８）の係数メモリ４３１は、制御部４１７から通常モードを表す制御信号が供給されると、通常タップ係数のセットと、拡大用タップ係数のセットとのうちの、通常タップ係数のセットを、有効タップ係数のセットとする（有効にする）。
そして、画像変換部４１３では、ステップＳ４０２において、選択部４１２から供給される選択SD画像信号としての、カメラ４０１が出力するSD画像信号を、有効タップ係数のセットである通常タップ係数のセットを用いた演算によって、通常HD画像信号に変換する画像変換処理を行い、その結果得られる通常HD画像信号を、表示制御部４１４に供給して、ステップＳ４０３に進む。
ステップＳ４０３では、表示制御部４１４が、制御部４１７からの通常モードを表す制御信号にしたがい、SHD画像を用いて行われた学習によって決定された表示フォーマットのうちの、通常HD画像信号に対応するHD画像の表示に適した表示フォーマット（以下、適宜、通常用最適表示フォーマットという）で、画像変換部４１３から供給される通常HD画像信号に対応するHD画像を、ディスプレイ４１５に表示させる。
以上のように、表示モードが通常モードである場合には、ディスプレイ４１５では、通常HD画像信号に対応するHD画像が、通常用最適表示フォーマットで表示される。
一方、ステップＳ４０１において、表示モードが拡大モードであると判定された場合、即ち、操作部４１６から制御部４１７に直前に供給された、表示モードを指示する指示信号が、拡大モードを指示する信号であり、現在の表示モードが拡大モードとなっている場合、制御部４１７は、拡大モードを表す制御信号を、選択部４１２、画像変換部４１３、および表示制御部４１４に供給して、ステップＳ４０４に進む。
ステップＳ４０４では、前処理部４１１が、カメラ４０１からのSD画像信号に対して前処理を施し、その前処理の結果得られる前処理後SD画像信号を出力する。
以上のようにして、前処理部４１１が出力する前処理後SD画像信号は、選択部４１２に供給される。
選択部４１２は、制御部４１７から拡大モードを表す制御信号が供給されると、前処理部４１１が出力する前処理後SD画像信号と、カメラ４０１が出力するSD画像信号のうちの、前処理部４１１が出力する前処理後SD画像信号を、選択SD画像信号として選択し、画像変換部４１３に供給する。
また、画像変換部４１３（図４８）の係数メモリ４３１は、制御部４１７から拡大モードを表す制御信号が供給されると、通常タップ係数のセットと、拡大用タップ係数のセットとのうちの、拡大タップ係数のセットを、有効タップ係数のセットとする（有効にする）。
そして、画像変換部４１３では、ステップＳ４０５において、選択部４１２から供給される選択SD画像信号としての前処理後SD画像信号を、有効タップ係数のセットである拡大用タップ係数のセットを用いた演算によって、拡大HD画像信号に変換する画像変換処理を行い、その結果得られる拡大HD画像信号を、表示制御部４１４に供給して、ステップＳ４０６に進む。
ステップＳ４０６では、表示制御部４１４が、制御部４１７からの拡大モードを表す制御信号にしたがい、SHD画像を用いて行われた学習によって決定された表示フォーマットのうちの、拡大HD画像信号に対応するHD画像の表示に適した表示フォーマット（以下、適宜、拡大用最適表示フォーマットという）で、画像変換部４１３から供給される拡大HD画像信号に対応するHD画像を、ディスプレイ４１５に表示させる。
以上のように、表示モードが拡大モードである場合には、ディスプレイ４１５では、拡大HD画像信号に対応するHD画像が、拡大用最適表示フォーマットで表示される。
次に、図４５の画像処理システムにおいて、カメラ４０１が出力するSD画像信号である撮影画像信号の信号フォーマット、表示装置４０２（図４６）の前処理部４１１（図４７）において、前処理タップ抽出部４２１が抽出する前処理タップのタップ構造と、係数メモリ４２３に記憶されている前処理係数セット、画像変換部４１３（図４８）の係数メモリ４３１に記憶されている通常タップ係数のセットと拡大用タップ係数のセット、および、表示制御部４１４がディスプレイ４１５にHD画像を表示させる通常用最適表示フォーマットと拡大用最適表示フォーマットは、HD画像よりも高画質のSHD画像を用いて学習を行うことにより決定される。
以上の撮影画像信号の信号フォーマット、前処理タップのタップ構造、前処理係数セット、通常タップ係数のセット、拡大用タップ係数のセット、通常用最適表示フォーマット、拡大用最適表示フォーマットの７つ（のパラメータ）のうち、撮影画像信号の信号フォーマット、通常タップ係数のセット、および通常用最適表示フォーマットの３つは、図９の学習装置において、図１９の学習処理が行われることによって求められる。
そして、残りの前処理タップのタップ構造、前処理係数セット、拡大用タップ係数のセット、および拡大用最適表示フォーマットの４つは、図５０の学習装置による学習処理によって求められる。
即ち、図５０は、上述の前処理タップのタップ構造、前処理係数セット、拡大用タップ係数のセット、および拡大用最適表示フォーマットの４つを求める学習を行う学習装置の構成例を示している。
なお、図中、図９または図３８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５０の学習装置は、疑似撮影画像生成部６２と制御部７２に代えて、それぞれ、疑似撮影画像生成部４５１と制御部４５２が設けられているとともに、画像変換部７３に代えて、図３８の前処理部２６１および画像変換部２６２からなる学習部２５５が設けられている他は、図９の学習装置と同様に構成されている。
疑似撮影画像生成部４５１は、学習データ記憶部６１に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として順次選択し、その注目SHD画像信号の画素数を間引くこと等によって、図９の学習装置において最適であると決定された信号フォーマットのSD画像信号を生成し、カメラ４０１（図４５）が出力する撮影画像信号に相当する疑似撮影画像信号として、学習部２５５に供給する。
制御部４５２には、評価値算出部７１から評価値が供給される。制御部４５２は、評価値算出部７１からの評価値に基づき、学習部２５５を構成する前処理部２６１および画像変換部２６２を制御する。具体的には、制御部４５２は、前処理部２６１での前処理に用いられる前処理タップのタップ構造および前処理係数セットの制御（設定）と、画像変換部２６２での画像変換処理としての拡大変換処理に用いられる拡大用タップ係数のセットの制御とを行う。
また、制御部４５２は、評価値算出部７１からの評価値に基づき、表示制御部６８が、学習部２５５の画像変換部２６２から供給される拡大HD画像信号に対応する拡大HD画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
次に、図５１のフローチャートを参照して、図５０の学習装置が行う、前処理タップのタップ構造、前処理係数セット、拡大用タップ係数のセット、および拡大用最適表示フォーマットを学習する学習処理について説明する。
まず最初に、ステップＳ４２１において、疑似撮影画像生成部４５１は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、図９の学習装置による学習によって求められている最適な信号フォーマット（最適信号フォーマット）のSD画像信号を生成し、カメラ４０１（図４５）が出力する撮影画像信号に相当する疑似撮影画像信号として、学習部２５５に供給して、ステップＳ４２２に進む。
ステップＳ４２２では、制御部４５２は、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、学習部２５５の前処理部２６１に供給して、ステップＳ４２３に進む。
即ち、図５０の学習装置では、図３８の学習装置と同様に、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部４５２は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部４５２は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造とされていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１に供給する。
ステップＳ４２３では、制御部４５２は、前処理部２６１が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素（の画素値）の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×２Y通りだけ存在するが、制御部４５２は、そのX×２Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットEnに決定する。
そして、制御部４５２は、注目前処理係数セットEnを、前処理部２６１に供給して、ステップＳ４２３からステップＳ４２４に進む。
ステップＳ４２４では、制御部４５２は、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ４２５に進む。
即ち、図５０の学習装置では、図９の学習装置と同様に、複数の表示フォーマットが、学習処理の最初に用いる初期表示フォーマットとして設定されており、制御部４５２は、複数の初期表示フォーマットそれぞれを表す表示フォーマット情報を、内蔵するメモリに記憶している。そして、制御部４５２は、内蔵するメモリに記憶している複数の表示フォーマット情報が表す複数の初期表示フォーマットのうちの、まだ注目表示フォーマットとされていないものの１つを注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。
ステップＳ４２５では、学習装置（図５０）において、注目表示フォーマットBj、注目タップ構造Dm、および注目前処理係数セットEnの組み合わせについて、仮の最適な拡大用タップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fj,m,nが決定される。
即ち、ステップＳ４２５では、注目タップ構造Dmの前処理タップと、注目前処理係数セットEnとを用い、SD画像信号に対して前処理を施すことにより得られる前処理後SD画像信号を第１の画像信号として、タップ係数のセットを用いた画像変換処理（拡大変換処理）を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としての拡大HD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目表示フォーマットBj、注目タップ構造Dm、および注目前処理係数セットEnの組み合わせについて、仮の最適な拡大用タップ係数のセットFj,m,nとして求められる。
そして、ステップＳ４２５からステップＳ４２６に進み、制御部４５２は、現在の注目タップ構造Dmおよび注目前処理係数セットEnに対し、内蔵するメモリに記憶されている複数の表示フォーマット情報が表す複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ４２５で拡大用タップ係数のセットを求めたかどうかを判定する。
ステップＳ４２６において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ４２４に戻り、制御部４５２は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
また、ステップＳ４２６において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ４２７に進み、制御部４５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
ステップＳ４２７において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップＳ４２３に戻り、制御部４５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの１つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
また、ステップＳ４２７において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップＳ４２８に進み、制御部４５２は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
ステップＳ４２８において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップＳ４２２に戻り、制御部４５２は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の１つを、注目タップ構造に決定し、同様の処理を繰り返す。
また、ステップＳ４２８において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、（初期）タップ構造、前処理係数セット、および（初期）表示フォーマットの組み合わせすべてについて、ステップＳ４２５で最適な拡大用タップ係数のセットが求められた場合、ステップＳ４２９に進み、制御部４５２は、ステップＳ４２５で求められたタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせの中から、最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
即ち、初期タップ構造としてM通りのタップ構造があり、前処理係数セットが取り得る値の場合の数がN通りあり、初期表示フォーマットとしてJ通りの表示フォーマットがある場合には、（初期）タップ構造、前処理係数セット、および（初期）表示フォーマットの組み合わせとして、M×N×J通りの組み合わせが存在し、ステップＳ４２５では、そのM×N×J通りの組み合わせそれぞれについて、仮の最適な拡大用タップ係数のセットが求められる。従って、ステップＳ４２５では、タップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、M×N×J通りだけ得られるが、ステップＳ４２９では、そのM×N×J通りの組み合わせ（タップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせ）の中から、表示画像信号の評価値が最大の組み合わせが、最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせとして仮決定される。
ステップＳ４２９において、最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが仮決定された後は、ステップＳ４３０に進み、現在の仮の最適な最適な組み合わせになっているタップ構造、前処理係数セット、表示フォーマット、拡大用タップ係数のセットのそれぞれを、１つずつ最適化する最適化処理が行われ、ステップＳ４３１に進む。
ステップＳ４３１では、制御部４５２が、直前のステップＳ４３０での最適化処理で求められた現在の仮の最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ４３０の最適化処理では、現在の仮の最適な最適な組み合わせになっているタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの４つのパラメータに、順次、注目し、注目パラメータ（注目しているパラメータ）を、評価値算出部７１が算出する評価値を最大にするように更新する処理が行われれるが、ステップＳ４３１では、例えば、直前のステップＳ４３０の最適化処理において最後に更新されたパラメータについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップＳ４３１において、現在の仮の最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ４３０で最後に更新されたパラメータについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ４３０に戻り、同様の処理が繰り返される。
また、ステップＳ４３１において、現在の仮の最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ４３０で最後に更新されたパラメータについての評価値が、最適化の判定用の閾値以上である場合、制御部４５２は、現在の仮の最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせを、最適なタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせに最終的に決定し（最終決定し）、学習処理を終了する。
図４５の画像処理システムでは、以上のような図５０の学習装置の学習処理によって最終決定された最適なタップ構造、前処理係数セット、表示フォーマット（拡大用最適表示フォーマット）、および拡大用タップ係数のセットや、上述した図９の学習装置によって最終決定された最適な信号フォーマット、通常タップ係数のセット、および表示フォーマット（通常用最適表示フォーマット）に基づいて、処理が行われる。
即ち、図４５の画像処理システムにおいて、カメラ４０１は、図９の学習装置によって最終決定された最適な信号フォーマットの撮影画像信号（SD画像信号）を出力する。
さらに、表示装置４０２（図４６）は、ユーザの操作に応じて、表示モードを、通常モードまたは拡大モードのいずれかに設定し、表示モードが通常モードである場合には、表示装置４０２の画像変換部４１３では、図９の学習装置によって最終決定された通常タップ係数のセットを用いて画像変換処理（HD変換処理）を行うことによって、カメラ４０１が出力するSD画像信号が通常HD画像信号に変換される。さらに、表示装置４０２の表示制御部４１４は、図９の学習装置によって最終決定された表示フォーマット（通常用最適表示フォーマット）で、通常HD画像信号に対応するHD画像をディスプレイ４１５に表示させる。
一方、表示モードが拡大モードである場合には、表示装置４０２の前処理部４１１において、カメラ４０１が出力するSD画像信号に対し、図５０の学習装置によって最終決定された最適なタップ構造と前処理係数セットに基づく前処理が施されることにより、カメラ４０１が出力するSD画像信号が、後段の画像変換処理（拡大変換処理）に適した前処理後SD画像信号に変換される。さらに、表示装置４０２の画像変換部４１３において、図５０の学習装置によって最終決定された拡大用タップ係数のセットを用いて画像変換処理（拡大変換処理）を行うことによって、前処理後SD画像信号が、拡大HD画像信号に変換される。そして、表示装置４０２の表示制御部４１４は、図５０の学習装置によって最終決定された表示フォーマット（拡大用最適表示フォーマット）で、拡大HD画像信号に対応するHD画像をディスプレイ４１５に表示させる。
従って、図４５の画像処理システムによれば、図１の画像処理システムと同様に、カメラ４０１と表示装置４０２との組み合わせである画像処理システムの性能を向上させることができる。
即ち、図４５の画像処理システムによれば、カメラ４０１が出力する撮影画像信号や、画像変換部４１３が出力するHD画像信号のS/N等はともかく、画像処理システム全体としては、ユーザが高画質であると感じる画像を、ディスプレイ４１５に表示することができる。
また、図４５の画像処理システムによれば、ユーザの操作に応じて、拡大HD画像や、通常のサイズのHD画像を表示することができる。
なお、図５１では、ステップＳ４３０の最適化処理で最後に更新されたパラメータについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、ステップＳ４３０の最適化処理が、所定の回数だけ繰り返された場合に、タップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
次に、図５２のフローチャートを参照して、注目表示フォーマットBj、注目タップ構造Dm、および注目前処理係数セットEnの組み合わせについて、最適なタップ係数のセットFj,m,nを決定する図５１のステップＳ４２５の処理について、詳述する。
制御部４５２は、ステップＳ４５１において、学習部２５５の画像変換部２６２が画像変換処理（拡大変換処理）に用いるクラスごとの拡大用タップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβと、拡大用タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部４５２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図５２の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
そして、制御部４５２は、注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ４５１からＳ４５２に進む。
ステップＳ４５２では、制御部４５２が、注目タップ構造Dm、および注目前処理係数セットEnに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部２５３の制御にしたがい、疑似撮影画像生成部４５１から学習部２５５に供給される疑似撮影画像信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
その後、ステップＳ４５２からステップＳ４５３に進み、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、直前のステップＳ４５１で制御部４５２から供給された注目タップ係数セットを用い、前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理（拡大変換処理）を行う。そして、画像変換部２６２は、画像変換処理によって得られる拡大HD画像信号を、表示制御部６８に供給する。
ステップＳ４５３の処理後は、ステップＳ４５４に進み、制御部４５２は、注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部４５２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部２６２が出力する拡大HD画像信号に対応するHD画像（拡大HD画像）を、ディスプレイ６９に表示させ、ステップＳ４５４からステップＳ４５５に進む。
ステップＳ４５５では、光検出器７０が、ディスプレイ６９に表示された拡大HD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ４５６に進む。
ステップＳ４５６では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された拡大HD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された拡大HD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部４５２に供給する。
ここで、ステップＳ４５２乃至Ｓ４５６の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部４５２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ４５６からステップＳ４５７に進み、制御部４５２は、拡大用タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ４５７において、拡大用タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りの拡大用タップ係数のセットの中に、今回の図５２の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ４５１に戻り、制御部４５２は、α×β×２γ通りの拡大用タップ係数のセットのうちの、今回の図５２の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ４５７において、拡大用タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ４５８に進み、制御部４５２は、α×β×２γ通りの拡大用タップ係数のセットのうちの、評価値が最も高い拡大用タップ係数のセットを、注目表示フォーマットBj、注目タップ構造Dm、および注目前処理係数セットEnの組み合わせについての最適な拡大用タップ係数のセットFj,m,nとして決定（仮決定）してリターンする。
なお、図５１のステップＳ４２９では、ステップＳ４２５の処理としての図５２のステップＳ４５１乃至Ｓ４５８の処理で得られる評価値が最大のタップ構造、前処理係数セット、表示フォーマット、および拡大用タップ係数のセットの組み合わせが、最適な組み合わせに仮決定される。
次に、図５３のフローチャートを参照して、図５１のステップＳ４３０の最適化処理について、さらに説明する。
最適化処理では、ステップＳ４７１において、現在の仮の最適なタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせについて、最適な表示フォーマットを仮決定する最適表示フォーマット決定処理が行われ、ステップＳ４７２に進む。
ステップＳ４７２では、現在の仮の最適な表示フォーマット、前処理係数セット、および拡大用タップ係数のセットの組み合わせについて、最適なタップ構造を仮決定する最適タップ構造決定処理が行われ、ステップＳ４７３に進む。
ステップＳ４７３では、現在の仮の最適な表示フォーマット、タップ構造、および拡大用タップ係数のセットの組み合わせについて、最適な前処理係数セットを仮決定する最適前処理係数セット決定処理が行われ、ステップＳ４７４に進む。
ステップＳ４７４では、現在の仮の最適な表示フォーマット、タップ構造、および前処理係数セットの組み合わせについて、最適な拡大用タップ係数のセットを仮決定する最適タップ係数セット決定処理が行われてリータンする。
次に、図５４のフローチャートを参照して、図５２のステップＳ４７１の最適表示フォーマット決定処理について詳述する。
ステップＳ４９１において、制御部４５２（図５０）は、現在の仮の（仮決定された）最適な表示フォーマットを基準として、図２２のステップＳ９１の場合と同様に、現在の仮の最適な表示フォーマットを、あらかじめ決められた変形ルールにしたがって変形することにより、最適な表示フォーマットの複数の候補を決定する。
ステップＳ４９１の処理後はステップＳ４９２に進み、制御部４５２は、現在の仮の最適なタップ構造と前処理係数セットに基づく前処理を行うように、前処理部２６１（図５０）を制御する。これにより、前処理部２６１は、制御部４５２の制御にしたがい、疑似撮影画像生成部４５１から学習部２５５に供給される疑似撮影画像信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
その後、ステップＳ４９２からステップＳ４９３に進み、画像変換部２６２は、制御部４５２から、現在の仮の最適な拡大用タップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、制御部４５２からの現在の仮の最適な拡大用タップ係数のセットを用い、前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理（拡大変換処理）を行う。そして、画像変換部２６２は、画像変換処理によって得られる拡大HD画像信号を、表示制御部６８に供給する。
ステップＳ４９３の処理後は、ステップＳ４９４に進み、制御部４５２は、ステップＳ４９１で決定した最適な表示フォーマットの複数の候補のうちの、まだ、注目表示フォーマットとしていないものの１つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ４９５に進む。
ステップＳ４９５では、表示制御部６８が、制御部４５２からの表示フォーマット情報が表す注目表示フォーマットで、学習部２５５（図５０）の画像変換部２６２から供給される拡大HD画像信号に対応する拡大HD画像を、ディスプレイ６９に表示させ、ステップＳ４９６に進む。
ステップＳ４９６では、光検出器７０が、ディスプレイ６９に表示された拡大HD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ４９７に進む。
ステップＳ４９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された拡大HD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部４５２に供給する。
ここで、ステップＳ４９２およびＳ４９３、並びにステップＳ４９５乃至Ｓ４９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部４５２は、注目表示フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ４９７からステップＳ４９８に進み、制御部４５２は、ステップＳ４９１で決定した最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ４９８において、最適な表示フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ４９４に戻り、制御部４５２は、最適な表示フォーマットの複数の候補のうちの、まだ注目表示フォーマットとしていないものの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ４９８において、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ４９９に進み、制御部４５２は、最適な表示フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造、前処理係数セット、および拡大用タップ係数のセットの組み合わせに対する最適な表示フォーマットに、新たに仮決定してリターンする。
次に、図５５のフローチャートを参照して、図５３のステップＳ４７２の最適タップ構造決定処理について詳述する。
ステップＳ５１１において、制御部４５２は、図４２のステップＳ２８１で説明したように、現在の仮の最適なタップ構造を基準として、そのタップ構造を、あらかじめ決められた変形ルールにしたがって変形することにより、最適なタップ構造の複数の候補を決定する。
ステップＳ５１１の処理後はステップＳ５１２に進み、制御部４５２は、最適なタップ構造の複数の候補のうちの、まだ、注目タップ構造としていないものの１つを、注目タップ構造に決定し、ステップＳ５１３に進む。
ステップＳ５１３では、制御部４５２が、注目タップ構造、および現在の仮の最適な前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部４５２の制御にしたがい、疑似撮影画像生成部４５１から学習部２５５に供給される疑似撮影画像信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造の前処理タップとなる複数の画素の画素値を、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
画像変換部２６２は、ステップＳ５１４において、制御部４５２から、現在の仮の最適な拡大用タップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、制御部４５２からの現在の仮の最適な拡大用タップ係数のセットを用い、前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理（拡大変換処理）を行う。そして、画像変換部２６２は、画像変換処理によって得られる拡大HD画像信号を、表示制御部６８に供給する。
ステップＳ５１４の処理後は、ステップＳ５１５に進み、制御部４５２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。表示制御部６８は、制御部４５２からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部２６２から供給される拡大HD画像信号に対応する拡大HD画像を、ディスプレイ６９に表示させ、ステップＳ５１６に進む。
ステップＳ５１６では、光検出器７０が、ディスプレイ６９に表示された拡大HD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５１７に進む。
ステップＳ５１７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された拡大HD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部４５２に供給する。
ここで、ステップＳ５１３乃至Ｓ５１７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部４５２は、注目タップ構造につき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ構造についての最終的な評価値として、一時記憶する。
その後、ステップＳ５１７からステップＳ５１８に進み、制御部４５２は、ステップＳ５１１で決定した最適なタップ構造の複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ５１８において、最適なタップ構造の複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ５１２に戻り、制御部４５２は、最適なタップ構造の複数の候補のうちの、まだ注目タップ構造としていないものの１つを、注目タップ構造に新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ５１８において、最適なタップ構造の複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ５１９に進み、制御部４５２は、最適なタップ構造の複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマット、前処理係数セット、および拡大用タップ係数のセットの組み合わせに対する最適なタップ構造に、新たに仮決定してリターンする。
次に、図５６のフローチャートを参照して、図５３のステップＳ４７３の最適前処理係数セット決定処理について詳述する。
ステップＳ５３１において、制御部４５２は、図４３のステップＳ２９１で説明したように、現在の仮の最適な前処理係数セットを基準として、あらかじめ決められたルールに基づき、最適な前処理係数セットの複数の候補を決定する。
ステップＳ５３１の処理後はステップＳ５３２に進み、制御部４５２は、最適な前処理係数セットの複数の候補のうちの、まだ、注目前処理係数セットとしていないものの１つを、注目前処理係数セットに決定し、ステップＳ５３３に進む。
ステップＳ５３３では、制御部４５２が、現在の仮の最適なタップ構造、および注目前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部４５２の制御にしたがい、疑似撮影画像生成部４５１から学習部２５５に供給される疑似撮影画像信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
画像変換部２６２は、ステップＳ５３４において、制御部４５２から、現在の仮の最適な拡大用タップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、制御部４５２からの現在の仮の最適な拡大用タップ係数のセットを用い、前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理（拡大変換処理）を行う。そして、画像変換部２６２は、画像変換処理によって得られる拡大HD画像信号を、表示制御部６８に供給する。
ステップＳ５３４の処理後は、ステップＳ５３５に進み、制御部４５２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。表示制御部６８は、制御部４５２からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部２６２が出力する拡大HD画像信号に対応する拡大HD画像を、ディスプレイ６９に表示させ、ステップＳ５３６に進む。
ステップＳ５３６では、光検出器７０が、ディスプレイ６９に表示された拡大HD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５３７に進む。
ステップＳ５３７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された拡大HD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部４５２に供給する。
ここで、ステップＳ５３３乃至Ｓ５３７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部４５２は、注目前処理係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目前処理係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ５３７からステップＳ５３８に進み、制御部４５２は、ステップＳ５３１で決定した最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ５３８において、最適な前処理係数セットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ５３２に戻り、制御部４５２は、最適な前処理係数セットの複数の候補のうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ５３８において、最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ５３９に進み、制御部４５２は、最適な前処理係数セットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマット、タップ構造、および拡大用タップ係数のセットの組み合わせに対する最適な前処理係数セットに、新たに仮決定してリターンする。
次に、図５７のフローチャートを参照して、図５３のステップＳ４７４の最適タップ係数セット決定処理について詳述する。
ステップＳ５５１において、制御部４５２は、図２３のステップＳ１１１の場合と同様に、現在の仮の最適な拡大用タップ係数のセットを基準として、あらかじめ決められたルールに基づき、最適な拡大用タップ係数のセットの複数の候補を決定する。
ステップＳ５５１の処理後はステップＳ５５２に進み、制御部４５２は、現在の仮の最適なタップ構造と前処理係数セットに基づく前処理を行うように、前処理部２６１（図５０）を制御する。これにより、前処理部２６１は、制御部４５２の制御にしたがい、疑似撮影画像生成部４５１から学習部２５５に供給される疑似撮影画像信号としてのSD画像信号に前処理を施し、その結果得られる前処理後SD画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号に対応する前処理後SD画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、疑似撮影画像生成部４５１から供給される疑似撮影画像信号としてのSD画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後SD画像信号の注目画素の画素値として、画像変換部２６２に供給する。
ステップＳ５５３では、制御部４５２は、最適な拡大用タップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ５５４に進む。
ステップＳ５５４では、画像変換部２６２は、前処理部２６１から供給される前処理後SD画像信号を第１の画像信号とするとともに、その前処理後SD画像信号に前処理を施す前のSD画像信号を拡大した拡大HD画像信号を、第２の画像信号として、直前のステップＳ５５３で制御部４５２から供給された注目タップ係数セットを用い、前処理後SD画像信号を、拡大HD画像信号に変換する画像変換処理（拡大変換処理）を行う。そして、画像変換部２６２は、画像変換処理によって得られる拡大HD画像信号を、表示制御部６８に供給する。
ステップＳ５５４の処理後は、ステップＳ５５５に進み、制御部４５２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部４５２からの表示フォーマット情報が表す表示フォーマットで、学習部２５５が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ５５６に進む。
ステップＳ５５６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５５７に進む。
ステップＳ５５７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部４５２に供給する。
ここで、ステップＳ５５２、およびステップＳ５５４乃至Ｓ５５７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部４５２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ５５７からステップＳ５５８に進み、制御部４５２は、最適な拡大用タップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ５５８において、最適な拡大用タップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ５５３に戻り、制御部４５２は、最適な拡大用タップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ５５８において、最適な拡大用タップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ５５９に進み、制御部４５２は、最適な拡大用タップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマット、タップ構造、および前処理係数セットの組み合わせに対する最適な拡大用タップ係数のセットに、新たに仮決定してリターンする。
なお、図５４の最適表示フォーマット決定処理において、現在の仮の最適な表示フォーマットを基準として、最適な表示フォーマットの複数の候補を決定するにあたり、現在の仮の最適な表示フォーマットの変形のさせ方としては、図５０のステップＳ４３０の最適化処理の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。前処理タップのタップ構造、前処理係数セット、および拡大用タップ係数のセットについても同様である。
また、図５４の最適表示フォーマット決定処理において、最適な表示フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な表示フォーマットを、大きく変形して、最適な表示フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。前処理タップのタップ構造、前処理係数セット、および拡大用タップ係数のセットについても同様である。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図５８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２００５やＲＯＭ２００３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２０１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２０１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２０１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２００８で受信し、内蔵するハードディスク２００５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２００２を内蔵している。CPU２００２には、バス２００１を介して、入出力インタフェース２０１０が接続されており、CPU２００２は、入出力インタフェース２０１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２００７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２００３に格納されているプログラムを実行する。あるいは、また、CPU２００２は、ハードディスク２００５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２００８で受信されてハードディスク２００５にインストールされたプログラム、またはドライブ２００９に装着されたリムーバブル記録媒体２０１１から読み出されてハードディスク２００５にインストールされたプログラムを、RAM(Random Access Memory)２００４にロードして実行する。これにより、CPU２００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２００６から出力、あるいは、通信部２００８から送信、さらには、ハードディスク２００５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
画像の処理を行う画像処理システムの第１の構成例を示すブロック図である。 表示装置２の構成例を示すブロック図である。 表示装置２の処理を説明するフローチャートである。 画像変換部１２の構成例を示すブロック図である。 画像変換部１２の処理を説明するフローチャートである。 表示フォーマットの例を示す図である。 ストライプフォーマットを基準として変形した表示フォーマットの例を示す図である。 ベイヤフォーマットを基準として変形した信号フォーマットの例を示す図である。 最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の構成例を示すブロック図である。 SHD画像とHD画像とを示す図である。 疑似撮影画像を生成する生成方法を説明する図である。 疑似撮影画像を生成する生成方法を説明する図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ３３の処理の詳細を説明するフローチャートである。 ステップＳ３７の処理の詳細を説明するフローチャートである。 ステップＳ３８の処理の詳細を説明するフローチャートである。 ステップＳ３９の処理の詳細を説明するフローチャートである。 画像の処理を行う画像処理システムの第２の構成例を示すブロック図である。 表示装置１０２の構成例を示すブロック図である。 表示装置１０２の処理を説明するフローチャートである。 画像変換部１１１の構成例を示すブロック図である。 画像変換部１１１の処理を説明するフローチャートである。 最適な表示フォーマットを学習する学習装置の構成例を示すブロック図である。 最適な表示フォーマットを学習する学習装置の処理を説明するフローチャートである。 各信号フォーマットに対する最適なタップ係数を学習する学習装置の構成例を説明するフローチャートである。 各信号フォーマットに対する最適なタップ係数を学習する学習装置の処理を説明するフローチャートである。 画像の処理を行う画像処理システムの第３の構成例を示すブロック図である。 表示装置２０２の構成例を示すブロック図である。 前処理部２１１の構成例を示すブロック図である。 画像変換部２１２の構成例を示すブロック図である。 表示装置２０２の処理を説明するフローチャートである。 最適なタップ構造、前処理係数、タップ係数を学習する学習装置の構成例を示すブロック図である。 最適なタップ構造、前処理係数、タップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ２１４の処理の詳細を説明するフローチャートである。 ステップＳ２１７の処理の詳細を説明するフローチャートである。 ステップＳ２１８の処理の詳細を説明するフローチャートである。 ステップＳ２１９の処理の詳細を説明するフローチャートである。 ステップＳ２２０の処理の詳細を説明するフローチャートである。 画像の処理を行う画像処理システムの第４の構成例を示すブロック図である。 表示装置４０２の構成例を示すブロック図である。 前処理部４１１の構成例を示すブロック図である。 画像変換部４１３の構成例を示すブロック図である。 表示装置４０２の処理を説明するフローチャートである。 最適な表示フォーマット、タップ構造、前処理係数、タップ係数を学習する学習装置の構成例を示すブロック図である。 最適な表示フォーマット、タップ構造、前処理係数、タップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ４２５の処理の詳細を説明するフローチャートである。 ステップＳ４３０の処理の詳細を説明するフローチャートである。 ステップＳ４７１の処理の詳細を説明するフローチャートである。 ステップＳ４７２の処理の詳細を説明するフローチャートである。 ステップＳ４７３の処理の詳細を説明するフローチャートである。 ステップＳ４７４の処理の詳細を説明するフローチャートである。 画像の処理を行うプログラムを実行するコンピュータの構成例を示すブロック図である。
符号の説明
１ カメラ， ２ 表示装置， １１ 画像変換部， １２ 表示制御部， １３ ディスプレイ， ４１，４２ タップ抽出部， ４３ クラス分類部， ４４ 係数メモリ， ４５ 予測部， ６１ 学習データ記憶部， ６２ 疑似撮影画像生成部， ６３，６４ タップ抽出部， ６５ クラス分類部， ６６ 係数メモリ， ６７ 予測部， ６８ 表示制御部， ６９ ディスプレイ， ７０ 光検出器， ７１ 評価値算出部， ７２ 制御部， ７３ 画像変換部， １０１ カメラ， １０２ 表示装置， １１１ 画像変換部， １１２ 表示制御部， １１３ ディスプレイ， １１４ 信号フォーマット検出部， １２１ 係数選択部， １２２ 係数メモリ， １４１ HD画像取得部， １４２ 制御部， １６１ 表示制御部， １６２ 制御部， ２０１ カメラ， ２０２ 表示装置， ２１１ 前処理部， ２１２ 画像変換部， ２１３ 表示制御部， ２１４ ディスプレイ， ２２１ 前処理タップ抽出部， ２２２ 前処理演算部， ２２３ 係数メモリ， ２３１ 係数メモリ， ２５１ 学習データ記憶部， ２５２ 学習対データ生成部， ２５３ 制御部， ２５４ 評価値算出部， ２５５，２５６ 学習部， ２６１ 前処理部， ２６２ 画像変換部， ２７１ 前処理タップ抽出部， ２７２ 前処理演算部， ２７３ 係数メモリ， ２８１，２８２ タップ抽出部， ２８３ クラス分類部， ２８４ 係数メモリ， ２８５ 予測部， ３０１ 前処理部， ３０２ タップ係数学習部， ３１１ 前処理タップ抽出部， ３１２ 前処理演算部， ３１３ 係数メモリ， ３２１，３２２ タップ抽出部， ３２３ クラス分類部， ３２４ 正規方程式生成部， ３２５ タップ係数算出部， ４０１ カメラ， ４０２ 表示装置， ４１１ 前処理部， ４１２ 選択部， ４１３ 画像変換部， ４１４ 表示制御部， ４１５ ディスプレイ， ４１６ 操作部， ４１７ 制御部， ４２１ 前処理タップ抽出部， ４２２ 前処理演算部， ４２３，４３１ 係数メモリ， ４５１ 疑似撮影画像生成部， ４５２ 制御部， ２００１ バス， ２００２ CPU， ２００３ ROM， ２００４ RAM， ２００５ ハードディスク， ２００６ 出力部， ２００７ 入力部， ２００８ 通信部， ２００９ ドライブ， ２０１０ 入出力インタフェース， ２０１１ リムーバブル記録媒体

Claims (7)

  1. 画像を表示する表示装置において、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行う画像変換手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像を、表示手段に表示させる表示制御手段と
    を備え、
    前記画像変換手段は、
    前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出するとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出し、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行い、
    前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める
    ことにより、前記画像変換処理を行い、
    前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する前記画像変換処理を行う学習用画像変換手段と、
    前記学習用画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる学習用表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
    前記表示画像信号を評価する評価手段と
    を備える学習装置において、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    学習処理を行うことにより得られたものである
    表示装置。
  2. 画像を表示する表示方法において、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行い、
    前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像を、表示手段に表示させる
    ステップを含み、
    前記画像変換処理では、
    前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出するとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出し、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行い、
    前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求め、
    前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する前記画像変換処理を行う学習用画像変換手段と、
    前記学習用画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる学習用表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
    前記表示画像信号を評価する評価手段と
    を備える学習装置において、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    学習処理を行うことにより得られたものである
    表示方法。
  3. 画像を表示する表示処理を、コンピュータに実行させるプログラムにおいて、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行う画像変換手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像を用いて行われた学習処理によって決定された表示フォーマットで、前記高画質画像信号に対応する画像を、表示手段に表示させる表示制御手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記画像変換手段は、
    前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出するとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出し、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行い、
    前記学習処理によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める
    ことにより、前記画像変換処理を行い、
    前記撮影画像信号の信号フォーマット、前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記画像変換手段が用いるタップ係数は、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する前記画像変換処理を行う学習用画像変換手段と、
    前記学習用画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる学習用表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
    前記表示画像信号を評価する評価手段と
    を備える学習装置において、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記学習用画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記学習用表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    学習処理を行うことにより得られたものである
    プログラム。
  4. 物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置において、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
    前記画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
    前記表示画像信号を評価する評価手段と
    を備え、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    学習装置。
  5. 前記画像変換手段は、
    前記高画質画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出する予測タップ抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出するクラスタップ抽出手段と、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
    前記決定手段で決定された、複数のクラスそれぞれごとのタップ係数の中から、前記注目画素のクラスのタップ係数を出力する係数出力手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段と
    を有する
    請求項４に記載の学習装置。
  6. 物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置の学習方法において、
    前記学習装置は、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
    前記画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
    前記表示画像信号を評価する評価手段と
    を備え、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、前記表示手段に表示させ、
    前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
    前記評価手段が、前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    ステップを含む学習方法。
  7. 物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を、コンピュータに実行させるプログラムにおいて、
    前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
    前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
    前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
    前記画像変換手段において得られた高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させる表示制御手段と、
    前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段が出力する前記表示画像信号を評価する評価手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記決定手段が、複数の信号フォーマットを決定し、
    前記複数の信号フォーマットそれぞれについて、
    前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記評価手段が、前記光検出手段が出力する、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
    前記決定手段が、複数の表示フォーマットを決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
    前記複数の表示フォーマットそれぞれについて、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、前記決定手段で決定された表示フォーマットで、表示手段に表示させ、
    前記評価手段が、前記光検出手段が出力する、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなる表示フォーマットを、前記複数の表示フォーマットの中から決定することと、
    前記決定手段が、複数のタップ係数を決定し、
    前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
    前記複数のタップ係数それぞれについて、
    前記画像変換手段が、前記疑似撮影画像信号を、前記高画質画像信号に変換し、
    前記表示制御手段が、前記高画質画像信号に対応する画像を、表示手段に表示させ、
    前記評価手段が、前記光検出手段が出力する、前記表示画像としての光に対応する電気信号である前記表示画像信号を評価する
    ことにより、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
    を繰り返すことにより、前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、そのタップ係数を用いて行われる前記画像変換処理の対象となる前記撮影画像信号の信号フォーマット、および、その信号フォーマットの前記撮影画像信号を対象とした前記画像変換処理により得られる前記高画質画像信号に対応する画像を表示する表示フォーマットを求める
    プログラム。
JP2006001579A 2006-01-06 2006-01-06 表示装置および表示方法、学習装置および学習方法、並びにプログラム Expired - Fee Related JP4517300B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006001579A JP4517300B2 (ja) 2006-01-06 2006-01-06 表示装置および表示方法、学習装置および学習方法、並びにプログラム
US11/610,233 US7876323B2 (en) 2006-01-06 2006-12-13 Display apparatus and display method, learning apparatus and learning method, and programs therefor
EP06127117A EP1806924B1 (en) 2006-01-06 2006-12-22 Display apparatus and display method, learning apparatus and learning method, and programs therefor
KR1020070000502A KR20070074467A (ko) 2006-01-06 2007-01-03 표시 장치 및 표시 방법, 학습 장치 및 학습 방법과프로그램
CN2007100003033A CN1997112B (zh) 2006-01-06 2007-01-08 显示装置和显示方法以及学习装置和学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006001579A JP4517300B2 (ja) 2006-01-06 2006-01-06 表示装置および表示方法、学習装置および学習方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007184774A JP2007184774A (ja) 2007-07-19
JP4517300B2 true JP4517300B2 (ja) 2010-08-04

Family

ID=37836904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006001579A Expired - Fee Related JP4517300B2 (ja) 2006-01-06 2006-01-06 表示装置および表示方法、学習装置および学習方法、並びにプログラム

Country Status (5)

Country Link
US (1) US7876323B2 (ja)
EP (1) EP1806924B1 (ja)
JP (1) JP4517300B2 (ja)
KR (1) KR20070074467A (ja)
CN (1) CN1997112B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041178A2 (en) * 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP2009069838A (ja) * 2008-09-29 2009-04-02 Fujitsu Ten Ltd 表示装置及び表示方法
KR20130001541A (ko) * 2011-06-27 2013-01-04 삼성전자주식회사 다시점 영상의 해상도 복원 방법 및 장치
CN103137059B (zh) * 2011-12-02 2016-04-06 财团法人工业技术研究院 用以提升显示装置领域的视觉效果的***与方法
US9053557B2 (en) * 2011-12-02 2015-06-09 Industrial Technology Research Institute System and method for improving visual effect of a display device
CN110169063B (zh) * 2017-01-12 2022-03-01 索尼公司 图像处理装置和图像处理方法
CN110383836A (zh) * 2017-03-15 2019-10-25 索尼公司 编码装置、编码方法、解码装置和解码方法
KR20210087263A (ko) 2020-01-02 2021-07-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN114419040B (zh) * 2022-03-29 2022-06-03 武汉绿色塑料包装有限公司 基于形态学的瓶胚浇口拉丝检测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196737A (ja) * 2000-12-26 2002-07-12 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体
JP2003052051A (ja) * 2001-08-08 2003-02-21 Sony Corp 画像信号処理方法、画像信号処理装置、撮像装置及び記録媒体
JP2003198970A (ja) * 2001-12-27 2003-07-11 Sony Corp データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4587620A (en) * 1981-05-09 1986-05-06 Nippon Gakki Seizo Kabushiki Kaisha Noise elimination device
US5054103A (en) * 1987-09-24 1991-10-01 Matsushita Electric Works, Ltd. Picture encoding system
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JP2770137B2 (ja) * 1994-09-22 1998-06-25 日本プレシジョン・サーキッツ株式会社 波形データ圧縮装置
KR100517993B1 (ko) * 1996-12-18 2005-09-29 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 효율적인 고정-길이 블록 압축 및 압축해제
JP3063670B2 (ja) 1997-04-25 2000-07-12 日本電気株式会社 マトリクス表示装置
JP2000125213A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4696388B2 (ja) * 2000-11-15 2011-06-08 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体
JP4517264B2 (ja) * 2000-12-26 2010-08-04 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
KR100835454B1 (ko) * 2001-01-22 2008-06-04 소니 가부시끼 가이샤 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치, 화상 신호 처리 방법 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 및 컴퓨터 판독 가능한 매체
JP4055203B2 (ja) * 2002-09-12 2008-03-05 ソニー株式会社 データ処理装置およびデータ処理方法、記録媒体、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196737A (ja) * 2000-12-26 2002-07-12 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体
JP2003052051A (ja) * 2001-08-08 2003-02-21 Sony Corp 画像信号処理方法、画像信号処理装置、撮像装置及び記録媒体
JP2003198970A (ja) * 2001-12-27 2003-07-11 Sony Corp データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム

Also Published As

Publication number Publication date
CN1997112A (zh) 2007-07-11
US20070159661A1 (en) 2007-07-12
EP1806924B1 (en) 2012-10-24
EP1806924A3 (en) 2011-03-30
JP2007184774A (ja) 2007-07-19
EP1806924A2 (en) 2007-07-11
CN1997112B (zh) 2011-07-27
KR20070074467A (ko) 2007-07-12
US7876323B2 (en) 2011-01-25

Similar Documents

Publication Publication Date Title
JP4517300B2 (ja) 表示装置および表示方法、学習装置および学習方法、並びにプログラム
JP2008098966A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008098800A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009027406A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004266381A (ja) 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP2004221838A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
US6141017A (en) Method and apparatus for scaling an array of digital data using fractal transform
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
KR100760171B1 (ko) 화상 제공 장치 및 그 제공 방법, 화상 처리 장치 및 그 처리 방법, 및 기억 매체
CN113099121B (zh) 一种基于弱监督学习的isp实现方法
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
US11373060B2 (en) Training method for video stabilization and image processing device using the same
JP2022046219A (ja) 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム
JP4517301B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
KR20060045430A (ko) 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의생성 장치 및 생성 방법, 정보 신호 처리 장치, 및프로그램 및 그것을 기록한 매체
CN114270799B (zh) 相机装置以及相机装置的图像生成方法
JP4734239B2 (ja) 空間的信号変換
CN113077385A (zh) 基于对抗生成网络和边缘增强的视频超分辨率方法及***
JPH0983961A (ja) クラス予測係数の学習方法並びにクラス分類適応処理を用いた信号変換装置および方法
JP4235918B2 (ja) 画像処理装置および画像処理方法
JP2010066925A (ja) 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム
JP4016138B2 (ja) 画像信号変換装置及び画像信号変換方法
JP4311038B2 (ja) 学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラム
JP4305743B2 (ja) 信号処理装置および信号処理方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100505

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees