JP4193871B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP4193871B2
JP4193871B2 JP2006138585A JP2006138585A JP4193871B2 JP 4193871 B2 JP4193871 B2 JP 4193871B2 JP 2006138585 A JP2006138585 A JP 2006138585A JP 2006138585 A JP2006138585 A JP 2006138585A JP 4193871 B2 JP4193871 B2 JP 4193871B2
Authority
JP
Japan
Prior art keywords
image data
image
pixel
prediction
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006138585A
Other languages
English (en)
Other versions
JP2007312061A (ja
Inventor
哲二郎 近藤
勉 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006138585A priority Critical patent/JP4193871B2/ja
Priority to US11/697,851 priority patent/US8218077B2/en
Publication of JP2007312061A publication Critical patent/JP2007312061A/ja
Application granted granted Critical
Publication of JP4193871B2 publication Critical patent/JP4193871B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、視聴者が、高画質の画像データを享受することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
従来から行われている地上波アナログ放送では、NTSC(National Television System Committee)方式によるコンポジット信号で、アスペクト比が4:3のSD(Standard Definition)画像が放送されている。
近年、地上波アナログ放送に加え、地上波ディジタル放送が開始された。地上波ディジタル放送では、アスペクト比が16:9のHD(High Definition)画像がコンポーネント信号で放送されるので、地上波アナログ放送による画像よりも高画質の画像を提供することができる。
ところで、アスペクト比が16:9のHD画像を撮像するカメラ等の放送用機器は高価であるため、放送局に広く普及するまでに時間を要する。
このため、放送局によっては、地上波アナログ放送で放送されるコンポジット信号の画像を、コンポーネント信号の画像に変換し、さらに、そのコンポーネント信号の画像の画素数を単純に補間して増加させるアップコンバートを行うことで、フォーマットだけを、地上波ディジタル放送で放送されるHD画像と同一として、放送が行われることがあり得る。
ここで、コンポジット信号の画像を、コンポーネント信号の画像に変換し、そのコンポーネント信号の画像をアップコンバートすることで、フォーマットだけを、地上波ディジタル放送で放送されるHD画像と同一とした画像を、準HD画像という。
準HD画像は、コンポジット信号の画像を、コンポーネント信号の画像に変換した画像であるため、そのような準HD画像には、いわゆるクロスカラーやドット妨害と呼ばれるノイズが、少なからず生じている。そして、準HD画像は、コンポジット信号の画像をコンポーネント信号の画像に変換した画像を、さらにアップコンバートした画像であるから、クロスカラーやドット妨害といったノイズは、アップコンバートにより目立つものとなる。
なお、コンポジット信号に特有の性質を考慮し、画像を、高画質の画像に変換する方法が提案されている（例えば、特許文献１参照）。
特開平10-056622号公報
地上波ディジタル放送によって放送されてくる画像であっても、その画像が、フォーマットだけがHD画像と同一の準HD画像では、視聴者（あるいはユーザ）は、高画質の画像を享受することが困難である。
本発明は、このような状況に鑑みてなされたものであり、視聴者が、高画質の画像データを享受することができるようにするものである。
本発明の側面の画像処理装置は、第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理装置であって、放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定手段と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換手段と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換手段とを備え、前記第１の画像変換手段は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出手段と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出手段と、前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出手段と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出手段と、前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類手段と、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力手段と、前記第１の係数出力手段から出力された前記予測係数と、前記第１および第２の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算手段とを有し、前記第２の画像変換手段は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出手段と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出手段と、前記第３のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類手段と、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力手段と、前記第２の係数出力手段から出力された前記予測係数と、前記第３の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算手段とを有する。
前記第１の画像変換手段には、前記注目画素を基準としたときの前記所定の位置をアドレスとして指定することにより、前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段をさらに有するようにさせることができる。
本発明の側面の画像処理方法は、第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理方法であって、放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定ステップと、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換ステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換ステップとを含み、前記第１の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出ステップと、前記第１および第２のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出ステップの処理と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力ステップと、前記第１の係数出力ステップの処理から出力された前記予測係数と、前記第１および第２の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算ステップとを有し、前記第２の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出ステップと、前記第３のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出ステップと同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力ステップと、前記第２の係数出力ステップの処理から出力された前記予測係数と、前記第３の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算ステップとを有する。
本発明の側面のプログラムは、第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理を、コンピュータに実行させるプログラムであって、放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定ステップと、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換ステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換ステップとを含み、前記第１の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出ステップと、前記第１および第２のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出ステップの処理と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力ステップと、前記第１の係数出力ステップの処理から出力された前記予測係数と、前記第１および第２の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算ステップとを有し、前記第２の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出ステップと、前記第３のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出ステップと同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力ステップと、前記第２の係数出力ステップの処理から出力された前記予測係数と、前記第３の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算ステップとを有する処理を、コンピュータに実行させる。
本発明の側面においては、放送されてきた画像データが、アップコンバート画像データであるか否かが判定され、放送されてきた画像データがアップコンバート画像データではないと判定された場合、放送されてきた画像データの画素数を少なくするダウンコンバートによって得られた画像データと放送されてきた画像データと処理することにより、第３の画質の出力画像データが出力される。一方、放送されてきた画像データがアップコンバート画像データであると判定された場合、ダウンコンバートによって得られた画像データを処理することにより、第３の画質の出力画像データが出力される。
本発明によれば、視聴者は、高画質の画像データを享受することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の側面の画像処理装置は、第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理装置（例えば、図３のディジタル放送受信装置１２）において、放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定手段（例えば、図３の判定部４４）と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段（例えば、図３のダウンコンバータ４５）と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換手段（例えば、図３のHD画像変換部４７）と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換手段（例えば、図３のSD画像変換部４８）とを備え、前記第１の画像変換手段は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出手段（例えば、図５のタップ抽出部６１−Ｈ）と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出手段（例えば、図５のタップ抽出部６１−Ｓ）と、前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出手段（例えば、図５のタップ抽出部６２−Ｈ）と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出手段（例えば、図５のタップ抽出部６２−Ｓ）と、前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類手段（例えば、図５のクラス分類部６４）と、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力手段（例えば、図５の係数メモリ６５）と、前記第１の係数出力手段から出力された前記予測係数と、前記第１および第２の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算手段（例えば、図５の予測部６６）とを有し、前記第２の画像変換手段は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出手段（例えば、図７のタップ抽出部８１）と、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出手段（例えば、図７のタップ抽出部８２）と、前記第３のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類手段（例えば、図７のクラス分類部８３）と、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力手段（例えば、図７の係数メモリ８４）と、前記第２の係数出力手段から出力された前記予測係数と、前記第３の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算手段（例えば、図７の予測部８５）とを有する。
本発明の側面の画像処理装置の前記第１の画像変換手段は、前記注目画素を基準としたときの前記所定の位置をアドレスとして指定することにより、前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段（例えば、図５のタップ構造メモリ６３）をさらに有する。
本発明の側面の画像処理方法およびプログラム（例えば、図４の画像処理方法）は、第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理方法またはプログラムであって、放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定ステップ（例えば、図４のステップＳ３）と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップ（例えば、図４のステップＳ５およびＳ８）と、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換ステップ（例えば、図４のステップＳ９）と、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換ステップ（例えば、図４のステップＳ６）とを含み、前記第１の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出ステップと、前記第１および第２のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出ステップの処理と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力ステップと、前記第１の係数出力ステップの処理から出力された前記予測係数と、前記第１および第２の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算ステップとを有し、前記第２の画像変換ステップの処理は、前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出ステップと、前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出ステップと、前記第３のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類ステップと、学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出ステップと同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力ステップと、前記第２の係数出力ステップの処理から出力された前記予測係数と、前記第３の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算ステップとを有する。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した放送システムの一実施の形態の構成例を示している。なお、本明細書において、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない。
図１の放送システム１において、放送局１１−１乃至１１−ｎ（ｎは正の整数）それぞれは、例えば、同一の内容の番組としての画像や音声を、地上波アナログ放送と地上波ディジタル放送のそれぞれによって放送する。なお、以下においては、放送局１１−１乃至１１−ｎそれぞれを特に区別する必要がない場合、単に放送局１１と称する。また、以下では、放送局１１−１乃至１１−ｎが放送する番組としての画像についてのみ説明し、音声についての説明は、省略する。
ディジタル放送受信装置１２は、放送局１１から地上波ディジタル放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。アナログ放送受信装置１３は、放送局１１から地上波アナログ放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。
図２は、図１の放送局１１の概要を示すブロック図である。
放送局１１では、アスペクト比が4:3のSD画像を撮像するSDカメラ２１によって撮像されたコンポーネント信号のSD画像が、NTSCエンコーダ３１において、NTSC方式のコンポジット信号に変換（エンコード）され、地上波アナログ放送によって放送される。
また、放送局１１が、図２において点線で示すように、HD画像を撮像するHDカメラ２２を有する場合には、そのHDカメラ２２によって撮像されたコンポーネント信号のHD画像が、地上波ディジタル放送の、放送局１１に割り当てられた周波数帯域としてのチャンネルで放送される。
一方、放送局１１がHDカメラ２２を有しない場合には、放送局１１では、NTSCデコーダ３２において、NTSCエンコーダ３１が出力するNTSC方式のコンポジット信号が、コンポーネント信号に変換され、そのコンポーネント信号の画像が、アップコンバータ３３に供給される。アップコンバータ３３は、NTSCデコーダ３２からのコンポーネント信号の画像を、HDカメラ２２が出力するHD画像と同一のフォーマットとなるようにアップコンバートして出力する。その結果、SDカメラ２１で撮像され、HDカメラ２２が出力するHD画像と同一のフォーマットとなるようにアップコンバートされた準HD画像が、地上波ディジタル放送によって放送される。
なお、図示は省略されているが、放送局１１は、画像データを、例えばMPEGエンコードし、地上波ディジタル放送によって放送する。
図３は、図１のディジタル放送受信装置１２の構成例を示している。
ディジタル放送受信装置１２は、チューナ４１、デマルチプレクサ４２、デコーダ４３、判定部４４、ダウンコンバータ４５、切替器４６、HD画像変換部４７、SD画像変換部４８、および画像出力部４９により構成される。
チューナ４１は、地上波ディジタル放送の信号を受信し、その信号から、ディジタル放送受信装置１２が出力する画像を視聴する視聴者によるリモートコマンダ（図示せず）の操作に応じたチャンネルの信号を抽出して、デマルチプレクサ４２に供給する。デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給する。デコーダ４３は、デマルチプレクサ４２からのパケットに含まれる、MPEG(Moving Picture Expert Group)エンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
判定部４４は、デコーダ４３からの画像データの種類を判定し、その判定結果に基づいて、デコーダ４３からの画像データを、ダウンコンバータ４５、または、HD画像変換部４７に供給する。
具体的には、判定部４４は、デコーダ４３からの画像データが、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ（即ち、他の画像データ）に対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データである準HD画像データであると判定した場合、デコーダ４３からの準HD画像データを、ダウンコンバータ４５に供給する。
一方、デコーダ４３からの画像データがアップコンバート画像データではない、即ち、HD画像データであると判定した場合、判定部４４は、デコーダ４３からのHD画像データを、ダウンコンバータ４５およびHD画像変換部４７に供給する。
また、判定部４４は、デコーダ４３からの画像データが準HD画像データであるか、または、HD画像データであるかに応じて、切替器４６を制御する。具体的には、判定部４４は、デコーダ４３からの画像データが準HD画像データである場合には、切替器４６の出力がSD画像変換部４８に供給されるように制御し、デコーダ４３からの画像データがHD画像データである場合には、切替器４６の出力がHD画像変換部４７に供給されるように制御する。
なお、デコーダ４３からの画像データが、HD画像データまたは準HD画像データであるかどうかの判定は、例えば、隣接する画素間の差分値の和として求められるアクティビティ等に基づいて行うことができる。即ち、HD画像データは高解像度であるが、準HD画像データは、高々、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ程度の解像度であるから、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有する場合には、その画像データは、HD画像データであると判定することができる。逆に、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有しない場合には、その画像データは、準HD画像データであると判定することができる。
また、HD画像データと準HD画像データとは、いずれも、アスペクト比が16:9の画像データではあるが、準HD画像データは、NTSC方式のコンポジット信号のアスペクト比が4:3の画像データから得られたコンポーネント信号の画像データをアップコンバートして、アスペクト比が16:9になるようにした横長の画像データであるため、4:3の画像データの左端側と右端側に、黒色等の単色の画像データを付加した画像データとなっている。従って、デコーダ４３からの画像データが、HD画像データまたは準HD画像データのうちのいずれであるかの判定は、デコーダ４３からの画像データの左端側と右端側に、単色の画像データが存在するかどうかによって行うこともできる。
ダウンコンバータ４５は、判定部４４から供給されるHD画像データまたは準HD画像データの画素数を、例えば、図２のNTSCデコーダ３２が出力するコンポーネント信号の画像の画素数と同一になるように間引き、さらに、必要に応じて、LPF(Low Pass Filter)によるフィルタリングを行うダウンコンバートを行い、その結果得られるSD画像データを、切替器４６に供給する。
切替器４６は、判定部４４の制御に従い、ダウンコンバータ４５から供給されるSD画像データをHD画像変換部４７またはSD画像変換部４８に出力する。切替器４６では、ダウンコンバータ４５から供給されるSD画像データがHD画像データから得られたものである場合には、その供給されたSD画像データをHD画像変換部４７に供給し、ダウンコンバータ４５から供給されるSD画像データが準HD画像データから得られたものである場合には、その供給されたSD画像データをSD画像変換部４８に供給する。
HD画像変換部４７は、判定部４４から供給されるHD画像データと切替器４６から供給されるSD画像データを、判定部４４から供給されるHD画像データより、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
SD画像変換部４８は、切替器４６から供給されるSD画像データを、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
画像出力部４９は、HD画像変換部４７またはSD画像変換部４８から供給されるHD画像データを、図示せぬモニタに供給し、これにより、モニタに、HD画像データに基づく画像を表示させる。
次に、図４のフローチャートを参照して、図３のディジタル放送受信装置１２の受信処理について説明する。
初めに、ステップＳ１において、チューナ４１は、チャンネルを選択する。即ち、チューナ４１は、地上波ディジタル放送の信号を受信し、その信号から、視聴者によるリモートコマンダの操作に応じたチャンネルの信号を抽出して、デマルチプレクサ４２に供給する。そして、デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給する。
ステップＳ２において、デコーダ４３は、画像データをデコードする。即ち、デコーダ４３は、デマルチプレクサ４２からのパケットに含まれる、MPEGエンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
ステップＳ３において、判定部４４は、デコーダ４３からの画像データがHD画像データであるかを判定し、その判定結果に基づいて、デコーダ４３から供給された画像データをダウンコンバータ４５またはHD画像変換部４７に供給する。
即ち、ステップＳ３において、判定部４４は、デコーダ４３からの画像データがHD画像データではない、即ち、準HD画像データであると判定した場合、デコーダ４３からの準HD画像データを、ダウンコンバータ４５に供給する。
ステップＳ４において、判定部４４は、切替器４６の出力をSD画像変換部４８側に切替える。そして、ステップＳ５において、ダウンコンバータ４５は、判定部４４から供給された準HD画像データをダウンコンバートする。切替器４６では、上述したステップＳ４の処理により、入力されたデータはSD変換部４８に出力するように切替えられているので、ダウンコンバータ４５から供給されたSD画像データは、SD画像変換部４８に供給される。
ステップＳ６において、SD画像変換部４８は、SD画像変換処理を行う。即ち、SD画像変換部４８は、切替器４６を介してダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。処理結果としての高画質のHD画像データは、画像出力部４９に供給され、画像出力部４９は、SD画像変換部４８からのHD画像データに基づく画像を、モニタに供給して表示させる。
なお、SD画像変換部４８には、チューナ４１から、現在受信しているチャンネルを表すチャンネル情報、即ち、ダウンコンバータ４５からSD画像変換部４８に供給されるSD画像データをアップコンバートした準HD画像データを放送しているチャンネルのメタデータ等を含むチャンネル情報が供給されるようになっている。そして、SD画像変換部４８は、チャンネル情報に基づいて、ダウンコンバータ４５から供給されるSD画像データをHD画像データに変換するSD画像変換処理を行う。ステップＳ６のSD画像変換処理の詳細は、図７と図８を参照して後述する。
一方、ステップＳ３で、デコーダ４３からの画像データがHD画像データであると判定された場合、判定部４４は、デコーダ４３からのHD画像データを、ダウンコンバータ４５およびHD画像変換部４７に供給して、処理はステップＳ７に進む。
ステップＳ７において、判定部４４は、切替器４６の出力をHD画像変換部４７側に切替える。そして、ステップＳ８において、ダウンコンバータ４５は、判定部４４から供給されたHD画像データをダウンコンバートする。切替器４６では、上述したステップＳ７の処理により、入力されたデータはHD画像変換部４７に出力するように切替えられているので、ダウンコンバータ４５から供給されたSD画像データは、HD画像変換部４７に供給される。
ステップＳ９において、HD画像変換部４７は、HD画像変換処理を行う。即ち、HD画像変換部４７は、第１の画像データとしての、判定部４４から供給されるHD画像データと、切替器４６を介してダウンコンバータ４５から供給されるSD画像データとを、第２の画像データとしての、判定部４４から供給されるHD画像データより高画質の画像データであるHD画像データに変換し、画像出力部４９に供給する。画像出力部４９は、HD画像変換部４７からのHD画像データに基づく画像を、モニタに供給して表示させる。
さらに、ステップＳ９でHD画像変換部４７により行われるHD画像変換処理の詳細について、図５と図６を参照して説明する。
HD画像変換部４７は、そこに入力される第１の画像データを、その第1の画像データよりも高画質の第２の画像データに変換する画像変換処理を行う。かかる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Signal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを抑圧するノイズ抑圧処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。
HD画像変換部４７は、上述したように、判定部４４およびダウンコンバータ４５からそれぞれ供給されるHD画像データおよびSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。
図５は、HD画像変換部４７の機能的構成例を示している。
HD画像変換部４７は、タップ抽出部６１−Ｈおよび６１−Ｓ、タップ抽出部６２−Ｈおよび６２−Ｓ、タップ構造メモリ６３、クラス分類部６４、係数メモリ６５、並びに予測部６６から構成される。
HD画像変換部４７には、HD画像判定部４４が出力するHD画像データと、ダウンコンバータ４５が出力するSD画像データとが供給されるが、HD画像データは、タップ抽出部６１−Ｈおよび６２−Ｈに供給され、SD画像データは、タップ抽出部６１−Ｓおよび６２−Ｓに供給される。
タップ抽出部６１−Ｈおよび６１−Ｓのそれぞれは、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素の幾つかを、予測タップとして抽出する。ここで、第２の画像データとしてのHD画像データは、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される。
具体的には、タップ抽出部６１−Ｈは、注目画素に対応する、第１の画像データとしての判定部４４が出力するHD画像データの画素に対して、タップ構造メモリ６３から供給されるアドレスによって決定される複数の画素を、予測タップとして抽出する。
タップ抽出部６１−Ｓも同様に、注目画素に対応する、第１の画像データとしてのダウンコンバータ４５が出力するSD画像データの画素に対して、タップ構造メモリ６３から供給されるアドレスによって決定される複数の画素を、予測タップとして抽出する。
タップ抽出部６２−Ｈは、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データとしての、判定部４４が出力するHD画像データの画素の幾つかを、クラスタップとして抽出する。
タップ抽出部６２−Ｓは、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データとしての、ダウンコンバータ４５が出力するSD画像データの画素の幾つかを、クラスタップとして抽出する。
タップ抽出部６２−Ｈおよび６２−Ｓにおいて、どの画素をクラスタップとして抽出するかは、タップ抽出部６１−Ｈおよび６１−Ｓと同様に、タップ構造メモリ６３から供給されるアドレスによって決定される。
タップ抽出部６１−Ｈまたは６１−Ｓで得られた予測タップは、予測部６６に供給され、タップ抽出部６２−Ｈまたは６２−Ｓで得られたクラスタップは、クラス分類部６４に供給される。
タップ構造メモリ６３は、上述の予測タップおよびクラスタップのタップ構造を指定する。即ち、タップ構造メモリ６３は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部６１−Ｈおよび６１−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部６２−Ｈおよび６２−Ｓに供給する。タップ構造メモリ６３が供給するアドレスは、例えば、注目画素を基準とした位置を表すアドレスである。勿論、画像を構成する全画素における絶対位置を表すアドレスでもよい。
なお、本実施の形態では、説明を簡単にするために、タップ構造メモリ６３がタップ抽出部６１−Ｈおよび６１−Ｓとタップ抽出部６２−Ｈおよび６２−Ｓに供給するアドレスは、同一のものとする。即ち、予測タップとクラスタップは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
クラス分類部６４は、タップ抽出部６２−Ｈおよび６２−Ｓからのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６５に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部６４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部６４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス分類部６４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、クラス分類を行うのが好ましい。
係数メモリ６５は、図９を参照して後述する学習装置１０１の学習によってあらかじめ求められたクラスごとの予測係数のセットを記憶し、さらに、その記憶している予測係数のセットのうちの、クラス分類部６４から供給されるクラスコードに対応するアドレスに記憶されている予測係数、即ち、クラス分類部６４から供給されるクラスコードが表すクラスの予測係数を出力する。
予測部６６は、タップ抽出部６１−Ｈおよび６１−Ｓが出力する予測タップと、係数メモリ６５が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部６６は、注目画素の画素値としての予測値、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
ここで、図５の予測部６６における予測演算についてさらに説明する。
いま、画像変換処理として、例えば、高画質の画像データ（以下、高画質画像データという）を第２の画像データとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質（例えば、解像度）を低下させた低画質の画像データ（以下、低画質画像データという）を第１の画像データとして、低画質画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高画質画素の画素値を、所定の予測演算によって予測することを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004193871
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004193871
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0004193871
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような予測係数ｗnを求めることは、一般には困難である。
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004193871
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004193871
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
Figure 0004193871
式（５）と式（６）から、次式が得られる。
Figure 0004193871
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004193871
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラスごとに求めることができる。
図５のHD画像変換部４７では、以上のようなクラスごとの予測係数を用いて、式（１）の演算を行うことにより、第１の画像データとしてのSD画像データおよびHD画像データが、第２の画像データとしてのHD画像データに変換される。
次に、図６のフローチャートを参照して、図４のステップＳ９でHD画像変換部４７により行われるHD画像変換処理の詳細について説明する。
初めに、ステップＳ２１において、タップ構造メモリ６３は、予測タップとクラスタップのタップ構造を指定する。即ち、ステップＳ２１において、タップ構造メモリ６３は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部６１−Ｈおよび６１−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部６２−Ｈおよび６２−Ｓに供給する。
ステップＳ２２において、タップ抽出部６１−Ｈは、第２の画像データにおける注目画素を決定する。即ち、タップ抽出部６１−Ｈは、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素の１つを、注目画素として決定する。また、タップ抽出部６１−Ｓでは、タップ抽出部６１−Ｈで決定された注目画素に対応するSD画像データの画素がタップ抽出部６１−Ｓにおいての注目画素として決定される。
そして、ステップＳ２３において、タップ抽出部６１−Ｈおよび６１−Ｓは、予測タップを抽出する。即ち、タップ抽出部６１−Ｈは、注目画素に対応する判定部４４からのHD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、予測タップとして抽出する。また、タップ抽出部６１−Ｓは、注目画素に対応するダウンコンバータ４５からのSD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、予測タップとして抽出する。抽出された予測タップは、予測部６６に供給される。
ステップＳ２４において、タップ抽出部６２−Ｈおよび６２−Ｓは、クラスタップを抽出する。即ち、タップ抽出部６２−Ｈは、注目画素に対応する判定部４４からのHD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、クラスタップとして抽出する。また、タップ抽出部６２−Ｓは、注目画素に対応するダウンコンバータ４５からのSD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、クラスタップとして抽出する。
ステップＳ２５において、クラス分類部６４は、タップ抽出部６２−Ｈおよび６２−Ｓからのクラスタップに基づきクラス分類を行う。さらに、クラス分類部６４は、クラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ６５に出力する。
ステップＳ２６において、係数メモリ６５は、クラス分類部６４から供給されるクラスコードに対応する予測係数、即ち、注目画素のクラスに対応する予測係数を取得して、予測部６６に供給する。この予測係数は、後述する図９の学習装置１０１により予め学習することで生成、記憶されているものである。
ステップＳ２７において、予測部６６は、タップ抽出部６１−Ｈおよび６１−Ｓから供給された予測タップと、係数メモリ６５から供給された予測係数とを用いて、式（１）の予測演算を行うことにより、注目画素の画素値を求め、画像出力部４９（図３）に供給する。
ステップＳ２８では、タップ抽出部６１−Ｈが、まだ、注目画素としていない第２の画像データがあるかを判定する。ステップＳ２８において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ２２に戻り、ステップＳ２２乃至Ｓ２８の処理が繰り返される。その結果、まだ注目画素とされていない第２の画像データの画素のうちの１つが、新たに注目画素とされ、その注目画素の画素値が求められる。
一方、ステップＳ２８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
次に、図４のステップＳ６でSD画像変換部４８により行われるSD画像変換処理の詳細についてさらに説明する。
SD画像変換部４８においても、第１の画像データを、その第1の画像データよりも高画質の第２の画像データに変換する画像変換処理が行われる。
SD画像変換部４８は、上述したように、切替器４６を介してダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。
図７は、SD画像変換部４８の機能的構成例を示すブロック図である。
SD画像変換部４８は、係数選択部８０、タップ抽出部８１および８２、クラス分類部８３、係数メモリ８４、並びに予測部８５から構成される。
SD画像変換部４８には、ダウンコンバータ４５（図３）が出力するSD画像データが、第１の画像データとして供給される。また、SD画像変換部４８には、ダウンコンバータ４５が出力するSD画像データのチャンネル情報、即ち、ダウンコンバータ４５が出力するSD画像データにダウンコンバートする前の準HD画像データを放送しているチャンネルのメタデータ等を含むチャンネル情報が、チューナ４１（図３）から供給される。
そして、第１の画像データとしてのSD画像データは、タップ抽出部８１および８２に供給され、第１の画像データとしてのSD画像データのチャンネル情報は、係数選択部８０に供給される。
係数選択部８０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、１セットの予測係数のセットを選択し、例えば、いわゆるメモリバンクの切り替え等によって、その選択した予測係数のセットを有効にする。即ち、係数メモリ８４は、記憶している複数セットの予測係数のセットのうちの、ある１セットの予測係数のセットから、クラス分類部８３から供給される情報に対応した予測係数を読み出して出力するが、係数選択部８０は、係数メモリ８４において読み出しの対象となる予測係数のセットを選択する。ここで、以下、適宜、係数メモリ８４において読み出しの対象となる予測係数のセットを、有効な予測係数のセットという。
タップ抽出部８１は、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素の幾つかを、予測タップとして抽出する。この第２の画像データとしてのHD画像データは、上述したHD画像変換部４７（図５）における場合と同様に、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される。
具体的には、タップ抽出部８１は、注目画素に対応する、第１の画像データの位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、注目画素に対応する、第１の画像データの位置に最も近い画素と、その画素に空間的に隣接する画素など）を、予測タップとして抽出する。
タップ抽出部８２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして抽出する。
なお、ここでも、HD画像変換部４７における場合と同様に、予測タップとクラスタップは、同一のタップ構造を有するものとするが、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
タップ抽出部８１で得られた予測タップは、予測部８５に供給され、タップ抽出部８２で得られたクラスタップは、クラス分類部８３に供給される。
クラス分類部８３は、HD画像変換部４７（図５）におけるクラス分類部６４と同様に、タップ抽出部８２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ８４に供給する。
係数メモリ８４は、図１１を参照して後述する学習装置１５１の学習によってあらかじめ求められたクラスごとの予測係数のセットを記憶し、さらに、その記憶している予測係数のセットのうちの、クラス分類部８３から供給されるクラスコードに対応するアドレスに記憶されている予測係数、即ち、クラス分類部８３から供給されるクラスコードが表すクラスの予測係数を出力する。
ここで、SD画像変換部４８において画像変換処理の対象とする第１の画像データとしてのSD画像データにダウンコンバートされる前の準HD画像データ（以下、適宜、SD画像データに対応する準HD画像データという）は、例えば、図２で説明したように、放送局１１において、コンポジット信号の画像データをコンポーネント信号の画像データに変換し、さらに、そのコンポーネント信号の画像データに対してアップコンバートの処理を施すことにより得られる画像データである。
アップコンバートの処理の方法としては、例えば、アップコンバートの対象となる画像データの画素の画素値と同一の画素値の画素を補間する方法や、アップコンバートの対象となる画像データの複数の画素の画素値の重み付き平均値を画素値とする画素を補間する方法などの、様々な方法がある。
そして、アップコンバートの処理として、どのような方法の処理が施されるかは、放送局１１ごとに異なることがあり得る。
そこで、SD画像変換部４８において、準HD画像データを得るのに施されたアップコンバートの処理の方法によらず、その準HD画像データをダウンコンバートしたSD画像データを、適切にHD画像データに変換することができるように、係数メモリ８４は、アップコンバートの処理の複数の方法それぞれに対応する複数セットの予測係数のセットを記憶している。
上述したように、アップコンバートの処理の方法は、放送局１１、つまり、チャンネルごとに異なることがあり得るので、係数選択部８０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、１セットの予測係数のセットを選択し、即ち、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数のセットを選択し、有効な予測係数のセットとする。
そして、係数メモリ８４は、有効な予測係数のセットから、クラス分類部８３から供給されるクラスコードに対応するアドレスに記憶されている予測係数、つまり、注目画素のクラスに対応する予測係数を出力する。
従って、係数メモリ８４が出力する予測係数は、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数である。
予測部８５は、タップ抽出部８１が出力する予測タップと、係数メモリ８４が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部８５は、注目画素の画素値の予測値、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
次に、図８のフローチャートを参照して、図４のステップＳ６でSD画像変換部４８により行われるSD画像変換処理の詳細について説明する。
初めに、ステップＳ４１において、係数選択部８０は、チューナ４１（図３）からのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数のセットを、有効な予測係数のセットとして選択する。
ステップＳ４２において、タップ抽出部８１は、第２の画像データにおける注目画素を決定する。即ち、タップ抽出部８１は、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素の１つを、注目画素として決定する。
ステップＳ４３において、タップ抽出部８１は、予測タップを抽出する。即ち、タップ抽出部８１は、そこに供給される第１の画像データとしての、準HD画像データをダウンコンバートしたSD画像データから、注目画素に対する予測タップとする画素を抽出する。
ステップＳ４４において、タップ抽出部８２は、クラスタップを抽出する。即ち、タップ抽出部８２は、そこに供給される第１の画像データとしての、準HD画像データをダウンコンバートしたSD画像データから、注目画素に対するクラスタップとする画素を抽出する。
ステップＳ４３で抽出された予測タップは、予測部８５に供給され、ステップＳ４４で抽出されたクラスタップは、クラス分類部８３に供給される。
ステップＳ４５において、クラス分類部８３は、タップ抽出部８２からのクラスタップに基づき、注目画素のクラス分類を行う。さらに、クラス分類部８３は、クラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ８４に出力する。
ステップＳ４６において、係数メモリ８４は、係数選択部８０によって選択された有効な予測係数のセットのうちの、クラス分類部８３から供給されるクラスコードに対応する予測係数、即ち、注目画素のクラスに対応する予測係数を取得して、予測部８５に出力する。
ステップＳ４７において、予測部８５は、タップ抽出部８１から供給された予測タップと、係数メモリ８４から供給された予測係数とを用いて、式（１）の予測演算を行うことにより、注目画素の画素値を求め、画像出力部４９（図３）に供給する。
ステップＳ４８では、タップ抽出部８１が、まだ、注目画素としていない第２の画像データがあるかを判定する。ステップＳ４８において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ４２に戻り、ステップＳ４２乃至Ｓ４８の処理が繰り返される。その結果、まだ注目画素とされていない第２の画像データを構成する画素のうちの１つが、新たに注目画素とされ、注目画素の画素値が求められる。
一方、ステップＳ４８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
次に、HD画像変換部４７の係数メモリ６５やSD画像変換部４８の係数メモリ８４に記憶される予測係数ｗnを求める学習について説明する。学習では、上述した式（８）の正規方程式をクラスごとにたてて解くことにより予測係数ｗnが求められる。
図９は、HD画像変換部４７の係数メモリ６５に記憶される予測係数ｗnを求める学習装置１０１の構成例を示すブロック図である。
図９の学習装置１０１には、予測係数ｗnの学習に用いられる学習用画像データが入力される。学習用画像データとしては、例えば、HDカメラ２２（図２）で得られるHD画像データよりも高画質のHD画像データを用いることができる。
学習装置１０１において、学習用画像データは、教師データ生成部１２１と生徒データ生成部１２３に供給される。
教師データ生成部１２１は、そこに供給される学習用画像データから、第２の画像データに相当する画像データである教師データを生成し、教師データ記憶部１２２に供給する。ここでは、教師データ生成部１２１は、学習用画像データとしてのHD画像データを、そのまま教師データとして、教師データ記憶部１２２に供給する。
教師データ記憶部１２２は、教師データ生成部１２１から供給される教師データとしてのHD画像データを記憶する。
生徒データ生成部１２３は、学習用画像データから、第１の画像データに相当する画像データである生徒データを生成し、生徒データ記憶部１２４に供給する。
即ち、生徒データ生成部１２３は、学習用画像データから、教師データ生成部１２１と同様に、教師データを生成し（あるいは、教師データ生成部１２１が生成した教師データの供給を受けるようにしてもよい）、さらに、その教師データとしてのHD画像データより低画質のHD画像データを生成する。また、生徒データ生成部１２３は、低画質のHD画像データをダウンコンバートすることにより、ダウンコンバータ４５（図３）が出力するSD画像データと同程度の画質のSD画像データも生成する。そして、生徒データ生成部１２３は、低画質のHD画像データとダウンコンバートにより得られたSD画像データを、生徒データとして、生徒データ記憶部１２４に供給する。
生徒データ記憶部１２４は、生徒データ生成部１２３から供給される生徒データを記憶する。
タップ構造メモリ１２５は、予測タップおよびクラスタップを決定するための、注目画素に対する画素の位置を表すアドレスをタップ抽出部１２６−Ｈおよび１２６−Ｓ並びにタップ抽出部１２７−Ｈおよび１２７−Ｓに供給する。
タップ抽出部１２６−Ｈおよび１２６−Ｓ並びにタップ抽出部１２７−Ｈおよび１２７−Ｓのそれぞれは、タップ構造メモリ１２５から供給される、注目画素に対する画素の位置を表すアドレスに基づいて、予測タップまたはクラスタップを抽出する。
即ち、タップ抽出部１２６−Ｈは、教師データ記憶部１２２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１２４に記憶された生徒データとしての低画質のHD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６１−Ｈが注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１２９に供給する。
タップ抽出部１２６−Ｓは、注目画素について、生徒データ記憶部１２４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６１−Ｓが注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１２９に供給する。
タップ抽出部１２７−Ｈは、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしての低画質のHD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６２−Ｈが注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１２８に供給する。
タップ抽出部１２７−Ｓは、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６２−Ｓが注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１２８に供給する。
クラス分類部１２８は、タップ抽出部１２７−Ｈおよび１２７−Ｓが出力するクラスタップに基づき、図５のクラス分類部６４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１２９に出力する。
足し込み部１２９は、教師データ記憶部１２２から、注目画素を読み出し、その注目画素と、タップ抽出部１２６−Ｈおよび１２６−Ｓから供給される注目画素についての予測タップを構成する生徒データの画素とを対象とした足し込みを、クラス分類部１２８から供給されるクラスコードごとに行う。
即ち、足し込み部１２９には、教師データ記憶部１２２に記憶された教師データの画素のうちの注目画素の画素値ｙk、タップ抽出部１２６−Ｈおよび１２６−Ｓが出力する予測タップを構成する生徒データの画素の画素値ｘn,k、クラス分類部１２８が出力する、注目画素のクラスを表すクラスコードが供給される。
そして、足し込み部１２９は、クラス分類部１２８から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１２９は、やはり、クラス分類部１２８から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１２９は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部１２９は、教師データ記憶部１２２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１３０に供給する。
予測係数算出部１３０は、足し込み部１２９から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗnを算出する。
次に、図１０のフローチャートを参照して、図９の学習装置１０１による学習処理について説明する。
最初に、ステップＳ６１において、教師データ生成部１２１と生徒データ生成部１２３は、学習用画像データから、教師データと生徒データを、それぞれ生成する。
即ち、教師データ生成部１２１は、学習用画像データとして供給された、例えば、HDカメラ２２（図２）で得られるHD画像データよりも高画質の画像データを、そのまま教師データとして出力する。また、生徒データ生成部１２３は、教師データとしてのHD画像データを低画質にしたHD画像データと、その低画質のHD画像データをダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データとを生成し、生徒データとして出力する。
教師データ生成部１２１が出力する教師データは、教師データ記憶部１２２に供給されて記憶され、生徒データ生成部１２３が出力する生徒データは、生徒データ記憶部１２４に供給されて記憶される。
その後、ステップＳ６２において、タップ構造メモリ１２５は、予測タップとクラスタップのタップ構造を指定する。即ち、ステップ６２では、タップ構造メモリ１２５は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部１２６−Ｈおよび１２６−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部１２７−Ｈおよび１２７−Ｓに供給する。
ステップＳ６３において、タップ抽出部１２６−Ｈは、注目画素を決定する。即ち、タップ抽出部１２６−Ｈは、教師データ記憶部１２２に記憶された教師データを構成する画素のうち、まだ注目画素としていない画素を注目画素として決定する。
ステップＳ６４において、タップ抽出部１２６−Ｈおよび１２６−Ｓは、生徒データから、予測タップを抽出し、タップ抽出部１２７−Ｈおよび１２７−Ｓは、生徒データから、クラスタップを抽出する。即ち、タップ抽出部１２６−Ｈおよび１２６−Ｓが、注目画素に対してタップ構造メモリ１２５で指定された位置の画素を抽出することにより、図５のタップ抽出部６１−Ｈおよび６１−Ｓが注目画素について得る予測タップと同一のタップ構造の予測タップを生徒データから得て、足し込み部１２９に供給するとともに、タップ抽出部１２７−Ｈおよび１２７−Ｓが、やはり、注目画素に対してタップ構造メモリ１２５で指定された位置の画素を抽出することにより、図５のタップ抽出部６２−Ｈおよび６２−Ｓが注目画素について得るクラスタップと同一のタップ構造のクラスタップを生徒データから得て、クラス分類部１２８に供給する。
そして、ステップＳ６５において、クラス分類部１２８は、タップ抽出部１２７−Ｈおよび１２７−Ｓからの注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１２９に出力する。
ステップＳ６６において、足し込み部１２９は、教師データ記憶部１２２から、注目画素を読み出し、その注目画素と、タップ抽出部１２６−Ｈおよび１２６−Ｓから供給される注目画素について得られた予測タップを構成する生徒データの画素とを対象として、クラス分類部１７７から供給されるクラスコードに対応するクラスごとの式（８）の足し込みを行う。
ステップＳ６７では、タップ抽出部１２６−Ｈが、まだ注目画素としていない教師データが教師データ記憶部１２２に記憶されているかを判定する。ステップＳ６７において、注目画素としていない教師データが、まだ教師データ記憶部１２２に記憶されていると判定された場合、タップ抽出部１２６−Ｈは、処理をステップＳ６３に戻し、まだ注目画素としていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。
一方、ステップＳ６７において、注目画素としていない教師データが、教師データ記憶部１２２に記憶されていないと判定された場合、ステップＳ６８において、足し込み部１２９は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部１３０に供給する。
そして、予測係数算出部１３０は、予測係数を算出する。具体的には、足し込み部１２９から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとの予測係数ｗnのセットが算出される。
なお、学習用画像データの数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部１３０は、例えば、デフォルトの予測係数を出力するようになっている。
図５のHD画像変換部４７における係数メモリ６５には、以上のようにして求められた複数セットのクラスごとの予測係数ｗmが記憶されている。
図１１は、SD画像変換部４８の係数メモリ８４に記憶される予測係数ｗnを求める学習装置１５１の構成例を示している。
学習装置１５１においても、予測係数ｗnの学習に用いられる学習用画像データが入力され、その学習用画像データとしては、例えば、HDカメラ２２（図２）で得られるHD画像データ、またはそのHD画像データよりも高画質のHD画像データを用いることができる。
学習装置１５１において、学習用画像データは、教師データ生成部１７１と生徒データ生成部１７３に供給される。
教師データ生成部１７１は、そこに供給される学習用画像データから、第２の画像データに相当する画像データである教師データを生成し、教師データ記憶部１７２に供給する。ここでは、教師データ生成部１７１は、学習用画像データとしてのHD画像データを、そのまま教師データとして、教師データ記憶部１７２に供給する。
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしてのHD画像データを記憶する。
生徒データ生成部１７３は、学習用画像データから、第１の画像データに相当する画像データである生徒データを生成し、生徒データ記憶部１７４に供給する。
即ち、生徒データ生成部１７３は、学習用画像データから、教師データ生成部１７１と同様に、教師データを生成し（あるいは、教師データ生成部１７１が生成した教師データの供給を受けるようにしてもよい）、さらに、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ２１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。そして、生徒データ生成部１７３は、放送局１１（図２）における場合と同様に、そのコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、さらに、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換して、アップコンバートすることにより、準HD画像データを生成する。その後、生徒データ生成部１７３は、生成した準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データを記憶する。
タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図７のタップ抽出部８１が注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１７８に供給する。
タップ抽出部１７６は、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図７のタップ抽出部８２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１７７に供給する。
クラス分類部１７７は、タップ抽出部１７６が出力するクラスタップに基づき、図７のクラス分類部８３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
足し込み部１７８は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素についての予測タップを構成する生徒データの画素とを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに行う。
即ち、足し込み部１７８には、教師データ記憶部１７２に記憶された教師データの画素のうちの注目画素の画素値ｙk、タップ抽出部１７５が出力する予測タップを構成する生徒データの画素の画素値ｘn,k、クラス分類部１７７が出力する、注目画素のクラスを表すクラスコードが供給される。
そして、足し込み部１７８は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１７８は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１７８は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部１７８は、教師データ記憶部１７２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１７９に供給する。
予測係数算出部１７９は、足し込み部１７８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗnを算出する。
次に、図１２のフローチャートを参照して、図１１の学習装置１５１による学習処理について説明する。
最初に、ステップＳ８１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像データから、教師データと生徒データを、それぞれ生成する。
即ち、教師データ生成部１７１は、学習用画像データとして供給された、例えば、HDカメラ２２（図２）で得られるHD画像データと同一の画質の画像データ、またはそのHD画像データよりも高画質のHD画像データを、そのまま教師データとして出力する。また、生徒データ生成部１７３は、教師データ生成部１７１と同様に、教師データを生成し、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ２１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。さらに、生徒データ生成部１７３は、放送局１１における場合と同様に、SDカメラ２１が出力するSD画像データと同程度の画質のコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換してアップコンバートすることにより、準HD画像データを生成する。そして、生徒データ生成部１７３は、準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして出力する。
教師データ生成部１７１が出力する教師データは、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が出力する生徒データは、生徒データ記憶部１７４に供給されて記憶される。
その後、ステップＳ８２において、タップ抽出部１７５は、注目画素を決定する。即ち、タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データを構成する画素のうち、まだ注目画素としていない画素を注目画素とする。
ステップＳ８３において、タップ抽出部１７５は、生徒データから予測タップを抽出し、タップ抽出部１７６は、生徒データからクラスタップを抽出する。即ち、タップ抽出部１７５は、注目画素に対して図７のタップ抽出部８１が注目画素について得る予測タップと同一のタップ構造の予測タップを生徒データから得て、足し込み部１７８に供給するとともに、タップ抽出部１７６が、やはり、注目画素に対して図７のタップ抽出部８２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを生徒データから得て、クラス分類部１７７に供給する。
そして、ステップＳ８４において、クラス分類部１７７は、タップ抽出部１７６からの注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
ステップＳ８５において、足し込み部１７８は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素について得られた予測タップを構成する生徒データの画素とを対象として、クラス分類部１７７から供給されるクラスコードに対応するクラスごとの式（８）の足し込みを行う。
ステップＳ８６では、タップ抽出部１７５が、まだ注目画素としていない教師データが教師データ記憶部１７２に記憶されているかを判定する。ステップＳ８６において、注目画素としていない教師データが、まだ教師データ記憶部１７２に記憶されていると判定された場合、タップ抽出部１７５は、処理をステップＳ８２に戻し、まだ注目画素としていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。
一方、ステップＳ８６において、注目画素としていない教師データが、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ８７において、足し込み部１７８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部１７９に供給する。
そして、予測係数算出部１７９は、足し込み部１７８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとの予測係数ｗnのセットを算出し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部１７９は、例えば、デフォルトの予測係数を出力するようになっている。
学習装置１５１では、生徒データ生成部１７３において、生徒データとしてのSD画像データを生成する過程で生成される準HD画像データを得るときのアップコンバートの処理の方法として、複数のアップコンバート方法を採用することにより、その複数のアップコンバート方法それぞれに対応する生徒データを得て、その複数のアップコンバート方法それぞれに対応する生徒データを用いて、複数のアップコンバート方法それぞれに対応する複数セットの予測係数のセットを求める。
図７のSD画像変換部４８における係数メモリ８４には、以上のようにして求められた複数セットのクラスごとの予測係数ｗmが記憶されている。
以上のように、図３のディジタル放送受信装置１２では、判定部４４において、放送されてきた画像データの種類が準HD画像データであると判定された場合、ダウンコンバータ４５において、その準HD画像データの画素数を少なくするダウンコンバートを行い、SD画像変換部４８において、学習によりあらかじめ求められたクラスごとの予測係数を用いた演算による画像変換処理（以下、適宜、第１のクラス分類適応処理という）を行うことによって、ダウンコンバートによって得られるSD画像データを高画質のHD画像データに変換する。これにより、ディジタル放送受信装置１２が出力する画像データに基づく画像を視聴する視聴者は、高画質の画像データを享受することができる。
即ち、図２を参照して説明したように、準HD画像データは、NTSC方式のコンポジット信号の画像データをコンポーネント信号の画像データに変換し、その画像データの画素数を、HDカメラ２２で撮像されるHD画像の画素数と同一の画素数にアップコンバートした画像データであるため、例えば、仮に、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの画素数が、HDカメラ２２で撮像されるHD画像の画素数の1/5であるとすると、単純には、準HD画像データの５画素の情報量は、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの１画素の情報量にすぎない。
従って、大雑把に言えば、準HD画像データを第１の画像データとして第１のクラス分類適応処理を行った場合には、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとして第１のクラス分類適応処理を行う場合の５倍の数の画素を用いて、式（１）の演算やクラス分類を行わなければ、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとして第１のクラス分類適応処理を行った場合と同等の性能が得られないことになる。そして、式（１）の演算やクラス分類に多数の画素を用いると、その分、処理量が増加する。
そこで、上述のように、ダウンコンバータ４５において、準HD画像データの画素数を少なくするダウンコンバートを行い、SD画像変換部４８において、そのダウンコンバートによって得られるSD画像データを第１の画像データとして、第１のクラス分類適応処理を行うことにより、少ない処理量で、高画質の画像データを得ることができる。
さらに、図７に示したように、アップコンバートの処理の複数の方法それぞれに対応する複数セットの予測係数のセットの中から、放送されてきた画像データのチャンネルを表すチャンネル情報に基づいて、１セットの予測係数のセットを選択し、その予測係数のセットを用いて第１のクラス分類適応処理を行うことにより、画像データを放送しているチャンネルの放送局１１で行われたアップコンバートに適応した予測係数を用いて第１のクラス分類適応処理が行われ、より高画質の画像データを得ることが可能となる。
従って、ディジタル放送受信装置１２にダウンコンバータ４５を設け、放送されてきた準HD画像データを一旦ダウンコンバートして、その結果得られるSD画像データをHD画像データに変換することにより、視聴者は、高画質の画像データを享受することができる。
また、判定部４４において、放送されてきた画像データがHD画像データであると判定された場合においても、放送されてきたHD画像データをダウンコンバータ４５に供給し、HD画像データをダウンコンバートして得られたSD画像データと、放送されてきたHD画像データとを用いて、学習によりあらかじめ求められたクラスごとの予測係数を用いた演算による画像変換処理（第２のクラス分類適応処理）を行うことによって、ディジタル放送受信装置１２が受信したHD画像データを、より高画質のHD画像データに変換する。
即ち、準HD画像データ用に設けられたダウンコンバータ４５を利用して、注目画素に対して、より多くの予測タップおよびクラスタップを用いることで、より高画質の画像データを得ることが可能となる。従って、視聴者は、高画質の画像データを享受することができる。
この場合、放送されてきたHD画像データをダウンコンバートして得られたSD画像データに対して設定される予測タップおよびクラスタップのタップ構造は、放送されてきたHD画像データに対して設定されるのと同一のものがタップ構造メモリ６３によって指定されるだけであり、簡単な構成で予測タップおよびクラスタップを拡張することができる。
なお、図３の判定部４４を含む後段のブロックでは、放送されてきた画像データの他、記録媒体から再生された画像データ等を対象に、処理を行うことが可能である。
上述した判定部４４、ダウンコンバータ４５、切替器４６、HD画像変換部４７、およびSD画像変換部４８の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した放送システムの一実施の形態の構成例を示す図である。 図１の放送局の構成例の概要を示すブロック図である。 図１のディジタル放送受信装置の構成例を示すブロック図である。 ディジタル放送受信装置の受信処理を説明するフローチャートである。 HD画像変換部の構成例を示すブロック図である。 HD画像変換部のHD画像変換処理を説明するフローチャートである。 SD画像変換部の構成例を示すブロック図である。 SD画像変換部のSD画像変換処理を説明するフローチャートである。 HD画像変換部に記憶する予測係数の学習を行う学習装置の構成例を示すブロック図である。 図９の学習装置による学習処理を説明するフローチャートである。 SD画像変換部に記憶する予測係数の学習を行う学習装置の構成例を示すブロック図である。 図１１の学習装置による学習処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１ 放送システム， １１ 放送局， １２ ディジタル放送受信装置， １３ アナログ放送受信装置， ２１ SDカメラ， ２２ HDカメラ， ３１ NTSCエンコーダ， ３２ NTSCデコーダ， ３３ アップコンバータ， ４１ チューナ， ４２ デマルチプレクサ， ４３ デコーダ， ４４ 判定部， ４５ ダウンコンバータ， ４６ 切替器， ４７ HD画像変換部， ４８ SD画像変換部， ４９ 画像出力部， ６１−Ｈ，６１−Ｓ，６２−Ｈ，６２−Ｓ タップ抽出部， ６３ タップ構造メモリ， ６４ クラス分類部， ６５ 係数メモリ， ６６ 予測部， １０１ 学習装置， １２５ タップ構造メモリ， １２６−Ｈ，１２６−Ｓ，１２７−Ｈ，１２７−Ｓ タップ抽出部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (4)

  1. 第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理装置であって、
    放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定手段と、
    前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、
    前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換手段と、
    前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換手段と
    を備え、
    前記第１の画像変換手段は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出手段と、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出手段と、
    前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出手段と、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出手段と、
    前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類手段と、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力手段と、
    前記第１の係数出力手段から出力された前記予測係数と、前記第１および第２の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算手段と
    を有し、
    前記第２の画像変換手段は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出手段と、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出手段と、
    前記第３のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類手段と、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出手段と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力手段と、
    前記第２の係数出力手段から出力された前記予測係数と、前記第３の予測タップ抽出手段によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算手段と
    を有する
    画像処理装置。
  2. 前記第１の画像変換手段は、
    前記注目画素を基準としたときの前記所定の位置をアドレスとして指定することにより、前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段をさらに有する
    請求項１に記載の画像処理装置。
  3. 第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理方法であって、
    放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定ステップと、
    前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
    前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換ステップと、
    前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換ステップと
    を含み、
    前記第１の画像変換ステップの処理は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出ステップと、
    前記第１および第２のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類ステップと、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出ステップの処理と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力ステップと、
    前記第１の係数出力ステップの処理から出力された前記予測係数と、前記第１および第２の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算ステップと
    を有し、
    前記第２の画像変換ステップの処理は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出ステップと、
    前記第３のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類ステップと、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出ステップと同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力ステップと、
    前記第２の係数出力ステップの処理から出力された前記予測係数と、前記第３の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算ステップと
    を有する
    画像処理方法。
  4. 第１の画像フォーマットでなる第１の画質の画像データか、または、第２の画像フォーマットで前記第１の画質よりも低画質な第２の画質の画像データを前記第１の画像フォーマットに変換し、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データを、前記第１および第２の画質よりも高画質の第３の画質の画像データに変換し、出力画像データとして出力する画像処理を、コンピュータに実行させるプログラムであって、
    放送されてきた画像データが、前記アップコンバート画像データであるか否かを判定する判定ステップと、
    前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
    前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを処理することにより、前記第３の画質の前記出力画像データに変換する第１の画像変換ステップと、
    前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを処理することにより、前記第３の画質の前記出力画像データに変換する第２の画像変換ステップと
    を含み、
    前記第１の画像変換ステップの処理は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、予測タップとして抽出する第１の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第２の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記放送されてきた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第１のクラスタップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第２のクラスタップ抽出ステップと、
    前記第１および第２のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第１のクラス分類ステップと、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第１の画質の画像データと前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第１および第２の予測タップ抽出ステップの処理と同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第１の係数出力ステップと、
    前記第１の係数出力ステップの処理から出力された前記予測係数と、前記第１および第２の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第１の演算ステップと
    を有し、
    前記第２の画像変換ステップの処理は、
    前記出力画像データを構成する画素を順次、注目画素とし、その注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データの複数の画素を、予測タップとして抽出する第３の予測タップ抽出ステップと、
    前記注目画素を基準としたときの所定の位置に対応する、前記ダウンコンバートステップの処理におけるダウンコンバートによって得られた画像データの複数の画素を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うためのクラスタップとして抽出する第３のクラスタップ抽出ステップと、
    前記第３のクラスタップ抽出ステップの処理によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行う第２のクラス分類ステップと、
    学習用画像データとしての前記第３の画質の画像データを教師データ、前記学習用画像データとしての前記第２の画質の画像データを生徒データとし、前記教師データの各画素を注目教師画素として前記第３の予測タップ抽出ステップと同様に抽出した予測タップと予測係数との積和演算で得られる前記注目教師画素の予測値の予測誤差が最小となるように前記クラスごとに求めた前記予測係数のなかから、前記注目画素のクラスに対応する前記予測係数を出力する第２の係数出力ステップと、
    前記第２の係数出力ステップの処理から出力された前記予測係数と、前記第３の予測タップ抽出ステップの処理によって抽出された予測タップの積和演算により、前記注目画素を求める第２の演算ステップと
    を有する
    処理を、コンピュータに実行させるプログラム。
JP2006138585A 2006-05-18 2006-05-18 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4193871B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006138585A JP4193871B2 (ja) 2006-05-18 2006-05-18 画像処理装置、画像処理方法、およびプログラム
US11/697,851 US8218077B2 (en) 2006-05-18 2007-04-09 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138585A JP4193871B2 (ja) 2006-05-18 2006-05-18 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007312061A JP2007312061A (ja) 2007-11-29
JP4193871B2 true JP4193871B2 (ja) 2008-12-10

Family

ID=38711619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138585A Expired - Fee Related JP4193871B2 (ja) 2006-05-18 2006-05-18 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US8218077B2 (ja)
JP (1) JP4193871B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158419A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4444354B2 (ja) * 2008-08-04 2010-03-31 株式会社東芝 画像処理装置、および画像処理方法
CN102576412B (zh) 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和***
US8339512B2 (en) * 2009-03-05 2012-12-25 Sony Corporation Method and apparatus for enhancement of high-definition video content
JP5582920B2 (ja) 2010-08-23 2014-09-03 三菱電機株式会社 画像処理装置
JPWO2013076885A1 (ja) 2011-11-21 2015-04-27 パナソニックＩｐマネジメント株式会社 解像度判定装置、画像処理装置及び画像表示装置
KR102452653B1 (ko) * 2018-02-20 2022-10-11 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US11676242B2 (en) * 2018-10-25 2023-06-13 Sony Group Corporation Image processing apparatus and image processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213959B2 (ja) * 1991-05-10 2001-10-02 株式会社日立製作所 テレビジョン信号処理装置
JP3852133B2 (ja) 1996-08-12 2006-11-29 ソニー株式会社 画像信号変換装置および方法
US20020118296A1 (en) * 1999-05-06 2002-08-29 Schwab Barry H. Integrated multi-format audio/video production system
US6069664A (en) * 1997-06-04 2000-05-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus for converting a digital interlaced video signal from a film scanner to a digital progressive video signal
WO2000019724A1 (en) * 1998-09-30 2000-04-06 Sony Corporation Arithmetic device, converter, and their methods
CA2312562C (en) * 1998-10-01 2006-07-25 Matsushita Electric Industrial Co., Ltd. Image signal conversion equipment
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP3596770B2 (ja) * 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
US7679676B2 (en) * 2004-06-03 2010-03-16 Koninklijke Philips Electronics N.V. Spatial signal conversion
KR100700982B1 (ko) * 2005-05-24 2007-03-29 삼성전자주식회사 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158419A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置
US8830398B2 (en) 2010-06-18 2014-09-09 Panasonic Corporation Resolution determination device, image processor, and image display device

Also Published As

Publication number Publication date
US20070268400A1 (en) 2007-11-22
JP2007312061A (ja) 2007-11-29
US8218077B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
JP4193871B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20100202711A1 (en) Image processing apparatus, image processing method, and program
US7876323B2 (en) Display apparatus and display method, learning apparatus and learning method, and programs therefor
US7755701B2 (en) Image processing apparatus, image processing method, and program
JPWO2018131524A1 (ja) 画像処理装置及び画像処理方法
KR20060136335A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
EP2890127A1 (en) Receiving device, transmission device, and image transmission method
US9788025B2 (en) Reproduction device, encoding device, and reproduction method
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4770711B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4055203B2 (ja) データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP4081745B2 (ja) 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US20070165140A1 (en) Image processing apparatus, image processing method, and program
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP4569844B2 (ja) 信号処理システム、信号処理装置及び方法、並びにプログラム
JP4552263B2 (ja) ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法
US20060093037A1 (en) Device and method for decoding and digital broadcast receiving apparatus
JP2001285882A (ja) ノイズ低減装置および方法
JP2014060543A (ja) エンコード装置、デコード装置およびスイッチャ装置
JP2003332913A (ja) 信号処理システムおよび方法、信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees