JP5099429B2 - 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 - Google Patents

信号処理装置、信号処理方法、およびプログラム、並びに学習装置 Download PDF

Info

Publication number
JP5099429B2
JP5099429B2 JP2007330456A JP2007330456A JP5099429B2 JP 5099429 B2 JP5099429 B2 JP 5099429B2 JP 2007330456 A JP2007330456 A JP 2007330456A JP 2007330456 A JP2007330456 A JP 2007330456A JP 5099429 B2 JP5099429 B2 JP 5099429B2
Authority
JP
Japan
Prior art keywords
data
coefficient
class
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007330456A
Other languages
English (en)
Other versions
JP2009153006A (ja
Inventor
隆浩 永野
哲二郎 近藤
寿一 白木
泰広 周藤
紀晃 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007330456A priority Critical patent/JP5099429B2/ja
Priority to US12/327,980 priority patent/US8311963B2/en
Priority to CN2008101885026A priority patent/CN101466015B/zh
Priority to KR1020080130228A priority patent/KR20090068163A/ko
Publication of JP2009153006A publication Critical patent/JP2009153006A/ja
Application granted granted Critical
Publication of JP5099429B2 publication Critical patent/JP5099429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Description

本発明は、信号処理装置、信号処理方法、およびプログラム、並びに学習装置に関し、特に、より高質なデータを生成することができるようにした信号処理装置、信号処理方法、およびプログラム、並びに学習装置に関する。
本出願人は、SD（Standard Definition）画像から、そのSD画像より画素数の多いHD（High Definition）画像を生成する解像度創造処理を先に提案している（例えば、特許文献１参照）。この解像度創造処理では、SD画像から求められるHD画像の画素である注目画素の周囲に存在する、そのSD画像の複数の周辺画素の特性に応じて、注目画素をパターンに分類し、そのパターンに対応する、予め記憶されている予測係数と、SD画像の線形１次式を演算することにより、SD画像からHD画像を生成する、いわゆるクラス分類適応処理が用いられている。
なお、クラス分類適応処理は、解像度創造処理に用いられるだけでなく、画像の劣化を除去する劣化除去処理などにも用いられる。
特開平８−３１７３４６号公報
ところで、従来のクラス分類適応処理では、１つのクラスに対して１つの予測係数が決定されるため、図１に示すように、同一のクラスに分類される注目画素を、予測係数において区別することができない。その結果、クラスが離散的となり、より高画質なHD画像を生成することは困難であった。
そこで、例えば、2ビットADRC(Adaptive Dynamic Range Coding)（適応的ダイナミックレンジ符号化）や3ビットADRCなどを用いてクラスを求めることにより、図２に示すように、1ビットADRCを用いてクラスを求める場合に比べてクラスを細分化し、1ビットADRCで求めた場合同一のクラスに分類される注目画素を、予測係数において区別することが考えられている。
しかしながら、この場合、クラス数が飛躍的に増大するため、予測係数を学習する際のクラス当たりのサンプル数が減少し、容易に学習限界に達してしまう。その結果、予測係数の学習精度が悪くなり、HD画像の画質を充分に高めることができない。
また、図３に示すように、隣接するクラスの予測係数を用いて予測係数を補間することにより、同一のクラスに分類される注目画素を予測係数において区別することも考えられるが、本来のクラスと異なるクラスの予測係数が混合されるため、HD画像にぼけが生じてしまう。以上により、従来のクラス分類適応処理では、より高画質なHD画像を生成することは困難であった。
本発明は、このような状況に鑑みてなされたものであり、より高質なデータを生成することができるようにするものである。
本発明の第１の側面の信号処理装置は、入力データを、より高質な出力データに変換する信号処理装置において、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第１のデータ抽出手段と、前記第１のデータ抽出手段により抽出された前記複数のデータを正規化し、前記注目データの正規化データを求める正規化演算手段と、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する処理係数生成手段と、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第２のデータ抽出手段と、前記第２のデータ抽出手段により抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する予測手段とを備える。
本発明の第１の側面の信号処理装置において、前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有することができる。
本発明の第１の側面の信号処理装置は、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段をさらに備え、前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成することができる。
本発明の第１の側面の信号処理方法は、入力データを、より高質な出力データに変換する信号処理装置の信号処理方法において、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成するステップを含む。
本発明の第１の側面のプログラムは、入力データを、より高質な出力データに変換する信号処理を、コンピュータに行わせるプログラムにおいて、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成するステップを含む信号処理をコンピュータに行わせる。
本発明の第２の側面の学習装置は、生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、前記生徒としての入力データと前記教師としての出力データを用いて正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備える。
本発明の第２の側面の学習装置において、前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有し、前記係数生成手段は、前記正規方程式を解法することにより、前記起点係数と前記偏差係数を生成することができる。
本発明の第２の側面の学習装置は、前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段をさらに設け、前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記入力データと前記注目データを用いて、前記正規方程式を生成することができる。
本発明の第１の側面においては、入力データより高質な出力データ内の注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータが抽出され、その抽出された複数のデータが正規化されて、注目データの正規化データが求められ、入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、生徒としてのデータとの演算により、その生徒としてのデータよりも高質な出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された第１の処理係数と、注目データの正規化データとの演算により、第２の処理係数が生成され、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータが抽出され、その抽出された複数のデータと、第２の処理係数との演算により、注目データが生成される。
本発明の第２の側面においては、生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、生徒としての入力データと教師としての出力データを用いて正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。
以上のように、本発明の第１の側面によれば、より高質なデータを生成することができる。
また、本発明の第２の側面によれば、より高質なデータを生成するための処理係数を生成することができる。
図４は、本発明の原理を表している。
図４に示すように、本発明のクラス分類適応処理では、同一のクラスに分類される出力データ内の注目データに対する予測係数Ｗが、起点係数Ｗ0を基準として、入力データの距離ベクトルｄに応じた連続関数で求められる。なお、距離ベクトルｄとは、クラス内の予測係数Ｗの変化を顕著に表す、入力データの線形和では求められない非線形特徴量のベクトルである。
具体的には、起点係数Ｗ0を元に、距離ベクトルｄを用いて予測係数Ｗの係数空間を展開すると、予測係数Ｗは以下の式（１）で表される。
Figure 0005099429
なお、式（１）において、予測係数Ｗをn個の予測係数からなるn次元ベクトル（Ｗ（=ｗ0,ｗ1,・・・,ｗn-1））とし、距離ベクトルｄをm種類の非線形特徴量からなるm次元ベクトル（ｄ（=ｄ0,ｄ1,・・・,ｄm-1））とする。ｐは展開の最大の次数である。
また、式（１）は起点係数Ｗ0を高次微分展開した形になっているが、その値がクラス内部において距離ベクトルｄによって変化しないものとして、定数項である1/r!を含めて新たな係数
Figure 0005099429
 とし、さらに変数として重複する項を削除して簡潔に表現すると、式（１）は式（２）になる。
Figure 0005099429
なお、式（２）において、
Figure 0005099429
 は、予測係数Ｗと起点係数Ｗ0との偏差を距離ベクトルｄとともに表す係数であり、以下では、これらの係数をまとめて偏差係数という。
また、式（２）において次数ｒに対する項数Ｓrは、以下の式（３）で表される。
Figure 0005099429
従って、予測係数Ｗの総変数の数Ｓは、以下の式（４）で表される。
Figure 0005099429
なお、式（４）において、ｐ=0のとき、S=nであるものとする。
以上により、本発明のクラス分類適応処理では、式（２）にしたがって、起点係数Ｗ0および偏差係数、並びに距離ベクトルｄを用いて、同一のクラス内の予測係数Ｗが求められる。これにより、同一のクラスに分類される注目データを、予測係数において区別することができる。その結果、より高質な出力データを生成することができる。
また、本発明のクラス分類適応処理では、同一のクラスに分類される注目データを予測係数において区別するために、クラスを細分化する必要がないので、クラス数は増大せず、予測係数の学習精度は悪化しない。さらに、本発明のクラス分類適応処理では、本来のクラスの起点係数Ｗ0を基準として予測係数Ｗが求められるので、本来のクラスと異なるクラスの予測係数が混合されることによる出力データの劣化を防止することができる。
図５は、本発明を適用した信号処理装置の第１の実施の形態の構成例を示している。
図５の信号処理装置１０は、クラスタップ抽出部１１、クラス分類部１２、係数記憶部１３、距離ベクトルタップ抽出部１４、距離ベクトル演算部１５、予測係数生成部１６、予測タップ抽出部１７、および予測部１８により構成される。
信号処理装置１０は、これから生成される出力データ内の注目データに対するクラスを生成し、そのクラスの起点係数Ｗ0を基準として求められた予測係数Ｗと入力データを用いて、その入力データより高質な出力データの予測値を生成することにより、クラス分類適応処理を行う。これにより、入力データが、より高質な出力データに変換される。
詳細には、信号処理装置１０において、クラスタップ抽出部１１は、これから生成される出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。クラスタップ抽出部１１は、その注目データをクラスに分類するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データからクラスタップとして抽出する。クラスタップ抽出部１１は、クラスタップをクラス分類部１２に供給する。
クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。注目データをクラスに分類する方法としては、例えば、ADRCなどを採用することができる。ADRCを用いる方法では、クラスタップを構成するデータがADRC処理され、その結果得られるADRCコードにしたがって、注目データのクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成するデータの最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数のデータの集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数のデータそれぞれがKビットに再量子化される。即ち、クラスタップとしての各データから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットのデータを、所定の順番で並べたビット列が、ADRCコードとされる。
従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各データは、最小値MINが減算された後に、最大値MAXと最小値MINとの差の1/2で除算され（小数点以下切り捨て）、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとされる。クラス分類部１２により生成された注目データに対するクラスは、係数記憶部１３に供給される。
係数記憶部１３は、後述する学習によって求められているクラスごとの起点係数Ｗ0と偏差係数を記憶している。係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１６に供給する。
距離ベクトルタップ抽出部１４は、クラスタップ抽出部１１と同様に、出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。距離ベクトルタップ抽出部１４は、注目データに対応する距離ベクトルｄを演算するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データから距離ベクトルタップとして抽出する。距離ベクトルタップ抽出部１４は、距離ベクトルタップを距離ベクトル演算部１５に供給する。
距離ベクトル演算部１５は、距離ベクトルタップ抽出部１４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、予測係数生成部１６に供給する。
予測係数生成部１６は、係数記憶部１３から供給される起点係数Ｗ0および偏差係数と、距離ベクトル演算部１５から供給される距離ベクトルｄとを用いて、式（２）の演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
予測タップ抽出部１７は、クラスタップ抽出部１１や距離ベクトルタップ抽出部１４と同様に、出力データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。予測タップ抽出部１７は、注目データを予測するために用いる、注目データの位置およびその周辺の位置に対応する入力データ内の複数のデータを、入力データから予測タップとして抽出する。予測タップ抽出部１７は、予測タップを予測部１８に供給する。
予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて、注目データを予測する予測演算を行い、注目データの予測値を、出力データを構成する注目データとして生成する。予測部１８は、予測演算により生成されたデータから構成される出力データを出力する。
次に、図６のフローチャートを参照して、図５の信号処理装置１０による信号処理について説明する。
ステップＳ１１において、クラスタップ抽出部１１、距離ベクトルタップ抽出部１４、および予測タップ抽出部１７は、出力データを構成する複数のデータのうちのまだ注目データとされていない１つを、注目データとして決定する。ステップＳ１２において、クラスタップ抽出部１１は、入力データから、注目データに対応するクラスタップを抽出し、クラス分類部１２に供給する。
ステップＳ１３において、クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。そして、クラス分類部１２は、生成された注目データに対するクラスを係数記憶部１３に供給する。
ステップＳ１４において、距離ベクトルタップ抽出部１４は、入力データから、注目データに対応する距離ベクトルタップを抽出し、距離ベクトル演算部１５に供給する。ステップＳ１５において、距離ベクトル演算部１５は、距離ベクトルタップ抽出部１４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、予測係数生成部１６に供給する。
ステップＳ１６において、係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１６に供給する。
ステップＳ１７において、予測係数生成部１６は、係数記憶部１３から供給される起点係数Ｗ0および偏差係数と、距離ベクトル演算部１５から供給される距離ベクトルｄとを用いて、式（２）の演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
ステップＳ１８において、予測タップ抽出部１７は、入力データから、注目データに対応する予測タップを抽出し、予測部１８に供給する。
ステップＳ１９において、予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて予測演算を行い、注目データの予測値を、出力データを構成する注目データとして生成する。ステップＳ２０において、クラスタップ抽出部１１、距離ベクトルタップ抽出部１４、および予測タップ抽出部１７は、出力データを構成する全てのデータを注目データに決定したかを判定する。
ステップＳ２０で、出力データを構成する全てのデータをまだ注目データに決定していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
一方、ステップＳ２０で、出力データを構成する全てのデータを注目データに決定したと判定された場合、ステップＳ２１において、予測部１８は、予測演算により生成されたデータから構成される出力データを出力し、処理は終了する。
以上のように、信号処理装置１０は、クラスごとの起点係数Ｗ0および偏差係数を用いて予測係数Ｗを生成することにより、同一のクラスに分類される注目データを予測係数Ｗにおいて区別するので、より高質な出力データを生成することができる。
なお、信号処理装置１０で予測係数Ｗの生成に用いられる起点係数Ｗ0および偏差係数は、例えば、最小自乗法を利用した学習によって求めることができる。
具体的には、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、出力データを構成するデータyは、次の線形１次式によって求められることになる。
Figure 0005099429
但し、式（５）において、Ｘは、出力データのデータyについての予測タップを構成する入力データのn個のデータからなるn次元ベクトル（X=（x0,x1,・・・,xn））である。即ち、予測タップを構成するデータの個数と、予測係数Ｗを構成する予測係数の個数は同一である。
ここで、出力データのデータyは、式（５）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの出力データの真値をykと表し、その第kサンプルの出力データについての予測タップを構成する入力データのn次元ベクトルＸをＸk（Ｘk=（xk0,xk1,・・・,xkn））と表し、予測係数Ｗが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最小化関数Qは、以下の式（６）で表される。
Figure 0005099429
なお、式（６）において、Ｎは、出力データのデータykと、そのデータykについての予測タップを構成する入力データのn次元ベクトルとのセット学習に用いるサンプル数（学習用のサンプルの数）である。また、tkは、各サンプルの重みであり、例えば距離ベクトルｄの大きさに応じて決定される定数である。
式（６）の最小化関数Qの最小値（極小値）は、最小化関数Qを全ての変数で偏微分したものを0とする起点係数Ｗ0および偏差係数によって与えられる。従って、式（６）の最小化関数Qを全ての変数で偏微分し、その値が0となるように構築された図７の足し込み行列の連立一次方程式を解くことにより、最適な起点係数Ｗ0および偏差係数が求められる。
図７の足し込み行列は、小ブロック（左辺の左側の行列の場合n×n行列からなる小ブロック、左辺の右側の行列と右辺の行列の場合n×1行列からなる小ブロック）に分けられ、左辺の左側の行列および右辺の行列の各小ブロックは、従来のクラス分類適応処理における線形１次予測演算に対応する足し込み行列の各要素に対して、その小ブロックの位置に応じた距離ベクトルｄの値を乗算することにより構成される。なお、図７において、iおよびj（0≦i,j≦n）は、予測タップ内のデータの位置を表している。
なお、この足し込み行列は、クラスごとに生成され、最適な起点係数Ｗ0および偏差係数がクラスごとに求められる。
信号処理装置１０のクラス分類適応処理によれば、以上のようにして求められるクラスごとの起点係数Ｗ0および偏差係数を用いて、式（２）の演算を行うことにより予測係数Ｗが生成され、その予測係数Ｗを用いて式（５）の予測演算を行うことにより、入力データが出力データに変換される。
図８は、図５の信号処理装置１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置３０の構成例を示している。
図８の学習装置３０は、学習対記憶部３１、クラスタップ抽出部３２、クラス分類部３３、距離ベクトルタップ抽出部３４、距離ベクトル演算部３５、予測タップ抽出部３６、正規方程式生成部３７、係数生成部３８、および係数記憶部３９により構成される。
学習装置３０において、学習対記憶部３１は、起点係数Ｗ0および偏差係数の学習における生徒としての、信号処理装置１０における入力データに相当するデータ（以下、生徒データという）と、教師としての、その入力データから変換された理想的な出力データに相当するデータ（以下、教師データという）とのセットを、学習対データとして記憶している。
そして、学習対記憶部３１は、学習対データのうちの生徒データを、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６に出力し、教師データを正規方程式生成部３７に出力する。
クラスタップ抽出部３２は、図５のクラスタップ抽出部１１と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。クラスタップ抽出部３２は、その注目データをクラスに分類するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データからクラスタップとして抽出する。クラスタップ抽出部３２は、クラスタップをクラス分類部３３に供給する。
クラス分類部３３は、図５のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
距離ベクトルタップ抽出部３４は、クラスタップ抽出部３２と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。距離ベクトルタップ抽出部３４は、図５の距離ベクトルタップ抽出部１４と同様に、注目データに対応する距離ベクトルｄを演算するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データから距離ベクトルタップとして抽出する。距離ベクトルタップ抽出部３４は、距離ベクトルタップを距離ベクトル演算部３５に供給する。
距離ベクトル演算部３５は、図５の距離ベクトル演算部１５と同様に、距離ベクトルタップ抽出部３４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、正規方程式生成部３７に供給する。
予測タップ抽出部３６は、クラスタップ抽出部３２や距離ベクトルタップ抽出部３４と同様に、教師データを構成する複数のデータのそれぞれを、順次、注目データとして決定する。予測タップ抽出部３６は、図５の予測タップ抽出部１７と同様に、注目データを予測するために用いる、注目データの位置およびその周辺の位置に対応する生徒データ内の複数のデータを、生徒データから予測タップとして抽出する。予測タップ抽出部３６は、その予測タップを正規方程式生成部３７に供給する。
正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、距離ベクトル演算部３５から供給される距離ベクトルｄ、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師データを用いて足し込みを行った足し込み行列（図７）を、正規方程式として生成する。
具体的には、正規方程式生成部３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各データをＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師データの注目データをykとして代入し、その注目データに対応する距離ベクトルｄを代入することにより、正規方程式を生成する。
なお、足し込み行列は、上述したように、式（６）の最小化関数を0にするものである。従って、正規方程式生成部３７により生成される正規方程式は、距離ベクトルｄと起点係数Ｗ0および偏差係数とにより求められた予測係数Ｗと、生徒データの予測タップとの乗算により、教師データの注目データを生成する式（５）に相当する式を解法して、起点係数Ｗ0および偏差係数を求めるための式であるといえる。正規方程式生成部３７により生成された正規方程式は、係数生成部３８に供給される。
係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成する。係数生成部３８は、その起点係数Ｗ0と偏差係数を係数記憶部３９に記憶させる。以上のようにして学習され、係数生成部３８に記憶された起点係数Ｗ0と偏差係数は、図５の係数記憶部１３に記憶され、信号処理装置１０において用いられる。
次に、図９のフローチャートを参照して、図８の学習装置３０による学習処理について説明する。
ステップＳ３０において、学習対記憶部３１は、記憶している学習対データのうちのまだ出力していない学習対データを出力する。具体的には、学習対記憶部３１は、学習対データのうちの生徒データを、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６に入力し、教師データを正規方程式生成部３７に入力する。
ステップＳ３１において、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６は、図５のクラスタップ抽出部１１と同様に、教師データを構成する複数のデータのうちのまだ注目データとされていない１つを、注目データとして決定する。
ステップＳ３２において、クラスタップ抽出部３２は、生徒データから注目データに対応するクラスタップを抽出し、クラス分類部３３に供給する。
ステップＳ３３において、クラス分類部３３は、図５のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目データをクラスに分類することにより、注目データに対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
ステップＳ３４において、距離ベクトルタップ抽出部３４は、図５の距離ベクトルタップ抽出部１４と同様に、生徒データから、注目データに対応する距離ベクトルタップを抽出し、距離ベクトル演算部３５に供給する。
ステップＳ３５において、距離ベクトル演算部３５は、図５の距離ベクトル演算部１５と同様に、距離ベクトルタップ抽出部３４から供給される距離ベクトルタップから、注目データに対応する距離ベクトルｄを演算し、正規方程式生成部３７に供給する。
ステップＳ３６において、予測タップ抽出部３６は、図５の予測タップ抽出部１７と同様に、生徒データから注目データに対応する予測タップを抽出し、正規方程式生成部３７に供給する。
ステップＳ３７において、正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、距離ベクトル演算部３５から供給される距離ベクトルｄ、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師データを用いて、足し込み行列（図７）に対して足し込みを行う。
ステップＳ３８において、クラスタップ抽出部３２、距離ベクトルタップ抽出部３４、および予測タップ抽出部３６は、教師データを構成する全てのデータを注目データに決定したかを判定する。ステップＳ３８で教師データを構成する全てのデータをまだ注目データに決定していないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。
一方、ステップＳ３８で、教師データを構成する全てのデータを注目データに決定したと判定された場合、ステップＳ３９において、学習対記憶部３１は、全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われたか、即ち、記憶している全ての学習対データを出力したかを判定する。ステップＳ３９で、まだ全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われていないと判定された場合、処理はステップＳ３０に戻り、上述した処理が繰り返される。
また、ステップＳ３９で、全ての学習対データに対してステップＳ３０乃至Ｓ３８の処理が行われたと判定された場合、正規方程式生成部３７は、ステップＳ３７で足し込みが行われることにより生成された正規方程式を、係数生成部３８に供給する。
そして、ステップＳ４０において、係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成し、係数記憶部３９に記憶させる。
以上のように、学習装置３０は、起点係数Ｗ0と偏差係数をクラスごとに学習するので、信号処理装置１０は、その学習により求められたクラスごとの起点係数Ｗ0および偏差係数と、距離ベクトルｄとを用いて、予測係数Ｗを生成することができる。これにより、同一のクラスに分類される注目データが予測係数Ｗにおいて区別されるので、信号処理装置１０は、より高質な出力データを生成することができる。
なお、上述した信号処理装置１０および学習装置３０で処理されるデータは、どのようなデータであってもよいが、そのデータの一例として画像データが適用された場合について以下に示す。
図１０は、本発明を適用した信号処理装置の第２の実施の形態の構成例を示している。
図１０の信号処理装置１１０は、クラスタップ抽出部１１１、クラス分類部１１２、係数記憶部１１３、正規化レベルタップ抽出部１１４、正規化レベル演算部１１５、予測係数生成部１１６、予測タップ抽出部１１７、および予測部１１８により構成される。
信号処理装置１１０は、これから生成される出力データとしてのHD画像の各画素の画素値からなる画像データ（以下、HD画像データという）に対応するHD画像の注目画素に対するクラスを生成し、そのクラスの起点係数Ｗ0を基準として求められた予測係数Ｗと、入力データとしてのSD画像の各画素の画素値からなる画像データ(以下、SD画像データ)を用いて、HD画像の各画素の画素値の予測値をHD画像データとして生成することにより、クラス分類適応処理を行う。これにより、SD画像データが、より高解像度のHD画像データに変換される。
詳細には、信号処理装置１１０において、クラスタップ抽出部１１１は、これから生成されるHD画像データに対応するHD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部１１１は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データからクラスタップとして抽出する。クラスタップ抽出部１１１は、クラスタップをクラス分類部１１２に供給する。
クラス分類部１１２は、クラスタップ抽出部１１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成し、そのクラスを係数記憶部１１３に供給する。
係数記憶部１１３は、後述する学習装置１３０(図１２)により学習された、クラスごとの起点係数Ｗ0と偏差係数を記憶している。係数記憶部１１３は、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。
正規化レベルタップ抽出部１１４は、クラスタップ抽出部１１１と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。正規化レベルタップ抽出部１１４は、注目画素に対応する1次元の距離ベクトルｄとしての画素値の正規化レベルのベクトル(以下、正規化レベルベクトルという)を演算するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから正規化レベルタップとして抽出する。正規化レベルタップ抽出部１１４は、正規化レベルタップを正規化レベル演算部１１５に供給する。
正規化レベル演算部１１５は、正規化レベルタップ抽出部１１４から供給される正規化レベルタップを構成する画素値を正規化する。具体的には、正規化レベル演算部１１５は、例えば、正規化レベルタップを構成する画素値Lそれぞれについて、画素値Lから、正規化レベルタップを構成する画素値の最小値Lminを減算したものを、正規化レベルタップを構成する画素値の最大値Lmaxから最小値Lminを減算したもので除算し、正規化後の画素値ＩLevelを求める。
正規化レベル演算部１１５は、正規化レベルタップの正規化後の各画素値ＩLevelを表す1次元のベクトルを、正規化レベルベクトルとして、予測係数生成部１１６に供給する。
予測係数生成部１１６は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数と、正規化レベル演算部１１５から供給される正規化レベルベクトルとを用いて、予測係数Ｗを生成する。具体的には、予測係数生成部１１６は、式（２）においてm=1とし、起点係数Ｗ0および偏差係数を代入し、さらに、正規化レベルベクトルを距離ベクトルｄ0として代入することにより、予測係数Ｗを求める。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
予測タップ抽出部１１７は、クラスタップ抽出部１１１や正規化レベルタップ抽出部１１４と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部１１７は、注目画素の画素値を予測するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから予測タップとして抽出する。予測タップ抽出部１１７は、予測タップを予測部１１８に供給する。
予測部１１８は、予測係数生成部１１６から供給される予測係数Ｗと、予測タップ抽出部１１７から供給される予測タップとを用いて、上述した式（５）の予測演算を行い、注目画素の画素値の予測値を、HD画像を構成する注目画素の画素値として生成する。予測部１１８は、予測演算により生成された画素値からなるHD画像データを出力する。
次に、図１１のフローチャートを参照して、図１０の信号処理装置１１０による画像処理について説明する。
ステップＳ１１１において、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７は、HD画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。ステップＳ１１２において、クラスタップ抽出部１１１は、注目画素に対応するクラスタップを抽出し、クラス分類部１１２に供給する。
ステップＳ１１３において、クラス分類部１１２は、クラスタップ抽出部１１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。そして、クラス分類部１１２は、生成された注目画素に対するクラスを係数記憶部１１３に供給する。
ステップＳ１１４において、正規化レベルタップ抽出部１１４は、SD画像データから注目画素に対応する正規化レベルタップを抽出し、正規化レベル演算部１１５に供給する。
ステップＳ１１５において、正規化レベル演算部１１５は、正規化レベルタップ抽出部１１４から供給される正規化レベルタップから、正規化レベルベクトルを演算する。具体的には、正規化レベル演算部１１５は、正規化レベルタップを構成する画素値を正規化し、その結果得られる画素値を表す１次元のベクトルを、正規化レベルベクトルとして求める。正規化レベル演算部１１５は、正規化レベルベクトルを予測係数生成部１１６に供給する。
ステップＳ１１６において、係数記憶部１１３は、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。ステップＳ１１７において、予測係数生成部１１６は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数と、正規化レベル演算部１１５から供給される正規化レベルベクトルとを用いて、予測係数Ｗを生成する。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
ステップＳ１１８において、予測タップ抽出部１１７は、SD画像データから注目画素に対応する予測タップを抽出し、予測部１１８に供給する。
ステップＳ１１９において、予測部１１８は、予測係数生成部１１６から供給される予測係数Ｗと、予測タップ抽出部１１７から供給される予測タップとを用いて、上述した式（５）の予測演算を行い、注目画素の画素値の予測値を、HD画像を構成する注目画素の画素値として生成する。ステップＳ２０において、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７は、HD画像を構成する全ての画素を注目画素に決定したかを判定する。
ステップＳ１２０で、HD画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１１１に戻り、上述した処理が繰り返される。
一方、ステップＳ１２０で、HD画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ１２１において、予測部１１８は、予測演算により生成された画素値からなるHD画像データを出力し、処理は終了する。
図１２は、図１０の信号処理装置１１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置１３０の構成例を示している。
図１２の学習装置１３０は、学習対記憶部１３１、クラスタップ抽出部１３２、クラス分類部１３３、正規化レベルタップ抽出部１３４、正規化レベル演算部１３５、予測タップ抽出部１３６、正規方程式生成部１３７、係数生成部１３８、および係数記憶部１３９により構成される。
学習装置１３０において、学習対記憶部１３１は、起点係数Ｗ0および偏差係数の学習における生徒としての、信号処理装置１１０におけるSD画像データに相当するデータ(以下、生徒画像データという)と、教師としての、そのSD画像データから変換された理想的なHD画像データに相当するデータ（以下、教師画像データという）とのセットを、学習対データとして記憶している。
そして、学習対記憶部１３１は、学習対データのうちの生徒画像データを、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６に出力し、教師画像データを正規方程式生成部１３７に出力する。なお、以下では、生徒画像データに対応するSD画像を生徒画像といい、教師画像データに対応するHD画像を教師画像という。
クラスタップ抽出部１３２は、図１０のクラスタップ抽出部１１１と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部１３２は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データからクラスタップとして抽出する。クラスタップ抽出部１３２は、クラスタップをクラス分類部１３３に供給する。
クラス分類部１３３は、図１０のクラス分類部１１２と同様に、クラスタップ抽出部１３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部１３３は、そのクラスを正規方程式生成部１３７に供給する。
正規化レベルタップ抽出部１３４は、クラスタップ抽出部１３２と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。正規化レベルタップ抽出部１３４は、図１０の正規化レベルタップ抽出部１１４と同様に、注目画素に対応する正規化レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから正規化レベルタップとして抽出する。正規化レベルタップ抽出部１３４は、正規化レベルタップを正規化レベル演算部１３５に供給する。
正規化レベル演算部１３５は、図１０の正規化レベル演算部１１５と同様に、正規化レベルタップ抽出部１３４から供給される正規化レベルタップを構成する画素値を正規化し、正規化レベルベクトルを演算する。正規化レベル演算部１３５は、その正規化レベルベクトルを正規方程式生成部１３７に供給する。
予測タップ抽出部１３６は、クラスタップ抽出部１３２や正規化レベルタップ抽出部１３４と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部１３６は、図１０の予測タップ抽出部１１７と同様に、注目画素の画素値を予測するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから予測タップとして抽出する。予測タップ抽出部１３６は、その予測タップを正規方程式生成部１３７に供給する。
正規方程式生成部１３７は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて足し込みを行った、図７においてm=1の足し込み行列を、正規方程式として生成する。
具体的には、正規方程式生成部１３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像データの注目画素の画素値をykとして代入し、その注目画素に対応する正規化レベルベクトルをｄ0として代入することにより、正規方程式を生成する。そして、正規方程式生成部１３７は、その正規方程式を係数生成部１３８に供給する。
係数生成部１３８は、正規方程式生成部１３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成する。係数生成部１３８は、その起点係数Ｗ0と偏差係数を係数記憶部１３９に記憶させる。以上のようにして学習され、係数生成部１３８に記憶された起点係数Ｗ0と偏差係数は、図１０の係数記憶部１１３に記憶され、信号処理装置１１０において用いられる。
次に、図１３のフローチャートを参照して、図１２の学習装置１３０による学習処理について説明する。
ステップＳ１３０において、学習対記憶部１３１は、記憶している学習対データのうちのまだ出力していない学習対データを出力する。具体的には、学習対記憶部１３１は、学習対データのうちの生徒画像データを、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６に入力し、教師画像データを正規方程式生成部１３７に入力する。
ステップＳ１３１において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６は、図１０のクラスタップ抽出部１１１と同様に、教師画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。
ステップＳ１３２において、クラスタップ抽出部１３２は、生徒画像データから注目画像に対応するクラスタップを抽出し、クラス分類部１３３に供給する。
ステップＳ１３３において、クラス分類部１３３は、図１０のクラス分類部１１２と同様に、クラスタップ抽出部１３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部１３３は、そのクラスを正規方程式生成部１３７に供給する。
ステップＳ１３４において、正規化レベルタップ抽出部１３４は、図１０の正規化レベルタップ抽出部１１４と同様に、生徒画像データから注目画素に対応する正規化レベルタップを抽出し、正規化レベル演算部１３５に供給する。
ステップＳ１３５において、正規化レベル演算部１３５は、図１０の正規化レベル演算部１１５と同様に、正規化レベルタップ抽出部１３４から供給される正規化レベルタップから、注目画素に対応する正規化レベルベクトルを演算し、正規方程式生成部１３７に供給する。
ステップＳ１３６において、予測タップ抽出部１３６は、図１０の予測タップ抽出部１１７と同様に、生徒画像データから注目画素に対応する予測タップを抽出し、正規方程式生成部１３７に供給する。
ステップＳ１３７において、正規方程式生成部１３７は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて、図７においてm=1の足し込み行列に対して足し込みを行う。
ステップＳ１３８において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ１３８で教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１３１に戻り、上述した処理が繰り返される。
一方、ステップＳ１３８で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ１３９において、学習対記憶部１３１は、全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われたかを判定する。ステップＳ１３９で、まだ全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われていないと判定された場合、処理はステップＳ１３０に戻り、上述した処理が繰り返される。
また、ステップＳ１３９で、全ての学習対データに対してステップＳ１３０乃至Ｓ１３８の処理が行われたと判定された場合、正規方程式生成部１３７は、ステップＳ１３７で足し込みが行われることにより生成された正規方程式を、係数生成部１３８に供給する。
そして、ステップＳ１４０において、係数生成部１３８は、正規方程式生成部１３７から供給される正規方程式を解法することにより、起点係数Ｗ0と偏差係数を生成し、係数記憶部１３９に記憶させる。
次に、図１４を参照して、図１０の信号処理装置１１０により得られるHD画像データ(以下、適宜、本発明HD画像データという)と、従来のクラス分類適応処理により得られるHD画像データ（以下、従来HD画像データという）のS/N比の差分値（以下、SN差分値という）の実験結果について説明する。
なお、図１４における実験では、実験の対象として、112枚のSD画像データを用いている。また、信号処理装置１１０におけるクラス分類適応処理において、正規化レベルとして、正規化レベルタップの中心画素との正規化距離（中心画素の画素値をLCとし、その他の画素の画素値をLとしたとき、｜LC−L｜）を用いるとともに、注目画素をクラスに分類する方法として1ビットADRCを用い、展開の最大の次数ｐを１としている。
一方、従来のクラス分類適応処理において、注目画素をクラスに分類する方法として2ビットADRCを用いている。また、信号処理装置１１０におけるクラス分類適応処理と従来のクラス分類適応処理において、クラスタップおよび予測タップを構成する画素の数を9個としている。
従って、図１４における実験では、信号処理装置１１０のクラス分類適応処理で用いられる予測係数の総数は、46080(=512×9×10)個となる。また、従来のクラス分類適応処理で用いられる予測係数の総数は、理論上取り得ないクラスについては数に含めないものとすると、147456（=512×9×32）個となる。
図１４の棒グラフは、以上のような条件での実験により得られた本発明HD画像データのS/N比から、従来HD画像データのS/N比を減算したSN差分値の出現頻度を表している。なお、図１４において、横軸はSN差分値を表し、縦軸はSN差分値が出現した出現頻度を表している。
図１４における実験では、上述したように、信号処理装置１１０のクラス分類適応処理で用いられる予測係数の総数は46080個であり、従来のクラス分類適応処理で用いられる予測係数の総数である147456個に比べて少ないが、実験結果では、図１４に示すように、0より大きいSN差分値が出現する出現頻度が多くなっている。即ち、大体の入力画像データにおいて、本発明HD画像データのS/N比が、従来HD画像データのS/N比より大きくなっている。
従って、この実験から、信号処理装置１１０では、従来のクラス分類適応処理を行う場合に比べて、より高画質なHD画像データを生成することができることがわかる。換言すれば、信号処理装置１１０では、学習により得られた起点係数Ｗ0および偏差係数と正規化レベルベクトルとを用いて、予測係数Ｗを生成することで、より最適な予測係数Ｗを生成することができることがわかる。
図１５は、本発明を適用した信号処理装置の第３の実施の形態の構成例を示している。
図１５の信号処理装置２１０は、図１０の信号処理装置１１０に、さらに輝度レベルタップ抽出部２１１と輝度レベル演算部２１２を設け、予測係数生成部２１３の代わりに、予測係数生成部２１３を設けることにより構成される。信号処理装置２１０では、距離ベクトルｄとして、正規化レベルベクトルと輝度レベルを表すベクトル（以下、輝度レベルベクトルという）からなる2次元のベクトルが用いられる。
即ち、信号処理装置２１０において、輝度レベルタップ抽出部２１１は、クラスタップ抽出部１１１と同様に、HD画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。輝度レベルタップ抽出部２１１は、注目画素に対応する輝度レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応するSD画像内の複数の画素の画素値を、SD画像データから輝度レベルタップとして抽出する。輝度レベルタップ抽出部２１１は、輝度レベルタップを輝度レベル演算部２１２に供給する。
輝度レベル演算部２１２は、輝度レベルタップ抽出部２１１から供給される輝度レベルタップを構成する各画素値を輝度レベルとして、その輝度レベルを表す輝度レベルベクトルを演算し、予測係数生成部２１３に供給する。
予測係数生成部２１３は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数、正規化レベル演算部１１５から供給される正規化レベルベクトル、並びに、輝度レベル演算部２１２から供給される輝度レベルベクトルを用いて、予測係数Ｗを生成する。具体的には、予測係数生成部２１３は、式（２）においてm=2とし、起点係数Ｗ0および偏差係数を代入し、さらに、正規化レベルベクトルを距離ベクトルｄ0として代入するとともに、輝度レベルベクトルを距離ベクトルｄ1として代入することにより、予測係数Ｗを求める。予測係数生成部２１３は、予測係数Ｗを予測部１１８に供給する。
次に、図１６のフローチャートを参照して、図１５の信号処理装置２１０による画像処理について説明する。
図１６の画像処理において、ステップＳ２１１乃至Ｓ２１５の処理は、図１１のステップＳ１１１乃至Ｓ１１５の処理と同様であるので、説明は省略する。但し、ステップＳ２１１の処理では、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７だけでなく、輝度レベルタップ抽出部２１１も注目画素を決定する。
図１６のステップＳ２１６において、輝度レベルタップ抽出部２１１は、SD画像データから注目画素に対応する輝度レベルタップを抽出し、輝度レベル演算部２１２に供給する。
ステップＳ２１７において、輝度レベル演算部２１２は、輝度レベルタップ抽出部２１１から供給される輝度レベルタップから輝度レベルベクトルを演算し、予測係数生成部２１３に供給する。
ステップＳ２１８において、係数記憶部１１３は、図１１のステップＳ１１６の処理と同様に、クラス分類部１１２から供給されるクラスに対応する起点係数Ｗ0と偏差係数を読み出し、予測係数生成部１１６に供給する。
ステップＳ２１９において、予測係数生成部２１３は、係数記憶部１１３から供給される起点係数Ｗ0および偏差係数、正規化レベル演算部１１５から供給される正規化レベルベクトル、並びに輝度レベル演算部２１２から供給される輝度レベルベクトルを用いて、予測係数Ｗを生成する。予測係数生成部１１６は、予測係数Ｗを予測部１１８に供給する。
ステップＳ２２０乃至Ｓ２２３の処理は、図１１のステップＳ１１８乃至Ｓ１２１の処理と同様であるので、説明は省略する。但し、ステップＳ２２２の処理では、クラスタップ抽出部１１１、正規化レベルタップ抽出部１１４、および予測タップ抽出部１１７だけでなく、輝度レベルタップ抽出部２１１も判定を行う。
図１７は、図１５の信号処理装置２１０により用いられる起点係数Ｗ0および偏差係数を学習する学習装置２３０の構成例を示している。
図１７の学習装置２３０は、図１２の学習装置１３０に、さらに輝度レベルタップ抽出部２３１と輝度レベル演算部２３２を設け、正規方程式生成部１３７の代わりに、正規方程式生成部２３３を設けることにより構成される。
即ち、学習装置２３０において、輝度レベルタップ抽出部２３１は、クラスタップ抽出部１３２と同様に、教師画像を構成する複数の画素のそれぞれを、順次、注目画素として決定する。輝度レベルタップ抽出部２３１は、図１５の輝度レベルタップ抽出部２１１と同様に、注目画素に対応する輝度レベルベクトルを演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像データから輝度レベルタップとして抽出する。輝度レベルタップ抽出部２３１は、輝度レベルタップを輝度レベル演算部２３２に供給する。
輝度レベル演算部２３２は、図１５の輝度レベル演算部２１２と同様に、輝度レベルタップ抽出部２３１から供給される輝度レベルタップを構成する各画素値を輝度レベルとして、その輝度レベルを表す輝度レベルベクトルを、正規方程式生成部２３３に供給する。
正規方程式生成部２３３は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、輝度レベル演算部２３２から供給される輝度レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて足し込みを行った、図７においてm=2の足し込み行列を、正規方程式として生成する。
具体的には、正規方程式生成部２３３は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像データの注目画素の画素値をykとして代入し、その注目画素に対応する正規化レベルベクトルをｄ0として代入するとともに、輝度レベルベクトルをｄ1として代入することにより、正規方程式を生成する。そして、正規方程式生成部２３３は、その正規方程式を係数生成部１３８に供給する。
次に、図１８のフローチャートを参照して、図１７の学習装置２３０による学習処理について説明する。
図１８の学習処理において、ステップＳ２３０乃至Ｓ２３５の処理は、図１３のステップＳ１３０乃至Ｓ１３５の処理と同様であるので、説明は省略する。但し、ステップＳ２３１の処理では、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、および予測タップ抽出部１３６だけでなく、輝度レベルタップ抽出部２３１も注目画素を決定する。
図１８のステップＳ２３６において、輝度レベルタップ抽出部２３１は、図１５の輝度レベルタップ抽出部２１１と同様に、生徒画像データから注目画素に対応する輝度レベルタップを抽出し、輝度レベル演算部２３２に供給する。
ステップＳ２３７において、輝度レベル演算部２３２は、図１５の輝度レベル演算部２１２と同様に、輝度レベルタップ抽出部２３１から供給される輝度レベルタップから輝度レベルベクトルを演算し、正規方程式生成部２３３に供給する。
ステップＳ２３８において、予測タップ抽出部１３６は、図１３のステップＳ１３６の処理と同様に、生徒画像データから注目画素に対応する予測タップを抽出し、正規方程式生成部１３７に供給する。
ステップＳ２３９において、正規方程式生成部２３３は、クラス分類部１３３から供給されるクラスごとに、正規化レベル演算部１３５から供給される正規化レベルベクトル、輝度レベル演算部２３２から供給される輝度レベルベクトル、予測タップ抽出部１３６から供給される予測タップ、および学習対記憶部１３１から入力される教師画像データを用いて、図７においてm=2の足し込み行列に対して足し込みを行う。
ステップＳ２４０において、クラスタップ抽出部１３２、正規化レベルタップ抽出部１３４、予測タップ抽出部１３６、および輝度レベルタップ抽出部２３１は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ２４０で教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ２３１に戻り、上述した処理が繰り返される。
一方、ステップＳ２４０で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、処理はステップＳ２４１に進む。ステップＳ２４１およびＳ２４２の処理は、図１３のステップＳ１３９およびＳ１４０の処理と同様であるので、説明は省略する。
なお、信号処理装置１１０や２１０における距離ベクトルｄとしては、正規化レベルベクトルや輝度レベルベクトルのほか、SD画像のダイナミックレンジを表すベクトルなどを用いてもよい。
また、信号処理装置１１０や２１０では、入力データをSD画像データとするとともに、出力データをHD画像データとして、入力データを出力データに変換する画像処理を行ったが、この画像処理によれば、入力データと出力データをどのように定義するかによって、様々な処理を実現することができる。
即ち、例えば、入力データをボケを含んだ画像の画像データとし、出力データをボケを除去した画像の画像データとすれば、画像変換処理は、ボケを除去するボケ除去処理ということができる。また、入力データをノイズを含んだ画像の画像データとし、出力データをノイズを除去した画像の画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
信号処理装置１１０や２１０が、ボケ除去処理を行う場合、距離ベクトルとしては、リンギング特徴量を表すベクトルやボケ量推定値を表すベクトルなどを用いることができる。なお、リンギング特徴量は、例えば、入力データとしてのボケを含んだ画像の画像データの動き量に基づく距離ずつ注目画素から離れた位置に対応する入力画像内の各画素と隣接する画素との差分の絶対値である。また、ボケ量推定値は、例えば、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の隣接する画素どうしの差分の絶対値である。
また、信号処理装置１１０や２１０が、ノイズ除去処理を行う場合、距離ベクトルとしては、ノイズの統計分布推定値を表すベクトルなどを用いることができる。なお、ノイズの統計分布推定値は、例えば、画素値に対応する値であり、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値それぞれから求められる。
次に、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
そこで、図１９は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウエアの構成例を示している。
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
以上のように構成されるコンピュータ３００では、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５およびおバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ３００のCPU３０１が実行するプログラムは、例えば、リムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来のクラス分類適応処理における予測係数について説明する図である。 従来の他のクラス分類適応処理における予測係数について説明する図である。 従来のさらに他のクラス分類適応処理における予測係数について説明する図である。 本発明の原理を表す図である。 本発明を適用した信号処理装置の第１の実施の形態の構成例を示すブロック図である。 図５の信号処理装置による信号処理について説明するフローチャートである。 足し込み行列を示す図である。 図５の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。 図８の学習装置による学習処理について説明するフローチャートである。 本発明を適用した信号処理装置の第２の実施の形態の構成例を示すブロック図である。 図１０の信号処理装置による画像処理について説明するフローチャートである。 図１０の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。 図１２の学習装置による学習処理について説明するフローチャートである。 SN差分値の実験結果について説明する図である。 本発明を適用した信号処理装置の第３の実施の形態の構成例を示すブロック図である。 図１５の信号処理装置による画像処理について説明するフローチャートである。 図１５の信号処理装置により用いられる起点係数および偏差係数を学習する学習装置の構成例を示すブロック図である。 図１７の学習装置による学習処理について説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
符号の説明
１０ 信号処理装置, １３ クラス分類部， １４ 距離ベクトルタップ抽出部, １５ 距離ベクトル演算部, １６ 予測係数生成部, １７ 予測タップ抽出部， １８ 予測部， ３０ 学習装置, ３３ クラス分類部, ３７ 正規方程式生成部, ３８ 係数生成部, １１０ 信号処理装置， １１２ クラス分類部， １１４ 正規化レベルタップ抽出部， １１５ 正規化レベル演算部， １１６ 予測係数生成部， １１７ 予測タップ抽出部， １１８ 予測部， １３０ 学習装置， １３３ クラス分類部， １３７ 正規方程式生成部， １３８ 係数生成部， ２１０ 信号処理装置， ２１１ 輝度レベルタップ抽出部， ２１２ 輝度レベル演算部， ２１３ 予測係数生成部， ２３０ 学習装置， ２３１ 輝度レベルタップ抽出部， ２３２ 輝度レベル演算部，２３３ 正規方程式生成部

Claims (8)

  1. 入力データを、より高質な出力データに変換する信号処理装置において、
    前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第１のデータ抽出手段と、
    前記第１のデータ抽出手段により抽出された前記複数のデータを正規化し、前記注目データの正規化データを求める正規化演算手段と、
    前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する処理係数生成手段と、
    前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出する第２のデータ抽出手段と、
    前記第２のデータ抽出手段により抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する予測手段と
    を備える信号処理装置。
  2. 前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有する
    請求項１に記載の信号処理装置。
  3. 前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段
    をさらに備え、
    前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成する
    請求項１に記載の信号処理装置。
  4. 入力データを、より高質な出力データに変換する信号処理装置の信号処理方法において、
    前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
    その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、
    前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、
    前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
    その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する
    ステップを含む信号処理方法。
  5. 入力データを、より高質な出力データに変換する信号処理を、コンピュータに行わせるプログラムにおいて、
    前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
    その抽出された前記複数のデータを正規化し、前記注目データの正規化データを求め、
    前記入力データに対応する生徒としてのデータの正規化データと第１の処理係数との演算により求められた第２の処理係数と、前記生徒としてのデータとの演算により、その生徒としてのデータよりも高質な前記出力データに対応する教師としてのデータを生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記注目データの正規化データとの演算により、前記第２の処理係数を生成し、
    前記注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータを抽出し、
    その抽出された前記複数のデータと、前記第２の処理係数との演算により、前記注目データを生成する
    ステップを含む信号処理をコンピュータに行わせるプログラム。
  6. 生徒としての入力データより求められる正規化データと第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒としての入力データとの演算により、その生徒としての入力データよりも高質な教師としての出力データを生成する関係式を解法するために、前記生徒としての入力データと前記教師としての出力データを用いて正規方程式を生成する正規方程式生成手段と、
    前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
    を備える学習装置。
  7. 前記第１の処理係数は、基準となる起点係数と、その起点係数と前記第２の処理係数との偏差を前記正規化データとともに表す偏差係数とを有し、
    前記係数生成手段は、前記正規方程式を解法することにより、前記起点係数と前記偏差係数を生成する
    請求項６に記載の学習装置。
  8. 前記出力データ内の注目データの位置およびその周辺の位置に対応する前記入力データ内の複数のデータとしてのクラスタップの特徴に応じて、前記注目データに対するクラスを生成するクラス分類手段
    をさらに備え、
    前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記入力データと前記注目データを用いて、前記正規方程式を生成する
    請求項６に記載の学習装置。
JP2007330456A 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 Expired - Fee Related JP5099429B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007330456A JP5099429B2 (ja) 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
US12/327,980 US8311963B2 (en) 2007-12-21 2008-12-04 Signal processing apparatus, signal processing method, signal processing program and learning apparatus
CN2008101885026A CN101466015B (zh) 2007-12-21 2008-12-19 信号处理设备、信号处理方法和学习设备
KR1020080130228A KR20090068163A (ko) 2007-12-21 2008-12-19 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330456A JP5099429B2 (ja) 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置

Publications (2)

Publication Number Publication Date
JP2009153006A JP2009153006A (ja) 2009-07-09
JP5099429B2 true JP5099429B2 (ja) 2012-12-19

Family

ID=40789784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330456A Expired - Fee Related JP5099429B2 (ja) 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置

Country Status (4)

Country Link
US (1) US8311963B2 (ja)
JP (1) JP5099429B2 (ja)
KR (1) KR20090068163A (ja)
CN (1) CN101466015B (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4517264B2 (ja) * 2000-12-26 2010-08-04 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
US7149369B2 (en) * 2002-04-23 2006-12-12 Hewlett-Packard Development Company, L.P. Method and system for image scaling
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4093114B2 (ja) * 2003-05-29 2008-06-04 ソニー株式会社 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4349086B2 (ja) * 2003-11-05 2009-10-21 ソニー株式会社 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置

Also Published As

Publication number Publication date
CN101466015A (zh) 2009-06-24
US20090164398A1 (en) 2009-06-25
KR20090068163A (ko) 2009-06-25
US8311963B2 (en) 2012-11-13
JP2009153006A (ja) 2009-07-09
CN101466015B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5061883B2 (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
JP2009151659A (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
US8401340B2 (en) Image processing apparatus and coefficient learning apparatus
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
US8433145B2 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP5061882B2 (ja) 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP5099429B2 (ja) 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP2013239108A (ja) 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4352298B2 (ja) 演算装置及び変換装置並びにそれらの方法
JP2011217010A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009272969A (ja) 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP3620069B2 (ja) 信号変換装置および方法
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP4235918B2 (ja) 画像処理装置および画像処理方法
JP2004104318A (ja) 画像処理方法及び装置並びにプログラム
KR101826040B1 (ko) 파일 형식에 기반한 이미지 처리 장치 및 방법
JP2011066704A (ja) 画像復号装置
JP3888361B2 (ja) 画像信号変換装置および変換方法
JP4154903B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP3704730B2 (ja) クラス分類装置および方法
JP2009060481A (ja) 画像処理装置及び方法、学習装置及び方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees