JP2014063359A - 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム - Google Patents

Abstract

【課題】より正確な基底信号を得ることができるようにする。
【解決手段】学習部は、信号としての学習用の輝度画像の静止画像が、基底画像係数が疎となる複数の基底信号としての基底画像の線形演算で表されるように、基底画像係数間の相関性を表す項を含むコスト関数を用いて複数の基底信号としての基底画像を学習する。本技術は、例えば、スパースコーディングにおける基底信号を学習する学習装置に適用することができる。
【選択図】図２

Description

本技術は、信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関し、特に、より正確な基底信号を得ることができるようにした信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関する。

近年、スパースコーディング(sparse coding)を用いた画像復元技術が多く研究されている。スパースコーディングとは、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法である。

具体的には、人間の視覚系では、網膜で捉えられた画像は、そのままの形で上位の認識機構に伝達されるのではなく、初期視覚の段階で、以下の式（１）に示すように複数の基底画像の線形和に分解されて伝達されると考えられている。

(画像)=Σ[(係数)×(基底画像)]
・・・（１）

ここで、式（１）において、多くの係数は0となり僅かな係数だけが大きな値となる、即ち係数は疎(sparse)となるという特徴がある。このため、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法は、スパースコーディングと呼ばれる。

スパースコーディングでは、まず、上述した式（１）によりモデリングされた基底信号が、以下の式（２）に示すコスト関数を用いて学習される。なお、ここでは、スパースコーディング対象となる信号が画像であるものとする。

L=argmin｛||Dα-Y||^２+μ||α||_０｝
・・・（２）

式（２）において、Lは、コスト関数であり、Dは、基底画像の各画素の画素値を列方向に並べたものを、基底画像ごとに行方向に並べた行列（以下、基底画像行列という）である。また、αは、各基底画像の係数（以下、基底画像係数という）を列方向に並べたベクトル(以下、基底画像係数ベクトルという)であり、Yは、学習用の画像の各画素の画素値を列方向に並べたベクトル(以下、学習用画像ベクトルという)である。μは予め設定されたパラメータである。

次に、式（２）において、学習された基底画像と、学習用の画像の代わりにスパースコーディング対象の画像とを用いることにより求められたコスト関数が、所定値以下になるときの基底画像係数が求められる。

近年、スパースコーディング対象の画像をブロックに分割し、ブロック単位で基底画像係数を求める方法が考案されている（例えば、非特許文献１参照）。

また、コスト関数における基底画像係数に対する拘束としては、式（２）で示したL0ノルム以外に、L1ノルムやL1ノルムの近似式などが存在する（例えば、非特許文献２参照）。基底画像係数がL1ノルムで拘束される場合、コスト関数は以下の式（３）で表され、基底画像係数がL1ノルムの近似式で拘束される場合、コスト関数は以下の式（４）で表される。

L=argmin{||Dα-Y||^２+μ||α||_１｝
・・・（３）

なお、式（３）および(４)において、Lはコスト関数であり、Dは基底画像行列であり、αは基底画像係数ベクトルであり、Yは学習用画像ベクトルであり、μは予め設定されたパラメータである。また、式（４）において、a,y,bは、予め設定されたパラメータである。

ところで、スパースコーディングの最も重要な要素は基底信号の学習である。従来、基底信号は、冗長性かつランダム性（基底信号間の相関性がない）を有すると仮定されて学習されている。

Michal Aharon,Michael Elad,and Alred Bruckstein,"K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation",IEEE TRANSACTION ON SIGNAL PROCESSING,VOL.54,NO.11,NOVEMBER 2006,P4311-4322 Libo Ma,Liqing Zhang,"Overcomplete topographic independent component analysis",Neurocomputing,10 March 2008,P2217-2223

しかしながら、近年、人間の視覚系についての最新研究から、ニューロンの発火はランダムに発生するのではなく、近傍のニューロンの発火と相関性を有する（Topographic構造を有する）ことがわかっている。従って、従来のように、基底信号が、基底信号間の相関性がないと仮定して学習される場合、正確な基底信号を学習することはできない。

本技術は、このような状況に鑑みてなされたものであり、より正確な基底信号を得ることができるようにするものである。

本技術の第１の側面の信号処理装置は、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部を備える信号処理装置である。

本技術の第１の側面の信号処理方法およびプログラムは、本技術の第１の側面の信号処理装置に対応する。

本技術の第１の側面においては、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号が学習される。

本技術の第２の側面の出力装置は、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部を備える出力装置である。

本技術の第２の側面の出力方法およびプログラムは、本技術の第２の側面の出力装置に対応する。

本技術の第２の側面においては、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数が演算される。

第１の側面の信号処理装置および第２の側面の出力装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１の側面によれば、より正確な基底信号を学習することができる。

また、本技術の第２の側面によれば、より正確に学習された基底信号を得て、その基底信号の係数を演算することができる。

スパースコーディングによる画像復元の概要を説明する図である。 本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。 図２の分割部により分割されるブロックの第１の例を示す図である。 図２の分割部により分割されるブロックの第２の例を示す図である。 図２の学習部における学習の背景を説明する図である。 図２の学習部による学習時の拘束条件を説明する図である。 図２の学習装置の学習処理を説明するフローチャートである。 本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。 図８の生成部の処理を説明する図である。 図８の画像生成装置の生成処理を説明するフローチャートである。 本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。 図１１の画像生成装置の生成処理を説明するフローチャートである。 本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。 図１３の学習部による学習時の拘束条件を説明する図である。 図１３の学習装置の学習処理を説明するフローチャートである。 本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。 図１６の画像生成装置の生成処理を説明するフローチャートである。 本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。 図１８の帯域分割部の構成例を示すブロック図である。 図１８の学習部による学習時の拘束条件を説明する図である。 図１８の学習装置の学習処理を説明するフローチャートである 本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。 図２２の生成部の構成例を示すブロック図である。 図２２の画像生成装置の生成処理を説明するフローチャートである。 本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。 図２５の学習部による学習時の拘束条件を説明する図である。 本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。 本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。 本技術を適用した出力装置の第５実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。 本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。 図３０の学習装置の学習処理を説明するフローチャートである。 本技術を適用した出力装置の第６実施の形態としての異常検知装置の構成例を示すブロック図である。 図３２の抽出部により抽出される検知領域の例を示す図である。 図３２の認識部による異常情報の生成方法を説明する図である。 図３２の異常検知装置の異常検知処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

＜第１実施の形態＞
[スパースコーディングによる画像復元の概要]
図１は、スパースコーディングによる画像復元の概要を説明する図である。

図１に示すように、スパースコーディングによる画像復元では、事前に、大量の画質劣化のない学習用の画像を用いて基底画像が学習され、その結果得られる基底画像が保持されている。そして、スパースコーディングの対象として入力される画質が劣化した劣化画像に対して、基底画像を用いて基底画像係数の最適化が行われ、最適化された基底画像係数と基底画像を用いて、劣化画像に対応する画質劣化のない画像が、復元画像として生成される。

［学習装置の構成例］
図２は、本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。

図２に示すように、学習装置１０は、分割部１１、学習部１２、および記憶部１３により構成され、画像復元用のスパースコーディングの基底画像を学習する。

具体的には、学習装置１０の分割部１１には、外部から大量の画質劣化のない学習用の輝度画像の静止画像が入力される。分割部１１は、学習用の輝度画像の静止画像を所定のサイズ（例えば、8×8画素）のブロックに分割し、学習部１２に供給する。

学習部１２は、分割部１１から供給されるブロックを上述した式（１）によりモデリングして、基底画像係数間で空間的な相関性を有するという拘束条件の下に、ブロック単位の基底画像を学習する。具体的には、学習部１２は、ブロック単位の学習用の輝度画像の静止画像と、基底画像係数間の空間的な相関性を表す項を含むコスト関数とを用いて、ブロック単位の基底画像を学習する。学習部１２は、学習されたブロック単位の基底画像を記憶部１３に供給する。

記憶部１３は、学習部１２から供給されるブロック単位の基底画像を記憶する。

［ブロックの例］
図３は、図２の分割部１１により分割されるブロックの第１の例を示す図である。

図３の例では、分割部１１は、学習用の輝度画像の静止画像３０を、所定のサイズのブロックのいずれかに分割する。従って、水平方向に隣接するブロック３１とブロック３２、および、垂直方向に隣接するブロック３１とブロック３３は重ならない。

図４は、図２の分割部１１により分割されるブロックの第２の例を示す図である。

図４の例では、分割部１１は、学習用の輝度画像の静止画像４０を、ブロックサイズより小さい間隔（図４の例では、ブロックサイズの1/4）で水平方向および垂直方向に隣接する所定のサイズ（ブロックサイズ）のブロックに分割する。従って、水平方向に隣接するブロック４１とブロック４２、および、垂直方向に隣接するブロック４１とブロック４３は重なる。

図４に示したように、ブロックが重なるように分割される場合、図３の場合に比べて、学習の処理量は多くなるが、学習の精度は向上する。なお、ブロックの形状は正方形に限定されない。

［学習の説明］
図５は、図２の学習部１２における学習の背景を説明する図である。

なお、図５において、各正方形は、ブロック単位の基底画像を表しており、図５では、ブロック単位の基底画像が水平方向および垂直方向に並べられている。

近年、人間の視覚系についての最新研究から、ニューロンの発火はランダムに発生するのではなく、近傍のニューロンの発火と相関性を有する（Topographic構造を有する）ことがわかっている。

しかしながら、式（２）乃至（４）のいずれかで定義されるコスト関数に基づく従来の学習では、基底画像係数間に相関性がないと仮定されており、図５の左側に示すように、学習された基底画像間には空間的な相関性がない。

そこで、学習部１２は、基底画像係数間で空間的な相関性を有するという拘束条件の下に基底画像の学習を行うことにより、人間の視覚系により近いモデルで基底画像を学習する。その結果、図５の右側に示すように、学習された基底画像間には空間的な相関性がある。

図６は、図２の学習部１２による学習時の拘束条件を説明する図である。

学習部１２は、基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部１２は、図６に示すように、ブロック単位の基底画像６１の基底画像係数が、その基底画像６１を中心とした3×3個のブロック単位の基底画像６１乃至６９の基底画像係数と同様の疎表現（0または非0）を有するという拘束条件をコスト関数の演算時に与える。

具体的には、学習部１２は、以下の式（５）によりコスト関数を定義する。

なお、式（５）において、Dは、ブロック単位の基底画像行列（以下、ブロック単位基底画像行列という）であり、αは、ブロック単位の基底画像係数ベクトル（以下、ブロック単位基底画像係数ベクトルという）である。また、Yは、ブロック単位の学習用の輝度画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、学習用輝度画像ベクトルという）であり、μは予め設定されたパラメータである。

さらに、h(i,j)は、ｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数と、ｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数との相関関係を表す係数（以下、相関係数という）である。α_ｊは、ｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。従って、式（５）の右辺のargmin()内の第２項は、基底画像係数間の空間的な相関性を表す項である。

学習部１２は、このようにして定義されたコスト関数を用いて、最急降下法により基底画像を学習する。具体的には、学習部１２は、全ての学習用の輝度画像の静止画像の全てのブロックについて以下の処理を行う。

まず、学習部１２は、以下の式（６）に示すように、式（５）で定義されるコスト関数をブロック単位基底画像係数ベクトルに対して偏微分し、ブロック単位基底画像行列を初期値にしてΔαを計算する。なお、ブロック単位基底画像行列の初期値としては、ランダムな値や所定値が用いられる。

式（６）において、Dはブロック単位基底画像行列であり、αはブロック単位基底画像係数ベクトルであり、Yは学習用輝度画像ベクトルであり、μは予め設定されたパラメータである。また、h(i,j)は相関係数であり、α_ｊはｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。

次に、学習部１２は、Δαを用いて、以下の式（７）に示すように、ブロック単位基底画像係数ベクトルを更新する。

α=α+η_１Δα
・・・（７）

なお、式（７）において、αはブロック単位基底画像係数ベクトルであり、η_１は最急降下法のパラメータである。

そして、学習部１２は、以下の式（８）に示すように、式（５）で定義されるコスト関数をブロック単位基底画像行列に対して偏微分し、更新後のブロック単位基底画像係数ベクトルを用いてΔDを計算する。

式（８）において、Yは学習用輝度画像ベクトルであり、Dはブロック単位基底画像行列であり、αはブロック単位基底画像係数ベクトルである。

次に、学習部１２は、ΔDを用いて、以下の式（９）に示すように、ブロック単位基底画像行列を更新する。

D＝D＋η_２ΔD
・・・（９）

式（９）において、Dはブロック単位基底画像行列であり、η_２は最急降下法のパラメータである。

そして、学習部１２は、更新後のブロック単位基底画像行列とブロック単位基底画像係数ベクトルを用いて、全ての学習用の輝度画像の静止画像の全てのブロックについて式（５）で定義されるコスト関数を演算する。そのコスト関数の和が所定値以下ではない場合、学習部１２は、コスト関数の和が所定値以下となるまで、ブロック単位基底画像行列とブロック単位基底画像係数ベクトルの更新を繰り返す。コスト関数の和が所定値以下である場合、学習部１２は、更新後のブロック単位基底画像行列を構成するブロック単位の基底画像を学習結果とする。

なお、本明細書では、ｊは9とするが、jは2以上であればどのような値であってもよい。

［学習装置の処理の説明］
図７は、図２の学習装置１０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１０に入力されたとき、オフラインで行われる。

図７のステップＳ１１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、学習部１２に供給する。ステップＳ１２において、学習部１２は、学習の繰り返し回数Nを１に設定する。以降のステップＳ１３乃至Ｓ１７およびステップＳ１９の処理は、全ての学習用の輝度画像の静止画像の全てのブロックに対して、ブロックごとに行われる。

ステップＳ１３において、学習部１２は、ブロック単位基底画像行列を初期値に設定する。ステップＳ１４において、学習部１２は、設定されたブロック単位基底画像行列と、分割部１１から供給されるブロックとを用いて、上述した式（６）により、Δαを計算する。

ステップＳ１５において、学習部１２は、ステップＳ１４で計算されたΔαを用いて、上述した式（７）によりブロック単位基底画像係数ベクトルを更新する。ステップＳ１６において、学習部１２は、ステップＳ１５で更新されたブロック単位基底画像係数ベクトルとブロックとを用いて、上述した式（８）によりΔDを計算する。

ステップＳ１７において、学習部１２は、ステップＳ１６で計算されたΔDを用いて、上述した式（９）によりブロック単位基底画像行列を更新する。ステップＳ１８において、学習部１２は、学習の繰り返し回数Nを1だけインクリメントする。

ステップＳ１９において、学習部１２は、ステップＳ１５で更新されたブロック単位基底画像係数ベクトル、ステップＳ１７で更新されたブロック単位基底画像行列、および、ブロックを用いて、上述した式（５）によりコスト関数を求める。

ステップＳ２０において、学習部１２は、全ての学習用の輝度画像の静止画像の全てのブロックのコスト関数の和が所定の閾値より小さいかどうかを判定する。ステップＳ２０でコスト関数の和が所定の閾値以上であると判定された場合、処理はステップＳ２１に進む。

ステップＳ２１において、学習部１２は、学習の繰り返し回数Nが所定の閾値より大きいかどうかを判定する。ステップＳ２１で学習の繰り返し回数Nが所定の閾値以下であると判定された場合、処理はステップＳ１４に戻る。そして、コスト関数の和が所定の閾値より小さくなるか、または、学習の繰り返し回数Nが所定の閾値より大きくなるまで、ステップＳ１４乃至Ｓ２１の処理が繰り返される。

一方、ステップＳ２０でコスト関数の和が所定の閾値より小さいと判定された場合、または、ステップＳ２１で学習の繰り返し回数Nが所定の閾値より大きいと判定された場合、処理はステップＳ２２に進む。

ステップＳ２２において、学習部１２は、直前のステップＳ１７で更新されたブロック単位基底画像行列を構成するブロック単位の基底画像を記憶部１３に供給し、記憶させる。

なお、ここでは、全ての学習用の輝度画像の静止画像の全てのブロックを用いてブロック単位基底画像行列を繰り返し学習したが、各ブロックを用いた繰り返し学習を順に行うようにしてもよい。

以上のように、学習装置１０は、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように、基底画像係数間の空間的な相関性を表す項を含むコスト関数を用いて基底画像を学習する。従って、より人間の視覚系に近いモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。

［画像生成装置の第１の構成例］
図８は、図２の学習装置１０により学習された基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。

図８に示すように、画像生成装置８０は、分割部８１、記憶部８２、演算部８３、および生成部８４により構成される。画像生成装置８０は、外部から劣化画像として入力される輝度画像の静止画像に対してスパースコーディングを行うことにより、復元画像を生成する。

具体的には、画像生成装置８０の分割部８１には、外部から輝度画像の静止画像が劣化画像として入力される。分割部８１は、外部から入力された劣化画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、演算部８３に供給する。

記憶部８２は、図２の学習装置１０により学習され、記憶部１３に記憶されたブロック単位の基底画像を記憶する。

演算部８３は、記憶部８２からブロック単位の基底画像を読み出す。演算部８３は、分割部８１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（５）のYを劣化画像のブロックの各画素の画素値を列方向に並べたベクトル（以下、劣化画像ベクトルという）にした式により定義される。演算部８３は、ブロック単位基底画像係数ベクトルを生成部８４に供給する。

生成部８４は、記憶部８２からブロック単位の基底画像を読み出す。生成部８４は、ブロックごとに、演算部８３から供給されるブロック単位基底画像係数ベクトルと、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、以下の式（１０）によりブロック単位の輝度画像の静止画像を生成する。

X=D×α
・・・（１０）

式（１０）において、Xは、生成されるブロック単位の輝度画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、ブロック単位生成画像ベクトルという）であり、Dは、ブロック単位基底画像行列であり、αは、ブロック単位基底画像係数ベクトルである。

生成部８４は、各ブロックのブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。

［生成部の処理の説明］
図９は、分割部８１が劣化画像を図４に示したブロックに分割する場合の図８の生成部８４の処理を説明する図である。

なお、図９において、実線の正方形は画素を表し、点線の正方形はブロックを表す。図９の例では、ブロックのサイズは4×4画素である。

図９に示すように、分割部８１が劣化画像１００を図４に示したブロックに分割する場合、生成部８４は、復元画像の各画素の画素値として、その画素に対応するブロックのブロック単位生成画像ベクトルの成分の平均値を生成する。

具体的には、例えば、左上の画素１０１はブロック１１１にのみ含まれる。従って、生成部８４は、画素１０１の画素値を、ブロック１１１のブロック単位生成画像ベクトルの画素１０１に対応する成分とする。

これに対して、画素１０１の右隣の画素１０２は、ブロック１１１とブロック１１２に含まれる。従って、生成部８４は、画素１０２の画素値を、ブロック１１１およびブロック１１２のブロック単位生成画像ベクトルの画素１０２に対応する成分の平均値とする。

また、画素１０１の直下の画素１０３は、ブロック１１１とブロック１１３に含まれる。従って、生成部８４は、画素１０３の画素値を、ブロック１１１およびブロック１１３のブロック単位生成画像ベクトルの画素１０３に対応する成分の平均値とする。

さらに、画素１０３の右隣の画素１０４は、ブロック１１１乃至ブロック１１４に含まれる。従って、生成部８４は、画素１０４の画素値を、ブロック１１１乃至ブロック１１４のブロック単位生成画像ベクトルの画素１０４に対応する成分の平均値とする。

一方、図示は省略するが、分割部８１が劣化画像を図３に示したブロックに分割する場合、生成部８４は、各ブロックのブロック単位生成画像ベクトルの各成分を、その成分に対応する画素の画素値として合成し、復元画像を生成する。

［画像生成装置８０の処理の説明］
図１０は、図８の画像生成装置８０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。

図１０のステップＳ４１において、画像生成装置８０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、演算部８３に供給する。なお、以降のステップＳ４２乃至Ｓ５１の処理は、ブロック単位で行われる。

ステップＳ４２において、演算部８３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを1に設定する。

ステップＳ４３において、演算部８３は、記憶部８２からブロック単位の基底画像を読み出す。ステップＳ４４において、演算部８３は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列と、分割部８１から供給されるブロックとを用いて、上述した式（６）のYを劣化画像ベクトルにした式により、Δαを計算する。

ステップＳ４５において、演算部８３は、ステップＳ４４で計算されたΔαを用いて、上述した式（７）によりブロック単位基底画像係数ベクトルを更新する。ステップＳ４６において、演算部８３は、繰り返し回数Mを1だけインクリメントする。

ステップＳ４７において、演算部８３は、ステップＳ４５で更新されたブロック単位基底画像係数ベクトル、ブロック単位基底画像行列、および、劣化画像のブロックを用いて、上述した式（５）のYを劣化画像ベクトルにした式によりコスト関数を求める。

ステップＳ４８において、演算部８３は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ４８でコスト関数が所定の閾値以上であると判定された場合、ステップＳ４９において、演算部８３は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。

ステップＳ４９で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部８３は、処理をステップＳ４４に戻す。そして、コスト関数が所定の閾値より小さくなるか、または、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ４４乃至Ｓ４９の処理が繰り返される。

一方、ステップＳ４８でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ４９で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部８３は、直前のステップＳ４５で更新されたブロック単位基底画像係数ベクトルを生成部８４に供給する。

そして、ステップＳ５０において、生成部８４は、記憶部８２からブロック単位の基底画像を読み出す。ステップＳ５１において、生成部８４は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列と、演算部８３から供給されるブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。

ステップＳ５２において、生成部８４は、ブロックの分割方法に応じて、ブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成する。ステップＳ５３において、生成部８４は、生成された１枚の輝度画像の静止画像を復元画像として出力し、処理を終了する。

以上のように、画像生成装置８０は、学習装置１０により学習された基底画像を得て、その基底画像、劣化画像、および基底画像係数間の空間的な相関性を表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置８０は、人間の視覚系に近いモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置８０は、得られた基底画像と基底画像係数を用いて、高画質な復元画像を生成することができる。

［画像生成装置の第２の構成例］
図１１は、図２の学習装置１０により学習された基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。

図１１に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の画像生成装置１３０の構成は、演算部８３の代わりに演算部１３１が設けられ、生成部８４の代わりに生成部１３２が設けられる点が図８の構成と異なる。画像生成装置１３０は、復元画像を生成するとともに基底画像を学習する。

具体的には、画像生成装置１３０の演算部１３１は、図８の演算部８３と同様に、記憶部８２からブロック単位の基底画像を読み出す。演算部１３１は、分割部８１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位基底画像行列を学習しつつ、ブロック単位基底画像係数ベクトルを演算する。

このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（５）のYを劣化画像ベクトルにした式により定義される。演算部１３１は、学習されたブロック単位基底画像行列とブロック単位基底画像係数ベクトルとを生成部１３２に供給する。

生成部１３２は、ブロックごとに、演算部１３１から供給されるブロック単位基底画像係数ベクトルとブロック単位基底画像行列とを用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。生成部１３２は、図８の生成部８４と同様に、各ブロックのブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。

［画像生成装置１３０の処理の説明］
図１２は、図１１の画像生成装置１３０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。

図１２のステップＳ７１乃至Ｓ７５の処理は、図１０のステップＳ４１乃至Ｓ４５の処理と同様であるので、説明は省略する。以降のステップＳ７６乃至Ｓ８２の処理は、ブロック単位で行われる。

ステップＳ７６において、演算部１３１は、ステップＳ７５で更新されたブロック単位基底画像係数ベクトルと劣化画像のブロックとを用いて、上述した式（８）のYを劣化画像ベクトルにした式によりΔDを計算する。

ステップＳ７７において、演算部１３１は、ステップＳ７７で計算されたΔDを用いて、上述した式（９）によりブロック単位基底画像行列を更新する。ステップＳ７８において、演算部１３１は、繰り返し回数Mを1だけインクリメントする。

ステップＳ７９において、演算部１３１は、ステップＳ７５で更新されたブロック単位基底画像係数ベクトル、ステップＳ７７で更新されたブロック単位基底画像行列、および、劣化画像のブロックを用いて、上述した式（５）のYを劣化画像ベクトルにした式によりコスト関数を求める。

ステップＳ８０において、演算部１３１は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ８０でコスト関数が所定の閾値以上であると判定された場合、処理はステップＳ８１に進む。

ステップＳ８１において、演算部１３１は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ８１で繰り返し回数Mが所定の閾値以下であると判定された場合、処理はステップＳ７４に戻る。そして、コスト関数が所定の閾値より小さくなるか、または、学習の繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ７４乃至Ｓ８１の処理が繰り返される。

一方、ステップＳ８０でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ８１で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部１３１は、直前のステップＳ７５で更新されたブロック単位基底画像係数ベクトルと、ステップＳ７７で更新されたブロック単位基底画像行列を生成部１３２に供給する。

そして、ステップＳ８２において、生成部１３２は、演算部１３１から供給されるブロック単位基底画像係数ベクトルとブロック単位基底画像行列を用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。

ステップＳ８３およびＳ８４の処理は、図１０のステップＳ５２およびＳ５３の処理と同様であるので、説明は省略する。

なお、図１２の生成処理では、ブロックごとにブロック単位基底画像行列が更新されるようにしたが、劣化画像単位でブロック単位基底画像行列が更新されるようにしてもよい。この場合、劣化画像の全てのブロックについてコスト関数が求められ、そのコスト関数の和に基づいて繰り返し演算が行われる。

以上のように、画像生成装置１３０は、復元画像を生成するとともに、ブロック単位の基底画像を学習するので、ブロック単位の基底画像の精度を向上させ、高画質の復元画像を生成することができる。

しかしながら、画像生成装置１３０では、劣化画像が入力されるたびに学習を行う、即ちオンライン学習を行う必要があるため、高い処理能力が要求される。従って、比較的処理能力の高いパーソナルコンピュータ等には画像生成装置１３０を適用し、比較的処理能力の低いデジタルカメラや携帯端末には画像生成装置８０を適用すると好適である。

なお、第１実施の形態では、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。

学習用の画像および劣化画像が色画像の静止画像である場合には、その色画像の静止画像が、色チャンネル（例えば、R（Red）,G（Green）,B（Blue））ごとに所定のサイズのブロックに分割される。そして、以下の式（１１）に示すように色チャンネルごとにコスト関数が定義される。その結果、学習装置１０は、色チャンネルごとにブロック単位の基底画像を学習し、画像生成装置８０（１３０）は、色チャンネルごとに色画像の静止画像を生成する。

式（１１）において、L^Ｒ,L^Ｇ,L^Ｂは、それぞれ、R,G,Bの色チャンネルのコスト関数であり、D^Ｒ,D^Ｇ,D^Ｂは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像行列である。また、α^Ｒ,α^Ｇ,α^Ｂは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像係数ベクトルであり、R,G,Bは、それぞれ、R,G,Bの色チャンネルのブロック単位の学習用の色画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、学習用色画像ベクトルという）である。μは予め設定されたパラメータである。

さらに、h(i,j)は、相関係数である。α^Ｒ _ｊ,α^Ｇ _ｊ,α^Ｂ _ｊは、それぞれ、R,G,Bの色チャンネルのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、a,y,bは、予め設定されたパラメータである。

また、学習用の画像および劣化画像は、動画像であってもよい。この場合、その動画像はフレームごとに所定のサイズのブロックに分割される。

＜第２実施の形態＞
［学習装置の構成例］
図１３は、本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。

図１３の学習装置１５０は、分割部１５１、学習部１５２、および記憶部１５３により構成される。学習装置１５０は、学習用の各色チャンネルの色画像の静止画像を用いて、各色チャンネルの基底画像係数間で相関性を有し、かつ、全ての色チャンネルの基底画像係数間で空間的な相関性を有するように、基底画像を学習する。

具体的には、分割部１５１には、外部から大量の画質劣化のない学習用の各色チャンネルの色画像の静止画像が入力される。分割部１５１は、色チャンネルごとに、学習用の色画像の静止画像を所定のサイズのブロックに分割し、学習部１５２に供給する。

学習部１５２は、分割部１５１から供給される各色チャンネルのブロックを上述した式（１）によりモデリングして、各色チャンネルの基底画像係数間で相関性を有し、かつ、全ての色チャンネルの基底画像係数間で空間的な相関性を有するという拘束条件の下に、各色チャンネルのブロック単位の基底画像を学習する。

具体的には、学習部１５２は、各色チャンネルのブロックと、各色チャンネルの基底画像係数間の相関性と全ての色チャンネルの基底画像係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各色チャンネルのブロック単位の基底画像を学習する。学習部１５２は、学習された各色チャンネルのブロック単位の基底画像を記憶部１５３に供給し、記憶させる。

［拘束条件の説明］
図１４は、図１３の学習部１５２による学習時の拘束条件を説明する図である。

学習部１５２は、各色チャンネルの基底画像係数間で相関性を有し、全ての色チャンネルの基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部１５２は、図１４に示すように、Rの色チャンネルのブロック単位の基底画像１７１Ａ、その基底画像１７１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群１７１、Bの色チャンネルの基底画像群１７１と同一の位置の基底画像群１７２、およびGの色チャンネルの基底画像群１７１と同一の位置の基底画像群１７３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。

具体的には、学習部１５２は、以下の式（１２）によりコスト関数を定義する。

なお、式（１２）において、D^Ｒ,D^Ｇ,D^Ｂは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像行列であり、α^Ｒ,α^Ｇ,α^Ｂは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像係数ベクトルである。また、R,G,Bは、それぞれ、R,G,Bの色チャンネルの学習用色画像ベクトルであり、μは予め設定されたパラメータである。

さらに、h(i,j)は、相関係数である。α^Ｒ _ｊ,α^Ｇ _ｊ,α^Ｂ _ｊは、それぞれ、R,G,Bの色チャンネルのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、a,y,bは、予め設定されたパラメータである。

従って、式（１２）の右辺のargmin()内の第４項は、各色チャンネルの基底画像係数間の相関性と全ての色チャンネルの基底画像係数間の空間的な相関性を表す項である。

［学習装置の処理の説明］
図１５は、図１３の学習装置１５０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１０に入力されたとき、オフラインで行われる。

図１５のステップＳ９１において、分割部１５１は、色チャンネルごとに、外部から入力された学習用の色画像の静止画像を所定のサイズのブロックに分割し、学習部１５２に供給する。ステップＳ９２において、学習部１２は、学習の繰り返し回数Nを１に設定する。以降のステップＳ９３乃至Ｓ９７およびステップＳ９９の処理は、全ての学習用の輝度画像の静止画像の全てのブロックに対して、ブロックごとに行われる。

ステップＳ９３において、学習部１５２は、各色チャンネルのブロック単位基底画像行列を初期値に設定する。

ステップＳ９４において、学習部１５２は、設定された各色チャンネルのブロック単位基底画像行列と、分割部１１から供給される各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。具体的には、学習部１５２は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像係数ベクトルに対して偏微分した式により、各色チャンネルのブロック単位基底画像行列と各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。

ステップＳ９５において、学習部１５２は、ステップＳ９４で計算された各色チャンネルのΔαを用いて、色チャンネルごとに、上述した式（７）により各色チャンネルのブロック単位基底画像係数ベクトルを更新する。

ステップＳ９６において、学習部１５２は、ステップＳ９５で更新された各色チャンネルのブロック単位基底画像係数ベクトルと各色チャンネルのブロックとを用いて、各色チャンネルのΔDを計算する。具体的には、学習部１５２は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像行列に対して偏微分した式により、各色チャンネルのブロック単位基底画像係数ベクトルと各色チャンネルのブロックとを用いて、各色チャンネルのΔDを計算する。

ステップＳ９７において、学習部１５２は、ステップＳ９６で計算された各色チャンネルのΔDを用いて、色チャンネルごとに、上述した式（９）により各色チャンネルのブロック単位基底画像行列を更新する。ステップＳ９８において、学習部１５２は、学習の繰り返し回数Nを1だけインクリメントする。

ステップＳ９９において、学習部１５２は、ステップＳ９５で更新された各色チャンネルのブロック単位基底画像係数ベクトル、ステップＳ９７で更新された各色チャンネルのブロック単位基底画像行列、および、各色チャンネルのブロックを用いて、上述した式（１２）によりコスト関数を求める。

ステップＳ１００およびＳ１０１の処理は、図７のステップＳ２０およびＳ２１の処理と同様であるので、説明は省略する。

ステップＳ１０２において、学習部１５２は、直前のステップＳ９７で更新された各色チャンネルのブロック単位基底画像行列を構成するブロック単位の基底画像を記憶部１５３に供給し、記憶させる。

以上のように、学習装置１５０におけるコスト関数は、学習装置１０の場合と同様に全ての色チャンネルの基底画像係数間の空間的な相関性を表すだけでなく、各色チャンネルの基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、偽色の発生を抑制するモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。

［画像生成装置の構成例］
図１６は、図１３の学習装置１５０により学習された各色チャンネルの基底画像を用いて画像を生成する、本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。

図１６の画像生成装置１９０は、分割部１９１、記憶部１９２、演算部１９３、および生成部１９４により構成され、外部から劣化画像として入力される色画像の静止画像に対してスパースコーディングを行うことにより、復元画像を生成する。

具体的には、画像生成装置１９０の分割部１９１には、外部から色画像の静止画像が劣化画像として入力される。分割部１９１は、外部から入力された劣化画像を、色チャンネルごとに図１３の分割部１５１と同様に所定のサイズのブロックに分割し、演算部１９３に供給する。

記憶部１９２は、図１３の学習装置１５０により学習され、記憶部１５３に記憶された各色チャンネルのブロック単位の基底画像を記憶する。

演算部１９３は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。演算部１９３は、分割部１９１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各色チャンネルのブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１２）のR,G,BをそれぞれR,G,Bの色チャンネルの劣化画像ベクトルにした式により定義される。演算部１９３は、各色チャンネルのブロック単位基底画像係数ベクトルを生成部１９４に供給する。

生成部１９４は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。生成部１９４は、各色チャンネルのブロックごとに、演算部８３から供給される各色チャンネルのブロック単位基底画像係数ベクトルと、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）の輝度画像を各色チャンネルの色画像にした式により、色画像の静止画像を生成する。

生成部１９４は、各色チャンネルのブロックの色画像の静止画像から、各色チャンネルの１枚の色画像の静止画像を生成し、復元画像として出力する。

[画像生成装置の処理の説明]
図１７は、図１６の画像生成装置１９０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として各色チャンネルの色画像の静止画像が入力されたとき、開始される。

図１７のステップＳ１１１において、画像生成装置１９０の分割部１９１は、外部から劣化画像として入力された各色チャンネルの色画像の静止画像を、色チャンネルごとに図１３の分割部１５１と同様に所定のサイズのブロックに分割し、演算部１９３に供給する。なお、以降のステップＳ１１２乃至Ｓ１２１の処理は、ブロック単位で行われる。

ステップＳ１１２において、演算部１９３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを1に設定する。

ステップＳ１１３において、演算部１９３は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。

ステップＳ１１４において、演算部１９３は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列と、分割部１９１から供給される各色チャンネルのブロックとを用いて、Δαを計算する。具体的には、演算部１９３は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像係数ベクトルに対して偏微分し、Yを劣化画像ベクトルにした式により、各色チャンネルのブロック単位基底画像行列と各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。

ステップＳ１１５において、演算部１９３は、ステップＳ１１４で計算されたΔαを用いて、色チャンネルごとに、上述した式（７）により各色チャンネルのブロック単位基底画像係数ベクトルを更新する。ステップＳ１１６において、演算部１９３は、繰り返し回数Mを1だけインクリメントする。

ステップＳ１１７において、演算部１９３は、ステップＳ１１５で更新された各色チャンネルのブロック単位基底画像係数ベクトル、各色チャンネルのブロック単位基底画像行列、および、劣化画像の各色チャンネルのブロックを用いて、上述した式（１２）のYを劣化画像ベクトルにした式によりコスト関数を求める。

ステップＳ１１８およびＳ１１９の処理は、図１７のステップＳ４８およびＳ４９の処理と同様であるので、説明は省略する。

ステップＳ１２０において、生成部１９４は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。ステップＳ１２１において、生成部１９４は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列と、演算部１９３から供給される各色チャンネルのブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）の輝度画像を各色チャンネルの色画像にした式により、各色チャンネルのブロック単位の色画像の静止画像を生成する。

ステップＳ１２２において、生成部１９４は、ブロックの分割方法に応じて、色チャンネルごとに、ブロック単位の色画像の静止画像から１枚の色画像の静止画像を生成する。ステップＳ１２３において、生成部１９４は、生成された各色チャンネルの１枚の色画像の静止画像を復元画像として出力し、処理を終了する。

以上のように、画像生成装置１９０は、学習装置１５０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に全ての色チャンネルの基底画像係数間の空間的な相関性を表すだけでなく、各色チャンネルの基底画像係数間の相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置８０は、人間の視覚系に近いだけでなく、偽色の発生を抑制するモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置８０は、得られた基底画像と基底画像係数を用いて、偽色の発生が抑制された高画質な復元画像を生成することができる。

なお、第２実施の形態において、コスト関数は、各色チャンネルの基底画像係数間の相関性のみを表す項を含むようにしてもよい。また、第２実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。さらに、第２実施の形態において、学習用の画像および劣化画像は、動画像であってもよい。

＜第３実施の形態＞
[学習装置の構成例］
図１８は、本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。

図１８に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１８の学習装置２１０の構成は、帯域分割部２１１が新たに設けられる点、学習部１２の代わりに学習部２１２が設けられ、記憶部１３の代わりに記憶部２１３が設けられる点が図２の構成と異なる。学習装置２１０は、帯域分割された学習用の輝度画像の静止画像を用いて、各帯域の基底画像係数間で相関性を有し、かつ、全ての帯域の基底画像係数間で空間的な相関性を有するように、基底画像を学習する。

具体的には、帯域分割部２１１は、分割部１１により分割されたブロックを、高域（高解像度）、中域（中解像度）、および低域（低解像度）に帯域分割して、高域、中域、および低域のブロックを生成し、学習部２１２に供給する。

学習部２１２は、帯域分割部２１１から供給される高域、中域、および低域のブロックを上述した式（１）によりモデリングして、各帯域の基底画像係数間で相関性を有し、かつ、全ての帯域の基底画像係数間で空間的な相関性を有するという拘束条件の下に、各帯域のブロック単位の基底画像を学習する。

具体的には、学習部２１２は、各帯域のブロックと、各帯域の基底画像係数間の相関性と全ての帯域の基底画像係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各帯域のブロック単位の基底画像を学習する。学習部２１２は、学習された各帯域のブロック単位の基底画像を記憶部２１３に供給し、記憶させる。

[帯域分割部の構成例]
図１９は、図１８の帯域分割部２１１の構成例を示すブロック図である。

図１９に示すように、帯域分割部２１１は、ローパスフィルタ２３１およびローパスフィルタ２３２、並びに、減算部２３３および減算部２３４により構成される。

ローパスフィルタ２３１には、分割部１１により分割されたブロックが入力される。ローパスフィルタ２３１は、入力されたブロックのうちの低域のブロックを抽出し、ローパスフィルタ２３２、減算部２３３、および減算部２３４に供給する。

ローパスフィルタ２３２は、ローパスフィルタ２３１から供給される低域のブロックのうちのさらに低域のブロックを抽出する。ローパスフィルタ２３２は、抽出された低域のブロックを減算部２３４と学習部２１２（図１８）に供給する。

減算部２３３は、分割部１１から入力されたブロックから、ローパスフィルタ２３１から供給される低域のブロックを減算し、その結果得られる高域のブロックを学習部２１２に供給する。

減算部２３４は、ローパスフィルタ２３１から供給される低域のブロックから、ローパスフィルタ２３２から供給されるより低域のブロックを減算し、その結果得られる高域と低域の間の帯域のブロックを、中域のブロックとして学習部２１２に供給する。

［拘束条件の説明］
図２０は、図１８の学習部２１２による学習時の拘束条件を説明する図である。

学習部２１２は、各帯域の基底画像係数間で相関性を有し、全ての帯域の基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部２１２は、図２０に示すように、低域のブロック単位の基底画像２４１Ａ、その基底画像２４１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群２４１、基底画像群２４１の各基底画像に対応する中域の3×3個のブロック単位の基底画像からなる基底画像群２４２、および基底画像群２４１の各基底画像に対応する高域の5×6個のブロック単位の基底画像からなる基底画像群２４３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。

具体的には、学習部２１２は、以下の式（１３）によりコスト関数を定義する。

なお、式（１３）において、D^H,D^M,D^Ｌは、それぞれ、高域、中域、低域のブロック単位基底画像行列であり、α^H,α^M,α^Ｌは、それぞれ、高域、中域、低域のブロック単位基底画像係数ベクトルである。また、H,M,Loは、それぞれ、高域、中域、低域の学習用輝度画像ベクトルであり、μ_１乃至μ_３は予め設定されたパラメータである。

さらに、h(i,j)は、相関係数である。h(i,j,k)は、所定の帯域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数、所定の帯域のｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数、および所定の帯域のｉ番目のブロック単位の基底画像に対応する、その帯域より高い帯域のブロック単位の基底画像のうちのk番目のブロック単位の基底画像の基底画像係数の相関関係を表す係数である。

また、h(i,j,k,m)は、低域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数、低域のｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数、低域のｉ番目のブロック単位の基底画像に対応する3×3個の中域の基底画像のうちのk番目(k=1,・・・,9)のブロック単位の基底画像の基底画像係数、および低域のi番目のブロック単位の基底画像に対応する5×6個の高域の基底画像のうちのm番目(m=1,・・・,30)のブロック単位の基底画像の基底画像係数の相関関係を表す係数である。

α^Ｌ _ｊ,α^M _ｊ,α^Ｈ _ｊは、それぞれ、低域、中域、高域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、α^Ｍ _ｋ,α^Ｈ _ｋは、それぞれ、低域、中域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像に対応する1つ上の帯域（中域、高域）のブロック単位の基底画像のうちのk番目のブロック単位の基底画像の基底画像係数である。

また、α^Ｈ _ｍは、低域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像に対応する高域の5×6個のブロック単位の基底画像のうちのm番目(m=1,・・・,30)のブロック単位の基底画像の基底画像係数である。さらに、a,y,bは、予め設定されたパラメータである。従って、式（１３）の右辺のargmin()内の第４項および第５項は、各帯域の基底画像係数間の相関性を表す項である。

［学習装置の処理の説明］
図２１は、図１８の学習装置２１０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置２１０に入力されたとき、オフラインで行われる。

図２１のステップＳ１３０において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、帯域分割部２１１に供給する。ステップＳ１３１において、帯域分割部２１１は、分割部１１から供給されるブロックを、高域、中域、および低域に帯域分割し、学習部２１２に供給する。

ステップＳ１３２乃至Ｓ１４２の処理は、色チャンネルが帯域に変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１３）である点を除いて、図１５のステップＳ９２乃至Ｓ１０２の処理と同様であるので、説明は省略する。

以上のように、学習装置２１０におけるコスト関数は、学習装置１０の場合と同様に全ての帯域の基底画像係数間の空間的な相関性を表すだけでなく、各帯域の基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、テクスチャやエッジなど重要な部分の画質を向上させるモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。

［画像生成装置の構成例］
図２２は、図１８の学習装置２１０により学習された各帯域の基底画像を用いて画像を生成する、本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。

図２２に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２２の画像生成装置２５０の構成は、帯域分割部２５１が新たに設けられる点、および記憶部８２、演算部８３、生成部８４の代わりに、記憶部２５２、演算部２５３、生成部２５４が設けられる点が図８の構成と異なる。画像生成装置２５０は、外部から劣化画像として入力される輝度画像の静止画像に対して帯域ごとにスパースコーディングを行うことにより、復元画像を生成する。

具体的には、画像生成装置２５０の帯域分割部２５１は、図１９の帯域分割部２１１と同様に構成され、分割部８１により分割されたブロックを、高域、中域、および低域に帯域分割し、演算部２５３に供給する。

記憶部２５２は、図１８の学習装置２１０により学習され、記憶部２１３に記憶された各帯域のブロック単位の基底画像を記憶する。

演算部２５３は、記憶部２５２から各帯域のブロック単位の基底画像を読み出す。演算部２５３は、帯域分割部２５１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各帯域のブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化画像ベクトルにした式により定義される。演算部２５３は、各帯域のブロック単位基底画像係数ベクトルを生成部２５４に供給する。

生成部２５４は、記憶部２５２から各帯用のブロック単位の基底画像を読み出す。生成部２５４は、各帯域のブロックごとに、演算部２５３から供給される各帯域のブロック単位基底画像係数ベクトルと、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により輝度画像の静止画像を生成する。

生成部２５４は、各帯域のブロックの輝度画像の静止画像を合成することにより、１枚の全帯域の輝度画像の静止画像を生成し、復元画像として出力する。

［生成部の構成例］
図２３は、図２２の生成部２５４の構成例を示すブロック図である。

図２３の生成部２５４は、輝度画像生成部２７１と加算部２７２により構成される。

生成部２５４の輝度画像生成部２７１は、図２２の記憶部２５２から各帯域用のブロック単位の基底画像を読み出す。輝度画像生成部２７１は、各帯域のブロックごとに、演算部２５３から供給される各帯域のブロック単位基底画像係数ベクトルと、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により輝度画像の静止画像を生成する。

輝度画像生成部２７１は、帯域ごとに、各ブロックのブロック単位の輝度画像の静止画像を合成することにより、各帯域の1枚の輝度画像の静止画像を生成する。輝度画像生成部２７１は、生成された高域、中域、および低域の1枚の輝度画像の静止画像を加算部２７２に供給する。

加算部２７２は、輝度画像生成部２７１から供給される高域、中域、および低域の1枚の輝度画像の静止画像を加算し、その結果得られる全帯域の1枚の輝度画像の静止画像を復元画像として出力する。

［画像生成装置の処理の説明］
図２４は、図２２の画像生成装置２５０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。

図２４のステップＳ１５０において、分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図１８の分割部１１と同様に所定のサイズのブロックに分割し、帯域分割部２５１に供給する。ステップＳ１５１において、帯域分割部２５１は、分割部８１から供給されるブロックを、高域、中域、および低域に帯域分割し、演算部２５３に供給する。

ステップＳ１５２乃至Ｓ１６３の処理は、色チャンネルが帯域に変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化画像ベクトルにした式である点を除いて、図１７のステップＳ１１２乃至Ｓ１２３の処理と同様であるので、説明は省略する。

以上のように、画像生成装置２５０は、学習装置２１０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に全ての帯域の基底画像係数間の空間的な相関性を表すだけでなく、各帯域の基底画像係数間の相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置２５０は、人間の視覚系に近いだけでなく、テクスチャやエッジなどの重要な部分の画質を向上させるモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置２５０は、得られた基底画像と基底画像係数を用いて、テクスチャやエッジなどの重要な部分の画質が向上した高画質な復元画像を生成することができる。

なお、第３実施の形態において、コスト関数は、各帯域の基底画像係数間の相関性のみを表す項を含むようにしてもよい。また、第３実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。

また、第３実施の形態では、輝度画像の静止画像が、高域、中域、および低域の３つの帯域に分割されたが、帯域分割の数は３つに限定されない。また、ローパスフィルタ２３１（２３２）の通過帯域は限定されない。

さらに、第３実施の形態では、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。この場合、色チャンネルごとに学習処理や生成処理が行われる。また、学習用の画像および劣化画像は、動画像であってもよい。

＜第４実施の形態＞
［学習装置の構成例］
図２５は、本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。

図２５の学習装置２９０は、分割部２９１、学習部２９２、および記憶部２９３により構成される。学習装置２９０は、学習用の輝度画像の動画像を用いて、連続する３フレームの基底画像係数間で時間的な相関性を有し、かつ、空間的な相関性を有するように、基底画像を学習する。

具体的には、分割部２９１には、外部から大量の画質劣化のない学習用の輝度画像の動画像が入力される。分割部２９１は、フレームごとに、学習用の輝度画像の動画像を所定のサイズのブロックに分割し、学習部２９２に供給する。

学習部２９２は、分割部２９１から供給される各フレームのブロックを上述した式（１）によりモデリングして、連続する３フレームの基底画像係数間で時間的な相関性を有し、かつ、空間的な相関性を有するという拘束条件の下に、連続する３フレームの各フレームのブロック単位の基底画像を学習する。

具体的には、学習部２９２は、連続する３フレームの各フレームのブロックと、連続する３フレームの基底画像係数間の時間的な相関性と空間的な相関性とを表す項を含むコスト関数とを用いて、連続する３フレームの各フレームのブロック単位の基底画像を学習する。学習部２９２は、学習された連続する３フレームの各フレームのブロック単位の基底画像を記憶部２９３に供給し、記憶させる。

［拘束条件の説明］
図２６は、図２５の学習部２９２による学習時の拘束条件を説明する図である。

なお、図２６において、横軸は、先頭からのフレーム数を表している。

学習部２９２は、連続する３フレームの各フレームの基底画像係数間で相関性を有し、連続する３フレームの基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部２９２は、図２６に示すように、t番目（t=1,2,・・・,動画像のフレーム数T/3）のフレームのブロック単位の基底画像３１１Ａ、その基底画像３１１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群３１１、t-1番目のフレームの基底画像群３１１と同一の位置の基底画像群３１２、およびt+1番目のフレームの基底画像群３１１と同一の位置の基底画像群３１３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。

具体的には、学習部２９２は、以下の式（１４）によりコスト関数を定義する。

なお、式（１４）において、D^ｔ−１,D^ｔ,D^ｔ＋１は、それぞれ、t-1,t,t+1番目のフレームのブロック単位基底画像行列であり、α^ｔ−１,α^ｔ,α^ｔ＋１は、それぞれ、t-1,t,t+1番目のフレームのブロック単位基底画像係数ベクトルである。また、Y^ｔ−１,Y^ｔ,Y^ｔ＋１は、それぞれ、t-1,t,t+1番目のフレームの学習用輝度画像ベクトルであり、μは予め設定されたパラメータである。h(i,j)は相関係数である。

また、α^ｔ−１ _ｊ,α^ｔ _ｊ,α^ｔ＋１ _ｊは、それぞれ、t-1,t,t+1番目のフレームのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。a,y,bは、予め設定されたパラメータである。

従って、式（１４）の右辺のargmin()内の第４項は、連続する３フレームの基底画像係数間の時間的な相関性と空間的な相関性を表す項である。

［学習装置の処理の説明］
学習装置２９０の学習処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）である点を除いて、図１５の学習処理と同一であるので、図示および説明は省略する。

以上のように、学習装置２９０におけるコスト関数は、学習装置１０の場合と同様に連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、時間的な相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。

［画像生成装置の構成例］
図２７は、図２５の学習装置２９０により学習された連続する３フレームの各フレームの基底画像を用いて画像を生成する、本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。

図２７の画像生成装置３３０は、分割部３３１、記憶部３３２、演算部３３３、および生成部３３４により構成され、外部から劣化画像として入力される輝度画像の動画像に対してスパースコーディングを行うことにより、復元画像を生成する。

具体的には、画像生成装置３３０の分割部３３１には、外部から輝度画像の動画像が劣化画像として入力される。分割部３３１は、外部から入力された劣化画像を、フレームごとに図２５の分割部２９１と同様に所定のサイズのブロックに分割し、演算部３３３に供給する。

記憶部３３２は、図２５の学習装置２９０により学習され、記憶部２９３に記憶された連続する３フレームの各フレームのブロック単位の基底画像を記憶する。

演算部３３３は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。演算部３３３は、分割部３３１から供給される３フレーム分の劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各フレームのブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１４）のY^ｔ−１,Y^ｔ,Y^ｔ＋１をそれぞれt-1,t,t+1番目のフレームの劣化画像ベクトルにした式により定義される。演算部３３３は、連続する３フレームの各フレームのブロック単位基底画像係数ベクトルを生成部３３４に供給する。

生成部３３４は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。生成部３３４は、連続する３フレームの各フレームのブロックごとに、演算部３３３から供給される連続する３フレームの各フレームのブロック単位基底画像係数ベクトルと、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により、輝度画像の動画像を生成する。

生成部３３４は、連続する３フレームの各フレームのブロックの輝度画像の動画像から、連続する３フレームの輝度画像の動画像を生成し、連続する３フレームの復元画像として出力する。

[画像生成装置の処理の説明]
図２７の画像生成装置３３０の生成処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）のY^ｔ−１,Y^ｔ,Y^ｔ＋１をそれぞれt-1,t,t+1番目のフレームの劣化画像ベクトルにした式である点を除いて、図１７の生成処理と同一であるので、図示および説明は省略する。

以上のように、画像生成装置３３０は、学習装置２９０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、時間的な相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置３３０は、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置３３０は、得られた基底画像と基底画像係数を用いて、フレーム間のバタツキが低減された滑らかで高画質な復元画像を生成することができる。

なお、第４実施の形態において、コスト関数は、連続する３フレームの基底画像係数間の時間的な相関性のみを表す項を含むようにしてもよい。また、第４実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。

また、第４実施の形態では、学習用の画像および劣化画像が輝度画像の動画像であったが、色画像の動画像であってもよい。

この場合、色画像の動画像の各フレームが色チャンネルごとに所定のサイズのブロックに分割される。そして、色チャンネルごとにコスト関数が定義される。その結果、学習装置２９０は、色チャンネルごとに連続する３フレームの各フレームのブロック単位の基底画像を学習し、画像生成装置３３０は、色チャンネルごとに色画像の動画像を生成する。

さらに、第４実施の形態では、連続する３フレームの基底画像係数間で時間的な相関性を有するようにしたが、時間的な相関性を有する基底画像係数のフレーム数は３フレームに限定されない。

＜第５実施の形態＞
[学習装置の構成例］
図２８は、本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。

図２８の学習装置３５０は、分割部３５１、帯域分割部３５２、学習部３５３、および記憶部３５４により構成される。学習装置３５０は、帯域分割された学習用のオーディオ信号を用いて、各帯域の基底オーディオ係数間で相関性を有し、かつ、全ての帯域の基底オーディオ係数間で空間的な相関性を有するように、基底オーディオ信号を学習する。

具体的には、分割部３５１には、外部から大量の音質劣化のない学習用のオーディオ信号が入力される。分割部３５１は、学習用のオーディオ信号を所定の区間のブロック（フレーム）に分割し、帯域分割部３５２に供給する。

帯域分割部３５２は、図１９の帯域分割部２１１と同様に構成され、分割部３５１から供給されるブロックを、高域、中域、および低域に帯域分割し、学習部３５３に供給する。

学習部３５３は、帯域分割部３５２から供給される高域、中域、および低域のブロックを上述した式（１）の画像をオーディオ信号にした式によりモデリングして、各帯域の基底オーディオ係数（詳細は後述する）間で相関性を有し、かつ、全ての帯域の基底オーディオ係数間で空間的な相関性を有するという拘束条件の下に、各帯域のブロック単位の基底オーディオ信号を学習する。

具体的には、学習部３５３は、各帯域のブロックと、各帯域の基底オーディオ係数間の相関性と全ての帯域の基底オーディオ係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各帯域のブロック単位の基底オーディオ信号を学習する。このコスト関数は、上述した式（１３）の画像をオーディオ信号にした式で定義される。

即ち、学習部３５３におけるコスト関数を定義する式において、D^H,D^M,D^Ｌは、それぞれ、高域、中域、低域のブロック単位の基底オーディオ信号の各サンプリング値を列方向に並べたものを、基底オーディオ信号ごとに行方向に並べた行列（以下、ブロック単位基底オーディオ行列という）である。α^H,α^M,α^Ｌは、それぞれ、高域、中域、低域のブロック単位の各基底オーディオ信号の係数である基底オーディオ係数を列方向に並べたベクトル（以下、ブロック単位基底オーディオ係数ベクトルという）である。また、H,M,Loは、それぞれ、高域、中域、低域の学習用のオーディオ信号の各サンプリング値を列方向に並べたベクトル(以下、学習用音声ベクトルという)であり、μ_１乃至μ_３は予め設定されたパラメータである。

さらに、h(i,j)は、ｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数と、ｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数との相関関係を表す係数である。h(i,j,k)は、所定の帯域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数、所定の帯域のｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、および所定の帯域のｉ番目のブロック単位の基底オーディオ信号に対応する、その帯域より高い帯域のブロック単位の基底オーディオ信号のうちのk番目のブロック単位の基底オーディオ信号の基底オーディオ係数の相関関係を表す係数である。

また、h(i,j,k,m)は、低域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数、低域のｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、低域のｉ番目のブロック単位の基底オーディオ信号に対応する3×3個の中域の基底オーディオ信号のうちのk番目(k=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、および低域のi番目のブロック単位の基底オーディオ信号に対応する5×6個の高域の基底オーディオ信号のうちのm番目(m=1,・・・,30)のブロック単位の基底オーディオ信号の基底オーディオ係数の相関関係を表す係数である。

α^Ｌ _ｊ,α^M _ｊ,α^Ｈ _ｊは、それぞれ、低域、中域、高域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数である。また、α^Ｍ _ｋ,α^Ｈ _ｋは、それぞれ、低域、中域のｉ番目（i=1,…, 基底オーディオ信号数n）のブロック単位の基底オーディオ信号に対応する1つ上の帯域（中域、高域）のブロック単位の基底オーディオ信号のうちのk番目のブロック単位の基底オーディオ信号の基底オーディオ係数である。

また、α^Ｈ _ｍは、低域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号に対応する高域の5×6個のブロック単位の基底オーディオ信号のうちのm番目(m=1,・・・,30)のブロック単位の基底オーディオ信号の基底オーディオ係数である。さらに、a,y,bは、予め設定されたパラメータである。

学習部３５３は、学習された各帯域のブロック単位の基底オーディオ信号を記憶部３５４に供給し、記憶させる。

［学習装置の処理の説明］
学習装置３５０の学習処理は、学習用の信号が輝度画像の静止画像ではなくオーディオ信号である点、および、コスト関数が上述した式（１３）の画像をオーディオ信号にした式により求められる点を除いて、図２１の学習処理と同一であるので、図示および説明は省略する。

以上のように、学習装置３５０は、学習用のオーディオ信号が、基底オーディオ係数が疎となる基底オーディオ信号の線形演算で表されるように、基底オーディオ係数間の空間的な相関性を表す項を含むコスト関数を用いて基底オーディオ信号を学習する。従って、より人間の視覚系に近いモデルを用いて基底オーディオ信号を学習することができる。ここで、人間の視覚系と聴覚系は、ともに外部からの入力信号を理解する脳の処理であり、同様の処理であると考えられている。従って、学習装置３５０は、より人間の聴覚系に近いモデルを用いて基底オーディオ信号を学習することができるといえる。その結果、より正確な基底オーディオ信号を学習することができる。

［オーディオ生成装置の構成例］
図２９は、図２８の学習装置３５０により学習された各帯域の基底オーディオ信号を用いてオーディオ信号を生成する、本技術を適用した出力装置の第５実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。

図２９のオーディオ生成装置３７０は、分割部３７１、帯域分割部３７２、記憶部３７３、演算部３７４、および生成部３７５により構成される。オーディオ生成装置３７０は、外部から入力される音質が劣化した劣化オーディオ信号に対して帯域ごとにスパースコーディングを行うことにより、復元オーディオ信号を生成する。

オーディオ生成装置３７０の分割部３７１には、外部から劣化オーディオ信号が入力される。分割部３７１は、外部から入力された劣化オーディオ信号を、図２８の分割部３５１と同様に所定の区間のブロックに分割し、帯域分割部３７２に供給する。

帯域分割部３７２は、図２８の帯域分割部３５２と同様に構成され、分割部３７１から供給されるブロックを、高域、中域、および低域に帯域分割し、演算部３７４に供給する。

記憶部３７３は、図２８の学習装置３５０により学習され、記憶部３５４に記憶された各帯域のブロック単位の基底オーディオ信号を記憶する。

演算部３７４は、記憶部３７３から各帯域のブロック単位の基底オーディオ信号を読み出す。演算部３７４は、帯域分割部３７２から供給される劣化オーディオ信号のブロックごとに、コスト関数が所定の閾値より小さくなるように、各帯域のブロック単位基底オーディオ係数ベクトルを演算する。このコスト関数は、読み出された各帯域のブロック単位の基底オーディオ信号からなるブロック単位基底オーディオ行列を用いて、上述した式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化オーディオ信号のブロックの各サンプリング値を列方向に並べたベクトル（以下、劣化オーディオベクトルという）にした式により定義される。演算部３７４は、各帯域のブロック単位基底オーディオ係数ベクトルを生成部３７５に供給する。

生成部３７５は、記憶部３７３から各帯域のブロック単位の基底オーディオ信号を読み出す。生成部３７５は、各帯域のブロックごとに、演算部３７４から供給される各帯域のブロック単位基底オーディオ係数ベクトルと、読み出された各帯域のブロック単位の基底オーディオ信号からなるブロック単位基底オーディオ行列とを用いて、上述した式（１０）の画像をオーディオ信号にした式によりオーディオ信号を生成する。

生成部３７５は、各帯域のブロックのオーディオ信号を合成することにより、全区間の全帯域のオーディオ信号を生成し、復元オーディオ信号として出力する。

［オーディオ生成装置の処理の説明］
オーディオ生成装置３７０の生成処理は、スパースコーディング対象とする信号が劣化画像ではなく劣化オーディオ信号である点、および、コスト関数が上述した式（１３）の画像をオーディオ信号にし、H,M,Loをそれぞれ高域、中域、帯域の劣化オーディオベクトルにした式により求められる点を除いて、図２４の生成処理と同一であるので、図示および説明は省略する。

以上のように、オーディオ生成装置３７０は、学習装置３５０により学習された基底オーディオ信号を得て、その基底オーディオ信号、劣化オーディオ信号、および基底オーディオ係数間の空間的な相関性を表す項を含むコスト関数に基づいて、基底オーディオ係数を演算する。従って、オーディオ生成装置３７０は、人間の視覚系に近いモデルの基底オーディオ信号と基底オーディオ係数を得ることができる。上述したように、人間の視覚系と聴覚系は同様の処理であると考えられている。従って、オーディオ生成装置３７０は、人間の聴覚系に近いモデルの基底オーディオ信号と基底オーディオ係数を得ることができるといえる。よって、オーディオ生成装置３７０は、得られた基底オーディオ信号と基底オーディオ係数を用いて、高音質の復元オーディオ信号を生成することができる。

なお、第５実施の形態では、全ての帯域の基底オーディオ係数間の空間的な相関性を表すだけでなく、各帯域の基底オーディオ係数間の相関性も表す項を含むコスト関数が用いられたが、全ての帯域の基底オーディオ係数間の空間的な相関性を表す項のみを含むコスト関数が用いられるようにしてもよい。

＜第６実施の形態＞
[学習装置の構成例]
図３０は、本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。

図３０に示す構成のうち、図２５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３０の学習装置３９０の構成は、分割部２９１の代わりに抽出部３９１が設けられる点が図２５の構成と異なる。学習装置３９０には、学習用の輝度画像の動画像として、図示せぬ監視カメラにより撮影された大量の正常時の輝度画像の動画像が入力される。

学習装置３９０の抽出部３９１は、学習用の輝度画像の動画像として図示せぬ監視カメラから入力された大量の正常時の輝度画像の動画像の各フレームから、後述する異常検知装置で異常検知の対象とする領域（以下、検知領域という）を抽出する。

例えば、後述する異常検知装置が人の異常を検知する場合には、抽出部３９１は、人や顔の領域を検出し、その領域を検知領域として抽出する。また、後述する異常検知装置が車の異常を検知する場合には、抽出部３９１は、予め設定された車の特徴点を含む領域を検出し、その領域を検知領域として抽出する。なお、抽出部３９１は、フレームごとに検知領域を抽出するのではなく、所定数のフレームごとに検知領域を抽出し、抽出しない期間においては、抽出された検知領域をトラッキングすることにより検知領域を設定するようにしてもよい。

抽出部３９１は、抽出された検知領域を正規化して所定のサイズのブロックとし、学習部２９２に供給する。

なお、検知領域の数は、各フレームに対して単数であっても複数であってもよい。各フレームの検知領域の数が複数である場合、検知領域ごとに基底画像が学習される。

[学習装置の処理の説明]
図３１は、図３０の学習装置３９０の学習処理を説明するフローチャートである。この学習処理は、図示せぬ監視カメラから、全ての学習用の輝度画像の動画像としての正常時の輝度画像の動画像が学習装置３９０に入力されたとき、オフラインで行われる。

ステップＳ１７１において、学習装置３９０の抽出部３９１は、図示せぬ監視カメラから入力される全ての学習用の輝度画像の動画像の各フレームから、検知領域を抽出する。

ステップＳ１７２において、抽出部３９１は、抽出された検知領域を正規化して所定のサイズのブロックとし、学習部２９２に供給する。ステップＳ１７３乃至Ｓ１８３の処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）である点を除いて、図１５のステップＳ９２乃至Ｓ１０２の処理と同様であるので、説明は省略する。

以上のように、学習装置３９０におけるコスト関数は、学習装置２９０の場合と同様に、連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、連続する３フレームの各フレームの基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルを用いて検知領域の基底画像を学習することができる。その結果、より正確な検知領域の基底画像を学習することができる。

[異常検知装置の構成例]
図３２は、図３０の学習装置３９０により学習された連続する３フレームの各フレームの基底画像を用いて異常を検知する、本技術を適用した出力装置の第６実施の形態としての異常検知装置の構成例を示すブロック図である。

図３２に示す構成のうち、図２７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３２の異常検知装置４１０の構成は、分割部３３１の代わりに抽出部４１１が設けられる点、生成部３３４の代わりに生成部４１２が設けられる点、および、新たに認識部４１３が設けられる点が図２７の構成と異なる。異常検知装置４１０は、監視カメラから異常検知対象の画像として入力される輝度画像の動画像に対してスパースコーディングを行うことにより、異常を検知する。

具体的には、異常検知装置４１０の抽出部４１１には、監視カメラから輝度画像の動画像が異常検知対象の画像として入力される。抽出部４１１は、監視カメラから入力された異常検知対象の画像の各フレームから、図３０の抽出部３９１と同様に検知領域を抽出する。

抽出部４１１は、抽出された検知領域を、図３０の抽出部３９１と同様に正規化して所定のサイズのブロックとし、演算部３３３と認識部４１３に供給する。ここで、異常検知装置４１０の演算部３３３におけるコスト関数を定義する式（１４）のYは、異常検知対象の画像のブロックの各画素の画素値を列方向に並べたベクトル（以下、検知画像ベクトルという）である。

生成部４１２は、図２７の生成部３３４と同様に、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。生成部４１２は、生成部３３４と同様に、連続する３フレームの各フレームのブロックごとに、輝度画像の動画像を生成し、認識部４１３に供給する。

認識部４１３は、生成部４１２から供給されるブロック単位の輝度画像の動画像と、抽出部４１１から供給されるブロックの差分を、各フレームのブロックごとに求める。認識部４１３は、その差分に基づいてブロックの異常を検知（認識）して、異常の有無を表す異常情報を生成し、出力する。

[検知領域の例]
図３３は、図３２の抽出部４１１により抽出される検知領域の例を示す図である。

図３３の例では、抽出部４１１は、異常検知対象の画像の各フレームから人の領域を検知領域４３１として抽出し、車の領域を検知領域４３２として抽出する。図３３に示すように、異常検知対象の画像の各フレームの検知領域４３１や検知領域４３２のサイズは異なる場合があるため、所定のサイズのブロックに正規化される。

抽出部４１１により抽出される各フレームの検知領域の数は、図３３に示すように複数であってもよいし、単数であってもよい。各フレームの検知領域の数が複数である場合には、検知領域ごとにブロック単位基底画像係数ベクトルが演算され、異常情報が生成される。

[異常情報の生成方法の説明]
図３４は、図３２の認識部４１３による異常情報の生成方法を説明する図である。

図３４の左側に示すように、図３０の学習装置３９０は、大量な正常時の輝度画像の動画像を用いてブロック単位の基底画像を学習する。図３４の中央と右側に示すように、図３２の異常検知装置４１０の演算部３３３は、学習されたブロック単位の基底画像と、異常検知対象の画像の検知領域のブロックとを用いて、連続する３フレームごとに、各フレームのブロック単位基底画像係数ベクトルを所定回数だけ繰り返し演算する。

生成部４１２は、連続する３フレームごとに、各フレームのブロック単位基底画像係数ベクトルとブロック単位の基底画像とから、ブロック単位の輝度画像の動画像を生成する。そして、認識部４１３は、生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分を、各フレームのブロックごとに演算する。

先頭からt-1乃至t+1番目のフレームの差分の和が閾値より小さい場合、図３４の中央に示すように、認識部４１３は、そのフレームについて異常を検知せず、異常の無しを表す異常情報を生成する。一方、先頭からt-1乃至t+1番目のフレームの差分の和が閾値以上である場合、図３４の右側に示すように、認識部４１３は、そのフレームについて異常を検知し、異常の有りを表す異常情報を生成する。

即ち、異常検知対象の画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像、即ち正常時の輝度画像の動画像である場合、所定の回数だけブロック単位基底画像係数ベクトルの演算が繰り返されると、ブロック単位基底画像係数ベクトルは十分に収束する。従って、そのブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は小さくなる。

これに対して、異常検知対象の輝度画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像ではない、即ち異常時の輝度画像の動画像である場合、所定の回数だけブロック単位基底画像係数ベクトルの演算が繰り返されても、ブロック単位基底画像係数ベクトルは十分に収束しない。従って、そのブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は大きくなる。

よって、ブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分が閾値より小さい場合、認識部４１３は、異常を検知せず、異常の無しを表す異常情報を生成する。また、認識部４１３は、その差分が閾値以上である場合、異常を検知し、異常の有りを表す異常情報を生成する。

[異常検知装置の処理の説明]
図３５は、図３２の異常検知装置４１０の異常検知処理を説明するフローチャートである。この異常検知処理は、例えば、監視カメラから異常検知対象の画像として輝度画像の動画像の連続する３フレームが入力されたとき、開始される。

図３５のステップＳ２０１において、異常検知装置４１０の抽出部４１１は、図示せぬ監視カメラから入力された異常検知対象の画像の連続する３フレームの各フレームから、図３０の抽出部３９１と同様に検知領域を抽出する。

ステップＳ２０２において、抽出部４１１は、抽出された検知領域を、図３０の抽出部３９１と同様に正規化して所定のサイズのブロックとし、演算部３３３と認識部４１３に供給する。なお、以降のステップＳ２０３乃至Ｓ２１５の処理は、ブロック単位で行われる。

ステップＳ２０３において、演算部３３３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを１に設定する。ステップＳ２０４において、演算部３３３は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。

ステップＳ２０５において、演算部３３３は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列と、抽出部４１１から供給されるブロックとを用いて、Δαを計算する。具体的には、演算部３３３は、式（１４）で定義されるコスト関数を連続する３フレームの各フレームのブロック単位基底画像係数ベクトルに対して偏微分し、Yを検知画像ベクトルにした式により、連続する３フレームの各フレームのブロック単位基底画像行列とブロックとを用いて、連続する３フレームの各フレームのΔαを計算する。

ステップＳ２０６において、演算部３３３は、ステップＳ２０５で計算されたΔαを用いて、上述した式（７）により各フレームのブロック単位基底画像係数ベクトルを更新する。ステップＳ２０７において、演算部３３３は、繰り返し回数Mを1だけインクリメントする。

ステップＳ２０８において、演算部３３３は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ２０８で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部３３３は、処理をステップＳ２０５に戻す。そして、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ２０５乃至Ｓ２０８の処理が繰り返される。

一方、ステップＳ２０８で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部３３３は、直前のステップＳ２０６で更新された各フレームのブロック単位基底画像係数ベクトルを生成部４１２に供給する。

そして、ステップＳ２０９において、生成部４１２は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。ステップＳ２１０において、生成部４１２は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列と、演算部３３３から供給される各フレームのブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）により各フレームのブロック単位の輝度画像の動画像を生成する。生成部４１２は、そのブロック単位の輝度画像の動画像を認識部４１３に供給する。

ステップＳ２１１において、認識部４１３は、フレームごとに、生成部４１２から供給されるブロック単位の輝度画像の動画像と、抽出部４１１から供給されるブロックの差分を演算する。

ステップＳ２１２において、認識部４１３は、ステップＳ２１１で演算された連続する３フレームの差分を加算する。ステップＳ２１３において、認識部４１３は、ステップＳ２１２による加算の結果得られる差分の和が所定の閾値より小さいかどうかを判定する。

ステップＳ２１３で差分の和が所定の閾値より小さいと判定された場合、ステップＳ２１４において、認識部４１３は、異常を検知せず、異常の無しを表す異常情報を生成して出力し、処理を終了する。

一方、ステップＳ２１３で差分の和が所定の閾値以上であると判定された場合、ステップＳ２１５において、認識部４１３は、異常を検知し、異常の有りを表す異常情報を生成して出力し、処理を終了する。

以上のように、異常検知装置４１０は、画像生成装置３３０と同様に、連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、連続する３フレームの各フレームの基底画像係数間の相関性も表す項を含むコスト関数を用いて学習された基底画像を得る。そして、異常検知装置４１０は、その基底画像、異常検知対象の画像、およびコスト関数に基づいて、基底画像係数を演算する。

従って、異常検知装置４１０は、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルの基底画像と基底画像係数を得ることができる。よって、異常検知装置４１０は、得られた基底画像と基底画像係数を用いて、フレーム間のバタツキが低減された滑らかで高画質な正常時の検知領域の輝度画像の動画像を生成することができる。

そして、異常検知装置４１０は、生成された高画質な正常時の検知領域の輝度画像の動画像と、異常検知対象の画像の検知領域との差分に基づいて異常を検知（認識）する。従って、高精度に異常を検知することができる。

なお、第６実施の形態では、第４実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行ったが、第１および第３実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行うようにしてもよい。

また、学習用の画像および異常検知対象の画像が色画像である場合には、第１実施の形態、第３実施の形態、および第４実施の形態だけでなく、第２実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行うようにしてもよい。学習用の画像および異常検知対象の画像は、静止画像であってもよい。

さらに、第６実施の形態は、スパースコーディングの認識技術への応用の一例であり、スパースコーディングは、異常検知以外の物体認識等の認識技術にも応用することができる。

＜第７実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理（学習処理、生成処理、異常検知処理）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、学習用の信号およびスパースコーディングの対象とする信号が、色画像の静止画像である場合、第２実施の形態と第３実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各色チャンネルの基底画像係数間の相関性、および各帯域の基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。

さらに、学習用の信号およびスパースコーディングの対象とする信号が、輝度画像の動画像である場合、第３実施の形態と第４実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各帯域の基底画像係数間の相関性、および各フレームの基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。

また、学習用の信号およびスパースコーディングの対象とする信号が、色画像の動画像である場合、第２実施の形態または第３実施の形態の少なくとも一方と第４実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各色チャンネルまたは各帯域の少なくとも一方の基底画像係数間の相関性、および各フレームの基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。

なお、本技術は、以下のような構成もとることができる。

（１）
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
を備える信号処理装置。
（２）
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
前記（１）に記載の信号処理装置。
（３）
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
前記（１）または（２）のいずれかに記載の信号処理装置。
（４）
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて各色チャンネルの前記複数の基底信号を学習する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記信号を帯域分割し、各帯域の信号を生成する帯域分割部
をさらに備え、
前記学習部は、前記帯域分割部により生成された各帯域の信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて各帯域の前記複数の基底信号を学習する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、前記色チャンネルごとに、前記コスト関数を用いて前記複数の基底信号を学習する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（７）
信号処理装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習ステップ
を含む信号処理方法。
（８）
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
として機能させるためのプログラム。
（９）
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
を備える出力装置。
（１０）
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
前記（９）に記載の出力装置。
（１１）
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
前記（９）または（１０）に記載の出力装置。
（１２）
前記演算部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、各色チャンネルの前記所定の信号の前記係数を演算する
前記（９）乃至（１１）のいずれかに記載の出力装置。
（１３）
前記所定の信号を帯域分割し、各帯域の前記所定の信号を生成する帯域分割部
をさらに備え、
前記演算部は、各帯域の前記信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて学習された各帯域の前記複数の基底信号、前記帯域分割部により生成された各帯域の前記所定の信号、および前記コスト関数に基づいて、各帯域の前記所定の信号の前記係数を演算する
前記（９）乃至（１２）のいずれかに記載の出力装置。
（１４）
前記演算部は、色チャンネルごとに、各色チャンネルの前記信号が前記線形演算で表されるように前記コスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、前記色チャンネルごとに、前記所定の信号の前記係数を演算する
前記（９）乃至（１１）のいずれかに記載の出力装置。
（１５）
前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
をさらに備える
前記（９）乃至（１４）のいずれかに記載の出力装置。
（１６）
前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
をさらに備える
前記（１５）に記載の出力装置。
（１７）
出力装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算ステップ
を含む出力方法。
（１８）
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
として機能させるためのプログラム。

１０ 学習装置， １２ 学習部， ８０ 画像生成装置， ８３ 演算部， ８４ 生成部， １３０ 画像生成装置， １３１ 演算部， １３２ 生成部， １５０ 学習装置， １５２ 学習部， １９０ 画像生成装置， １９３ 演算部， １９４ 生成部， ２１０ 学習装置， ２１１ 帯域分割部， ２１２ 学習部， ２５０ 画像生成装置， ２５１ 帯域分割部， ２５３ 演算部， ２５４ 生成部， ２９０ 学習装置， ２９２ 学習部， ３３０ 画像生成装置， ３３３ 演算部， ３３４ 生成部， ３５０ 学習装置， ３５２ 帯域分割部， ３７０ オーディオ生成装置， ３７２ 帯域分割部， ３７４ 演算部， ３７５ 生成部， ３９０ 学習装置， ４１０ 異常検知装置， ４１２ 生成部， ４１３ 認識部

Claims (18)

1. 信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
   を備える信号処理装置。
2. 前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
   請求項１に記載の信号処理装置。
3. 前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
   請求項１に記載の信号処理装置。
4. 前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて各色チャンネルの前記複数の基底信号を学習する
   請求項１に記載の信号処理装置。
5. 前記信号を帯域分割し、各帯域の信号を生成する帯域分割部
   をさらに備え、
   前記学習部は、前記帯域分割部により生成された各帯域の信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて各帯域の前記複数の基底信号を学習する
   請求項１に記載の信号処理装置。
6. 前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、前記色チャンネルごとに、前記コスト関数を用いて前記複数の基底信号を学習する
   請求項１に記載の信号処理装置。
7. 信号処理装置が、
   信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習ステップ
   を含む信号処理方法。
8. コンピュータを、
   信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
   として機能させるためのプログラム。
9. 信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
   を備える出力装置。
10. 前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
    請求項９に記載の出力装置。
11. 前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
    請求項９に記載の出力装置。
12. 前記演算部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、各色チャンネルの前記所定の信号の前記係数を演算する
    請求項９に記載の出力装置。
13. 前記所定の信号を帯域分割し、各帯域の前記所定の信号を生成する帯域分割部
    をさらに備え、
    前記演算部は、各帯域の前記信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて学習された各帯域の前記複数の基底信号、前記帯域分割部により生成された各帯域の前記所定の信号、および前記コスト関数に基づいて、各帯域の前記所定の信号の前記係数を演算する
    請求項９に記載の出力装置。
14. 前記演算部は、色チャンネルごとに、各色チャンネルの前記信号が前記線形演算で表されるように前記コスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、前記色チャンネルごとに、前記所定の信号の前記係数を演算する
    請求項９に記載の出力装置。
15. 前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
    をさらに備える
    請求項９に記載の出力装置。
16. 前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
    をさらに備える
    請求項１５に記載の出力装置。
17. 出力装置が、
    信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算ステップ
    を含む出力方法。
18. コンピュータを、
    信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
    として機能させるためのプログラム。

Images