JP2014126903A - 画像処理装置および画像処理方法、ならびに、プログラム - Google Patents

Abstract

【課題】撮像画像を高画質化して出力可能とする。
【解決手段】実施形態の画像処理装置は、第１画像を予め定められた劣化過程で劣化させた第２画像との畳み込みを行った結果が第１画像に近付くように、畳み込みで参照する画素集合の位置毎に学習を用いて設計した係数が、記憶部に予め記憶される。光学系を介して撮像された入力画像内で参照する画素集合の位置に応じて係数を記憶部から読み出して、係数と画素集合との畳み込みを行うことで出力画像を生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置および画像処理方法、ならびに、プログラムに関する。

撮像素子により撮像された撮像画像を高画質化する手法として、下記の手法が知られている。すなわち、入力画像の画素を、その画素を含むブロックの画像パターンに基づき複数のクラスに分類し、分類されたクラスに応じて学習した係数を、当該ブロックに畳み込む。これにより、当該ブロックの画像パターンに応じた高画質化がなされる。

特許第４２８１４５３号公報

しかしながら、撮像素子により撮像された撮像画像は、画素の位置によって劣化過程が異なるため、ブロックの画像パターンに応じた処理では、高画質化を図ることが困難であるという問題点があった。

本発明が解決しようとする課題は、撮像画像を高画質化して出力可能な画像処理装置および画像処理方法、ならびに、プログラムを提供することにある。

実施形態の画像処理装置は、第１画像を予め定められた劣化過程で劣化させた第２画像との畳み込みを行った結果が第１画像に近付くように、畳み込みで参照する画素集合の位置毎に学習を用いて設計した係数が、記憶部に予め記憶される。光学系を介して撮像された入力画像内で参照する画素集合の位置に応じて係数を記憶部から読み出して、係数と画素集合との畳み込みを行うことで出力画像を生成する。

図１は、第１の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図２は、ベイヤ配列の一例を示す図である。 図３は、ベイヤ配列を採用した場合のカラーフィルタアレイの例を示す図である。 図４は、第１の実施形態に係る画像処理装置を組み込んだデジタルカメラの一例の構成を示すブロック図である。 図５は、入力された入力画像を複数の領域に分割することを説明するための図である。 図６は、第１の実施形態による係数集合の一例の設計処理を示すフローチャートである。 図７は、記憶部に保持される係数集合を外部から変更可能とした画像処理装置の一例の構成を示すブロック図である。 図８は、Ｒ色のカラーフィルタに対応する画素が代表画素である場合の画素集合の例を示す図である。 図９は、Ｂ色のカラーフィルタに対応する画素が代表画素である場合の画素集合の例を示す図である。 図１０は、Ｇ色のカラーフィルタに対応する画素が代表画素である場合の画素集合の例を示す図である。 図１１は、第１の実施形態の第４の変形例による画像処理装置の一例の構成を示すブロック図である。 図１２は、第１の実施形態の第５の変形例による画像処理装置の一例の構成を示すブロック図である。 図１３は、ＲＧＢＷの４色のカラーフィルタを配置した単位カラーフィルタアレイの例を示す図である。 図１４は、ＲＧＢＷの４色のカラーフィルタによる単位カラーフィルタアレイを配列したカラーフィルタアレイの例を示す図である。 図１５は、第２の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図１６は、第３の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図１７は、第１の実施形態による画像処理装置に適用可能なコンピュータ装置の一例の構成を示すブロック図である。

（第１の実施形態）
以下、第１の実施形態に係る画像処理装置について説明する。図１は、第１の実施形態に係る画像処理装置１００Ａの一例の構成を示す。第１の実施形態の画像処理装置１００Ａは、取得部１０２、畳み込み部１０４、記憶部１０５および制御部１０８を有する。制御部１０８は、例えばＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)を有し、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて画像処理装置１００Ａの全体の動作を制御する。

なお、画像処理装置１００Ａにおける取得部１０２および畳み込み部１０４は、協働するハードウェアによって構成してもよいし、一部または全部をＣＰＵ上で動作するプログラムにより実現してもよい。取得部１０２および畳み込み部１０４をプログラムにより構成する場合、当該プログラムは、制御部１０８が動作するＣＰＵ上で実行させることができる。

画像処理装置１００Ａにおいて、取得部１０２は、入力画像１０１を取得し、入力画像１０１の各画素を代表画素とする画素の集合である画素集合１０３を出力する。記憶部１０５は、入力画像１０１の各画素に対応して予め求められた、詳細を後述する係数集合１０６を保持する。畳み込み部１０４は、記憶部１０５から画素集合１０３の代表画素に対応する係数集合１０６を読み出して、画素集合１０３に畳み込んで出力画像１０７を得る。

このような構成において、光学系を介して撮像されて得られた入力画像１０１が画像処理装置１００Ａに入力される。画像処理装置１００Ａは、記憶部１０５に保持される係数集合１０６に基づき、入力画像１０１の画質が改善された出力画像１０７を生成し、出力する。

先ず、入力画像１０１について説明する。被写体からの光が、レンズ系やカラーフィルタを含む光学系を介して撮像素子に入射されて、撮像素子の各画素の画素信号からなる入力画像１０１として出力される。撮像素子としては、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。

レンズを含む光学系を用いたカメラは、ピンホールカメラと比較して撮像素子に入射される光量が大きいため、ピンホールカメラよりもショットノイズが少ない。また、カラーフィルタを含む光学系では、カラー画像による入力画像１０１を得ることができる。１の撮像素子の受光面に対して複数色のカラーフィルタが配置された単板式センサの光学系では、色毎に撮像素子を用意する３版式と比較して製造コストが低い。そのため、デジタルスチルカメラやデジタルビデオカメラなどでは、レンズ系とカラーフィルタアレイとを含む単板式センサによる光学系を用いる場合が多い。

なお、カラーフィルタアレイは、カラー画像を生成するための基本となる各色のカラーフィルタが所定の規則に従い配列された単位カラーフィルタアレイが所定の規則に従い繰り返し配置されて構成される。図２は、単位カラーフィルタアレイの方式の一つである、ベイヤ配列の一例を示す。ベイヤ配列では、それぞれ１の赤色（Ｒ）および青色（Ｂ）のカラーフィルタと、２の緑色（Ｇ）のカラーフィルタとがマトリクス状に、同じ色が隣接しないように配列されて構成される。

図３は、単位カラーフィルタアレイの方式としてベイヤ配列を採用した場合の、カラーフィルタアレイの例を示す。図３の例では、カラーフィルタアレイは、同じ色のカラーフィルタが隣接しないように単位カラーフィルタアレイをマトリクス状に繰り返し配置して構成されている。

レンズ系とカラーフィルタアレイを含む単板式センサの光学系では、撮像素子の各画素は、各画素のカラーフィルタに応じた色しか検知できない。そのため、撮像素子の出力に対してデモザイキングと呼ばれる既知の処理を施すことにより、各画素が例えばＲ、ＧおよびＢの値を持つ画像を生成する。

以下では、レンズ系と、Ｒ、ＧおよびＢの原色型のベイヤ配列のカラーフィルタアレイを含む単板式センサの光学系を介して撮像された撮像画像が入力画像１０１であるものとして説明する。この場合、入力画像１０１の各画素は、Ｒ、ＧおよびＢ各色のうち何れか１色の値を持つ。また、撮像素子から出力され、デモザイキングを施していない画像をＲＡＷ画像と呼ぶ。ＲＡＷ画像の各画素は、カラーフィルタアレイにおける画素に対応する位置のカラーフィルタによって決まる色の成分のみを持つ。これに対して、各画素が例えばＲ、ＧおよびＢの値を持つ画像を、フルカラー画像と呼ぶ。例えば、ＲＡＷ画像に対してデモザイキングを施すことで、フルカラー画像が得られる。なお、第１の実施形態は、この例に限定されるものではない。

図１に示した画像処理装置１００Ａは、デジタルカメラやデジタルビデオカメラの画像処理部に組み込んで用いることができる。図４は、画像処理装置１００Ａを組み込んだデジタルカメラ４００の一例の構成を示す。図４の例では、デジタルカメラ４００は、レンズ群４０１と、カラーフィルタアレイ４０２と、撮像素子４０３と、画像処理装置１００Ａと、処理部４０４と、表示部４０６とを含む。なお、図４において、上述した図１と対応する部分には同一の符号を付して、詳細な説明を省略する。

レンズ群４０１は、少なくとも１のレンズを含む。レンズ群４０１に、さらに絞り機構を含んでもよいし、さらにまた、ズーム機構やフォーカス機構をレンズ群４０１に含んでもよい。カラーフィルタアレイ４０２は、例えば上述したＲＧＢ各色によるベイヤ配列によるカラーフィルタアレイである。撮像素子４０３は、例えばＣＣＤが用いられる。被写体からの光は、レンズ群４０１により集光され、カラーフィルタアレイ４０２を介して撮像素子４０３の受光面に入射される。撮像素子４０３は、受光面に入射された光を画素単位で光電変換して、ＲＡＷ画像による撮像画像を出力する。

撮像素子４０３から出力された撮像画像は、入力画像１０１として画像処理装置１００Ａに入力される。なお、図４に示す画像処理装置１００Ａにおいて、制御部１０８は、画像処理装置１００Ａの動作の制御のみならず、レンズ群４０１の動作を制御することができる。例えば、レンズ群がズーム機構、オートフォーカス機構、自動露出機能などを有する場合、制御部１０８は、これらの機能をプログラムに従い制御することができる。

画像処理装置１００Ａから、入力画像１０１に対して後述する処理が施された出力画像１０７が出力される。処理部４０４は、画像処理装置１００Ａから出力された出力画像１０７に対してγ変換など所定の画像処理を施して、処理後画像４０５を出力する。表示部４０６は、例えばＬＣＤ(Liquid Crystal Display)による表示素子と、当該表示素子を駆動する駆動部とを有し、処理部４０４から出力された処理後画像４０５を表示素子に表示させる。また、デジタルカメラ４００にフラッシュメモリなどの記憶媒体を内蔵または接続させ、処理部４０４から出力された処理後画像４０５を当該記憶媒体に記憶させてもよい。

図４に例示した構成において、入力画像１０１すなわち撮像素子４０３から出力される撮像画像は、レンズ群４０１やカラーフィルタアレイ４０２などの影響で、理想画像から劣化している。なお、ここでいう理想画像とは、被写体からの光から仮想的に形成される、理想的な画像である。この劣化には、レンズ群４０１による歪曲、暈け、カラーフィルタアレイ４０２による色成分の間引き、撮像素子４０３での光電変換時のノイズ、隣接画素間の干渉、光量に依存したショットノイズなどがある。

画像処理装置１００Ａは、このレンズ群４０１やカラーフィルタアレイ４０２、撮像素子４０３などによる様々な劣化のうち少なくとも１つが抑制された画像を、出力画像１０７として生成する。この出力画像１０７は、画素単位で生成される。以下、この出力画像１０７の画素として生成される画素を、対象画素と呼ぶ。また、レンズ群４０１やカラーフィルタアレイ４０２、撮像素子４０３などによる劣化を、以下では、光学系による劣化と呼ぶ。

次に、第１の実施形態による画像処理について、より詳細に説明する。第１の実施形態の画像処理では、光学系により劣化した入力画像１０１を高画質化して、出力画像１０７として出力する。なお、ここでいう高画質化とは、劣化した入力画像１０１をより理想画像に近付ける処理をいう。入力画像や理想画像として何を想定するかによって、画像処理装置１００Ａでの処理内容が変化する。以下では、入力画像が光学系を介して撮像したＲＡＷ画像であり、理想画像が暈けの無いＲＡＷ画像である場合を例にとって説明する。ただし、これは一例であって、各実施形態の適用範囲はこの例に限定されない。

取得部１０２は、入力された入力画像１０１を複数の領域に分割する。例えば、取得部１０２は、図５に例示されるように、入力画像１０１を、図の縦方向に３分割、横方向に５分割して１５の領域に分割する。一例として、入力画像１０１のサイズが横１９２０画素×縦１０８０画素であれば、分割された各領域のサイズは、横３８４画素×縦３６０画素となる。また、取得部１０２は、入力画像１０１に含まれる１画素を代表画素とし、複数画素を含む画素集合１０３を形成する。画素集合１０３は、入力画像１０１に含まれる各画素について形成される。

なお、図５の例では、入力画像１０１が縦方向３分割、横方向に５分割され全体で１５の領域が形成されているが、これはこの例に限定されない。例えば、分割数は１５に限られず、また、分割された領域の形状も、矩形に限られない。例えば、入力画像１０１が歪曲している場合は、各領域を、その歪曲に合わせた形状にしても構わない。

一方、記憶部１０５は、画素集合１０３の位置に応じたフィルタの係数集合が保持される。係数集合は、画素集合１０３の代表画素が入力画像１０１において属する領域と、画素集合１０３の代表画素に対応するカラーフィルタの色毎に保持される。ここで、画素集合１０３の代表画素は、例えば、画素集合１０３の重心の画素である。画素集合１０３の代表画素が入力画像１０１において属する領域と、画素集合１０３の代表画素のカラーフィルタの色とが共に、画素集合１０３の位置によって決まる。

例えば、画素集合１０３の代表画素が入力画像１０１の中心の画素であれば、画素集合１０３は、入力画像１０１の中心の領域に属すると見做される。入力画像１０１の領域の数が１５個で、ベイヤ配列のカラーフィルタアレイが３色のカラーフィルタからなるため、係数集合１０６は、記憶部１０５に４５通り保持される。係数集合１０６の設計方法は、後述する。

制御部１０８は、取得部１０２に対して、入力された入力画像１０１内の画素集合１０３を指定する。例えば、制御部１０８は、入力画像１０１における任意の画素を代表画素として指定し、取得部１０２は、指定された代表画素によって決定される複数の画素を画素集合１０３として取り出す。取得部１０２は、制御部１０８から指定された位置の画素集合１０３を入力画像１０１から取り出して出力する。

画素集合１０３は、例えば、横５画素×縦５画素の、合計２５画素を含む画素の集合である。なお、画素集合１０３のサイズは、横５画素×縦５画素に限定されない。また、画素集合１０３の形状は、矩形に限定されない。

取得部１０２から出力された画素集合１０３は、畳み込みの際に参照する画素の集合として畳み込み部１０４に入力される。それと共に、畳み込み部１０４は、制御部１０８の指定に応じて記憶部１０５から読み出された係数集合１０６が入力される。畳み込み部１０４は、それぞれ入力された係数集合１０６と画素集合１０３とを畳み込むことで画素集合１０３をフィルタリングし、出力画像１０７における対象画素の値を生成する。

ここで、係数集合１０６の要素数は、画素集合１０３に含まれる画素の数に対応する。例えば、画素集合１０３が２５個の画素の集合である場合、係数集合１０６は、２５個の係数の集合である。対象画素の出力画像１０７内での位置は、制御部１０８によって指定される。

以下では、画素集合１０３に含まれる画素の値を並べた縦ベクトルをベクトルｚで表し、係数集合１０６の要素を並べた縦ベクトルをベクトルｆで表す。したがって、出力画像１０７における対象画素の値は、値ｆ^Tｚで表される。ここで、記号「^T」は、ベクトルの転置を表す。なお、数式および図面においては、ベクトルは、太字で記載している。

制御部１０８は、対象画素と、対象画素の位置に応じて読み出す係数集合１０６と、当該係数集合１０６との畳み込みを行う画素集合１０３とが同期するように制御する。例えば、制御部１０８は、対象画素の位置を出力画像１０７の左上から順に指定する。その対象画素の出力画像１０７における位置に従い、記憶部１０５から読み出す係数集合１０６と、畳み込み部１０４で当該係数集合１０６との畳み込みを行う画素集合１０３とを指定する。

入力画像１０１が、歪曲が補正されたものである場合、画素集合１０３の代表画素は、入力画像１０１において対象画素と同じ位置の画素に設定される。入力画像１０１が、歪曲が補正されていない画像である場合、画素集合１０３の代表画素は、入力画像１０１において対象画素と同じ位置から歪曲に合わせてずらした位置の画素に設定される。これにより、出力画像１０７は歪曲が補正された画像になる。入力画像１０１が、歪曲が補正されていない画像である場合、画素集合１０３の代表画素を、入力画像１０１において対象画素と同じ位置の画素に設定しても構わない。この場合、性能は低いものの、出力画像１０７は歪曲が補正された画像になる。

次に、係数集合１０６の設計方法について説明する。図６は、第１の実施形態による係数集合１０６の一例の設計処理を示すフローチャートである。この図６のフローチャートによる処理は、例えば、画像処理装置１００Ａの外部にてコンピュータなどを用いて実行される。

先ず、ステップＳ６０１で、予め用意された訓練用の理想画像を予め定められた劣化過程で劣化させて、当該理想画像が劣化した劣化画像を生成する。より具体的には、ステップＳ６０１では、理想画像を、光学系によって決まる劣化過程に応じて暈すことで劣化させた劣化画像を生成する。劣化画像の生成には、光学シミュレーションを利用してもよい。ここで、劣化画像は、入力画像１０１に対応し、理想画像は、出力画像１０７に対応する。

劣化過程のうち多くは、ＰＳＦ(Point Spread Function)によって表すことができる。ＰＳＦは、画素集合１０３の代表画素の、入力画像１０１内での位置によって異なる。ＰＳＦは、光学シミュレーションによって取得することができる。例えば、図４に示したデジタルカメラ４００の場合、既知であるレンズ群４０１の特性に基づき光学シミュレーションを行い、ＰＳＦを取得する。

なお、ＰＳＦは、係数集合１０６を保持する単位として利用する、入力画像１０１の分割された領域毎に取得してもよいし、当該領域より細かい領域毎に取得してもよい。ＰＳＦを取得する領域がより細かいほど、劣化過程にモデル誤差が含まれにくくなるので、より好ましい。

次のステップＳ６０２では、劣化画像の各画素を画素集合１０３の代表画素と見做し、画素集合１０３に対応する画素集合を劣化画像から抽出する。以降、この劣化画像から抽出した画素集合を、劣化画像からの画素集合１０３と呼ぶ。この劣化画像からの画素集合１０３の画素の値を並べた縦ベクトルを、ベクトルｚ_i,nで表す。ここで、値ｉは、劣化画像からの画素集合１０３の位置に応じた係数集合１０６のインデクスである。係数集合１０６の数を値Ｉで表すとき、値ｉの取り得る範囲は１≦ｉ≦Ｉとなる。上述したように、入力画像１０１を１５分割し、３色のカラーフィルタを用いる場合、値Ｉ＝４５となる。

ベクトルｚ_i,nにおいて、値ｎは、入力画像１０１の画素集合１０３の位置に応じて劣化画像から抽出した、劣化画像からの画素集合１０３のインデクスである。劣化画像からの画素集合１０３の総数を値Ｎとするとき、値ｎの取り得る範囲は、１≦ｎ≦Ｎとなる。値Ｎは、値ｉに応じて異なってよい。

次に、ステップＳ６０３では、理想画像から、出力画像１０７における対象画素に相当する画素を抽出する。以下では、この抽出された画素も、対象画素と呼び、対象画素値をｘ_i,nで表す。上述したベクトルｚ_i,nと対象画素値ｘ_i,nとが、入力画像１０１における画素集合１０３と、出力画像１０７における対象画素とにそれぞれ対応する。

次に、ステップＳ６０４で、ベクトルｚ_i,nとの畳み込みを行った場合に、対象画素値ｘ_i,nに最も近付く係数集合１０６を、劣化画像からの画素集合１０３の代表画素の位置に応じて学習する。学習により求められたこの係数集合１０６が、記憶部１０５に保持される。

ステップＳ６０４の処理について、より詳細に説明する。画素集合１０３の代表画素の位置に応じた係数集合１０６の要素を並べた横ベクトルを、ベクトルｆ_i ^Tで表す。このとき、ベクトルｆ_i ^Tとベクトルｚ_i,nとを乗算した結果である値ｆ^T _iｚ_i,nが、劣化画像からの画素集合１０３と係数集合１０６とを畳み込んだ結果を表す。

ベクトルｆ_i ^Tとしては、畳み込んだ結果の値ｆ^T _iｚ_i,nの対象画素値ｘ_i,nに対する平均２乗誤差が最小になるものを求める。すなわち、下記の式（１）および式（２）を満たすベクトルｆ_i ^Tを求める。

値（Ｅ_i／Ｎ）が値ｆ^T _iｚ_i,nの対象画素値ｘ_i,nに対する平均２乗誤差であり、式（２）ををベクトルｆ^Tで微分して０と置くことで、ベクトルｆ_i ^Tを計算できる。値Ｎが十分大きければ、下記の式（３）が正則行列となり、式（４）によりベクトルｆ_i ^Tが得られる。このようにして求められたベクトルｆ_i ^Tが、画素集合１０３の位置に応じた係数集合１０６として記憶部１０５に保持される。式（５）は、記憶部１０５に保持される係数集合１０６をより具体的に示す。式（３）が正則行列ではない場合、式（４）や式（５）の逆行列を、一般逆行列にすればよい。

なお、上述では、画素集合１０３の位置に応じた係数集合１０６のインデクスを値ｉとしたが、これはこの例に限定されない。例えば、後述する第１の変形例のように、画素集合１０３の位置に加え、他の基準を追加したインデクスを値ｉとして用いても、本第１の実施形態による学習方法を適用できる。

レンズ群４０１と、ベイヤ配列のカラーフィルタアレイ４０２とを含む単板式センサの光学系で撮像された撮像画像は、撮像画像内における画素集合の位置によって、画像の劣化過程が異なる。第１の実施形態の画像処理装置１００Ａでは、入力画像１０１における画素集合１０３の位置に応じて、訓練用の理想画像に対する２乗誤差が平均的に最小になる係数集合１０６が記憶部１０５に保持されている。そのため、未知の入力画像１０１から生成される出力画像１０７の劣化が抑制され、入力画像１０１に対する理想画像により近付いた出力画像１０７を得ることができる。

なお、上述では、記憶部１０５には、係数集合１０６が予め固定的に保持されるように説明したが、これはこの例に限定されない。図７は、記憶部１０５に保持される係数集合１０６を外部から変更可能とした画像処理装置１００Ｂの一例の構成を示す。記憶部１０５は、画像処理装置１００Ｂの外部で作成された係数集合１２０が入力されると、この係数集合１２０を、新たな係数集合１０６として記憶部１０５に保持させる。

係数集合１２０が入力された時点で、既に記憶部１０５に係数集合１０６が保持されている場合には、既に記憶されている係数集合１０６に対して入力された係数集合１２０を上書きすることが考えられる。これに限らず、記憶部１０５に対して、既に保持されている係数集合１０６に対して入力された係数集合１２０を追加して保持してもよい。

このように、記憶部１０５に対して保持する係数集合１０６を変更可能とすることで、画像処理装置１００Ｂに対する入力画像１０１が、既に記憶されている係数集合１０６において想定される条件とは異なる条件で取得されたものであっても、対応することが可能となる。例えば、上述したデジタルカメラ４００において、レンズ群４０１やカラーフィルタアレイ４０２、撮像素子４０３など入力画像１０１の取得条件が変更された場合であっても、変更された取得条件に対応した係数集合１２０を記憶部１０５に保持させることで、第１の実施形態による効果を実現することができる。

（第１の実施形態の第１の変形例）
上述の第１の実施形態では、画素集合１０３が、横５画素×縦５画素の合計２５画素の集合で構成されるものとしたが、画素集合１０３の構成は、この例に限定されない。第１の実施形態の第１の変形例では、画素集合１０３を、対応するカラーフィルタが同一色の画素の集合で構成する例である。より具体的には、第１の実施形態で構成した横５画素×縦５画素の変更前の画素集合１０３のうち、対応するカラーフィルタが特定の色の画素を抽出して、変更後の画素集合１０３を構成する。

図８は、ＲＧＢ各色のカラーフィルタのうち、Ｒ（赤色）のカラーフィルタに対応する画素（以下、Ｒ色の画素と呼び、他の色についても同様の表現とする）が代表画素である場合の画素集合１０３の例を示す。この場合、変更前の画素集合１０３に含まれる２５画素のうちＲ色のカラーフィルタに対応する画素は９画素であるので、Ｒ色の画素を抽出した変更後の画素集合１０３の画素数は、９個となる。図９は、Ｂ（青色）の画素が代表画素である場合の画素集合１０３の例を示す。この場合も図８の例と同様に、変更後の画素集合１０３の画素数は９個となる。図１０は、Ｇ（緑色）の画素が代表画素の場合の画素集合１０３の例を示す。この場合は、変更前の画素集合１０３に含まれる２５画素のうちＧ色の画素は１３画素であるので、変更後の画素集合１０３の画素数は１３個となる。

Ｒ、ＧおよびＢ各色何れの画素が代表画素の場合であっても、変更後の画素集合１０３の画素数は、変更前の画素集合１０３の画素数よりも少ない。そのため、特定の色の画素を抽出して構成した画素集合１０３を用いることで、畳み込み部１０４における計算コストを抑えることができる。また、係数集合１０６を記憶部１０５に記憶する際の記憶容量が小さくて済む。

光の屈折率が光の波長によって異なるため、たとえ隣接する画素同士であっても、画素に対応するカラーフィルタの色に応じてＰＳＦが異なることになる。したがって、カラーフィルタの色が異なる画素の情報は、対象画素の生成に余り寄与せず、この画素数の変更による画質の劣化は小さい。そのため、第１の実施形態の第１の変形例を用いることで、装置のコストを効率的に削減できる。

（第１の実施形態の第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。第１の実施形態の第２の変形例では、記憶部１０５に保持させる係数集合１０６は、上述した図６のフローチャートに従い学習して設計した係数集合と、他の方法で設計した係数集合とをαブレンディングにより合成することで設計する。

すなわち、上述の方法で学習して求めた係数集合は、平均２乗誤差の小ささという点で最適である。一方、学習結果の評価基準としては、平均２乗誤差の他にも様々に考えられる。そこで、上述した平均２乗誤差を用いて求めた係数集合と、他の評価基準に基づき求めた係数集合とαブレンディングすることにより、当該他の評価基準と、平均２乗誤差とから平均的に優れた係数集合１０６を設計することが可能である。

他の評価基準を用いた方法としては、特許第４９４５５３２号公報に開示される方法を利用できる。これに限らず、ベクトルｆ^Tに関する事前知識や制約を評価基準として式（２）に追加し、係数集合１０６を学習して設計しても構わない。例えば、係数集合１０６における係数の総和が１であるという事前知識から、要素が１のみからなるベクトルとベクトルｆとの内積から１を引いた値の２乗を、式（２）に加えるとよい。加えたこの項は、係数の総和が１に近づく制約項として作用する。したがって、劣化画像からの画素集合１０３の総数Ｎが少ない場合でも、係数の総和が１に近づくようになる。他にも、ベクトルｆ^Tに関する任意の項を式（２）に追加して構わない。これにより、追加した評価基準を小さくする係数集合１０６を設計できる。

（第１の実施形態の第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。上述した第１の実施形態では、画素集合１０３の位置に応じて係数集合１０６を記憶部１０５から読み出していた。より具体的には、画素集合１０３の代表画素が入力画像１０１において属する領域と、当該代表画素に対応するカラーフィルタの色とに応じて、係数集合１０６を記憶部１０５から読み出していた。

これに対して、第１の実施形態の第３の変形例では、画素集合１０３の代表画素が入力画像１０１において属する領域と、当該代表画素に対応するカラーフィルタの色と、光学系の状態に従い変化するＰＳＦとに応じて、係数集合１０６を記憶部１０５から読み出す。ここで、光学系の状態とは、例えば、上述のデジタルカメラ４００の例では、レンズ群４０１におけるズーム機構やフォーカス機構の動作に伴う状態を示す。一例として、レンズ群４０１において、ズーム機構やフォーカス機構の動作によりレンズ位置などが変更されると、この変更に伴いＰＳＦが変化することになる。

そのため、第１の実施形態の第３の変形例では、ズーム動作やフォーカス動作によって変化するＰＳＦに応じて、さらに数種類の場合分けを行う。例えば、ズーム動作やフォーカス動作の代表的な状態毎に光学シミュレーションを行い、当該状態毎のＰＳＦを求めることで、各状態で場合分けされたＰＳＦを得ることができる。したがって、第１の実施形態の第３の変形例では、入力画像１０１の分割領域数と、カラーフィルタの色数と、ＰＳＦを求めた状態数との積の数の係数集合１０６が記憶部１０５に保持されることになる。

上述の第１の実施形態では、入力画像１０１が分割された領域数が１５個で、カラーフィルタの色数が３色であったため、４５種類の係数集合１０６を記憶部１０５に保持していた。これに対し、第１の実施形態の第３の変形例では、一例として、上述の例においてズーム動作やフォーカス動作の代表的な状態数が２であれば、４５×２＝９０種類の係数集合１０６が記憶部１０５に保持される。

また、係数集合１０６の選択に係るパラメータに、光学系の状態を示す情報が追加されたことで、係数集合１０６の学習による設計方法が変更される。すなわち、記憶部１０５に保持される係数集合１０６が、第１の実施形態による４５種類から９０種類に変化したことに伴い、劣化画像からの画素集合１０３の位置に応じた係数集合１０６のインデクスｉの数を示す値Ｉが４５から９０に変更され、値ｉの取り得る範囲が１≦ｉ≦９０となる。

ズーム動作やフォーカス動作による状態変化を示す情報は、画像処理装置１００Ａの外部から入力される。このとき、代表的な状態変化に場合分けされた情報が画像処理装置１００Ａに入力されてもよいし、画像処理装置１００Ａ内において、制御部１０８が状態変化を示す情報を場合分けしてもよい。制御部１０８は、この入力された、代表的な状態変化を示す情報に従い、記憶部１０５からの係数集合１０６の読み出しを制御する。これにより、画素集合１０３の畳み込みを行う係数集合１０６を、ズーム動作やフォーカス動作によって変化するＰＳＦに応じて選択することができ、出力画像１０７をより高画質化することができる。

（第１の実施形態の第４の変形例）
次に、第１の実施形態の第４の変形例について説明する。第１の実施形態の第４の変形例は、上述した第１の実施形態による画像処理装置１００Ａに対して、畳み込み部１０４に入力される画素集合１０３のノイズを除去するノイズ除去部を追加した例である。

図１１は、第１の実施形態の第４の変形例による画像処理装置１００Ｃの一例の構成を示す。なお、図１１において、上述した図１と対応する部分は同一の符号を付して、詳細な説明を省略する。

図１１において、取得部１０２から出力された画素集合１０３がノイズ除去部１１０２に入力される。ノイズ除去部１１０２は、制御部１０８に指定されるノイズ除去パラメータ１１０３を記憶部１０５から読み出して、ノイズ除去パラメータ１１０３に従い画素集合１０３に含まれるノイズを除去して、ノイズが除去された画素集合１１０４を生成する。ノイズ除去部１１０２に適用可能なノイズ除去方法は、特に限定されない。例えば、εフィルタやバイラテラルフィルタを、ノイズ除去部１１０２として適用することができる。ノイズ除去パラメータ１１０３は、例えば、ノイズ除去部１１０２におけるノイズ除去の強度を設定する。

画素集合１１０４は、畳み込み部１０４に入力される。畳み込み部１０４は、第１の実施形態と同様にして記憶部１０５から係数集合１０６を読み出す。そして、畳み込み部１０４は、画素集合１１０４を第１の実施形態で畳み込み部１０４に入力される画素集合１０３と見做して、記憶部１０５から読み出した係数集合１０６と画素集合１１０４とを畳み込むことで、出力画像１０７を生成する。

ノイズ除去パラメータ１１０３は、予め作成され、係数集合１０６と共に記憶部１０５に保持される。ノイズ除去パラメータ１１０３および係数集合１０６は、劣化画像から抽出した劣化画像からの画素集合１０３に対してノイズ除去パラメータ１１０３に従いノイズ除去部１１０２でノイズ除去を行い、畳み込み部１０４で係数集合１０６により畳み込みを行った場合の出力画像１０７の、当該劣化画像の元になる訓練用の理想画像に対する平均２乗誤差が最小になるように学習される。

より具体的には、先ず、ノイズ除去の際に参照される画素集合１０３の位置に応じて、ノイズ除去パラメータ１１０３の候補を複数設定する。そして、この複数の候補から選択した１のノイズ除去パラメータ１１０３を、ノイズ除去部１１０２に仮に設定する。

ノイズ除去部１１０２は、取得部１０２から入力された劣化画像からの画素集合１０３のノイズを、この仮に設定されたノイズ除去パラメータ１１０３を用いて除去して、画素集合１１０４を出力する。畳み込み部１０４は、この画素集合１１０４を、第１の実施形態においてベクトルｚ_i,nとして表される劣化画像からの画素集合１０３と見做して、第１の実施形態と同様にして、図６のフローチャートのステップＳ６０３およびＳ６０４の処理に従い係数集合１０６を算出する。算出された係数集合１０６は、仮に設定されたノイズ除去パラメータ１１０３を用いた場合に最適となる係数集合１０６である。この係数集合１０６を算出した際の理想画像に対する平均２乗誤差を、当該仮に設定されたノイズ除去パラメータ１１０３と、当該係数集合１０６とに対応付けて記憶しておく。

複数設定されたノイズ除去パラメータ１１０３のうち、他のノイズ除去パラメータ１１０３についても、順次、ノイズ除去部１１０２に対して仮に設定して同様にして係数集合１０６を算出する。そして、当該係数集合１０６を算出した際の理想画像に対する平均２乗誤差を、仮に設定されたノイズ除去パラメータ１１０３と、算出した係数集合１０６とに対応付けて記憶しておく。

このようにしてノイズ除去パラメータ１１０３の複数の候補にそれぞれについて記憶された平均２乗誤差のうち、最小の平均２乗誤差に対応するノイズ除去パラメータ１１０３と係数集合１０６との組を、記憶部１０５に保持する。

このように記憶部１０５に保持されたノイズ除去パラメータ１１０３と係数集合１０６とを、制御部１０８が指定する画素集合１０３に応じて記憶部１０５から読み出すことで、ノイズを含む入力画像１０１が入力された場合であっても、高い画質の出力画像１０７を生成することが可能となる。

なお、第１の実施形態の第４の変形例では、ノイズ除去パラメータ１１０３が、画素集合１０３の位置に応じて制御部１０８によって指定されるものとして説明したが、これはこの例に限定されない。

例えば、制御部１０８は、画素集合１０３の位置と、画素集合１０３を構成する画素値の平均値または加重平均値に応じて、ノイズ除去パラメータ１１０３を指定することも可能である。入力画像１０１は、この画素値の平均値または加重平均値が大きいほど、ショットノイズが多くなるため、画素値の平均値や加重平均値に基づきノイズ除去パラメータ１１０３を指定することで、ショットノイズに適応的な係数集合１０６を設計できる。

また例えば、ノイズ除去パラメータ１１０３は、画素集合１０３の位置によらず一定でも構わない。この場合、画素集合１０３の位置によらず一定という条件の中で、抽出画素集合と理想画像との平均２乗誤差を最小にできる。また、記憶部１０５において、ノイズ除去パラメータ１１０３を保持するための領域の容量が小さくて済む。

さらに、第１の実施形態の第４の変形例では、記憶部１０５に保持するノイズ除去パラメータ１１０３を、事前の学習によって設計したが、ノイズ除去パラメータ１１０３を経験的に定めても構わない。学習によらないノイズ除去パラメータ１１０３を用いる場合であっても、ノイズ除去部１１０２で入力画像１０１のノイズを除去できるため、第１の実施形態と比較して、出力画像１０７を高画質化することができる。

（第１の実施形態の第５の変形例）
次に、第１の実施形態の第５の変形例について説明する。上述の第１の実施形態では、画素集合１０３の位置に応じて、記憶部１０５から読み出す係数集合１０６を切り替えた。これに対して、第１の実施形態の第５の変形例では、画素集合１０３の位置と、画素集合１０３の画像パターンを解析した解析結果とに応じて、記憶部１０５から読み出す係数集合１０６を切り替える。

図１２は、第１の実施形態の第５の変形例による画像処理装置１００Ｄの一例の構成を示す。なお、図１２において、上述した図１１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１２において、解析部１２０１は、取得部１０２から出力される画素集合１０３が入力され、入力された画素集合１０３の画像パターンを解析する。画像パターンの解析結果は、制御部１２０２に入力される。解析部１２０１は、入力された画素集合１０３の画像パターンを解析する。例えば、解析部１２０１は、画素集合１０３による画像の特徴量を求め、当該画素集合１０３による画像を、この特徴量に基づき画像パターン毎に分類することが考えられる。

解析部１２０１は、解析結果を制御部１２０２に入力する。また、記憶部１０５には、画像パターンに応じて学習された係数集合１０６を保持しておく。例えば、画素集合１０３を解析して得られる代表的な複数種類の画像パターンを定め、この複数種類の画像パターン毎に、係数集合１０６の設計を行うことが考えられる。一例として、上述の例において画像パターンの種類が３種類であれば、４５×３＝１３５種類の係数集合１０６が記憶部１０５に保持される。

また、係数集合１０６の選択に係るパラメータに、画像パターンを示す情報が追加されたことで、係数集合１０６の学習による設計方法が変更される。すなわち、記憶部１０５に保持される係数集合１０６が、第１の実施形態による４５種類から例えば１３５種類に変化したことに伴い、抽出画素集合の位置に応じた係数集合１０６のインデクスｉの数を示す値Ｉが４５から１３５に変更され、値ｉの取り得る範囲が１≦ｉ≦１３５となる。

制御部１２０２は、画素集合１０３の位置と、入力された解析結果とに応じて、記憶部１０５から読み出す係数集合１０６を指定する。これにより、第１の実施形態の第５の変形例を適用することで、画素集合１０３の位置だけでなく、画素集合１０３の画像パターンに応じた出力画像１０７の高画質化がなされる。

（第１の実施形態の第６の変形例）
上述の第１の実施形態では、入力画像１０１に係るカラーフィルタアレイがＲＧＢ各色によるベイヤ配列の単位カラーフィルタアレイに基づくものとして説明したが、各実施形態に適用可能なカラーフィルタアレイは、ベイヤ配列に限らず、また、カラーフィルタアレイを構成するカラーフィルタも、ＲＧＢ各色に限定されない。第１の実施形態の第６の変形例は、入力画像１０１に係るカラーフィルタアレイを、ＲＧＢ各色によるベイヤ配列の単位カラーフィルタアレイ以外の単位カラーフィルタアレイを用いて構成した例である。

ＲＧＢ各色によるベイヤ配列以外の配列の単位カラーフィルタアレイとしては、図１３に例示されるような、Ｒ、Ｇ、Ｂの３色のカラーフィルタと、カラーフィルタなしのＷ（白色）からなるＲＧＢＷ型の単位カラーフィルタアレイ１３００が考えられる。Ｗ（白色）の部分には、何も設置しなくても構わないし、ガラスのような透明なものをカラーフィルタの代わりに配置しても構わない。Ｗ（白色）の画素には、カラーフィルタが無いため、感度が高く、暗い場所を撮影した場合でも、ノイズが少ない。図１４は、この単位カラーフィルタアレイ１３００を配列したカラーフィルタアレイ１３０１の例を示す。この場合、このカラーフィルタアレイ１３０１を介して取得される入力画像１０１は、Ｒ成分、Ｇ成分、Ｂ成分およびＷ成分からなるＲＡＷ画像となる。

カラーフィルタの配列がベイヤ配列と異なるカラーフィルタアレイ１３０１を用いた場合であっても、係数集合１０６は、上述の第１の実施形態と同様に、式（１）〜式（４）を用いて学習することができる。この場合、画素集合１０３の画素の値を並べた縦ベクトルであるベクトルｚ_i,nがＲ成分、Ｇ成分、Ｂ成分およびＷ成分からなる点と、対象画素値ｘ_i,nの成分がＲ成分、Ｇ成分、Ｂ成分およびＷ成分のうち何れかである点が、第１の実施形態とは異なる。

上述では、ベイヤ配列と異なる単位カラーフィルタアレイとして、Ｒ、Ｇ、Ｂ、Ｗ（白色）の４色のカラーフィルタを配置した単位カラーフィルタアレイ１３００の例について説明したが、これはこの例に限定されない。例えば、第１の実施形態の第６の変形例は、マゼンタ、黄色およびシアンの３色による補色型の単位カラーフィルタアレイにも、同様にして適用可能である。

このように、第１の実施形態の第６の変形例によれば、入力画像１０１を得る光学系に、ベイヤ配列と異なる配列の単位カラーフィルタアレイによるカラーフィルタアレイを用いた場合であっても、出力画像１０７の高画質化が可能である。

第１の実施形態の第６の変形例では、上述したカラーフィルタ配列のカラーフィルタアレイに限らず、任意のカラーフィルタ配列の単位カラーフィルタアレイが繰り返されたカラーフィルタアレイを含む光学系を介して撮像した画像にも適用可能である。

一例として、光学系が、各色のカラーフィルタが繰り返し配列されない、すなわち、各色のカラーフィルタが規則的に配列されない特殊なカラーフィルタアレイを含む場合も考えられる。第１の実施形態の第６の変形例では、このような特殊なカラーフィルタアレイを含む光学系を介して撮像された画像に対しても適用可能である。この場合、この特殊なカラーフィルタアレイ全体が唯一の単位カラーフィルタアレイであると見做すことで、第１の実施形態による手法を適用可能である。

（第１の実施形態の第７の変形例）
次に、第１の実施形態の第７の変形例について説明する。第１の実施形態の第７の変形例は、画素集合１０３と係数集合１０６との畳み込みによりノイズを除去するようにした例である。すなわち、第１の実施形態の第７の変形例においては、理想画像から劣化画像を生成する際に、理想画像に対して光学系に係る暈けを加え、さらに、この暈した理想画像に対してノイズを付加して劣化させた劣化画像を用いて、第１の実施形態と同様にして係数集合１０６の学習を行う。これにより、画素集合１０３の係数集合１０６への畳み込みにより、暈け除去とノイズ除去の両方が同時に実現される。

この第１の実施形態の第７の変形例のさらに変形として、画素集合１０３の係数集合１０６への畳み込みにより、暈けが除去されずに、ノイズだけが除去されるようにすることも可能である。より具体的には、劣化画像を、訓練用の理想画像に対して暈けを加えずに、ノイズを付加することで劣化させて生成する。この理想画像と劣化画像との組を用いて、第１の実施形態と同様にして係数集合１０６を設計し、記憶部１０５に保持させる。畳み込み部１０４が、このようにして記憶部１０５に保持された係数集合１０６を記憶部１０５から読み出して、当該画素集合１０３との畳み込みを行うことで、出力画像１０７におけるノイズを抑制できる。

このとき、ノイズを抑制するだけであれば、畳み込みの際に参照する画素集合１０３の位置に応じて係数集合１０６を用意しなくてもよい。画素集合１０３に含まれる代表画素の画素値と、画素集合１０３に含まれる画素の画素値の平均値と、画素集合に含まれる画素の画素値の加重平均値の何れか一方に応じて係数集合１０６を設計して記憶部１０５に保持する。

そして、例えば制御部１０８は、実際の入力画像１０１から抽出した画素集合１０３に基づき例えば代表画素の画素値を求め、求められた画素値に応じて記憶部１０５から読み出す係数集合１０６を指定する。畳み込み部１０４は、記憶部１０５から、制御部１０８に指定された係数集合１０６を読み出して、画素集合１０３との畳み込みを行う。これにより、出力画像１０７におけるショットノイズを効率的に抑制できる。

（第１の実施形態の第８の変形例）
次に、第１の実施形態の第８の変形例について説明する。第１の実施形態の第８の変形例では、画素集合１０３の代表画素が入力画像１０１において属する領域と、当該代表画素に対応するカラーフィルタの色と、入力画像１０１を出力する撮像素子が受光した光量とに応じて、係数集合１０６を記憶部１０５から読み出す。

入力画像１０１におけるショットノイズは、入力画像１０１を出力する撮像素子が受光した光量が小さいほど大きい。訓練用の理想画像から劣化画像を生成するためにノイズが付加される場合は、撮像素子が受光した光量を既知であると見做すことができる。一方、実際の撮像により得られる入力画像１０１にはノイズが含まれるため、撮像素子が受光した光量は未知である。そこで、入力画像１０１に基づき撮像素子が受光した光量を推定し、推定した光量の値に応じて画素集合１０３との畳み込みを行う係数集合１０６を選択する仕組みを導入することで、ショットノイズの除去性能を高めることが可能となる。

撮像素子が受光した光量の推定値としては、画素集合１０３に含まれる代表画素の画素値を用いることができる。これに限らず、当該推定値として、画素集合１０３に含まれる画素値の平均値や加重平均値を用いてもよい。すなわち、例えば画素集合１０３に含まれる代表画素の画素値と、画素集合１０３に含まれる画素値の平均値と、画素集合１０３に含まれる画素値の加重平均値のうちの何れかを光量の推定値として選択する。そして、選択された光量の推定値毎、ならびに、畳み込み部１０４における畳み込みの際に参照する画素集合１０３の位置毎に係数集合１０６を設計して記憶部１０５に保持する。

そして、例えば制御部１０８は、実際の入力画像１０１から抽出した画素集合１０３に基づき光量の推定値を求め、求められた推定値と画素集合１０３の位置とに応じて、畳み込み部１０４に対して、記憶部１０５から読み出す係数集合１０６を指定する。畳み込み部１０４は、記憶部１０５から、制御部１０８に指定された係数集合１０６を読み出して、画素集合１０３との畳み込みを行う。これにより、出力画像１０７におけるショットノイズの除去性能が高くなる。

（第２の実施形態）
次に、第２の実施形態について説明する。上述した第１の実施形態および第１の実施形態の各変形例では、入力画像１０１と係数集合１０６とを畳み込むことで暈け除去やノイズ除去といった、高画質化を行なっている。これに対して、第２の実施形態では、入力画像１０１と係数集合との畳み込みを行うことでデモザイキング処理を実行する。

図１５は、第２の実施形態に係る画像処理装置１００Ｅの一例の構成を示す。なお、図１５において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

第２の実施形態に係る画像処理装置１００Ｅでは、記憶部１０５に保持される係数集合１０６’が、第１の実施形態に係る画像処理装置１００Ａの記憶部１０５に保持される係数集合１０６と異なる。また、第１の実施形態では、画像処理装置１００Ａから出力される出力画像１０７が、各画素がＲＧＢ各色のうち何れか１色の値を持つＲＡＷ画像である。これに対し、第２の実施形態による画像処理装置１００Ｅでは、ＲＡＷ画像である入力画像１０１の色が補間され、各画素がＲＧＢ各色の値を持つフルカラー画像が出力画像１５０１として出力される。

以下、第２の実施形態による係数集合１０６’の設計方法について詳細に説明する。記憶部１０５は、画素集合１０３の位置に応じたフィルタの係数集合１０６’が保持される。より詳細には、係数集合１０６’は、画素集合１０３の代表画素が入力画像１０１において属する領域、ならびに、画素集合１０３の代表画素の、単位カラーフィルタアレイにおける位置毎に保持される。ここで、画素集合１０３の代表画素は、例えば、画素集合１０３の重心の画素である。

単位カラーフィルタアレイが、例えば図２に例示するＲＧＢ各色のカラーフィルタによるベイヤ配列のカラーフィルタアレイであれば、単位カラーフィルタアレイにおける位置は４種類となる。画素集合１０３の代表画素が入力画像１０１において属する領域と、画素集合１０３の代表画素のカラーフィルタの色とが共に、画素集合１０３の位置によって決まる。

入力画像１０１の領域の数が１５個で、単位カラーフィルタアレイにおける位置が４種類である場合、係数集合１０６’は、記憶部１０５に６０通り保持される。係数集合１０６’の設計方法は、後述する。

取得部１０２から出力された画素集合１０３は、畳み込み部１０４に入力される。それと共に、畳み込み部１０４は、制御部１０８の指定に応じて記憶部１０５から係数集合１０６’を読み出す。畳み込み部１０４は、記憶部１０５から読み出した係数集合１０６’と、入力された画素集合１０３とを畳み込んで画素集合１０３をフィルタリングし、出力画像１５０１における対象画像のＲＧＢ各値を生成する。

ここで、係数集合１０６’の要素数は、画素集合１０３に含まれる画素数の３倍となる。例えば、画素集合１０３が２５個の画素の集合である場合、係数集合１０６’は、７５個の係数の集合とされる。対象画素の出力画像１５０１内での位置は、制御部１０８によって指定される。

以下では、画素集合１０３に含まれる画素の値を並べた縦ベクトルを上述と同様にベクトルｚで表し、係数集合１０６’の要素を並べた３行×２５列の行列を行列Ｆで表す。したがって、出力画像１５０１における対象画素のＲ値とＧ値とＢ値とを並べた３次元の縦ベクトルは、３次元ベクトルＦｚで表される。なお、数式および図面においては、ベクトルを太字表す。また、行列は、スカラーと同じく斜体字で表す。

次に、第２の実施形態に係る係数集合１０６’の設計方法について、上述した図６のフローチャートを参照しながら説明する。

先ず、ステップＳ６０１で、訓練用の理想画像を用意し、カラーフィルタアレイによって決まる劣化過程に応じて理想画像から色を間引くことで劣化させて、当該理想画像が劣化した劣化画像を生成する。単位カラーフィルタアレイが図２のベイヤ配列のカラーフィルタアレイである場合、色の間引き方は、画素集合１０３の代表画素が、単位カラーフィルタアレイにおける４種類の位置のうちどの位置にあるかによって決まる。

次のステップＳ６０２では、劣化画像の各画素を画素集合１０３の代表画素と見做し、画素集合１０３に対応する画素集合を劣化画像から抽出する。以降、この劣化画像から抽出した画素集合を、劣化画像からの画素集合１０３と呼ぶ。この劣化画像からの画素集合１０３の画素の値を並べた縦ベクトルを、ベクトルｚ_i,nで表す。ベクトルｚ_i,nにおいて、値ｉは、劣化画像からの画素集合１０３の位置に応じた係数集合１０６’のインデクスであり、値ｎは、入力画像１０１の画素集合１０３の位置に応じて劣化画像から抽出した、劣化画像からの画素集合１０３のインデクスである。

ここで、第２の実施形態では、画素集合１０３の位置の定義が、第１の実施形態におけるそれとは異なる。すなわち、第２の実施形態では、画素集合１０３の代表画素の位置は、入力画像１０１における代表画素の位置と、単位カラーフィルタアレイにおける代表画素の位置とにより定義される。

次に、ステップＳ６０３では、理想画像から、出力画像１５０１における対象画素に相当する画素を抽出する。以下では、この抽出された画素も、対象画素と呼ぶ。対象画素のＲ値とＧ値とＢ値とを順に並べた３次元ベクトルをベクトルｘ_i,nで表す。なお、数式および図面においては、ベクトルを示す「ｘ」を太字で表す。上述したベクトルｚ_i,nとベクトルｘ_i,nとが、入力画像１０１における画素集合１０３と、出力画像１５０１における対象画素とにそれぞれ対応する。

次に、ステップＳ６０４で、ベクトルｚ_i,nに畳み込んだ場合に、ベクトルｘ_i,nに平均的に最も近付く係数集合１０６’を、画素集合１０３の代表画素の位置に応じて学習する。この例では、画素集合１０３の代表画素の位置とは、入力画像１０１における代表画素の位置と、図２の単位カラーフィルタアレイにおける代表画素の位置とから決まる。学習により求められたこの係数集合１０６’が、記憶部１０５に保持される。

第２の実施形態によるステップＳ６０４の処理について、より詳細に説明する。画素集合１０３の代表画素の位置に応じた係数集合１０６’の要素を並べた行列を行列Ｆ_iで表す。この例では、行列Ｆ_iの行数は、ＲＧＢ各色に対応して３行であり、行列Ｆ_iの列数は、ベクトルｚ_i,nの次元数と同じである。

行列Ｆ_iの第１行を抽出した横ベクトルは、対象画素の例えばＲ値を生成するフィルタの係数であり、第２行を抽出した横ベクトルは、対象画素の例えばＧ値を生成するフィルタの係数である。同様に、行列Ｆ_iの第３行を抽出した横ベクトルは、対象画素の例えばＢ値を生成するフィルタの係数である。勿論、行列Ｆ_iの第１行、第２行および第３行と、ＲＧＢ各値との対応関係は、この例に限定されない。

このとき、ベクトル行列Ｆ_iとベクトルｚ_i,nとを乗算した結果である値Ｆ_iｚ_i,nが、劣化画像からの画素集合１０３に対して係数集合１０６’を畳み込んだ結果を表す。

行列Ｆ_iとしては、値Ｆ_iｚ_i,nの対象画素値ｘ_i,nに対する平均２乗誤差が最小になるものを求める。すなわち、各の式（６）および式（７）を満たす行列Ｆ_iを求める。

値（Ｅ’_i／Ｎ）が値Ｆ_iｚ_i,nの対象画素値ｘ_i,nに対する平均２乗誤差であり、式（７）を行列Ｆ_iで微分して０と置くことで、行列Ｆ_iを計算できる。値Ｎが十分大きければ、上述した式（３）が正則行列となり、式（８）により行列Ｆ_iが得られる。このようにして求められた行列Ｆ_iが、画素集合１０３の位置に応じた係数集合１０６’として記憶部１０５に保持される。式（９）は、記憶部１０５に保持される係数集合１０６’をより具体的に示す。式（３）が正則行列ではない場合、式（８）や式（９）の逆行列を、一般逆行列にすればよい。

第２の実施形態の畳み込み処理により、デモザイキング処理がなされる。このデモザイキング処理は、訓練用の理想画像に対する平均２乗誤差を最小化するため、未知の入力画像１０１が入力された場合でも、平均的に２乗誤差を小さくできると期待される。

なお、第２の実施形態を、第１の実施形態の各変形例と組み合わせることができる。一例として、第２の実施形態と第１の実施形態の第２の変形例とを組み合わせることができる。この場合、第２の実施形態において図６のフローチャートに従い説明した方法で設計した係数集合と、他の方法で設計した係数集合とをαブレンディングにより合成することで、係数集合１０６’を設計する。これにより、第２の実施形態の方法により設計した係数集合１０６’の効果に対して、他の方法で設計した係数集合の効果が継承される。これに限らず、式（７）に別の評価基準を追加して学習し、係数集合１０６’を設計できる。

また他の例として、第２の実施形態と第１の実施形態の第３の変形例とを組み合わせることができる。この場合、係数集合１０６’の種類として、光学系の状態が加えられるため、記憶部１０５に保持する係数集合１０６’の種類が増え、画質のより一層の向上が期待できる。

さらに他の例として、第２の実施形態と第１の実施形態の第４の変形例とを組み合わせることができる。この場合、デモザイキングに加えてノイズ除去がなされ、画質のより一層の向上が期待できる。さらにまた他の例として、第２の実施形態と第１の実施形態の第５の変形例とを組み合わせることができる。この場合、画素集合１０３の画像パターンに応じた処理がなされ、画質のより一層の向上が期待できる。

また他の例として、第２の実施形態と第１の実施形態の第６の変形例とを組み合わせることができる。この場合、単位カラーフィルタアレイがベイヤ配列とは異なる、例えばＲＧＢＷの４色のカラーフィルタの配列からなるカラーフィルタアレイを備えたカメラや、その他のカラーフィルタの配列からなるカラーフィルタアレイを備えたカメラに適用可能なデモザイキングを実現できる。単位カラーフィルタアレイがＲＧＢＷの４色のカラーフィルタの配列からなるカラーフィルタアレイを備えたカメラに対しては、ＲＧＢ値からＷ値を生成する式を設定することで、訓練用の理想画像から劣化画像を生成でき、第２の実施形態を適用することが可能となる。ＲＧＢＷの４色の画素のうち、Ｗ（白色）の画素には、他の色よりも多くの光が入射するため、ホワイトバランス処理も同時に行うことができる。

さらに他の例として、第２の実施形態と第１の実施形態の第７の変形例とを組み合わせることができる。この場合、畳み込みにより、デモザイキングとノイズ除去とを同時に実行することができる。

また、上述では、第２の実施形態において、係数集合１０６’が、画素集合１０３の代表画素が入力画像１０１において属する領域と、画素集合１０３の代表画素の単位カラーフィルタアレイにおける位置毎に記憶部１０５に保持されるように説明したが、これはこの例に限定されない。例えば、係数集合１０６’を、画素集合１０３の代表画素が入力画像１０１において属する領域とは無関係に、画素集合１０３の代表画素の単位カラーフィルタアレイにおける位置毎に、記憶部１０５に保持してもよい。これにより、記憶部１０５に保持する係数集合１０６’の数を抑制しつつ、効果的にデモザイキングを行うことが可能となる。

（第３の実施形態）
次に、第３の実施形態について説明する。上述した第２の実施形態では、入力画像１０１に対して係数集合の畳み込みを行うことでデモザイキングを行なっていた。これに対して、第３の実施形態では、入力画像１０１に対して係数集合の畳み込みを行うことで、入力画像１０１の高画質化と、デモザイキングとを共に実行する。

図１６は、第３の実施形態に係る画像処理装置１００Ｆの一例の構成を示す。なお、図１６において、上述の図１５と共通する部分には同一の符号を付して、詳細な説明を省略する。図１６に示すように、第３の実施形態に係る画像処理装置１００Ｆは、第２の実施形態に係る画像処理装置１００Ｅに対して出力画像と係数集合とが異なっている。以下では、第３の実施形態の説明を、第２の実施形態との相違点を中心に行う。

第３の実施形態における出力画像１６０１は、上述した第２の実施形態の出力画像１５０１と同様に、各画素に例えばＲＧＢ各色の値を持つフルカラー画像である。このとき、第２の実施形態における出力画像１５０１がデモザイキングのみが施された画像であるのに対し、第３の実施形態による出力画像１６０１は、デモザイキングに加えて暈け除去が施された画像となっている。

記憶部１０５は、画素集合１０３の位置に応じたフィルタの係数集合１０６”が保持される。係数集合１０６”は、画素集合１０３の代表画素が入力画像１０１において属する領域、画素集合１０３の代表画素のカラーフィルタの色、ならびに、画素集合１０３の代表画素の単位カラーフィルタアレイにおける位置毎に保持される。ここで、画素集合１０３の代表画素は、例えば、画素集合１０３の重心の画素である。

単位カラーフィルタアレイが、例えば図２に例示するＲＧＢ各色のカラーフィルタによるベイヤ配列のカラーフィルタアレイであれば、単位カラーフィルタアレイにおける位置は４種類となる。画素集合１０３の代表画素が入力画像１０１において属する領域も、画素集合１０３の代表画素のカラーフィルタの色も共に、画素集合１０３の位置によって決まる。

入力画像１０１の領域の数が１５個で、ベイヤ配列の単位カラーフィルタアレイが３色からなり、単位カラーフィルタアレイにおける位置が４種類であるため、係数集合１０６”は、記憶部１０５に１８０通り保持される。係数集合１０６”の設計方法は、後述する。

第３の実施形態においても、記憶部１０５に保持される係数集合１０６”は、学習によって設計される。第３の実施形態に係る係数集合１０６”の設計方法について、上述した図６のフローチャートを参照しながら説明する。先ず、ステップＳ６０１で、予め用意された訓練用の理想画像を、光学系によって決まる劣化過程に応じて暈すと共に、色を間引くことで劣化させて、当該理想画像が劣化した劣化画像を生成する。

次のステップＳ６０２およびステップＳ６０３の処理は、上述した第２の実施形態における処理と同等である。すなわち、ステップＳ６０２では、劣化画像の各画素を画素集団１０３の代表画素と見做し、劣化画素から画素集合１０３に対応する画素集合（劣化画素による画素集合１０３）を抽出する。劣化画像からの画素集合１０３の画素の値を並べた縦ベクトルを、ベクトルｚ_i,nで表す。次のステップＳ６０３では、理想画像から、出力画像１６０１における対象画素に相当する画素を抽出する。対象画素のＲ値とＧ値とＢ値とを順に並べた３次元ベクトルをベクトルｘ_i,nで表す。

次に、ステップＳ６０４で、ベクトルｚ_i,nとの畳み込みを行った場合に、ベクトルｘ_i,nに平均的に最も近付く係数集合１０６”を、画素集合１０３の代表画素の位置に応じて学習する。値ｉは、画素集合１０３の位置に応じた係数集合１０６”のインデクスである。また、値ｎは、画素集合１０３の位置に応じて抽出した画素集合１０３のインデクスである。

ここで、第３の実施形態における画素集合１０３の位置の定義が、第２の実施形態におけるそれとは異なる。すなわち、第３の実施形態では、画素集合１０３の代表画素の位置は、入力画像１０１における代表画素の位置と、代表画素のカラーフィルタの色と、単位カラーフィルタアレイにおける代表画素の位置とにより定義される。

次のステップＳ６０４で、ベクトルｚ_i,nに畳み込んだ場合に、ベクトルｘ_i,nに平均的に最も近付く係数集合１０６”を、画素集合１０３の代表画素の位置に応じて学習する。ベクトルｚ_i,nおよびベクトルｘ_i,nから係数集合１０６”である行列Ｆ_iを算出する方法は、第２の実施形態での算出方法と同様であり、上述の式（６）、式（７）および式（８）に従い行列Ｆ_iを求める。記憶部１０５に保持される係数集合１０６”も、第２の実施形態による係数集合１０６’と同様に、式（９）で表される。

このように、第３の実施形態に係る画像処理装置１００Ｆでは、入力画像１０１に対してデモザイキングおよび暈け除去が施された出力画像１６０１を得ることができる。第３の実施形態による処理では、訓練用の理想画像に対する平均２乗誤差を最小化するため、未知の入力画像１０１が入力された場合でも、平均的に２乗誤差を小さくできると期待される。

なお、第３の実施形態を、第１の実施形態の各変形例と組み合わせることができる。一例として、第３の実施形態と第１の実施形態の第２の変形例とを組み合わせることができる。この場合、第３の実施形態において図６のフローチャートを参照して説明した方法で設計した設計集合と、他の方法で設計した係数集合とをαブレンディングにより合成することで、係数集合１０６”を設計する。これにより、第３の実施形態の方法により設計した係数集合１０６”の効果に対して、他の方法で設計した係数集合の効果が継承される。

また他の例として、第３の実施形態と第１の実施形態の第３の変形例とを組み合わせることができる。この場合、係数集合１０６”の種類として、光学系の状態が加えられるため、記憶部１０５に保持する係数集合１０６”の種類が増え、画質のより一層の向上が期待できる。

さらに他の例として、第３の実施形態と第１の実施形態の第４の変形例とを組み合わせることができる。この場合、デモザイキングおよび暈け除去に加えてノイズ除去がなされ、画質のより一層の向上が期待できる。さらにまた他の例として、第３の実施形態と第１の実施形態の第５の変形例とを組み合わせることができる。この場合、画素集合１０３の画像パターンに応じた処理がなされ、画質のより一層の向上が期待できる。

また他の例として、第２の実施形態と第１の実施形態の第６の変形例とを組み合わせることができる。この場合、単位カラーフィルタアレイがベイヤ配列とは異なる、例えばＲＧＢＷの４色のカラーフィルタの配列からなるカラーフィルタアレイを備えたカメラや、その他のカラーフィルタの配列からなるカラーフィルタアレイを備えたカメラに適用可能なデモザイキングおよび暈け除去を実現できる。

さらに他の例として、第３の実施形態と第１の実施形態の第７の変形例とを組み合わせることができる。この場合、畳み込みにより、デモザイキングおよび暈け除去とノイズ除去とを同時に実行することができる。

（他の実施形態）
次に、他の実施形態について説明する。他の実施形態は、上述した第１の実施形態、第２の実施形態または第３の実施形態を、汎用のコンピュータ装置を基本ハードウェアとして用いて実現する例である。以下では、第１の実施形態による画像処理装置１００Ａをコンピュータ装置上で実現する例について説明する。

図１７は、上述の第１の実施形態による画像処理装置１００Ａに適用可能なコンピュータ装置１７００の一例の構成を示す。なお、第１の実施形態の各変形例による画像処理装置１００Ｂ〜１００Ｄ、第２の実施形態による画像処理装置１００Ｅ、ならびに、第３の実施形態による画像処理装置１００Ｆも、この画像処理装置１００Ａと同様にしてコンピュータ装置１７００にて実現可能であるので、ここでの説明を省略する。

図１７に例示されるコンピュータ装置１７００において、バス１７０１に対してＣＰＵ１７０２、ＲＯＭ(Read Only Memory)１７０３、ＲＡＭ(Random Access Memory)１７０４および表示制御部１７０５が接続される。また、バス１７０１に対して、ハードディスク１７０７、ドライブ装置１７０８、入力部１７０９および通信Ｉ／Ｆ１７１０が接続される。

ＣＰＵ１７０２は、ＲＯＭ１７０３およびハードディスク１７０７に記憶されるプログラムに従い、ＲＡＭ１７０４をワークメモリとして用いて、このコンピュータ装置１７００の全体を制御する。表示制御部１７０５は、ＣＰＵ１７０２により生成された表示制御信号を、表示装置１７０６が表示可能な信号に変換して出力する。

ハードディスク１７０７は、上述のＣＰＵ１７０２が実行するためのプログラムが格納されると共に、入力画像１０１となる画像データや他のデータが格納される。ドライブ装置１７０８は、脱着可能な記録媒体１７２０が装填可能とされ、当該記録媒体１７２０に対するデータの読み書きを行うことができる。ドライブ装置１７０８が対応可能な記録媒体１７２０としては、ＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)といったディスク記録媒体や、不揮発性の半導体メモリが考えられる。

入力部１７０９は、外部からのデータの入力を行う。例えば、入力部１７０９は、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。入力画像１０１の画像データは、この入力部１７０９から入力することができる。

また、入力部１７０９に対して、キーボードやマウスといった入力デバイスが接続される。ユーザは、例えば表示装置１７０６に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ装置１７００に対して指示を出すことができる。

通信Ｉ／Ｆ１７１０は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。入力画像１０１の画像データを、この通信Ｉ／Ｆ１７１０を介して外部の通信ネットワークから供給してもよい。

上述した取得部１０２、畳み込み部１０４および制御部１０８は、ＣＰＵ１７０２上で動作する画像処理プログラムによって実現される。また、記憶部１０５は、ＨＤ１７０７やＲＡＭ１７０４により実現される。

各実施形態および各変形例に係る画像処理の際に用いられる係数集合１０６、１０６’および１０６”は、他のコンピュータ装置で予め作成し、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体１７２０に記録して提供される。これに限らず、係数集合１０６、１０６’および１０６”を、このコンピュータ装置１７００上で作成し、ハードディスク１７０７やＲＡＭ１７０４、ＲＯＭ１７０３に記憶させてもよい。

さらに、各実施形態および各変形例に係る画像処理の際に用いられる係数集合１０６、１０６’および１０６”を、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施形態および各変形例に係る画像処理の際に用いられる係数集合１０６、１０６’および１０６”を、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

また、各実施形態および各変形例に係る画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体１７２０に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ１７０３に予め記憶させて提供してもよい。

さらに、各実施形態および各変形例に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施形態および各変形例に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

各実施形態および各変形例に係る画像処理を実行するための画像処理プログラムは、例えば、上述した各部（取得部１０２、畳み込み部１０４および制御部１０８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１７０２が例えばハードディスク１７０７から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ１７０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

上述した各実施形態および各変形例による画像処理装置１００Ａ〜１００Ｆは、一眼レフカメラやコンパクトデジタルカメラ、携帯電話、携帯端末、パーソナルコンピュータ、テレビ電話装置などの撮像素子を備える機器の画像処理装置に利用できる。各実施形態および各変形例による画像処理装置１００Ａ〜１００Ｆは、撮像素子と一体的に構成することができる。あるいは、各実施形態および各変形例による画像処理装置１００Ａ〜１００Ｆは、撮像素子に接続して用いることができる。さらに、各実施形態および各変形例による画像処理装置１００Ａ〜１００Ｆは、撮像素子の外部に接続する場合、撮像素子にコンピュータが接続され、そのコンピュータにおいて動作するソフトウェアとして利用されても構わない。

なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ，１００Ｆ 画像処理装置
１０１ 入力画像
１０２ 取得部
１０３，１１０４ 画素集合
１０４ 畳み込み部
１０５ 記憶部
１０６，１０６’，１０６” 係数集合
１０７，１５０１，１６０１ 出力画像
１０８，１２０２ 制御部
４００ デジタルカメラ
４０１ レンズ群
４０２ カラーフィルタアレイ
４０３ 撮像素子
１１０２ ノイズ除去部
１１０３ ノイズ除去パラメータ
１２０１ 解析部

Claims (20)

1. 光学系を介して撮像された入力画像を取得する取得部と、
   第１画像を予め定められた劣化過程で劣化させた第２画像との畳み込みを行った結果が該第１画像に近付くように、該畳み込みで参照する画素集合の位置毎に学習を用いて設計した係数を予め記憶する記憶部と、
   前記入力画像内で参照する画素集合の位置に応じて前記記憶部から前記係数を読み出して、該画素集合と該係数との畳み込みを行うことで出力画像を生成する畳み込み部と
   を有する
   ことを特徴とする画像処理装置。
2. 前記畳み込み部は、
   前記入力画像内での位置と、前記光学系に設けられるカラーフィルタの色とに応じた画素集合の位置により決定される前記係数を、前記記憶部から読み出す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶部は、
   前記畳み込みで参照する画素集合の位置および前記光学系の状態毎に前記係数が記憶され、
   前記畳み込み部は、
   前記入力画像内での画素集合の位置と、前記光学系の前記状態とに応じて前記記憶部から前記係数を読み出して、該画素集合と該係数とを畳み込む
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記光学系は、
   少なくとも１の単位カラーフィルタアレイからなるカラーフィルタアレイを含み、
   前記畳み込み部は、
   前記単位カラーフィルタアレイにおける位置に応じた画素集合の位置により決定される前記係数を、前記記憶部から読み出す
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記畳み込み部は、
   前記係数と畳み込むことで生成する画素に対応する前記カラーフィルタの色が同じ画素のみからなる画素集合を前記入力画像内で参照する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記入力画像内で参照する画素集合のパターンを解析する解析部をさらに有し、
   前記記憶部は、
   前記畳み込みで参照する画素集合の位置および該画素集合の前記パターン毎に前記係数が記憶され、
   前記畳み込み部は、
   前記入力画像内での画素集合の位置と、前記パターンとに応じて前記記憶部から前記係数を読み出して、該画素集合と該係数との畳み込みを行う
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記記憶部は、
   前記入力画像のノイズを除去するためのパラメータをさらに記憶し、
   前記記憶部から読み出した前記パラメータを用いて前記入力画像のノイズを除去する除去部をさらに有する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記記憶部は、
   前記畳み込みで参照する画素集合の位置と、該画素集合の位置に対応する位置で撮像素子が受光した光量とに応じて前記係数が記憶され、
   前記畳み込み部は、
   前記入力画像内での画像集合の位置と、該画像集合に対応する前記光量とに応じて前記記憶部から前記係数を読み出して、該画素集合との畳み込みを行う
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記入力画像および前記出力画像は、共にＲＡＷ画像である
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記入力画像はＲＡＷ画像であり、前記出力画像はフルカラー画像である
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記劣化過程は、光学シミュレーションにより決定される
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記劣化過程は、画像の歪曲と、画像に対する暈けと、前記光学系に含まれるカラーフィルタアレイによる色成分の間引きと、隣接画素間の干渉と、画像に対するノイズ付加とのうち少なくとも１を含む
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記記憶部は、
    前記第２画像と前記係数との畳み込みを行った結果と、前記第１画像との平均２乗誤差が小さくなるように設計した前記係数を予め記憶する
    ことを特徴とする請求項１に記載の画像処理装置。
14. 前記記憶部は、
    前記係数として、前記学習を用いて設計した係数と他の係数とが合成された合成係数が予め記憶される
    ことを特徴とする請求項１に記載の画像処理装置。
15. 前記記憶部は、
    前記係数を、外部からの入力に従い書き換えて記憶する
    ことを特徴とする請求項１に記載の画像処理装置。
16. 前記光学系は、
    単位カラーフィルタアレイが繰り返して配置されたカラーフィルタアレイを含み、
    前記単位カラーフィルタアレイは、
    赤、緑および青の各カラーフィルタからなる原色型と、マゼンタ、黄色およびシアンの各カラーフィルタからなる補色型と、赤、緑、青および白の各カラーフィルタからなるＲＧＢＷ型とのうち何れか１である
    ことを特徴とする請求項１に記載の画像処理装置。
17. 前記記憶部は、
    学習により求められた前記パラメータを記憶する
    ことを特徴とする請求項７に記載の画像処理装置。
18. 前記記憶部は、
    前記畳み込みで参照する画素集合の位置と、該画素集合の位置に対応する位置で撮像素子が受光した光量とのうち少なくとも一方に応じた学習により求められた前記パラメータを記憶する
    ことを特徴とする請求項１７に記載の画像処理装置。
19. 光学系を介して撮像された入力画像を取得する取得ステップと、
    第１画像を予め定められた劣化過程で劣化させた第２画像に対して畳み込みを行った結果が該第１画像に近付くように、該畳み込みで参照する画素集合の位置毎に学習を用いて設計した係数を予め記憶する記憶部から、該入力画像内で参照する画素集合の位置に応じて該係数を読み出して、該画素集合と該係数との畳み込みを行うことで出力画像を生成する畳み込みステップと
    を有する
    ことを特徴とする画像処理方法。
20. 光学系を介して撮像された入力画像を取得する取得ステップと、
    第１画像を予め定められた劣化過程で劣化させた第２画像に対して畳み込みを行った結果が該第１画像に近付くように、該畳み込みで参照する画素集合の位置毎に学習を用いて設計した係数を予め記憶する記憶部から、該入力画像内で参照する画素集合の位置に応じて該係数を読み出して、該画素集合と該係数との畳み込みを行うことで出力画像を生成する畳み込みステップと
    をコンピュータに実行させるためのプログラム。

Images