JP6530751B2 - 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム - Google Patents

Description

本技術は、画像処理装置、撮像装置、情報処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、不可視光成分を分離する画像処理装置、撮像装置、情報処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。

従来より、監視カメラなどの撮像装置においては、周囲の明るさを測光して、暗い場合には赤外光により輝度を向上させた画像を撮像し、明るい場合には赤外光の成分を除去した画像を撮像する機能が搭載されることが多い。このような機能は、一般にＤａｙ＆Ｎｉｇｈｔ機能と呼ばれる。

例えば、周囲が明るい場合に、複数の画素信号を重み付け加算する画像処理により、それらの信号内の赤外光成分を分離して除去する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置では、赤、緑および青のそれぞれの画素の可視光に対する感度の合計と白の画素の可視光に対する感度とが一致することを前提として画像処理が行われる。例えば、赤、緑および青のそれぞれの画素の画素信号を同じ係数０．５で重み付け加算した値と白の画素の画素信号を係数０．５で重み付けした値との差を求める画像処理が行われる。前述の前提が成立する場合には、この画像処理により、可視光の成分が相殺されて、不可視光の成分（赤外光成分など）が算出される。撮像装置は、算出した不可視光の成分を画素信号から除去して可視光の成分を算出する。

特開２００８−２８９０００号公報

しかしながら、上述の従来技術では、不可視光の成分を正確に算出することができないおそれがある。これは、実際の製品では、赤、緑および青のそれぞれの画素の可視光に対する感度の合計と白の画素の可視光に対する感度とが厳密には一致しないことが多く、想定された前提が成立しないためである。この結果、可視光の色の再現性が低下し、画像の画質が低下する問題が生じる。

本技術はこのような状況に鑑みて生み出されたものであり、画像の画質を向上させることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの上記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光および上記不可視光に対して感度を有する第２画素の上記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる上記第１および第２の重み係数のうち上記第１の重み係数により上記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、上記第２画素の画素信号を上記第２の重み係数により重み付けする重み付け処理部と、上記重み付けされた上記第２画素の画素信号と上記加算値との差分を上記画素信号内の上記不可視光の成分として生成する不可視光成分生成部とを具備する画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムである。これにより、互いに異なる第１の重み係数により複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算した加算値と第２の重み係数により重み付けされた第２画素の画素信号との差分が、不可視光の成分として生成されるという作用をもたらす。

また、この第１の側面において、上記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の上記可視光の成分を生成する可視光成分生成部をさらに具備してもよい。これにより、可視光の成分が生成されるという作用をもたらす。

また、この第１の側面において、上記可視光成分生成部は、上記可視光および上記不可視光を含む光に対する上記複数の第１画素および上記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と上記複数の第１画素のいずれかの対象画素の上記可視光に対する感度との間の差分が所定の設定値より小さくなる上記第３の重み係数により上記複数の第１画素と上記第２画素とのそれぞれの画素信号を重み付け加算した信号を上記対象画素の画素信号内の上記可視光の成分として生成してもよい。これにより、第３の重み係数により複数の第１画素と第２画素とのそれぞれの画素信号を重み付け加算した信号が可視光の成分として生成されるという作用をもたらす。

また、この第１の側面において、上記可視光成分生成部は、上記複数の第１画素のうち対象画素の上記不可視光に対する感度が高いほど大きな第４の重み係数により上記不可視光の成分を重み付けした値と上記対象画素の画素信号との差分を上記可視光の成分として生成してもよい。第４の重み係数により不可視光の成分を重み付けした値と対象画素の画素信号との差分が可視光の成分として生成されるという作用をもたらす。

また、この第１の側面において、上記可視光および上記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と上記不可視光の成分と上記可視光の成分とのそれぞれを重み付けして加算する処理により上記可視光および上記不可視光の成分を補正する補正処理部をさらに具備してもよい。これにより、可視光および不可視光の成分が補正されるという作用をもたらす。

また、この第１の側面において、上記補正処理部は、上記不可視光の成分を二乗した値と上記可視光の成分を二乗した値との少なくとも一方を上記高次元成分として生成してもよい。これにより、不可視光の成分を二乗した値と可視光の成分を二乗した値との少なくとも一方が高次元成分として生成されるという作用をもたらす。

また、この第１の側面において、上記可視光成分は、複数の色成分を含み、上記補正処理部は、上記不可視光の成分と上記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を上記高次元成分として生成してもよい。これにより、不可視光の成分と複数の色成分とのうち２つの成分の一方に他方を乗じた成分が高次元成分として生成されるという作用をもたらす。

また、この第１の側面において、上記補正処理部は、上記不可視光の成分を二乗した値に上記可視光の成分を乗じた値と上記可視光の成分を二乗した値に上記不可視光の成分を乗じた値との少なくとも一方を上記高次元成分として生成してもよい。不可視光の成分を二乗した値に可視光の成分を乗じた値と可視光の成分を二乗した値に不可視光の成分を乗じた値との少なくとも一方が高次元成分として生成されるという作用をもたらす。

また、この第１の側面において、上記第２の画素の画素信号が所定の閾値より大きいか否かを検出して上記画素信号が上記所定の閾値より大きい場合には上記第２画素の画素信号と上記不可視光の成分とを重み付け加算する検出部をさらに具備してもよい。これにより、画素信号が上記所定の閾値より大きい場合には第２画素の画素信号と不可視光の成分とが重み付け加算されるという作用をもたらす。

また、この第１の側面において、上記第２画素の画素信号と上記不可視光成分を重み付けした値との差分を輝度信号として生成してもよい。これにより、第２画素の画素信号と不可視光成分を重み付けした値との差分が輝度信号として生成されるという作用をもたらす。

また、この第１の側面において、上記複数の第１画素は、上記可視光のうち赤色光に対する感度が最も高い画素と上記可視光のうち緑色光に対する感度が最も高い画素と上記可視光のうち青色光に対する感度が最も高い画素とを含み、上記第２画素は、上記可視光のうち白色光に対する感度が最も高い画素であってもよい。これにより、赤色光に対する感度が最も高い画素と緑色光に対する感度が最も高い画素と青色光に対する感度が最も高い画素とを重み付け加算した値と、白色光に対する感度が最も高い画素を重み付けした値との差分が不可視光の成分として生成されるという作用をもたらす。

また、本技術の第２の側面は、可視光および不可視光に対して感度を有する複数の第１画素と上記可視光および上記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、可視光に対する上記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光に対する上記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる上記第１および第２の重み係数のうち上記第１の重み係数により上記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、上記第２画素の画素信号を上記第２の重み係数により重み付けする重み付け処理部と、上記重み付けされた上記第２画素の画素信号と上記加算値との差分を上記画素信号内の上記不可視光の成分として生成する不可視光成分生成部とを具備する撮像装置である。これにより、互いに異なる第１の重み係数により複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算した加算値と第２の重み係数により重み付けされた第２画素の画素信号との差分が、不可視光の成分として生成されるという作用をもたらす。

また、本技術の第３の側面は、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの上記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光および上記不可視光に対して感度を有する第２画素の上記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、上記差分が所定の許容値よりも小さくなる上記第１および第２の重み係数を求める係数取得部とを具備する情報処理装置である。これにより、可視光に対する複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と可視光に対する第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる第１および第２の重み係数が求められるという作用をもたらす。

本技術によれば、画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における光学フィルタの透過特性の一例を示すグラフである。 第１の実施の形態における画像処理部の一構成例を示すブロック図である。 第１の実施の形態における赤外線分離部の一構成例を示すブロック図である。 第１の実施の形態における赤外光成分生成部および可視光成分生成部の一構成例を示す図である。 第１の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。 第１の実施の形態における飽和画素検出部の一構成例を示す図である。 第１の実施の形態における信号レベルごとのα値の設定例を示すグラフである。 第１の実施の形態における輝度信号生成部の一構成例を示す図である。 第１の実施の形態における画像データの一例を示す図である。 第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。 第１の実施の形態の比較例における赤外線分離後の感度特性の一例を示すグラフである。 第１の実施の形態における赤外線分離後の感度特性の一例を示す図である。 第１の実施の形態の変形例における画素配列の一例を示す図である。 第２の実施の形態における可視光成分生成部の一構成例を示す図である。 第２の実施の形態における赤外線分離後の感度特性の一例を示す図である。 第３の実施の形態における理想的な感度特性の一例を示すグラフである。 第３の実施の形態における計算式の導出過程を説明するための図である。 第３の実施の形態における係数を求めるための演算式の一例を示す図である。 第３の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。 第３の実施の形態における赤外線分離後の感度特性の一例を示す図である。 第３の実施の形態における赤外線分離部の一構成例を示すブロック図である。 第３の実施の形態における正規化成分演算部の一構成例を示す図である。 第３の実施の形態における二乗成分演算部の一構成例を示す図である。 第３の実施の形態におけるクロス成分演算部の一構成例を示す図である。 第３の実施の形態におけるクロス成分マトリックス演算部の一構成例を示す図である。 第３の実施の形態における高次元成分加算部の一構成例を示す図である。 第３の実施の形態の変形例における赤外線分離部で用いられる計算式の一例を示す図である。 第４の実施の形態における撮像システムの一構成例を示すブロック図である。 第４の実施の形態における撮像装置の動作の一例を示すフローチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素信号を重み付け加算する例）
２．第２の実施の形態（画素信号を重み付け加算して赤外光成分を求め、画素信号から除去する例）
３．第３の実施の形態（画素信号を重み付け加算し、補正を行う例）
４．第４の実施の形態（重み付け加算に用いる係数を求める例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像を撮像する装置であり、撮像レンズ１１０、光学フィルタ１２０、撮像素子１３０、画像処理部２００、記録部１４０、制御部１５０、赤外光投光器１６０および測光部１７０を備える。

撮像レンズ１１０は、被写体からの光を集光して光学フィルタ１２０を介して撮像素子１３０に導くレンズである。光学フィルタ１２０は、撮像レンズ１１０からの光のうち可視光および赤外光を透過するものである。

撮像素子１３０は、光学フィルタ１２０を介して受光した光を電気信号に変換して、画像データを生成するものである。この撮像素子１３０には、例えば、Ｒ（Red）画素、Ｇ(Green)画素、Ｂ(Blue)画素およびＷ（White）画素のそれぞれが二次元格子状に設けられる。撮像素子１３０は、これらの画素のそれぞれで光電変換したアナログの電気信号をＡＤ（Analog to Digital）変換して画素毎にデジタル信号を画素信号として生成し、これらの画素信号を含むデータを画像データとして出力する。撮像素子１３０としては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。撮像素子１３０は、生成した画像データを信号線１３９を介して画像処理部２００に供給する。なお、撮像素子１３０は、特許請求の範囲に記載の撮像部の一例である。

赤外光投光器１６０は、制御部１５０の制御に従って、赤外光を被写体に照射するものである。

測光部１７０は、撮像装置１００の周囲の明るさを測光するものである。この測光部１７０は、測光量を信号線１７９を介して制御部１５０に供給する。

制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、ユーザの操作などに従って撮像素子１３０を制御して画像データを生成させる。また、制御部１５０は、測光部１７０により測定された測光量を取得する。測光量が所定の閾値Ｔｈ１以上である場合に制御部１５０は、赤外光投光器１６０を制御して消灯させる。一方、測光量が閾値Ｔｈ１未満である場合には、制御部１５０は、撮像の間において、赤外光投光器１６０を点灯させる。また、制御部１５０は、測光量に応じた係数Ｋｗを画像処理部２００に供給する。

画像処理部２００は、画像データに対して所定の画像処理を行うものである。例えば、ホワイトバランス処理や、ガンマ補正処置を含む各種の画像処理が行われる。画像処理の詳細については後述する。画像処理部２００は、画像処理後の画像データを記録部１４０に信号線２０９を介して供給する。記録部１４０は、画像処理部２００からの画像データを記録するものである。

なお、撮像装置１００は、表示部をさらに備え、その表示部に画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、画像データを外部の装置に出力してもよい。

また、撮像素子１３０、画像処理部２００、記録部１４０、制御部１５０、赤外光投光器１６０および測光部１７０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子１３０などを撮像装置１００に設け、画像処理部２００を情報処理装置等に設ける構成としてもよい。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。

また、撮像装置１００は、赤外光投光器１６０を備え、暗いときに点灯させているが、赤外光投光器１６０を備えない構成としてもよい。ただし、暗いときに、画像における輝度を向上させる観点から、赤外光投光器１６０を設けて点灯させることが望ましい。

図２は、第１の実施の形態における光学フィルタ１２０の透過特性の一例を示すグラフである。同図において縦軸は、光学フィルタ１２０の分光透過率を示し、横軸は、光の波長を示す。同図に例示するように、光学フィルタ１２０は、例えば、３８０乃至６５０ナノメートル（ｎｍ）の波長域の可視光と、それより波長の長い赤外光とを透過する。

図３は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、低周波補間ローパスフィルタ２１０、高周波補間ローパスフィルタ２２０、赤外線分離部３００、ホワイトバランス処理部２３０、輝度信号生成部２４０、ガンマ補正部２５０および色差信号生成部２６０を備える。

低周波補間ローパスフィルタ２１０は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの画素信号において足りない色情報を補間するものである。ここで、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光ともに赤外光を受光して、それらの光から画素信号を生成する。このため、これらの画素の画素信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素、Ｂ画素およびＷ画素の画素信号を以下、「Ｒ_＋ＩＲ」、「Ｇ_＋ＩＲ」、「Ｂ_＋ＩＲ」および「Ｗ_＋ＩＲ」と称する。添え字の「＋ＩＲ」は、画素信号に赤外光成分が含まれていることを示す。低周波補間ローパスフィルタ２１０は、補間により画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを画素毎に含むデータを生成して、赤外線分離部３００に供給する。

高周波補間ローパスフィルタ２２０は、Ｒ画素、Ｇ画素およびＢ画素において、画素信号Ｗ_＋ＩＲを補間するものである。高周波補間ローパスフィルタ２２０は、補間により、画素毎に画素信号Ｗ_＋ＩＲを含むデータを生成して、輝度信号生成部２４０に供給する。

赤外線分離部３００は、画素信号内の可視光成分と赤外光成分とを分離するものである。赤外線分離部３００は、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを、可視光成分Ｒ、ＧおよびＢと、赤外光成分ＩＲとに分離する処理を画素ごとに行う。赤外線分離部３００は、可視光成分Ｒ、ＧおよびＢをホワイトバランス処理部２３０に供給し、赤外光成分ＩＲを輝度信号生成部２４０に供給する。

ホワイトバランス処理部２３０は、必要に応じて、可視光成分に対してホワイトバランス処理を行うものである。例えば、設定された色温度に応じたゲインによりＲ、ＧおよびＢのそれぞれのレベルのバランスが調整される。ホワイトバランス処理部２３０は、ホワイトバランス処理後の可視光成分をガンマ補正部２５０に供給する。

ガンマ補正部２５０は、必要に応じて、可視光成分に対してガンマ補正処理を行うものである。例えば、ディスプレイの特性に応じたゲインにより、可視光成分のレベルが補正される。ガンマ補正部２５０は、ガンマ補正後の可視光成分を色差信号生成部２６０に供給する。

色差信号生成部２６０は、可視光成分Ｒ、ＧおよびＢから色差信号ＣｂおよびＣｒを生成するものである。色差信号ＣｂおよびＣｒは、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector)．ＢＴ．６０１の規格に基づいて次の式により生成される。色差信号生成部２６０は、生成した色差信号を記録部１４０に供給する。
Ｃｂ＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ ・・・式１
Ｃｒ＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ ・・・式２

輝度信号生成部２４０は、画素信号Ｗ_＋ＩＲと、赤外光成分ＩＲとから輝度信号Ｙを生成するものである。輝度信号生成部２４０は、例えば、次の式により、画素ごとに輝度信号Ｙを生成する。輝度信号生成部２４０は、生成した輝度信号を記録部１４０に供給する。
Ｙ＝Ｗ_＋ＩＲ−ＩＲ×Ｋｗ ・・・式３
上式において、Ｋｗは、測光量に応じて設定される係数である。例えば、測光量が閾値Ｔｈ１以上である場合には、Ｋｗに「０」より大きな設定値Ｄが設定されて、画素信号Ｗ_＋ＩＲから赤外光成分ＩＲが除去される。一方、測光量が閾値Ｔｈ１未満である場合には、測光量が小さいほど、「０」に近い値が設定される。

なお、制御部１５０は、環境光の強度や、環境光に含まれる赤外光と可視光との比率に応じて設定値Ｄを制御してもよい。これにより、高いＳ／Ｎ（Signal to Noise）比と色再現性とのバランスをとることが容易になる。

また、画像処理部２００は、赤外光成分ＩＲを分離して除去しているが、赤外光以外の不可視光（紫外光など）の成分を分離して除去してもよいし、赤外光に加えて、赤外光以外の不可視光の成分も分離してもよい。この場合には、分離対象の不可視光を透過するフィルタが光学フィルタ１２０として設けられる。

また、撮像装置１００に光学フィルタ１２０を設ける構成としているが、光学フィルタ１２０を設けない構成とすることもできる。ただし、良好な色再現性を確保する観点から、光学フィルタ１２０を設けることが望ましい。

図４は、第１の実施の形態における赤外線分離部３００の一構成例を示すブロック図である。この赤外線分離部３００は、赤外光成分生成部３１０、可視光成分生成部３２０および飽和画素検出部３５０を備える。

赤外光成分生成部３１０は、赤外光成分ＩＲを生成するものである。この赤外光成分生成部３１０は、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを互いに異なる係数Ｋ_１１、Ｋ_１２、Ｋ_１３およびＫ_１４により重み付け加算した値を赤外光成分ＩＲとして生成する。例えば、次の式により重み付け加算が行われる。
ＩＲ＝Ｋ_４１×Ｒ_＋ＩＲ＋Ｋ_４２×Ｇ_＋ＩＲ＋Ｋ_４３×Ｂ_＋ＩＲ＋Ｋ_４４×Ｗ_＋ＩＲ …式４

ここで、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４には_、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの可視光に対する感度をそれらの係数で重み付け加算した加算値が許容値以下になる値が設定される。ただし、Ｋ_４１、Ｋ_４２およびＫ_４３の符号は同一であり、Ｋ_４４の符号は、Ｋ_４１、Ｋ_４２およびＫ_４３と異なるものとする。この許容値には、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の加算値未満の値が設定される。なお、これらの係数には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を重み付け加算した値と、画素の赤外光に対する所定の目標感度との間の誤差が、所定の設定値以下になる値が設定されることがより望ましい。この設定値には、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の誤差未満の値が設定される。また、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４には、前述の誤差が最小となる値が設定されることがさらに望ましい。

なお、Ｒ、ＧおよびＢ画素は、特許請求の範囲に記載の第１画素の一例であり、Ｗ画素は特許請求の範囲に記載の第２画素の一例である。また、係数Ｋ_４１、Ｋ_４２およびＫ_４３は、特許請求の範囲に記載の第１の重み係数の一例であり、係数−Ｋ_４４は、特許請求の範囲に記載の第２の重み係数の一例である。

可視光成分生成部３２０は、可視光成分Ｒ、ＧおよびＢを生成するものである。この可視光成分生成部３２０は、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを互いに異なる係数Ｋ_１１、Ｋ_１２、Ｋ_１３およびＫ_１４により重み付け加算した値を可視光成分Ｒとして生成する。また、可視光成分生成部３２０は、それらの画素信号を互いに異なる係数Ｋ_２１、Ｋ_２２、Ｋ_２３およびＫ_２４により重み付け加算した値を可視光成分Ｇとして生する。また、可視光成分生成部３２０は、各画素信号を互いに異なる係数Ｋ_３１、Ｋ_３２、Ｋ_３３およびＫ_３４により重み付け加算した値を可視光成分Ｂとして生成する。例えば、次の式により重み付け加算が行われる。
Ｒ＝Ｋ_１１×Ｒ_＋ＩＲ＋Ｋ_１２×Ｇ_＋ＩＲ＋Ｋ_１３×Ｂ_＋ＩＲ＋Ｋ_１４×Ｗ_＋ＩＲ …式５
Ｇ＝Ｋ_２１×Ｒ_＋ＩＲ＋Ｋ_２２×Ｇ_＋ＩＲ＋Ｋ_２３×Ｂ_＋ＩＲ＋Ｋ_２４×Ｗ_＋ＩＲ …式６
Ｂ＝Ｋ_３１×Ｒ_＋ＩＲ＋Ｋ_３２×Ｇ_＋ＩＲ＋Ｋ_３３×Ｂ_＋ＩＲ＋Ｋ_３４×Ｗ_＋ＩＲ …式７

ここで、Ｋ_１１乃至Ｋ_１４には_、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＲ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ_１１、Ｋ_１２、Ｋ_１３およびＫ_１４をそれぞれ０．５、−０．５、−０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ_１１乃至Ｋ_１４に設定されることがより望ましい。

また、Ｋ_２１乃至Ｋ_２４には_、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＧ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ_２１、Ｋ_２２、Ｋ_２３およびＫ_２４をそれぞれ−０．５、０．５、−０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ_２１乃至Ｋ_２４に設定されることがより望ましい。

また、Ｋ_３１乃至Ｋ_３４には_、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＢ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ_３１、Ｋ_３２、Ｋ_３３およびＫ_３４をそれぞれ−０．５、−０．５、０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ_３１乃至Ｋ_３４に設定されることがより望ましい。

なお、Ｋ_１１乃至Ｋ_１４と、Ｋ_２１乃至Ｋ_２４と、Ｋ_３１乃至Ｋ_３４とのそれぞれは、特許請求の範囲に記載の第３の重み係数の一例である。

可視光成分生成部３２０は、生成した可視光成分Ｒ、ＧおよびＢを飽和画素検出部３５０に供給する。

飽和画素検出部３５０は、画素信号の信号レベルが所定の閾値Ｔｈ２より高いか否かを検出するものである。この飽和画素検出部３５０は、信号レベルが所定の閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」乃至「１」の値を係数αに設定し、そうでない場合に「１」を係数αに設定する。そして、飽和画素検出部３５０は、次の式を使用して赤外光成分および可視光成分と、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲとを処理する。
Ｒ＝α×Ｒ＋（１−α）×Ｒ_＋ＩＲ ・・・式８
Ｇ＝α×Ｇ＋（１−α）×Ｇ_＋ＩＲ ・・・式９
Ｂ＝α×Ｂ＋（１−α）×Ｂ_＋ＩＲ ・・・式１０
ＩＲ＝α×ＩＲ ・・・式１１

この処理により、信号レベルが閾値Ｔｈ２を超える飽和画素が検出された場合であっても、正確な可視光成分および赤外光成分が求められる。飽和画素検出部３５０は、処理後の可視光成分をホワイトバランス処理部２３０に供給し、処理後の赤外光成分を輝度信号生成部２４０に供給する。

［赤外光成分生成部および可視光成分生成部の構成例］
図５は、第１の実施の形態における赤外光成分生成部３１０および可視光成分生成部３２０の一構成例を示す図である。赤外光成分生成部３１０は、乗算器３１１、３１５、３１６および３１７と加算器３１２、３１３および３１４とを備える。

乗算器３１１は、画素信号Ｒ_＋ＩＲに係数Ｋ_４１を乗算して乗算結果を加算器３１２に供給するものである。乗算器３１５は、画素信号Ｇ_＋ＩＲに係数Ｋ_４２を乗算して乗算結果を加算器３１２に供給するものである。乗算器３１６は、画素信号Ｂ_＋ＩＲに係数Ｋ_４３を乗算して乗算結果を加算器３１３に供給するものである。乗算器３１７は、画素信号Ｗ_＋ＩＲに係数Ｋ_４４を乗算して乗算結果を加算器３１４に供給するものである。

加算器３１２は、乗算器３１１および３１５のそれぞれからの乗算結果を加算して加算結果を加算器３１３に供給するものである。加算器３１３は、乗算器３１６からの乗算結果と加算器３１２からの加算結果とを加算して加算結果を加算器３１４に供給するものである。加算器３１４は、乗算器３１７からの乗算結果と加算器３１３からの加算結果とを加算して加算結果を赤外光成分ＩＲとして飽和画素検出部３５０に供給するものである。

なお、乗算器３１１、３１５および３１６と加算器３１２および３１３とからなる回路は、特許請求の範囲に記載の加算部の一例である。また、乗算器３１７は、特許請求の範囲に記載の重み付け処理部の一例であり、加算器３１４は、不可視光成分生成部の一例である。

可視光成分生成部３２０は、乗算器３２１、３２５、３２６、３２７、３３１、３３５、３３６、３３７、３４１、３４５、３４６および３４７と、加算器３２２、３２３、３２４、３３２、３３３、３３４、３４２、３４３および３４４とを備える。

乗算器３２１、３２５、３２６および３２７は、それぞれ、Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲと係数Ｋ_１１、Ｋ_１２、Ｋ_１３およびＫ_１４とを乗算するものである。加算器３２２、３２３および３２４は、乗算器３２１、３２５、３２６および３２７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｒとして飽和画素検出部３５０に供給するものである。

乗算器３３１、３３５、３３６および３３７は、それぞれ、Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲと係数Ｋ_２１、Ｋ_２２、Ｋ_２３およびＫ_２４とを乗算するものである。加算器３３２、３３３および３３４は、乗算器３３１、３３５、３３６および３３７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｇとして飽和画素検出部３５０に供給するものである。

乗算器３４１、３４５、３４６および３４７は、それぞれ、Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲと係数Ｋ_３１、Ｋ_３２、Ｋ_３３およびＫ_３４とを乗算するものである。加算器３４２、３４３および３４４は、乗算器３４１、３４５、３４６および３４７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｂとして飽和画素検出部３５０に供給するものである。

図６は、第１の実施の形態における赤外線分離部３００で用いられる計算式の一例を示す図である。同図におけるａは、式４乃至式７を行列を用いて表した式である。画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲからなるベクトルと、４行×４列の行列との積により、可視光成分Ｒ、ＧおよびＢと赤外光成分ＩＲとからなるベクトルが算出される。

図６におけるｂは、同図のａにおけるＫ_１１乃至Ｋ_４４のそれぞれに設定される係数の一例を示すものである。

［飽和画素検出部の構成例］
図７は、第１の実施の形態における飽和画素検出部３５０の一構成例を示す図である。この飽和画素検出部３５０は、乗算器３５１、３５３、３５４、３５６、３５７、３５９および３６０と、加算器３５２、３５５および３５８と、α値制御部３６１とを備える。

α値制御部３６１は、係数αの値を制御するものである。このα値制御部３６１は、画素信号の信号レベルが所定の閾値Ｔｈ２より高いか否かを画素ごとに検出する。そして、α値制御部３６１は、信号レベルが閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」以上「１」未満の値を係数αに設定し、そうでない場合に「１」を係数αに設定する。そして、α値制御部３６１は、設定した係数αを乗算器３５１、３５４、３５７および３６０に供給し、（１−α）を乗算器３５３、３５６および３５９に供給する。

乗算器３５１は、可視光成分Ｒに係数αを乗算して加算器３５２に供給するものである。乗算器３５３は、画素信号Ｒ_＋ＩＲに係数（１−α）を乗算して加算器３５２に供給するものである。加算器３５２は、乗算器３５１および３５３のそれぞれの乗算結果を加算して、可視光成分Ｒとしてホワイトバランス処理部２３０に供給するものである。

乗算器３５４は、可視光成分Ｇに係数αを乗算して加算器３５５に供給するものである。乗算器３５６は、画素信号Ｇ_＋ＩＲに係数（１−α）を乗算して加算器３５５に供給するものである。加算器３５５は、乗算器３５４および３５６のそれぞれの乗算結果を加算して、可視光成分Ｇとしてホワイトバランス処理部２３０に供給するものである。

乗算器３５７は、可視光成分Ｂに係数αを乗算して加算器３５８に供給するものである。乗算器３５９は、画素信号Ｂ_＋ＩＲに係数（１−α）を乗算して加算器３５８に供給するものである。加算器３５８は、乗算器３５７および３５９のそれぞれの乗算結果を加算して、可視光成分Ｂとしてホワイトバランス処理部２３０に供給するものである。

乗算器３６０は、赤外光成分ＩＲに係数αを乗算して輝度信号生成部２４０に供給するものである。

図８は、第１の実施の形態における信号レベルごとの係数αの値の設定例を示すグラフである。同図における横軸は、低周波補間ローパスフィルタ２１０からの画素信号の信号レベルである。縦軸は、係数αである。信号レベルが閾値Ｔｈ２以下である場合には、例えば、係数αに「１」の値が設定され、そうでない場合には、信号レベルが大きいほど小さな値が係数αに設定される。

［輝度信号生成部の構成例］
図９におけるａは、第１の実施の形態における輝度信号生成部２４０の一構成例を示す図である。この輝度信号生成部２４０は、乗算器２４２および減算器２４３を備える。

乗算器２４２は、係数Ｋｗと赤外光成分ＩＲとを乗算して減算器２４３に供給するものである。減算器２４３は、画素信号Ｗ_＋ＩＲから乗算器２４２の乗算結果を減算し、その減算値を輝度信号Ｙとして記録部１４０に供給するものである。

ここで、Ｋｗは、明るさ（測光量）によってゲインを調整するための係数である。例えば、図９におけるｂに示すように、明るさが、閾値Ｔｈ１以上である場合、設定値Ｄが係数Ｋｗに設定され、明るさがＴｈ１より暗くなるに従い、Ｋｗが０に近づけられる。

図１０は、第１の実施の形態における画像データの一例を示す図である。同図におけるａは、撮像素子１３０からの入力画像７０１の一例を示す図である。撮像素子１３０には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素が所定のパターンにより二次元格子状に配列され、入力画像７０１は、それらの画素からの画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを含む。

図１０におけるｂは、入力画像７０１に高周波補間ローパスフィルタ２２０を通過させることにより生成されたデータ７０２の一例を示す図である。高周波補間ローパスフィルタ２２０により、Ｒ画素、Ｇ画素およびＢ画素の各画素信号においてＷ_＋ＩＲが補間され、データ７０２は、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲの代わりに、補間された画素信号Ｗ_＋ＩＲを含む。

図１０におけるｃは、入力画像７０１に低周波補間ローパスフィルタ２１０を通過させることにより生成されたデータ７０３の一例を示す図である。低周波補間ローパスフィルタ２１０により、Ｇ画素、Ｂ画素およびＷ画素の各画素信号においてＲ_＋ＩＲが補間され、データ７０３は、画素信号Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲの代わりに、補間された画素信号Ｒ_＋ＩＲを含む。

図１０におけるｄおよびｅは、入力画像７０１に低周波補間ローパスフィルタ２１０を通過させることにより生成されたデータ７０４および７０５の一例を示す図である。低周波補間ローパスフィルタ２１０により、Ｇ_＋ＩＲおよびＢ_＋ＩＲが補間され、データ７０４および７０５は、補間された画素信号Ｇ_＋ＩＲ、Ｂ_＋ＩＲを含む。

これらのデータ７０２および７０５における画素信号が、行列演算により可視光成分Ｒ、ＧおよびＢと赤外光成分ＩＲとに分離される。そして、これらの可視光成分Ｒ、ＧおよびＢから画素毎に色差信号ＣｒおよびＣｂが生成され、赤外光成分ＩＲと画素信号Ｗ_＋ＩＲとから画素毎に輝度信号Ｙが生成される。

［撮像装置の動作例］
図１１は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像を撮像するための所定の操作が行われたときに開始する。

撮像装置１００は、測光量と閾値Ｔｈ１とを比較して低照度であるか否かを判断する（ステップＳ９０１）。低照度である場合に（ステップＳ９０１：Ｙｅｓ）撮像装置１００は
赤外光投光器１６０をオンにし、測光量が小さいほど「０」に近い係数Ｋｗを設定する（ステップＳ９０２）。一方、低照度でない場合に（ステップＳ９０１：Ｎｏ）撮像装置１００は、赤外光投光器１６０をオフにし、係数Ｋｗに「０」以外の値（Ｄ）を設定する。これにより、赤外光成分ＩＲが除去される（ステップＳ９０３）。

ステップＳ９０２またはＳ９０３の後、撮像装置１００は、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲおよびＷ_＋ＩＲを含む画像を撮像する（ステップＳ９０４）。撮像装置１００は、その画像に基づいて重み付け加算により赤外光成分を生成する（ステップＳ９０５）。また、撮像装置１００は、重み付け加算により可視光成分Ｒ、ＧおよびＢを生成する（ステップＳ９０６）。

そして、撮像装置１００は、赤外光成分ＩＲと画素信号Ｗ_＋ＩＲとから輝度信号Ｙを生成する（ステップＳ９０７）。また、撮像装置１００は、可視光成分Ｒ、ＧおよびＢに対してホワイトバランス処理（ステップＳ９０８）およびガンマ補正処理（ステップＳ９０９）を行い、色差信号ＣｒおよびＣｂを生成する（ステップＳ９１０）。ステップＳ９１０の後、撮像装置１００は、撮像を停止させるための操作が行われたか否かを判断する（ステップＳ９１１）。撮像停止のための操作が行われた場合に（ステップＳ９１１：Ｙｅｓ）、撮像装置は、撮像のための動作を終了し、そうでない場合に（ステップＳ９１１：Ｎｏ）、ステップＳ９０１に戻る。

図１２は、第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。

Ｗ画素の感度は、白の可視光に対してピークを示す。また、Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。

赤、緑および青を加法混色すると白となる。このため、Ｒ画素、Ｇ画素およびＢ画素の感度の合計は、Ｗ画素の感度に近い値となる。ただし、図１２に例示するように、それらの合計は、Ｗ画素の感度と一致するとは限らない。また、赤外光に対する各画素の感度も同程度ではあるものの、厳密には一致していない。

このため、仮に画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲのそれぞれを同一の係数「０．５」で重み付け加算した値と画素信号Ｗ_＋ＩＲを係数「０．５」で重み付けした値との差を求める演算を行うと、赤外線成分ＩＲが正確に分離されなくなってしまう。

図１３は、第１の実施の形態の比較例における赤外線分離後の感度特性の一例を示すグラフである。この比較例は、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４を０．５、０．５、０．５および−０．５にして重み付け加算した例である。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、画素信号から赤外光成分と可視光成分とが分離されるが、同図では、これらの成分を感度に置き換えて表している。同図の実線は、赤外光成分ＩＲの感度特性を示し、細かい点線は、可視光成分Ｒの感度特性を示す。また、一点鎖線は、可視光成分Ｇの感度特性を示し、粗い点線は、可視光成分Ｂの感度特性を示す。

図１２に例示したようにＲ画素、Ｇ画素およびＢ画素のそれぞれの感度の合計は、Ｗ画素の感度と同一にならないことが多い。このため、それらの画素により生成された画像データにおいて、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲを全て「０．５」で重み付け加算して、Ｗ_＋ＩＲを「０．５」で重み付けした値との差を求めると、赤外光成分が正確に分離されなくなってしまう。例えば、図１３に示すように、赤外光成分ＩＲは、可視光領域において「０」とならず、真値に対する誤差が大きくなってしまう。

これに対して、撮像装置１００では、可視光に対するＲ画素、Ｇ画素およびＢ画素のそれぞれの感度を重み付け加算した値と可視光に対するＷ画素の感度を重み付けした値との差分が許容値より小さくなる係数Ｋ_４１乃至Ｋ_４４が設定されている。許容値は、例えば、比較例における差分以下の値である。このため、撮像装置１００は、それらの係数による各画素信号の重み付け加算により、赤外光成分を比較例よりも正確に分離することができる。

図１４は、第１の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、重み付け加算により生成されたＩＲ成分は、可視光領域において「０」に近づき、図１２に例示した比較例に対して誤差が少なくなる。

このように、本技術の第１の実施の形態によれば、可視光に対するＲ、Ｇ、Ｂ画素の感度を重み付け加算した値とＷ画素の感度を重み付けした値との差が小さくなる係数で画素信号を重み付け加算するため、赤外光成分を正確に分離することができる。これにより、撮像装置１００は、可視光の色の再現性を向上させ、画像の画質を向上させることができる。

［変形例］
第１の実施の形態では、撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素を配列した画像データを処理していたが、それらの組合せ以外の画素配列の画像データを処理してもよい。変形例の撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素の以外のの画素配列の画像データを処理する点において第１の実施の形態と異なる。

図１５は、第１の実施の形態の変形例における画素配列の一例を示す図である。例えば、「１補色＋２原色＋白」、「２補色＋１原色＋白」、「３補色＋白」、「１補色＋３原色」、「２補色＋２原色」および「補色系」のいずれかに分類される画素配列が用いられる。

「１補色＋２原色＋白」は、補色の画素１つと、原色の画素２つと、Ｗ画素１つとが設けられる配列である。補色として、Ｙｅ（Yellow)、Ｃｙ(Cyan)およびＭｇ(Magenta)のいずれかが用いられる。また、原色として、Ｒ、ＧおよびＢのうち２つが用いられる。Ｙｅ、Ｒ、ＧおよびＷの組合せの場合には、係数Ｋ_４４を「０」にして、係数Ｋ_４１、Ｋ_４２およびＫ_４３によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４１の符号は、Ｋ_４２、Ｋ_４３と異なるものとする。

「２補色＋１原色＋白」は、補色の画素２つと、原色の画素１つと、Ｗ画素１つとが設けられる配列である。Ｙｅ、Ｃｙ、ＲおよびＷの組合せの場合には、係数Ｋ_４１を「０」にして、係数Ｋ_４２、Ｋ_４３およびＫ_４４によりＣｙ、ＲおよびＷを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４４の符号は、Ｋ_４２、Ｋ_４３と異なるものとする。

「３補色＋白」は、補色の画素３つとＷ画素１つとが設けられる配列である。この配列では、係数Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４によりＹｅ、Ｃｙ、ＭｇおよびＷを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４４の符号は、他の係数と異なるものとする。

「１補色＋３原色」は、補色の画素１つと原色の画素３つとが設けられる配列である。Ｙｅ、Ｒ、ＧおよびＢの配列の場合には、係数Ｋ_４４を「０」にして、係数Ｋ_４１、Ｋ_４２およびＫ_４３によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４１の符号は、Ｋ_４２、Ｋ_４３と異なるものとする。

「２補色＋２原色」は、補色の画素２つと、原色の画素２つとが設けられる配列である。Ｙｅ、Ｃｙ、ＧおよびＢの組合せの場合には、係数Ｋ_４２を「０」にして、係数Ｋ_４１、Ｋ_４３およびＫ_４４によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４１の符号は、Ｋ_４３、Ｋ_４４と異なるものとする。

「補色系」は、補色の画素３つと、原色の画素１つとが設けられる配列である。Ｙｅ、Ｃｙ、ＭｇおよびＧの配列の場合には、係数Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４によりＹｅ、Ｃｙ、ＭｇおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ_４１、Ｋ_４２の符号は、Ｋ_４３、Ｋ_４４と異なるものとする。

このように、第１の実施の形態の変形例によれば、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素以外の画素配列の画像データから、赤外光成分を正確に分離することができる。

＜２．第２の実施の形態＞
第１の実施の形態では、撮像装置１００は、重み付け加算により可視光成分を求めていたが、赤外光成分ＩＲと画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲとの差分を可視光成分として求めてもよい。第２の実施の形態の撮像装置１００は、赤外光成分ＩＲと、画素信号Ｒ_＋ＩＲ、Ｇ_＋ＩＲおよびＢ_＋ＩＲとの差分を可視光成分として求める点において第１の実施の形態と異なる。

図１６は、第２の実施の形態における可視光成分生成部３２０の一構成例を示す図である。第２の実施の形態の可視光成分生成部３２０は、減算器３２８、３３８および３４８と、乗算器３２９、３３９および３４９とを備える。

また、第２の実施の形態の飽和画素検出部３５０は、式１１による処理を行った後の赤外光成分ＩＲを可視光成分生成部３２０にさらに供給する。

乗算器３２９は、赤外光成分ＩＲに所定の係数Ｋｒを乗算して乗算結果を減算器３２８に供給するものである。乗算器３３９は、赤外光成分ＩＲに所定の係数Ｋｇを乗算して乗算結果を減算器３３８に供給するものである。乗算器３４９は、赤外光成分ＩＲに所定の係数Ｋｂを乗算して乗算結果を減算器３４８に供給するものである。

減算器３２８は、画素信号Ｒ_＋ＩＲから乗算器３２９の乗算結果を減算し、可視光成分Ｒとして飽和画素検出部３５０に供給するものである。減算器３３８は、画素信号Ｇ_＋ＩＲから乗算器３３９の乗算結果を減算し、可視光成分Ｇとして飽和画素検出部３５０に供給するものである。減算器３４８は、画素信号Ｂ_＋ＩＲから乗算器３４９の乗算結果を減算し、可視光成分Ｂとして飽和画素検出部３５０に供給するものである。

係数Ｋｒ、ＫｇおよびＫｂには、重み付け加算により、画像信号内の赤外光成分ＩＲが十分に除去される値が設定される。これらの係数には、Ｒ、ＧおよびＢ画素の赤外光に対する感度が高いほど、大きな値が設定される。例えば、係数Ｋｒ、ＫｇおよびＫｂには「１．１５」が設定される。

なお、制御部１５０は、環境光の強度や、環境光に含まれる赤外光と可視光との比率に応じて係数Ｋｒ、ＫｇおよびＫｂを制御してもよい。これにより、高いＳ／Ｎ比と、色再現性とのバランスをとることが容易になる。

図１７は、第２の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、赤外光成分ＩＲは、可視光領域において「０」に近い値となり、良好な感度特性が得られる。

このように本技術の第２の実施の形態によれば、撮像装置１００は、赤外光に対する感度に応じた係数により赤外光成分を重み付けした値と画素信号との差分を可視光成分として求めるため、可視光成分を正確に分離することができる。

＜３．第３の実施の形態＞
第１の実施の形態では、撮像装置１００は、４行×４列の行列演算により赤外光成分および可視光成分を生成していたが、この行列演算では、赤外光成分および可視光成分の両方を正確に求めることができないおそれがある。例えば、赤外光成分の精度が高くなるように係数を設定すると、可視光成分の精度が低くなり、逆に可視光成分の精度が高くなるように係数を設定すると、赤外光成分の精度が低くなってしまう。撮像装置１００が、行列の列数を拡張して演算を行えば、赤外光成分および可視光成分の両方の精度を向上させることができる。第３の実施の形態の撮像装置１００は、行列を拡張した点において第１の実施の形態と異なる。

以下、３色以上の仮想的な色空間を設定して議論を進める。例えば、第１および第２の実施形態のセンサーの感度特性としてＲ、Ｇ、ＢおよびＷの４色の感度特性を考える。このとき、図１２の感度特性から４つの等色関数が存在するとして、各等色関数の張るベクトル空間Ｖ（以下、「仮想視覚空間」と称する。）を定義してみる。「仮想」とつけた理由は、ここでは可視光領域以外の赤外光領域まで拡張するためであり、一般に知覚できない赤外光領域に対して、３原色空間の議論と区別するために便宜的に用いている。この４つの等色関数は、仮想視覚空間において４つのベクトルで表すことができ、仮想視覚空間内の任意の色は、この４つのベクトルの線形結合で表現できると言い換えることができる。これは、一般に３原色ＲＧＢの視覚空間の議論を数学的に拡張したものである。

さて、第１および第２の実施の形態では、赤外光成分が重畳された画素信号から赤外光成分だけを分離し、光学的に赤外線カットフィルタを用いたＲＧＢ分光特性に合わせるために、色再現処理として次の関係式が成立するという前提で考案している。
Ｖ→Ｖの線形写像（＝一次変換）：ｆ ・・・式１２

そして、実際に数値計算を行うために次のようにベクトル空間を別のベクトル空間に１対１で対応させることを考えて、第１および第２の実施の形態では議論を展開していた。すなわち数学的に、等色関数の張るベクトル空間Ｖをｎ次元の数ベクトル空間Ｒ^ｎに１対１で対応（全単射）させることができることを利用する。具体的には、各分光特性データを観測波長域３５０乃至１１００ナノメートル（ｎｍ）まで５ナノメートル刻みに分割し、それらに数ベクトル空間の標準基底を１対１に対応させた１５１次元のＲ^１５１空間を考える。この空間において、各々の等色関数を数ベクトルとして再定義する。これは、近似的な定義ではあるが十分な分解能を設ければ問題ない。

この数値を扱うことができるＲＧＢＷ−Ｒ^{ｎ(＝１５１)}空間において、線形写像ｆを議論する。すなわち、ｆの表現行列を以下に示すと、赤外光成分が重畳された入力光Ｒ_{_ＩＲ}、Ｇ_{_ＩＲ}、Ｂ_{_ＩＲ}およびＷ_{_ＩＲ}と赤外光成分とが分離された成分Ｒ、Ｇ、ＢおよびＷとの間に４行×４列の行列Ｈ_ijが存在することになる。

ここで、添え字の「_ＩＲ」は、赤外光成分が含まれていることを意味する。次に第１の実施の形態との比較を行うと、第１の実施の形態では図６に例示したように、出力の一部がＷではなくＩＲとなっている。しかし、これはＩＲがＲＧＢＷの任意の線形結合で表現できるとしているため、結局、式１３と等価である。ここでは素直に入力と合わせて出力は赤外光成分を含まないＷにしている。また、第１の実施の形態の各係数Ｋは上式の表現行列の係数Ｈに各々対応する。そこで第１の実施の形態の演算を、式１３を利用して、さらに赤外光成分ＩＲも含めた別の表現で表すと、次の式となる。

赤外光成分を分離するということは、式１４の最終行の赤外光成分ＩＲで構成される項がゼロになるようにすることである。式１４は、一般に疑似逆行列を利用して表計算ソフトなどにより簡単に解くことができる。これは、後述の最小二乗法と数学的に等価な処理である。表現こそ違うが、第１の実施の形態で用いられた式と式１４とは本質的に等価である。

さて、ここから本実施の形態について議論をする。式１４の変換をみると、出力部をＲ、Ｇ、Ｂ、Ｗからｒ、ｇ、ｂ、ｒへと、第１の実施の形態とは違う形式で表現している。この理由は、次のことから区別するために導入した。赤外光成分を理想的に分離するということは、入力信号のうち、赤外光成分がない（Ｒ、Ｇ、Ｂ、Ｗ）が出力の(ｒ、ｇ、ｂ、ｗ)と一致することである。ただし、「式１４の第２項であるＩＲ項を打ち消す条件」のもとで一致しなければならない。言い換えると、一般に、この制約条件（第２項のＩＲ項をすべて「０」とする）の下で、入力の一部と出力を一致させるには誤差が大きく関与するということである。つまり、式１４のｉ番目の成分に着目すると、次の式１５乃至式２２の全てが、全波長域（ｉが１乃至１５１）で成り立つことが、理想的な赤外線分離処理となる。
ｒ_ｉ＝Ｈ_１１Ｒ_ｉ＋Ｈ_１２Ｇ_ｉ＋Ｈ_１３Ｂ_ｉ＋Ｈ_１４Ｗ_ｉ＝Ｒ_ｉ ・・・式１５
ｇ_ｉ＝Ｈ_２１Ｒ_ｉ＋Ｈ_２２Ｇ_ｉ＋Ｈ_２３Ｂ_ｉ＋Ｈ_２４Ｗ_ｉ＝Ｇ_ｉ ・・・式１６
ｂ_ｉ＝Ｈ_３１Ｒ_ｉ＋Ｈ_３２Ｇ_ｉ＋Ｈ_３３Ｂ_ｉ＋Ｈ_３４Ｗ_ｉ＝Ｂ_ｉ ・・・式１７
ｗ_ｉ＝Ｈ_４１Ｒ_ｉ＋Ｈ_４２Ｇ_ｉ＋Ｈ_４３Ｂ_ｉ＋Ｈ_４４Ｗ_ｉ＝Ｗ_ｉ ・・・式１８
０＝（Ｈ_１１＋Ｈ_１２＋Ｈ_１３＋Ｈ_１４）ＩＲ_ｉ ・・・式１９
０＝（Ｈ_２１＋Ｈ_２２＋Ｈ_２３＋Ｈ_２４）ＩＲ_ｉ ・・・式２０
０＝（Ｈ_３１＋Ｈ_３２＋Ｈ_３３＋Ｈ_３４）ＩＲ_ｉ ・・・式２１
０＝（Ｈ_４１＋Ｈ_４２＋Ｈ_４３＋Ｈ_４４）ＩＲ_ｉ ・・・式２２

図１８は、第３の実施の形態における、式１５乃至式２２が成立する理想的な感度特性の一例を示すグラフである。第１の実施の形態では、この前提条件のもと、理想状態から誤差を最小にする一意の係数行列Ｈ_ijを求めていた。しかしながら、図１１で求めた分光特性の結果は、可視光域において、ＲＧＢの特性が分離前と大きく異なってしまう問題が発生する。つまり、各ｉについて、ｒ_ｉ、ｇ_ｉ、ｂ_ｉ、ｗ_ｉがＲ_ｉ、Ｂ_ｉ、Ｇ_ｉ、Ｗ_ｉと一致しないことを示唆している。上述のマトリクスを解く過程で生じる誤差は、可視光域での色再現の問題を引き起こす原因となる。

では、この誤差を最小にする方法が他にないかという課題に対して、本実施の形態では、仮想視覚空間の基底を再定義することで、線形写像を新たに導入し、誤差をさらに最小化することを考案する。

まず、幾何学的に誤差の問題を考えてみる。もし、赤外光が重畳されたＲ、Ｇ、Ｂ、Ｗ画素のそれぞれの分光特性（以下、「等色関数」と称する。）で作られる仮想視覚空間において、理想的に赤外線分離された各色を表現できるなら上述の条件は満たされる。つまり、赤外線分離を含むすべての色再現処理は、線形写像ｆの表現行列Ｈ_ijで一意に決まる。しかし、実際に誤差が大きく存在するということは、この仮想視覚空間では、理想的な色を表現することができないことを示している。言い換えると、図１９におけるａで示した、４つの等色関数で張られる仮想視覚空間は、実際の赤外光成分が重畳されたＲＧＢＷ色（センサー分光感度）を示すものであるが、赤外光成分を分離してできるＲＧＢＷ色は、この部分空間からずれていると解釈できる。これは、一般の３原色空間の議論と同じもので、測色学では、ノイゲバウア（Neugebauer）の品質係数（quality factor）を用いてＲＧＢ３原色空間からのずれを可視光領域に関して定量化されている。

さて、第１および第２の実施の形態では、全波長領域（あるいは仮想視覚空間全域）に関して、誤差を生じているわけではない。実際に赤外光領域においては良い結果を得ている。これはある意味、可視光領域を犠牲にして、赤外光成分を分離することを優先処理した結果と考えることができる。つまり第３の実施の形態では、第１および第２の実施の形態の結果を活かし、それらの分離結果を使って可視光領域を補正することを考える。ここで注意したいのは、行列の性質から自明であるが、単純にリニアマトリクスに代表されるような、可視光ＲＧＢ空間の１次変換のみでは可視光域において所望の色再現は実現できない点である。理由は、１次変換ｆとｍとが存在するならば、それらの合成写像もやはり１次変換であるからである。後段で、追加で１次変換（例えば、ＲＧＢの３×３リニアマトリクス）を施しても、全波長域において得られた元の最適解からずれていく（すなわち、誤差が増える）だけである。もちろん、特定の領域に着目した最適化は有効であるが、その場合は他の領域に歪が生じる。このような二律背反的な処理を許容することができるケースであれば、１次変換の組み合わせはこの範囲において有効である。これは、幾何学的な意味から、仮想視覚空間Ｖ→Ｖの変換Ｈ_ij（＝１次変換）では、空間外の色(ここでは、Ｖと異なるＸ空間が存在するとする)を表すことはできないからである。

これまでの議論から空間を拡張する必要がある。そこで、赤外光成分が重畳されたＲ_{_ＩＲ}、Ｇ_{_ＩＲ}、Ｂ_{_ＩＲ}、Ｗ_{_ＩＲ}で張る仮想視覚空間Ｖに適当な基底を追加して、そこに理想的に赤外線分離されたＲＧＢＷの張る部分空間Ｘを含むＳ空間へ拡張することを考える。つまり、Ｓの部分空間にＸやＶが含まれるように、適当な基底を設けて所望の空間へ拡張する。つまり、Ｖ、ＸおよびＳの間には、次の式に示す関係式が成立する。ただし、一般に基底は一意に決まらない。
Ｖ⊂Ｓ ・・・式２３
Ｘ⊂Ｓ ・・・式２４

例えば、Ｖ空間は、（Ｒ_{_ＩＲ}、Ｇ_{_ＩＲ}、Ｂ_{_ＩＲ}、Ｗ_{_ＩＲ}）を基底とする等色関数の張る空間である。そこで、やや天下り的ではあるが、まずＶ空間を第１および第２の実施の形態で算出されたＲ、Ｇ、Ｂ、ＩＲを基底として再定義する。これは実質的な意味において、第１および第２の実施の形態がＶ→Ｖの（自己）同型写像であることを考えれば自明である。動機は、上述したように第１および第２の実施の形態はいずれも赤外光領域において良い近似結果を得ていることから、分離された赤外光成分に着目し、改めてＶ空間を構築したかったことによる。また、それらを基底とするＶ空間は、多項式空間Ｐ^４ _４と見方を変えると、Ｒ、Ｇ、Ｂ、ＩＲを使って、それらの線形独立性および演算、ハードウエア化の容易性を考慮して、この多項式空間の基底を追加してＰ^１４ _４空間に拡張する。このＰ^１４ _４空間は、（Ｒ’、Ｇ’、Ｂ’、ＩＲ’、Ｒ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’）により表される。

ここで、Ｒ’、Ｇ’、Ｂ’およびＩＲ’のそれぞれの「’」は、成分Ｒ、Ｇ、ＢおよびＩＲに対して正規化処理が行われたことを示す。正規化処理については後述する。なお、Ｒ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’は、特許請求の範囲に記載の高次元成分の一例である。

また、（Ｒ’、Ｇ’、Ｂ’、ＩＲ’）は、第１または第２の実施の形態の線形変換によって生成されたＶ空間のベクトルである。このときのＶ空間は、このベクトルを基底とするＰ^４ _４空間と再定義していることに注意する。つまり、Ｖ空間はＰ^４ _４空間と合同であり、Ｖ空間は、Ｐ^１４４ _４空間に含まれる。

このように実センサーの分光感度を表す仮想視覚空間Ｖを含む形で拡張することができる。次に、理想的に赤外線分離されたＲＧＢＷの張るＸ空間を含むＳ空間がＰ^１４ _４空間になりうるか、について考える。ここでは、次のように推定して議論を進める。図１８に示した、理想的に赤外線分離されたＲＧＢＷ色で張られるＸ空間と、図１４、１７で例示したＶ空間とは、これらの図の結果から、全く交わらない異なる空間ではなく、一部重なり合った状態にあると考えられる。つまり、次の式に示すように、空間の次元がともに同じで一部重なり合っていることから、Ｖ空間を拡張したＰ^１４ _４空間を仮に当該S空間と仮定してみることは無理なことではない。図１９におけるｂ乃至ｅは、模式的にこのことを示したものである。
ｄｉｍ(Ｖ)＝ｄｉｍ(Ｘ) ・・・式２５
上式において、ｄｉｍ（）は、空間の次元を返す関数である。

Ｘ空間が、Ｓ空間（すなわちＰ^１４ _４空間）に含まれるという仮定を、図１９におけるｄでは破線で示してある。このとき、同図におけるｅは前記議論と同様に一般に多項式空間Ｐ^４ _４、Ｐ^１４ _４は数ベクトル空間へ各々全単射できるため、次の式に示す線形写像ｑが存在して写像ｍの表現行列が定義できる。

つまり、線形写像ｍ：Ｓ→Ｘに対して、次の式に示す条件が成り立つなら、Ｒ^１５１→Ｒ^１５１の線形写像ｑが存在し、線形写像ｍの表現行列が定義できる。

以上の議論から、上述の課題である、理想的に赤外線が分離されたＲＧＢＷで張られるＸ空間にＶを含むＳ空間から写像することが可能となる。これによって、第１および第２の実施の形態で赤外線分離されたＲＧＢおよびＩＲ(またはＷ)をつかって、理想的な色再現が可能となる。本実施の形態では、この仮定Ｐ^１４ _４（すなわちＳ）を「結果の良好さ」において妥当としており、数学的な厳密性よりも実質的な意味において十分であると考えている。

次に実際に表現行列を導出してみる。赤外光成分は、第１および第２の実施の形態において分離できている。このため、第１および第２の実施の形態の後段に分離された可視光成分Ｒ、Ｇ、Ｂおよび赤外光成分ＩＲを入力信号にして、上述の基底ベクトルで構成される行列演算を行うことで、可視光域の色再現処理を適正に行うことができる。すなわち、後述するハードウエア処理のフローのもと、図２０に示す行列演算処理を第１および第２の実施の形態の結果に施すことで、簡単に所望の色再現が得られる。

ここで(ｒ、ｇ、ｂ、ｉｒ)は出力信号、（Ｒ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’）は、入力信号である。

実際の入力信号は、第１および第２の実施の形態で行われた赤外光成分が分離された状態の信号Ｒ、Ｇ、ＢおよびＩＲで構成されている。撮像装置１００は、これらを、次の式に示すように、各画素値で作られる（Ｒ、Ｇ、Ｂ、ＩＲ）のベクトルのノルムＮにより除する処理を正規化処理として行う。正規化後の成分は、前述のＲ’、Ｇ’、Ｂ’、ＩＲ’である。
Ｒ’＝Ｒ／Ｎ ・・・式２８
Ｇ’＝Ｇ／Ｎ ・・・式２９
Ｎ’＝Ｂ／Ｎ ・・・式３０
ＩＲ’＝ＩＲ／Ｎ ・・・式３１
Ｎ＝（Ｒ^２＋Ｇ^２＋Ｂ^２＋ＩＲ^２）^１／２ ・・・式３２

図２１は、第３の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。同図に例示するように、式２８乃至式３１の結果を用いて、行列演算が行われる。同図の４×１４のマトリックスの各係数は、上述の議論同様、数ベクトル空間Ｒ^１５１から疑似逆行列を使って表計算ソフトなどであらかじめ求めておく。つまり、第１および第２の実施の形態から算出された赤外線分離された分光特性の結果（図１０または１７）を入力データとして、１４個の基底ベクトルが予め算出される。その後、図２０に示すような式から疑似逆行列（本実施例では、ｎは１５１）を用いて、上述の議論同様に表計算ソフトを利用して容易に係数が求められる。

以上のように、扱う空間を拡張して、全波長域において色再現効果を得るために、本実施の形態では、第１または第２の実施の形態の構成を組み合わせることで、可視光および赤外光領域の色再現を精度よく実現することができる。

図２２は、第３の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、図１４や図１７と比較して、かなりの精度で全波長域が理想的な感度特性に近づいていることがわかる。

図２３は、第３の実施の形態における赤外線分離部３００の一構成例を示すブロック図である。第３の実施の形態の赤外線分離部３００は、正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０をさらに備える点において第１の実施の形態と異なる。

正規化部３６０は、式２８乃至式３１に例示した式により、可視光成分Ｒ、Ｇ、Ｂおよび赤外光成分ＩＲに対して正規化を行うものである。正規化部３６０は、正規化後のそれぞれの成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’を正規化成分演算部４００、二乗成分演算部４４０およびクロス成分演算部５００に供給し、ノルムＮを逆正規化部３８０に供給する。

正規化成分演算部４００は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’に対し、４行×４列の行列を用いた演算を行って演算結果を高次元成分加算部３７０に供給するものである。

二乗成分演算部４４０は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’のそれぞれを二乗して二乗成分を生成し、それらに対して４行×４列の行列を用いた演算を行って演算結果を高次元成分加算部３７０に供給するものである。

クロス成分演算部５００は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’のうち２つの一方を他方に乗算して６つの成分をクロス成分として生成し、それらに対して４行×６列の行列を用いた演算を行うものである。このクロス成分演算部５００は、演算結果を高次元成分加算部３７０に供給する。

高次元成分加算部３７０は、正規化成分演算部４００、二乗成分演算部４４０およびクロス成分演算部５００のそれぞれの演算結果を加算するものである。この高次元成分加算部３７０は、加算結果を高精度成分ｒ、ｇ、ｂおよびｉｒとして逆正規化部３８０に供給するものである。

逆正規化部３８０は、高精度成分ｒ、ｇ、ｂおよびｉｒのそれぞれにノルムＮを乗算する逆正規化処理を行うものである。この逆正規化部３８０は、逆正規化後の可視光成分Ｒ’’、Ｇ’’、Ｂ’’をホワイトバランス処理部２３０に供給し、逆正規化後の赤外光成分ＩＲ’’を輝度信号生成部２４０に供給する。

なお、撮像装置１００に二乗成分演算部４４０およびクロス成分演算部５００の両方を設ける構成としているが、いずれか一方のみを設ける構成であってもよい。

これらの正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０により、赤外光成分および可視光成分が補正されて誤差が低減する。なお、正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０からなる回路は、特許請求の範囲に記載の補正処理部の一例である。

図２４は、第３の実施の形態における正規化成分演算部４００の一構成例を示す図である。この正規化成分演算部４００は、乗算器４０１、４０５、４０６、４０７、４１１、４１５、４１６および４１７と、加算器４０２、４０３、４０４、４１２、４１３および４１４とを備える。また、正規化成分演算部４００は、乗算器４２１、４２５、４２６、４２７、４３１、４３５、４３６および４３７と、加算器４２２、４２３、４２４、４３２、４３３および４３４とを備える。

乗算器４０１、４０５、４０６および４０７と、加算器４０２、４０３および４０４とは、係数Ｈ_１１、Ｈ_１２、Ｈ_１３、Ｈ_１４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃ_ｒ１は、高次元成分加算部３７０に供給される。

乗算器４１１、４１５、４１６および４１７と、加算器４１２、４１３および４１４とは、係数Ｈ_２１、Ｈ_２２、Ｈ_２３、Ｈ_２４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃ_ｇ１は、高次元成分加算部３７０に供給される。

乗算器４２１、４２５、４２６および４２７と、加算器４２２、４２３および４２４とは、係数Ｈ_３１、Ｈ_３２、Ｈ_３３、Ｈ_３４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃ_ｂ１は、高次元成分加算部３７０に供給される。

乗算器４３１、４３５、４３６および４３７と、加算器４３２、４３３および４３４とは、係数Ｈ_４１、Ｈ_４２、Ｈ_４３、Ｈ_４４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃ_ｉｒ１は、高次元成分加算部３７０に供給される。

図２５は、第３の実施の形態における二乗成分演算部４４０の一構成例を示す図である。この二乗成分演算部４４０は、乗算器４４１、４４２、４４３、４４４、４５１、４５５、４５６および４５７と、加算器４５２、４５３および４５４とを備える。また、二乗成分演算部４４０は、乗算器４６１、４６５、４６６、４６７、４７１、４７５、４７６、４７７、４８１、４８５、４８６および４８７と、加算器４６２、４６３、４６４、４７２、４７３、４７４、４８２、４８３および４８４とを備える。

乗算器４４１乃至４４４は、Ｒ’、Ｇ’、Ｂ’およびＩＲ’を二乗して二乗成分Ｒ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２を生成するものである。二乗成分Ｒ’^２は、乗算器４５１、４６１、４７１および４８１に供給され、二乗成分Ｇ’^２は、乗算器４５５、４６５、４７５および４８５に供給される。また、二乗成分Ｂ’^２は、乗算器４５６、４６６、４７６および４８６に供給され、二乗成分ＩＲ’^２は、乗算器４５７、４６７、４７７および４８７に供給される。

乗算器４５１、４５５、４５６および４５７と、加算器４５２、４５３および４５４とは、係数Ｈ_１５、Ｈ_１６、Ｈ_１７、Ｈ_１８によりＲ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２を重み付け加算するものである。この加算結果Ｃ_ｒ２は、高次元成分加算部３７０に供給される。

乗算器４６１、４６５、４６６および４６７と、加算器４６２、４６３および４６４とは、係数Ｈ_２５、Ｈ_２６、Ｈ_２７、Ｈ_２８によりＲ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２を重み付け加算するものである。この加算結果Ｃ_ｇ２は、高次元成分加算部３７０に供給される。

乗算器４７１、４７５、４７６および４７７と、加算器４７２、４７３および４７４とは、係数Ｈ_３５、Ｈ_３６、Ｈ_３７、Ｈ_３８によりＲ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２を重み付け加算するものである。この加算結果Ｃ_ｂ２は、高次元成分加算部３７０に供給される。

乗算器４８１、４８５、４８６および４８７と、加算器４８２、４８３および４８４とは、係数Ｈ_４５、Ｈ_４６、Ｈ_４７、Ｈ_４８によりＲ’^２、Ｇ’^２、Ｂ’^２、ＩＲ’^２を重み付け加算するものである。この加算結果Ｃ_ｉｒ２は、高次元成分加算部３７０に供給される。

図２６は、第３の実施の形態におけるクロス成分演算部５００の一構成例を示す図である。このクロス成分演算部５００は、乗算器５０１乃至５０６と、クロス成分マトリックス演算部５１０とを備える。

乗算器５０１は、Ｒ’およびＧ’を乗算して乗算結果をクロス成分Ｒ’Ｇ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０２は、Ｒ’およびＢ’を乗算して乗算結果をクロス成分Ｒ’Ｂ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０３は、ＲＩ’およびＲ’を乗算して乗算結果をクロス成分Ｒ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。

また、乗算器５０４は、Ｇ’およびＢ’を乗算して乗算結果をクロス成分Ｇ’Ｂ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０５は、Ｇ’およびＩＲ’を乗算して乗算結果をクロス成分Ｇ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０６は、Ｂ’およびＩＲ’を乗算して乗算結果をクロス成分Ｂ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。

クロス成分マトリックス演算部５１０は、クロス成分に対して、４行×６列のマトリックス演算を行うものである。

図２７は、第３の実施の形態におけるクロス成分マトリックス演算部５１０の一構成例を示す図である。このクロス成分マトリックス演算部５１０は、乗算器５１１、５１７、５１８、５１９、５２０および５２１と、加算器５１２、５１３、５１４、５１５および５１６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５３１、５３７、５３８、５３９、５４０および５４１と、加算器５３２、５３３、５３４、５３５および５３６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５５１、５５７、５５８、５５９、５６０および５６１と、加算器５５２、５５３、５５４、５５５および５５６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５７１、５７７、５７８、５７９、５８０および５８１と、加算器５７２、５７３、５７４、５７５および５７６とを備える。

乗算器５１１、５１７、５１８、５１９、５２０および５２１と、加算器５１２、５１３、５１４、５１５および５１６とは、係数Ｈ_１９乃至Ｈ_１Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃ_ｒ３は、高次元成分加算部３７０に供給される。

乗算器５３１、５３７、５３８、５３９、５４０および５４１と、加算器５３２、５３３、５３４、５３５および５３６とは、係数Ｈ_２９乃至Ｈ_２Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃ_ｇ３は、高次元成分加算部３７０に供給される。

乗算器５５１、５５７、５５８、５５９、５６０および５６１と、加算器５５２、５５３、５５４、５５５および５５６とは、係数Ｈ_３９乃至Ｈ_３Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃ_ｂ３は、高次元成分加算部３７０に供給される。

乗算器５７１、５７７、５７８、５７９、５８０および５８１と、加算器５７２、５７３、５７４、５７５および５７６とは、係数Ｈ_４９乃至Ｈ_４Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃ_ｉｒ３は、高次元成分加算部３７０に供給される。

図２８は、第３の実施の形態における高次元成分加算部３７０の一構成例を示す図である。この高次元成分加算部３７０は、加算器３７１乃至３７８を備える。

加算器３７１および３７２は、加算結果Ｃ_ｒ１、Ｃ_ｒ２およびＣ_ｒ３を加算して、高精度成分ｒとして逆正規化部３８０に供給するものである。加算器３７３および３７４は、加算結果Ｃ_ｇ１、Ｃ_ｇ２およびＣ_ｇ３を加算して、高精度成分ｇとして逆正規化部３８０に供給するものである。

また、加算器３７５および３７６は、加算結果Ｃ_ｂ１、Ｃ_ｂ２およびＣ_ｂ３を加算して、高精度成分ｂとして逆正規化部３８０に供給するものである。加算器３７７および３７８は、加算結果Ｃ_ｉｒ１、Ｃ_ｉｒ２およびＣ_ｉｒ３を加算して、高精度成分ｉｒとして逆正規化部３８０に供給するものである。

このように、本技術の第３の実施の形態によれば、撮像装置１００は、可視光成分、赤外光成分、二乗成分およびクロス成分を重み付け加算して補正するため、可視光成分および赤外光成分の精度をさらに向上させることができる。

［変形例］
第３の実施の形態では、４行×１４列の行列により赤外光成分および可視光成分を生成していたが、行列をさらに拡張することもできる。第３の実施の形態の変形例の撮像装置１００は、行列をさらに拡張した点において第３の実施の形態と異なる。

図２９は、第３の実施の形態の変形例における赤外線分離部３００で用いられる計算式の一例を示す図である。赤外線分離部３００は、３乗成分Ｒ’^２Ｂ’、Ｒ’^２Ｇ’、Ｒ’^２ＩＲ’、Ｇ’^２Ｒ’、Ｇ’^２Ｂ’、Ｇ’^２ＩＲ’、Ｂ’^２Ｒ’、Ｂ’^２Ｇ’、Ｂ’^２ＩＲ’ 、ＩＲ’^２Ｒ’、ＩＲ’^２Ｇ’、ＩＲ’^２Ｂ’をさらに生成する。そして、赤外線分離部３００は、可視光成分、赤外光成分、二乗成分、クロス成分および３乗成分を重み付け加算して、ｒ、ｇ、ｂおよびｉｒを求める。

なお、赤外線分離部３００は、二乗成分、クロス成分および３乗成分の全てを生成しているが、３乗成分のみを生成してもよいし、２乗成分およびクロス成分の一方と３乗成分とを生成してもよい。また、３乗成分は、特許請求の範囲に記載の高次元成分の一例である。

また、赤外線分離部３００は、３乗成分よりさらに次元の高い成分を生成して、重み付け加算を行ってもよい。３乗成分より次元の高い高次元成分として、例えば、３乗成分にＲ’、Ｇ’、Ｂ’およびＩＲ’を乗算した４乗成分が生成される。

このように、第３の実施の形態の変形例によれば、撮像装置１００は、撮像装置１００は、３乗成分をさらに重み付け加算して補正するため、可視光成分および赤外光成分の精度をさらに向上させることができる。

＜４．第４の実施の形態＞
第１の実施の形態では、撮像装置１００に予め係数が設定されている構成としていたが、係数を算出する情報処理装置を別途設け、その情報処理装置で算出した係数を撮像装置１００に設定してもよい。第４の実施の形態の撮像システムは、係数を算出する情報処理装置をさらに設けた点において第１の実施の形態と異なる。

図３０は、第４の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、情報処理装置６００および撮像装置１００を備える。

情報処理装置６００は、重み付け加算における係数を算出するものである。この情報処理装置６００は、入力部６１０、赤外線分離部６２０、係数取得部６３０およびインターフェース６４０を備える。

入力部６１０は、感度特性データを赤外線分離部６２０に入力し、目標データを係数取得部６３０に入力するものである。ここで、感度特性データは、画素ごとの感度特性を示すデータである。例えば、図１２に示した感度特性曲線において、３５０乃至１１００ナノメートルの範囲で、５ナノメートル刻みに、その波長の光に対する感度が入力される。３５０乃至１１００ナノメートルの範囲を５ナノメートルごとに分割した際の分割数は、１５１個である。感度特性データは、１５１個の波長のそれぞれの感度の値を、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれについて含む。つまり、１５１×４個の感度が入力される。なお、波長の分解能は５ナノメートルに限定されない。例えば、５ナノメートルより細かくして、精度を向上させてもよい。

また、目標データは、理想的な赤外光成分および可視光成分の特性を示すデータである。例えば、図１８に示した、理想的な感度特性曲線において、３５０乃至１１００ナノメートルの範囲で、５ナノメートル刻みに、その波長の光に対する感度が目標感度として入力される。

なお、感度特性データおよび目標データとして、波長ごとの感度が入力される構成としているが、この構成に限定されない。例えば、図１２に示した感度特性曲線における各波長の感度の合計値や平均値などの統計量を画素ごとに含むデータが感度特性データとして入力されてもよい。同様に、図１８に示した感度特性曲線における各波長の感度の合計値や平均値などの統計量を画素ごとに含むデータが目標データとして入力されてもよい。

赤外線分離部６２０の構成は、第１の実施の形態の赤外線分離部３００と同様である。この赤外線分離部６２０は、感度特性データに基づいて図６におけるａの行列を使用して、行列式のＲ、Ｇ、ＢおよびＩＲを出力感度ＩＲｏｕｔ_ｋ、Ｒｏｕｔ_ｋ、Ｇｏｕｔ_ｋ、Ｂｏｕｔ_ｋに置き換えて波長ごとにそれらを算出する。ここで、ｋは、波長を示す。赤外線分離部６２０は、求めた出力感度を係数取得部６３０に供給する。なお、赤外線分離部６２０は、特許請求の範囲に記載の差分取得部の一例である。

係数取得部６３０は、出力感度と目標感度との誤差が最小になる係数を演算するものである。例えば、次の式における誤差が最小となる係数が算出される。

式３３より誤差Ｒ_{ＥＲＲＯＲ}が最小になる係数Ｋ_１１乃至Ｋ_１４が算出される。式３４より誤差Ｇ_{ＥＲＲＯＲ}が最小になる係数Ｋ_２１乃至Ｋ_２４が算出される。また、式３５より誤差Ｂ_{ＥＲＲＯＲ}が最小になる係数Ｋ_３１乃至Ｋ_３４が算出され、式３６より誤差ＩＲ_{ＥＲＲＯＲ}が最小になる係数Ｋ_４１乃至Ｋ_４４として算出される。係数取得部６３０は、求めた係数をインターフェース６４０を介して撮像装置１００に供給する。

なお、情報処理装置６００は、目標データおよび感度特性データから係数を求めているが、係数Ｋ_４１乃至Ｋ_４４については、可視光領域（例えば、３５０乃至６５０ナノメートル）の各画素の感度特性データのみから求めることもできる。この場合には、例えば、可視光領域のＲ、Ｇ、Ｂ、Ｗ画素の感度を重み付け加算した加算値が許容値未満になる係数が求められる。この許容値には、Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の加算値以下の値が設定される。ただし、精度を高くする観点から、情報処理装置６００は、目標データおよび感度特性データから係数を求めることがより望ましい。

また、情報処理装置６００は、誤差が最小となる係数を求めているが、誤差が設定値以下となる係数を求めてもよい。Ｋ_１１、Ｋ_１２、Ｋ_１３およびＫ_１４を求める際の設定値には、それらを０．５、−０．５、−０．５および０．５とした場合の誤差Ｒ_{ＥＲＲＯＲ}未満の値が設定される。Ｋ_２１、Ｋ_２２、Ｋ_２３およびＫ_２４を求める際の設定値には、それらを−０．５、０．５、−０．５および０．５とした場合の誤差Ｇ_{ＥＲＲＯＲ}未満の値が設定される。Ｋ_３１、Ｋ_３２、Ｋ_３３およびＫ_３４を求める際の設定値には、それらを−０．５、−０．５、０．５および０．５とした場合の誤差Ｂ_{ＥＲＲＯＲ}未満の値が設定される。Ｋ_４１、Ｋ_４２、Ｋ_４３およびＫ_４４を求める際の設定値には、それらを０．５、０．５、０．５および−０．５とした場合の誤差ＩＲ_{ＥＲＲＯＲ}未満の値が設定される。ただし、精度を高くする観点から、情報処理装置６００は、各誤差が最小となる係数を求めることが望ましい。

また、赤外線分離部６２０を第１の実施の形態と同じ構成としているが、第２の実施の形態と同じ構成にしてもよい。この場合には、係数Ｋ_１１乃至Ｋ_４１と、係数Ｋｒ、ＫｇおよびＫｂとが算出される。また、赤外線分離部６２０を第３の実施の形態と同じ構成にしてもよい。この場合には、図２０に示した行列における各係数が算出される。

図３１は、第４の実施の形態における情報処理装置６００の動作の一例を示すフローチャートである。この動作は、例えば、係数を演算するための所定のアプリケーションが実行されたときに開始する。

情報処理装置６００は、感度特性データが入力されると、そのデータをメモリなどに保持する（ステップＳ９２１）。そして、情報処理装置６００は、重み付け加算により、出力感度を算出する（ステップＳ９２２）。また、情報処理装置６００は、目標データが入力されると、そのデータをメモリなどに保持する（ステップＳ９２３）。情報処理装置６００は、目標データ内の目標と出力感度との誤差が最小になる係数を演算する（ステップＳ９２４）。ステップＳ９２４の後、情報処理装置６００は、係数の演算を終了する。

このように本技術の第４の実施の形態によれば、情報処理装置６００が画素の出力感度を重み付け加算した値と目標感度との間の誤差が最小になる係数を求めるため、撮像装置１００は、それらの係数により赤外光成分を正確に分離することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する画像処理装置。
（２）前記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の前記可視光の成分を生成する可視光成分生成部をさらに具備する
前記（１）記載の画像処理装置。
（３）前記可視光成分生成部は、前記可視光および前記不可視光を含む光に対する前記複数の第１画素および前記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と前記複数の第１画素のいずれかの対象画素の前記可視光に対する感度との間の差分が所定の設定値より小さくなる前記第３の重み係数により前記複数の第１画素と前記第２画素とのそれぞれの画素信号を重み付け加算した信号を前記対象画素の画素信号内の前記可視光の成分として生成する
前記（２）記載の画像処理装置。
（４）前記可視光成分生成部は、前記複数の第１画素のうち対象画素の前記不可視光に対する感度が高いほど大きな第４の重み係数により前記不可視光の成分を重み付けした値と前記対象画素の画素信号との差分を前記可視光の成分として生成する
前記（２）記載の画像処理装置。
（５）前記可視光および前記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と前記不可視光の成分と前記可視光の成分とのそれぞれを重み付けして加算する処理により前記可視光および前記不可視光の成分を補正する補正処理部をさらに具備する
前記（２）または（３）記載の画像処理装置。
（６）前記補正処理部は、前記不可視光の成分を二乗した値と前記可視光の成分を二乗した値との少なくとも一方を前記高次元成分として生成する
前記（５）記載の画像処理装置。
（７）前記可視光成分は、複数の色成分を含み、
前記補正処理部は、前記不可視光の成分と前記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を前記高次元成分として生成する
前記（５）または（６）に記載の画像処理装置。
（８）前記補正処理部は、前記不可視光の成分を二乗した値に前記可視光の成分を乗じた値と前記可視光の成分を二乗した値に前記不可視光の成分を乗じた値との少なくとも一方を前記高次元成分として生成する
前記（５）から（７）のいずれかに記載の画像処理装置。
（９）前記第２の画素の画素信号が所定の閾値より大きいか否かを検出して前記画素信号が前記所定の閾値より大きい場合には前記第２画素の画素信号と前記不可視光の成分とを重み付け加算する検出部をさらに具備する
請求項１記載の画像処理装置。
（１０）前記第２画素の画素信号と前記不可視光成分を重み付けした値との差分を輝度信号として生成する輝度信号生成部をさらに具備する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）前記複数の第１画素は、前記可視光のうち赤色光に対する感度が最も高い画素と前記可視光のうち緑色光に対する感度が最も高い画素と前記可視光のうち青色光に対する感度が最も高い画素とを含み、
前記第２画素は、前記可視光のうち白色光に対する感度が最も高い画素である
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）可視光および不可視光に対して感度を有する複数の第１画素と前記可視光および前記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、
可視光に対する前記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光に対する前記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する撮像装置。
（１３）可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、
前記差分が所定の許容値よりも小さくなる前記第１および第２の重み係数を求める係数取得部と
を具備する情報処理装置。
（１４）加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
を具備する画像処理方法。
（１５）加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
をコンピュータに実行させるためのプログラム。

１００ 撮像装置
１１０ 撮像レンズ
１２０ 光学フィルタ
１３０ 撮像素子
１４０ 記録部
１５０ 制御部
１６０ 赤外光投光器
１７０ 測光部
２００ 画像処理部
２１０ 低周波補間ローパスフィルタ
２２０ 高周波補間ローパスフィルタ
２３０ ホワイトバランス処理部
２４０ 輝度信号生成部
２４１ スイッチ
２４２、３１１、３１５、３１６、３１７、３２１、３２５、３２６、３２７、３２９、３３１、３３５、３３６、３３７、３３９、３４１、３４５、３４６、３４７、３４９、３５１、３５３、３５４、３５６、３５７、３５９、３６０、４０１、４０５、４０６、４０７、４１１、４１５、４１６、４１７、４２１、４２５、４２６、４２７、４３１、４３５、４３６、４３７、４４１、４４２、４４３、４４４、４５１、４５５、４５６、４５７、４６１、４６５、４６６、４６７、４７１、４７５、４７６、４７７、４８１、４８５、４８６、４８７、５０１、５０２、５０３、５０４、５０５、５０６、５１１、５１７、５１８、５１９、５２０、５２１、５３１、５３７、５３８、５３９、５４０、５４１、５５１、５５７、５５８、５５９、５６０、５６１、５７１、５７７、５７８、５７９、５８０、５８１ 乗算器
２４３、３２８、３３８、３４８ 減算器
２５０ ガンマ補正部
２６０ 色差信号生成部
３００、６２０ 赤外線分離部
３１０ 赤外光成分生成部
３１２、３１３、３１４、３２２、３２３、３２４、３３２、３３３、３３４、３４２、３４３、３５２、３５５、３５８、３７１、３７２、３７３、３７４、３７５、３７６、３７７、３７８、４０２、４０３、４０４、４１２、４１３、４１４、４２２、４２３、４２４、４３２、４３３、４３４、４５２、４５３、４５４、４６２、４６３、４６４、４７２、４７３、４７４、４８２、４８３、４８４、５１２、５１３、５１４、５１５、５１６、５３２、５３３、５３４、５３５、５３６、５５２、５５３、５５４、５５５、５５６、５７２、５７３、５７４、５７５、５７６ 加算器
３２０ 可視光成分生成部
３５０ 飽和画素検出部
３６０ 正規化部
３６１ α値制御部
３７０ 高次元成分加算部
３８０ 逆正規化部
４００ 正規化成分演算部
４４０ 二乗成分演算部
５００ クロス成分演算部
５１０ クロス成分マトリックス演算部
６００ 情報処理装置
６１０ 入力部
６３０ 係数取得部
６４０ インターフェース

Claims (15)

1. 可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
   前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
   前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
   を具備する画像処理装置。
2. 前記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の前記可視光の成分を生成する可視光成分生成部をさらに具備する
   請求項１記載の画像処理装置。
3. 前記可視光成分生成部は、前記可視光および前記不可視光を含む光に対する前記複数の第１画素および前記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と前記複数の第１画素のいずれかの対象画素の前記可視光に対する感度との間の差分が所定の設定値より小さくなる前記第３の重み係数により前記複数の第１画素と前記第２画素とのそれぞれの画素信号を重み付け加算した信号を前記対象画素の画素信号内の前記可視光の成分として生成する
   請求項２記載の画像処理装置。
4. 前記可視光成分生成部は、前記複数の第１画素のうち対象画素の前記不可視光に対する感度が高いほど大きな第４の重み係数により前記不可視光の成分を重み付けした値と前記対象画素の画素信号との差分を前記可視光の成分として生成する
   請求項２記載の画像処理装置。
5. 前記可視光および前記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と前記不可視光の成分と前記可視光の成分とのそれぞれを重み付けして加算する処理により前記可視光および前記不可視光の成分を補正する補正処理部をさらに具備する
   請求項２または３に記載の画像処理装置。
6. 前記補正処理部は、前記不可視光の成分を二乗した値と前記可視光の成分を二乗した値との少なくとも一方を前記高次元成分として生成する
   請求項５記載の画像処理装置。
7. 前記可視光の成分は、複数の色成分を含み、
   前記補正処理部は、前記不可視光の成分と前記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を前記高次元成分として生成する
   請求項５または６に記載の画像処理装置。
8. 前記補正処理部は、前記不可視光の成分を二乗した値に前記可視光の成分を乗じた値と前記可視光の成分を二乗した値に前記不可視光の成分を乗じた値との少なくとも一方を前記高次元成分として生成する
   請求項５から７のいずれかに記載の画像処理装置。
9. 前記第２画素の画素信号が所定の閾値より大きいか否かを検出して前記画素信号が前記所定の閾値より大きい場合には前記第２画素の画素信号と前記不可視光の成分とを重み付け加算する検出部をさらに具備する
   請求項１から８のいずれかに記載の画像処理装置。
10. 前記第２画素の画素信号と前記不可視光の成分を重み付けした値との差分を輝度信号として生成する輝度信号生成部をさらに具備する
    請求項１から９のいずれかに記載の画像処理装置。
11. 前記複数の第１画素は、前記可視光のうち赤色光に対する感度が最も高い画素と前記可視光のうち緑色光に対する感度が最も高い画素と前記可視光のうち青色光に対する感度が最も高い画素とを含み、
    前記第２画素は、前記可視光のうち白色光に対する感度が最も高い画素である
    請求項１から１０のいずれかに記載の画像処理装置。
12. 可視光および不可視光に対して感度を有する複数の第１画素と前記可視光および前記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、
    可視光に対する前記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光に対する前記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
    前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
    前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
    を具備する撮像装置。
13. 可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、
    前記差分が所定の許容値よりも小さくなる前記第１および第２の重み係数を求める係数取得部と
    を具備する情報処理装置。
14. 加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
    重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
    可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
    を具備する画像処理方法。
15. 加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
    重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
    可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
    をコンピュータに実行させるためのプログラム。

Images