JP2016184776A - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents

Abstract

【課題】混色補正を精度よく行えるようにする。【解決手段】混色情報記憶部３２は、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報、例えば混色補正対象画素への混色の割合に応じた混色補正率を記憶する。混色情報は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像したときの撮像信号を用いて、混色補正対象画素を含む学習領域の理想信号と撮像信号から生成する。混色補正部３１は、混色補正対象画素の色と位置および撮像設定状態例えば焦点距離や絞りに応じた混色情報を混色情報記憶部３２から取得して、取得した混色情報と近傍画素を用いて混色補正対象画素の混色補正を行う。画素毎に混色補正を精度よく行えるようになる。【選択図】 図４

Description

この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、混色補正を精度よく行えるようにする。

近年、撮像素子の高画素化によって画素間隔が狭くなり、近接画素のカラーフィルタを透過した光が混入することによって生ずる混色を補正する技術の重要性が増している。

混色を補正する技術では、撮像素子で混色を補正する技術と撮像素子で生成された画像信号を用いた信号処理によって混色を補正する技術が知られている。例えば、特許文献１では、選択的な波長を透過させる可変フィルタを撮像素子の受光面上に設けて、可変フィルタの透過波長を時分割的に切り換えつつ撮像信号を取得する。このように、可変フィルタにおける透過波長に対応する画素信号を時間的に連続して取得することで、混色のない信号が生成されている。

また、特許文献２では、画面内の座標に依存しない一律の補正式で緑色画素に対する混色補正を行い、混色補正で用いる混色補正係数を、絞り値、焦点距離および撮影感度による補正関数で補正することが開示されている。

特開２０１３ー０８５０２８号公報 特開２００９ー１８８４６１号公報

ところで、選択的な波長を透過させる可変フィルタを撮像素子の受光面上に設ける構成では汎用性の低下およびコストアップ等を招いてしまう。また、画面内の座標に依存しない一律の補正式で混色補正を行う場合、近接画素からの混色量が異なると精度よく混色を補正することができない。

そこで、この技術では混色補正を精度よく行える画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。

この技術の第１の側面は、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置にある。

この技術においては、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像したときの撮像信号を用いて、例えば混色補正対象画素を含む学習領域の理想信号と撮像信号に基づき、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報が混色情報生成部で生成されて混色情報記憶部に記憶される。混色補正部は、混色補正対象画素の色と位置、焦点距離と絞り値の少なくともいずれかの設定状態を含む撮像設定状態に応じた混色情報を混色情報記憶部から取得する。また、混色補正部は、取得した混色情報と混色補正対象画素に隣接した画素または混色補正対象画素を基準とした所定領域の画素である近傍画素を用いて混色補正対象画素の混色補正を行う。また、混色補正部は、混色補正対象画素の位置に応じて混色補正で用いる近傍画素の画素範囲を変更する。

この技術の第２の側面は、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から混色補正部が取得することと
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を前記混色補正部が行うこと
を含む画像処理方法にある。

この技術の第３の側面は、
撮像画の混色補正をコンピュータで実行させるプログラムであって、
混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から取得する手順と、
前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を行う手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
撮像光学部を介した入射した被写体光に応じて撮像信号を生成する撮像部と、
混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記撮像部における前記混色補正対象画素の色と位置および前記撮像光学系の設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と、
を有する撮像装置にある。

この技術では、撮像光学部を介した入射光に応じて撮像信号を撮像部で生成する。混色情報記憶部には、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と所定の混色計測用チャートを撮像部で撮像したときの撮像信号を用いて、例えば混色補正対象画素を含む学習領域の理想信号と撮像信号に基づいて生成された混色情報、すなわち混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報が記憶されている。混色補正部では、混色補正対象画素の色と位置および撮像光学系の設定状態に応じた混色情報を混色情報記憶部から取得して、取得した混色情報と近傍画素を用いて混色補正対象画素の混色補正が行われる。また、混色補正部は、制御部によって、当該撮像装置の動作モードに応じて混色補正で用いる近傍画素の画素範囲が変更される。

この技術によれば、混色補正対象画素の色と位置および撮像設定状態に応じた混色情報が混色情報記憶部から取得されて、この取得した混色情報と混色補正対象画素の近傍画素を用いて混色補正が行われる。このため、画素毎に精度よく混色補正を行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

混色を説明するための図である。 カラーフィルタの色配列を例示した図である。 撮像設定状態と入射角の関係を例示した図である。 実施の形態の構成を示した図である。 実施の形態の動作を示すフローチャートである。 混色補正率の算出動作を示すフローチャートである。 混色補正動作を示すフローチャートである。 上下左右に隣接した近傍画素を用いて混色補正を行う場合を示す図である。 上下左右および斜め方向に隣接した近傍画素を用いて混色補正を行う場合を示す図である。 補正対象画素を基準とした所定範囲に含まれる画素を近傍画素として用いて混色補正を行う場合を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う １．実施の形態の構成
２．実施の形態の動作（混色補正動作）
３．他の実施の形態について

＜１．実施の形態の構成＞
図１は、混色を説明するための図である。撮像素子２１では、素子分離部２１１によってフォトダイオード２１２が分離して設けられており、受光面側の素子分離部２１１の位置には遮光膜２１３が形成されている。さらに、遮光膜２１３が形成されている受光面側に平坦化膜２１４が形成されて、その平坦化膜２１４とオンチップレンズ２１６との間にカラーフィルタ２１５が形成される。カラーフィルタは例えば図２に示すように、赤色Ｒと緑色Ｇと青色Ｂの画素がベイヤ−配列とされている。

ここで、画面上の中心位置の画素では、フォトダイオード２１２への被写体光の入射角が小さいことから混色が少ない。また、画素の位置が画面上の中心位置から離れるに伴い、フォトダイオード２１２への被写体光の入射角が大きくなり混色が増加する。さらに、画素の位置が画面上の中心位置から離れて側端の位置となると、フォトダイオード２１２への被写体光の入射角がさらに大きくなることから混色がさらに増加する。なお、図１では、赤色Ｒの画素に対する緑色Ｇの画素からの混色を例示している。

また、フォトダイオード２１２への被写体光の入射角は、撮像設定状態に応じて変化する。図３は、撮像設定状態と入射角の関係を例示した図である。例えば被写体光の入射角は、被写体光を撮像素子に集光するレンズの焦点距離に応じて変化して、図３の（Ａ）に示す焦点距離が長い場合に比べて、図３の（Ｂ）に示すように焦点距離が短くなると入射角が大きくなる。また、図３の（Ｃ）に示す絞りの状態に比べて、図３の（Ｄ）に示すように絞りが開いた状態となると入射角が大きくなる。また、カラーフィルタ２１５では色毎に光の屈折率は異なるため、被写体光がカラーフィルタ２１５のいずれの色を通るかによっても入射角が異なる。また、光の入射角は画素の位置により異なるため、注目画素の位置に応じて上下左右の画素からの混色量が異なる。例えば画面上の左上の画素では右下側からの光による混色が多く、画面上の右下の画素では左上側からの光による混色が多くなる。なお、光軸から注目画素までの距離を像高とした場合、像高に応じて上下左右の画素からの混色量が異なる。

したがって、この技術の画像処理装置では、混色補正対象画素の近傍画素から混色補正対象画素への混色状況を示す混色情報を、予め画素位置と焦点距離等の撮像設定状態に応じて色毎に記憶しておく。また、撮像時には、記録している混色情報から、画素位置と焦点距離等の撮像設定状態に応じた混色情報を色毎に取得して、取得した混色情報に基づき各色の画素毎に混色の補正を行う。

図４は、実施の形態の構成を示した図であり、この技術の画像処理装置を適用した撮像装置を例示している。撮像装置１０は、撮像光学部１５、撮像部２０、前処理部２５、画像処理部３０、後処理部４０、制御部５０を有している。また、撮像装置１０は、混色情報生成部７０を接続できる構成とされている。なお、画像処理部３０は、この技術の画像処理装置に相当する。また、混色情報生成部７０は画像処理装置に含まれる。

撮像光学部１５は、フォーカスレンズやズームレンズ、絞り等を用いて構成されており、フォーカス調整やズーム調整、光量調整を行い、撮像部２０における撮像素子２１の撮像面に被写体光学像を所望のサイズおよび明るさで結像させる。

撮像部２０は、上述の撮像素子２１と撮像素子２１を駆動する素子駆動部（図示せず）を有している。撮像素子２１はＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子またはＣＣＤ（Charge Coupled Device）等を用いて構成されている。撮像素子２１は、素子駆動部からの駆動信号に基づいて光電変換処理等を行い、被写体光学像に応じた撮像信号を生成して前処理部２５に出力する。

前処理部２５は、撮像部２０から出力された撮像信号に対して、利得調整処理、Ａ／Ｄ変換処理、撮像素子における欠陥画素の補正処理、黒レベルを一定とする黒レベル補正処理、シェーディング補正処理等を行う。前処理部２５は、前処理後の撮像信号を画像処理部３０へ出力する。

画像処理部３０は、混色補正部３１と混色情報記憶部３２を有している。混色補正部３１は、混色情報記憶部３２から読み出された混色情報を用いて混色補正を行い、補正後の撮像信号を後処理部４０へ出力する。

混色情報記憶部３２は、画素位置や焦点距離等の撮像設定状態に応じた混色情報を色毎に記憶しており、後述する制御部５０からの制御信号に基づき混色情報を色毎に読み出して混色補正部３１へ出力する。

後処理部４０は、画像処理部３０でデモザイク処理、輪郭補正処理、ガンマ補正処理、ホワイトバランス補正処理等を行う。

制御部５０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されている。制御部５０は、ＲＯＭ等に記憶されたプログラムを実行して、図示していない操作部あるいは外部コントローラ等からの操作信号に応じて制御信号の生成を行う。制御部５０は、生成した制御信号を各部に出力して、撮像装置がユーザ操作に応じた動作となり、混色の補正された撮像画の画像信号を生成するように制御する。また、制御部５０は、撮像光学部１５の撮像設定状態や撮像装置の動作モード等に応じて画像処理部３０の動作を制御する。

混色情報生成部７０は、理想信号生成部７１と情報生成処理部７２を有している。理想信号生成部７１は、混色計測用チャートを撮像した場合における混色を生じていない理想的な撮像信号を生成して、情報生成処理部７２へ出力する。情報生成処理部７２は、混色計測用チャートを撮像部２０で撮像して前処理部２５から得られた撮像信号と、理想信号生成部７１で生成された理想的な撮像信号に基づいて混色情報を、画素位置や焦点距離等の撮像設定状態に応じて色毎に生成する。情報生成処理部７２は、生成した混色情報を画像処理部３０の混色情報記憶部３２に記憶させる。

なお、撮像装置１０の構成は上述の構成に限られず、他の機能を有するブロック、例えば撮像画の表示を行う表示部や記録媒体に対して撮像画の記録または再生を行う記録再生部等が設けられてもよい。また、前処理部２５および後処理部４０では、上述の処理の一部を行う構成であってもよく、上述していない新たな処理を行う構成であってもよい。

＜２．実施の形態の動作＞
次に、実施の形態の動作について説明する。この技術では、混色の補正対象画素に対し、近傍画素からある割合で光が漏れこんでいることを想定して、漏れこんだ量は近傍画素の画素値と混色補正率との積算値とする。すなわち、画像処理装置は、混色情報として混色補正率を生成して、混色補正では、近傍画素の画素値と混色補正率との積算値を補正対象画素の画素値から減算することで混色を補正する。

図５は、実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は混色情報を生成する。画像処理装置は、例えば補正対象画素の画素値から混色を除去するために近傍画素毎に光の漏れ込みに対応した混色補正率を算出する。画像処理装置は、算出した混色補正率を混色情報としてステップＳＴ２に進む。

ステップＳＴ２で画像処理装置は、混色補正を行う、画像処理装置は、ステップＳＴ１で生成した混色情報である混色補正率を用いて、補正対象画素の周囲に位置する画素毎に混色量を算出する。また、画像処理装置は、算出した混色量を補正対象画素の画素値から減算することで、混色を生じていない状態の画素値を算出する。

次に、混色情報の生成動作について具体的に説明する。図６は、混色補正率の算出動作を示すフローチャートである。また、混色情報の生成動作では、撮像装置１０に混色情報生成部７０を接続する。

ステップＳＴ１１で撮像装置は理想信号を生成する。撮像装置１０に接続された混色情報生成部７０の理想信号生成部７１は、撮像部２０の撮像素子２１で混色を生じていない理想的な状態で混色計測用チャートを所定の焦点距離で撮像したときに前処理部２５から出力される撮像信号に相当する理想信号を生成する。理想信号生成部７１は、生成した理想信号を情報生成処理部７２に出力してステップＳＴ１２に進む。

ステップＳＴ１２で撮像装置は混色計測用チャートを撮像する。撮像装置１０の撮像部２０は、理想信号を生成した場合と等しい焦点距離で混色計測用チャートを撮像する。また、撮像装置１０は、混色計測用チャートを撮像して前処理部２５から出力される撮像信号を、情報生成処理部７２に出力してステップＳＴ１３に進む。

ステップＳＴ１３で撮像装置は混色補正率を算出する。混色補正率は、上下左右等の方向毎に異なる値を持つ自由度がある。このため、補正対象画素に近接する複数のサンプル点を用いて統計的に最適な混色補正率を学習により算出する。また、画素位置が変わると混色補正率も変わることから、最適な混色補正率は画素毎に算出する。撮像装置は、後述するように、混色補正対象画素を含む局所領域を学習領域として設定する。また、撮像装置は、学習領域内の複数のサンプル点で理想信号における注目画素の画素値と混色補正後の映像信号における注目画素の画素値との誤差が最小となるように近傍画素毎の混色補正率を算出する。

撮像装置１０に接続された混色情報生成部７０の情報生成処理部７２は、ステップＳＴ１１で生成された理想信号とステップＳＴ１２で生成された撮像信号を用いて演算を行い、混色補正対象画素の混色補正率を算出する。

ここで、局所領域内における注目画素の混色補正後の画素値ｙ’は、注目画素の混色補正前の画素値ｙとｎ個の近傍画素の画素値ｘnと混色補正率ｗnを用いて式（１）に示す関数で表すことができるとする。また、式（２）は、理想信号おける注目画素の画素値Ｙと注目画素の混色補正後の画素値ｙ’との誤差ｅを示しており、混色補正では誤差ｅが最小となるように注目画素の画素値を補正する。すなわち、情報生成処理部７２は局所領域内に複数のサンプル点を設定する。さらに、情報生成処理部７２は、式（３）に示す各サンプル点についての誤差ｅの二乗和Ｅが最小となるように、注目画素の近傍に位置する複数の近傍画素毎の混色補正率ｗnを算出する。

情報生成処理部７２は、算出した混色補正率ｗnを画像処理部３０の混色情報記憶部３２に記憶させる。

また、撮像装置１０は、図６に示す処理を画素位置および焦点距離毎に行い、画素位置および焦点距離毎に算出した混色補正率ｗnを画像処理部３０の混色情報記憶部３２に記憶させる。

さらに、撮像装置１０は、混色計測用チャートを切り換えて撮像素子２１における色配列で用いられた色毎、例えば赤色と青色と緑色の画素のそれぞれについて、画素位置および焦点距離毎の混色補正率ｗnを混色情報記憶部３２に記憶させる。

撮像装置１０は、緑色画素を注目画素として、赤色画素に対する混色補正率ｗnを算出する場合、例えば緑色画素に対して赤色画素からの混色のみを生じさせる混色計測用チャートを用いる。また、緑色画素を注目画素として、青色画素に対する混色補正率ｗnを算出する場合、例えば緑色画素に対して青色画素からの混色のみを生じさせる混色計測用チャートを用いる。さらに、他の色の画素を注目画素とする場合にも同様に、注目画素とは異なる色の画素からの混色のみを生じさせる混色計測用チャートを用いる。このように、撮像装置１０は、注目画素の色に対して他の色の画素からの混色のみを生じさせる混色計測用チャートを用いて、混色計測用チャートを撮像したときの撮像信号と混色計測用チャートに対する混色を生じていない理想信号に基づき混色を検出して混色補正率を算出する。

次に、混色補正動作について具体的に説明する。図７は、混色補正動作を示すフローチャートである。なお、混色補正動作では、画像処理部３０の混色情報記憶部３２に混色補正率が記憶されていればよく、撮像装置１０に混色情報生成部７０が接続されている必要はない。

ステップＳＴ２１で撮像装置は焦点距離に応じた混色補正率を取得する。制御部５０は、撮像部２０を制御して撮像信号を前処理部２５に出力させる場合、撮像時におけるレンズの焦点距離を示す情報を混色補正部３１に出力する。混色補正部３１は、制御部５０からの情報で示された焦点距離に対応する各色および局所領域毎の混色補正率を混色情報記憶部３２から取得してステップＳＴ２２に進む。

ステップＳＴ２２で撮像装置は混色補正演算を行う。混色補正部３１は、補正対象画素の色であって補正対象画素の画素位置を含む局所領域の混色補正率を用いて補正演算を行い、混色補正後の画素値を画素毎に算出する。

一般的に混色では、注目画素からの距離が近い画素からの混色が支配的である。このため、補正対象画素について上下左右の近傍４画素からの混色を補正する方法が有用である。図８は、上下左右に隣接した近傍画素を用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「ｙ」、上下左右に隣接した４つの近傍画素の画素値を「ｘ0〜ｘ3」、混色補正率を「ｗ0〜ｗ3」とする。この場合、混色補正部３１は、式（４）に示す線形一次式の演算を行い、補正対象画素の補正後の画素値「ｙ’」を算出する。

このような実施の形態によれば、混色情報を利用して、画素の色、画素位置や焦点距離等を考慮した混色補正を行うことができるので、精度よく混色補正を行うことができる。また、混色補正用のテストチャートの撮像画から混色情報を生成できるので、特別なセンサ等を用いる必要がなく、容易に精度よく混色補正を行うことができる。また、混色情報の生成に用いた撮像装置と混色情報を用いて混色補正を行う撮像装置が同一であれば、撮像装置が個体差を有するような場合でも、個体差の影響を受けることなく精度よく混色補正を行うことができる。

＜３．他の実施の形態について＞
ところで、上述の実施の形態では、上下左右に隣接した近傍画素を用いて混色補正を行う場合を例示したが、計算コストに余裕がある場合、混色の補正は、上下左右に隣接した近傍画素に限らず斜め方向に隣接した画素を用いてもよい。図９は、上下左右および斜め方向に隣接した近傍画素を用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「ｙ」、上下左右および斜め方向に隣接した８つの近傍画素の画素値を「ｘ0〜ｘ7」、混色補正率を「ｗ0〜ｗ7」とした場合、混色補正部３１は、式（５）の演算を行い補正対象画素の補正後の画素値「ｙ’」を算出する。このように、上下左右および斜め方向に隣接した近傍画素を用いれば、上下左右に隣接した近傍画素のみを用いる場合に比べて混色補正を精度よく行うことができる。

さらに、混色の補正に用いる近傍画素自体が混色している影響も考慮して、補正対象画素を基準とした所定範囲に含まれる近傍画素を用いて補正を行うようにしてもよい。なお、補正対象画素を基準とした所定範囲は、計算コストと補正効果とのバランスで決定する。図１０は、補正対象画素を基準とした所定範囲に含まれる画素を近傍画素として用いて混色補正を行う場合を示している。ここで補正前の補正対象画素の画素値を「ｙ」、所定範囲に含まれる２４個の近傍画素の画素値を「ｘ0〜ｘ23」、混色補正率を「ｗ0〜ｗ23」とした場合、混色補正部３１は、式（６）の演算を行い補正対象画素の補正後の画素値「ｙ’」を算出する。このように、補正対象画素を基準とした所定範囲に含まれる近傍画素を用いれば、隣接した近傍画素のみを用いる場合に比べて混色補正を精度よく行うことができる。

また、撮像素子２１におけるフォトダイオード２１２への被写体光の入射角は、上述のように画素位置と焦点距離等により異なることから、画素位置や焦点距離等に応じて、混色の補正に用いる近傍画素を切り換える構成としてもよい。

例えば、光軸位置（撮像画の中心位置）を基準として水平方向または垂直方向に位置する領域では、斜め方向に隣接する画素からの被写体光の入射が少ないと想定される。したがって、混色補正部３１は、上下左右に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部３２から取得して混色補正を行う。また、光軸位置を基準として水平方向または垂直方向に対して傾きを生じた位置では、斜め方向に隣接する画素からも被写体光が入射すると想定される。したがって、混色補正部３１は、上下左右および斜め方向に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部３２から取得して混色補正を行う。

また、焦点距離が長い場合はフォトダイオード２１２への被写体光の入射角が小さい。したがって、混色補正部３１は、例えば上下左右および斜め方向に隣接した近傍画素を用いる場合の混色補正率を混色情報記憶部３２から取得して混色補正を行う。また、焦点距離が短い場合はフォトダイオード２１２への被写体光の入射角が小さい。したがって、混色補正部３１は、補正対象画素を基準とした所定範囲に含まれる画素を近傍画素として用いる場合の混色補正率を混色情報記憶部３２から取得して混色補正を行う。

このように、画素位置や焦点距離等に応じて、混色補正に用いる近傍画素を切り換えるようにすれば、精度のよい混色補正を少ない計算コストで効率よく行うことができるようになる。

さらに、被写体光の入射角は、絞りによっても変化することから、混色情報は、画素位置や焦点距離毎に限らず絞り値毎に記憶して、絞り値に応じた混色情報を用いて混色補正を行ってもよい。このように、撮像設定状態には、焦点距離と絞り値の少なくともいずれかの設定状態を含めるようにしてもよい。

また、混色補正部３１は、撮像装置１０の動作モードに応じて近傍画素の画素範囲を変更してもよい。例えば人物を撮像する動作モードである場合、注目被写体は撮像画の中央となることが多い。したがって、周辺部分よりも中央部分で精度よく混色補正を行うことができるように近傍画素の画素範囲を設定する。また、例えば風景を撮像する動作モードである場合、注目被写体は撮像画の全体となることが多い。したがって、周辺部分と中央部分で同等な混色補正効果を得られるように近傍画素の画素範囲を設定する。このように、動作モードに応じて近傍画素の画素範囲を変更すれば、計算コストに余裕がないような場合でも混色補正を被写体に応じて最適化できる。

また、混色補正で用いる近傍画素の画素範囲は、混色補正対象画素の画素位置等に応じてに変更してもよい。例えば混色補正対象画素の画素位置が画面上の左上である場合、左上側からの光による混色は少ないと考えられるので、例えば図１０に示す近傍画素における画素値「ｘ0，ｘ1，ｘ5」を用いることなくと混色補正を行うようにしてもよい。なお、混色補正で用いる近傍画素の画素範囲を変更する場合、混色情報は変更可能な画素範囲毎に予め生成して混色情報記憶部３２に記憶させておく。

また、撮像装置の個体差が少ない場合、混色情報の生成に用いた撮像装置と混色情報を用いて混色補正を行う撮像装置は同一でなくともよい。この場合、基準とする撮像装置を用いて生成された混色情報を他の撮像装置の混色情報記憶部に記憶させればよく、他の撮像装置で個々に混色補正用のテストチャートの撮像等を行わなくともよい。また、記録媒体や通信路等を利用して、混色情報を更新することも容易である。

また、混色情報は、画素毎に設ける場合に限らず、画面を複数領域に区分して、領域毎に設けてもよい。この場合、混色補正対象画素が含まれる領域に対応した混色情報を用いる。このようにすれば、混色情報の情報量を削減できる。

また、混色が少ない撮像設定状況では領域サイズを大きくしたり、混色が多くなる撮像設定状況では、領域毎の混色情報から画素毎の混色情報に変更して、撮像設定状況に応じて混色情報を適応的に切り換えるようにしてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
を有する画像処理装置。
（２） 前記近傍画素は、前記混色補正対象画素に隣接した画素である（１）に記載の画像処理装置。
（３） 前記近傍画素は、前記混色補正対象画素を基準とした所定領域の画素である（１）または（２）に記載の画像処理装置。
（４） 前記撮像設定状態は、焦点距離と絞り値の少なくともいずれかの設定状態を含む（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記混色補正部は、前記混色補正対象画素に対して前記近傍画素として用いる画素範囲を前記混色補正対象画素の位置に応じて前記混色補正で用いる近傍画素の範囲を変更する（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記混色情報を生成する混色情報生成部をさらに備え、
前記混色情報生成部は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを撮像したときの撮像信号を用いて、前記混色補正対象画素の前記混色情報を生成する（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記混色情報生成部は、前記混色補正対象画素を含む学習領域の前記理想信号と前記撮像信号から前記混色補正対象画素の前記混色情報を生成する（６）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法とプログラムおよび撮像装置では、混色補正対象画素の色と位置および撮像設定状態に応じた混色情報が混色情報記憶部から取得されて、この取得した混色情報と混色補正対象画素の近傍画素を用いて混色補正が行われる。したがって、画素毎に精度よく混色補正を行えるようになる。このため、複数色の画素で構成されている撮像素子によって取得された撮像画を用いて種々の処理を行う機能を有した機器に適している。

１０・・・撮像装置
１５・・・撮像光学部
２０・・・撮像部
２１・・・撮像素子
２５・・・前処理部
３０・・・画像処理部
３１・・・混色補正部
３２・・・混色情報記憶部
４０・・・後処理部
５０・・・制御部
７０・・・混色情報生成部
７１・・・理想信号生成部
７２・・・情報生成処理部
２１１・・・素子分離部
２１２・・・フォトダイオード
２１３・・・遮光膜
２１４・・・平坦化膜
２１５・・・カラーフィルタ
２１６・・・オンチップレンズ

Claims (12)

1. 混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
   前記混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と
   を有する画像処理装置。
2. 前記近傍画素は、前記混色補正対象画素に隣接した画素である
   請求項１記載の画像処理装置。
3. 前記近傍画素は、前記混色補正対象画素を基準とした所定領域の画素である
   請求項１記載の画像処理装置。
4. 前記撮像設定状態は、焦点距離と絞り値の少なくともいずれかの設定状態を含む
   請求項１記載の画像処理装置。
5. 前記混色補正部は、前記混色補正対象画素の位置に応じて前記混色補正で用いる近傍画素の画素範囲を変更する
   請求項１記載の画像処理装置。
6. 前記混色情報を生成する混色情報生成部をさらに備え、
   前記混色情報生成部は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを撮像したときの撮像信号を用いて、前記混色補正対象画素の前記混色情報を生成する
   請求項１記載の画像処理装置。
7. 前記混色情報生成部は、前記混色補正対象画素を含む学習領域の前記理想信号と前記撮像信号から前記混色補正対象画素の前記混色情報を生成する
   請求項６記載の画像処理装置。
8. 混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から混色補正部が取得することと
   前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を前記混色補正部が行うこと
   を含む画像処理方法。
9. 撮像画の混色補正をコンピュータで実行させるプログラムであって、
   混色補正対象画素の色と位置および撮像設定状態に応じた混色情報を、混色情報記憶部から取得する手順と、
   前記取得した混色情報と前記混色補正対象画素の近傍画素を用いて前記混色補正対象画素の混色補正を行う手順と
   を前記コンピュータで実行させるプログラム。
10. 撮像光学部を介した入射光に応じて撮像信号を生成する撮像部と、
    混色補正対象画素の近傍画素から前記混色補正対象画素への混色状況を示す混色情報を記憶した混色情報記憶部と、
    前記撮像部における前記混色補正対象画素の色と位置および前記撮像光学系の設定状態に応じた混色情報を前記混色情報記憶部から取得して、取得した混色情報と前記近傍画素を用いて前記混色補正対象画素の混色補正を行う混色補正部と、
    を有する撮像装置。
11. 前記混色情報記憶部に記憶されている前記混色情報は、所定の混色計測用チャートに応じて生成されている混色を生じていない理想信号と前記所定の混色計測用チャートを前記撮像部で撮像したときの撮像信号を用いて生成された情報である
    請求項１０記載の撮像装置。
12. 前記混色補正部の動作を制御する制御部をさらに備え、
    前記制御部は、当該撮像装置の動作モードに応じて前記混色補正で用いる近傍画素の画素範囲を変更する
    請求項１０記載の撮像装置。

Images