JP2012129815A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】撮像素子により撮像された画像信号を色再現行列に従って補正する色再現補正部と、色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶する記憶部と、前記画像信号から取得される色空間上の推定光源座標に応じ、前記記憶部に記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を前記色再現行列として算出する色再現行列算出部と、を備える、画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近日、ＣＣＤやＣＭＯＳなどの撮像素子を用い、撮像レンズにより撮像素子の受光面上に結像された被写体の光学像を撮像する電子的な撮像装置が普及している。このような撮像装置には、撮像されたＲＧＢ成分からなる画像信号を光源色にかかわらず白い被写体が白く見えるように補正するホワイトバランス補正回路、および、色再現性を確保するために画像信号を色補正する色再現補正回路が組み込まれる。

ホワイトバランス補正回路においては、一般的にＲ＝Ｇ＝Ｂとなるように、入力ＲＧＢ信号に対し、式１に示すようなホワイトバランスゲインであるＫｒ、Ｋｇ、およびＫｂが乗算される。

また、色再現補正回路においては、ホワイトバランス補正が行われたＲＧＢ信号であるＲ’、Ｇ’、Ｂ’に対し、式２に示すように３行３列からなる色再現行列（ＣＣＭ）が乗算される。

ここで、撮像装置には特定の光源に対して最適化されたＣＣＭが事前に登録されている場合が多く、色再現補正回路は、この登録されているＣＣＭをＲＧＢ信号に乗算することにより色補正を行う。しかし、この登録されているＣＣＭは、実際の光源と異なる光源に最適化されたＣＣＭであるので、良好な色再現性が得ることが困難である。このような観点から、撮影時の実際の光源座標を推定し、推定光源座標に応じてＣＣＭを算出する技術が提案されている（例えば、特許文献１参照）。

特開２００６−２７０１３５号公報

しかし、従来の技術では、事前に登録されたＣＣＭを推定光源座標に基づいて線形補間し、線形補間により得られるＣＣＭを用いて色再現処理を行うので、出力画像の色再現性を確保することが困難であるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、光源色に応じた色再現行列をより高い精度で算出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子により撮像された画像信号を色再現行列に従って補正する色再現補正部と、色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶する記憶部と、前記画像信号から取得される色空間上の推定光源座標に応じ、前記記憶部に記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を前記色再現行列として算出する色再現行列算出部と、を備える画像処理装置が提供される。かかる構成によれば、光源による色再現性の相違を吸収できるので、高精度な色再現行列を算出することが可能である。

前記画像処理装置は、前記画像信号をホワイトバランスゲインに従って補正するホワイトバランス補正部と、前記ホワイトバランスゲインを算出するゲイン算出部と、を備え、前記色再現行列算出部は、前記ホワイトバランスゲインの逆数を前記推定光源座標として扱ってもよい。かかる構成によれば、ゲイン算出部により算出されるホワイトバランスゲインを色再現行列の算出のためにも有効活用することができる。

前記色再現行列算出部は、前記記憶部に記憶されている光源座標のうちで、前記推定光源座標の近傍である２以上の光源座標を選択し、選択した前記２以上の光源座標に対応付けられている前記登録色再現行列の逆行列を、前記２以上の光源座標の各々と前記推定光源座標との位置関係に応じて加重平均することにより補間してもよい。かかる構成により、より精度の高い色再現行列を算出することが可能である。

前記色再現行列算出部は、選択した前記２以上の光源座標の各々と前記推定光源座標との前記色空間上での距離比率を算出し、前記登録色再現行列の逆行列を前記距離比率に従って加重平均することにより補間してもよい。かかる構成により、推定光源座標におけるより精度の高い色再現行列を算出することが可能である。

前記色再現行列算出部は、色空間上での基準座標からの前記２以上の光源座標および前記推定光源座標との距離から、前記距離比率を算出してもよい。かかる構成によれば、距離比率の算出のための計算負荷を抑制することができる。

また、上記課題を解決するために、本発明の別の観点によれば、色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶するステップと、撮像素子により撮像された画像信号から取得される色空間上の推定光源座標に応じ、記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を色再現行列として算出するステップと、前記画像信号を算出された前記色再現行列に従って補正するステップと、を含む画像処理方法が提供される。かかる構成によれば、光源による色再現性の相違を吸収できるので、高精度な色再現行列を算出することが可能である。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像素子により撮像された画像信号を色再現行列に従って補正する色再現補正部と、色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶する記憶部と、前記画像信号から取得される色空間上の推定光源座標に応じ、前記記憶部に記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を前記色再現行列として算出する色再現行列算出部と、として機能させるためのプログラムが提供される。かかる構成によれば、光源による色再現性の相違を吸収できるので、高精度な色再現行列を算出することが可能である。

以上説明したように本発明によれば、光源色に応じた色再現行列をより高い精度で算出することができる。

本発明の実施形態による画像処理装置の構成を示した機能ブロック図である。 画像処理装置におけるデータフローを示した説明図である。 色温度の異なる光源のＲＧＢ比の、Ｇ＝１．０で規格化された座標系におけるプロットを示した説明図である。 式３に従って算出されるＤと式４に従って算出されるＴの関係を示した説明図である。 登録光源情報の具体例を示した説明図である。 ５５００Ｋを基準光源とした場合の各登録光源への距離を同心円状に示した説明図である。 登録光源から推定光源までの距離比率を示した説明図である。 色再現行列記憶部が記憶する登録光源情報を図式化した説明図である。 本発明の実施形態による画像処理装置の動作を説明したフローチャートである。 色温度の異なる光源のホワイトバランスゲインの、ＲゲインがＸ軸に対応し、ＢゲインがＹ軸に対応する座標系におけるプロットを示した説明図である。 ＣＣＭ補間を考察するための説明図である。 各プロットの具体値を示した説明図である。 推定光源を表わす座標ｑと、推定光源のＣＣＭを補間算出するための登録光源の座標ａおよびｂを示した説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

＜１．画像処理装置の構成＞
まず、図１を参照し、本発明の実施形態による画像処理装置１０の全体構成を説明する。

図１は、本発明の実施形態による画像処理装置１０の構成を示した機能ブロック図である。図１に示したように、画像処理装置１０は、撮像光学系１２、撮像素子１４、ＡＦＥ回路１６、画像信号処理回路２０、マイクロコントローラ３０、色再現行列記憶部４０、ドライバー４２およびタイミングジェネレータ４４を備える。

撮像光学系１２は、複数の撮像レンズや絞り機構などからなり、被写体の光学像を撮像素子１４の受光面に結像させる。複数の撮像レンズや絞り機構は、マイクロコントローラ３０により制御されるドライバー４２によって駆動される。

撮像素子１４は、受光面に結像された被写体の光学像を、タイミングジェネレータ４４によって生成されるタイミングに従って電気信号に変換する。なお、撮像素子１４は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子であってもよいし、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路１６は、Ａ／Ｄ変換部１７を含み、撮像素子１４によって得られた画像信号をＡ／Ｄ変換する。ＡＦＥ回路１６によりデジタル形式に変換されたＲＧＢ画像信号は画像信号処理回路２０に供給される。

画像信号処理回路２０は、ホワイトバランス補正回路２２、画像積算回路２４、および色再現補正回路２６などを有し、ＲＧＢ画像信号を補正して出力する。この画像信号処理回路２０内の各構成の詳細については図２などを参照して後述する。

マイクロコントローラ３０は、露出手段３２、ホワイトバランスゲイン算出手段３４、および色再現行列算出手段３６などを有し、画像処理装置１０の動作全般を制御する。このマイクロコントローラ３０内の各構成の詳細については図２などを参照して後述する。

色再現行列記憶部４０は、色空間上の光源座標とＣＣＭの組合せを登録光源情報（ＣＣＭ Ｓｅｅｄ）として記憶する。なお、色再現行列記憶部４０は、図７に示すように、基準座標からの距離、およびＣＣＭの逆行列（ＩＣＣＭ）の組合せを登録光源情報として記憶してもよい。

このような画像処理装置１０は、色再現行列算出手段３６において高精度の色再現行列を算出し、当該色再現行列を用いた演算を色再現補正回路２６において行うことが可能である。以下、色再現補正のための画像処理装置１０におけるデータフローについて図２を参照して説明する。

＜２．画像処理装置におけるデータフロー＞
図２は、画像処理装置１０におけるデータフローを示した説明図である。図２に示したように、撮像素子１４およびＡＦＥ回路１６から供給される画像信号は、一例として以下の順序で処理される。
（１）フロントプロセス２１において欠陥画素補正および黒レベル補正などの前処理が施される。
（２）ホワイトバランス補正回路２２においてホワイトバランスが補正される。
（３）図示しないベイヤー色補間（Ｄｅ ｍｏｓａｉｃ）回路においてベイヤー色補間が行われる。
（４）色再現補正回路２６において色再現行列に基づく色補正処理が行われる。
（５）ポストプロセス２７においてガンマ補正およびＹｕｖ変換などの後処理が施される。
（６）表示装置／記録装置５０に表示／記録される。

一方、フロントプロセス２１により前処理が施された画像信号は、画像積算回路２４により、Ｎ×Ｍのブロックに分割され、ブロックごとのＲＧＢ統計値がホワイトバランスゲイン算出手段３４に供給される。

ホワイトバランスゲイン算出手段３４は、ブロックごとのＲＧＢ統計値に基づいて有彩色、無彩色などの判定を行い、ホワイトバランス補正回路２２で利用するためのホワイトバランスゲインを算出する。ここで、ホワイトバランスゲインの逆数は、光源のＲＧＢバランス（光源色ＲＧＢ比）、すなわち、色空間における推定光源座標として扱うことが可能である。

色再現行列算出手段３６は、推定光源座標、および色再現行列記憶部４０に光源座標ごとに記憶されている登録光源情報に基づいてＣＣＭを動的に算出する。この色再現行列算出手段３６によるＣＣＭの算出方法の説明に先立ち、色再現行列記憶部４０に記憶されている登録光源情報について図３を参照して説明する。

（登録光源情報）
図３は、色温度の異なる光源のＲＧＢ比の、Ｇ＝１．０で規格化された座標系におけるプロットを示した説明図である。なお、光源のＲＧＢ比には、ホワイトバランスゲインの逆数を用いている。図３に示したように、プロット座標は、色温度の高い光源から低い光源への変化に伴って座標系の左上から右下へと変化する。色再現行列記憶部４０は、一例として、この座標系におけるプロット座標とＣＣＭの組合せを登録光源情報として記憶してもよい。

または、光源座標を基準座標（例えば、５５００Ｋ）からの距離で表現し、色再現行列記憶部４０は、基準座標からの距離とＣＣＭの組合せを登録光源情報として記憶してもよい。かかる構成によれば、登録光源情報の形式が単純化されるので、処理の高速化および負荷抑制を図ることができる。なお、図３に示したように、複数の色温度の光源のプロット座標は略直線状に位置するので、基準座標からの距離を光源座標として扱っても誤差は少ないと考えられる。

なお、ＲＧＢ比がＲｓ、Ｂｓで表現される基準光源から、ＲＧＢ比がＲｘ、Ｂｘである光源までのＥｕｃｌｉｄ距離は、以下の式３のように算出される。

（式３）

しかし、上記の距離Ｄｘだけでは、基準光源よりも高色温度の光源と低色温度の光源とを区別することが困難である。この点に関し、高色温度である光源はＲが低く、Ｂが高くなること、逆に低色温度の光源はＲが高く、Ｂが低くなることを利用し、以下の式４で算出されるＴが正である場合には基準光源よりも高色温度であり、Ｔが負である場合には基準光源よりも低色温度であると判断可能である。そこで、色再現行列記憶部４０は、式３により算出される距離Ｄ、および式４により算出されるＴの正負情報と、ＣＣＭとの組み合わせを登録光源情報として記憶してもよい。

（式４）

ここで、各色温度に関して式３により算出される距離Ｄ、および式４により算出されるＴの関係を図４に示す。図４に示したように、ＤとＴの差異は僅かである。そこで、色再現行列記憶部４０は、式４により算出されるＴを基準座標からの距離として扱い、当該ＴとＣＣＭとの組み合わせを登録光源情報として記憶してもよい。

さらに、色再現行列算出手段３６においては、光源座標のＣＣＭの逆行列を用いて色再現のためのＣＣＭが算出される。このため、色再現行列記憶部４０は、図５に示したように、登録光源ごとに、基準座標からの距離Ｔと、ＣＣＭの逆行列の組合せを登録光源情報として記憶してもよい。かかる構成によれば、色再現行列算出手段３６においてＣＣＭの逆行列を演算する必要が無くなるので、色再現行列算出手段３６における負荷を軽減することが可能となる。

（ＣＣＭ算出方法）
続いて、図６および図７を参照し、色再現行列算出手段３６が推定光源ＥのＣＣＭを算出する方法を説明する。

図６は、５５００Ｋを基準光源とした場合の各登録光源への距離を同心円状に示した説明図である。色再現行列算出手段３６は、図６中の推定光源ＥのＣＣＭを算出するために、まず、基準光源と推定光源Ｅとの距離Ｄｅを算出する。例えば、色再現行列算出手段３６は、式４に従って基準光源と推定光源Ｅとの距離Ｄｅを算出してもよい。

そして、色再現行列算出手段３６は、登録光源情報の距離情報と距離Ｄｅを比較し、推定光源Ｅの近傍の少なくとも２の登録光源を選択する。図６に示した例では、色再現行列算出手段３６は、基準光源から距離Ｄｆ離れている２３００Ｋの登録光源、および基準光源からＤｎ離れている２８００Ｋの登録光源を選択する。

続いて、色再現行列算出手段３６は、図７に示したＫ１とＫ２の比率、すなわち、選択した２の登録光源の各々と、推定光源Ｅとの距離の比率を以下の式５および式６に従って算出する。

（式５）

（式６）

さらに、色再現行列算出手段３６は、２８００Ｋの式７で示されるＣＣＭ ａの逆行列、および２３００Ｋの式８で示されるＣＣＭ ｂの逆行列を、Ｋ１およびＫ２に従って式９に示すように加重平均することにより補間する。さらに、色再現行列算出手段３６は、式９により得られる補間結果ＩＣＣＭ ｑの逆行列を式１０に示すように演算することにより、推定光源の色再現行列ＣＣＭ ｑを算出する。

（式７）

（式８）

（式９）

（式１０）

色再現補正回路２６は、上述した色再現行列算出手段３６により算出された色再現行列ＣＣＭ ｑを画像信号に乗算することにより、出力画像の色再現性を確保することが可能である。

（具体値を用いたＣＣＭの算出例）
図８は、色再現行列記憶部４０が記憶する図５に示した登録光源情報を図式化した説明図である。以下では、図８中の推定光源ＥのＣＣＭの算出例を具体的な数値を用いて説明する。

まず、色再現行列算出手段３６は、基準光源から推定光源Ｅまでの距離Ｄｅを例えば式４に従って算出する。ここで、距離Ｄｅとして図８に示したように「０．２８６」が算出されたとする。

この場合、色再現行列算出手段３６は、０．２８６より距離の大きい近傍の登録光源（３２００Ｋ）と、０．２８６より距離の小さい登録光源（４０００Ｋ）を選択する。

その後、色再現行列算出手段３６は、式５および式６に従って距離比Ｋ１およびＫ２を算出し、距離比Ｋ１およびＫ２を用いてＩＣＣＭ補間計算を行う。具体的には、３２００ＫのＩＣＣＭと、４０００ＫのＩＣＣＭを、Ｋ２：Ｋ１の割合で加重平均する。

そして、色再現行列算出手段３６は、加重平均により得られた推定光源ＥのＩＣＣＭの逆行列を求め、ＩＣＣＭの逆行列を推定光源ＥのＣＣＭとして出力する。

なお、ＩＣＣＭ補間計算に際し、推定光源Ｅが色再現行列記憶部４０に記憶されている登録光源の座標範囲外である場合には、下限または上限の登録光源のＣＣＭが出力される。例えば、推定光源Ｅが登録光源の距離情報の最低値（‐０．１７５）を下回る場合、７５００ＫのＣＣＭが推定光源ＥのＣＣＭとして固定されてもよい。同様に、推定光源Ｅが登録光源の距離情報の最高値（０．８４３）を上回る場合、２０００ＫのＣＣＭが推定光源ＥのＣＣＭとして固定されてもよい。

＜３．画像処理装置の動作＞
以上、画像処理装置１０の構成およびデータフローについて説明した。続いて、図９を参照し、画像処理装置１０の動作を説明する。

図９は、本発明の実施形態による画像処理装置１０の動作を説明したフローチャートである。図９に示したように、色再現行列算出手段３６は、まず、ホワイトバランスゲインの逆数のＲＧＢ比を推定光源座標として算出する（Ｓ２１０）。続いて、色再現行列算出手段３６は、色再現行列記憶部４０に記憶されている登録光源情報から、推定光源座標の近傍２点の登録光源座標を選択する（Ｓ２２０）。

その後、色再現行列算出手段３６は、選択した近傍２点のＩＣＣＭ（ＣＣＭの逆行列）を、推定光源と近傍２点の各々との距離比に従って線形補間する（Ｓ２３０）。さらに、色再現行列算出手段３６は、補間結果の逆行列を求めることによって推定光源のＣＣＭを取得する（Ｓ２４０）。こうして取得されたＣＣＭは、色再現補正回路２６における色再現補正のために用いられる。

＜４．本実施形態の意義、効果＞
次に、本発明の実施形態のように、登録光源のＣＣＭでなく、登録光源のＩＣＣＭを補間することの意義および効果を説明する。

図１０は、色温度の異なる光源のホワイトバランスゲインの、ＲゲインがＸ軸に対応し、ＢゲインがＹ軸に対応する座標系におけるプロットを示した説明図である。図１０に示したように、ホワイトバランスゲインを参照することにより、撮影時の光源色を妥当に判断することが可能である。

以下では、上記のホワイトバランスゲインに基づき、推定光源の近傍の２点の登録光源のＩＣＣＭを補間する手法について図１１を参照しながら考察する。

図１１は、ＣＣＭ補間を考察するための説明図である。図１１に示したように、登録光源Ａのホワイトバランスゲインは座標ＡＧで表わされ、登録光源Ｂのホワイトバランスゲインは座標ＢＧで表わされ、登録光源ＡおよびＢが推定光源の近傍の光源として選択された場合を考える。

ここで、登録光源Ａおよび登録光源ＢのＲＧＢ比は、各々のホワイトバランスゲインの逆数であるから、座標Ａおよび座標Ｂである。なお、各座標の具体値は図１２に示した通りである。

この場合、登録光源Ａと登録光源Ｂの中間光源のＲＧＢ比は、（Ａ＋Ｂ）／２で算出される座標Ｐで表わされ、この中間光源のホワイトバランスゲインは座標Ｐの逆数である座標ＰＧとなる。

一方、登録光源ＡのホワイトバランスゲインＡＧおよび登録光源ＢのホワイトバランスゲインＢＧを用いて図１１に（ＡＧ＋ＢＧ）／２を示したが、この（ＡＧ＋ＢＧ）／２は、上述した中間光源のホワイトバランスゲインの座標ＰＧと一致しないことが分かる。なお、（ＡＧ＋ＢＧ）／２の逆数で表わされる光源は、図１１にＦａｉｌｕｒｅでしめした座標となる。

以上より、ホワイトバランスゲインは、例えばＧ＝１．０で規格化した後、その逆数であるＲＧＢ比を算出して、Ｒ／ＧがＸ軸に対応し、Ｂ／ＧがＹ軸に対応する座標系でＲＧＢ比を評価することが有効である。さらに、補間計算については、ゲインに対して行うと正しい値を取得できないので、ＲＧＢ比に対して行うことが効果的である。

続いて、図１３を参照し、ＣＣＭの補間方法について考察する。

図１３は、推定光源を表わす座標ｑと、推定光源のＣＣＭを補間算出するための登録光源の座標ａおよびｂを示した説明図である。推定光源を表わす座標ｑは、例えばホワイトバランスゲインの逆数として求められる。この座標ｑのＣＣＭを、座標ｑの近傍の登録光源ａおよびｂと座標ｑとの距離比に応じて従来技術による方法で補間する場合を考察する。

従来技術による方法では、式１１で示される座標ａに最適化されたＣＣＭ ａ、および式１２で示される座標ｂに最適化されたＣＣＭ ｂを、式１３に示すように、距離比を示すｋ１およびｋ２によって線形補間してＣＣＭ ｑが算出される。

（式１１）

（式１２）

（式１３）

しかし、上述したように、ホワイトバランスゲインを対象に補間計算を行っても適切な結果は得られない。同様に、ＣＣＭは３×３の行列であるがゲインの一種と捉えることができる。なお、ホワイトバランスゲインを３×３の行列で表わすと式１４のようになる。

（式１４）

以上より、ＣＣＭについても同様に、逆数（逆行列）を求めてから補間計算を行わなければ正しい結果を得ることが困難である。すなわち、式１３に示した演算では正しい補間結果が得られない。

これに対し、本実施形態では、式９に示したようにＣＣＭ ａおよびＣＣＭ ｂの逆行列を求めてから補間計算を行うことによりＩＣＣＭ ｑを求め、式１０に示したようにＩＣＣＭ ｑの逆行列を求めることで、高精度なＣＣＭ ｑを得ることが可能である。

＜５．補足＞
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では主にＲＧＢ比を元に規格化された色空間を用いてＣＣＭを算出する例を説明したが、本発明はかかる例に限定されない。変形例として、ＹｘｙおよびＬａｂなどの規格化された色空間を用いて同様の方法によりＣＣＭを算出することも本発明の技術的範囲に属する。

また、本明細書の画像処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置１０における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、画像処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した画像処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 画像処理装置
１２ 撮像光学系
１４ 撮像素子
１６ ＡＦＥ回路
２０ 画像信号処理回路
２２ ホワイトバランス補正回路
２４ 画像積算回路
２６ 色再現補正回路
３０ マイクロコントローラ
３２ 露出補正手段
３４ ホワイトバランスゲイン算出手段
３６ 色再現行列算出手段
４０ 色再現行列記憶部
４２ ドライバー
４４ タイミングジェネレータ

Claims (7)

1. 撮像素子により撮像された画像信号を色再現行列に従って補正する色再現補正部と、
   色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶する記憶部と、
   前記画像信号から取得される色空間上の推定光源座標に応じ、前記記憶部に記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を前記色再現行列として算出する色再現行列算出部と、
   を備える、画像処理装置。
2. 前記画像処理装置は、
   前記画像信号をホワイトバランスゲインに従って補正するホワイトバランス補正部と、
   前記ホワイトバランスゲインを算出するゲイン算出部と、
   を備え、
   前記色再現行列算出部は、前記ホワイトバランスゲインの逆数を前記推定光源座標として扱う、請求項１に記載の画像処理装置。
3. 前記色再現行列算出部は、
   前記記憶部に記憶されている光源座標のうちで、前記推定光源座標の近傍である２以上の光源座標を選択し、
   選択した前記２以上の光源座標に対応付けられている前記登録色再現行列の逆行列を、前記２以上の光源座標の各々と前記推定光源座標との位置関係に応じて加重平均することにより補間する、請求項２に記載の画像処理装置。
4. 前記色再現行列算出部は、
   選択した前記２以上の光源座標の各々と前記推定光源座標との前記色空間上での距離比率を算出し、前記登録色再現行列の逆行列を前記距離比率に従って加重平均することにより補間する、請求項３に記載の画像処理装置。
5. 前記色再現行列算出部は、
   色空間上での基準座標からの前記２以上の光源座標および前記推定光源座標との距離から、前記距離比率を算出する、請求項４に記載の画像処理装置。
6. 色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶するステップと、
   撮像素子により撮像された画像信号から取得される色空間上の推定光源座標に応じ、記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を色再現行列として算出するステップと、
   前記画像信号を算出された前記色再現行列に従って補正するステップと、
   を含む、画像処理方法。
7. コンピュータを、
   撮像素子により撮像された画像信号を色再現行列に従って補正する色再現補正部と、
   色空間上の光源座標ごとに登録色再現行列または前記登録色再現行列の逆行列を記憶する記憶部と、
   前記画像信号から取得される色空間上の推定光源座標に応じ、前記記憶部に記憶されている２以上の光源座標の前記登録色再現行列の逆行列を補間し、補間結果の逆行列を前記色再現行列として算出する色再現行列算出部と、
   として機能させるための、プログラム。

Images