JP7479831B2

JP7479831B2 - 撮像装置およびその制御方法、プログラム

Info

Publication number: JP7479831B2
Application number: JP2019228209A
Authority: JP
Inventors: 雄介山下; 武範小布施; 義和石川; 孝行木村; 徳朗西田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2024-05-09
Anticipated expiration: 2039-12-18
Also published as: JP2021097347A

Description

本発明は、撮像装置とその制御方法およびプログラムに関して、特に、画像データの輝度が所定の閾値以上となる場合の画像データの輝度の補正に関する。

従来、デジタルカメラなどの撮像装置においては、任意の被写体に対応した適切な明るさの画像を取得するための種々の技術が知られている。例えば、撮像領域（撮影画面）内に人物の顔が存在している場合に、顔検出によって検出された顔領域を主たる被写体と判断し、当該顔領域が適正な明るさとなるように撮像装置が自動的にフォーカスやホワイトバランス、露出などを調整する。特許文献１では、デジタルカメラにおいて顔として認識された部分の測光値と画面全体の測光値とに重み付けをして露出制御用の測光値を生成する技術について提案されている。

ところで、光には、輝度や色などの要素の他にも、偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際は偏光された光と偏光していない光がすべて合成されて人間の眼に届くため、人間が光の偏光方向を感知する機会は少ない。一方で、ＰＬ（ＰｏｌａｒｉｚｅｄＬｉｇｈｔ：偏光）フィルタを使うなどして、光の偏光角度をコントロールすることで、不要な反射光を抑える技術が知られている。

近年、この偏光成分を積極的に利用する技術も提案されてきている。例えば、特許文献１では、ＣＣＤセンサを構成する複数の受光素子のうち、特定の画素上にカラーフィルタだけでなく偏光子を重ねて配置する技術について提案されている。また、特許文献２では、デジタルカメラの光路中に異なる偏光角度の偏光フィルタを挿入する技術について提案されている。例えば、特許文献２の技術であれば、撮像素子の領域ごとに異なる偏光角度の画像を得て、それらを任意の比率で合成することで、鏡面反射を除去した画像を取得できる点について開示されている。

特開２０１４－１１７５４号公報特開２０１６－１００６３号公報

例えば、特許文献１又は特許文献２で開示されている技術を用いて、異なる偏光角度のフィルタを介して取得した画像を任意の比率で合成する場合、ある偏光角度で得た画像が飽和すると、合成後の画像の輝度を正しく再現することができない場合がある。また、ＲＧＢカラーフィルタに合わせて偏光フィルタを配置する構成だと、特定の偏光角度かつ特定色の画素（Ｇ画素など）からの出力だけが飽和している場合は、色の再現性も低下する虞がある。

本発明の目的は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することである。

上述の問題点を解決するため、本発明の撮像装置は、異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出手段と、前記複数の画像データのうち、少なくとも１つの画像データの輝度が所定の閾値以上となるか否かを判定する判定手段と、前記判定手段による判定の結果に基づいて、画像データの輝度を補正する輝度補正手段と、を有し、前記撮像素子は、前記偏光フィルタの領域に合わせて複数の色のカラーフィルタが配されており、前記判定手段は、前記カラーフィルタのうちの第１のカラーフィルタを介して前記撮像素子から出力された前記異なる偏光角度ごとの複数の画像データのうち、少なくとも２つの画像データの輝度が前記所定の閾値以上となるか否かを判定し、前記輝度補正手段は、判定手段による判定の結果に基づいて、前記第１のカラーフィルタを介して得られた少なくとも２つの画像データの輝度が前記所定の閾値以上となる場合に、前記第１のカラーフィルタとは異なる色の第２のカラーフィルタを介して得られた複数の画像データに基づく前記被写体の偏光情報に基づいて、前記第１のカラーフィルタを介して得られた複数の画像の輝度を補正することを特徴とする。

本発明によれば、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。

本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。本発明の第１実施形態に係るセンサ１０２の画素および偏光フィルタの関係を例示的に説明する図である。本発明の第１実施形態に係る対応する１画素の偏光角度に応じた画素の信号レベルをプロットすることで得られる分布図を例示的に説明する図である。本発明の第１実施形態に係る重み付け加算平均処理の方法を例示的に説明するための図である。所定の偏光角度θにおける画素の輝度値が飽和した状態の偏光角度の角度依存成分を例示的に説明する図である。本発明の第１実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。本発明の第２実施形態に係る、センサ１０２の画素および偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。異なる２つ以上の偏光角度θにおける輝度値の飽和状態における偏光角度の角度依存成分を例示的に説明する図である。本発明の第２実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。

（第１実施形態）
（撮像装置１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサ（マイクロプロセッサ、マイクロコンピュータ）がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学レンズ１０１は、不図示のフォーカスレンズ、シフトレンズ、ズームレンズや絞りなどを備え、被写体の光学像を示す光束を撮像装置１００の内部に導くための撮像光学系であって、後述するセンサ１０２の撮像面に光を結像することができる。

センサ１０２は、光学レンズ１０１により導かれた被写体の光束を受光して電気的な画像信号に変換することができるＣＭＯＳ等の電荷蓄積型の固体撮像素子を採用した撮像手段である。なお、撮像装置１００においては、被写体の光束に対応する光学像を電気信号への変換する際の感度（受光感度）を変更することが可能である。この受光感度の調整および画像信号に変換後のデジタルゲイン量の調整により、画像信号の明るさを調整することができる。本実施形態では、これらを総称して撮影感度とし、撮像装置１００においては、ＩＳＯ感度を変更することで、この撮影感度を調整することが可能である。

なお、センサ１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。この偏光フィルタを備えたセンサ１０２の詳細について、図２を参照して例示的に説明する。図２は、本発明の第１実施形態に係るセンサ１０２の画素および偏光フィルタの関係を例示的に説明する図である。なお、センサ１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。この偏光フィルタを備えたセンサ１０２の詳細について、図２を参照して例示的に説明する。

図２に図示するように、センサ１０２は、例えば、１６画素（連続する縦４画素×横４画素）を１つの画素群とする一部領域２０１について、各画素に合わせて偏光角度が０°、４５°、９０°、１３５°となる偏光フィルタが規則的に配設されている。なお、偏光角度の並びはこれに限定されるものではないが、規則的に各偏光フィルタを並べる方が、各偏光角度の画像データを得る際の処理負荷が軽減されるので好ましい。また、偏光角度としては上述した４つの角度以外を用いてもよい。したがって、センサ１０２は、一部領域２０１を基準とした場合、４つの偏光角度で撮像した画素出力（画像信号）を得ることができる。

図１に戻り、画像取得部１０３は、センサ１０２の出力を画像データとして取得する画像取得手段である。なお、センサ１０２の出力に基づいて各偏光角度の画像データは、偏光算出部１０４に出力する。また、記録用の画像データは画像処理部１０５へ出力する。

画像処理部１０５は、各偏光角度に対応する画像データを用いた任意の合成処理や、ディベイヤー処理、ガンマ補正などの種々の処理を実行する画像処理手段である。具体的な合成処理の一例としては、後述する偏光算出部１０４による判断結果に基づいて、任意の偏光角度の画像データを選択して出力する。または、各偏光角度の画像データを加重平均して出力することで、画像データにおける反射の度合いを任意に調整した１フレーム分の画像データを生成できる。そして、画像処理部１０５は、合成処理を施した後に、前述したディベイヤー処理やガンマ補正、また、ニー補正、ノイズリダクションなどの所定の画像処理を施すことができる。なお、本実施形態では、信号出力部１０６に出力する画像データに施す種々の処理に関してはこれに限定されるものではなく、その他の処理を施すことが可能な構成であってもよい。

信号出力部１０６は、画像処理部１０５から入力された画像信号を不図示の記憶手段（外部の記憶媒体を含む）へ出力する、および、不図示の表示部へ表示用の画像データを出力する信号出力手段である。

偏光算出部１０４は、画像取得部１０３から出力された画像データに基づいて、撮像範囲に含まれる被写体に対応した偏光角度を算出する算出手段（偏光情報取得手段）であって、被写体の偏光情報を取得することができる。具体的に、偏光算出部１０４は、各偏光角度の偏光フィルタに対応する画素から出力された信号に基づいて、０°、４５°、９０°、１３５°に対応する４画素を１組とし、上記４つの偏光角度に応じた画素の信号レベルを求める。ここで、輝度値の単位は、所謂ＡＰＥＸ（ＡＤＤＩＴＩＶＥＳＹＳＴＥＭＯＦＰＨＯＴＯＧＲＡＰＨＩＣＥＸＰＯＳＵＲＥ）システムにおける１ＢＶを輝度値の１段分とするが、他の単位を用いて輝度値を表す構成であってもよい。

図３は、本発明の第１実施形態に係る対応する１画素の偏光角度に応じた画素の信号レベルをプロットすることで得られる分布図を例示的に説明する図である。図３に図示するように、本実施形態では、複数の偏光角度の画像データに基づいて得られた関数（フィッティングカーブ）Ｉ（θ）は、１８０°周期の正弦関数または余弦関数で表すことができ、カーブの振幅が大きいほど偏光度合が高い状態を示す。

なお、３つ以上の偏光角度に関するそれぞれ１画素の輝度値が判明すれば、最小二乗法等の最適化技術を適用して、関数Ｉ（θ）を算出することができる。本実施形態では、より精度が高いフィッティングカーブを求めるために、サンプリングする偏光角度がある程度離し、４５°間隔の４つの偏光角度でサンプリング用の画像を取得する。

図３に図示する関数Ｉ（θ）に基づいて、例えば、フィッティングカーブの算出に用いた１組の画素の輝度値の最小値は偏光角度の１３５°以降に位置し、輝度値の最大値が偏光角度の４５°と９０°の間に位置することがわかる。このように、関数Ｉ（θ）を求めることで、偏光角度に応じた輝度値を算出できる。

図１に戻り、カメラ制御部１０７は、撮像装置１００の各部を統括的に制御する制御手段であって、不図示のマイクロプロセッサ（ＣＰＵ）を備え、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭが接続されている。このうち、ＲＯＭは、不揮発性の記録素子であり、カメラ制御部１０７を動作させるためのプログラムや各種調整パラメータなどが記録されている。ＲＯＭから読み出されたプログラムは揮発性のＲＡＭに展開されて実行される。なお、本実施形態では、カメラ制御部１０７により、前述した各部の動作が制御される構成であるが、カメラ制御部１０７以外の各部が協調して各動作を制御する構成であってもよい。

カメラ制御部１０７が制御する処理としては、例えば、偏光算出部１０４が算出した各画素の輝度値の補正処理（輝度値補正処理）がある。また、カメラ制御部１０７が制御する他の処理としては、偏光算出部が算出した各画素の輝度値に基づいて、各偏光角度に該当する画像に対する合成時の重み付け加算平均処理がある。当該重み付け加算平均処理について、図４を参照して説明する。

図４は、本発明の第１実施形態に係る重み付け加算平均処理の方法を例示的に説明するための図であって、図４（ａ）は、被写体像のうちの水面の反射を抑えた状態を示し、図４（ｂ）は、水面の反射を強調させた状態を示した図である。なお、図４の各図における被写体の偏光角度ごとの輝度値が、前述した図３に図示した関数Ｉ（θ）に従って変化する場合を仮定する。

図４（ａ）に図示するように、水面での光の反射を抑制するためには、反射光に該当する被写体の偏光成分を抑制する必要がある。例えば、図３に図示する関数Ｉ（θ）では、偏光角度θ＝４５°付近で最も輝度値が高くなり、偏光角度θ＝１３５°付近で最も輝度値が低くなる。したがって、偏光角度θ＝４５°に該当する出力信号に対する重み付けを小さくし、偏光角度θ＝１３５°に該当する出力信号に対する重み付けを大きくすることで、各偏光角度の画素出力を合成した後の画像において、水面の反射度合を抑制することができる。

一方で、水面の反射度合を確認するためなど、あえて反射光に該当する被写体の偏光成分を画像中に残したい（あるいは強調したい）場合もある。例えば、図４（ｂ）で示す例では、水面の反射を強調させた風景画像を取得した場合を示している。この場合、偏光角度θ＝１３５°に該当する出力信号に対する重み付けよりも、偏光角度θ＝４５°に該当する出力信号に対する重み付けを大きくして各偏光角度の画素出力を合成することで、ユーザが所望する画像を取得することができる。

ここで、前述した重み付け加算平均処理を実行する際に、例えば、特定の被写体の輝度値が高い場合などに、特定の偏光角度の輝度値が飽和する場合がある。図５は、所定の偏光角度θにおける画素の輝度値が飽和した状態の偏光角度の角度依存成分を例示的に説明する図である。図５に図示する例では、偏光角度４５°を略中心とした所定の範囲に該当する偏光角度に該当する１画素の輝度値が飽和する。この場合、飽和している画素をそのまま合成に用いると、実際の被写体の明るさに対して不自然な明るさの画像が得られる虞がある。そこで、本実施形態では、飽和している偏光角度に該当する画像信号（出力信号）に対して、関数Ｉ（θ）に基づく輝度値の補正を行うことで、この問題を解決する。

図６は、本発明の第１実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。図６に図示するように、まず、ステップＳ６０１で偏光算出部１０４は、それぞれ偏光角度が異なる１組の画素（４画素）の輝度値を求め、偏光角度ごとの１画素の輝度値を検出する。

次に、ステップＳ６０２で偏光算出部１０４は、ステップＳ６０１で求めた偏光角度ごとの１画素の輝度値（出力）に基づいて、偏光角度の角度依存成分を算出する。具体的に、本実施形態では、偏光角度の角度依存成分として、前述した関数（フィッティングカーブ）Ｉ（θ）を求める。なお、関数Ｉ（θ）から、更に、最大の輝度値Ｉｍａｘ、最小の輝度値Ｉｍｉｎを算出し、両者の差分を、被写体の偏光角度の角度依存成分として求める構成であってもよい。この場合、差分Ｉｍａｘ－Ｉｍｉｎは、被写体における反射の度合いを示すため、偏光角度の角度依存成分に基づいて、反射の度合いが高い被写体が存在するか否を判定することもできる。

次に、ステップＳ６０３でカメラ制御部１０７は、ステップＳ６０１で検出した輝度値が飽和レベルに達しているか（所定の閾値以上であるか）否かを判定する。なお、飽和レベルを判定するための所定の閾値は、予め撮像装置１００に設けられたメモリ（不図示）に格納されている。

何れの画素の輝度値も飽和レベルに到達していない（ステップＳ６０３でＮＯ）と判定された場合、ステップＳ６０５に進み、カメラ制御部１０７は、各画素の出力信号を用いて、任意の比率で重み付け加算平均処理を実行する。なお、上述した任意の比率は、予め撮像装置１００に設けられたメモリ（不図示）に格納されている。

また、輝度値が飽和レベルに到達している画素が存在する（ステップＳ６０３でＹＥＳ）と判定された場合、ステップＳ６０４に進み、カメラ制御部１０７は、飽和レベルに到達している画素の輝度値を補正（輝度値補正処理を実行）する。例えば、図５に図示したように、偏光角度θ＝４５°の画素の輝度レベルが飽和レベルに到達していた場合、実際の輝度値を検出することはできない。

しかしながら、前述したように、本実施形態では、偏光角度の角度依存成分として関数Ｉ（θ）を算出しているため、当該関数Ｉ（θ）に基づいて、偏光角度θ＝４５°の輝度値を予測することができる。換言すると、飽和レベルに到達している偏光角度の画素の輝度値は、他の偏光角度の画素の輝度値（θ＝０°、９０°、１３５°）に基づいて算出することができる。そこで、本実施形態に係るステップＳ６０４の処理では、関数Ｉ（θ）に基づいて、飽和した画素の輝度値を補正し、飽和した画素については、補正後の輝度値を用いてステップＳ６０５の重み付け加算平均処理を実行する。

以上説明した構成により、本実施形態に係る撮像装置１００は、任意の偏光角度の画素出力から飽和している偏光角度の画素出力を算出（予測）することで、各偏光角度の画素を合成した後の画像が不自然な明るさになることを低減することができる。すなわち、本実施形態の撮像装置１００は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。

（第２実施形態）
次に、本発明の第２実施形態に係る撮像装置について、図７～９を参照して説明する。なお、撮像装置１００の構成は、前述した第１実施形態と同一なので説明は省略し、第１実施形態との差分についてのみ説明する。

前述した第１の実施形態では、飽和レベルに到達している画素の輝度値は、他の偏光角度に該当する画素の輝度値を用いて輝度値の補正処理を行う構成について説明した。しかしながら、例えば、異なる偏光角度に該当する複数の画素の輝度値が飽和している場合、輝度値の補正を正しく行えない場合がある。例えば、前述した第１実施形態では、４つの偏光角度に該当する画素のうち、２つ以上の画素の輝度値が飽和している場合、関数Ｉ（θ）を算出することができないため、輝度値補正処理を正しく実行することができない。そこで、本発明の第２実施形態に係る撮像装置１００では、異なるカラーフィルタを介して出力される画素の輝度値に基づいて、飽和レベルに到達している画素の輝度レベルを補正する。

図７は、本発明の第２実施形態に係る、センサ１０２の画素および偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。なお、カラーフィルタ以外の構成については、図２に図示するセンサ１０２と略同一の構成である。図７に図示するように、センサ１０２に対して、偏光角度が異なる４画素（連続する縦２画素×横２画素）ごとに同一のカラーフィルタが配されている。本実施形態では、図７に図示するように、縦４画素×横４画素のセンサ１０２の配置に対して、左上４画素に合わせてカラーフィルタＲが配されている。また、左下４画素および右上４画素に合わせてカラーフィルタＧｂとＧｒが配されている。そして、右下４画素に合わせてカラーフィルタＢが配されている。すなわち、本実施形態に係るセンサ１０２は、異なる偏光角度に該当する４画素単位に合わせて所謂ベイヤー配列のカラーフィルタが搭載されている。

したがって、前述したセンサ１０２の一部領域２０１を基準とした場合、（不図示）のカラーフィルタごとに４つの偏光角度で撮像した画素出力（画像信号）が得られ、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色成分を合わせた偏光角度ごとの画像信号を得ることができる。

図８は、異なる２つ以上の偏光角度θにおける輝度値の飽和状態における偏光角度の角度依存成分を例示的に説明する図である。図８に図示する例では、Ｇ画素（Ｇｒ、Ｇｂ）のうち２つの画素が飽和している場合を想定する。Ｇ画素に係る関数ＩＧ（θ）を算出するためには３つ以上の異なる偏光角度に係る画素出力が必要だが、２つの画素出力（の輝度値）が飽和しているため、関数ＩＧ（θ）を正しく算出することができない。

ここで、Ｇ画素に対して、Ｒ画素やＢ画素は光に対する感度が低く飽和しにくい特性を備えている。そこで、本実施形態に係る撮像装置１００では、Ｇ画素の輝度値が飽和レベルに到達している場合は、同一の偏光角度に該当するＲ画素やＢ画素の角度依存成分ＩＲ（θ）、ＩＢ（θ）に基づいて、Ｇ画素の輝度レベルを算出する。

図９は、本発明の第２実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。なお、図９におけるステップＳ９０１～Ｓ９０３、ステップＳ９０７の処理は、前述した第１実施形態におけるステップＳ６０１～Ｓ６０３、ステップＳ６０５の処理と略同一であるため、説明者省略する。

輝度値が飽和レベルに到達している画素が存在する（ステップＳ９０３でＹＥＳ）と判定された場合、ステップＳ９０４に進む。そして、ステップＳ９０４でカメラ制御部１０７は、１組の画素群（すなわち同一のカラーフィルタで得られる画素群）に、飽和レベルに到達している画素が複数存在するか否かを判定する。本実施形態では、１つのカラーフィルタに対して４つの異なる偏光角度に該当する画素出力が得られるため、そのうちの半数（すなわち２画素）以上の画素の輝度レベルが飽和レベルに到達している否かを判定する。

１組の画素群で所定数（本実施形態では１つ）の画素の輝度値のみが飽和レベルに到達している場合（ステップＳ９０４でＮＯ）と判定された場合はステップＳ９０６に進む。また、１組の画素群で複数（本実施形態では２つ）以上の画素の輝度値が飽和レベルに到達している場合（ステップＳ９０４でＹＥＳ）と判定された場合はステップＳ９０５に進む。なお、ステップＳ９０６に係る処理は、前述した第１実施形態のステップＳ６０４の処理と略同一なので、説明は省略する。

ステップＳ９０５でカメラ制御部１０７は、任意のカラーフィルタを介して出力された１画素の輝度値が飽和している場合、他のカラーフィルタを介して出力された画素の輝度値に基づく偏光角度の角度依存成分に基づき、飽和画素の輝度値を算出（補正）する。例えば、図８に図示するように、偏光角度θ＝４５°を基準としたＧ画素の輝度値が飽和レベルに到達している場合を想定する。この場合、Ｒ画素またはＢ画素に該当する画素の輝度値に基づいて得られた関数ＩＲ（θ）または、関数ＩＢ（θ）に基づいて、Ｇ画素の飽和レベルに到達している偏光角度に該当する画素の輝度値を算出する。なお、輝度補正処理後の、重み付け加算平均処理は前述第１実施形態と略同一であるため、説明は省略する。

以上説明した構成により、本実施形態に係る撮像装置１００は、任意のカラーフィルタを介して得られた画素出力の複数が飽和状態である場合、他のカラーフィルタを介して得られた画素出力に基づいて、飽和している画素出力を算出（予測）することができる。したがって、本実施形態に係る撮像装置１００は、異なる複数の偏光角度で得られた画像が飽和している場合であっても、各偏光角度の画素を合成した後の画像が不自然な明るさになることを低減することができる。すなわち、本実施形態の撮像装置１００は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、光学レンズを一体的に備えた撮像装置について説明したが、所謂交換レンズを着脱可能なレンズ交換式の撮像装置を採用する構成であってもよい。

また、前述した実施形態では、異なる偏光角度の画像に対する重み付けの度合いを調整する構成について説明したが、例えば、飽和画素の出力に対する重み付けを０にすることで、飽和画素を画像合成に用いない構成であってもよい。

また、前述した実施形態では、センサ１０２を構成する画素および画素群ごとに偏光角度が異なる偏光フィルタを採用する例について説明したが、これに限定されるものではない。例えば、前述した各実施形態のセンサ１０２において、１画素に対して複数の異なる偏光角度が対応するように偏光フィルタを設ける構成であってもよい。この場合、１つの画素信号において異なる偏光角度を介して偏光できるため、画素単位で複数の振動方向の光以外を除去した画像データを得ることができる。

なお、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラ
を想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラ
やスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティー
カメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

１００撮像装置
１０２センサ
１０４偏光算出部
１０７カメラ制御部

Claims

異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、
前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出手段と、
前記複数の画像データのうち、少なくとも１つの画像データの輝度が所定の閾値以上となるか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、画像データの輝度を補正する輝度補正手段と、
を有し、
前記撮像素子は、前記偏光フィルタの領域に合わせて複数の色のカラーフィルタが配されており、
前記判定手段は、前記カラーフィルタのうちの第１のカラーフィルタを介して前記撮像素子から出力された前記異なる偏光角度ごとの複数の画像データのうち、少なくとも２つの画像データの輝度が前記所定の閾値以上となるか否かを判定し、
前記輝度補正手段は、判定手段による判定の結果に基づいて、前記第１のカラーフィルタを介して得られた少なくとも２つの画像データの輝度が前記所定の閾値以上となる場合に、前記第１のカラーフィルタとは異なる色の第２のカラーフィルタを介して得られた複数の画像データに基づく前記被写体の偏光情報に基づいて、前記第１のカラーフィルタを介して得られた複数の画像の輝度を補正することを特徴とする撮像装置。
前記偏光情報は、被写体の偏光角度に対する角度依存成分であって、
前記算出手段は、異なる３つ以上の偏光角度に該当する画素の輝度に基づいて前記角度依存成分を算出し、
前記輝度補正手段は、輝度が前記所定の閾値以上となる第１の画像データが存在する場合に、前記角度依存成分に基づいて、前記第１の画像データの輝度を補正することを特徴とする請求項１に記載の撮像装置。
異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子を備えた撮像装置の制御方法であって、
前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出工程と、
前記複数の画像データのうち、少なくとも１つの画像データの輝度が所定の閾値以上となるか否かを判定する判定工程と、
画像データの輝度を補正する輝度補正工程と、
を有し、
前記撮像素子は、前記偏光フィルタの領域に合わせて複数の色のカラーフィルタが配されており、
前記判定工程では、前記カラーフィルタのうちの第１のカラーフィルタを介して前記撮像素子から出力された前記異なる偏光角度ごとの複数の画像データのうち、少なくとも２つの画像データの輝度が前記所定の閾値以上となるか否かを判定し、
前記輝度補正工程では、前記判定工程による判定の結果に基づいて、前記第１のカラーフィルタを介して得られた少なくとも２つの画像データの輝度が前記所定の閾値以上となる場合に、前記第１のカラーフィルタとは異なる色の第２のカラーフィルタを介して得られた複数の画像データに基づく前記被写体の偏光情報に基づいて、前記第１のカラーフィルタを介して得られた複数の画像の輝度を補正することを特徴とする撮像装置の制御方法。
請求項３に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。