JP5818451B2 - 撮像装置および制御方法 - Google Patents

Description

本発明は、撮像装置に関するものである。

近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどに代表される固体撮像素子を利用した固体撮像装置が広く普及している。これらの固体撮像素子は、デジタルスチルカメラやデジタルビデオカメラなどに応用され、広く使われてきている。

これらデジタルスチルカメラやデジタルビデオカメラなどの撮像装置によって蛍光灯照明下において被写体を動画として撮影する場合、いわゆる蛍光灯フリッカと呼ばれる現象が発生することが知られている。これは、商用交流電源によって直接点灯される蛍光灯の照明下で、ローリングシャッタ特性を有する撮像素子を用いて撮影を行った場合、各画像において時間方向に輝度のフリッカ（いわゆる蛍光灯フリッカ）が生じたりする。これは、光源としての蛍光灯が商用交流電源の周波数の２倍の周波数で変化するため、商用電源の２倍の周波数と、撮像装置の垂直同期周波数との違いによって、撮像装置で撮影した画像信号に周期的な明暗が現れる現象である。

そこでこの問題を解決する為、フリッカの除去を行う方法が種々提案されており、特許文献１では、ＣＭＯＳイメージセンサの出力を水平方向に積分して垂直強度分布を求め、複数フレームの垂直強度分布から現フレームにおける垂直方向のフリッカ成分を算出する。そして、算出したフリッカ成分からフリッカ補正値を算出して該補正係数を現フレームの映像信号に乗じることにより、原画像（補正前の撮影画像）を補正している。

また、特許文献２では、通常、蛍光灯の照明光におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の構成比は、照明の輝度に応じて多少変化するため、輝度信号に対してのみ補正を行うと画像の色相変化（色フリッカ）が生じうる。この観点から、輝度信号に対してのみ補正を行うよりもＲ、Ｇ、Ｂに対して各々別々のフリッカ補正を行う手法の方が好ましいとしている。

他にも特許文献３では、蛍光灯の色成分であるＲ、Ｇ、Ｂの比率を示しており、高速シャッタ時に色フリッカが発生する事を指摘している。

また、撮像素子の撮像領域の一部を、撮像以外の機能に使用しているものがある。特許文献４では、マイクロレンズとフォトダイオードの間に遮光層をもうけることで瞳分離を行う焦点検出用画素と通常の画素（撮影用画素）を併せ持つ撮像素子とする事で撮像装置でありながら焦点検出の機能を持つ構成としている。

特許文献４では、左右または上下に瞳分離された焦点検出用画素からの信号のみを集めて瞳分割された２つの線像を形成し、その像のずれ量に基づいてデフォーカス量を算出する。

一定のデフォーカス量において瞳分割された像の投影位置のずれ量は分割された２つの瞳間の基線長により決まる。基線長が長いほどずれ量は大きくなり焦点検出の精度が向上する。

特開２００９−１７２１３号公報 特開２００８−１０９３７０号公報 特開２００８−９２３３４号公報 特開２０００−１５６８２３号公報 特開２０１０−７８８５６号公報

焦点検出用画素と撮影用画素を併せ持つ撮像素子の場合、前述した蛍光灯フリッカはその特性から焦点検出用画素にも影響し明暗が現れる。蛍光灯フリッカは垂直方向の輝度ムラが生じるため、上下に瞳分離された焦点検出用画素からの信号を集めて瞳分割された２つの線像にも明暗が現れ、その像のずれ量を正しく求めることができない。したがって、デフォーカス量を正しく算出することができないという問題がある。

また、焦点検出用画素は撮影用画素と比較すると数が少なかったり、中央に集まっていたりする為、焦点検出用画素のみを用いて従来のフリッカ検出方法を使用するとフリッカ検出ができないという課題がある。

また、特許文献５に記載されているように焦点検出用画素の焦点検出信号は画像創生には用いない為、Ｒ、Ｇ、Ｂカラーフィルタの代わりに透明膜（Ｗｈｉｔｅ）のフィルタが配置される事がある。

本発明の目的は、焦点検出用画素に対してフリッカ補正を行い、正しくデフォーカス量を算出する事を可能にした撮像装置を提供することである。

本発明の一側面としての撮像装置は、撮影レンズを介して得られる被写体像を光電変換する、各々がカラーフィルタを持つ、複数の撮像用画素と、瞳分割された一対の光束による像の位相差を検出するための、フィルタを持つ、複数の焦点検出用画素と、を有する撮像素子と、前記撮像用画素から出力された画像信号に基づいてフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、前記フリッカ補正値に基づいて、前記焦点検出用画素から出力された焦点検出信号に対してフリッカ補正を行うフリッカ補正手段と、を有し、前記フリッカ補正値生成手段は、前記撮像用画素が出力する画像信号と、前記撮像用画素のカラーフィルタの特性及び、前記焦点検出用画素のフィルタの特性とに基づいて、前記焦点検出用画素が出力する焦点検出信号に対して、フリッカ補正をするためのフリッカ補正値を生成することを特徴とする。
本発明の他の一側面としての制御方法は、撮影レンズを介して得られる被写体像を光電変換する、各々がカラーフィルタを持つ、複数の撮像用画素と、瞳分割された一対の光束による像の位相差を検出するための、フィルタを持つ、複数の焦点検出用画素とから出力された信号をフリッカ補正する制御方法であって、前記撮像用画素から出力された画像信号に基づいてフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成ステップと、前記フリッカ補正値に基づいて、前記焦点検出用画素から出力された焦点検出信号に対してフリッカ補正を行うフリッカ補正ステップと、を有し、前記フリッカ補正値生成ステップでは、前記撮像用画素が出力する画像信号と、前記撮像用画素のカラーフィルタの特性及び、前記焦点検出用画素のフィルタの特性とに基づいて、前記焦点検出用画素が出力する焦点検出信号に対して、フリッカ補正をするためのフリッカ補正値を生成することを特徴とする。

本発明によれば、焦点検出用画素に対してフリッカ補正を行い、正しくデフォーカス量を算出する事を可能にした撮像装置を提供することができる。

本発明の第１の実施形態における撮像装置の構成を示した図である。 本発明の第２の実施形態における撮像装置の構成を示した図である。 蛍光灯フリッカの発生原理を示した図である。 焦点検出用画素と撮影用画素を併せ持つ撮像素子の配置図である。 フリッカ補正とデフォーカス量算出手段の手順フローである。 評価値生成部の回路構成を示す図である。 フリッカ検出部の回路構成を示す図である。 標準フリッカ光源におけるＲ、Ｇ、Ｂ、Ｗｈｉｔｅの分光感度を示した図である。 高速シャッタ時の各ラインの蓄積時間と蓄積電荷量を示した図である。 青色のフリッカ光源におけるＲ、Ｇ、Ｂ、Ｗｈｉｔｅの分光感度を示した図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の第１の実施形態における撮像装置の構成を示す図である。

１０１は、撮像手段であり、被写体の撮影時に不図示の撮影レンズからの光を光電変換により電気信号に換えて出力する。１０２は、ＣＤＳ（相関二重サンプリング）／ＡＧＣ（ＡｕｔｏＧａｉｎ Ｃｏｎｔｒｏｌ）であり、アナログの電気信号のＳ／Ｎを改善するための処理部である。１０３は、Ａ／Ｄ変換手段であり、撮像電気信号をデジタルの撮像データ（画像信号および焦点検出信号）に変換する。

１０４、１０５、１０６は、それぞれＲ、Ｇ、Ｂのフリッカ回路であり、変換されたデジタル画像信号を用いてフリッカの補正ゲインの算出を行う。

まず、蛍光灯フリッカの発生原理について図３を用いて説明する。

図３は商用交流電源周波数が５０Ｈｚの地域における蛍光灯照明下で、ＣＭＯＳイメージセンサを利用した撮像装置で被写体を動画として撮影した場合の、撮像素子における電荷蓄積の様子を時間方向に模式的に表したものである。３０１は撮像装置の撮影方式で決定される垂直同期信号ＶＤ、３０２は世界各国および地域で各々決められている商用電源の周期（ここでは１／５０ｓ）である。また、３０３は商用電源の周期３０２に応じて蛍光発光している発光体の発光周期を示している。

ここで、ＣＭＯＳイメージセンサ上での電荷の蓄積時間が、垂直同期信号ＶＤの周期に従って垂直同期信号の周期と同じ時間（１／６０ｓ）間隔であるものとする。

３０４に示したようにＣＭＯＳイメージセンサの場合、各ライン毎の露光タイミングが順次制御され、また電荷蓄積時間における蛍光体の発光周期が異なる為、単色の平面を撮影すると１ライン目の蓄積電荷量と２ライン目の蓄積電荷量とは異なる。このように同一フレーム内においても電荷蓄積時間内に受光する蓄積電荷量がライン毎に異なる為、蛍光灯フリッカが発生する。

ここで、焦点検出用画素と撮影用画素を併せ持つ撮像素子の配置図の一例を図４に示す。

図４に示されるように、撮像素子上にはカラーフィルタまたはフォーカス検出用の遮光膜が構成されている。Ｒは赤色のカラーフィルタを持つ撮影用の画素、Ｇは緑色のカラーフィルタを持つ撮影用の画素、Ｂは青色のカラーフィルタを持つ撮影用の画素、Ｓは透明（Ｗｈｉｔｅ）のフィルタを持つ焦点検出用の画素を示している。焦点検出用画素は、不図示の撮影レンズの射出瞳の一部の領域を通る光を受光する。

フリッカ回路１０４、１０５、１０６は、フリッカ除去を行う為のものであるが、Ｇフリッカ回路１０５、Ｂフリッカ回路１０６に関してはＲフリッカ回路１０４と扱う画素色が異なるだけで内部の回路構成は共通である。したがって、Ｇフリッカ回路１０５およびＢフリッカ回路１０６の説明については割愛し、Ｒフリッカ回路１０４についてのみ記述する。

Ｒフリッカ回路１０４は、Ｒ画素に対してのものであり、使用するデータはＲ画素のみであるものとする。まず入力されてきたＲ画素データを１０８の評価値生成部で検出用に用いるデータの生成を行う。図６に評価値生成部１０８の内部の回路構成を示す。６０１は画像信号を垂直方向および水平方向の複数の領域に分割し、各領域毎に積分を行う積分回路である。

次に６０２の平均化（正規化）回路において、積分回路６０１で積分した積分値に対して、平均化（正規化）を行いフリッカ検出部１０９に出力する。

フリッカ検出部１０９における各検出枠のフリッカ成分の算出方法の例を図７を参照して説明する。

引算器７０１、乗算器７０２、加算器７０３およびメモリ７０４は、以下に示す式の演算を行うことで、いわゆる巡回型ローパスフィルタを形成している。

ここで、ａｖｅは評価値生成部１０８で生成した値である。ｍｏｕｔはメモリ７０４からの出力を示す。ｍｅｍは加算器７０３の出力を示し、メモリ７０４に新しく記憶される値を示す。また、ｋは巡回型ローパスフィルタのフィルタ係数である。

除算器７０５は、ａｖｅと、メモリ７０４からの出力を除算することによって蛍光体の発光周期に起因する輝度変化成分をフリッカ成分として算出して出力する。次にフリッカ補正値生成部１１０（フリッカ補正値生成手段）において、フリッカ検出部１０９から与えられたフリッカ成分の逆数を求める事でフリッカ補正値を生成する。

Ｇフリッカ回路１０５もＢフリッカ回路１０６もＲフリッカ回路１０４と同様にしてフリッカ補正値を生成する。

撮像素子は通常、分光感度分布を有する。撮像素子がＲ、Ｇ、Ｂに加え、透明膜（Ｗｈｉｔｅ）を有する場合、標準フリッカ光源においてのＲ、Ｇ、Ｂ、Ｗｈｉｔｅフィルタの分光透過特性は、例えば図８に示すようになる。

図８に示すように、分光透過特性がＲ、Ｇ、Ｂ、Ｗｈｉｔｅと異なる為、撮影用画素から算出したＲ、Ｇ、Ｂ用のフリッカの補正値が焦点検出用画素に対してそのまま使用出来ない。

そこで焦点検出用画素フリッカ補正値生成部１１１（フリッカ補正値生成手段）において上記で求めたＲ、Ｇ、Ｂの各色毎のフリッカ補正値と焦点検出用画素に配置された透明膜（Ｗｈｉｔｅ）のフィルタの特性から焦点検出用フリッカ補正ゲインを算出する。以下に焦点検出用フリッカ補正ゲインについての一例を記載する。

図８に示した標準フリッカ光源においての透明膜（Ｗｈｉｔｅ）の分光感度から焦点検出用画素のフリッカ補正値Ｓｇを算出する。

透明膜（Ｗｈｉｔｅ）は全ての波長を通過するが、波長が４００〜５００ｎｍでは分光感度率が低い事がわかる。すなわちＢの分光感度特性に依存していると考えられる。また、波長が５００ｎｍ〜６００ｎｍでは分光感度率が最も高い事がわかる。すなわちＧの分光感度特性に依存していると考えられる。すなわち透明膜（Ｗｈｉｔｅ）は、Ｒ、Ｇ、Ｂ各々の分光感度特性に依存しており、Ｒ、Ｇ、Ｂ各々の分光感度の領域を積分し、その積分値の比率から焦点検出用画素のフリッカ補正値Ｓｇを算出する事が出来る。

図８のＲ、Ｇ、Ｂの積分値の比としておよそ

になる。

その為、Ｒ、Ｇ、Ｂのフリッカ補正値を各々Ｒｇ、Ｇｇ、Ｂｇと表すと、求めるべき焦点検出用画素のフリッカ補正値Ｓｇは、

となる。

また、図１０は標準フリッカ光源ではなく青色のフリッカ光源における分光感度を示した図の一例である。Ｒ、Ｇ、Ｂ各々の分光感度の領域を積分すると、Ｒ、Ｇ、Ｂの積分値の比としておよそ

になる。

その為、Ｒ、Ｇ、Ｂのフリッカ補正値を各々Ｒｇ、Ｇｇ、Ｂｇと表すと
求めるべき焦点検出用画素のフリッカ補正値Ｓｇは、

となる。

上記説明したようにフリッカ光源の分光感度によってＲ、Ｇ、Ｂのフリッカ補正値の比率を変化させる必要がある。

また、図９は高速シャッタ時の蓄積時間と蓄積電荷量を示した図である。

９０１は撮像装置の撮影方式で決定される垂直同期信号ＶＤ、９０２は商用電源の周期に応じて蛍光発光している発光体の発光周期を示している。９０３は蛍光灯の色成分であるＲ、Ｇ，Ｂの比率を示した図である。

９０４は、高速シャッタ時の各ラインの蓄積時間と蓄積電荷量を示した図である。

図９からわかるように蓄積時間が長い場合は点滅光源の発光している周波数の正弦波にほぼ近似していることがわかる。一方蓄積時間が短くなると、画像信号上に発生するフリッカは、点滅光源の発光の形状をトレースした形に近似してくる。従って、発生しているフリッカは単純な正弦波では近似しづらくなり、高調波成分を含むようになってくる。

フリッカ補正における高調波成分はＧ色において特に高調波成分を含んでおり、上述した焦点検出用画素のフリッカ補正値Ｓｇの式に対してＧのフリッカ補正値に更に重み付けをしても良い。

ここで上述した例は一例であって各色のフリッカ補正値と透明（Ｗｈｉｔｅ）のフィルタの特性から焦点検出用画素のフリッカ補正値を算出する事に変わりはない。

Ｒ、Ｇ、Ｂのフリッカ補正値と焦点検出用のフリッカ補正値を算出した後、データ分配部１０７において現像系の画素と焦点検出用の画素とにデータの分配を行う。

現像系の画素に関しては、Ｒ、Ｇ、Ｂの画素が出力する画像信号が入力されると各々選択回路１１２にてＲ、Ｇ、Ｂ用のフリッカ補正値を割り当てて乗算器１１３にて乗算し、フリッカ補正を行う。また、焦点検出用画素が出力する焦点検出信号に対して焦点検出用のフリッカ補正値を乗算器１１４（フリッカ補正手段）にて乗算し、フリッカ補正を行う。

上述したように、Ｒ、Ｇ、Ｂ用のフリッカ補正値を算出し、その値と焦点検出画素に配置される透明（Ｗｈｉｔｅ）のフィルタの特性から焦点検出用のフリッカ補正値を算出する。そして、現像系の画素が出力する画像信号と焦点検出用画素が出力する焦点検出信号に対しフリッカ補正を行う事によって正しくデフォーカス量を算出することができる。

また、フリッカ補正とデフォーカス量の算出に至るまでの手順をフローチャートに示したのが図５である。

Ｓ５０１では、Ａ／Ｄ変換によって、撮像電気信号をデジタル画像信号および焦点検出信号に変換する。

Ｓ５０２では、デジタル画像信号を用いてフリッカ検出を行い、Ｒ、Ｇ、Ｂ毎にフリッカを検出する。

Ｓ５０３では、Ｒ、Ｇ、Ｂ毎のフリッカ補正値を算出し、焦点検出用のフリッカ補正値も算出する。

Ｓ５０４では、現像系の画素、焦点検出用の画素両方にフリッカ補正を行う。

Ｓ５０５では、フリッカ補正した撮像データを焦点検出用画素と現像系画素とに分配する。次にＳ５０６で相関演算を行う。

具体的には２つの像を重ねあわせて差の絶対値の和を求める処理を、重ね合わせ位置をずらしながら行い、最も差の絶対値が小さくなる位置を求める。次にＳ５０７において差の絶対値が小さくなる位置の前後の値からパラボラフィッティングという手法を用いてサブピクセルマッチングを行う。これにより像のずれ量の精度を向上させる。

最後にＳ５０８で像ずれ量に基線長で決まる所定の係数を乗算する事でデフォーカス量が求まる。

このように、本発明では、デフォーカス量算出前に撮影用画素が出力する画像信号から算出した各色毎のフリッカ補正値と焦点検出用画素に配置された透明膜（Ｗｈｉｔｅ）のフィルタの特性から焦点検出用のフリッカ補正値を算出している。そして、フリッカ成分が含まれた焦点検出用画素が出力する焦点検出信号に対して該補正値でフリッカ補正を行う事によって垂直方向の輝度ムラを無くす事で精度の高いデフォーカス量の算出が出来るようになる。

図２は、本発明の第２の実施形態における撮像装置の構成を示す図である。

第２の実施例は、フリッカ回路の回路規模削減に寄与した実施例である。高速シャッタ時で無い場合、蛍光灯の照明光の色による電荷の蓄積量のばらつきが少なくなる為、１つのフリッカ回路のみでフリッカ補正値を算出する事が出来る。その際、Ｒ、Ｇ、Ｂの画素から輝度Ｙを生成して補正ゲイン値を算出し、その補正ゲイン値を撮影用画素と焦点検出用画素の両方に適用する。

ここで第２の実施形態について記載していく。

２０１は、撮像手段であり、被写体の撮影時に光電変換により光学情報を電気信号に換えて出力する。２０２は、ＣＤＳ（相関二重サンプリング）／ＡＧＣ（ＡｕｔｏＧａｉｎ Ｃｏｎｔｒｏｌ）であり、アナログの電気信号のＳ／Ｎを改善するための処理部である。２０３は、Ａ／Ｄ変換手段であり、撮像電気信号をデジタルの撮像データ（画像信号および焦点検出信号）に変換する。

フリッカ回路２０４は、Ａ／Ｄ変換手段で変換された画像信号を用いてフリッカの補正ゲインの算出を行うものである。まず、２０７の輝度生成部においてＲ、Ｇ、Ｂの撮影用画素が出力する画像信号から輝度Ｙを生成する。輝度Ｙの算出式は以下になる。

上記式を用いて、輝度Ｙを生成し、２０８の評価値生成部へ出力する。

次に入力されてきた輝度Ｙを評価値生成部２０８で検出用に用いるデータの生成を行う。評価値生成部２０８は図６に示した第１の実施形態とほぼ同様に、画像信号を積分回路６０１で垂直方向および水平方向の複数の領域に分割し、各領域毎に積分を行う。そして、平均化（正規化）回路６０２において、積分回路６０１で積分した積分値に対して、平均化（正規化）を行いフリッカ検出部２０９に出力する。

フリッカ検出部２０９、フリッカ補正値生成部２１０は、第１の実施形態と同様なので割愛する。

算出したフリッカ補正値を撮像データに対して乗算器２０５にて乗算し、フリッカ補正を行う。

その後にデータ分配部２０６にて焦点検出用画素と現像系画素とにデータ分配し、焦点検出用画素を使用して相関演算を行い、正しくデフォーカス量を算出することが出きる。

上述したようにこのような回路構成を取る事によって、回路規模削減、演算量削減に寄与する事が出来る回路構成となっている。

本発明により、精度の高いデフォーカス量の算出が可能な撮像装置を提供することが可能である。

１０１、２０１ ：撮像手段
１０４ ：Ｒ画素におけるフリッカ回路
１０５ ：Ｇ画素におけるフリッカ回路
１０６ ：Ｂ画素におけるフリッカ回路
１１３、２０５： 撮像画素と補正ゲイン値との乗算器
１１４、２０５ ：焦点検出用画素と補正ゲイン値との乗算器
２０４： Ｒ、Ｇ、Ｂ画素を使用したフリッカ回路

Claims (6)

1. 撮影レンズを介して得られる被写体像を光電変換する、各々がカラーフィルタを持つ、複数の撮像用画素と、瞳分割された一対の光束による像の位相差を検出するための、フィルタを持つ、複数の焦点検出用画素と、を有する撮像素子と、
   前記撮像用画素から出力された画像信号に基づいてフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、
   前記フリッカ補正値に基づいて、前記焦点検出用画素から出力された焦点検出信号に対してフリッカ補正を行うフリッカ補正手段と、を有し、
   前記フリッカ補正値生成手段は、前記撮像用画素が出力する画像信号と、前記撮像用画素のカラーフィルタの特性及び、前記焦点検出用画素のフィルタの特性とに基づいて、前記焦点検出用画素が出力する焦点検出信号に対して、フリッカ補正をするためのフリッカ補正値を生成することを特徴とする撮像装置。
2. 前記フリッカ補正値生成手段は、カラーフィルタを有する前記撮像用画素の各色毎に生成したフリッカ補正値と前記焦点検出用画素が有する透明のフィルタの特性から焦点検出用のフリッカ補正値を生成し、
   前記フリッカ補正手段は、前記焦点検出用のフリッカ補正値を用いて前記焦点検出用画素が出力する焦点検出信号に対してフリッカ補正を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記フリッカ補正手段は、前記焦点検出用画素の出力信号を用いた前記位相差の検出のための演算を行う前に、前記焦点検出用画素が出力する焦点検出信号に対してフリッカ補正を行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の撮像用画素及び前記複数の焦点検出用画素は、各ライン毎の露光タイミングが順次制御されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像用画素は、Ｒ、Ｇ、Ｂのカラーフィルタのいずれかを有し、
   前記撮像用画素から出力された画像信号から輝度を生成する輝度生成手段を有することを特徴とする請求項１に記載の撮像装置。
6. 撮影レンズを介して得られる被写体像を光電変換する、各々がカラーフィルタを持つ、複数の撮像用画素と、瞳分割された一対の光束による像の位相差を検出するための、フィルタを持つ、複数の焦点検出用画素とから出力された信号をフリッカ補正する制御方法であって、
   前記撮像用画素から出力された画像信号に基づいてフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成ステップと、
   前記フリッカ補正値に基づいて、前記焦点検出用画素から出力された焦点検出信号に対してフリッカ補正を行うフリッカ補正ステップと、を有し、前記フリッカ補正値生成ステップでは、前記撮像用画素が出力する画像信号と、前記撮像用画素のカラーフィルタの特性及び、前記焦点検出用画素のフィルタの特性とに基づいて、前記焦点検出用画素が出力する焦点検出信号に対して、フリッカ補正をするためのフリッカ補正値を生成することを特徴とする制御方法。