JP2008011226A - 撮像装置のフリッカ検出方法と装置 - Google Patents

Abstract

【課題】ＣＭＯＳを用いた撮像素子を有する撮像装置を用い、どのような撮影条件に於いても、確実にフリッカを検出できるようにした撮像装置のフリッカ検出方法と装置を提供することが課題である。
【解決手段】マトリクス状に配列された各画素への電荷の蓄積と読み出しを、画素行単位の走査で行う撮像装置を用い、１フレームの画像データを垂直方向に複数の枠に分割して枠毎の平均輝度を算出すると共に、前後のフレームの画像データにおける対応する枠の平均輝度との差分をとり、フリッカ成分を抽出するフリッカ検出を実施して、画像データに含まれるフリッカの有無と周波数とを検出する撮像装置のフリッカを検出方法において、フリッカ検出を実施する時、撮像素子における電荷蓄積時間をフリッカを生じさせる光源の点滅周期より短くするようにした。
【選択図】図３

Description

本発明は、例えば蛍光灯のように電源周波数に起因して明るさが変化する光源で照明した被写体を、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）で構成した撮像装置のように、個々の撮像素子における画像データとしての電荷の蓄積と読み出しを画素行単位の走査で行う撮像装置で撮像したときに画像に生じるフリッカを、確実に検出できるようにした撮像装置のフリッカ検出方法と装置に関するものである。

ビデオカメラやデジタルカメラの撮像装置を構成する撮像素子には、従来から、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）が用いられている。このうちＣＭＯＳを用いた撮像素子は、ＣＣＤを用いた撮像素子に較べてＬＳＩと同様の製造プロセスが使用できるために量産性に優れ、増幅器を始め様々な機能を画素毎に設けることも可能で、回路全体のサイズを小さくできると共にコスト的にも有利になる。また、電源が低電圧の単一電源で済み、ＣＣＤでは問題となるスミアが無視できるほど小さい上に、データの読み出しが高速に行える等の利点がある。

しかしながらＣＭＯＳを用いた撮像素子は、ノイズが多いということと、各画素を構成する撮像素子からの撮像データをＣＣＤと異なって個別に取り出すため、撮像に際し、電荷露光を行うタイミングがライン毎に異なると共に画像データを時系列に読み出すことになり、走査線ごとに走査に要する時間だけ蓄積時間がずれてしまう、という欠点がある。この欠点のため、ＣＭＯＳを用いた撮像装置では、高速で動いている被写体を撮像した場合に走査方向に曲がった画像が出力されたり、被写体の照明に、例えば蛍光灯のように、電源周波数に起因して明るさが変化する光源を用いた場合、図７に誇張して示したようにフリッカと呼ばれる画像に明暗のある縞模様が発生する。

このフリッカは、電源周波数によって蛍光灯が１秒間に１００回（５０Ｈｚの場合）、あるいは１２０回（６０Ｈｚの場合）点滅を繰り返すことにより生じるもので、例えば撮像装置のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになり、各撮像素子における電荷蓄積時間がこの光源の点滅周期の整数倍でない場合、図７に示したような縞模様が画像に発生するわけである。

それに対してＣＣＤでは、光の照射によって同一時刻に蓄積した電荷をそのままの状態で転送機能を用いて増幅器に運ぶため、データ全体の読み出しはＣＭＯＳに較べて遅くなるが画面内に明暗のムラが生じるといったことはなく、また、ＣＣＤ自体の感度がＣＭＯＳに対して高い上にノイズも少ない。

しかしながら、例えば一眼レフ型のデジタルカメラなどにおいてはセンサのサイズを大きくできるため、感度やノイズの改善が容易である。さらにＣＭＯＳを用いた撮像素子は、その高速性によって一眼レフ型のデジタルカメラ等に要求される連写機能を容易に実現することができ、前記したＣＭＯＳを用いた撮像素子の利点と相俟って、最近の一眼レフ型デジタルカメラではこのＣＭＯＳを用いた撮像素子を備えたものが多くなっている。また、前記したフリッカの問題についても、シャッタ時間、すなわちＣＭＯＳにおける個々の撮像素子の電荷蓄積時間を明暗の生じる間隔、すなわち電源周波数による光源の点滅周期の倍数とすることで防ぐことができる。

しかしながら前記したように、フリッカによる縞模様を無くすか目立たないようにするためには、電源周波数に起因する光源の点滅周期を正確に検出する必要がある。こういった技術に関しては例えば特許文献１に、ＣＣＤを用いた単板式テレビカメラに関するものではあるが、蛍光灯などのフリッカを持つ照明下でちらつきを生じさせないよう、蓄積時間を１／３０秒とすることが示され、さらにこのように蓄積時間を１／３０秒とした場合、移動する車などを撮像すると画像がボケてしまう（被写体ブレ）という問題が生じるのを防止するため、蓄積時間をフレーム周期とフィールド周期に切り換え可能とし、且つ、切り換え時における信号のレベル変化を無くし、さらに、撮像している被写体の状態、例えば光量が充分か否か、フリッカが多いか少ないか、また、被写体の動きが多いか少ないかなどを判断して自動的に蓄積時間を切り換え、再生画像のＳ／Ｎ、フリッカの量、及び蓄積時間による動的解像度が最良の状態となるような制御を行う、蓄積時間切り換え固体撮像装置が示されている。

また、特許文献２には、画像を垂直走査方向に分割して複数のフリッカ検波枠を設定すると共に、各フリッカ検波枠毎に輝度データの検波を行ない、さらに各フリッカ検波枠毎に前後の２つのフレームの輝度データとの差分をとってフリッカ成分を抽出することで、フリッカの周波数を算出する方法が示されている。なお、この特許文献２に示されたフリッカ検出方法では、前後のフレームの差分をとった場合にフリッカ成分が消えないよう、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整している。

特開昭６３−２０９７７号公報 特開２００３−１８９１２９号公報

しかしながら特許文献１に示された蓄積時間切り換え固体撮像装置は、光量、フリッカの量、被写体の動き、再生画像のＳ／Ｎなどによって蓄積時間をフレーム周期とフィールド周期に切り換え、それによって動的解像度が最良の状態となるような制御しているだけで、フリッカの周波数を検出することについては記載が無く、また、特許文献２のフリッカ検出方法では、被写体が高速で動くために生じる像ブレや、撮像装置を完全に固定せずに手で持っているためにフレーム間で画像のブレ（手ブレ）が発生すると、フリッカ成分を抽出するため、各フリッカ検波枠毎に前後の２つのフレームの輝度データとの差分をとる処理に際し、検出の精度が落ちてフリッカ成分抽出がうまくできない場合があるという問題が生じる。

そのため本発明においては、ＣＭＯＳを用いた撮像素子を有する撮像装置を用い、どのような撮影条件に於いても、確実にフリッカを検出できるようにした撮像装置のフリッカ検出方法と装置を提供することが課題である。

上記課題を解決するため本発明になる撮像装置のフリッカ検出方法は、
マトリクス状に配列された各画素への電荷の蓄積及び読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置であって、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、点滅する光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出方法において、
前記フリッカ検出のための前記複数フレームにおける電荷蓄積時間を、前記光源の点滅周期より短かくしてフリッカを検出することを特徴とする。

また、この方法を実施する撮像装置のフリッカ検出装置は、
各画素がマトリクス状に配列され、電荷の蓄積及び読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置と、該撮像装置からの画像データに含まれるフリッカの有無と周波数とを検出するフリッカ検出状態において、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、点滅する光源下で発生するフリッカ成分を検出するフリッカ検出部とからなる撮像装置のフリッカ検出装置において、
前記フリッカ検出状態において、前記複数フレームにおける電荷蓄積時間を光源の点滅周期より短くする指示を前記撮像装置に送る制御手段を備えたことを特徴とする。

このようにフリッカ検出にあたり、電荷蓄積時間をフリッカを生じさせる光源の点滅周期より短くすることで、撮像した画像のデータは光源のフリッカに起因する明暗を顕著に反映したデータとなり、フリッカをより高い精度で検出できるようになると共に、電荷蓄積時間を短くしたことにより、被写体ブレや手ブレに対しても画像データに対する影響が少なくなり、より効果的にフリッカ検出を行うことができる。

そして、前記時間的に連続する複数フレーム間の蓄積電荷量の差分は、前記フレームを垂直方向に複数の枠に分割して枠毎の平均輝度を算出し、前記時間的に連続するフレームにおける対応する枠の平均輝度との間で差分を取って算出するよう、フリッカ検出方法と装置を構成することで、フリッカを顕著に反映したデータが得られ、フリッカをより高い精度で検出できる。

また、前記フリッカ検出時、前記撮像装置における撮像フレームレートを高くしてフリッカを検出するようフリッカ検出方法と装置を構成することで、被写体ブレや手ブレの画像データに対する影響がさらに少なくなり、より高い精度でフリッカ検出を行うことができる。

さらに、前記フリッカ検出は、被写体の明るさを定期的に確認し、被写体の明るさが予め定められた値を下回った場合に実施するようフリッカ検出方法と装置を構成することで、例えば明るさ検出手段として撮像装置からの画像データ、若しくは別途設けた測光センサなどを用い、その出力で被写体の明るさ、すなわち照度が一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ）よりも明らかに大きいと判断されたきは、屋外と判断してフリッカ検出を行わないようにすることで、誤検出を防ぐこともできる。

そして、前記フリッカ検出のために取得したフレームは、表示または記憶に使わないようフリッカ検出方法と装置を構成することで、フリッカ検出時には通常より電荷蓄積時間を短くし、画像データの増幅ゲインを大きくするからその分ノイズが増えるが、このように表示または記憶に使わないようにすることで、画質の悪化を防ぐことが可能となる。

また、前記フリッカ検出時は、前記フリッカを生じさせる光源の点滅周期より短くした撮像素子における電荷蓄積時間に対応させて、撮像素子からの画像データの増幅ゲインを上げるようフリッカ検出方法と装置を構成することで、フリッカの検出が容易に行える。

本発明によれば、何らかの特別な装置を付加することなく、フリッカ成分の検出精度を高め、確実にフリッカを検出することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になるフリッカ検出装置を有する撮像装置における一実施形態の概略構成を示すブロック図である。図中１０はＣＭＯＳを撮像素子として用い、その撮像素子からの出力信号を増幅するゲインアンプや、アナログ画像信号をデジタルの画像信号に変換するＡ／Ｄコンバータなどを有し、撮像した画像の信号を出力する撮像部、１１は撮像部１０からの画像信号に対し、カラー調整、ガンマ補正、輝度信号生成等の演算を施す画像処理部、１２は被写体が電源周波数などに起因する光量変化を有する光源で照明されたことで生じるフリッカを検出するフリッカの検出部で、このフリッカ検出部１２は、後記するように連続する複数フレーム間の蓄積電荷量の差分を取るため、１フレームの画像信号を垂直方向に複数の枠に分割し、枠毎の平均輝度を算出して連続するフレームにおける対応する枠の平均輝度の差分を取る機能を有し、これら平均輝度と差分の算出手段、記憶装置などを有している。また、フリッカの検出以外に撮像部１０から送られてくる画像信号中の輝度信号を用いたり、別途設けた測光センサなどを用いて被写体の明るさを検出し、その明るさ、すなわち照度が一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ）よりも明らかに大きいと判断されたきは、屋外と判断してフリッカ検出を行わないようにするため、上記照度値を下回っている場合、システム制御部１３にその旨の信号を出力する機能も有する。

１３は撮像部１０を撮像部制御信号１８により制御すると共に、フリッカ検出部１２からの明るさが予め定められた値を下回っている旨の信号を受け、フリッカ有り／無しの判定、フリッカ周波数の判定を行うためのフリッカ検出を撮像部１０とフリッカ検出部１２に指示し、フリッカ検出部１２からの評価値に基づいて、フリッカ有り／無しの判定、フリッカ周波数の判定を行うと共に、画像データ格納用の画像メモリ１６の制御、ＬＣＤ等の画像表示部１７の制御などを行うＣＰＵを有したシステム制御部、１４はキースイッチやダイヤル等を有し、フリッカ検出を行わないときに撮像した画像データをフリッカ検出部１２を通過させ、そのスルー画像を画像表示部１７に表示させたり、画像メモリ１６に記録等を行わせるモードを選択させるための手段等を有する操作部、１５はメモリバスである。

本発明になるフリッカ検出装置を有する撮像装置は、フリッカ検出を行わない通常の状態では、システム制御部１３からの指示により、撮像部１０で撮像素子からの画像信号をゲインアンプで増幅した後、このアナログ画像信号をＡ／Ｄコンバータでデジタル画像信号に変換し、画像処理部１１でカラー調整、ガンマ補正、輝度信号生成等の演算を施す。そして、システム制御部１３からフリッカ検出部１２にフリッカ検出指示信号が来ていないから、このフリッカ検出部１２においては何も処理をせずに画像信号をメモリバス１５を介して画像表示部１７に送り、表示させる。また、操作部１４からシステム制御部１３に画像データを画像メモリ１６に記憶させる旨の指示が来ている場合、画像メモリ１６に指示を送って画像信号を記憶させる。

このように構成した撮像装置において、被写体が電源周波数などに起因する光量変化を有する光源で照明されたことで前記したように被写体の明るさが予め定められた値を下回り、フリッカを生じる可能性があると判断された場合、フリッカの有無、フリッカ周波数の判定が行われる。

図２はフリッカ検出部１２によるフリッカ検出の概略を説明するための図で、（Ａ）はフリッカ検出を行うときに１フレーム分の画像データを分割した状態を示した図、（Ｂ）は（Ａ）のように分割した各枠内における輝度信号の平均値を示した図、（Ｃ）はフリッカの周波数を検出するためのバンドパスフィルタ（ＢＰＦ）を示した図、図３は本発明のフリッカ検出方法のフロー図である。また、図４乃至図６は、本発明のフリッカ検出方法を説明するための図であり、図４は、ＣＭＯＳを用いた撮像素子における電荷蓄積時間を短くして画像上にフリッカにより生じる縞模様が明確に現れるようにした場合、図５は通常フレームの間に、周期的にフリッカ検出を行うためにフレームレートを上げたフレームを挿入し、また、そのフレームで取り込んだ画像はスルー像として用いないことを説明するための図、図６は電荷蓄積時間を短くせず、フレームレートも上げなかった場合のフリッカにより生じる縞模様の状態を示した図である。

本発明になる撮像装置におけるフリッカの検出方法では、周期的（例えば５秒または１０秒毎）にシステム制御部１３からフリッカ検出部１２に、図３に示したフローによるフリッカ検出を行うよう指示が出される。その指示により図３のステップＳ６１でこの処理がスタートすると、まずステップＳ６２で、フリッカ検出部１２が撮像部１０から送られてくる画像信号中の輝度信号、または別途設けた測光センサにより被写体の明るさを検出し、その信号を受けたシステム制御部１３が、ステップＳ６３でその明るさが予め定められた値を下回っているか否かを判断する。下回っていない場合はフリッカ検出の必要がないとしてステップＳ７６に行き、処理が終了する。

このように例えば５秒から１０秒に１回の割でフリッカ検出の実施指示を出すのは、被写体を照明している光源が変化する可能性があるからである。また、被写体の明るさを検出してフリッカ検出を実施するか否かを判断するのは、不要なフリッカ検出を実施することで誤検知が行われるのを防止するためであるが、フリッカ検出をこのように被写体の明るさを検出して実施するか否か判断するのではなく、システム制御部１３からフリッカ検出実施の指示が出た場合は、必ず実施するようにしても良い。

そして、ステップＳ６３で明るさが規定値以下と判断された場合、処理がステップＳ６４に進んでフリッカ検出のための用意を行う。すなわちシステム制御部１３は、まず、撮像部１０から画像処理部１１を介して送られてくる１フレーム分の画像データをフリッカ検出部１２で、図２（Ａ）に示したように検出枠［０］、検出枠［１］、……、検出枠［１５］と垂直方向に等分割する。この１フレーム分の画像データの分割数は、それぞれの枠内の走査に要する合計時間が検出対象とすべき光源点滅周期より短くなるようにする。すなわち前記したように、例えば撮像部のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになるから、最小輝度部と最大輝度部を別々の枠とするためには、少なくとも１６分割以上にする必要がある。枠の分割数はより大きい方が周波数検出精度に対しては有利となるが、演算処理の負荷が増大することになるので、その点を考慮して決める。なお、以下の説明では、一例として１フレーム分の画像データを１６分割した場合を例に説明するが、これは１６分割に限らず、上記した１６分割以上であれば任意の数に分割しても良いことは自明である。

そして、次にシステム制御部１３はステップＳ６５で、撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間を図４に３３で示したように、フリッカによる明暗が明確に現れるような値に設定し、それによる蓄積電荷量の低下を、撮像部１０が有するアンプのゲインを上げて補うよう指示する。なお、この図４において３１は垂直同期信号であり、３２は電源周波数による光源の明るさの変化状態を示したもの、３３はそれぞれの黒線がＣＭＯＳを用いた撮像素子の各水平行毎の電荷蓄積時間の長さを示したもの、３４は撮像された画像データによって生じるフリッカによる明暗を表している。なお、以下で説明する図５、図６に於いて上記と同一の番号が付けられたものは同じものである。

この図４からわかるように、フリッカ検出処理において、撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間３３を短くする程、各水平素子間の光量積分値の相対比が大きくなる。この場合は、３４で示したようにフリッカによる明るさの変化が顕著に現れたデータが得られるため、フリッカ検出の精度が高くなる。また、電荷蓄積時間３３を短くしたことにより、被写体ブレや手ブレに対しても画像データに対する影響が少なくなり、より効果的にフリッカ検出を行うことができる。

それに反し、図６に示したように撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間を、光源の明るさの変化周期３２よりも５１のように長くすると、各素子は、被写体におけるフリッカにより変化した明るさを積分して撮像するから、得られる画像データは、被写体を照明する光源の明るさ変化を平均した値が記録されることになり、５２に示したように、フリッカによる画像への影響は比較的小さなものとなる。従って、この場合はフリッカ検出が困難になる。

再度図３に戻って、次にステップＳ６６でシステム制御部１３は、フリッカ検出を容易にするため、図５に示したように、フレームレートを上げるよう撮像部１０に指示する。この図５の場合、３１で示した垂直同期信号が時間ｔ_３とｔ_５の中間のｔ_４にも入り、通常の１フレーム間隔である時間ｔ_３とｔ_５の間に２フレーム分の画像を取得する。こうすると、フレーム間の時間差が小さくなり、被写体ブレや手ブレの発生確率・影響が小さくなって、フリッカ検出精度が向上する。なお、この図５に示したフリッカ検出用のフレームレートは通常の２倍としたが、これは一例であり、もっと高いレートに設定しても良いことは自明である。

またこのステップＳ６６でシステム制御部１３は、このフリッカ検出を行うためのフレームレートを、１フレーム毎に画面上のフリッカによる明暗の縞模様が現れる位置が異なるようなフレームレート（１秒間のコマの数）に設定し、撮像部１０に撮像部制御信号１８を介して信号を送る。

なお、この図４、図５において３３、４３で示したフリッカ検出用の短くした電荷蓄積時間は、前記したように画像データ出力を小さくするから、それを補うため、撮像部１０が有するゲインアンプのゲインを上げる。しかしこの場合、ゲインを上げたフレームは、それだけノイズも増え、また、このフレームは、意図的にフリッカが強調された画像だから、この間の画像データはシステム制御部１３からの指示により、画像表示部１７への表示、若しくは画像メモリ１６への記憶をさせないようにする。この処理により、フリッカ検出時は、周期的（例えば５秒毎）に画像表示のフレームレートが下がることになるが、ドロップするフレーム数の割合から、実使用上全く障害にならないと考えられる。

この図５における４２は、この間の様子を示したもので、フリッカ検出でない通常のフレームレートで、４１で示したように通常の電荷蓄積時間で撮像が行われた画像データは、更新（Ｎ）、更新（Ｎ＋１）、更新（Ｎ＋２）として示された時間ｔ_１とｔ_２の間、時間ｔ_２とｔ_３の間、時間ｔ_３とｔ_５の間はデータが更新されて、画像表示部１７への表示、若しくは画像メモリ１６への記憶が行われるが、３１における時間ｔ_３とｔ_５の間のフリッカ検出時には、電荷蓄積時間が４３で示したように短時間でゲインアンプのゲインが上げられているため、この間のデータはフリッカ検出のみに用いられ、４２の時間ｔ_５とｔ_６の間、時間ｔ_６とｔ_７の間のように、更新（Ｎ＋２）がそのまま保持されて画像表示部１７への表示、若しくは画像メモリ１６への記憶が行われることを示している。

また、この図５に示したようにフレームレートを上げることで、そのフレームレートに合わせて撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間を短くするが、電荷蓄積時間をさらに短くしても良い。こうすると、前記したように被写体ブレや手ブレの画像データに対する影響が少なくなり、より高精度にフリッカ検出を行うことができる。

再度図３に戻って次にシステム制御部１３は、ステップＳ６７でフリッカ検出部１２に指示し、撮像部１０から画像処理部１１を介して送られてくる１フレーム分の画像データを、図２（Ａ）に示したように検出枠［０］、検出枠［１］、……、検出枠［１５］と垂直方向に等分割し、それぞれの枠内における輝度信号の平均値を図２（Ｂ）に、Ｙ［０］、Ｙ［１］、……、Ｙ［１５］で示したように算出して記憶する。

そして次のステップＳ６８でシステム制御部１３は、フリッカ検出部１２に次のフレームを取得させて同様にして検出枠［０］、検出枠［１］、……、検出枠［１５］に分割すると共に、それぞれの枠内における輝度信号の平均値を図２（Ｂ）に、Ｙ［０］、Ｙ［１］、……、Ｙ［１５］で示したように算出し、さらに次のステップＳ６９で、先に記憶した最初のフレームの輝度信号の平均値との差分を算出させる。

この差分算出処理は、画像データに含まれる被写体のデータ分を消去し、フリッカによる明暗の縞模様（フリッカ成分）だけを抽出するためである。また、このとき、前記したように差を取る２つのフレームにおけるフリッカの現れる位置を異ならせているが、これは、差分をとったときに、フリッカによる明暗だけが残るようにするためで、このとき、フレームレートとフリッカ周波数（蛍光灯の電源周波数）とを同期させてしまうと、フリッカが発生する位置が画面上で固定されてしまうこととなり、差分を取った時にフリッカ成分も消えてしまう。フリッカ周波数と同期してしまうフレームレートは蛍光灯の電源周波数を正整数で割った値、若しくは正整数倍した値であり、例えば電源周波数が５０Ｈｚの場合、１００フレーム／秒、５０フレーム／秒、２５フレーム／秒、………となり、６０Ｈｚの場合、１２０フレーム／秒、６０フレーム／秒、３０フレーム／秒、………となる。そこで、それを回避するため、フレームレートがこのフリッカ周波数と同期する値より遅くなった値、又は早くなった値となるよう、水平同期周期を長く又は短くとるような操作をシステム制御部１３で行い、フリッカ成分を浮き上がらせるようにしている。

こうしてフリッカ成分が抽出されるとシステム制御部１３は、このフリッカ成分を含む図２（Ｂ）にＹ［０］、Ｙ［１］、……、Ｙ［１５］で示した輝度信号平均値を、ステップＳ７０で図２（Ｃ）に示したバンドパスフィルタにおける輝度信号平均値入力端子２１に入力する。バンドパスフィルタ２２、２３は、フリッカの原因となる被写体を照明する光源の電源周波数を検出するためのもので、光源の明るさは電源周波数の２倍のサイクルで変化するため、２２は１００Ｈｚに対応させ、２３は１２０Ｈｚに対応させて設けられている。

そのため、このバンドパスフィルタ２２、２３からは、入力した輝度信号平均値の周波数に対応した周波数の波が出力されるから、システム制御部１３は、出力端子２４、２５に出た出力によってステップＳ７１で、フリッカの有無、周波数の判定を行う。そして、次のステップＳ７２でシステム制御部１３は、フリッカがない場合は処理をステップＳ７４に進めて撮像素子の電荷蓄積時間をフリッカ検出用設定前の値に再設定し、フリッカが有る場合はステップＳ７３に進んで検出したフリッカ周波数に基づき、撮像部１０におけるＣＭＯＳを用いた撮像素子の電荷蓄積時間（シャッタ時間）を、フリッカ間隔の整数倍とするフリッカ対応蓄積時間に設定するよう、図１における撮像部制御信号１８を撮像部１０に送る。そしてステップＳ７５で、撮像部１０のフレームレートをフリッカ検出用設定前の値に再設定し、ステップＳ７６で終了する。

なお、このフリッカの有無、周波数の判定は、図２（Ｂ）に示した輝度信号平均値によって行っても良い。すなわち、フリッカは、図２（Ｂ）に示した各枠の輝度信号平均値に差が生じている場合にフリッカがあると判定できるから、１つの枠における輝度をその隣、１つ置いた更に隣、更にその隣……と比較することを全ての枠の輝度信号平均値について行い、明暗の差が一定間隔で生じている場合にフリッカがあると判定し、さらにその間隔により、フリッカ周波数を算出する。つまり前記したように、撮像部のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになるから、分割数を１６とした場合、５０Ｈｚの場合で２つか３つおきに、６０Ｈｚの場合は２つおきに暗部、または明部が来ることになるから、それによって周波数を決定すればよい。

このようにフリッカ検出にあたり、電荷蓄積時間をフリッカを生じさせる光源の点滅周期より短くすることで、撮像した画像のデータは光源のフリッカに起因する明暗を顕著に反映したデータとなり、フリッカをより高い精度で検出できるようになると共に、電荷蓄積時間を短くしたり、フレームレートを高くしたことで、被写体ブレや手ブレに対しても画像データに対する影響が少なくなり、より効果的にフリッカ検出を行うことができる。

本発明によれば、ＣＭＯＳを用いた撮像素子を有する撮像装置を用いても、高精度にフリッカを検出できるから、フリッカの発生を押さえた画像を得ることのできる撮像装置を提供することができる。

本発明になる撮像装置の一実施形態の概略構成を示すブロック図である。 フリッカ検出部１２によるフリッカ検出の概略を説明するための図で、（Ａ）はフリッカ検出を行うときに１フレーム分の画像データを分割した状態を示した図、（Ｂ）は（Ａ）のように分割した各枠内における輝度信号の平均値を示した図、（Ｃ）はフリッカの周波数を検出するためのバンドパスフィルタ（ＢＰＦ）を示した図である。 本発明のフリッカ検出方法のフロー図である。 本発明のフリッカ検出方法を説明するための図で、ＣＭＯＳを用いた撮像素子における電荷蓄積時間を短くして画像上にフリッカにより生じる縞模様が明確に現れるようにした場合である。 本発明のフリッカ検出方法を説明するための図で、通常フレームの間に、周期的にフリッカ検出を行うためにフレームレートを上げたフレームを挿入し、また、そのフレームで取り込んだ画像はスルー画像として用いないことを説明するための図である。 電荷蓄積時間を短くせず、フレームレートも上げなかった場合のフリッカにより生じる縞模様の状態を示した図である。 ＣＭＯＳを撮像素子として使い、被写体の照明に、電源周波数に起因して明るさが変化する光源を用いたことにより生じるフリッカを誇張して示した図である。

符号の説明

１０ 撮像部
１１ 画像処理部
１２ フリッカ検出部
１３ システム制御部
１４ 操作部
１５ メモリバス
１６ 画像メモリ
１７ 画像表示部
１８ 撮像部制御信号
２０ １フレームの画像信号
２１ 輝度信号平均値入力端子
２２ １００Ｈｚに対応したバンドパスフィルタ
２３ １２０Ｈｚに対応したバンドパスフィルタ
２４、２５ 検出出力の出力端子

Claims (12)

1. マトリクス状に配列された各画素への電荷の蓄積及び読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置であって、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、点滅する光源下で発生するフリッカ成分を検出する撮像装置のフリッカ検出方法において、
   前記フリッカ検出のための前記複数フレームにおける電荷蓄積時間を、前記光源の点滅周期より短かくしてフリッカを検出することを特徴とする撮像装置のフリッカ検出方法。
2. 前記時間的に連続する複数フレーム間の蓄積電荷量の差分は、前記フレームを垂直方向に複数の枠に分割して枠毎の平均輝度を算出し、前記時間的に連続するフレームにおける対応する枠の平均輝度との間で差分を取って算出することを特徴とする請求項１に記載した撮像装置のフリッカ検出方法。
3. 前記フリッカ検出時、前記撮像装置における撮像フレームレートを高くしてフリッカを検出することを特徴とする請求項１または２に記載した撮像装置のフリッカ検出方法。
4. 前記フリッカ検出は、被写体の明るさを定期的に確認し、被写体の明るさが予め定められた値を下回った場合に実施することを特徴とする請求項１乃至３のいずれかに記載した撮像装置のフリッカ検出方法。
5. 前記フリッカ検出のために取得したフレームは、表示または記憶に使わないことを特徴とする請求項１乃至４のいずれかに記載した撮像装置のフリッカ検出方法。
6. 前記フリッカ検出時は、前記フリッカを生じさせる光源の点滅周期より短くした撮像素子における電荷蓄積時間に対応させて、撮像素子からの画像データの増幅ゲインを上げることを特徴とする請求項１乃至５のいずれかに記載した撮像装置のフリッカ検出方法。
7. 各画素がマトリクス状に配列され、電荷の蓄積及び読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置と、該撮像装置からの画像データに含まれるフリッカの有無と周波数とを検出するフリッカ検出状態において、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、点滅する光源下で発生するフリッカ成分を検出するフリッカ検出部とからなる撮像装置のフリッカ検出装置において、
   前記フリッカ検出状態において、前記複数フレームにおける電荷蓄積時間を光源の点滅周期より短くする指示を前記撮像装置に送る制御手段を備えたことを特徴とする撮像装置のフリッカ検出装置。
8. 前記フリッカ検出装置は、前記フレームを垂直方向に複数の枠に分割して算出した枠毎の平均輝度を記憶する記憶手段と、前記枠毎の平均輝度の算出及び、前記記憶手段に記憶した時間的に連続するフレームにおけるそれぞれ対応する枠の平均輝度との差を取って蓄積電荷量の差分の算出を行い、フリッカ成分を抽出する算出手段とからなることを特徴とする請求項７に記載した撮像装置のフリッカ検出装置。
9. 前記制御手段は前記フリッカ検出状態において、前記撮像装置における撮像フレームレートを高くする指示を前記撮像装置に送ることを特徴とする請求項７または８に記載した撮像装置のフリッカ検出装置。
10. 前記フリッカ検出部は被写体の明るさを定期的に確認する明るさ検出手段を有し、前記制御手段は、前記明るさ検出手段により被写体の明るさが予め定められた値を下回ったという信号を受けて、フリッカ検出を前記撮像装置と前記フリッカ検出部に指示することを特徴とする請求項７乃至９のいずれかに記載した撮像装置のフリッカ検出装置。
11. 前記制御手段は前記フリッカ検出状態で取得したフレームを、表示または記憶に使わない指示を行うことを特徴とする請求項７乃至１０のいずれかに記載した撮像装置のフリッカ検出装置。
12. 前記制御手段は前記フリッカ検出状態において、前記フリッカを生じさせる光源の点滅周期より短くした撮像素子における電荷蓄積時間に対応させ、前記撮像素子からの画像データの増幅ゲインを上げるよう前記撮像装置に指示することを特徴とする請求項７乃至１１のいずれかに記載した撮像装置のフリッカ検出装置。

Images