JP2012134663A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】演算量の増加と画質の劣化とを抑制しつつ、精度よくフリッカを検出する。
【解決手段】撮像装置は、撮像素子１０１が取得する画像のフレームレートを、相異なる第１または第２のフレームレートのいずれかに設定するフレームレート制御部１０５と、撮像素子１０１によって第１のフレームレートで連続して取得された第１の画像群のうちの２つの画像間の輝度差である第１の輝度差と、撮像素子によって第２のフレームレートで連続して取得された第２の画像群のうちの２つの画像間の輝度差である第２の輝度差とを算出する輝度差算出部１０８と、第１および第２の輝度差を、第１および第２の閾値とそれぞれ比較することによって、相異なる第１および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定するフリッカ検出部１０９とを含む。
【選択図】図１３

Description

本発明は、撮像装置および撮像方法に関し、特に、自動露光機能を有する撮像装置および撮像方法に関する。

蛍光灯照明の室内などで、デジタルカメラなどの電子的撮像装置を用いて画像を撮影した場合、被写体の照度が周期的に変化することによって、撮影された画像に輝度ノイズが生じる場合がある。ここでは、被写体の照度の周期的な変化をフリッカ（ちらつき）といい、フリッカによって画像に生じる輝度ノイズをフリッカノイズという。フリッカノイズの例は、動画の連続したフレームの間に生じる輝度差でありうる。また、フリッカノイズの別の例は、画像に発生する縞模様でありうる。

そこで、フリッカを検出するための技術が提案されている。例えば、特許文献１では、所定の期間に撮影された複数のフレームの画像について、各画像の輝度の平均値に対する差分から導出した指標を用いてフリッカを検出する技術が開示されている。特許文献２では、光源の電源周波数には同期しないフレームレートで撮影された２つのフレームから生成された微分画像から抽出されたフリッカ成分を周波数解析してフリッカ周波数を特定する技術が開示されている。特許文献３では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサにおいて、フリッカの周期に同期する露光時間と、それ以外の露光時間のそれぞれで撮影された画像の輝度の違いに基づいてフリッカ成分を抽出する技術が開示されている。

特開２００６−１２１６０５号公報 特開２００９−１３０５３１号公報 特表２０１０−５２０６７３号公報

しかし、特許文献１に記載されているように、複数のフレーム間の画像の輝度の平均値を利用してフリッカを検出する場合、多くのフレームの画像が必要になり、演算量が増加する。また、特許文献２に記載されているように、フリッカ周波数の特定に周波数解析を用いる場合も、周波数解析を行うことによって演算量が増加する。さらに、特許文献３に記載されているように、露光時間を変化させてフリッカ成分を抽出する場合、露光時間の変化による画質の劣化が避けられない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、演算量の増加と画質の劣化とを抑制しつつ、精度よくフリッカを検出することが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子が取得する画像のフレームレートを、相異なる第１または第２のフレームレートのいずれかに設定するフレームレート制御部と、上記撮像素子によって上記第１のフレームレートで連続して取得された第１の画像群のうちの２つの画像間の輝度差である第１の輝度差と、上記撮像素子によって上記第２のフレームレートで連続して取得された第２の画像群のうちの２つの画像間の輝度差である第２の輝度差とを算出する輝度差算出部と、上記第１および上記第２の輝度差を、第１および第２の閾値とそれぞれ比較することによって、相異なる第１および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定するフリッカ検出部とを含むことを特徴とする撮像装置が提供される。

かかる構成によれば、閾値との比較によってフリッカの有無とフリッカ周波数を特定でき、フリッカ検出のための演算量を抑制することができる。また、各フレームにおける電荷蓄積時間は変化しないため、画質の劣化を抑制することができる。

上記第１のフレームレートは、上記第１の周波数の１／ｎ（ｎは自然数）であり、上記第２のフレームレートは、上記第２の周波数の１／ｍ（ｍは自然数）であり、上記フリッカ検出部は、上記第１の輝度差が上記第１の閾値以上である場合に、第１の周波数のフリッカが発生していると判定し、上記第２の輝度差が第２の閾値以上である場合に、第２の周波数のフリッカが発生していると判定してもよい。これにより、複数の異なる周波数のフリッカのうちのどちらのフリッカが発生しているかを、精度よく判定することができる。

上記撮像装置は、上記第１の画像群および上記第２の画像群について、各画像を分割した複数のブロックのそれぞれにおける輝度積算値を取得するブロック輝度積算部をさらに含み、上記輝度差算出部は、上記各ブロックを単位として上記第１および上記第２の輝度差を算出してもよい。これにより、輝度差の取得のための演算量が抑制される。

上記ブロック輝度算出部は、上記複数のブロックのうちの一部である複数の抽出ブロックについて上記輝度積算値を取得し、上記フリッカ検出部は、上記抽出ブロックのうちの少なくとも２つのブロックについて上記第１の輝度差が上記第１の閾値以上である場合に、上記第１の周波数のフリッカが発生していると判定し、上記抽出ブロックのうちの少なくとも２つのブロックについて上記第２の輝度差が上記第２の閾値以上である場合に、上記第２の周波数のフリッカが発生していると判定してもよい。これにより、１つのブロックの輝度積算値が特異値を示したことによるフリッカの誤検出を防止することができる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子が取得する画像のフレームレートを、相異なる第１または第２のフレームレートのいずれかに設定するステップと、上記撮像素子によって上記第１のフレームレートで連続して取得された第１の画像群のうちの２つの画像間の輝度差である第１の輝度差と、上記撮像素子によって上記第２のフレームレートで連続して取得された第２の画像群のうちの２つの画像間の輝度差である第２の輝度差とを算出するステップと、上記第１および上記第２の輝度差を、第１および第２の閾値とそれぞれ比較することによって、相異なる第１および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定するステップとを含むことを特徴とする撮像方法が提供される。

以上説明したように本発明によれば、演算量の増加と画質の劣化とを抑制しつつ、精度よくフリッカを検出することができる。

交流電源の電圧変化の例を示す図である。 光源の照度変化の例を示す図である。 面フリッカの例を示す図である。 ラインフリッカの例を示す図である。 面フリッカの発生原因について説明するための図である。 ラインフリッカの発生原因について説明するための図である。 面フリッカが発生しない場合について説明するための図である。 ラインフリッカが発生しない場合について説明するための図である。 面フリッカを検出する関連技術の例を示す図である。 ラインフリッカを検出する関連技術の例を示す図である。 図１０の例において、ラインフリッカが発生している２つの場合と、ラインフリッカが発生していない場合とを示す図である。 本発明の一実施形態に係る撮像装置の機能構成を示すブロック図である。 本発明の一実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の一実施形態におけるブロック分割と抽出ブロックの例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（１．フリッカの発生原理）
まず、フリッカの発生原理について説明する。上述のように、フリッカとは、被写体の照度の周期的な変化である。被写体の照度変化は光源の照度変化によってもたらされ、光源の照度変化は電源の電圧変化によってもたらされる。

図１は、交流電源の電圧変化の例を示す図である。図示されているように、交流電源の電源電圧の変化は、正弦波になる。一般的な交流電源の周波数は５０Ｈｚまたは６０Ｈｚであるため、交流電源の電源電圧の変化は、周波数ｆ＝５０Ｈｚの正弦波、または周波数ｆ＝６０Ｈｚの正弦波になる。なお、図示された例は周波数ｆ＝５０Ｈｚの場合である。

図２は、光源の照度変化の例を示す図である。交流電源を供給される光源の照度は、交流電源の周波数の２倍の周波数で周期的に変化する。上述のように、一般的な交流電源の周波数は５０Ｈｚまたは６０Ｈｚであるため、光源の照度の周波数はその２倍で、周波数ｆ＝１００Ｈｚ、または周波数ｆ＝１２０Ｈｚになる。なお、図示された例は周波数ｆ＝１００Ｈｚで光源の照度が変化する場合である。

フリッカの原因になるのは、図２の例のように、照度が周期的に変化する光源である。以下、このような光源を、フリッカ光源ともいう。被写体の照度は、フリッカ光源の照度とともに周期的に変化するため、フリッカ周波数は、フリッカ光源の照度変化の周波数と同一になるため、光源の電源に一般的な交流電源が用いられる場合、フリッカ周波数は１００Ｈｚまたは１２０Ｈｚになる。以下、周波数が１００Ｈｚのフリッカを１００Ｈｚフリッカ、周波数が１２０Ｈｚのフリッカを１２０Ｈｚフリッカともいう。

ここで、表１を参照して、フリッカによって画像に発生するフリッカノイズの種類について説明する。表１は、フリッカノイズの種類ごとに、フリッカノイズが発生しうる撮像素子の種類（ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ）、およびフリッカノイズの概要を示す表である。

図３は、面フリッカの例を示す図である。図示されているように、撮像素子がＣＣＤである場合に面フリッカが発生すると、時系列で連続したフレームの平均輝度が周期的に変化する。

図４は、ラインフリッカの例を示す図である。図示されているように、撮像素子がＣＭＯＳである場合にラインフリッカが発生すると、画像の輝度が垂直方向に変化するため、水平方向の縞模様が現れる。

続いて、それぞれの種類のフリッカノイズについて、発生原因を説明する。

図５は、面フリッカの発生原因について説明するための図である。面フリッカは、各フレームの撮影時における被写体の照度の位相が異なることが原因となって発生する。被写体の照度が周期的に変化する場合、矢印で図示されている各フレームの露光時間の範囲における照度の位相変化はそれぞれ異なる。従って、後述する特殊なケースを除き、露光量、すなわち露光時間中の照度積分値は、各フレームで異なる。結果として、各フレームの平均輝度が周期的に変化し、面フリッカが発生する。

図６は、ラインフリッカの発生原因について説明するための図である。ラインフリッカは、撮像素子がローリングシャッタ方式のＣＭＯＳである場合に、走査ラインごとに露光のタイミングが異なることが原因となって発生する。被写体の照度が周期的に変化する場合、ローリングシャッタ方式で順次露光される各走査ラインの露光時間の範囲における照度の位相変化はそれぞれ異なる。従って、後述する特殊なケースを除き、露光時間中の照度積分値は、各走査ラインで異なる。結果として、各走査ラインの輝度が周期的に変化し、画像にラインフリッカが発生する。図示された例では、ライン０とラインｎとの間で露光時間中の照度積分値が異なることが示されている。

続いて、それぞれの種類のフリッカノイズが発生しない場合について説明する。

図７は、面フリッカが発生しない場合について説明するための図である。図示された例１〜例３のように、動画撮影のフレーム間隔が、被写体の照度変化の周期の自然数倍である場合、面フリッカは発生しない。この場合、各フレームの露光時間の範囲における照度の位相変化は、どのフレームでも同じになる。従って、露光時間中の照度積分値は、各フレームで一致する。結果として、面フリッカは発生しない。しかし、この場合でも、ラインフリッカは発生しうる。なお、フレーム間隔が被写体の照度変化の周期の自然数倍である場合、フレーム間隔の逆数であるフレームレートは、被写体の照度変化の周期の逆数である周波数の１／ｎ（ｎは自然数）になる。以下、このような場合を「フレームレートがフリッカ周波数に同期している場合」ともいう。

図８は、ラインフリッカが発生しない場合について説明するための図である。図示された例のように、露光時間が被写体の照度変化の周期の自然数倍である場合、ラインフリッカは発生しない。この場合、各走査ラインの露光時間の範囲における照度の位相変化はそれぞれ異なるが、露光時間中の照度積分値は、各走査ラインで一致する。結果として、ラインフリッカは発生しない。また、この場合、複数のフレーム間でも同様に露光時間の範囲における照度積分値が一致するため、面フリッカも発生しない。なお、露光時間が被写体の照度変化の周期の自然数倍であることを、「露光時間がフリッカの周期に同期している」ともいう。

（２．関連技術の説明）
次に、フリッカを検出するための関連技術について説明する。ここで説明する関連技術では、複数のフレームの画像を用いてフリッカの発生が検出される。

図９は、面フリッカを検出する関連技術の例を示す図である。面フリッカを検出する関連技術では、複数のフレームにおける画像全体、または特徴部分の平均輝度を周波数解析することによって、フリッカ周波数が推定される。図示された例では、まず、各フレームの画像が所定のサイズの統計ブロックに分割される。次に、各フレームの統計ブロックの中で、複数の特定ブロック（特徴部分）が設定される。次に、各特定ブロックについて、時系列で連続した複数フレームでの輝度データが取得される。取得された各特定ブロックにおける複数フレームの間での輝度変化は、例えば高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）によって周波数解析される。これによって、フリッカ周波数を示すパワースペクトルが得られ、面フリッカの有無と、フリッカ周波数が特定される。

しかし、複数フレームの間での輝度変化を周波数解析するためには、比較的多くのフレームを解析することが必要になる。例えば、図示された例のようにＦＦＴによって解析する場合、１６フレーム以上の解析が必要になる。

また、上記のような方法では、周波数解析自体が複雑な演算処理であるため、処理にかかる演算量が大きくなる。周波数解析に代えて、輝度のピークカウントを用いる方法もあるが、この場合フリッカ検出の制度は低くなる。

図１０は、ラインフリッカを検出する関連技術の例を示す図である。ラインフリッカを検出する関連技術では、露光時間が異なる複数のフレームの画像の輝度差分から、ラインフリッカの有無が推定される。図示された例では、露光時間が１／１００秒のフレーム１と、露光時間が１／９０秒のフレーム２との間の輝度差分が取得される。

ここで、光源の照度は、図２を参照して説明したように周波数ｆ＝１００Ｈｚで周期的に変化するものとする。この場合、露光時間が１／１００秒であるフレーム１では、図８を参照して説明したように、露光時間がフリッカの周期と同期するため、各走査ラインにおける露光時間中の照度積分値が一致し、ラインフリッカが発生しない。

一方、露光時間が１／９０秒であるフレーム２では、露光時間がフリッカの周期とは同期しない。なお、フレーム２の露光時間は、光源の照度が周波数ｆ＝１２０Ｈｚで周期的に変化する場合にも、フリッカの周期とは同期しない。この場合、フレーム２では、各走査ラインの輝度が周期的に変化することによって、画像にラインフリッカが発生する。このようなフレーム１およびフレーム２の間で、垂直方向に連続したブロックについて輝度差分を取得すると、周期的な輝度変化がフリッカ成分として抽出される。

図１１は、図１０の例において、ラインフリッカが発生している２つの場合と、ラインフリッカが発生していない場合とを示す図である。１００Ｈｚフリッカが発生している場合、露光時間が１／１００秒であるフレーム１にはラインフリッカが生じないが、露光時間が１／９０秒であるフレーム２にはラインフリッカが生じる。一方、１２０Ｈｚフリッカが発生している場合、フレーム１およびフレーム２の両方にラインフリッカが生じる。

上記の例において、１００Ｈｚフリッカが発生している場合、垂直方向に連続したブロックの輝度が、フレーム２では周期的に変化し、フレーム１ではほぼ変化しない。それゆえ、フレーム１とフレーム２との間の輝度差分は、フレーム２に発生しているフリッカ成分の振幅に対応して変動する、偏差が比較的大きい値になる。一方、フリッカが発生していない場合、垂直方向に連続したブロックの輝度が、フレーム１でもフレーム２でもほぼ変化しない。それゆえ、フレーム１とフレーム２との間の輝度差分は、ほぼ変動せず、偏差が０に近い値になる。この２つの場合については、フリッカの有無は、フレーム間の輝度差分の偏差を、例えば０よりも少し大きい値など所定の閾値と比較することによって容易に判定されうる。

しかし、１２０Ｈｚフリッカが発生している場合、垂直方向に連続したブロックの輝度が、フレーム１およびフレーム２の両方で、それぞれ異なる周波数で変化する。それゆえ、フレーム１とフレーム２との間の輝度差分は、それぞれのフレームにおける輝度差分の変化が重畳された振幅の小さいフリッカ成分に対応して変動する、偏差が比較的小さい値になる。この場合、フリッカの有無を、フレーム間の輝度差分の偏差を所定の閾値と比較することによって判定しようとすると、例えば１２０Ｈｚフリッカが発生している場合の比較的小さい偏差と０との間に閾値を設定する必要があり、１００Ｈｚフリッカしか発生しない場合に比べて、適切な閾値の設定が困難である。

これに対して、フリッカ周波数が１００Ｈｚである場合と１２０Ｈｚである場合の両方に同期しうる露光時間、例えば１／２０秒を用いるフレームを設定することも考えられる。しかし、このような露光時間は、一般的なフレームレート、例えば３０ｆｐｓでは適用されない。それゆえ、上記の例において、照度変化の周波数が１００Ｈｚである場合と１２０Ｈｚである場合の両方に対応するためには、上記の２フレームによる処理を２つ組み合わせて、例えば露光時間が１／１００秒、１／９０秒、１／１２０秒、１／９０秒のように変化する４つのフレームを用いてフリッカを検出することになる。

複数のフレームの間で露光時間を変化させる場合、露光時間の変化を補償するために、感度を変化させる。しかし、感度の変化は、画質を劣化させる場合がある。そこで、フリッカ検出のために露光時間を変化させたフレームを表示に使用しないことによって、この画質の劣化を防ぐことも考えられる。しかし、例えば上述のように２つの照度変化の周波数に対応して４つのフレームでフリッカを検出する場合、４フレームごとに１フレームしか表示されないことになり、フレームレートが３０ｆｐｓであれば１／３０秒×４フレーム≒１３３ミリ秒の時間のフレーム落ちが発生する。

（３．撮像装置の構成）
次に、本発明の一実施形態に係る撮像装置の構成について説明する。本実施形態に係る撮像装置は、例えばビデオカメラである。また、撮像装置は、動画を撮影可能なコンパクトデジタルカメラなど、撮像機能を有する他の装置であってもよい。本実施形態に係る撮像装置は、撮像装置が取得する画像のフレームレートを、フリッカ周波数に同期する第１または第２のフレームレートのいずれかに設定することによって、上記の関連技術に見られるようなフリッカ検出のための演算量の増加および画質の劣化を抑制する。

図１２は、本発明の一実施形態に係る撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、撮像素子１０１、アナログ処理部１０２、信号処理部１０３、タイミングジェネレータ１０４、フレームレート制御部１０５、ブロック輝度積算部１０６、記憶メモリ１０７、輝度差算出部１０８、およびフリッカ検出部１０９を含む。撮像素子１０１以外の各構成要素は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いて実現される他、専用のハードウェアを用いて実現されてもよく、またＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶装置に格納されたプログラムに基づいて動作することによってソフトウェアとして実現されてもよい。

撮像素子（イメージセンサ）１０１は、図示しないレンズ等の光学系から入射された光学像（被写体像）を光電変換して生じた画像信号をアナログ処理部１０２に出力することによって、画像を取得する。撮像素子１０１は、例えばＣＭＯＳまたはＣＣＤでありうる。

アナログ処理部１０２は、撮像素子１０１から入力された画像信号を処理し、ＲＡＷデータを信号処理部１０３およびブロック輝度積算部１０６に出力する。アナログ処理部１０２は、例えば、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路によって、電気信号に含まれる低周波ノイズを除去し、増幅器（ａｍｐｌｉｆｉｅｒ）によって電気信号を任意のレベルまで増幅する。

信号処理部１０３は、アナログ処理部１０２から入力されたＲＡＷデータをアナログ／デジタル変換し、Ｒ、Ｇ、Ｂの画像信号を含むデジタル画像信号を取得する。信号処理部１０３は、取得された画像信号を、撮像装置１００における撮像画像の保存または表示のために出力する。

タイミングジェネレータ１０４は、フレームレート制御部１０５によって制御され、撮像素子１０１を駆動するための各種パルスを生成して撮像素子１０１に供給する。例えば、撮像素子１０１の撮影感覚、つまり撮像素子１０１が出力する画像信号のフレームレートは、タイミングジェネレータ１０４から供給されるパルスによって決定される。

フレームレート制御部１０５は、タイミングジェネレータ１０４を制御することによって、撮像素子１０１が取得する画像のフレームレートを設定する。フレームレート制御部１０５は、フレームごとに異なるフレームレートを設定することが可能である。フレームレート制御部１０５は、撮像素子１０１が取得する画像のフレームレートを第１のフレームレートまたは第２のフレームレートのいずれかに設定する。

ブロック輝度積算部１０６は、アナログ処理部１０２から入力されたＲＡＷデータを用いて、画像を分割した複数のブロックのそれぞれにおける輝度積算値を取得して記憶メモリ１０７に出力する。

記憶メモリ１０７は、ブロック輝度積算部１０６から入力された画像の各ブロックの輝度積算値を保存する。

輝度差算出部１０８は、記憶メモリ１０７に保持されている２つの画像の各ブロックの輝度積算値から輝度差を算出してフリッカ検出部１０９に出力する。輝度差算出部１０８は、撮像素子１０１によって第１のフレームレートで連続して取得された第１の画像群と、撮像素子１０１によって第２のフレームレートで連続して取得された第２の画像群とについて、そのうちの２つの画像間の輝度差をそれぞれ第１の輝度差および第２の輝度差として算出し、フリッカ検出部１０９に出力する。

フリッカ検出部１０９は、輝度差算出部１０８から入力された輝度差に基づいて、フリッカが発生しているか否かを判定する。フリッカ検出部１０９は、第１の輝度差および第２の輝度差を、第１の閾値および第２の閾値とそれぞれ比較することによって、相異なる第１の周波数および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定する。本実施形態において、第１の周波数は１００Ｈｚであり、第２の周波数は１２０Ｈｚである。また、フリッカ検出部１０９は、フリッカ再検出をする場合などに、フレームレート制御部１０５にフレームレートの指示を出力してもよい。

（４．撮像装置の動作）
次に、本発明の一実施形態に係る撮像装置の動作について説明する。

図１３は、本発明の一実施形態に係る撮像装置１００の動作を示すフローチャートである。図１３では、撮像装置１００が４フレームの画像を撮影し、撮影された画像からフリッカを検出する処理が示されている。なお、通常撮影時において、撮像装置１００のフレームレートは３０ｆｐｓである。

まず、２フレームの画像を撮影し、撮影された画像から１００Ｈｚフリッカを検出するための処理が実行される。フレームレート制御部１０５が、フレームレートを３０ｆｐｓに設定する（ステップＳ１０１）。３０ｆｐｓは、１２０Ｈｚフリッカの周波数に同期するフレームレートである。なお、フリッカ周波数をｆ（Ｈｚ）、ｎを自然数とすると、フリッカ周波数に同期するフレームレートＦＲ（ｆｐｓ）は式１のように求められる。

・・・（式１）

ここで、上述のように撮像装置１００の通常撮影時のフレームレートは３０ｆｐｓである。１２０Ｈｚフリッカの周期に同期するフレームレートのうち、通常撮影時のフレームレートに最も近いフレームレートを求めると、式１において周波数ｆ＝１２０Ｈｚ、ｎ＝４の場合で、ＦＲ＝３０ｆｐｓになる。なお、撮像装置１００が通常撮影からステップＳ１０１の処理に移行する場合、通常撮影時のフレームレートが既に３０ｆｐｓであるため、ステップ１０１では処理を実行しなくてもよい。

上記のようにフレームレートを３０ｆｐｓに設定することによって、フリッカ周波数がフレームレートに同期しない１００Ｈｚフリッカの発生が検出される。なお、図８を参照して説明したように、電荷蓄積時間がフリッカ周期の整数倍である場合、周波数にかかわらずフリッカノイズが発生せず、フリッカの発生が検出されない。それゆえ、この場合の電荷蓄積時間ｔ_ｅ（秒）は、フリッカ周波数をｆ（Ｈｚ）、ｎを自然数として、式２を満たすように設定される。ここでは、周波数ｆ＝１００Ｈｚである。

・・・（式２）

次に、ブロック輝度積算部１０６が、ブロック輝度積算値を取得し、記憶メモリ１０７に保存する（ステップＳ１０３）。ここで、図１４を参照して、ステップＳ１０３におけるブロック輝度積算値の取得についてさらに説明する。

図１４は、本発明の一実施形態におけるブロック分割と抽出ブロックの例を示す図である。図１４を参照すると、ブロック輝度積算部１０６は、例えば、画像を縦１６×横１６の計２５６のブロックに分割し、各ブロックにおけるブロック輝度積算値を取得する。ここで、ブロック輝度積算部１０６は、記憶メモリの容量および演算量を削減するために、２５６のブロックのうちの一部のブロックを抽出し、抽出されたブロック（抽出ブロック）における輝度積算値をブロック輝度積算値として取得して記憶メモリ１０７に格納してもよい。図示された例では、１〜５の番号が付された５つのブロックが抽出ブロックである。なお、輝度積算部１０６は、抽出ブロックを設定せずに、すべてのブロックについてブロック輝度積算値を取得して記憶メモリ１０７に格納してもよい。また、輝度積算部１０６は、図示された例のように固定された位置に抽出ブロックを設定するのではなく、画像の処理上の特徴点となるブロックを抽出ブロックに設定してもよい。

再び図１３を参照して、次に、ブロック輝度積算部１０６によって２フレーム分のブロック輝度積算値が取得されて記憶メモリ１０７に保存された場合（ステップＳ１０５）、輝度差算出部１０８がフレーム間の輝度差を算出する（ステップＳ１０７）。一方、ステップＳ１０５において、取得および保存されたブロック輝度積算値が２フレーム分に満たない場合、次のフレームで再びブロック輝度積算値の取得および保存が実行される（ステップＳ１０３）。

ここで、輝度差算出部１０８は、２つのフレームのブロック輝度積算値Ｓ_１，Ｓ_２から、式３に従って、ブロックごとのフレーム間輝度差指標値Ｄ_ｂを算出する。なお、ｂは、抽出ブロックのインデックスであり、例えば図１４の例では、各抽出ブロックに付された１〜５の番号に対応する。フレーム間輝度差指標値Ｄ_ｂは、値が大きいほど、フリッカの影響によるフレーム間の輝度変化が大きいことを示す。

・・・（式３）

次に、残りの２フレームの画像を撮影し、撮影された画像から１２０Ｈｚフリッカを検出するための処理が実行される。フレームレート制御部１０５が、フレームレートを２５ｆｐｓに設定する（ステップＳ１０９）。２５ｆｐｓは、１００Ｈｚフリッカの周波数に同期するフレームレートである。上述のように、撮像装置１００の通常撮影時のフレームレートは３０ｆｐｓである。１００Ｈｚフリッカの周波数に同期するフレームレートのうち、通常撮影時のフレームレートに最も近いフレームレートを求めると、式１において周波数ｆ＝１００Ｈｚ、ｎ＝４の場合で、ＦＲ＝２５ｆｐｓになる。

上記のようにフレームレートを２５ｆｐｓに設定することによって、フリッカ周波数がフレームレートに同期しない１２０Ｈｚフリッカの発生が検出される。１００Ｈｚフリッカを検出する場合と同様に、電荷蓄積時間ｔ_ｅ（秒）は、式２を満たすように設定される。ここでは、式２の周波数ｆ＝１２０Ｈｚである。

以下、１００Ｈｚフリッカを検出する場合と同様に、ブロック輝度積算部１０６が、ブロック輝度積算値を取得して記憶メモリ１０７に格納し（ステップＳ１１１）、２フレーム分のブロック輝度積算値が取得されて記憶メモリ１０７に格納された場合（ステップＳ１１３）、輝度差算出部１０８がフレーム間の輝度差を算出する（ステップＳ１１５）。

続いて、フリッカ検出部１０９が、フレーム間輝度差指標値Ｄ_ｂを閾値と比較することによって、フリッカの有無を判定する（ステップＳ１１７）。フリッカが発生している場合にフレーム間輝度差指標値Ｄ_ｂが満たす条件は、閾値Ｔｈｒｅｓｈｏｌｄを用いて式４のように表される。閾値Ｔｈｒｅｓｈｏｌｄは、明るさなどに応じて調整された設計値である。

・・・（式４）

上記の式４を用いて、ステップＳ１０７で算出された、１００Ｈｚフリッカを検出するためのフレーム間輝度差指標値Ｄ_ｂと、ステップＳ１１５で算出された、１２０Ｈｚフリッカを検出するためのフレーム間輝度差指標値Ｄ_ｂとのそれぞれついて、フリッカの有無を判定する。閾値Ｔｈｒｅｓｈｏｌｄは、１００Ｈｚフリッカを検出するためのフレーム間輝度差指標値Ｄ_ｂと比較される第１の閾値と、１２０Ｈｚフリッカを検出するためのフレーム間輝度差指標値Ｄ_ｂと比較される第２の閾値とでありうる。第１の閾値と第２の閾値とは、相異なる値であってもよいし、同一の値であってもよい。

式４が満たされる、つまりフレーム間の輝度差が有意である場合、画像にフリッカノイズが発生していると判定される。ここで、フレームレートがフリッカ周波数に同期している場合、フリッカノイズは検出されない。従って、ステップＳ１０７において、１２０Ｈｚフリッカの周波数に同期する３０ｆｐｓのフレームレートで算出されたフレーム間輝度差指標値Ｄ_ｂによってフリッカノイズの発生が示される場合、発生しているフリッカは１００Ｈｚフリッカである。同様に、ステップＳ１１５において、１００Ｈｚフリッカの周波数に同期する２５ｆｐｓのフレームレートで算出されたフレーム間輝度差指標値Ｄ_ｂによってフリッカノイズの発生が示される場合、発生しているフリッカは１２０Ｈｚフリッカである。

フリッカ検出部１０９は、誤検出を防止するために、抽出ブロックのうちの少なくとも２つのブロックにおけるフレーム間輝度差指標値Ｄ_ｂが式４を満たす場合に、フリッカノイズが発生していると判定してもよい。また、フリッカ検出部１０９は、抽出ブロックのすべてにおけるフレーム間輝度差指標値Ｄ_ｂが式４を満たす場合に、フリッカノイズが発生していると判定してもよい。例えば図１４の例では、１〜５の番号が付された抽出ブロックのすべてにおいて式４が満たされる場合に、フリッカノイズが発生していると判定されてもよい。

表２において、総合的なフリッカ判定条件の例が示される。ここで、Ｄ≧Ｔｈｒｅｓｈｏｌｄという表記は、すべての抽出ブロックにおいて式４が満たされることを示す。それ以外の場合は、Ｄ＜Ｔｈｒｅｓｈｏｌｄという表記によって示される。また、それぞれのフリッカ周波数のフリッカを検出するときのフレーム間輝度差指標値が、それぞれＤ_{１００Ｈｚ}、Ｄ_{１２０Ｈｚ}として示される。

次に、フレームレート制御部１０５が、フレームレートをステップＳ１０１の処理の前のフレームレートに戻す（ステップＳ１１９）。撮像装置１００が通常撮影からステップＳ１０１の処理に移行した場合、フレームレート制御部１０５はフレームレートを３０ｆｐｓに戻す。

（５．補足）
なお、本実施形態においては、フリッカ周波数が１００Ｈｚまたは１２０Ｈｚであることを前提にしている。しかし、図２を参照して説明したように、フリッカ周波数は光源に供給される交流電源の周波数に依存する。従って、供給される交流電源の周波数が５０Ｈｚまたは６０Ｈｚからずれている地域では、フリッカ周波数は１００Ｈｚおよび１２０Ｈｚとは異なる値になる。

例えば、交流電源の周波数のずれによって、本来１００Ｈｚのフリッカ周波数が、１％ずれて１０１Ｈｚになった場合を考える。この場合、１００Ｈｚフリッカの周期に同期するフレームレートで撮影した画像には、最大で３．１４％の輝度変動が生じうる（なお、期待値は０である）。しかし、１２０Ｈｚフリッカの周期に同期するフレームレートで撮影した場合に１０１Ｈｚフリッカによって生じるフレーム間輝度変動（フリッカノイズ）の最低値は１３．４％である。それゆえ、１０１Ｈｚフリッカが発生している場合、例えば２５ｆｐｓで撮影した画像に生じうる輝度変動は最大３．１４％であるのに対して、３０ｆｐｓで撮影した画像には少なくとも１３．４％の輝度変動が生じることになる。従って、交流電源の周波数が１％程度ずれていたとしても、本実施形態に係る撮像装置１００を用いたフリッカノイズの検出は可能である。

また、上記の例において検出されるフリッカ周波数は、実際は１０１Ｈｚであっても１００Ｈｚとして検出される。それゆえ、この検出結果に従ってフリッカ抑制の処理を実行すると、最大で３．１４％の輝度変動が残ってしまう。しかし、３．１４％の輝度変動は、露出値Ｅｖに換算すると約０．０４５Ｅｖであり、人間の目ではほとんど認識されない。

以上で説明した本実施形態に係る撮像装置１００では、周波数解析などの複雑な演算をすることなく、簡単な構成で高精度にフリッカ周波数を検出することができる。また、電荷蓄積時間を変化させなくてもよいため、画質を劣化させることなくフリッカを検出することができる。フレームレートを３０ｆｐｓから２５ｆｐｓに変化させたことによるフレームの遅延は、１フレームあたり１／２５−１／３０≒６．６７（ミリ秒）の遅れになり、２フレームでは１３．３（ミリ秒）の遅れになる。かかる遅れは、関連技術として説明した、フリッカ検出のためにフレームごとに露光時間を変化させる例において、フレームレート３０ｆｐｓで４フレームごとに１フレームを表示した場合のフレーム落ち時間１３３ミリ秒の１／１０である。この程度の時間の遅延は、人間の目ではほとんど認識されない。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態では、第１のフレームレートで連続して撮影される第１の画像群と、第２のフレームレートで撮影される第２の画像群とは、それぞれ２フレームの画像としたが、本発明はかかる例に限定されない。例えば、それぞれの画像群は３フレーム以上の画像からなり、その中から２フレームの画像が抽出されてもよい。

１００ 撮像装置
１０１ 撮像素子
１０２ アナログ処理部
１０５ フレームレート制御部
１０６ ブロック輝度積算部
１０７ 記憶メモリ
１０８ 輝度差算出部
１０９ フリッカ検出部

Claims (5)

1. 撮像素子が取得する画像のフレームレートを、相異なる第１または第２のフレームレートのいずれかに設定するフレームレート制御部と、
   前記撮像素子によって前記第１のフレームレートで連続して取得された第１の画像群のうちの２つの画像間の輝度差である第１の輝度差と、前記撮像素子によって前記第２のフレームレートで連続して取得された第２の画像群のうちの２つの画像間の輝度差である第２の輝度差とを算出する輝度差算出部と、
   前記第１および前記第２の輝度差を、第１および第２の閾値とそれぞれ比較することによって、相異なる第１および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定するフリッカ検出部と、
   を備えることを特徴とする撮像装置。
2. 前記第１のフレームレートは、前記第１の周波数の１／ｎ（ｎは自然数）であり、
   前記第２のフレームレートは、前記第２の周波数の１／ｍ（ｍは自然数）であり、
   前記フリッカ検出部は、前記第１の輝度差が前記第１の閾値以上である場合に、第１の周波数のフリッカが発生していると判定し、前記第２の輝度差が第２の閾値以上である場合に、第２の周波数のフリッカが発生していると判定することを特徴とする、請求項１に記載の撮像装置。
3. 前記第１および前記第２の画像群について、各画像を分割した複数のブロックのうちの少なくとも一部のブロックにおける輝度積算値を取得するブロック輝度積算部をさらに備え、
   前記輝度差算出部は、前記各ブロックを単位として前記第１および前記第２の輝度差を算出することを特徴とする、請求項１に記載の撮像装置。
4. 前記ブロック輝度算出部は、前記複数のブロックのうちの一部である複数の抽出ブロックについて前記輝度積算値を取得し、
   前記フリッカ検出部は、前記抽出ブロックのうちの少なくとも２つのブロックについて前記第１の輝度差が前記第１の閾値以上である場合に、前記第１の周波数のフリッカが発生していると判定し、前記抽出ブロックのうちの少なくとも２つのブロックについて前記第２の輝度差が前記第２の閾値以上である場合に、前記第２の周波数のフリッカが発生していると判定することを特徴とする、請求項３に記載の撮像装置。
5. 撮像素子が取得する画像のフレームレートを、相異なる第１または第２のフレームレートのいずれかに設定するステップと、
   前記撮像素子によって前記第１のフレームレートで連続して取得された第１の画像群のうちの２つの画像間の輝度差である第１の輝度差と、前記撮像素子によって前記第２のフレームレートで連続して取得された第２の画像群のうちの２つの画像間の輝度差である第２の輝度差とを算出するステップと、
   前記第１および前記第２の輝度差を、第１および第２の閾値とそれぞれ比較することによって、相異なる第１および第２の周波数のフリッカのうちのどちらが発生しているか、またはどちらも発生していないかを判定するステップと、
   を含むことを特徴とする撮像方法。