JP2014232972A - 撮像装置およびフリッカ検出方法、ならびに情報処理装置 - Google Patents

Abstract

【課題】フリッカの検出精度を高めること。
【解決手段】光を電気信号に変換して出力する撮像素子と、前記撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部とを備える。
【選択図】図１

Description

本開示は、電子シャッタ機能を有する撮像装置および、そのような撮像装置におけるフリッカ検出方法、ならびにそのような撮像装置に適用可能な情報処理装置に関する。

ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を備える撮像装置において、電子シャッタの方式としては、グローバルシャッタ方式とローリングシャッタ方式とが知られている。グローバルシャッタ方式では、全ての画素に同時に電子シャッタ動作を行う。このため、グローバルシャッタ方式では露光のタイミングが全画素で同じである。ローリングシャッタ方式では、例えば１水平ラインずつ電子シャッタ動作を行う。このため、ローリングシャッタ方式では、露光のタイミングが例えば１水平ラインずつ、シフトした状態となる。

一方、上記のような撮像装置において、例えば蛍光灯のような交流電源による光源下で動画撮影を行うと、交流電源の周波数と電子シャッタのシャッタ速度との関係によっては、光源の周期的な輝度変化に起因するフリッカが発生することがある。特に、ローリングシャッタ方式で動画撮影を行うと、例えば１水平ラインずつ露光のタイミングがずれているため、特定のラインに周期的にフリッカ成分が現れて、横縞が発生する。そこで、このようなフリッカ成分を検出する方法が提案されている（特許文献１，２参照）。

特開平０８−２９８６４号公報 特開２００４−７４０２号公報

しかしながら、特許文献１に記載の撮像装置では、撮影用に最適なフォーカス調整がなされている状態でフリッカ検出を行う。このため、特にローリングシャッタ方式で動画撮影を行うと、例えば背景に縞模様がある状況で撮像装置をチルトするとフリッカの誤認識が発生する場合がある。また、交流電源の周波数（６０Ｈｚまたは５０Ｈｚ）に起因するフリッカ成分を検出することに特化しているため、近年増えてきているＬＥＤ（Light Emitting Diode）などの高周波光源に起因する高周波のフリッカ成分を検出することが困難である。

特許文献２に記載の撮像装置では、ピンボケとなるようにフォーカス調整をした状態でフリッカ検出を行うことで、背景に起因するフリッカの誤認識を抑制する方法が提案されている。しかしながら、特許文献２に記載の撮像装置においても、ＬＥＤなどの高周波光源に起因する高周波のフリッカ成分を検出することは困難である。

本開示の目的は、フリッカの検出精度を高めることができる撮像装置およびフリッカ検出方法、ならびに情報処理装置を提供することにある。

本開示による撮像装置は、光を電気信号に変換して出力する撮像素子と、撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部とを備えたものである。

本開示によるフリッカ検出方法は、撮像素子における露光期間を電子シャッタにより可変制御し、電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の撮像素子の出力信号の変化に基づいて、フリッカを検出するようにしたものである。
本開示による情報処理装置は、撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部とを備えたものである。

本開示による撮像装置、フリッカ検出方法、または情報処理装置では、電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の撮像素子の出力信号の変化に基づいて、フリッカが検出される。

本開示の撮像装置、フリッカ検出方法、または情報処理装置によれば、電子シャッタの速度を高速から低速へと変化させていくことによってフリッカを検出するようにしたので、フリッカの検出精度を高めることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の一実施の形態に係る撮像装置の一構成例を示すブロック図である。 撮像装置におけるフリッカ検出の動作の一例を示す流れ図である。 グローバルシャッタ方式の電子シャッタの概念を示す説明図である。 ローリングシャッタ方式の電子シャッタの概念を示す説明図である。 フリッカによる横縞がある場合の画像の一例を示す説明図である。 横縞模様の背景成分がある場合の画像の一例を示す説明図である。 フリッカを検出する領域の一例を示す説明図である。 フリッカによる横縞とフリッカを検出する領域との関係の一例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．フリッカ検出の動作
３．撮像装置の効果
４．その他の実施の形態

［１．撮像装置の構成］
図１は、本開示の一実施の形態に係る撮像装置の一構成例を示している。この撮像装置は、撮像レンズ１と、撮像素子２と、撮像回路３と、検波回路４と、信号処理回路５と、ＴＧ（タイミングジェネレータ）回路６と、記録系７と、表示系８とを備えている。表示系８は、ＬＣＤ（Liquid Crystal Display）８１と、ＥＶＦ（Electronic View Finder）８２とを有している。この撮像装置はまた、ＥＶＦ検知部９と、露出演算制御回路１０と、フリッカ検出制御回路１１と、焦点演算制御回路１２と、ＷＢ（ホワイトバランス）演算制御回路１３と、操作部１４と、制御部２０とを備えている。操作部１４は、モード切替部２５を有している。制御部２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２４とを有している。この撮像装置はまた、手ぶれ等を検出するぶれ検出部を備えていても良い。ぶれ検出部はジャイロセンサを有していてもよい。

撮像レンズ１は、撮像素子２で撮像する被写体の光学像を形成する撮像光学系である。撮像レンズ１は、フォーカス調整が可能な光学系となっている。焦点演算制御回路１２は、撮像レンズ１におけるフォーカス調整を制御するようになっている。撮像レンズ１はまた、手ぶれ等を抑制する防振光学系を有し、図示しないぶれ検出部によって手ぶれ等が検出されたときに防振光学系によって手ぶれ等を抑制するようにしても良い。

撮像素子２は、撮像レンズ１によって撮像面に形成された光学像に応じた電気信号を出力するものであり、ＣＭＯＳやＣＣＤ（Charge Coupled Device）などの固体撮像素子で構成されている。撮像素子２には、光を電気信号に変換して出力する光電変換素子を含む画素が、２次元的に複数配列されている。

撮像回路３は、撮像素子２からの出力信号に各種の信号処理を施してデジタルの画像信号を生成するものである。検波回路４は、画像信号の信号値を検出するためのものである。信号処理回路５は、各種の信号処理を施して、画像信号を記録系７に記録するのに適した画像データに変換して出力するものである。信号処理回路５はまた、各種の信号処理を施して、画像信号を表示系８に表示するのに適した画像データに変換して出力する。ＷＢ演算制御回路１３は、画像信号のホワイトバランスを調整するものである。

記録系７は、撮影することによって得られた画像データを各種の記録媒体に記録するものである。ＬＣＤ８１は、この撮像装置の操作メニュー等を表示したり、記録系７に記録された画像データを再生モードにおいて再生表示するものである。ＬＣＤ８１はまた、ライブビューモードにおいて、撮影中の画像をライブ表示する。

ＥＶＦ８２は、撮影中の画像を使用者が確認するためのファインダである。ＥＶＦ検知部９は、ＥＶＦ８２の使用状態を検知するセンサを含んでいる。例えば、使用者がＥＶＦ８２を覗いているか否かを検知するセンサを含んでいる。

ＴＧ回路６は、制御部２０および露出演算制御回路１０からの指示に従い、撮像素子１２における撮像タイミングを制御するものである。

露出演算制御回路１０は、撮影時の露光量および露光タイミングを制御するものである。露出演算制御回路１０は、検波回路４およびフリッカ検出制御回路１１によるフリッカの検出結果に基づいて、ＴＧ回路６を制御し、撮像素子２における露光期間を電子シャッタにより可変制御するようになっている。特に、露出演算制御回路１０は、後述のフリッカ検出の動作を行う場合には、電子シャッタの速度を所定の速度範囲内で最高速から所定の速度ステップで低い方向へと可変制御する。

操作部１４は、レリーズボタンや各種の操作ダイヤルなどを含み、使用者による操作内容に応じて制御部２０に各種の操作信号を与えるものである。操作部１４による操作内容として、フリッカ検出を指示する操作が含まれていても良い。モード切替部２５は、例えば動画撮影モードと静止画撮影モードとの切り替えを指示するものである。

制御部２０は、この撮像装置の各部の統括的な制御を行うものである。ＣＰＵ２１は、ＲＯＭ２２にあらかじめ格納された制御プログラムを実行することにより、各部の統括的な制御を行うようになっている。ＲＡＭ２３は、各種のデータを一時的に記憶するものである。ＥＥＰＲＯＭ２４は、書き換え可能な不揮発性メモリであり、例えば各種の設定情報などを格納するものである。

［２．フリッカ検出の動作］
この撮像装置では、撮像素子２における露光期間を電子シャッタにより可変制御することが可能となっている。フリッカ検出時の動作を説明する前に、電子シャッタの種類と、電子シャッタ動作に伴って発生するフリッカの概要とを説明する。

図３は、動画撮影時におけるグローバルシャッタ方式の電子シャッタの概念を示している。図４は、動画撮影時におけるローリングシャッタ方式の電子シャッタの概念を示している。図３および図４において、横方向は時間、縦方向は撮影画像の垂直方向の位置を示している。

グローバルシャッタ方式では、撮像素子２における全ての画素に同時に電子シャッタ動作を行う。このため、図３に示したようにグローバルシャッタ方式では露光期間Ｔｅおよび露光のタイミングが全画素で同じである。この場合、光源に起因するフリッカ成分は、撮影画像の全体の輝度の変化として現れる。この場合、フリッカ成分は、例えば画像全体の輝度の平均値の時間変化に基づいて検出することが可能である。

一方、ローリングシャッタ方式では、例えば１水平ラインずつ電子シャッタ動作を行う。このため、図４に示したようにローリングシャッタ方式では、露光期間Ｔｅ自体は各水平ラインで同じであっても、露光のタイミングが例えば１水平ラインずつ、時間的にシフトした状態となる。この場合、例えば図５に示したように、光源に起因するフリッカ成分３１が、特定のラインに周期的に横縞として現れる。この場合、フリッカ成分は、例えば図７および図８に示したように、撮像素子２の出力信号から得られる２次元的な画像における、横方向の複数の検出領域３３の信号値の時間的な変化に基づいて検出することが可能である。

しかしながら、図６に示したように、例えば横縞模様の背景成分３２がある状況では、フリッカ成分３１と背景成分３２との誤認識が発生するおそれがある。そこで、本実施の形態では、フリッカの検出を行うときには、フォーカス制御部としての焦点演算制御回路１２によって、無限遠距離および最至近距離のうち、被写体の光学像が最もぼける方向にフォーカシングを行わせた状態で、フリッカの検出を行う。これにより、背景成分３２による誤認識を抑制する。

図２は、この撮像装置におけるフリッカ検出時の動作の一例を示している。フリッカ検出時の動作には、フリッカ成分の画像を取得する処理（ステップＳ２１）と、フリッカ周波数を同定する処理（ステップＳ２２）とが含まれている。これらの処理は、フリッカ検出開始トリガが生じた場合（ステップＳ１）に行う。制御部２０は、例えば以下のような場合にフリッカ検出開始トリガが生じたと判断して、各部にフリッカ検出時の動作を行わせる。フリッカ検出時の動作には、フォーカスをぼかす処理と電子シャッタの速度を強制的に高速から低速へと変化させる処理とが含まれているため、短時間ではあるが、一時的に出力画像が乱れる。このため、出力画像を見ればフリッカ検出動作を行っていると判断できる。そこで、例えば以下のような場合にのみフリッカ検出を行うことで、実撮影への影響を軽減することができる。なお、ｃ）の撮影モードの遷移時とは、例えば静止画撮影モードから動画撮影モードへの遷移時である。ｄ）の場合は、手ぶれ等がないにも関わらず信号値が大きく変動しているとき、フリッカが生じている可能性が高いと判断してフリッカ検出を行う。ｅ）の再生モード時とは、記録系７に記録された画像データを再生表示するモードである。

ａ）操作部１４を介して、使用者によってフリッカ検出を指示する操作が行われた場合。
ｂ）ＥＶＦ８２が使用されていない場合。例えば、使用者がＥＶＦ８２を覗いていないと判断される場合（ＥＶＦ検知部９によってＥＶＦ８２を覗いていることが検知されない場合）。
ｃ）撮影モードの遷移時。
ｄ）ジャイロセンサが安定状態で、信号値が大きく変動しているとき。
ｅ）再生モード時。

フリッカ検出開始トリガが生じた場合（ステップＳ１）、フォーカス制御部としての焦点演算制御回路１２によって撮像レンズ１を制御し、無限遠距離および最至近距離のうち、被写体の光学像が最もぼける方向にフォーカシングを行わせる。この場合、まず、焦点演算制御回路１２は、現在の被写体のフォーカス位置に基づいて、無限遠距離および最至近距離のうち、被写体の光学像が最もぼける方向を判断する（ステップＳ２）。焦点演算制御回路１２は、無限遠距離の方がぼける方向であると判断した場合（ステップＳ２；Ｙ）には、無限遠距離にフォーカス移動させる（ステップＳ３）。焦点演算制御回路１２は、最至近距離の方がぼける方向であると判断した場合（ステップＳ２；Ｎ）には、最至近距離にフォーカス移動させる（ステップＳ４）。このようにして、図６に示したような背景成分３２をぼかした状態にする。検波回路４およびフリッカ検出制御回路１１は、背景成分３２をぼかした画像から直流成分（ぼけた背景画像）を減算することで、純粋なフリッカ成分と思われる画像を取得する（ステップＳ５）。

次に、露出演算制御回路１０は、ＴＧ回路６を制御し、動作可能な所定の速度範囲内で電子シャッタの速度（ＳＳ）を最高速にする（ステップＳ６）。検波回路４およびフリッカ検出制御回路１１は、電子シャッタの速度（ＳＳ）を変えたときの信号値の変化を随時検出する。例えばローリングシャッタ方式では、例えば図７および図８に示したように設定された検出領域３３における信号値の時間的な変化を随時検出する。露出演算制御回路１０は、ＴＧ回路６を制御し、検出値が時間的に不安定になるまで、電子シャッタの速度（ＳＳ）を所定の速度ステップで遅くしていく（ステップＳ７）。例えば検出値の時間変化が大→小→大と不安定になるまで、遅くしていく。ここで、動作可能な所定の速度範囲内で検出値が時間的にずっと安定している場合（ステップＳ８；Ｙ）には、フリッカ検出制御回路１１は、フリッカは存在しないものと判断する（ステップＳ１２）。

一方、検出値が時間的に不安定になった場合（ステップＳ８；Ｎ）には、露出演算制御回路１０は、ＴＧ回路６を制御し、さらに電子シャッタの速度（ＳＳ）を所定の速度ステップ分、遅くする（ステップＳ９）。このときの電子シャッタの速度（ＳＳ）をＳ［ｍｓ］とする。電子シャッタの速度（ＳＳ）をＳ［ｍｓ］にした場合に、検出値が時間的に安定した場合（ステップＳ１０；Ｙ）には、フリッカ検出制御回路１１は、Ｓ［ｍｓ］を周期とするフリッカが存在すると判断する（ステップＳ１３）。このように特定されたフリッカ周波数に基づいて、電子シャッタの速度（ＳＳ）を設定することで、フリッカレスの動画撮影を行うことができる。

電子シャッタの速度（ＳＳ）をＳ［ｍｓ］にした場合に、検出値が時間的に不安定である場合（ステップＳ１０；Ｎ）において、電子シャッタの速度（ＳＳ）が終了閾値を超えた場合（ステップＳ１１；Ｙ）には、フリッカは存在しないものと判断する（ステップＳ１２）。終了閾値を超えていない場合（ステップＳ１１；Ｎ）には、ステップＳ９の処理に戻る。なお、終了閾値とは、電子シャッタとして動作可能な所定の速度範囲の下限である。

以上のように、電子シャッタの速度を高速から低速へと変えていくことによってフリッカの周波数を特定する理由は、以下のとおりである。
一般的に明るさの違う様々な環境下で適切な露光を行うために、シャッタ速度として取れる範囲は広い方が望ましい。ここで、フリッカを生じさせる電源の周期がＴ［ｓｅｃ］のとき、Ｔ／２［ｓｅｃ］の定数倍（Ｔ／２，Ｔ，３Ｔ／２，２Ｔ，…）は全てフリッカレス（フリッカが消える）となるシャッタ速度に対応する。そのため、Ｔ／２を特定することが重要となる。上述のようにフリッカ周波数を特定する際に、高速から低速へとシャッタ速度を変えていくのは、検出時のシャッタ速度の範囲が十分に広く取れる場合には、最初に見つかるフリッカレスとなるシャッタ速度がＴ／２の露光期間となるためである。

［３．撮像装置の効果］
以上のように、本実施の形態によれば、電子シャッタの速度を高速から低速へと変化させていくことによってフリッカを検出するようにしたので、フリッカの検出精度を高めることができ、例えばＬＥＤなどの高周波光源のフリッカを検出することが可能となる。また、被写体の光学像が最もぼける方向にフォーカシングを行わせた状態で、フリッカの検出を行うようにしたので、横縞などの背景成分に依存しないロバストなフリッカ検出が可能となる。例えば横縞に似た被写体の縦方向への移動や、カメラの縦方向への動きによるフリッカの誤検出を抑制することができる。また、フリッカ検出時の動作を、特定のフリッカ検出開始トリガに基づいて行うようにしたので、使用者の負担が少ないタイミングで、自動でフリッカを検出することができ、フリッカレスの動画撮影を容易に実現することができる。

＜４．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることができる。
（１）
光を電気信号に変換して出力する撮像素子と、
前記撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、
前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部と
を備える撮像装置。
（２）
前記露光制御部は、前記電子シャッタの速度を所定の速度範囲内で可変制御可能であり、
前記フリッカ検出部は、前記電子シャッタの速度を前記所定の速度範囲内で最も高い速度から所定の速度ステップで低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出する
上記（１）に記載の撮像装置。
（３）
前記撮像素子で撮像する被写体の光学像を形成する撮像光学系と、
前記撮像光学系のフォーカス調整を行うフォーカス制御部と
をさらに備え、
前記フリッカ検出部は、前記フォーカス制御部によって無限遠距離および最至近距離のうち、前記被写体の光学像が最もぼける方向にフォーカシングを行わせた状態で、フリッカの検出を行う
上記（１）または（２）に記載の撮像装置。
（４）
前記露光制御部は、ローリングシャッタ方式の電子シャッタによって前記撮像素子における露光期間を可変制御し、
前記フリッカ検出部は、前記撮像素子の出力信号から得られる２次元的な画像における、横方向の複数の領域の信号値の変化に基づいて、フリッカを検出する
上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
電子ビューファインダと、
前記電子ビューファインダの使用状態を検知するファインダ検知部と
をさらに備え、
前記フリッカ検出部は、前記電子ビューファインダが使用されていない場合に、フリッカを検出する
上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
動画撮影モードと静止画撮影モードとを切り替えるモード切替部をさらに備え、
前記フリッカ検出部は、前記動画撮影モードに切り替えられた場合に、フリッカを検出する
上記（１）ないし（５）のいずれか１つに記載の撮像装置。
（７）
撮像素子における露光期間を電子シャッタにより可変制御し、
前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出する
フリッカ検出方法。
（８）
撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、
前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部と
を備える情報処理装置。

１…撮像レンズ、２…撮像素子、３…撮像回路、４…検波回路、５…信号処理回路、６…ＴＧ（タイミングジェネレータ）回路、７…記録系、８…表示系、８１…ＬＣＤ、８２…ＥＶＦ、９…ＥＶＦ検知部、１０…露出演算制御回路、１１…フリッカ検出制御回路、１２…焦点演算制御回路、１３…ＷＢ演算制御回路、１４…操作部、２０…制御部、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ＥＥＰＲＯＭ、２５…モード切替部、３１…フリッカ成分、３２…背景成分、３３…検出領域、Ｔｅ…露光期間。

Claims (8)

1. 光を電気信号に変換して出力する撮像素子と、
   前記撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、
   前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部と
   を備える撮像装置。
2. 前記露光制御部は、前記電子シャッタの速度を所定の速度範囲内で可変制御可能であり、
   前記フリッカ検出部は、前記電子シャッタの速度を前記所定の速度範囲内で最も高い速度から所定の速度ステップで低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出する
   請求項１に記載の撮像装置。
3. 前記撮像素子で撮像する被写体の光学像を形成する撮像光学系と、
   前記撮像光学系のフォーカス調整を行うフォーカス制御部と
   をさらに備え、
   前記フリッカ検出部は、前記フォーカス制御部によって無限遠距離および最至近距離のうち、前記被写体の光学像が最もぼける方向にフォーカシングを行わせた状態で、フリッカの検出を行う
   請求項１に記載の撮像装置。
4. 前記露光制御部は、ローリングシャッタ方式の電子シャッタによって前記撮像素子における露光期間を可変制御し、
   前記フリッカ検出部は、前記撮像素子の出力信号から得られる２次元的な画像における、横方向の複数の領域の信号値の変化に基づいて、フリッカを検出する
   請求項１に記載の撮像装置。
5. 電子ビューファインダと、
   前記電子ビューファインダの使用状態を検知するファインダ検知部と
   をさらに備え、
   前記フリッカ検出部は、前記電子ビューファインダが使用されていない場合に、フリッカを検出する
   請求項１に記載の撮像装置。
6. 動画撮影モードと静止画撮影モードとを切り替えるモード切替部をさらに備え、
   前記フリッカ検出部は、前記動画撮影モードに切り替えられた場合に、フリッカを検出する
   請求項１に記載の撮像装置。
7. 撮像素子における露光期間を電子シャッタにより可変制御し、
   前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出する
   フリッカ検出方法。
8. 撮像素子における露光期間を電子シャッタにより可変制御する露光制御部と、
   前記電子シャッタの速度を相対的に高い方向から低い方向へと変えていった場合の前記撮像素子の出力信号の変化に基づいて、フリッカを検出するフリッカ検出部と
   を備える情報処理装置。

Images