JP5383886B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は撮像素子を用いて撮像された画像中のフリッカ成分を補正する技術に関する。

撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画や静止画の連続撮影のように続けて複数フレーム（またはフィールド）撮影する場合、撮像画像に周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。

そこで、従来、周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術が提案されている（特許文献１参照）。

特開平１１−１２２５１３号公報

撮像装置に対する蛍光灯フリッカのフリッカ成分は、電源周波数や照明の発光特性によって変化するが、撮像装置の撮像素子に対する蓄積時間やフレームレート、画素の加算方式や間引き方式による読み出し時間の変化、といった駆動状態によっても変化する。この駆動状態は、撮像システムの制御やユーザからの指示によって変わるものであり、急激に変化することがある。この場合には、駆動状態の変化に伴ってフリッカ成分も大きく変動することになる。

しかしながら、特許文献１に記載の補正方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。このような方法では、フリッカ成分の急激な変化に対して追従できなかったり、検出に用いた画像信号と補正対象となる画像信号に時間差が生じたりすることによって、適切な補正処理が行われず、かえって撮影画像に悪影響を与えるという問題点があった。

本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、撮像素子の駆動方式の変化によって、フリッカ成分が急激に変化した場合でも、精度良くフリッカ成分を補正可能な画像処理装置及び画像処理方法を提供することを目的の１つとする。

このような課題を解決するために、本発明の技術的特徴として、第１の画像及び第２の画像を取得する取得手段と、前記第１の画像からフリッカ成分を検出する検出手段と、前記検出手段により検出される前記第１の画像に対するフリッカ成分と、前記第１の画像と前記第２の画像との間の蓄積時間の違いとに基づいて、前記第２の画像に対するフリッカ成分の振幅あるいは位相のうちの少なくとも１つを算出する算出手段と、前記算出手段により算出される前記第２の画像に対するフリッカ成分の振幅あるいは位相を用いて前記第２の画像を補正する補正手段と、を有することを特徴とする。

また、別の技術的特徴としては、第１の画像及び第２の画像を取得する取得ステップと、
前記第１の画像からフリッカ成分を検出する検出ステップと、前記検出ステップにて検出される前記第１の画像に対するフリッカ成分と、前記第１の画像と前記第２の画像との間の蓄積時間の違いとに基づいて、前記第２の画像に対するフリッカ成分の振幅あるいは位相のうちの少なくとも１つを算出する算出ステップと、前記算出ステップにて算出される前記第２の画像に対するフリッカ成分の振幅あるいは位相を用いて前記第２の画像を補正する補正ステップと、を有することを特徴とする。

以上説明したように、本発明によれば、撮像素子の駆動方式の変化によって、フリッカ成分が急激に変化した場合でも、精度良くフリッカ成分を補正でき、画質を向上することができる。

第１の実施形態のフリッカ検出・補正装置の概略構成を説明するためのブロック図である。 第１の実施形態のフリッカ検出から補正までのタイミングチャートを示したものである。 第１の実施形態の蓄積時間の違いによる画像信号中のフリッカの様子をあらわした模式図である。 第１の実施形態の蓄積時間と点滅光源による輝度信号の変調の関係を示した模式図である。 第１の実施形態の蓄積時間と位相差の関係を表したタイミングチャートである。 第２の実施形態のフリッカ検出から補正までのタイミングチャートを示したものである。 第３の実施形態のフリッカ検出から補正までのタイミングチャートを示したものである。 第３の実施形態の読み出し時間の違いによる画像信号中のフリッカの様子をあらわした模式図である。

以下、図面を参照しながら本発明の一実施形態を説明する。

［第１の実施形態］
以下、本発明の第１の実施形態を図面に参照し、説明していく。図１は画像処理装置のブロック図を示す。

１０１は光電変換素子を有する撮像素子で、制御手段１０２が発生する制御信号をもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換し出力する。変換された電気信号（アナログ信号）は、ＡＤ変換部１０６においてデジタル信号に変換され出力される。このとき、撮像素子１０１が電子シャッタ機能を有する場合は、制御手段１０２からの制御信号により、必要な露光時間となるように露光時間を確保してもよい。１０３は、ＡＤ変換部１０６から出力された画像信号に含まれる、点滅光源によって生じる信号レベルの変動成分からフリッカ成分を検出するフリッカ検出手段である。

１０２はシステムの制御を行う制御手段で、撮像素子１０１に対して蓄積時間などの制御信号を出力し、後述する補正値予測手段１０４に対して撮像素子１０１の制御状態を制御情報として出力する。１０４はフリッカ検出手段１０３において検出されたフリッカ成分と、制御手段１０２から出力される撮像素子１０１の制御情報を元に、画像信号中に発生している信号レベルの変動成分が現れないように補正するための補正値を生成している補正値予測手段である。１０５は、補正値予測手段１０４で生成された補正値を元に画像信号に対して演算処理し、画像信号上に発生しているフリッカを抑圧させるフリッカ補正手段である。

次に、本発明の第１の実施形態のタイミングチャートを図２を参照して説明していく。２０１は撮像装置の撮像方式で決定される垂直同期信号である。ｒ１〜ｒ７は撮像素子１０１の読み出し駆動を表している。本実施形態では撮像素子１０１は、ＸＹアドレス型の走査方法を採るＣＭＯＳイメージセンサを用いることとし、以下説明を続ける。ＸＹアドレス型の走査方法の撮像素子の場合、画素ごとの露光タイミングがライン方向で順次行われるため、図示のように１垂直同期信号期間内で撮像素子の全画素を順次読み出す。またｓ１〜ｓ７は撮像素子１０１の電荷変換部に蓄積された電荷をリセットするための駆動を表している。各画素の露光時間を統一するため、読み出し駆動と同様にリセットのタイミングもライン方向で順次行われる。図のｓとｒではさまれた時間が撮像素子１０１の蓄積時間となり、図のＡからＣまでの画像信号が蓄積時間が短く、図のＤからＧまでの画像信号が蓄積時間が長い画像信号として出力される。２０２はフリッカ検出手段１０３の処理動作が行われるタイミングを示しており、画像信号が読み出されている期間の一部で検出動作を行っている。２０３は撮像素子１０１の制御信号を制御手段１０２が撮像素子１０１に対して出力するタイミングを示したものであり、図の場合例えば、タイミング２０４にて撮像素子１０１に対し画像信号Ｄを取得する際の蓄積時間を制御信号ｂとして与える。２０５は撮像素子１０１の制御情報を制御手段１０２が補正値予測手段１０４に対して出力するタイミングを示したものである。制御手段１０２が撮像素子１０１へ制御信号を出力するタイミングに対して、１垂直同期期間遅れて出力される。図の場合、制御手段１０２が制御信号ｂを撮像素子１０１に対して２０４のタイミングで出力するのに対し、補正値予測手段１０４に対しては２０６のタイミングで制御情報ｂを出力する。これにより、画像信号Ｄを補正する補正値を生成する際、画像信号Ｄを取得したときの蓄積時間を参照することが可能になる。２０７は補正値予測手段１０４が制御手段１０２から得られた制御情報と、フリッカ検出手段１０３から得られたフリッカ成分から補正値を予測するタイミングを示したものである。図において、画像信号Ｃと画像信号Ｄで蓄積時間を急激に変化するように撮像素子１０１は駆動している。補正値予測手段１０４は、制御手段１０２からフリッカ検出の対象となっている画像信号が取得された際の撮像素子１０１の制御情報を受け取り、常に１垂直同期期間前の制御情報と得られる制御情報を比較している。そして、該制御情報が変化した場合に補正値の予測を行うよう動作する。２０８から２１４は補正値予測手段１０４が生成した補正値をフリッカ補正手段１０５に対し設定するタイミングを示している。すなわち、制御情報が変化しないときはフリッカ検出手段１０２から得られたフリッカ成分から補正値を生成する。そして、制御情報が変化した場合には、フリッカ検出手段１０２から得られたフリッカ成分と、制御手段から出力された制御情報を元に予測して補正値を生成するように動作する。設定された補正値は、次の垂直同期信号で更新され、撮像素子１０１から読み出される画像信号に対して補正処理が行われる。この図の場合、２１０が予測して生成された補正値が設定されているタイミングになる。

次に、フリッカ検出手段から出力されるフリッカ成分について検出動作の例とともに説明する。

図３は、撮像素子１０１で撮像された画像信号を模式的に表したものであり、３０１が撮像素子１０１の蓄積時間が短い場合の画像信号の様子、３０３が撮像素子１０１の蓄積時間が長いときの様子を示したものである。点滅光源によって信号レベルが変調されており、３０２や３０４に示すように画像信号内に点滅光源の発光周期に依存した周期的なレベル変動が発生する。この時間領域における周期的な信号レベルの変動を周波数領域に変換して検波することで、画像信号内に含まれるフリッカ成分を抽出することができる。

（フリッカ成分の抽出）
撮像素子１０１から得られた画像信号を、周波数領域に変換する方法としていくつか考えられるが、画像信号のように一定期間でサンプリングされたデータに対しては離散フーリエ変換を用いて周波数領域に変換するのがもっとも一般的である。以下、離散フーリエ変換を用いて周波数領域に変換し、フリッカ成分を算出する方法について説明する。

点滅光源によって生じるフリッカは、撮像素子１０１の駆動から、垂直方向に明暗の形であらわれる（図３参照）。したがって、画像信号内の垂直方向にサンプリングデータが生成されていれば良く、例えば、水平ライン毎に信号を平均処理して、３０２・３０４のように、時間軸（時間サンプリング）と信号レベルの２次元情報に縮退させる方法がある。あるいは、これらに限定することは無く、画像信号の中央でフリッカが発生しているとユーザに不快感を与えると考えれば、画像中央に検出枠を設け、検出枠内で水平方向毎に信号を平均する方法も考えられる。いずれにしろ、何らかの方法を用いて時間軸（時間サンプリング）と信号レベルの２次元情報に縮退させたデータを生成する。また、映像信号がＮＴＳＣで商用電源の周波数が５０Ｈｚの場合、画像信号内に現れるフリッカは１００／６０≒１．７周期である。このため、画像信号の垂直方向のうち全部あるいは１周期以上の一部分をサンプリングすればよい。また、映像信号がＰＡＬで商用電源周波数が６０Ｈｚの場合、１２０／５０＝２．４周期であるため、同様に画像信号の垂直方向のうち全部あるいは１周期以上の一部分をサンプリングすればよい。

次に、得られたサンプリングデータを用いて周波数領域に変換する例について説明する。サンプリングの母数をＮ、サンプリングされたデータをＸｎ（ｎ＝０，１，…Ｎ−１）とすると、次式で表される離散的なフーリエ係数で周波数領域に離散フーリエ変換される。

時間Ｌ（ｓｅｃ）をＮヶに時間サンプリングした場合、サンプリング間隔をａ（ｓｅｃ）とすると、離散フーリエ変換後のフーリエ係数は、次式で表される離散的な周波数ｆｋの範囲で求められる。

ｆｓは時間領域におけるサンプリング周波数である。

画像信号からサンプリングされたデータ列は実時間信号であるので、（式１）は展開すると、実部Ｒｅと虚部Ｉｍに分離することができ、次式で表される。

ある周波数ｆｋにおける振幅スペクトルＡｋは、（式４）より次式で求められる。

また、周波数領域に変換した際のある周波数ｆｋにおける位相成分Ωｋは、（式４）より次式で求められる。

（式５）、（式６）から、（式４）にフリッカ成分として周波数成分とそれに対応した位相成分が含まれており、フリッカ検出手段１０３から補正値予測手段１０４へ出力されるフリッカ成分を表している。

次に、補正値予測手段１０４において、前述したフリッカ検出手段１０３から得られるフリッカ成分（各周波数の振幅・位相）と制御手段１０２から得られる撮像素子１０１の制御情報から補正パラメータを予測して補正値を生成する方法について述べていく。

撮像素子１０１の駆動状態が変化しない場合、例えば図２において、画像信号Ｂからフリッカ成分を検出し、画像信号Ｃに対して補正する場合の補正値を生成する方法について述べる。前述したように、点滅光源によって発生するフリッカは電源周波数の倍の周波数で画像信号内に現れるため、例えば、撮像装置がＮＴＳＣで電源周波数が５０Ｈｚの場合、３フィールドごとに繰り返し同位相で現れることが知られている。従って、画像信号Ｃ内に発生しているフリッカのフリッカ成分の位相と画像信号Ｄ内で発生しているフリッカのフリッカ成分の位相の差θｋは、以下の式で表される。なお、ｍは（式２）より算出される周波数ｆｋ＝１００（Ｈｚ）の時のｋにおいて、次式で表される位相差θｋがθｋ＝２πｆｋ ｘ（１／６０）を満たす。

フリッカ成分の振幅値は撮像素子１０１の蓄積時間に依存するが、画像信号Ｂと画像信号Ｃでは蓄積時間は同じであるため、フレーム間では振幅値の変動はないとみなすことができる。従って以上から、画像信号Ｂから検出されたフリッカ成分のうち位相成分を（式７）で示した値だけ予測して逆離散フーリエ変換することで、フリッカ成分を時間領域に変換することが可能となる。逆離散フーリエ変換は、離散フーリエ変換の実部と虚部（（式４））から、次式で表される。

フリッカ成分は被写体の信号強度に比例することが一般的に知られており、画像信号内に発生しているフリッカを打ち消すためには、上式で演算したゼロ中心の時間領域のフリッカ成分を１中心にし逆数を求めることで補正値を生成することができる。そして生成した補正値を画像信号に対して乗算することでフリッカのない画像信号を生成することができる。

一方、再び図２を参照すると、画像信号Ｃで検出されたフリッカ成分から補正値を生成し、画像信号Ｄに対して補正動作が行われるタイミングが存在する。蓄積時間の短い画像信号Ｃで検出されたフリッカ成分で補正値を生成し、蓄積時間の長い画像信号Ｄに対してその補正値を適用してしまうと、適切な補正動作ができなくなってしまう。図３の３０２、３０４からみても明らかなように、フリッカ成分の振幅値や位相が異なるためである。そこで、検出されたフリッカ成分から補正値を生成する際に、制御手段１０２から出力される撮像素子１０１の制御情報から振幅値と位相を予測することで画像信号Ｄに対して適切な補正を行うことができる。以下、補正値を予測する方法について述べていく。

（補正値の振幅の予測）
図４に撮像素子の蓄積時間と点滅光源による輝度信号の変調度の関係を示す。変調度は、点滅光源によってフリッカが生じるときのレベル変動（振幅）をフリッカが生じないときの信号レベルで正規化したものである。４０１は各蓄積時間において、フリッカによる信号レベルの変調がどの程度あるかを示している。蓄積時間が短くなるほど点滅光源の光量を積分する時間が短くなるため、ライン毎の信号レベルの変動が大きくなり、積分する時間と点滅光源の周期から図のような特性をもっている。補正値予測手段１０４は撮像素子１０１の蓄積時間と点滅光源による輝度信号の変調度をあらかじめテーブル化して記憶しておく。該テーブルは、あらかじめ測定された図４の４０１の特性を離散化させて保持したり、あるいは撮像装置内で学習させて記憶させても良い。撮像素子１０１の蓄積時間がｔ１からｔ２に変化した場合、補正値予測手段１０４は、制御手段１０２から撮像素子の制御情報として補正対象となる画像信号を蓄積したときの撮像素子の蓄積時間ｔ２を受け取る。それまでの蓄積時間ｔ１の時の変調度α１と受け取った蓄積時間ｔ２の変調度α２をテーブルを参照して取得し、（式８）で生成した補正値に対してα２／α１だけ変調させて新たな補正値を生成することで、補正パラメータである補正値の振幅の予測が可能となる。

（補正値の位相の予測）
図５を参照して補正値の位相の予測方法を説明する。５０３、５０５は撮像素子１０１の電荷変換部に蓄積された電荷をリセットするための駆動を、５０４，５０６は読み出し駆動を示しており、５０３と５０４にはさまれた時間ｔ１と５０５と５０６にはさまれた時間ｔ２がそれぞれ蓄積時間を示している。ｔ１とｔ２のフリッカ成分の位相差を算出するためには、点滅光源を蓄積している蓄積時間の重心５０１と５０２の時間差Ａから位相情報に変換すればよく、垂直同期信号の周期が１／６０ｓの場合、時間差Ａは次式で表される。

すなわち、（式９）の第２項が蓄積時間の変化によって発生するフリッカ成分の位相差を表している。従って、補正値を算出する際に、（式７）の位相差θｋのほかに、（式９）の第２項の成分を蓄積時間の変化による位相差成分Φｋとして加味することで、位相予測が可能となる。位相差成分Φｋは、（式２）から算出される周波数ｆｋ＝１００（Ｈｚ）の時のｋにおいて、次式で表される位相差ΦｋがΦｋ＝２πｆｋ ｘ（（ｔ１−ｔ２）／２）を満たすｌにおいて、以下の式で表される。

以上より補正値は（式８）、（式１０）より、次式で算出することで蓄積時間の差による位相差を予測して補正値を生成することが可能となる。

（補正値の高調波成分の予測）
これまで、サンプリング周波数ｆｓで決定される周波数領域の全領域における離散フーリエ変換・逆離散フーリエ変換によって、検出・補正を行う実施形態を述べてきた。例えば、図３を参照してみると、蓄積時間が長い場合は点滅光源の発光している周波数の正弦波にほぼ近似していることがわかる。従って、補正値を生成する際も、全周波数領域に渡って逆離散フーリエ変換をせずとも、発生しているフリッカの周波数ｆｋとその近傍の周波数のフーリエ級数から補正値を生成することで、充分な補正値を生成することが可能となる。逆に、蓄積時間が短くなると、画像信号上に発生するフリッカは、点滅光源の発光の形状をトレースした形に近似されてくる。従って、発生しているフリッカは単純な正弦波では近似しづらくなり、高調波成分を含むようになってくる。かかるとき、制御手段１０２から得られる撮像素子１０１の制御情報である蓄積時間から、発生しているフリッカに高調波が含まれるかどうかを判別する。補正値予測手段１０４は撮像素子１０１の蓄積時間と点滅光源による輝度信号の変調度を、高調波を含む複数のテーブルであらかじめ記憶しておく。そして、補正値を生成する際の逆離散フーリエ変換の時に、蓄積時間に応じて高調波成分が含まれるように該テーブルから変調度を参照して、高調波成分も加味した形で逆離散フーリエ変換を行う。以上の処理により、高調波成分が含まれるフリッカが発生した場合でも良好なフリッカ補正が実現可能となる。

以上説明してきたように、撮像素子の駆動方式の変化によって、フリッカ成分が急激に変化した場合でも、精度良くフリッカ成分を補正でき、画質を向上することができる。

また、本実施形態はＸＹアドレス型の走査方法を採るＣＭＯＳイメージセンサを用いたが、ＣＣＤのように全画素のリセットと読み出しをそれぞれ同時刻に行うタイプの撮像素子を用いた場合でも適用できる。その場合、発生するフリッカは撮像された画像信号間で周期的な信号レベルの変動となって現れる。撮像素子１０１の蓄積時間が変化した場合、蓄積時間と点滅光源による輝度信号の変調度をテーブル化して記憶し、制御手段１０２から出力された制御情報をもとに補正値を予測して生成することで、良好なフリッカ補正が実現できる。

［第２の実施形態］
以下、本発明の第２の実施形態のタイミングチャートを図６を参照して説明していく。実施形態１と同じ番号を付しているものについては説明を省略する。本実施形態は、フリッカを検出する画像信号と補正対象となる画像信号が２垂直同期期間遅延している場合のフリッカ検出・補正の方法を示したものである。

今、撮像素子１０１が間欠読み動作から通常動作に駆動状態が遷移した場合を考える。６０１はフリッカ検出手段１０３が動作しているタイミングを示しており、画像信号が得られる期間の一部で動作している。間欠読み動作は、撮像素子１０１が垂直同期期間に同期して、画像信号を読み出すフレームと読み出さないフレームを形成しているものであり、図６の一部で、交互に繰り返している。通常読み出し動作は、垂直同期期間毎に撮像素子１０１から画像信号を読み出している。つまり、撮像装置の駆動としては、フレームレートが変化するように駆動している。また、以下、間欠読み動作と通常動作とでは、蓄積時間は変化しないものとして説明する。６０２は制御手段から撮像素子１０１に出力される制御信号、６０４は制御手段１０２から補正値予測手段１０４に出力される制御情報を表している。また、６０４が補正値予測手段１０４が動作するタイミング、６０５から６０９が補正値予測手段１０４で生成された補正値が設定されるタイミングをそれぞれ表している。

この場合、フリッカ検出とフリッカ補正のタイミングとしては、常に検出と補正に２垂直同期期間の遅延が発生している。例えば、画像信号Ａからフリッカ検出を行い、画像信号Ｂに対して補正する、あるいは、画像信号Ｂからフリッカ検出を行い、画像信号Ｃに対して補正するといった具合である。したがって、撮像素子１０１の駆動状態が変化した場合、画像信号Ｄに対する補正は、検出する画像信号が無いため、補正値を生成することができずに補正動作そのものがなされなくなってしまう。そのため、制御手段１０２と補正値予測手段１０４は以下に説明するタイミングで画像信号Ｄに対する補正値の予測を行う。

制御手段１０２からは、撮像素子１０１に対して６０２に示すタイミングで撮像素子１０１の制御信号を出力している。６０２のｃは読み出し駆動をせずにシャッタのみを動作させる駆動信号、ｄは読み出し駆動のみでシャッタ動作は停止している駆動信号、ｅは通常読み出しの駆動を示している。いま、撮像素子１０１の駆動状態が制御手段１０２によって間欠読み出しから通常読み出しに遷移した場合、６０２に示すタイミングで撮像素子１０１の駆動状態を遷移すべく駆動信号ｅを出力する。制御手段１０２からは、６０３に示すように、撮像素子１０１の駆動状態を制御情報として補正値予測手段１０４に対して出力する。制御情報は、フレームレートの切り替わりを判別できるような情報（本実施形態ではＨｉｇｈ・Ｌｏｗ）から成っている。補正値予測手段１０４は、画像信号Ｂからフリッカ検出手段１０２が検出したフリッカ成分から画像信号Ｃに対する補正値を生成する。検出フレームで発生するフリッカの位相と補正フレームで発生するフリッカの位相は、（式２）より算出される周波数ｆｋ＝１００（Ｈｚ）の時のｋにおいて、（式７）で表される位相差θｋがθｋ＝２πｆｋ ｘ（１／３０）を満たすｍにおいて、固定値を持つ。また、撮像素子１０１から得られる画像信号の蓄積時間は変わらないものとすると、発生しているフリッカの振幅スペクトルもほとんど変化しない。従って、（式８）より、画像信号Ｂの検出結果から画像信号Ｃに対する補正値を生成し、６０６で示されるタイミングで補正値が設定される。

このようにして、画像信号Ｃに対する補正値を生成した後、６０３に示す制御情報から、撮像素子１０１の駆動状態が遷移した（間欠読み出しから通常読み出しに遷移）ことを情報として受け取る。そして、駆動が遷移することによる画像信号Ｄに対する補正値が欠落してしまうことをあらかじめ取得する。そして、画像信号Ｂから検出したフリッカ成分と、制御手段１０２から出力される撮像素子１０１の制御情報６０３を元に画像信号Ｄに対する補正値を生成する。画像信号Ｂから検出したフリッカ成分は常に記憶手段に保持しておき、制御手段１０２から出力された制御情報が変化したときに該記憶手段から読みにいく。そして、画像信号Ｃに対する補正値が生成された後に６０４で示すタイミングで画像信号Ｄに対する補正値を予測して生成する。生成された補正値は画像信号Ｄに対して補正がかかるよう、６０７に示すタイミングで設定され、画像信号Ｄに対して補正される。このように、フレームレートが高い場合、数フレーム前に得た画像から検出されたフリッカ成分に基づきフリッカ補正し、フレームレートが低い場合、このフレーム数よりも前のフレームの画像から検出されたフリッカ成分に基づきフリッカ補正する。

次に、本実施形態における補正値予測手段１０４での補正値の位相の予測方法について説明する。

（補正値の位相の予測）
フリッカを検出する画像信号と補正対象となる画像信号が２垂直同期期間遅延している場合、検出したフレームで発生しているフリッカと補正対象となるフレームのフリッカの位相差は前述したように下記の場合に固定値を持つ。つまり、（式２）より算出される周波数ｆｋ＝１００（Ｈｚ）の時のｋにおいて、（式７）で表される位相差θｋがθｋ＝２πｆｋ ｘ（１／３０）を満たすｍにおいてである。本実施形態のように、画像信号Ｂの検出結果から画像信号Ｄのフリッカを補正する補正値を生成する場合、１垂直同期期間分の位相差をΦｋに加味すればよい。よって、（式２）より算出される周波数ｆｋ＝１００（Ｈｚ）の時のｋにおいて、（式１０）で表される位相差ΦｋがΦｋ＝２πｆｋ ｘ（１／６０）を満たすｌにおいて、固定値を持つようになる。よって、以下、（式１１）から補正値を生成することで、良好なフリッカ補正を実現することができる。

［第３の実施形態］
以下、本発明の第３の実施形態を図面に参照し説明していく。フリッカ検出・補正装置のブロック図は第１の実施形態と同一であるので割愛する。

次に、本発明の第３の実施形態のタイミングチャートを図７を参照して説明していく。

本実施形態は例えば動画撮像中に、動画像よりも高精細な静止画を撮像するために撮像方式の駆動方式を変更する制御の例である。例えば動画像を撮像する場合には高速で読み出すために、撮像素子から画像を加算・平均または間引きして読み出す方法がある。また、静止画を撮像する場合には高精細な画像を読み出すために、動画時よりも加算・平均または間引きの数を減らしたり、非加算にして、信号数を増やし動画時よりも長い読み出し時間で読み出すという方法がある。

７０１は撮像装置の撮像方式で決定される垂直同期信号である。ＸＹアドレス型の走査方法の撮像素子の場合、画素ごとの露光タイミングがライン方向で順次行われるため、図示のように１垂直同期信号期間内で撮像素子の全画素を順次読み出す。ｒ１〜ｒ６は撮像素子１０１の読み出し駆動を表している。またｓ１〜ｓ６は撮像素子１０１の電荷変換部に蓄積された電荷をリセットするための駆動を表している。各画素の露光時間を統一するため、読み出し駆動と同様にリセットのタイミングもライン方向で順次行われる。本図において、ｒ１，ｒ２，ｒ３，ｒ５，ｒ６に対して、ｒ４の読み出し時間が長くなっている。これは前述したように、例えば動画用・静止画用の画像の撮像を切り替えるために撮像素子の駆動方法が変化したことにより、読み出し時間が変化したことをあらわしている。ｒ４で読み出された画像信号が図中のＤの画像信号に相当し、ｒ１，ｒ２，ｒ３，ｒ５，ｒ６で読み出された画像信号がそれぞれＡ，Ｂ，Ｃ，Ｅ，Ｆに相当する。

図８は、撮像素子１０１で撮像された画像信号を模式的に表したものである。８０１が動画撮像時で撮像素子１０１からの読み出し時間が短い場合の画像信号の様子、８０３が静止画撮像時で撮像素子１０１からの読み出し時間が長い場合の画像信号の様子を示したものである。実際には読み出される画素数が違うので、画像のサイズが異なるが、同一画角でのフリッカの周期を比較するために図としては同一の大きさで説明する。点滅光源によって信号レベルが変調されており、８０２や８０４に示すように画像信号内に点滅光源の発光周期に依存した周期的なレベル変動が発生する。点滅光源の発光周期が一定ならば、画面中に現れるレベル変動の周期は、読み出し時間に依存するので、制御情報として読み出し時間の情報を用いることで、レベル変動の周期を予測することが可能になる。

図７に戻って制御方法について説明する。

２０３は撮像素子１０１の制御信号を制御手段１０２が撮像素子１０１に対して出力するタイミングを示したものであり、撮像素子中の加算・平均・間引き方式など読み出し時間に影響を与える駆動方式を行うためのものである。図の場合例えば、タイミング７０４にて撮像素子１０１に対し動画像としての画像信号Ｃを撮像するための制御信号ｆを送出し、撮像素子はｓ３，ｒ３のタイミングでリセット・読み出しを行う。タイミング７０５にて撮像素子１０１に対し静止画像としての画像信号Ｄを撮像するための制御信号ｇを送出し、撮像素子はｓ４，ｒ４のタイミングでリセット・読み出しを行う。タイミング７０６にて撮像素子１０１に対し、駆動を継続することを表す制御信号ｈを送出し、撮像素子はｓ４，ｒ４のタイミングでリセット・読み出しを継続する。タイミング７０７にて撮像素子１０１に対し動画像としての画像信号Ｅを撮像するための制御信号ｆを送出し、撮像素子はｓ５，ｒ５のタイミングでリセット・読み出しを行う。

本実施形態では、動画撮像時に得られる画像信号Ｂ，Ｃ，Ｆに対してはそれぞれその直前に得られた画像信号Ａ，Ｂ，Ｅで得られたフリッカ成分より補正値を生成しタイミング７１３，７１４，７１７で設定することができる。

静止画撮像時に得られた画像信号Ｄに対しては直前に得られた画像信号Ｃとはフリッカの様子が異なるので、画像信号Ｃで得られたフリッカ成分より補正値を予測する方法する。また、動画撮像時に得られた画像信号Ｅに対しては直前に得られた画像信号Ｄとはフリッカの様子が異なるので、画像信号Ｄで得られたフリッカ成分より補正値を予測する。７０８は制御手段１０２が補正値予測手段１０４に対して送出する制御情報であり、読み出し時間の比をあらわす。タイミング７０９にて読み出しｒ３，ｒ４の時間の比を制御情報ｉとして、タイミング７１０にて読み出しｒ４，ｒ５の時間の比を制御情報ｊとして送出する。補正値予測手段は１０４はフリッカ成分と制御情報にもとづきタイミング７１１，７１２にて補正値を予測し、タイミング７１５，７１６で補正値を設定する。それ以外のフィールドではフリッカ成分に基づき補正値を演算して補正値を設定する。

次に、補正値予測手段１０４において、前述したフリッカ検出手段１０３から得られるフリッカ成分と制御手段１０２から得られる制御情報から補正値を予測する方法について述べていく。フリッカ成分から式８であらわされる逆離散フーリエ変換を用いて補正値を求める考え方は第１の実施形態と同じである。

撮像素子からの、あるフィールド１の読み出し時間をｔ１、別のフィールド２のフィールドの読み出し時間をｔ２とした場合、フィールド１に対するフィールド２の画面内のレベル変動の周期の比は読み出し時間の比Ｔ＝ｔ１／ｔ２であらわされる。

よって、制御情報として上記Ｔを用い、具体的には（式１２）で表されるように、各項に対してＴで除算処理を行うことで補正値の周期成分に対する予測が可能になる。

以上説明してきたように、撮像素子の駆動方式の変化によって、フリッカ成分が急激に変化した場合でも、精度良くフリッカ成分を補正でき、画質を向上することができる。

なお、本実施の形態では、動画撮像時に得られた画像信号Ｅに対しては、直前に得られた画像信号Ｄで得られたフリッカ成分より補正値を予測して補正に用いる構成とした。しかしながら、静止画撮像の以前に得られた画像信号Ｃで得られたフリッカ成分に基づいて補正値を得るようにしてもよい。このように前回の動画から得られたフリッカ成分に基づいて補正した方が、フリッカ補正が適切に成される場合がある。

上述したように、画像信号を取得したフレームよりも所定フレーム数前に得た画像信号から検出されたフリッカ成分に基づいて画像信号を補正するフリッカ補正において、駆動状態の変更があったときに前記所定フレーム数を変更する。これにより、より適正なフリッカ補正が可能となる。

なお、第１の実施形態（図２）の画像信号Ｄが得られるフレーム、第２の実施形態（図６）の画像信号Ｄが得られるフレーム、及び、第３の実施形態（図７）の画像信号Ｄが得られるフレームを移行の期間とする。この移行の期間は撮像素子の駆動状態が維持されている状態から、駆動状態の変更が生じ、また駆動状態が維持されている状態になるまでの期間を示している。

［他の実施形態］
なお、以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。

また、本発明は、複数の情報処理装置（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体に格納されたプログラムコードをシステムあるいは装置のコンピュータが読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その信号処理によって前述した実施形態の機能が実行可能である場合も含まれる。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合であってもよい。メモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２及び図６または、図７のいずれかを参照して説明した処理に対応するプログラムコードが格納されることになる。

１０１ 撮像素子
１０２ 制御手段
１０３ フリッカ検出手段
１０４ 補正値予測手段
１０５ フリッカ補正手段

Claims (10)

1. 第１の画像及び第２の画像を取得する取得手段と、
   前記第１の画像からフリッカ成分を検出する検出手段と、
   前記検出手段により検出される前記第１の画像に対するフリッカ成分と、前記第１の画像と前記第２の画像との間の蓄積時間の違いとに基づいて、前記第２の画像に対するフリッカ成分の振幅あるいは位相のうちの少なくとも１つを算出する算出手段と、
   前記算出手段により算出される前記第２の画像に対するフリッカ成分の振幅あるいは位相を用いて前記第２の画像を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、予め記憶された、前記第１の画像及び前記第２の画像が撮像される撮像素子の、蓄積時間と点滅光源による信号の変調度との関係に基づいて、前記第２の画像に対するフリッカ成分の振幅を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記第２の画像の蓄積時間から得られる前記第１の画像に対するフリッカ成分と前記第２の画像に対するフリッカ成分との位相差と、前記第１の画像及び前記第２の画像の蓄積時間の違いに基づく位相差とを加味して、前記第２の画像に対するフリッカ成分の位相を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像及び前記第２の画像は、ＸＹアドレス型のイメージセンサにより撮像された画像であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記第１の画像及び前記第２の画像は、全画素のリセットと読み出しをそれぞれ同時に行うイメージセンサにより撮像された画像であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
6. 前記算出手段は、前記第１の画像の高調波成分を予測して前記第２の画像のフリッカ成分を補正することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 第１の画像及び第２の画像を取得する取得ステップと、
   前記第１の画像からフリッカ成分を検出する検出ステップと、
   前記検出ステップにて検出される前記第１の画像に対するフリッカ成分と、前記第１の画像と前記第２の画像との間の蓄積時間の違いとに基づいて、前記第２の画像に対するフリッカ成分の振幅あるいは位相のうちの少なくとも１つを算出する算出ステップと、
   前記算出ステップにて算出される前記第２の画像に対するフリッカ成分の振幅あるいは位相を用いて前記第２の画像を補正する補正ステップと、
   を有することを特徴とする画像処理方法。
8. 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至６のいずれか１つに記載の画像処理装置として機能させることを特徴とするプログラム。
9. 請求項７に記載の信号処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
10. 請求項８又は９に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。