JP4795314B2 - フリッカ補正装置及びフリッカ補正方法 - Google Patents

Description

本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、撮像素子を用いて撮像された画像中のフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。

ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。

そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。

特開平１１−１２２５１３号公報

しかしながら、特許文献１記載の方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。そのため、フリッカ成分が画面の左右で異なっている場合に、正確にフリッカ成分を検出（及び補正）することができないという問題がある。この問題は、例えば図８に示す、被写体の左側は蛍光灯により照らされ、右側は太陽光に照らされているような場合に発生しうる。

つまり、画像信号を水平方向に積分した垂直方向の強度分布を用いて補正値を生成した場合、図８のようにフリッカ成分が画像信号の左右で異なっている場合には、フリッカ成分の強度分布も平均化されてしまう。そのため、フリッカ成分が強い部分では十分補正されずにフリッカが残ってしまったり、フリッカ成分が弱い部分では補正しすぎて逆に周期的な明暗が生じたりする場合がある。この場合、撮影画像の画質が低下するという問題点がある。

本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、フリッカ成分が画像信号内で分布を持っている場合でも、精度良くフリッカ成分を補正可能なフリッカ補正装置及びフリッカ補正方法を提供することを目的する。

上述の目的は、ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、前記画像信号を複数のフリッカ検出枠に分割する設定手段と、複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、フリッカ検出手段が検出したフリッカ成分と、予め定められたフリッカ成分を表すフリッカモデルとから、複数のフリッカ検出枠の各々に対するフリッカモデルを決定する決定手段と、複数のフリッカ検出枠を、決定手段により決定されたフリッカモデルに基づいて分類する分類手段と、同じ分類に属するフリッカ検出枠からなる領域の１つを選択する選択手段と、前記選択手段が選択した領域のフリッカ成分から生成した補正値を適用して、画像信号の全体のフリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置によって達成される。

また、上述の目的は、ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、設定手段が画像信号を複数のフリッカ検出枠に分割する工程と、フリッカ検出手段が複数のフリッカ検出枠の各々で、フリッカ成分を検出する工程と、フリッカ検出手段が検出したフリッカ成分と、予め定められたフリッカ成分を表すフリッカモデルとから、決定手段が、複数のフリッカ検出枠の各々に対するフリッカモデルを決定する工程と、分類手段がフリッカ検出枠を決定手段により決定されたフリッカモデルに基づいて分類する工程と、選択手段が同一分類に属するフリッカ検出枠からなる領域の中から１つを選択する工程と、補正手段が、選択手段が選択した領域のフリッカ成分から生成した補正値を適用して、画像信号の全体のフリッカ成分の補正を行う工程とを有することを特徴とするフリッカ補正方法によっても達成される。

以上説明したように、本発明によれば、フリッカ成分が画像信号内で分布を持っている場合でも、精度良くフリッカ成分を補正でき、画質を向上することができる。

（第１の実施形態）
以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
図１は、本発明の第１の実施形態のフリッカ補正装置の構成例を示すブロック図である。

図１において、フリッカ検出部１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号からフリッカ成分を検出する。本実施形態において、画像信号は水平走査により読み出されるものとする。

フリッカ成分決定部２は、フリッカ検出部１で検出された複数のフリッカ成分から、補正対象となる一種類のフリッカ成分を決定する。フリッカ補正値生成部３は、フリッカ成分決定部２で決定されたフリッカ成分の補正値を生成する。そして、乗算器４は、フリッカ補正値生成部３で得られたフリッカ補正値と画像信号を乗算し、補正後の画像信号として出力する。制御部１１は、フリッカ補正装置１０全体の動作を制御する。

次に、本実施形態のフリッカ補正装置１０の動作について説明する。
図７は、図１におけるフリッカ検出部１の構成例を示すブロック図である。
図７において、ブロック分割部１００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面分の画像信号に対して水平方向および垂直方向に設定する。ここでは、水平方向にＭブロック、垂直方向にＮブロックのフリッカ検出枠を設定するものとする。加算平均部１０１は、ブロック分割部１００が設定したフリッカ検出枠の各々について、画素の輝度レベルの平均値を算出する。また、引算器１０２、乗算器１０３、加算器１０４およびメモリ１０５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１０を形成している。

ここで、aveは加算平均部１０１の出力を示し、moutはメモリ１０５からの出力を示す。memは加算器１０４からの出力を示し、メモリ１０５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１０のフィルタ係数である。

除算器１０６は、加算平均部１０１の出力と、メモリ１０５からの出力を除算することによって、フリッカ検出枠ごとのフリッカ成分を算出して出力する。

フリッカ成分決定部２はフリッカ検出部１で検出された複数のフリッカ成分から、補正対象となる一種類のフリッカ成分を決定する。フリッカ成分決定部２の動作については後述する。

フリッカ補正値生成部３は、フリッカ成分決定部２で決定されたフリッカ成分に応じたフリッカ補正値を生成する。具体的には、例えばフリッカ成分の逆数をフリッカ補正値として求めることができる。ここで生成したフリッカ補正値は垂直方向における一種類のフリッカ成分を補正するものなので、画像の水平方向には一定値となる。フリッカ補正値生成部３の動作については後で詳述する。乗算器４はフリッカ補正値生成部３からのフリッカ補正値を、図示しない撮像素子から読み出した画素単位の画像信号に乗算し、フリッカ成分の補正を行う。

図２は、本実施形態のフリッカ成分決定部２の構成例を示すブロック図である。
評価部２００は、フリッカ検出部１の検出結果の信頼性を評価する。また、分類部２０１は、評価部２００の信頼性評価結果を分類する。決定部２０２は、分類部２０１から出力される分類結果を用いて、補正対象とする一種類の垂直方向の信号レベルの変動成分（フリッカ成分）を決定する。第１記憶部２０３はある特定のフリッカ成分の状態データ（以下、フリッカモデルと呼ぶ）を記憶する。

次に、フリッカ成分決定部２の動作を説明する。
評価部２００は、第１記憶部２０３よりフリッカモデルを読み出す。評価部２００は、例えば［数２］に示す演算を用い、フリッカ検出部１が処理対象のフリッカ検出枠から検出したフリッカ成分と、対応するフリッカモデルとの差分を、両者の相関の程度を表す情報として、検出枠ごとに求める。

ここで、ｘ，ｙは各フリッカ検出枠の座標位置（１≦ｘ≦Ｍ、１≦ｙ≦Ｎ）を表す。また、a_xyはフリッカモデルの各フリッカ検出枠のフリッカ成分の値を、b_xyはフリッカ検出部１で検出されたフリッカ成分の各フリッカ検出枠のフリッカ成分の値を示す。

そして、評価部２００は、得られた差分が予め定めた閾値Thよりも大きいかどうかを、フリッカ検出枠ごとに判定する。ここで、差分が閾値Th以下であると判定された場合、そのフリッカ枠で検出されたフリッカ成分の信頼性が高いと判定する。

この、フリッカ検出枠ごとの信頼性評価は複数のフリッカモデルについて行っても良い。この場合、フリッカモデルごとに、信頼性の高いフリッカ検出枠の関する情報（例えば位置や数）を例えば第１記憶部２０３に記憶しておく。

分類部２０１は、第１記憶部２０３を参照し、評価部２００が行った信頼性評価結果に基づいて、フリッカ検出枠を分類する。すなわち、フリッカ成分に応じて画面内の領域を分類する。

図３は、３つのフリッカモデルＡ，Ｂ，Ｃに対して信頼性評価を行った場合の分類例を模式的に示す図である。
図３の例では、Ｍ＝８，Ｎ＝６として４８のフリッカ検出枠が設定されている。そして、領域ＡはフリッカモデルＡについての信頼性評価において信頼性が高いと判定されたフリッカ検出枠からなる領域である。同様に、領域Ｂ及びＣは、それぞれフリッカモデルＢ，Ｃについて信頼性が高いと判定されたフリッカ検出枠からなる領域である。なお、領域は重複していても良い。

分類部２０１は、このように、フリッカ検出枠を、信頼性が高いと判定されたフリッカモデルによって分類する。これは、フリッカ検出枠を、検出されたフリッカ成分に応じて分類することに相当する。分類部２０１は、分類結果を示す分類情報を決定部２０２へ出力する。分類情報は、フリッカ検出枠が属する分類、画面全体における位置や、同じ分類に属するフリッカ検出枠の数や画面全体に占める割合などであってよい。

決定部２０２は、分類部２０１から出力される分類情報を元に、優先的に補正を行うべき領域を決定することにより、補正対象とする一種類のフリッカ成分を決定する。

まず、１つのフリッカモデルについてのみ信頼性評価を行った場合は、分類情報にはそのフリッカモデルに対して信頼性が高いと判定された領域（フリッカ検出枠）に関する情報のみが含まれる。従って、決定部２０２は、その領域についてのフリッカ成分を補正対象として決定する。

決定部２０２は、複数のフリッカモデルについて信頼性評価が行われ、かつ信頼性が高いと判定されたフリッカ検出枠からなる領域が複数存在する場合には、そのうち１つの領域についてのフリッカ成分を補正対象として決定する。

例えば、決定部２０２は、分類された複数の領域のうち、面積が最大のもの（領域を構成するフリッカ検出枠の数が最大のもの）を抽出する。さらに、決定部２０２は、その面積が予め定めた閾値よりも大きいならば、その領域のフリッカ成分を補正対象として決定する。この場合、閾値よりも大きな範囲についてフリッカ成分が補正されるので、蛍光灯フリッカによる横縞状の明暗の影響を受ける領域が大きく減少することが期待される。

最大の領域の面積が閾値以下であれば、決定部２０２は分類情報に基づいて、各領域の画面内における位置を判定する。そして、もっとも画面中央に近い位置にある領域のフリッカ成分を補正対象として決定する。具体的には、例えば重心位置が画面中心に最も近い領域や、画面中央部分に位置するフリッカ検出枠を最も多く含む領域のフリッカ成分を補正対象として決定することができる。撮像装置に適用することを想定した場合、撮影者が撮影したい主被写体は画面中央に位置することが多い。従って、画面中央に近い位置にある領域のフリッカ成分を補正対象として決定することにより、主被写体の画像領域が蛍光灯フリッカによる横縞状の明暗の影響を受ける可能性が低減することが期待される。

決定部２０２は、決定結果を表す情報（決定情報）をフリッカ補正値生成部３に対して出力する。ここで、決定情報としては、補正対象として決定したフリッカ成分に対応する領域を特定可能な情報であってよく、例えばその領域に含まれるフリッカ検出枠の位置や、フリッカ成分の値を示す情報であってよい。

フリッカ補正値生成部３は、フリッカ成分決定部２からの決定情報に基づいて、その領域に対応したフリッカ成分から、補正値を生成する。

例えば、フリッカ成分決定部２から、図３における領域Ｂを特定可能な情報が決定情報として与えられたとする。
フリッカ補正値生成部３は、領域Ｂにおけるフリッカ成分をフリッカ検出部１が検出したフリッカ検出枠ごとのフリッカ成分から推定し、推定したフリッカ成分を補正するための補正値を生成する。ここで、フリッカ成分の推定は、画面内の垂直方向の成分についてはフリッカ検出枠ごとの検出値を、水平方向の成分については代表値を用いて行う。

例えば、領域Ｂの場合、水平方向の成分については、領域内の水平方向のフリッカ成分の平均値を用いる（例えば図３の矢印３２で示す４つのフリッカ検出枠で検出されたフリッカ成分の平均値を用いる）。

垂直方向成分については、垂直方向の一列のフリッカ検出枠について、個々のフリッカ検出枠で検出されたフリッカ成分に基づいて推定を行う。なお、領域Ｂは画面の垂直方向全体に存在している部分がないが、例えば他の領域に分類されているフリッカ検出枠３３においても、その下の５つのフリッカ検出枠のフリッカ成分から推定されるフリッカ成分が存在するものとする。上述の通り、フリッカ成分は垂直方向において正弦波で近似できる変動を有しているので、この特性を利用して、フリッカ検出枠３３における垂直方向のフリッカ成分を推定することができる。

フリッカ補正値生成部３は、このようにして推定したフリッカ成分を補正するための補正値を生成し、乗算器４に出力する。具体的には、上述したように、フリッカ成分の逆数を求め、補正値として出力することができる。
なお、補正値は決定手段が決定した領域におけるフリッカ成分に対するものであるが、他の領域を含め、画面内の全領域に対してこの補正値を適用する。

なお、特に説明しなかったが、補正値を生成するための画像信号フレームと、補正を行う画像信号フレームは同じでも異なっていても良い。同じフレームに対して補正をおこなう場合、補正値を生成するまでの処理時間に応じた遅延を画像信号に与えればよい。具体的には乗算器４の手前に遅延器を設ける等が考えられる。

以上、説明したように、本実施形態によれば、入力された画像信号を垂直方向及び水平方向に分割した複数のブロックの検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。そして、フリッカ検出枠を同様のフリッカ成分を有する領域に分類し、その中で補正すべきフリッカ成分を決定する。そのため、例えば図８に示すような左右でフリッカ成分が異なる場合には、左側の領域と右側の領域は異なる領域として分類される。従って、いずれのフリッカ成分が補正対象となった場合も、適切な補正値を生成することができ、精度良いフリッカ補正が可能になる。

そのため、撮像装置に用いられた場合には、フリッカ成分が画像信号内で分布を持っている場合にも精度良くフリッカ成分を検出し、被写体画像に対する悪影響を低減し、画質を向上を実現できる。

（第２の実施形態）
図４は、本発明の第２の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
図４において、第１の実施形態と同一の構成には同一番号を付し、重複する説明は省略する。本実施形態のフリッカ補正装置１０’は、画像情報抽出部５を有する点において第１の実施形態と異なる。

まず、フリッカ検出部１は、第１の実施形態と同様にして、入力画像信号に対してフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。
一方、入力画像信号は並行して画像情報抽出部５にも与えられる。画像情報抽出部５は、入力画像信号が表す画像中、特定の条件を満たす領域に関する情報（画像情報）を出力する。画像情報については後述する。

フリッカ成分決定部２は、フリッカ検出部１で検出された複数のフリッカ成分と、画像情報抽出部５から出力された画像情報とから、補正対象となる一種類のフリッカ成分を決定する。

フリッカ補正値生成部３は、フリッカ成分決定部２で決定されたフリッカ成分を補正するための補正値を生成し、乗算器４へ出力する。乗算器４はフリッカ補正値を画像信号に乗算して、フリッカ補正を行う。制御部１１は、フリッカ補正装置１０’全体の動作を制御する。

ここで、画像情報抽出部５の構成例及び動作例について説明する。
例えば、画像情報抽出部５は、入力画像信号に含まれる色信号に基づいて、予め定められた特定の色の領域の抽出可能な色相判定部として機能するものとする。特定の色の抽出方法としては、従来より肌色補正などに用いられている周知の方法を利用可能である。そして、画像情報抽出部５は、検出した領域を特定する領域情報（例えば領域の外接四角形の頂点座標値）をフリッカ成分決定部２に出力する。

特定の色として、肌色を設定することによって、撮影画像中より肌色の領域の判定が可能になる。そして、フリッカ成分決定部２は、第１の実施形態と同様にして分類した領域のうち、画像情報抽出部５からの領域情報に基づいて、肌色領域を包含する領域もしくは肌色領域との重複が最も多い領域に対応するフリッカ成分を補正するように決定する。
これにより、人物を撮影している場合に、顔など、肌を撮影した領域が蛍光灯フリッカによる横縞状の明暗の影響を受けることを抑制することができる。

あるいは、画像情報抽出部５が、入力画像信号に対して周波数解析を行い、合焦領域を抽出する合焦領域抽出部として機能する。そして、フリッカ成分決定部２が、分類された領域の中から、合焦領域を包含する領域もしくは合焦領域との重複が最も多い領域に対応するフリッカ成分を補正するように決定する。

合焦領域の抽出は、高周波成分の量に基づいて行う方法など、従来よりオートフォーカス機能などで用いられている方法を用いて行うことができる。このように、合焦領域のフリッカ成分を補正対象として決定することにより、撮影画像中のピントのあっている領域、すなわち撮影者が意図した被写体の領域が、蛍光灯フリッカによる横縞状の明暗の影響を受けることを抑制することができる。

さらに別の例としては、画像情報抽出部５が、複数の入力画像に基づき、画像中の静止領域を検出する静止領域検出部として機能してもよい。静止領域は、従来手ぶれ補正機能などに用いている方法で検出した動き領域以外の領域として検出することができる。

そして、フリッカ成分決定部２は、分類した領域の中から、静止領域を包含する領域もしくは静止領域との重複が最も多い領域のフリッカ成分を補正するように決定する。これにより、画像中の静止している被写体の領域が蛍光灯フリッカによる横縞状の明暗の影響を受けることを抑制することができる。

あるいは、画像情報抽出部５が、撮影画像中から任意の領域を指定するためのユーザインタフェースを提供し、ユーザが指定した領域を特定する領域情報を出力する構成であってもよい。具体的には、画像情報抽出部５が、画像を表示するための表示装置と、ユーザが画像中の位置を指定するための入力装置（タッチパネルや、矢印キーと決定ボタンの組み合わせ等）を備える。

フリッカ成分決定部２が、分類した領域の中から、撮影者が画像中で指定した領域を包含する領域もしくは撮影者が画像中で指定した領域との重複が最も多い領域のフリッカ成分を補正するように決定する。これにより、画像中の撮影者の意図した領域が蛍光灯フリッカによる横縞状の明暗の影響を受けることを抑制することができる。

なお、上述した画像情報抽出部５の例は排他的なものではなく、例示した複数の機能を備え、いずれかを選択可能としてもよい。
フリッカ補正値生成部３は、フリッカ成分決定部２が決定した領域について、第１の実施形態と同様にしてフリッカ成分を推定し、推定したフリッカ成分に基づいて補正値を生成する。
また、本実施形態においても、補正値を生成する画像信号と、生成した補正値を適用する画像信号とは同じものであっても、異なるものであっても良い。

以上説明したように、本実施形態によっても第１の実施形態と同様に、フリッカ成分が画像信号内で分布を持っている場合にも精度良くフリッカ成分を検出し、被写体画像に対する悪影響を低減し、画質を向上を実現できる。

また、補正すべきフリッカ成分を、入力画像の特性に応じた領域もしくはユーザの選択に応じた領域に対応するフリッカ成分として決定するので、撮影装置に適用した際には撮影者の意図する被写体が撮影された領域についての画質を向上することができる。

（第３の実施形態）
図５は、本発明の第３の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
図５において、第１の実施形態と同一の構成には同一番号を付し、重複する説明は省略する。本実施形態のフリッカ補正装置は、第２記憶部６を有する点において第１の実施形態と異なる。第２記憶部６は、フリッカ成分決定部２から出力される決定情報の、少なくとも最新の１つを記憶する。

本実施形態におけるフリッカ補正装置１０”は、補正するフリッカ成分の変動を緩やかにすることで、撮影画像が変化した時などに、補正対象のフリッカ成分が急に切り替わることを抑制するものである。

まず、フリッカ検出部１は、第１の実施形態と同様の処理にて、フリッカ検出枠ごとにフリッカ成分を抽出する。
フリッカ成分決定部２はフリッカ検出部１で検出された複数のフリッカ成分および、第２記憶部６から読み出された過去の決定情報から、補正対象となる一種類のフリッカ成分を決定する。フリッカ成分決定部２の動作については後述する。

フリッカ補正値生成部３は、フリッカ成分決定部２で決定されたフリッカ成分を補正する補正値を生成する。乗算器４はフリッカ補正値を、画像信号に乗算することでフリッカ補正を行う。

図６は、本実施形態のフリッカ成分決定部２および第２記憶部６のブロック図を示す。
評価部２００、分類部２０１の動作は、第１の実施形態と同一であるため説明を省略する。

決定部２０２は、分類部２０１から出力される分類情報および第２記憶部６から読み出される過去の決定情報を元に、領域を決定することにより補正対象とする一種類のフリッカ成分を決定する。新しい決定情報は、フリッカ補正値生成部３とともに第２記憶部６に出力し、記憶されている決定情報を更新する。

決定情報および決定方法について説明する。
決定情報が、領域を特定する情報である場合、まず決定部２０２は、第１の実施形態と同様に、現在の入力画像信号について分類した複数の領域のうち面積や位置などの条件によって、補正対象のフリッカ成分に対応する１つの領域を候補領域として選択する。第１の実施形態ではこの領域を特定する情報を決定情報として出力したが、本実施形態ではまだ出力されない。

次に、決定部２０２は、第２記憶部６から読み出された過去の決定情報が示す領域と、候補領域とを比較し、少なくとも一部が重複する場合には、候補領域を補正すべきフリッカ成分に対応する領域として決定する。そして、決定部２０２は、候補領域を特定する情報を決定情報としてフリッカ補正値生成部３に出力するとともに、第２記憶部６の内容を書き換えて決定情報を更新する。

一方、第２記憶部６から読み出された過去の決定情報が示す領域と、候補領域とが重複しない場合、決定部２０２は、両方の領域を含んだ領域から、段階的に候補領域に移行するような決定情報を順次生成してフリッカ補正値生成部３に出力する。

この場合、途中段階の決定情報は第２記憶部６の更新に使用せず、候補領域のみを特定する決定情報となった時点で更新を行うものとする。
これにより、フリッカ補正値生成部３が生成する補正値が段階的に変化することになり、補正するフリッカ成分が急激に変更されることなく、徐々に切り替わっていく。

あるいは、第２記憶部６から読み出された過去の決定情報が示す領域と、候補領域とが重複しない場合、決定部２０２は、過去の決定情報と、候補領域に対応する決定情報の両方を出力してもよい。

この場合、フリッカ補正値生成部３が、補正値を生成する元となる推定フリッカ成分を、過去の決定情報に基づく領域から推定したフリッカ成分と、候補領域から推定したフリッカ成分とを段階的に重み付け加算することによって、同様の効果を得ることができる。

具体的には、候補領域から推定されたフリッカ成分Fnowと、過去の決定情報が表す領域から推定されるフリッカ成分Fmemから、補正対象のフリッカ成分Fcorを、以下の式によって生成する。

ｋは時定数（０≦k≦１）であり、ｋの変化割合に応じて切り替わり速度が変化する。これにより、補正するフリッカ成分が急激に変更されることなく、徐々に切り替わっていく。

時定数ｋは予め定めておき、決定部２０２は時定数ｋによって定まる数の入力画像信号についての補正が終了したら、候補領域に対応する決定情報のみを出力し、第２記憶部６の内容を更新して、新たな候補領域との比較処理を継続する。

以上説明したように、本実施形態によっても、フリッカ成分が画像信号内で分布を持っている場合にも精度良くフリッカ成分を検出し、被写体画像に対する悪影響を低減し、画質を向上を実現できる。また、補正対象のフリッカ成分が急激に切り替わることを抑制できるので、撮影された動画像を視聴した差異の違和感を軽減することが可能になる。

（他の実施形態）
第２の実施形態においては、フリッカ成分決定部２が、分類結果の領域を選択する条件として、画像情報抽出部５からの領域情報を利用した。しかし、分類を行わずに、領域情報で示される領域に対応するフリッカ検出枠からなる領域のフリッカ成分を補正対象として決定しても良い。

上述の実施形態で説明したフリッカ補正装置は、ＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ補正装置を適用することにより、フリッカ成分を精度良く補正できる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の第１の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。 本発明の第１の実施形態におけるフリッカ成分決定部２の構成例を示すブロック図である。 本発明の第１の実施形態におけるフリッカ成分決定部２において、３つのフリッカモデルＡ，Ｂ，Ｃに対して信頼性評価を行った場合の分類例を模式的に示す図である。 本発明の第２の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。 本発明の第３の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。 本発明の第３の実施形態におけるフリッカ成分決定部２の構成例を示すブロック図である。 本発明の実施形態におけるフリッカ検出部１の構成例を示すブロック図である。 被写体が左側からは蛍光灯、右側からは太陽光によって照らされている被写体をＸＹアドレス方式の固体撮像素子を用いて撮像した場合に発生するフリッカ現象を表す図である。

Claims (10)

1. ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
   前記画像信号を複数のフリッカ検出枠に分割する設定手段と、
   前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、
   前記フリッカ検出手段が検出したフリッカ成分と、予め定められたフリッカ成分を表すフリッカモデルとから、前記複数のフリッカ検出枠の各々に対するフリッカモデルを決定する決定手段と、
   前記複数のフリッカ検出枠を、前記決定手段により決定された前記フリッカモデルに基づいて分類する分類手段と、
   同じ分類に属するフリッカ検出枠からなる領域の１つを選択する選択手段と、
   前記選択手段が選択した領域のフリッカ成分から生成した補正値を適用して、前記画像信号の全体のフリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置。
2. 前記決定手段が、
   各々のフリッカ検出枠におけるフリッカ成分と複数のフリッカモデルの各々との差分を求め、前記差分が閾値以下となるフリッカ成分のフリッカ検出枠とフリッカモデルの組み合わせを求めることで、前記複数のフリッカ検出枠の各々に対するフリッカモデルを決定することを特徴とする請求項１記載のフリッカ補正装置。
3. 前記選択手段が、前記同一の分類に属するフリッカ検出枠からなる領域が複数ある場合、面積が最も大きい領域を前記１つの領域として選択することを特徴とする請求項１または２記載のフリッカ補正装置。
4. 前記選択手段が、前記同一の分類に属するフリッカ検出枠からなる領域が複数ある場合、前記画像信号の中央に近い領域を前記１つの領域として選択することを特徴とする請求項１または２記載のフリッカ補正装置。
5. 前記画像信号から予め定められた条件を満たす領域を抽出する抽出手段をさらに有し、
   前記選択手段が、前記抽出手段が抽出した領域に基づいて前記１つの領域を選択することを特徴とする請求項１または２記載のフリッカ補正装置。
6. 前記抽出手段が、前記画像信号から、予め定められた色を有する領域、静止している領域又は合焦している領域を抽出することを特徴とする請求項５記載のフリッカ補正装置。
7. 前記抽出手段が、ユーザによる画面内の領域の指定を受け付ける受け付け手段を有し、前記指定された領域を抽出することを特徴とする請求項５記載のフリッカ補正装置。
8. 前記選択手段が過去に選択した領域を特定する情報を記憶する記憶手段をさらに有し、前記選択手段は、現在の画像信号に対して求まる前記１つの領域の位置と、前記記憶手段に記憶された情報とに応じて、前記現在の画像信号に対する前記１つの領域を選択することを特徴とする請求項１乃至請求項７のいずれか１項に記載のフリッカ補正装置。
9. ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
   設定手段が前記画像信号を複数のフリッカ検出枠に分割する工程と、
   フリッカ検出手段が前記複数のフリッカ検出枠の各々で、フリッカ成分を検出する工程と、
   前記フリッカ検出手段が検出したフリッカ成分と、予め定められたフリッカ成分を表すフリッカモデルとから、決定手段が、前記複数のフリッカ検出枠の各々に対するフリッカモデルを決定する工程と、
   分類手段が前記フリッカ検出枠を前記決定手段により決定された前記フリッカモデルに基づいて分類する工程と、
   選択手段が同一分類に属するフリッカ検出枠からなる領域の中から１つを選択する工程と、
   補正手段が、前記選択手段が選択した領域のフリッカ成分から生成した補正値を適用して、前記画像信号の全体のフリッカ成分の補正を行う工程とを有することを特徴とするフリッカ補正方法。
10. コンピュータを、請求項１乃至請求項８のいずれか１項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。