JP6660270B2 - フリッカー補正装置 - Google Patents

Description

本発明は、フリッカー補正装置に関するものである。

従来、 スローモーションカメラ、又はハイスピードカメラと呼ばれるカメラシステムにおいて、照明装置の点滅周期よりも短い畜光（露光）時間で撮影した映像信号を通常速度で再生するため、被写体を照らす照明装置の点灯周期でフリッカー現象を起こしてしまう。

フリッカー現象が発生する原理について図３を用いて説明する。
一般的に照明となる光源の電源周波数（点滅周期）と、カメラ等の撮像装置のフレームレートが異なる場合は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサーで蓄積する光のレベルが映像ラインまたは映像フレーム毎に異なる。この場合、撮影した映像は電源周波数の２倍の周期で点滅するフリッカー現象が生じる。

撮像装置がローリングシャッター方式による撮影では、映像ライン毎に蓄光レベルが異なるため画面内に明暗の縞が生じる。１倍速（５９．９４ or ５０ｆｐｓ）撮影時は一般的に電子シャッター（露光時間制御）機能によりフリッカー現象を抑えることができる。
例えば、図３に示すように、照明のフリッカー周期１００Ｈｚに対して、撮影スピードが４倍（２３９．７６ｆｐｓ）のハイスピードカメラでは、フリッカー周期よりフレームレートが短くなるため、電子シャッター方式は使えず、別の方法でフリッカーを補正する必要がある。

一般的に、周期性を持つノイズが混じった生信号から所望する信号のみを取り出したい場合、周期性ノイズを推定して生信号から取り除けば良い。単純に考えれば映像データをフリッカー周期の１／Ｎ期間に分割し、各ブロックの平均レベルとフリッカー１周期間の平均レベルからフリッカー成分を推定すればよい。

しかし、図４に示すように、ローリングシャッターによるフリッカー現象では、フリッカー周期の１／Ｎで分割した各ブロックと映像データの位相は毎周期一致しないこと、および映像信号のブランキング期間によりレベル算出が出来ない分割ブロックが生じることが問題となる。
これはフリッカー周期と映像信号が１：１同期せず且つローリングシャッター方式によりライン毎に蓄光レベルが異なることによるもので、フリッカー１周期間のレベルを移動平均で求めても本質的に解決できない問題である。

先行技術文献としては、例えば、特許文献１に、照明の明滅周期より短い畜光時間で高速撮影可能な撮影装置において、それによって撮影画像の信号レベルが変動するフリッカー現象の周期の整数倍に略一致させて該信号レベルの変動パターンを抽出するフィルタ手段と、抽出した変動パターンを記憶する手段と、記憶した変動パターンをもとに画像の信号レベルを一定に補正する手段とを備えた発明が開示されている。

特開２０１３−１８７６０３号公報

本発明の目的は、照明装置が点滅し、且つ撮像装置がローリングシャッター方式により発生するフリッカー現象を補正することである。

本発明のフリッカー補正装置は、照明の明滅周期より短い蓄光時間で高速撮影された映像のフリッカーを抑圧補正するフリッカー補正装置であって、フリッカー周期の１／Ｎ時間に映像信号を分割して、分割したブロックごとに求めたＮ個の映像信号の平均値を用いてフリッカー１周期の変動パターンを抽出する周期信号抽出部と、抽出した変動パターンからフリッカー成分と映像成分を分離するＮサンプル高速フーリエ変換部と、映像信号と分離したフリッカー成分を乗算する乗算部を有することを特徴とする。

また、周期信号抽出部は、さらに、Ｎ個の平均値各々に対してリカーシブフィルタ処理を施すことが好ましい。

また、ＮサンプルＦＦＴ部は、周期信号抽出部で求めたフリッカー１周期の変動パターンに対して、Ｎをサンプル数とした高速フーリエ変換を行うことで、フリッカー成分と映像成分を分割することが好ましい。

さらに、フリッカー補正処理を映像信号のＲ，Ｇ，Ｂ信号ごとに個別に行うことが好ましい。

本発明によれば、照明装置が点滅し、且つ撮像装置がローリングシャッター方式により発生するフリッカー現象を補正することができる。
また、本発明によれば、簡単なデジタル信号処理を用いて、フリッカーのある光源を使った撮影に起因するカメラ映像のレベル変化を補正し、フリッカーによるちらつきの無い、または少ない映像信号を提供することができる。

本発明の一実施例に係るフリッカー補正装置を説明するためのブロック図である。 本発明の一実施例に係るフリッカー補正装置の動作を説明するためのタイミングチャートである。 フリッカー現象が発生する原理を説明するための図である。 一般的なノイズ成分の分離手法を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は本発明の一実施例に係るフリッカー補正装置を説明するためのブロック図である。
本発明の一実施例は、デジタル回路、またはマイクロプロセッサ、あるいはデジタルシグナルプロセッサを用いて実施されるものである。
なお、図では省略しているが、カメラ信号処理において、赤、緑、青の各信号を個別に処理するものと同様に、本実施例でも赤、緑、青の信号それぞれについて処理することにより、光源の赤、緑、青の蛍光体が持つ異なった時定数にも対応可能となる。

図１において、フリッカー補正装置は、映像分割平均値算出部１００、周期信号抽出部１１０、映像成分除去部１２０、補正信号生成部１３０、乗算部１０７で構成されている。
周期信号抽出部１１０は、係数乗算部（ｋ）１０１、係数乗算部（１−ｋ）１０２、加算部１０３、メモリ部１０４で構成されている。なお、ｋは１以下である。
映像成分除去部１２０は、ＮサンプルＦＦＴ（Fast Fourier Transform、高速フーリエ変換）部１０５で構成されている。
補正信号生成部１３０は、補正利得算出部１０６で構成されている。

映像分割平均値算出部１００は、本線映像信号をフリッカー周期の１／Ｎ（Ｎは正数）にLine（水平走査線）単位で分割し、各ブロックの平均値を算出する。Ｎ個の平均値は、係数乗算部（ｋ）１０１、係数乗算部（１−ｋ）１０２、加算部１０３、Ｎ段のメモリ部１０４で構成されるリカーシブフィルタで、各段において複数回積分する。
この積分した値をメモリ部４に記憶し、１周期分（Ｎまで）をＮサンプルＦＥＴ部１０５に出力する。

ＮサンプルＦＦＴ部１０５は、複数回積分されたＮ個の平均値で構成されるフリッカー１周期のデータを入力して、基本波（フリッカー）の平均値ＤＣ、振幅Ａ、初期位相φを出力する。
なお、Ｎは、フリッカー周波数f（１００Ｈｚまたは１２０Ｈｚ）に対してサンプリング定理を満たし、且つＦＦＴ結果より基本波にフリッカー成分が現れる数値に設定する必要がある。例えば、２，４，８，１６、・・・というように２のべき乗にする。

補正利得算出部１０６は、基本波の平均値ＤＣ、振幅Ａ、初期位相φと、既知であるフリッカー周波数f（１００Ｈｚまたは１２０Ｈｚ）を用いてフリッカー補正信号を（式１）で算出する。
フリッカー補正信号＝Ａ×ｓｉｎ（２πｆ×t ＋ Φ）＋ＤＣ ・・・（式１）
ここで、Φ＝φ＋π−(信号処理遅延位相)
であり、本線映像信号とフリッカー補正信号の位相を１８０度ずらす。

乗算器１０７は、本線映像信号とフリッカー補正信号を乗算することにより、フリッカーを補正（低減）した補正映像信号を出力する。

次に、本発明の一実施例であるリカーシブフィルタ処理について図２を用いて説明する。
図２は本発明の一実施例に係るフリッカー補正装置の動作を説明するためのタイミングチャートである。
本発明の一実施例では、フリッカー周期の１／Ｎ期間に分割したブロックごとに平均値を求め、Ｎ個の平均値各々に対してリカーシブフィルタ処理を行う。

本発明の一実施例であるリカーシブフィルタ処理は、フリッカー周波数（例えば、１００Ｈｚ）と映像信号（例えば、２３９．７６ｆｐｓ）の周期が一致しないことにより、分割ブロックに含まれる映像信号のブランキングの影響を軽減できる。

本発明の一実施例であるリカーシブフィルタ処理は、ＮサンプルＦＦＴ部１０５で分割ブロック数Ｎをサンプル数としてフーリエ変換することで基本波、すなわちフリッカー成分とそれ以外の映像成分等の雑音成分を高い精度で分離する。フリッカー成分はフリッカー補正信号として使用する。

乗算器１０７は、本線映像信号とフリッカー補正信号を乗算することにより、フリッカーを補正（低減）した補正映像信号を出力することができる。
本実施例により、光源のフリッカー周波数１００Ｈｚ、１２０Ｈｚどちらでも対応した補正した映像信号を得ることができる。

本発明の一実施例であるフリッカー補正装置は、映像信号をフリッカー周期の１／Ｎで分割することでフリッカーを補正するものなので、カメラ撮影スピード（２，３，４，・・・倍）に影響を受けない。
また、リカーシブフィルタの出力により、周期性のある信号のみを抽出することが可能となり、被写体の動きといった、照明のフリッカーと関係のない変動を除外することができる。

本発明の実施形態であるフリッカー補正装置は、照明装置が点滅し、且つ撮像装置がローリングシャッター方式により発生するフリッカー現象を補正することができる。

本発明の映像成分除去、補正信号生成を高速度カメラに内蔵した場合、各種映像信号処理の前、後、或いは途中の任意箇所で行ったり、組み合わせたりすることができる。あるいはデジタルＡＧＣ処理を本例の映像信号処理装置の内側または後で行うことで、フリッカー除去を緩やかなレベル変動に抑えることができる。
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。

映像信号をフリッカー周期の１／Ｎで分割してフリッカー成分を分離することによって、カメラ撮影スピード（露光時間）を可変する用途に適用できる。

１００：映像分割平均値算出部、１０１：係数乗算部（ｋ）、１０２：係数乗算部（１−ｋ）、１０３：加算部、１０４：メモリ部、１０５：ＮサンプルＦＦＴ部、１０６：補正利得算出部、１０７：乗算部、１１０：周期信号抽出部、１２０：映像成分除去部、１３０：補正信号生成部。

Claims (4)

1. 照明の明滅周期より短い蓄光時間で高速撮影された映像のフリッカーを抑圧補正するフリッカー補正装置において、
   フリッカー周期の１／Ｎ（Ｎは正数）時間に映像信号を分割して、分割したブロックごとに求めたＮ個の映像信号の平均値を用いてフリッカー１周期の変動パターンを抽出する周期信号抽出部と、抽出した変動パターンからフリッカー成分と映像成分を分離するＮサンプル高速フーリエ変換部と、前記映像信号と前記分離したフリッカー成分を乗算する乗算部を有することを特徴とするフリッカー補正装置。
2. 請求項１に記載のフリッカー補正装置において、
   前記周期信号抽出部は、さらに、Ｎ個の平均値各々に対してリカーシブフィルタ処理を施すことを特徴とするフリッカー補正装置。
3. 請求項２に記載のフリッカー補正装置において、
   前記ＮサンプルＦＦＴ部は、前記周期信号抽出部で求めたフリッカー１周期の変動パターンに対して、Ｎをサンプル数とした高速フーリエ変換を行うことで、フリッカー成分と映像成分を分割することを特徴とするフリッカー補正装置。
4. 請求項１から請求項３に記載のフリッカー補正装置において、
   前記フリッカー補正処理を映像信号のＲ，Ｇ，Ｂ信号ごとに個別に行うことを特徴とするフリッカー補正装置。

Images