JP5094454B2

JP5094454B2 - 撮像装置及びその制御方法

Info

Publication number: JP5094454B2
Application number: JP2008030420A
Authority: JP
Inventors: 健造久
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-02-12
Filing date: 2008-02-12
Publication date: 2012-12-12
Anticipated expiration: 2028-02-12
Also published as: JP2009194440A

Description

本発明は、撮像装置及びその制御方法に関し、特に、画像に生じるフリッカの補正技術に特徴のある撮像装置及びその制御方法に関する。

蛍光灯下で、撮像装置としてのビデオカメラで撮影を行うと、蛍光灯の点滅の周波数とビデオカメラのサンプリングの周波数の関係からフリッカが生じる。東日本ではＮＴＳＣ方式のビデオカメラで撮影を行うと、２０Ｈｚの周期でフリッカが生じる。

フリッカの対策として、露光時間をフリッカの周期と同じ長さにして、どのようなタイミングでサンプリングを行っても、露光時間がフリッカの１周期とすることで、フリッカを生じさせないようにする技術がある。しかしながら、露光時間が１／６０秒より短くなるため感度が悪くなり、画質が劣化する。

フリッカの補正技術として、フリッカの成分を検出して、フリッカ成分に応じて信号にゲインをかける技術がある。

図４は、従来例に係る撮像装置のフリッカの補正回路のブロック構成図である。

図４において、入力された信号は、フリッカ補正部２０２の検出部２０３と補正部２０４に送られる。検出部２０３では画像信号からフリッカ成分を検出する。検出された信号はＣＰＵ１１２に送られる。ＣＰＵ１１２では、検出結果から補正ゲインを算出し、補正部２０４に送る。補正部２０４では命令に従い信号の補正を行う。

図５は、時間に対するフリッカが重畳された信号を示す図である。

図５において、実線は動きのない被写体にフリッカ成分が重畳された信号であり、プロットがサンプリングされた信号の一例である。シャッタースピード、位相によって信号は異なる。

図５は、説明しやすいように、フリッカの周波数９０Ｈｚ、ビデオカメラのサンプリング周波数が６０Ｈｚの場合を示している。フリッカの周波数が９０Ｈｚに対してビデオカメラのサンプリング周波数が６０Ｈｚであるため、ビデオカメラでは３０Ｈｚのフリッカとして生じる。つまり信号としては２値がサンプリングされる。この２値をＳ１、Ｓ２とすると、信号Ｓは

であり、それぞれの信号値のフリッカ成分Δｓ１、Δｓ２は

となる。このフリッカ成分が検出部２０３で検出されたとすると、ＣＰＵ１１２では、Ｓ１、Ｓ２に対するフリッカ補正ゲインＧ１、Ｇ２を算出する。この場合Ｇ１、Ｇ２は

となる。このような補正ゲインを補正部２０４でかければ、フリッカ補正後の出力はＳ１、Ｓ２ともＳとなり、フリッカは補正される。

一方、特許文献１には、ノイズ低減回路を利用してフリッカを低減させる技術が提案されている。即ち、巡回型のノイズ低減回路を用い、画像を複数のフィールドで平均化を行うことで、フリッカの影響を低減している。
特開平５−１３０５５１号公報

しかしながら、ゲインでフリッカを補正すると、ゲインを増加させる部分が生じるのでＳ／Ｎの悪化が懸念される。フリッカ成分を含んだ信号がＳ１、Ｓ２の繰り返しであったとする。ノイズ成分ｘｎを考慮すると信号は

となる。ノイズ成分の二乗平均Ｎは

となる。フリッカ補正すると信号は上述したＧ１、Ｇ２で補正される。ノイズ成分も同様に補正されるため、フリッカ補正後のノイズ成分Ｎ０’は

となり、Δｓ２＝−Δｓ１であることを考慮に入れて算出すると

となる。数７より、ノイズ量はフリッカの補正により増加する。また、ゲインの増加部分と減少部分のムラが生じるため、画質の劣化の懸念となる。

一方、ノイズ低減回路でフリッカを低減しようとすると、動解像度の低下を招き、動きのある被写体では画像の劣化を生じてしまう。

本発明の目的は、ゲインによるフリッカの補正を最適化することでノイズ量の増加を低減することができる撮像装置及びその制御方法を提供することにある。

上記目的を達成するために、本発明の撮像装置は、被写体の光学像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号のフリッカ成分を検出する検出手段と、前記撮像手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正手段と、前記フリッカ補正手段から出力された画像信号のノイズを低減するノイズ低減手段とを備え、前記フリッカ補正手段は、前記ノイズ低減手段のノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする。
上記目的を達成するために、本発明の撮像装置は、被写体の光学像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号のノイズを低減するノイズ低減手段と、前記ノイズ低減手段から出力された画像信号のフリッカ成分を検出する検出手段と、前記ノイズ低減手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正手段とを備え、前記フリッカ補正手段は、前記ノイズ低減手段のノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする。
上記目的を達成するために、本発明の撮像装置の制御方法は、被写体の光学像を光電変換して画像信号を出力する撮像手段を有する撮像装置の制御方法であって、前記撮像手段から出力された画像信号のフリッカ成分を検出する検出ステップと、前記撮像手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正ステップと、前記フリッカ補正ステップが実行された画像信号のノイズを低減するノイズ低減ステップとを備え、前記フリッカ補正ステップは、前記ノイズ低減ステップでのノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする。
上記目的を達成するために、本発明の撮像装置の制御方法は、被写体の光学像を光電変換して画像信号を出力する撮像手段を有する撮像装置の制御方法であって、前記撮像手段から出力された画像信号のノイズを低減するノイズ低減ステップと、前記ノイズ低減ステップが実行された画像信号のフリッカ成分を検出する検出ステップと、前記ノイズ低減ステップが実行された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正ステップとを備え、前記フリッカ補正ステップは、前記ノイズ低減ステップのノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする。

本発明によれば、ゲインによるフリッカの補正を最適化することでノイズ量の増加を低減することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック構成図である。

以下、その構成を動作と併せて説明する。

図１において、光学系１０１は、ズームレンズやフォーカスレンズ、絞り、ＮＤなどを備え、光学系制御回路１０２で制御されている。被写体の光学像は、光学系１０１により撮像部１０３に結像される。結像された光は、撮像部１０３で光電変換され、電気信号に変換される。

撮像部１０３は、ＴＧ（タイミングジェネレータ）１０４で制御されるフレーム速度で画像信号を出力する。出力された信号は、Ａ／Ｄ変換部１０５でアナログからデジタル信号に変換され、画像信号処理部１０６に送られる。

画像信号処理部１０６では、画像信号にガンマ補正やエッジ補正の処理が行われる。

静止画用画像信号は、画像処理後、静止画記録媒体１０７に送られ記録される。動画用画像信号は、ビデオ信号処理部１０８を経て動画記録媒体１０９に送られ記録される。また、動画用画像信号は、表示回路１１０に送られ、ＬＣＤ等の表示装置１１１で表示される。

各部分はＣＰＵ１１２により制御されている。ユーザの操作は操作部１１３により行われ、操作入力によりＣＰＵ１１２に信号が送られ、操作内容が反映される。

＜第１の実施の形態＞
図２は、図１における画像信号処理部の第１の実施の形態のブロック構成図である。

画像信号処理部１０６では、ガンマ補正、輪郭強調、リサイズなど様々な処理を行っているが、図２では、本実施の形態のフリッカ補正に関わる部分を示している。

画像信号処理部１０６は、フリッカ補正部２０２と、フリッカ補正部２０２の後段に配置されるノイズ低減部２０１を備える。

ＣＰＵ１１２には、入力信号の画像情報や各種センサの出力値等がリアルタイムに送られてくる。これらを基に露光やホワイトバランス、フォーカス等の制御が行われている。同様に画像情報やセンサの出力値を基に巡回係数Ｋを算出し、ノイズ低減部２０１に設定する。つまり、ノイズ低減部２０１では、前回の画像情報やセンサの出力値に基づいて信号のノイズの低減を行う。

図１におけるＡ／Ｄ変換部１０５でデジタル信号に変換された信号は、フリッカ補正部２０２に入力される。入力された信号は、検出部２０３と補正部２０４に送られる。検出部２０３では、画像データからフリッカ成分を検出し、検出結果をＣＰＵ１１２に送る。

ＣＰＵ１１２は、フリッカ検出結果と巡回係数Ｋを基にフリッカを補正するためのゲインを決定し、ゲイン値が決定すると補正部２０４にデータを送る。補正部２０４は、このデータに基づきフリッカ補正を行う。

具体的には、補正部２０４は、ノイズ低減部２０１のノイズ低減レベルに応じてフリッカの補正ゲインを変化させてフリッカを補正する。補正が行われた信号は、ノイズ低減部２０１に送られる。この時点ではフリッカ成分はまだ残っている。

ノイズ低減部２０１は、入力信号に１−Ｋを乗算したものとフレームメモリ２０５に保存している１フレーム前の信号にＫを乗算したものを加算して出力する。出力値はフレームメモリ２０５にも保存される。この段階でフリッカ成分は許容レベル内に収まる。

フリッカの補正に関して具体的な例を挙げて説明する。

簡単のために、従来例と同様にフリッカの周波数９０Ｈｚ、ビデオカメラのサンプリング周波数が６０Ｈｚのときを例に挙げて説明する。

フリッカの周波数は９０Ｈｚでサンプリング周波数が６０Ｈｚであるため、ビデオカメラの出力に重畳するフリッカは３０Ｈｚの信号の揺らぎとなる。３０Ｈｚの信号を６０Ｈｚでサンプリングするため、被写体に動きのない場合、ある画素の信号はノイズ成分を無視すると２値を示す。この２信号値をＳ１、Ｓ２とする。

フリッカ補正部２０２に上述の２信号値、Ｓ１、Ｓ２が入力され、補正後の信号をＳ１’、Ｓ２’とし、この２信号を、ノイズ低減部２０１を通し、Ｓ１”、Ｓ２”の出力が得られるとする。これらの信号処理を通しても平均値Ｓは保存される。

まず、ノイズ低減部２０１の入力と出力との関係を説明する。入力する２信号値Ｓ１’、Ｓ２’の平均値Ｓからの差分をΔｓ１’、Δｓ２’とする。２信号の平均値Ｓからの差分の二乗平均を信号の揺らぎ量Δｓとして表すと以下のようになる。

この２信号が巡回フィルタを通過した後の信号Ｓ１”、Ｓ２”は平均値からの差分をΔｓ１”、Δｓ２”とすると以下のように算出される。

巡回フィルタを通過した後の信号の揺らぎ量Δｓ”は以下のようになる。

この式よりフリッカが巡回フィルタで緩和することがわかる。例えば、巡回係数０．５のときは、フリッカの揺らぎ量は３分の２になる。仮に、最終的な揺らぎ量を１までは許容すると、Ｋが０．５のときは、フリッカ補正後の揺らぎ量を１．５としておけばよい。

次に、フリッカ補正について説明する。フリッカ補正の入力値Ｓ１、Ｓ２に対して出力値はＳ１’、Ｓ２’である。最終的な揺らぎ量Δｓ”をＡまで許容する。巡回フィルタ前の揺らぎ量Δｓ’は

となる。補正部２０４で入力信号のフリッカの量Δｓ１、Δｓ２をｘ倍補正すると、Δｓ’は以下のようになる。

この結果からΔｓが

であれば補正の必要はなく、

のときは、上述のｘの値を用いて補正を行う。

従来、ｘは０であるが、本実施の形態では、数１４の係数でフリッカの成分を残す。最終的に残るフリッカ成分の許容量Ａは予め決めておき、Ｋに従ってフリッカを残す量が決まる。このｘを基に補正部２０４で補正するゲインが決まる。

Ｓ１、Ｓ２に対する補正ゲインＧ１’、Ｇ２’は次の値になる。

次に、補正ゲインによるノイズの増加に関して説明する。

数７で示したように、フリッカの補正ゲインＧ１’、Ｇ２’で補正する際、ノイズ成分Ｎ’は以下のように示される。

ここでΔｓ２＝−Δｓ１を利用すると

となる。ｘ＜１であることとフリッカ成分が信号より大きくなることがないことから

となり、数８で算出した従来例のノイズ成分Ｎ０’よりＮ’が小さくなっている。つまり、従来の場合よりフリッカ補正後のノイズ量が減っていることがわかる。

本実施の形態では、フリッカ成分９０Ｈｚ、サンプリング周波数６０Ｈｚの場合について述べてきたが他の場合でも同様である。

ＣＰＵ１１２で、フリッカ補正部２０２の検出部２０３から検出されたフリッカの周波数と、照度などの他要素から決まっている現在の巡回フィルタの係数から、補正ゲインを算出する。

本実施の形態では、巡回型のノイズフィルタを例に挙げたが、異なった時間にサンプリングした複数のデータを利用してノイズを低減する回路であれば同様のことができる。

本実施の形態では、巡回型のノイズ低減回路でフリッカが低減される分を考慮してフリッカの補正量を減らしているため、従来よりもフリッカの補正ゲインを小さくできる、ノイズ量の増加を低減することができる。またノイズのムラも低減することができる。

＜第２の実施の形態＞
図３は、図１における画像信号処理部の第２の実施の形態のブロック構成図である。

画像信号処理部１０６では、ガンマ補正、輪郭強調、リサイズなど様々な処理を行っているが、図２と同様、図３でも本実施の形態のフリッカ補正に関わる部分のみを示している。

画像信号処理部１０６は、フリッカを補正するフリッカ補正部２０２と、フリッカ補正部２０２の前段に配置され、フリッカを低減するノイズ低減部２０１とを備える。

ＣＰＵ１１２には、入力信号の画像情報や各種センサの出力値がリアルタイムに送られてくる。これらを基に露光やホワイトバランス、フォーカス等の制御が行われている。同様に、画像情報やセンサの出力値を基に巡回係数Ｋを算出し、ノイズ低減部２０１に設定する。

図１におけるＡ／Ｄ変換部１０５でデジタル信号に変換された信号は、巡回型のノイズ低減部２０１に送られる。ノイズ低減部２０１は、入力信号に１−Ｋを乗算したものとフレームメモリ２０５に保存している１フレーム前の信号にＫを乗算したものを加算して出力する。出力値はフレームメモリ２０５にも保存される。

この際、巡回型のノイズ低減部２０１でフリッカ成分は低減される。ノイズ低減部２０１の出力値がフリッカ補正部２０２に入力される。入力された信号は検出部２０３と補正部２０４に送られる。

検出部２０３は、画像データからフリッカ成分を検出し、検出結果をＣＰＵ１１２に送る。ＣＰＵ１１２は、フリッカ成分の検出結果からフリッカ補正ゲインを算出し、補正部２０４に送る。補正部２０４は、ＣＰＵ１１２の命令に従い、フリッカを補正する。

本実施の形態の構成でフリッカ補正を行えば、巡回型のノイズ低減回路で補正された後にフリッカの振幅を検出するのでフリッカの補正ゲインを従来より低くすることができる。よって全体のノイズ量を減らすことができる。またフリッカ補正によるノイズのムラも緩和することができる。

本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック構成図である。図１における画像信号処理部の第１の実施の形態のブロック構成図である。図１における画像信号処理部の第２の実施の形態のブロック構成図である。従来例に係る撮像装置のフリッカの補正回路のブロック構成図である。時間に対するフリッカが重畳された信号を示す図である。

符号の説明

１０３撮像部
１０６画像信号処理部
１０８ビデオ信号処理部
１１２ＣＰＵ
２０１ノイズ低減部
２０２フリッカ補正部
２０３検出部
２０４補正部
２０５フレームメモリ

Claims

被写体の光学像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号のフリッカ成分を検出する検出手段と、
前記撮像手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正手段と、
前記フリッカ補正手段から出力された画像信号のノイズを低減するノイズ低減手段とを備え、
前記フリッカ補正手段は、前記ノイズ低減手段のノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする撮像装置。
前記ノイズ低減手段は、前記フリッカ補正手段から出力された第１の画像信号と前記フリッカ補正手段から前記第１の画像信号よりも前に出力された第２の画像信号とを加算することで前記第１の画像信号のノイズを低減し、
前記フリッカ補正手段は、前記第１の画像信号に加算する前記第２の画像信号の比率に基づいて、前記ゲインを制御することを特徴とする請求項１に記載の撮像装置。
前記フリッカ補正手段は、前記検出手段により検出された前記フリッカ成分の大きさが、前記第１の画像信号に加算する前記第２の画像信号の比率に基づいて設定された閾値未満の場合、前記第１の画像信号のフリッカ成分を低減しないことを特徴とする請求項２に記載の撮像装置。
前記閾値は、前記第１の画像信号に加算する前記第２の画像信号の比率が大きいほど大きい値に設定されることを特徴とする請求項３に記載の撮像装置。
被写体の光学像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号のノイズを低減するノイズ低減手段と、
前記ノイズ低減手段から出力された画像信号のフリッカ成分を検出する検出手段と、
前記ノイズ低減手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正手段とを備え、
前記フリッカ補正手段は、前記ノイズ低減手段のノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする撮像装置。
被写体の光学像を光電変換して画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段から出力された画像信号のフリッカ成分を検出する検出ステップと、
前記撮像手段から出力された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正ステップと、
前記フリッカ補正ステップが実行された画像信号のノイズを低減するノイズ低減ステップとを備え、
前記フリッカ補正ステップは、前記ノイズ低減ステップでのノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする撮像装置の制御方法。
被写体の光学像を光電変換して画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段から出力された画像信号のノイズを低減するノイズ低減ステップと、
前記ノイズ低減ステップが実行された画像信号のフリッカ成分を検出する検出ステップと、
前記ノイズ低減ステップが実行された画像信号に対するゲインを制御して当該画像信号のフリッカ成分を低減するフリッカ補正ステップとを備え、
前記フリッカ補正ステップは、前記ノイズ低減ステップのノイズ低減レベルに基づいて前記ゲインを制御することを特徴とする撮像装置の制御方法。