JP6843651B2 - 画像処理装置、画像処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、及び、プログラムに関する。

様々な環境下で視認性の高い画像を撮影することがネットワークカメラに望まれている。しかし、ネットワークカメラの撮像部が回動（パン方向の駆動、又は、チルト方向の駆動）した場合に、映像が流れて、視認性に欠けた画像となってしまうことがある。
この点に関して、特許文献１では、次の技術が開示されている。すなわち、監視カメラのパン・チルト方向への回動速度ＶＰ、ＶＴを検出し、それが予め設定された閾値ＶＰｔｈ、ＶＴｔｈよりも大きい場合には画像信号に対して加工処理を施し、表示画像の輝度、コントラスト、又は解像度を低下させる。

特開２００６−９４４５０号公報

ここで、ノイズを抑圧する処理として、巡回型ノイズ抑圧処理が知られている。巡回型ノイズ抑圧処理では、対象フレームの画像の信号値と対象フレームの一つ前のフレームの画像の信号値との差分からノイズ成分を抽出して除去する。巡回型ノイズ抑圧処理では、異なる時間に撮影された複数のフレームの画像を用いて処理が行われるため、強い強度で巡回型ノイズ抑圧処理を行うと残像が発生して視認性が確保できないことがある。
しかしながら、特許文献１では、巡回型ノイズ抑圧処理における視認性の問題については触れられていない。

本発明は、視認性の高い画像を得ることを目的とする。

本発明の画像処理装置は、回動可能な撮像部で撮影された複数のフレームの画像からなる動画像の処理を行う画像処理装置であって、前記撮像部の回動速度を取得する取得手段と、前記複数のフレームの１つである対象フレームの画像と、前記対象フレームより前の前記フレームの画像とに基づいて、前記対象フレームの画像に対して巡回型ノイズ抑圧処理を行う処理手段と、前記取得手段によって取得された前記撮像部の回動速度が所定の速度範囲の速度より速いとき、前記巡回型ノイズ抑圧処理の強度を所定の強度に決定し、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度よりも弱い強度に決定する決定手段と、を備え、前記決定手段は、前記撮像部の回動速度が前記所定の速度範囲の速度より遅いとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度に決定することを特徴とする。

本発明によれば、視認性の高い画像を得ることができる。

撮像装置のブロック図である。 第１実施形態の巡回ＮＲ制御処理のフローチャートである。 巡回ＮＲ強度グラフの例を示す図である。 巡回ＮＲ強度グラフの例を示す図である。 第２実施形態の巡回ＮＲ制御処理のフローチャートである。 第２実施形態の変形例の巡回ＮＲ制御処理のフローチャートである。 第３実施形態の巡回ＮＲ制御処理のフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
＜第１実施形態＞
まず、図１を参照して、第１実施形態の撮像装置１００の構成について説明する。図１は、撮像装置１００のブロック図である。撮像装置１００は、画像処理装置の例であり、例えばネットワークカメラである。撮像装置１００は、撮像部１１０と、システム制御部１２０と、システムメモリ１３０と、不揮発性メモリ１４０と、画像表示部１５０とを備える。

撮像部１１０は、パン方向、及び、チルト方向に回動可能であり、複数のフレームの画像からなる動画像を撮影できる。撮像部１１０は、レンズ群、ＩＲＣＦ、撮像素子、ＣＤＳ回路、ＡＧＣアンプ、及び、Ａ／Ｄ変換器を備える。撮像部１１０をカメラ部とも呼ぶ。
撮像部１１０のレンズ群は、被写体の光学像を撮像素子に結像させる。
撮像部１１０のＩＲＣＦは、赤外光除去フィルタ（Ｉｎｆｒａｒｅｄ Ｒａｙ Ｃｕｔ Ｆｉｌｔｅｒ）である。撮像部１１０が被写体を撮影すると、レンズ群、及び、ＩＲＣＦを通過した光学像が撮像素子に結像される。
撮像部１１０の撮像素子は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。撮像素子は、結像された光学像を光電変換して、アナログ画像信号として出力する。

撮像部１１０のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路は、撮像素子から入力した電気信号に対して相関二重サンプリング処理等を実施する。
撮像部１１０のＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプは、ＣＤＳ回路から入力された電気信号に対して増幅処理等を行う。
撮像部１１０のＡ／Ｄ変換器は、ＡＧＣアンプによって増幅処理されたアナログ信号をデジタル信号へと変換する。

システム制御部１２０は、少なくとも１つのプロセッサを有する制御部であり、撮像装置１００全体を制御する。システム制御部１２０が不揮発性メモリ１４０に記録されたプログラムをシステムメモリ１３０に展開し、展開されたプログラムをシステム制御部１２０が実行することで、図２等のフローチャートの処理が実現される。
システムメモリ１３０には、ＲＡＭが用いられ、システム制御部１２０の動作用の定数、変数、不揮発性メモリ１４０から読み出したプログラム等が展開される。

不揮発性メモリ１４０は、記憶媒体の例であり、電気的に消去・記録可能なメモリである。不揮発性メモリ１４０には例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１４０には、システム制御部１２０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。
画像表示部１５０は、撮像部１１０で撮影され、システム制御部１２０で処理された動画像等を表示可能なモニタである。

システム制御部１２０は、画像信号処理部１２１と、回動制御部１２２と、回動速度取得部１２３と、強度決定部１２４とを備える。これらは、システム制御部１２０が不揮発性メモリ１４０に記録されたプログラムを実行することで実現される機能である。
画像信号処理部１２１は、撮像部１１０のＡ／Ｄ変換器で変換されたデジタル信号に基づいて、画像信号処理を行う。画像信号処理には、ＷＢ（ホワイトバランス）処理、ガンマ補正処理、及び、ＮＲ（ノイズ抑圧）処理等が含まれる。画像信号処理部１２１は、処理手段の例である。画像表示部１５０は、画像信号処理部１２１で処理された画像を表示する。

画像信号処理部１２１が行うＮＲ処理には、巡回型ノイズ抑圧処理（以降では、巡回ＮＲとも呼ぶ）が含まれる。
ここで、巡回ＮＲについて説明する。巡回ＮＲは、対象フレームの画像と、時間方向について対象フレームより前のフレームの画像に基づいて、対象フレームの画像に対して行うノイズ抑圧処理の１つである。対象フレームより前のフレームには、対象フレームの１つ前のフレームが使われる。対象フレームは、撮像部１１０が撮影する画像のフレームの１つであり、例えば、撮像部１１０が直近に撮影した画像のフレームである。

より具体的に巡回ＮＲについて説明する。対象フレームの画像の信号値をＡ_N、対象フレームの１つ前のフレームの画像の巡回ＮＲ後の信号値をＡ’_N-1、巡回係数をＫ（０≦Ｋ≦１）とすると、対象フレームの画像の巡回ＮＲ後の信号値Ａ’_Nは、次の式（１）で表すことができる。
Ａ’_N ＝ Ｋ×Ａ’_N-1＋（１−Ｋ）×Ａ_N ＝ Ａ_N−Ｋ×（Ａ_N−Ａ’_N-1） ・・・ （１）
このように対象フレームの画像の信号値をＡ’_Nにする処理が巡回ＮＲである。
巡回係数Ｋは、巡回ＮＲの強度を表し、巡回係数Ｋが大きくなるにつれて巡回ＮＲの強度が強くなることを表す。式（１）から分かるように、巡回係数Ｋが大きくなるにつれて、Ａ’_NはＡ’_N-1に近づく。また、巡回係数Ｋが小さくなるにつれて、Ａ’_NはＡ_Nに近づく。
なお、撮像装置１００の初期状態において、巡回ＮＲの強度は強度Ｓ１であるものとする。

回動制御部１２２は、撮像部１１０をパン方向、又は、チルト方向へ駆動させて、撮像部１１０を回動させる制御を行う。より具体的には、回動制御部１２２は、回動制御信号を撮像部１１０が備える駆動部に出力することで、駆動部が回動制御信号に基づいて撮像部１１０を回動させる。回動制御信号には、駆動角度、移動量、回動速度等の情報が含まれる。
回動速度取得部１２３は、撮像部１１０の回動速度Ｖを取得する。回動速度取得部１２３は、撮像部１１０から撮像部１１０の回動速度Ｖを取得してもよく、回動制御部１２２が生成した情報から撮像部１１０の回動速度Ｖを取得してもよい。回動速度取得部１２３は、取得手段の例である。
強度決定部１２４は、撮像部１１０の回動速度Ｖに基づいて、巡回ＮＲの強度を決定する。画像信号処理部１２１は、強度決定部１２４によって決定された巡回ＮＲの強度で、巡回ＮＲを行う。強度決定部１２４は、決定手段の例である。

次に、図２を参照して、巡回ＮＲ制御処理について説明する。図２は、巡回ＮＲ制御処理のフローチャートである。巡回ＮＲ制御処理は、巡回ＮＲの強度を決定して巡回ＮＲの制御を行う処理である。巡回ＮＲ制御処理は、図１に示す撮像装置１００の各部が協働して実行される。
ステップＳ２０１において、回動制御部１２２は、回動制御信号を出力して、撮像部１１０の回動を制御する。撮像部１１０は、回動制御部１２２の制御に基づいて、パン方向、又は、チルト方向へ駆動して回動する。
ステップＳ２０２において、回動速度取得部１２３は、撮像部１１０の回動速度Ｖを取得する。

ステップＳ２０３において、強度決定部１２４は、回動速度取得部１２３によって取得された撮像部１１０の回動速度Ｖが、予め定められた所定の速度範囲である規定速度範囲に含まれるか否かを判定する。
ここで、規定速度範囲について説明する。規定速度範囲は、回動速度Ｖが、第１速度Ｖ１と第１速度Ｖ１より遅い速度である第２速度Ｖ２とを用いた次の式（２）を満たす範囲である。
Ｖ２＜Ｖ＜Ｖ１ ・・・ （２）
第１速度Ｖ１は、予め定められた閾値となる所定の速度である。第１速度Ｖ１は、例えば、物が第１速度Ｖ１以上の速度で動くとき人が目で追うことが困難になる、という条件を満たすように設定される。なお、第１速度Ｖ１は、人の平均的な歩く速度等にしてもよく、撮像装置１００の用途や性能によって、実験的又は経験的に設定されるものとする。
第２速度Ｖ２は、本実施形態においては、「０」である。ただし、第２速度Ｖ２は、「０」より大きくてもよい。

ステップＳ２０３において、強度決定部１２４は、回動速度取得部１２３によって取得された撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、処理をステップＳ２０５に進める。したがって、ステップＳ２０３において、強度決定部１２４は、撮像部１１０の回動速度Ｖが、第１速度Ｖ１より遅く、かつ、０より速いとき、処理をステップＳ２０５に進める。
また、強度決定部１２４は、撮像部１１０の回動速度Ｖが、規定速度範囲の任意の速度より大きいとき、又は、撮像部１１０の回動速度Ｖが、規定速度範囲の任意の速度より遅いとき、処理をステップＳ２０４に進める。

ステップＳ２０４において、強度決定部１２４は、巡回ＮＲの強度を、初期状態から変更せず、初期状態の強度Ｓ１にする決定を行う。
ステップＳ２０５において、強度決定部１２４は、巡回ＮＲの強度を強度Ｓ１より弱い強度Ｓ２にする決定を行う。強度Ｓ２は、巡回ＮＲを行った画像で許容できるＳ／Ｎ比となる強度にしたり、巡回ＮＲを行った時に画像に残像が確実に表れなくなるような強度にしたりしてもよく、撮像装置１００の用途や性能によって、実験的又は経験的に設定されるものとする。
画像信号処理部１２１は、ステップＳ２０４又はステップＳ２０５において強度決定部１２４によって決定された巡回ＮＲの強度で、撮像部１１０で撮影された対象フレームの画像に対して巡回ＮＲを行う。そして、画像表示部１５０は、巡回ＮＲがなされた画像を表示する。対象フレームの画像は、直近に撮像部１１０で撮影された画像である。撮像部１１０が撮影中は、画像信号処理部１２１は巡回ＮＲを継続する。

次に、図３を参照して、図２のステップＳ２０４、又は、ステップＳ２０５で決定される巡回ＮＲの強度の例について説明する。図３は、巡回ＮＲ強度グラフの例を示す図である。巡回ＮＲ強度グラフの横軸は、撮像部１１０の回動速度Ｖである。巡回ＮＲ強度グラフの縦軸は、巡回ＮＲの強度である。
図３に示すように、強度決定部１２４は、撮像部１１０の回動速度Ｖが第２速度Ｖ２（０）のときの巡回ＮＲの強度を強度Ｓ１に決定する。ただし、強度決定部１２４は、撮像部１１０の回動速度Ｖが第２速度Ｖ２（０）のときの巡回ＮＲの強度を、強度Ｓ１以外の強度であって、強度Ｓ２より強い強度に決定してもよい。また、強度決定部１２４は、撮像部１１０の回動速度Ｖが「Ｖ２＜Ｖ＜Ｖ１」を満たすときの巡回ＮＲの強度を強度Ｓ２に決定する。また、強度決定部１２４は、撮像部１１０の回動速度Ｖが第１速度Ｖ１以上のときの巡回ＮＲの強度を強度Ｓ１に決定する。

本実施形態では、ステップＳ２０３において、撮像部１１０の回動速度Ｖが第１速度Ｖ１のとき、強度決定部１２４は、処理をステップＳ２０４に進める。しかし、撮像部１１０の回動速度Ｖが第１速度Ｖ１のときの扱いは、この例に限定されるものではない。したがって、ステップＳ２０３において、撮像部１１０の回動速度Ｖが第１速度Ｖ１のときは、強度決定部１２４は、処理をステップＳ２０５に進めてもよい。すなわち、規定速度範囲を次の式（３）のように定めてもよい。
Ｖ２＜Ｖ≦Ｖ１ ・・・ （３）

ここで、撮像部１１０を回動させて撮影する場合、巡回ＮＲの強度が強くなるにつれて、巡回ＮＲの影響で画像全体の残像が強くなる。
しかし、本実施形態の強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、撮像部１１０の回動速度Ｖが規定速度範囲の速度より速いときと比べて、巡回ＮＲの強度を弱くする。
よって、回動速度Ｖが規定速度範囲に含まれるときは、巡回ＮＲの強度が弱くなるため、画像に表れる残像の影響が小さくなり、視認性の高い画像を得ることができる。また、撮像部１１０の回動速度Ｖが規定速度範囲の速度より速いときは、人の目で残像を認識することが困難になるため、画像に残像が表れても視認性に与える影響は小さい。したがって、本実施形態の撮像装置１００によって、全体として視認性の高い画像を得ることができる。

また、規定速度範囲は、上記の式（２）で表される。そして、式（２）の第２速度Ｖ２は「０」である。よって、撮像部１１０が回動していないときは、強い強度である強度Ｓ１で巡回ＮＲが実行される。撮像部１１０が回動していないときは、撮像部１１０が撮影する被写体が動いていないことも多く、強い強度で巡回ＮＲを実行しても画像に残像が表れず、巡回ＮＲによって視認性の高い画像を得ることができる。

なお、ステップＳ２０５において、強度決定部１２４は、図４に示すように、巡回ＮＲの強度を決定してもよい。図４は、巡回ＮＲ強度グラフの他の例を示す図である。すなわち、図４に示すように、強度決定部１２４は、巡回ＮＲの強度を、撮像部１１０の回動速度Ｖが規定速度範囲の下限側（第２速度Ｖ２の側）から第３速度に近づくにつれて、弱くなっていく強度に決定してもよい。また、強度決定部１２４は、巡回ＮＲの強度を、撮像部１１０の回動速度Ｖが第４速度Ｖ４から規定速度範囲の上限側（第１速度Ｖ１の側）に近づくにつれて、強くなっていく強度に決定してもよい。
第３速度Ｖ３、及び、第４速度Ｖ４は、共に規定速度範囲に含まれる。また、第３速度Ｖ３は、第４速度Ｖ４以下である。

このように、強度決定部１２４は、撮像部１１０の回動速度Ｖに応じて、巡回ＮＲの強度を連続的に変更する。これにより、巡回ＮＲの強度の切り替わりによる画像の急峻な変化を防ぐ事が可能である。なお、巡回ＮＲの強度の連続的な変更度合いや変更タイミング等の処理方法は、撮像装置１００の用途や性能によって、実験的又は経験的に設定されるものとする。

＜第２実施形態＞
次に、第２実施形態の撮像装置１００について説明する。上記の実施形態と同様の点は、同符号を付して説明を省略する。
まず、本実施形態の撮像装置１００が備える被写体追尾機能について説明する。被写体追尾機能は、撮像部１１０が被写体を追尾するように、システム制御部１２０が撮像部１１０を制御する機能である。
次に、本実施形態の撮像装置１００の構成について説明する。
本実施形態のシステム制御部１２０は、図１に示す各部に加えて、更に、被写体追尾部を備える。被写体追尾部は、撮像部１１０が撮影した画像に基づいて、被写体の位置を検出する。また、被写体追尾部は、検出した被写体の位置に基づいて、撮像部１１０の駆動角度、移動量、回動速度等の情報を決定する。
回動制御部１２２は、被写体追尾部が決定した撮像部１１０の駆動角度、移動量、回動速度等の情報に基づいて、撮像部１１０を回動させる制御を行う。
被写体追尾機能は、被写体追尾部、及び、回動制御部１２２によって実現される。

次に、図５を参照して、本実施形態の巡回ＮＲ制御処理について説明する。図５は、巡回ＮＲ制御処理のフローチャートである。
ステップＳ５０１からステップＳ５０３までは、図２のステップＳ２０１からステップＳ２０３までと同様である。ただし、ステップＳ５０３において、強度決定部１２４は、回動速度取得部１２３によって取得された撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、処理をステップＳ５０７に進める。また、強度決定部１２４は、撮像部１１０の回動速度Ｖが、規定速度範囲の任意の速度より大きいとき、又は、撮像部１１０の回動速度Ｖが、規定速度範囲の任意の速度より小さいとき、処理をステップＳ５０４に進める。

ステップＳ５０４において、強度決定部１２４は、撮像装置１００の被写体追尾機能が実行されているか否かを判定する。強度決定部１２４は、被写体追尾機能が実行中のとき処理をステップＳ５０５に進め、被写体追尾機能が実行中でないとき処理をステップＳ５０６に進める。

ステップＳ５０５において、強度決定部１２４は、巡回ＮＲの強度を強度Ｓ１より弱い強度（例えば強度Ｓ２）にする決定を行う。
ステップＳ５０６において、強度決定部１２４は、巡回ＮＲの強度を、初期状態から変更せず、初期状態の強度Ｓ１にする決定を行う。
ステップＳ５０７において、強度決定部１２４は、巡回ＮＲの強度を強度Ｓ１より弱い強度（例えば強度Ｓ２）にする決定を行う。
画像信号処理部１２１は、ステップＳ５０５からステップＳ５０７までのいずれかにおいて強度決定部１２４によって決定された巡回ＮＲの強度で、撮像部１１０で撮影された対象フレームの画像に対して巡回ＮＲを行う。そして、画像表示部１５０は、巡回ＮＲがなされた画像を表示する。

ここで、撮像装置１００が監視用として使われている場合、撮像装置１００の撮像部１１０が被写体を追尾していることがある。
本実施形態の強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲の速度より速い場合であっても、被写体追尾機能が実行中のとき、巡回ＮＲの強度を弱くする。
したがって、被写体追尾機能が実行中のときは、撮像部１１０の回動速度Ｖが速くても、巡回ＮＲによって画像に残像が表れることが抑制され、視認性の高い画像を得ることができる。

＜第２実施形態の変形例＞
次に、第２実施形態の変形例の撮像装置１００について説明する。第２実施形態と同様の点は、同符号を付して説明を省略する。
まず、撮像部１１０の動作モードについて説明する。撮像部１１０は、動作モードとして、第１モードと、第２モードとを備える。第１モードは、デイモードであり、撮像部１１０が可視光に基づいて撮影するモードである。第１モードでは、撮像部１１０はカラーの画像を撮影する。第２モードは、ナイトモードであり、撮像部１１０が、可視光、及び、赤外光に基づいて撮影するモードである。第２モードでは、被写体からの光がＩＲＣＦを通過しないように制御され、撮像部１１０は、白黒の画像を撮影する。

次に、撮像装置１００の構成について説明する。
撮像装置１００は、第２実施形態の撮像装置１００の各部に加えて、更に、赤外照明部を備える。赤外照明部は、システム制御部１２０の制御に基づいて、赤外照明を行う。
システム制御部１２０は、上記の実施形態のシステム制御部１２０の各部に加えて、更に、シャッタ速度制御部、モード設定部、照明制御部、第１閾値設定部、及び、第２閾値設定部を備える。
システム制御部１２０のシャッタ速度制御部は、撮像装置１００の被写体追尾機能が実行されているとき、撮像装置１００の被写体追尾機能が実行されていないときと比べて、撮像部１１０のシャッタ速度が速くなるように撮像部１１０を制御する。

システム制御部１２０のモード設定部は、被写体の照度と第１照度閾値とに基づいて撮像部１１０の動作モードを設定する。より具体的には、モード設定部は、例えば、被写体の照度が第１照度閾値以上のとき動作モードを第１モードに設定し、被写体の照度が第１照度閾値未満のとき動作モードを第２モードに設定する。第１照度閾値は、第１閾値設定部で設定される閾値である。モード設定部は、被写体の照度を、例えば、撮像部１１０が備える撮像素子の出力信号に基づいて取得してもよく、撮像装置１００が備える照度センサから取得してもよい。

システム制御部１２０の照明制御部は、動作モードが第２モードのときに、被写体の照度と第２照度閾値とに基づいて赤外照明を制御する。より具体的には、照明制御部は、例えば、被写体の照度が第２照度閾値未満のとき、赤外照明部を制御して赤外照明を行う。また、照明制御部は、例えば、被写体の照度が第２照度閾値以上のとき、赤外照明部を制御して赤外照明を停止する。

システム制御部１２０の第１閾値設定部は、撮像装置１００の被写体追尾機能が実行されているとき、撮像装置１００の被写体追尾機能が実行されていないときと比べて、第１照度閾値を大きい値にする。
システム制御部１２０の第２閾値設定部は、撮像装置１００の被写体追尾機能が実行されているとき、撮像装置１００の被写体追尾機能が実行されていないときと比べて、第２照度閾値を大きい値にする。

次に、図６を参照して、本変形例の巡回ＮＲ制御処理について説明する。図６は、巡回ＮＲ制御処理のフローチャートである。
図６のステップＳ６０１からステップＳ６０７までは、図５のステップＳ５０１からステップＳ５０７までと同様である。
ステップＳ６０８において、シャッタ速度制御部は、撮像部１１０のシャッタ速度が速くなるように撮像部１１０を制御する。より具体的には、シャッタ速度制御部は、撮像部１１０のシャッタ速度が高速側のシャッタ速度である第１シャッタ速度になるように制御する。
ステップＳ６０９において、第１閾値設定部は、第１照度閾値を大きくする。より具体的には、第１閾値設定部は、第１照度閾値を、後述の第１低照度閾値より大きい値の第１高照度閾値にする。
ステップＳ６１０において、第２閾値設定部は、第２照度閾値を大きくする。より具体的には、第２閾値設定部は、第２照度閾値を、後述の第２低照度閾値より大きい値の第２高照度閾値にする。

ステップＳ６１１において、シャッタ速度制御部は、撮像部１１０のシャッタ速度が遅くなるように撮像部１１０を制御する。より具体的には、シャッタ速度制御部は、撮像部１１０のシャッタ速度が低速側のシャッタ速度である第２シャッタ速度になるように制御する。
ステップＳ６１２において、第１閾値設定部は、第１照度閾値を第１高照度閾値より小さくする。より具体的には、第１閾値設定部は、第１照度閾値を第１低照度閾値にする。
ステップＳ６１３において、第２閾値設定部は、第２照度閾値を第２高照度閾値より小さくする。より具体的には、第２閾値設定部は、第２照度閾値を第２低照度閾値にする。

以上説明した通り、本変形例では、シャッタ速度制御部は、撮像装置１００の被写体追尾機能が実行されているとき、撮像装置１００の被写体追尾機能が実行されていないときと比べて、撮像部１１０のシャッタ速度が速くなるように撮像部１１０を制御する。よって、巡回ＮＲが行われるフレームの画像に残像が表れることが抑制される。したがって、視認性の高い画像を得ることができる。

また、被写体の照度が低いときは、撮像素子等のゲインが高くなり、巡回ＮＲでの残像の影響が大きくなる。しかし、本変形例の第１閾値設定部は、被写体追尾機能が実行されているとき、被写体追尾機能が実行されていないときと比べて、第１照度閾値を大きい値にする。また、第２閾値設定部は、被写体追尾機能が実行されているとき、被写体追尾機能が実行されていないときと比べて、第２照度閾値を大きい値にする。したがって、被写体の照度が低いときは、早めに動作モードが第２モードになったり、赤外照射が行われて照度を確保できるようになったりして、巡回ＮＲでの残像の影響を小さくできる。

＜第３実施形態＞
次に、第３実施形態の撮像装置１００について説明する。上記の実施形態と同様の点は、同符号を付して説明を省略する。
まず、撮像装置１００の構成について説明する。システム制御部１２０は、上記の実施形態のシステム制御部１２０の各部に加えて、更に、動き検知部を備える。動き検知部は、撮像部１１０で撮影されたフレームの画像に基づいて、被写体の動きを検知する。

次に、図７を参照して、本実施形態の巡回ＮＲ制御処理について説明する。図７は、巡回ＮＲ制御処理のフローチャートである。図７の巡回ＮＲ制御処理のステップＳ７０１からステップＳ７０３までは、それぞれ、図５のステップＳ５０１からステップＳ５０３までと同様である。
ステップＳ７０４において、強度決定部１２４は、システム制御部１２０の動き検知部によって、被写体の動きが検知されたとき処理をステップＳ７０５に進め、検知されていないとき処理をステップＳ７０６に進める。

ステップＳ７０５において、強度決定部１２４は、巡回ＮＲの強度を、初期状態から変更せず、初期状態の強度Ｓ１にする決定を行う。
ステップＳ７０６において、強度決定部１２４は、巡回ＮＲの強度を強度Ｓ１より強い強度Ｓ３にする決定を行う。
ステップＳ７０７において、強度決定部１２４は、巡回ＮＲの強度を強度Ｓ１より弱い強度Ｓ２にする決定を行う。
画像信号処理部１２１は、ステップＳ７０５、ステップＳ７０６、又は、ステップＳ７０７において強度決定部１２４によって決定された巡回ＮＲの強度で、撮像部１１０で撮影された対象フレームの画像に対して巡回ＮＲを行う。そして、画像表示部１５０は、巡回ＮＲがなされた画像を表示する。

ここで、撮像装置１００の撮像部１１０が撮影した画像で被写体が動いており、この被写体を視認したいときがある。本実施形態の強度決定部１２４は、動いている被写体があるとき、動いている被写体がないときと比べて、巡回ＮＲの強度を弱くする。したがって、動いている被写体があるときは、動いている被写体がないときと比べて、巡回ＮＲによって画像に残像が表れることが抑制され、視認性の高い画像を得ることができる。

＜その他の実施形態＞
上記の各実施形態において、強度決定部１２４は、撮像部１１０の回動速度Ｖ等に加えて、更に、撮像部１１０の焦点距離に基づいて、巡回ＮＲの強度を決定してもよい。例えば、強度決定部１２４は、撮像部１１０の焦点距離を、撮像部１１０から取得する。そして、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、巡回ＮＲの強度を、撮像部１１０の焦点距離が長くなるにつれて弱くなっていく強度に決定する。

撮像部１１０の焦点距離が長いときは、撮像部１１０の回動がわずかであっても、画角が大きく変わり、撮像部１１０が撮影した画像内での被写体の移動量が多くなり、巡回ＮＲで残像が表れやすい。しかし、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、巡回ＮＲの強度を、撮像部１１０の焦点距離が長くなるにつれて弱くなっていく強度に決定する。したがって、撮像部１１０の焦点距離が長くても、巡回ＮＲによって画像に残像が表れることが抑制され、視認性の高い画像を得ることができる。

また、上記の各実施形態において、強度決定部１２４は、撮像部１１０の回動速度Ｖ等に加えて、更に、撮像部１１０のシャッタ速度に基づいて、巡回ＮＲの強度を決定してもよい。例えば、強度決定部１２４は、撮像部１１０のシャッタ速度を、撮像部１１０から取得する。そして、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、巡回ＮＲの強度を、撮像部１１０のシャッタ速度が遅くなるにつれて弱くなっていく強度に決定する。

撮像部１１０のシャッタ速度が遅いと、撮像部１１０が撮影した画像に残像が発生しやすくなる。このような画像に対して巡回ＮＲを行うと、残像の影響が大きくなる。しかし、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、巡回ＮＲの強度を、撮像部１１０のシャッタ速度が遅くなるにつれて弱くなっていく強度に決定する。したがって、シャッタ速度が遅くても、巡回ＮＲによって画像に残像が表れることが抑制され、視認性の高い画像を得ることができる。

また、上記の各実施形態において、強度決定部１２４は、撮像部１１０の回動速度Ｖ等に加えて、更に、撮像部１１０から被写体までの距離に基づいて、巡回ＮＲの強度を決定してもよい。例えば、強度決定部１２４は、撮像部１１０で撮影されたフレームの画像に基づいて、撮像部１１０から被写体までの距離を決定する。そして、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、撮像部１１０から被写体までの距離が短くなるにつれて弱くなっていく強度に決定する。

撮像部１１０から被写体までの距離が短いときは、被写体の実際の移動量が少なくても、撮像部１１０の回動によって、撮像部１１０が撮影した画像内での被写体の移動量が多くなり、画像に残像が発生しやすくなる。しかし、強度決定部１２４は、撮像部１１０の回動速度Ｖが規定速度範囲に含まれるとき、巡回ＮＲの強度を、撮像部１１０から被写体までの距離が短くなるにつれて弱くなっていく強度に決定する。したがって、撮像部１１０から被写体までの距離が短くても、巡回ＮＲによって画像に残像が表れることが抑制され、視認性の高い画像を得ることができる。

また、上記の各実施形態において、規定速度範囲を、次の式（４）で表される範囲にしてもよい。
０≦Ｖ＜Ｖ１ ・・・ （４）
このとき、例えば第１実施形態である図２のステップＳ２０３において、強度決定部１２４は、回動速度取得部１２３によって取得された撮像部１１０の回動速度Ｖが第１速度Ｖ１以上のとき、処理をステップＳ２０４に進める。また、強度決定部１２４は、撮像部１１０の回動速度Ｖが第１速度Ｖ１未満のとき、処理をステップＳ２０５に進める。第２実施形態等でも同様である。

また、上記の各実施形態において、巡回ＮＲ制御処理の少なくとも一部を、撮像装置１００以外のサーバで実現してもよい。例えば、図２のステップＳ２０２からステップＳ２０５まで、図５のステップＳ５０２からステップＳ５０７まで、図６のステップＳ６０２からステップＳ６０７まで、又は、図７のステップＳ７０２からステップＳ７０７まではサーバが実行してもよい。このときサーバと撮像装置１００とは通信ネットワークを介してデータの送受信を行う。サーバは、情報処理装置、及び、画像処理装置の例である。

本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１１０ 撮像部、１２０ システム制御部

Claims (17)

1. 回動可能な撮像部で撮影された複数のフレームの画像からなる動画像の処理を行う画像処理装置であって、
   前記撮像部の回動速度を取得する取得手段と、
   前記複数のフレームの１つである対象フレームの画像と、前記対象フレームより前の前記フレームの画像とに基づいて、前記対象フレームの画像に対して巡回型ノイズ抑圧処理を行う処理手段と、
   前記取得手段によって取得された前記撮像部の回動速度が所定の速度範囲の速度より速いとき、前記巡回型ノイズ抑圧処理の強度を所定の強度に決定し、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度よりも弱い強度に決定する決定手段と、を備え、
   前記決定手段は、前記撮像部の回動速度が前記所定の速度範囲の速度より遅いとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度に決定することを特徴とする画像処理装置。
2. 前記巡回型ノイズ抑圧処理の強度は、巡回係数で表されることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の速度範囲は、前記撮像部の回動速度Ｖが、第１速度と前記第１速度より遅い第２速度を用いた次の式（１）を満たす範囲であることを特徴とする請求項１又は２に記載の画像処理装置。
   第２速度＜Ｖ＜第１速度 ・・・ （１）
4. 前記第２速度は０であることを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記巡回型ノイズ抑圧処理の強度を、前記撮像部の回動速度が前記所定の速度範囲の下限側から前記速度範囲に含まれる第３速度に近づくにつれて、弱くなっていく強度に決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記巡回型ノイズ抑圧処理の強度を、前記撮像部の回動速度が前記所定の速度範囲に含まれる第４速度から前記所定の速度範囲の上限側に近づくにつれて、強くなっていく強度に決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、更に、前記撮像部が被写体を追尾するように制御されているか否かに基づいて、前記巡回型ノイズ抑圧処理の強度を決定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、
   前記撮像部の回動速度が前記所定の速度範囲の速度より速くとも、前記撮像部が被写体を追尾するように制御されているときは、前記巡回型ノイズ抑圧処理の強度を、前記所定の強度よりも弱い強度に決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像部が被写体を追尾するように制御されているとき、前記撮像部が被写体を追尾するように制御されていないときと比べて、前記撮像部のシャッタ速度が速くなるように前記撮像部を制御する速度制御手段を更に備えることを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記撮像部は、動作モードとして、可視光に基づいて撮影する第１モードと、可視光、及び、赤外光に基づいて撮影する第２モードとを備え、
    前記動作モードを、被写体の照度と第１照度閾値とに基づいて設定するモード設定手段と、
    前記撮像部が被写体を追尾するように制御されているとき、前記撮像部が被写体を追尾するように制御されていないときと比べて、前記第１照度閾値を大きくする第１閾値設定手段と、を更に備えることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記動作モードが前記第２モードのときに、被写体の照度と、第２照度閾値とに基づいて赤外照明を制御する照明制御手段と、
    前記撮像部が被写体を追尾するように制御されているとき、前記撮像部が被写体を追尾するように制御されていないときと比べて、前記第２照度閾値を大きくする第２閾値設定手段と、を更に備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記撮像部で撮影された前記フレームの画像から被写体の動きを検知する検知手段を更に備え、
    前記決定手段は、更に、前記検知手段によって被写体の動きが検知されたか否かに基づいて、前記巡回型ノイズ抑圧処理の強度を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記決定手段は、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を、前記撮像部の焦点距離が長くなるにつれて弱くなっていく強度に決定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記決定手段は、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を、前記撮像部のシャッタ速度が遅くなるにつれて弱くなっていく強度に決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記決定手段は、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を、前記撮像部から被写体までの距離が短くなるにつれて弱くなっていく強度に決定することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 回動可能な撮像部で撮影された複数のフレームの画像からなる動画像の処理を行う画像処理装置の制御方法であって、
    前記撮像部の回動速度を取得する取得ステップと、
    前記複数のフレームの１つである対象フレームの画像と、前記対象フレームより前の前記フレームの画像とに基づいて、前記対象フレームの画像に対して巡回型ノイズ抑圧処理を行う処理ステップと、
    前記取得ステップによって取得された前記撮像部の回動速度が所定の速度範囲の速度より速いとき、前記巡回型ノイズ抑圧処理の強度を所定の強度に決定し、前記撮像部の回動速度が前記所定の速度範囲に含まれるとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度よりも弱い強度に決定する決定ステップと、を備え、
    前記決定ステップでは、前記撮像部の回動速度が前記所定の速度範囲の速度より遅いとき、前記巡回型ノイズ抑圧処理の強度を前記所定の強度に決定することを特徴とする画像処理装置の制御方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images