JP6904838B2 - 画像処理装置、その制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法およびプログラムに関し、特に動画像信号に対する階調変換処理に関するものである。

監視カメラシステムは、監視カメラが全体の映像をネットワーク経由で配信し、ユーザーは配信された映像を監視することができる。さらに、ユーザーが、配信された映像から一部の切り出した（クロッピングした）映像の監視をすることが可能なものもある。ユーザーはクロッピングする領域を自由に指定することができる。このとき、配信された映像が輝度差の大きいシーンである場合、ユーザーが監視している映像に白とびや黒つぶれが発生する問題が生じる。

従来、このような問題を解決する階調変換処理を行うものとして、露出条件を変えた複数枚の画像を合成することでハイダイナミックレンジな画像を取得するＨＤＲ処理（以降、ＨＤＲ処理と呼ぶ）が知られている。しかしながら、複数枚の画像間に撮影タイミングのズレが生じるため、動く被写体を含むシーンについて不向きとされ、動き被写体の位置に応じて輝度差が生じる課題や、合成に失敗して二重像が発生する課題がある。また、複数枚の画像を取得し合成を行うためフレームレートが落ちる点も課題にある。

そのような課題に対し、特許文献１では、１フレーム分の累積ヒストグラムの輝度毎の度数に基づいて、度数（頻度）の多い輝度領域において白とび・黒つぶれの抑制するようなガンマカーブを生成して階調変換をする方法が開示されている。特許文献１のようなガンマ変換処理は、入力画像の輝度ヒストグラムの特徴に応じて１フレーム内の処理で実行する画像処理方法であり、複数枚の合成を必要としないため、動き被写体の視認性を損なわず、階調変換を行うことが可能になる。

特開平０３−１２６３７７号公報

しかしながら、特許文献１にあるように、累積ヒストグラムからガンマカーブを生成する従来の手法では、度数（頻度）が多い階調値周辺の階調範囲が高められる。そのため、前述した監視カメラのユースケースにおいて、複数のユーザーが映像を監視している場合に、適切な階調の映像を見ることができない課題がある。例えば、あるユーザーにとっては見たい映像（クロッピングしている映像）、つまり階調性を高めることが望ましい階調値であっても、その度数が他のユーザーがクロッピングしている映像の階調値の度数に比べて少ない場合は階調性を高めることができない。

そこで本発明の目的は、複数ユーザーが配信された映像をそれぞれクロッピング（切り出し）している場合にも、その複数の映像（クロッピング映像）に対して階調性を高めることが可能な手段を提供することである。

上記目的を達成するために、本発明は、入力画像から複数の任意の画像領域を切り出し可能な切り出し手段と、前記切り出し手段により切り出された複数の任意の画像領域毎のヒストグラムを生成するヒストグラム生成手段と、前記画像領域毎のヒストグラムから前記画像領域毎の注目階調レンジを算出する階調レンジ算出手段と、前記画像領域毎の注目階調レンジが重なる階調レンジを算出する重なり比率算出手段と、前記階調レンジ算出手段により算出された画像領域毎の注目階調レンジ及び前記重なり比率に基づいて前記入力画像の階調変換を行う階調変換手段と、を有することを特徴とする。

本発明によれば、複数ユーザーが配信された映像をそれぞれクロッピング（切り出し）している場合にも、その複数の映像（クロッピング映像）に対して階調性を高めることができる。

本発明に係る撮像システムの構成例を示すブロック図 本発明に係る撮像装置の構成例を示すブロック図 本発明の第１の実施形態に係る画像処理部の構成例を示すブロック図 本発明の第１の実施形態に係る現像処理部の構成例を示すブロック図 本発明の第１の実施形態に係るガンマ処理部の構成例を示すブロック図 本発明の第１の実施形態に係るガンマ処理の例を示すフローチャート 本発明の第１の実施形態に係るクリッピング映像から注目階調レンジを取得する例を示す図 本発明の第１の実施形態に係る複数ユーザーの注目階調レンジにおいて重なりが生じている例を示す図 本発明の第１の実施形態に係るガンマカーブ変更部の構成例を示すブロック図 本発明の第１の実施形態に係る変更レンジ算出部の構成例を示すブロック図 本発明の第１の実施形態に係るガンマカーブ変更処理の例を示すフローチャート 本発明の第１の実施形態に係る複数ユーザーの注目階調レンジにおいて重なりが生じていない例を示す図 本発明の第１の実施形態に係る重なりが生じない場合のガンマカーブ変更の例を示す図 本発明の第１の実施形態に係るノイズレベルと閾値の関係を折れ線で表したグラフ 本発明の第１の実施形態に係る重なりが生じている場合のガンマカーブ変更の例を示す図 本発明の第１の実施形態に係る広範囲に重なりが生じている場合のガンマカーブ変更の例を示す図 本発明の第２の実施形態に係る光量と絞りとシャッタースピードの関係を示す図 本発明の第２の実施形態に係る変更レンジ算出部の構成例を示すブロック図 本発明の第３の実施形態に係るレンジ別ガンマカーブ変更部の構成例を示すブロック図

以下に、本発明の好ましい実施形態の一例を、添付の図面に基づいて詳細に説明する。以下では、撮像装置として監視用カメラを用いる場合を例に説明するが、撮像装置の用途は監視に限定されない。また、本発明は撮像装置に限定されず、ソフトウェアを用いたＰＣなどにおける画像処理にも適用できる。

図１は、本発明に係る撮像システムの構成例を示すブロック図である。図１に示す撮像システムは、画像を撮像および画像処理する装置として、監視カメラ１０１と、ＩＰネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置１０２とから構成されている。

監視カメラ１０１は、被写体を撮像して画像処理を施した画像情報を、クライアント装置１０２へ配信する。

クライアント装置１０２は、監視カメラ１０１から配信された画像情報の映像を表示する。また、クライアント装置１０２は、ユーザーからの操作を入力可能であり、ユーザー操作により、ネットワークを介して監視カメラ１０１の撮像方向の変更、焦点距離の変更、ＡＦ／ＭＦの切り替え、映像の切り出し、などの制御が可能である。本実施形態では、画像処理装置として監視カメラを用いるが、監視カメラ１０１で取得した画像信号をそのままクライアント装置１０２へ送信し、クライアント装置１０２側で画像処理を行う構成としてもよい。

図２は、本発明に係る撮像装置（監視カメラ１０１）の構成例を示すブロック図である。内部構成例の詳細を以下に説明する。

撮像光学系２０１は、光学レンズ、光学フィルタ、絞り、シャッターを含み、被写体の光情報を集光する。光学レンズは、例えば、光軸方向に移動して焦点距離を変更する変倍レンズおよび光軸方向に移動して焦点調節を行うフォーカスレンズなどがある。光学フィルタは、例えば、可視光カットフィルタ、赤外光カットフィルタ、ＮＤフィルタなどが挙げられる。なお、図２の構成例では監視カメラ１０１は、撮像光学系２０１を一体に有するレンズ一体型撮像装置であるが、レンズ部の交換が可能なレンズ交換型撮像装置であってもよい。

撮像素子部２０２は、撮像光学系２０１にて集光された光情報を電流値へと変換する素子でカラーフィルタなどと組み合わせることで色情報を取得し、結像された被写体像を電気信号（アナログ信号）として出力する。また、すべての画素に対して、任意の露光時間を設定可能な撮像センサーとする。

ＣＰＵ２０３は、監視カメラ１０１の全体を制御し、撮像や画像処理、映像出力、などの制御を行う。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５に格納された命令を順次に読み込み、解釈し、その結果に従って処理を実行する。

制御系制御部２０６は、撮像光学系２０１に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどの制御を行う。例えば、画像処理部２０９より設定値を取得し、その設定値に応じて光学レンズの駆動、光学フィルタの切り替えを行う。また、設定値などの演算はＣＰＵ２０３で行い、制御系制御部２０６は、ＣＰＵ２０３からの指示とその演算結果に基づいて撮像光学系２０１を駆動させる構成でもよい。

制御部２０７は、クライアント装置１０２からの指示によって、監視カメラ１０１全体の制御を行う。制御部２０７がクライアント装置１０２からの指示を受け、ＣＰＵ２０３や撮像系制御部２０６へ伝達し、ＣＰＵ２０３や撮像系制御部２０６が監視カメラを制御する構成としてもよい。

Ａ／Ｄ変換部２０８は、撮像光学系２０１にて検知した被写体の光量をデジタル信号値に変換する。変換されたデジタル信号（画像信号）は画像処理部２０９へ送られる。

画像処理部２０９は、受け取ったデジタル信号（画像信号）に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去などの画像処理を行う。また、例えば、露出調整を行う場合は、画像の輝度情報などを撮像系制御部２０６（又はＣＰＵ２０３）へ送信し、輝度情報を基に適露出画像を取得できるような設定値を演算し、撮像光学系２０１を駆動させて露出調整を行う。そのほか、画像情報に基づいて調整する例えばオートフォーカスなどの制御も同様である。露出調整やオートフォーカス制御については、公知な技術で行われるものとして、詳細は割愛する。画像処理部２０９で生成された画像は、エンコーダ部２１０へ送られる。画像処理部２０９内の画像処理の詳細については後述する。

エンコーダ部２１０は、画像処理部２０９にて処理した画像データを、例えば、Ｍｏｔｉｏｎ ＪｐｅｇやＨ２６４などのファイルフォーマットに変換処理を行う。変換された画像情報は不図示のネットワークを介してクライアント装置１０２へ送信される。

（第１の実施形態）
図３は、本発明の第１の実施形態に係る画像処理部（画像処理部２０９）の構成例を示すブロック図である。本実施形態に係る画像処理部２０９は、画像入力部３０１、前処理部３０２、現像処理部３０３、後処理部３０４、画像出力部３０５から構成される。

画像入力部３０１は、撮像素子部２０２にて撮像し、Ａ／Ｄ変換部２０８にてデジタル信号値となった画像データを入力する。

前処理部３０２は、例えば、センサー起因の固定パターンノイズ除去やゲイン調整などの補正処理を行う。

図４は、本発明の第１の実施形態に係る現像処理部（現像処理部３０３）の構成例を示すブロック図を示す。現像処理部３０３は、前処理部３０２から入力される画像データに対して、デモザイク処理部４０１、ホワイトバランス処理部４０２、ガンマ処理部４０３、シャープネス処理部４０４において所定の処理を行う。ガンマ処理部４０３の詳細については後述する。ほか、各処理部の詳細については、公知な技術で行われるものとして詳細は割愛する。

後処理部３０４は、例えば、現像処理した画像に空間方向のＮＲフィルタおよび時間方向のＮＲフィルタを掛けることで、ランダムに発生するノイズを低減するなどの後処理を行う。

画像出力部３０５は、現像処理した画像信号をエンコーダ部２１０にてエンコードしてクライアント装置１０２に出力する。

以下、本発明の実施形態に係るガンマ処理について、図５〜図９を参照して詳細に説明する。

図５は、本発明の第１の実施形態に係るガンマ処理部（ガンマ処理部４０３）の構成例を示すブロック図である。本実施形態に係るガンマ処理部４０３は、画像信号に対し階調変換を行う。ガンマ処理部４０３は、入力信号取得部５０１、クロッピング領域取得部５０２、ヒストグラム算出部５０３、注目レンジ取得部５０４、重なり比率算出部５０５、ガンマカーブ変更部５０６、ガンマ処理適用部５０７から構成される。各処理ブロックの処理については、図６のガンマ処理のフローとともに詳細に説明する。

以下では、本実施形態に係るガンマ処理部の処理フローについて、図６のフローチャートを参照して説明する。図６は、本発明の第１の実施形態に係るガンマ処理の例を示すフローチャートである。図６のフローチャートは、ＣＰＵ２０３によって、各処理ブロックを制御し実行される処理手順を図示したものである。ＣＰＵ２０３が有するメモリ（ＲＯＭ２０４又はＲＡＭ２０５）に格納されているプログラムを展開し、ＣＰＵ２０３が実行することにより実現される。

まず、ステップＳ６０１において、入力信号取得部５０１は、現像処理部３０３内部でデモザイク処理部４０１、ホワイトバランス処理部４０２による処理を施された全体画像の信号を取得する。なお、入力信号取得部５０１がデモザイク処理部４０１による処理が施された全体画像を取得して、ガンマ処理部４０３による本実施形態に係るガンマ処理が施された後に、ホワイトバランス処理を実行する構成としてもよい。

次に、ステップＳ６０２において、クロッピング信号取得部５０２は、全体画像のうち、ユーザーがクロッピング（画像の切り出し）を行っている画像領域の映像を取得する。クライアント装置１０２からネットワークを介してクロッピングされている領域の情報を取得し、クロッピング信号取得部５０２は、その画像領域に対応する画像信号のみを抽出して取得する。本実施形態においては、制御部２０７が受け取った領域情報を用いて、クロッピング信号取得部５０２がその領域情報に対応する部分の画像信号を取得するものとする。複数のユーザーが異なる画像領域の映像の監視を行っている場合は、全てのクロッピング領域の画像信号を取得する。一方、いずれのユーザーについてもクロッピング映像の監視を行っていない場合（全体映像のみが監視されている場合）は、ステップＳ６０３〜Ｓ６０６の処理を実行せずにステップＳ６０７へ進む。

次に、ステップＳ６０３において、ヒストグラム算出部５０３は、クロッピング信号取得部５０２から入力されるクロッピング映像（切り出されている画像領域の信号）におけるヒストグラムを生成する。複数のクロッピング映像（切り出されている画像領域の信号）が入力される場合は、それぞれの画像領域毎に複数のヒストグラムを生成する。

続いて、ステップＳ６０４において、注目レンジ取得部５０４は、ヒストグラム算出部５０３から入力されるヒストグラムからユーザー毎の注目階調レンジを検出する。本発明において定義する注目階調レンジとは、それぞれのユーザーがクロッピングしている映像の中でも特に階調性を高めることが望ましいと考えられる階調レンジを指す。具体的には、注目階調レンジとされる所定範囲内の階調値の度数の比率が全体の度数に対して閾値以上の比率であることを満たしかつ、階調レンジの幅が所定範囲内に収まることを満たすことが挙げられる。

例えば、注目階調レンジか否かの判断対象の階調レンジを階調値ｉ〜ｊ、階調値ｉ〜ｊの度数の総和をｓｕｍ（ｉ，ｊ）とする。また、クロッピング映像（切り出し画像領域）内の総階調幅をａｌｌ、輝度ヒストグラム全体の度数の総和をｓｕｍ（ａｌｌ）、とする。そして、所定の値をｔｈ１，ｔｈ２とすると、以下の式（１）〜（２）を満たす場合、階調値ｉ〜ｊを注目階調レンジとする。
ｓｕｍ（ｉ，ｊ）＞ｓｕｍ（ａｌｌ）×ｔｈ１ ・・・式（１）
ｊ−ｉ＜ａｌｌ×ｔｈ２ ・・・式（２）

式（１）について、より具体的には、図７にあるように、ユーザーがＦｕｌｌ ＨＤ（１９２０×１０８０）の映像からクロッピング映像である３２０×１８０サイズの映像を監視している場合を例に説明する。その場合において、閾値ｔｈ１をクロッピング映像の輝度ヒストグラムの総度数（クロッピング領域取得部５０２から得られる画像領域内の総画素数）の１パーセントとする。このとき、注目階調レンジが階調値１２〜６４であると仮定すると、式（３）を満たすことになる。

また、式（２）について、総階調幅が１０ビットでｔｈ２を１０パーセントと仮定すると、注目階調レンジの階調値ｉ〜ｊは式（４）を満たさなければならない。

なお、閾値ｔｈ１，ｔｈ２は、上記のような特定のパーセンテージに限らず、ユーザーの注目している階調レンジを検出することができればどのような値であってもよい。閾値ｔｈ１の値が大きくなるほど、式（１）を満たすにはほかの輝度レンジに対する度数がより多い必要があり、すなわち、クロッピング映像内のより大きい範囲を占める被写体を注目レンジとしたい場合は、閾値ｔｈ１を大きくする。ｔｈ２の値が大きくなるほど式（２）を満たす可能性が大きくなり、注目レンジとして採用する階調が広がる。ユーザーが任意の特定の狭いレンジにのみ注視したい被写体があるシーンについては、閾値ｔｈ２の値を小さく設定する。逆に、ある程度の幅を持ったレンジに注視したい被写体がある場合は閾値ｔｈ２を大きく設定する。なお、１つのクロッピング映像内に複数の注目階調レンジが含まれる場合もある。また、注目階調レンジの算出は前述の方法に限られず、クロッピング映像ごとに、それぞれの注目階調レンジが算出することができればよい。

次に、ステップＳ６０５において、重なり比率算出部５０５は、注目レンジ取得部５０４から得られる複数の注目階調レンジに基づき、各ユーザーの注目階調レンジ間で重なりが生じる階調幅の比率を算出する。具体的には、図８にあるように、ユーザーＡとユーザーＢの注目階調レンジについて重なっている階調値がｋ〜ｌ、ユーザーＢとユーザーＣの注目階調レンジについて重なっている階調値がｍ〜ｎである。この場合、総階調幅が１０ビットの場合、重なり比率ｏｖｅｒｌａｐ＿ｒａｔｉｏは式（５）のように定義される。

なお、重なり比率の値域は０．０〜１．０であり、式（５）のように算出された重なり比率は、ガンマカーブ変更部５０６へと入力される。

ステップＳ６０６において、ガンマカーブ変更部５０６は、重なり比率算出部５０５から得られる重なり比率に応じて、ガンマカーブの変更を行う。

図９は、本発明の第１の実施形態に係るガンマカーブ変更部（５０６）の構成例を示すブロック図である。ガンマカーブ変更部５０６は、変更レンジ算出部９０１とレンジ別ガンマカーブ変更部９０２から構成される。変更レンジ算出部９０１は、重なり比率と所定の閾値（以降、ガンマ変換部で使用する閾値をｔｈ３と呼ぶ）との比較により予め定められたガンマカーブに対して変更を加える階調レンジを算出する。レンジ別ガンマカーブ変更部９０２は、変更レンジ算出部９０１から算出される変更を加える階調レンジに基づき、ガンマカーブに変更を加える。

更に、図１０は、本発明の第１の実施形態に係る変更レンジ算出部（９０１）の構成例を示すブロック図である。変更レンジ算出部９０１は、ノイズレベル算出１００１と閾値算出部１００２から構成される。ノイズレベル算出部１００１は、全体映像に重畳されるノイズの分散を示すノイズレベルを算出する。閾値算出部１００２は、ノイズレベル算出部１００１により算出されたノイズレベルに基づいて、重なり比率と比較する閾値（ｔｈ３）を算出する。詳細は後述する。

以下では、図１１を参照してステップＳ６０６の処理を細分化したフローについて説明する。図１１は、本発明の第１の実施形態に係るガンマカーブ変更処理の例を示すフローチャートである。図１１のフローチャートは、ＣＰＵ２０３によって、各処理ブロックを制御し実行される処理手順を図示したものである。ＣＰＵ２０３が有するメモリ（ＲＯＭ２０４又はＲＡＭ２０５）に格納されているプログラムを展開し、ＣＰＵ２０３が実行することにより実現される。

まず、ステップＳ１１０１において、変更レンジ算出９０１では、複数ユーザーの注目階調レンジについて重なりが生じているか否か（重なり比率が０よりも大きいか否か）の判定を行う。ここで図１２は、本発明の第１の実施形態に係る複数ユーザーの注目階調レンジにおいて重なりが生じていない例を示す図である。図１２に示すように、重なり比率が０である場合、即ち、いずれのユーザーについても重なりの生じている注目階調レンジが生じていない場合は、ステップＳ１１０２に進む。一方、図８に示すように、重なり比率が０よりも大きい値である場合、ステップＳ１１０５に進む。

ステップＳ１１０２では、注目階調レンジについて明部か暗部かを判定する。例えば、注目階調レンジが明部か否かの判断の対象とする階調を階調値ｏ、注目レンジ取得部５０４から得られる階調レンジの最小階調値をｐ、最大値をｑとする。以下の式（６）を満たす場合、階調値ｏを明部と判定し、式（７）を満たす場合、階調値ｏを暗部と判定する。

ステップＳ１１０３において、レンジ別ガンマカーブ変更部９０２では、注目階調レンジが明部と判定される場合（式（６）を満たす場合）、白とびを抑えるようにガンマカーブを変更する。具体例としては、図１３に示すように、あらかじめ定められたガンマカーブ（破線部分）と比較してガンマカーブを持ち下げる。図１３は、本発明の第１の実施形態に係る重なりが生じない場合のガンマカーブ変更の例を示す図である。

一方、ステップＳ１１０４において、レンジ別ガンマカーブ変更部９０２では、注目階調レンジが暗部と判定される場合（式（７）を満たす場合）、黒つぶれを抑えるようにガンマカーブを持ち上げる。具体例としては、図１３に示すように、予め定められたガンマカーブ（破線部分）と比較してガンマカーブを持ち上げる。このとき、注目階調レンジ以外の階調レンジについては、図１３に示すように予め定められたガンマカーブを適用する。このようにガンマカーブを変更することで、全体画像の変化を最小限に、ユーザーが選択したクロッピング映像に対して最適な階調変換を実行できる。レンジ別ガンマカーブ変更部９０２で変更を加えたガンマカーブは、ガンマ処理適用部５０７に入力され、ガンマカーブ変更部５０６の処理は完了する。

ステップＳ１１０５では、ステップＳ１１０２において重なり比率が０よりも大きいと判定された場合、重なり比率が所定の閾値以上の比率であるかの判定を行う。ここで、閾値算出部１００２で算出される閾値は、ノイズレベル算出部１００１から得られるノイズレベルに応じて算出する。具体的に、ノイズレベル算出部１００１で算出されるノイズレベルとは、全体映像に重畳されるノイズの分散を指す。式（８）、（９）に、ノイズ分散を求める式を示す。

ここで、Ｙ（ｖ，ｈ）は現フレームの全体画像の輝度値を示し、ｖ，ｈはフレーム内の水平方向と垂直方向の座標位置を示す。一般に、ｓ１、ｓ２の値を大きく設定することで該当信号に含まれるノイズ分散を正確に算出することができる。なお、ノイズレベルの算出方法は式（８）、（９）に限るものではなく、ノイズの標準偏差、センサーのノイズ特性を用いて算出する方法等、様々な算出方法を採用することができる。

図１４は、本発明の第１の実施形態に係るノイズレベルと閾値の関係を折れ線で表したグラフである。ノイズレベル算出部１００１により、式（１０）に基づいて算出したノイズレベルσ２Ｙ（ｖ，ｈ）と、閾値算出部１００２で算出される閾値ｔｈ３の関係を示した一例を示している。

式（１０）において、σ２ｍａｘはノイズの標準偏差の上限を定めた定数、ｋ１はノイズの標準偏差と閾値ｔｈ３を比例関係に関係づける傾きを示し、ノイズレベルが高くなると閾値ｔｈ３が大きくなる関係になっている。なお、ノイズレベルと閾値ｔｈ３は、図１４および式（１０）にあるような比例関係に限るものではなく、２次関数や３次関数などの非線形関数を採用することができる。

求めた閾値ｔｈ３を用いて、重なり比率との比較を行い、重なり比率が閾値ｔｈ３よりも小さい場合はステップＳ１１０６へ進み、重なり比率が閾値ｔｈ３以上である場合はステップＳ１１０７へ進む。

ステップＳ１１０６では、ステップＳ１１０５で重なり比率が所定の閾値ｔｈ３よりも小さいと判定された場合、ステップＳ１１０２と同様に、注目階調レンジを明部と暗部に判定する。その後、図１５にあるように、いずれの注目階調レンジにおいても重なりが生じていない階調レンジについてガンマカーブの変更を行う。図１５は、本発明の第１の実施形態に係る重なりが生じている場合のガンマカーブ変更の例を示す図である。ガンマカーブの変更は、明部と判定される領域については白とびを抑えるために、予め定められたガンマカーブと比較してガンマカーブを持ち下げる。一方、注目階調レンジが暗部と判定される場合、予め定められたガンマカーブと比較して、黒つぶれを抑えるようにガンマカーブを持ち上げる。このとき、注目階調レンジの重なりが生じている階調レンジおよび注目階調レンジ以外の階調レンジについては、予め定められたガンマカーブを適用する。このようにガンマカーブを変更することで、全体画像の変化とユーザー間のクロッピング映像の干渉を最小限に抑え、ユーザーが選択したクロッピング映像に対して最適な階調変換を実行できる。変更を加えたガンマカーブはガンマ処理適用部５０７に入力され、ガンマカーブ変更部５０６の処理は完了する。

ステップＳ１１０７では、ステップＳ１１０５で重なり比率が所定の閾値ｔｈ３以上と判定された場合、ステップＳ１１０２と同様に、注目階調レンジを明部と暗部に判定する。その後、図１６にあるように、重なりがあるか否かに関わらず、全ての注目階調レンジについてガンマカーブの変更を行う。図１６は、本発明の第１の実施形態に係る広範囲に重なりが生じている場合のガンマカーブ変更の例を示す図である。ガンマカーブの変更は、前述したようにレンジ別ガンマカーブ変後部９０２で実行される。このとき、注目階調レンジ以外の階調レンジについては、予め定められたガンマカーブを適用する。このように、広範囲の階調レンジに対してガンマカーブに変更を加えることで、全体画像の変化は大きくなるが、複数ユーザーが共通して注目している階調について階調性を高めることが可能になる。変更を加えたガンマカーブはガンマ処理適用部５０７に入力され、ガンマカーブ変更部５０６の処理は完了する。

以上、図１１を参照に説明したステップＳ６０６のガンマカーブの変更処理が完了すると、最後にステップＳ６０７において、ガンマ処理適用部５０７は、ガンマカーブ変更部５０６から入力されるガンマカーブを入力信号に対して適用する。

以上、説明したステップを動画像信号に対して行うことで、本発明で提案するガンマ処理を全体画像および、クロッピング映像に反映させることが可能になる。本実施形態によれば、ユーザーが選択したクロッピング映像に応じて適切なガンマカーブを決定することができる。例えば、図１１にあるように、ユーザー間のクロッピング映像について監視している注目階調レンジについて重なりが生じていない場合は、各ユーザーに対してきめ細かくガンマカーブの変更を加えることで、各々に最適な階調処理が施された映像が配信される。一方、図１５にあるように、ユーザー間のクロッピング映像の注目階調レンジについて一定の割合の重なりが生じている場合は、全体画像に与える画像の変化を最小限に、各ユーザーに最適な階調処理が施された映像が配信される。また、図１６にあるように、ユーザー間の注目階調レンジの多くが重なっている場合、広範囲の階調レンジに対してガンマカーブの変更を加える。そのため、全体画像の印象は予め定められたガンマ処理を施した場合と大きく異なるが、複数ユーザーが共通して注目している階調について階調性を高めることが可能になる。

本発明の第１の実施形態においては、輝度成分に対してガンマ処理を実行する例について説明したが、ガンマ処理を実行する成分に特に制限はない。例えば、色成分や、近赤外・遠赤外成分に対して、同様の処理を実行することも可能である。

（第２の実施形態）
第１の実施形態では図１０に示すようにノイズレベル算出部１００１から算出されるノイズレベルに応じて閾値を算出する方法について説明した。以下では、第２の実施形態で提案する変更レンジ算出部９０１の処理について、図１８を参照して詳細に説明する。図１８は、本発明の第２の実施形態に係る変更レンジ算出部の構成例を示すブロック図である。第２の実施形態に係る変更レンジ算出部９０１は、撮像条件取得部１８０１と撮像モード取得部１８０２と閾値算出部１８０３から構成される。撮像条件取得部１８０１は、入力画像取得部で取得される入力画像を撮影する際の絞り、シャッターを含む様々な撮影条件を取得する。撮像モード取得部１８０２は、撮像モードを取得する。閾値算出部１８０３は、撮像条件取得部１８０１で取得した撮影条件から閾値を算出する。なお、第１実施形態と同じ構成については同じ符号を付し、その説明を省略する。

第１の実施形態で求めていたノイズレベルは入力画像から式（８），（９）を用いて算出していたが、第２の実施形態では撮影条件および撮影モードに基づきノイズレベルを算出する。図１７は、本発明の第２の実施形態に係る光量と絞りとシャッタースピードの関係を示す図である。図１７に示すように、レンズの絞りは絞るほど、センサーに受光される光は少なくなり、ノイジーな画像が取得される。一方、開放に近づくほど、センサーに受光される光は多くなり、ノイズレスな画像が取得される。同様に、シャッタースピードは早くするほどノイジーな画像が取得され、遅いほどノイズレスな画像が取得される。

以上のように、絞り・シャッタースピードの関係を用いることで、第２実施形態では、ノイズレベルσ２Ｙ（ｖ，ｈ）を算出する。なお、用いる撮影条件は絞りとシャッターに限るものではなく、ゲインや、センサー温度等の条件を用いてもよい。

また、監視カメラにおいては、シーンに応じて様々なモードが選択可能である。例えば、動き優先モードは動きのある被写体が多く存在するシーンをターゲットにしている。そのため、動き優先モードを実行している間は、様々な被写体が画面上を往来することが考えられ、ヒストグラムから検出される注目階調レンジが時間ごとに大きく変化する。そこで、動き優先モードが選択された場合は、式（１０）の傾きｋ１を小さく設定する。そのように設定することで、ノイズレベルの変動に伴う閾値ｔｈ３の変化量が小さくなり、不必要にガンマカーブを変化させることなく最適なガンマカーブに変更することができる。なお、用いる撮影モードは動き優先モードに限るものではなく、その他のモードを用いてもよい。閾値ｔｈ３を求めた後の処理は第１の実施形態と同様であるため省略する。

上記の通り第２の実施形態によれば、ユーザーが選択したクロッピング映像と撮影条件および撮像モードを考慮したガンマ処理を実行することが可能になる。

（第３の実施形態）
第１の実施形態では図９に示すように変更レンジ算出部９０１から算出される変更レンジに基づき、ガンマカーブに変更を加える方法について説明した。以下、図１９を参照して、第３の実施形態で提案するレンジ別ガンマカーブ変更部９０２について説明する。図１９は、本発明の第３の実施形態に係るレンジ別ガンマカーブ変更部の構成例を示すブロック図である。図１９に示すように、複数ユーザーに付与されているユーザー権限を取得するユーザー権限取得部１９０１と、一定時間ごとに変換するユーザーの増減数を取得するユーザー増減数取得部１９０２から構成される。なお、第１の実施形態と同じ構成については同じ符号を付し、その説明を省略する。

第１の実施形態のレンジ別ガンマカーブ変更部９０２は、変更レンジ算出部９０１から得られる階調レンジに対してガンマカーブの変更を加えていた。第３の実施形態では第１の実施形態で説明した階調レンジ情報に加え、ユーザー権限とユーザーの増減数の情報を考慮してガンマカーブの変更を加える。以下、具体的な処理の流れを説明する。

ユーザーの増減について、重なりがない領域をクロッピングしたユーザーが増えた場合、特別なことは行わず、図１３にあるようにそれぞれのユーザーに対して最適なガンマカーブに変更する。

重なりがある領域をクロッピングしたユーザーが増えた場合、該当ユーザーの権限により変更をするか否かを決定する。追加ユーザーが管理者権限を付与されている場合は、ガンマカーブの変更を即時に行う。追加ユーザーが一般的な権限しか付与されていない場合は、撮影環境の明るさに変化があった場合や、パンチルト操作の実行があった場合等、全体画像の明るさや被写体に大きな変化が生じたタイミングでガンマカーブの変更を行う。

このようにユーザーの増減およびユーザー権限を考慮してガンマカーブの変更を行うことで、ユーザーの増減によって生じる不必要なガンマカーブの変化が抑制され、管理者権限のあるユーザーに最適なガンマ処理が実行される。

上記の通り第３の実施形態によれば、ユーザーが選択したクロッピング映像に加え、ユーザーの増減およびユーザーの権限を考慮したガンマ処理を実行することが可能になる。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 監視カメラ
１０２ クライアント装置
２０１ 撮像光学系
２０２ 撮像素子部
２０３ ＣＰＵ
２０４ ＲＯＭ
２０５ ＲＡＭ
２０６ 制御部
２０８ Ａ／Ｄ変換部
２０９ 画像処理部
２１０ エンコーダ部
４０３ ガンマ処理部
５０３ ヒストグラム算出処理部
５０４ 注目階調取得部
５０５ 重なり比率算出部
５０６ ガンマカーブ変更部

Claims (10)

1. 入力画像から複数の任意の画像領域を切り出し可能な切り出し手段と、
   前記切り出し手段により切り出された複数の任意の画像領域毎のヒストグラムを算出するヒストグラム算出手段と、
   前記画像領域毎のヒストグラムから前記画像領域毎の注目階調レンジを取得する注目レンジ取得手段と、
   前記画像領域毎の注目階調レンジが重なる階調レンジを算出する重なり比率算出手段と、
   前記注目レンジ取得手段により取得された画像領域毎の注目階調レンジ及び前記重なり比率に基づいて前記入力画像の階調変換を行う階調変換手段と、を有することを特徴とする画像処理装置。
2. 前記階調変換手段は、前記画像領域毎の注目階調レンジと前記重なり比率との関係に基づいて、前記切り出された複数の画像領域の階調性を高めるように所定のガンマカーブを補正することで階調変換を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記階調変換手段は、前記重なり比率と所定の閾値との比較に基づいて補正する階調レンジを算出する変更レンジ算出手段をさらに有し、
   前記所定のガンマカーブのうち前記変更レンジ算出手段により算出された階調レンジを補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記階調変換手段は、前記入力画像のノイズレベルが高いほど前記所定の閾値を大きくする閾値算出手段を、
   さらに有することを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズレベルは、前記入力画像が撮像されるときの絞り、シャッターを含む撮影条件に基づいて算出されることを特徴とする請求項４に記載の画像処理装置。
6. 前記閾値算出手段は、前記ノイズレベルに応じた前記所定の閾値の変化量を前記入力画像が撮像されるときの撮像モードに基づいて変更することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記階調変換手段は、前記切り出し手段により切り出される画像領域が追加された場合に、前記追加された画像領域の注目階調レンジを階調変換に反映するタイミングを前記追加された画像領域の映像が配信されているユーザーの権限に応じて変えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 入力画像から複数の任意の画像領域を切り出すステップと、
   前記切り出された複数の任意の画像領域毎のヒストグラムを生成するステップと、
   前記画像領域毎のヒストグラムから前記画像領域毎の注目階調レンジを算出するステップと、
   前記画像領域毎の注目階調レンジの重なり比率を算出するステップと、
   前記画像領域毎の注目階調レンジ及び前記重なり比率に基づいて前記入力画像の階調変換を行うステップと、
   を有することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
10. 請求項９に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。

Images