JP2019075621A - 撮像装置、撮像装置の制御方法 - Google Patents

Abstract

【課題】 複数の撮像画像を合成することでダイナミックレンジを広げた合成画像を生成する処理をその効果があると判定した場合に行うための技術を提供すること。【解決手段】 撮像画像における注目領域の画像が規定の条件を満たしているか否かを判定する。該注目領域の画像が規定の条件を満たしている場合には撮像画像を出力し、該注目領域の画像が規定の条件を満たしていない場合には複数の撮像画像を合成した合成画像を出力する。【選択図】 図１

Description

本発明は、撮像装置によって撮像される撮像画像の画像処理技術に関するものである。

従来より、ネットワークを介して遠隔操作によりカメラを制御して、映像を監視するネットワークカメラシステムが知られている。このようなネットワークカメラシステムには、カメラのフォーカス、ズーム、露出、解像度、ホワイトバランス、撮影時のフレームレートなどを制御することが可能なネットワークカメラシステムがある。

このようなネットワークカメラシステムでは、室内と室外とを同時に撮影するなど、暗部と明部の輝度分布が異なる場合、暗部に合わせて露光時間を調整すると、撮影画像の明部が白とびを起こすことがある。また、露光時間を明部に合わせて露光時間を調整すると、上記の現象とは逆に撮影画像の暗部が黒つぶれを起こすことがある。このような問題に関し、以下のような技術が提案されている。

特許文献１には、長時間露光撮像と短時間露光撮像とを交互に行い、撮影時間の異なる画像を合成してワイドダイナミックレンジ（ＷＤＲ）の画像（明暗のダイナミックレンジの範囲が広い画像 以下、ＷＤＲ画像と称する）を得る技術が知られている。

特開平６−１４１２２９号公報

上記の特許文献１では、ＷＤＲ画像を生成することで明暗のダイナミックレンジの範囲を広げることが可能であるが、一方で複数枚の画像を合成することによりフレームレートが制限されるという課題がある。また、撮影画像が白とびや黒つぶれを起こす場合にはＷＤＲ画像を生成する効果があるが、そうでない場合は複数枚の画像を合成することで動体ゴーストが発生するなど、かえって撮影画像の品質が下がる可能性がある。そのため、ＷＤＲ画像を生成する場合は、その画像の生成が必要な状況のみに限定される必要がある。

本発明はこのような問題に鑑みてなされたものであり、複数の撮像画像を合成することでダイナミックレンジを広げた合成画像を生成する処理をその効果があると判定した場合に行うための技術を提供する。

本発明の一様態は、撮像画像における注目領域の画像が規定の条件を満たしているか否かを判定する判定手段と、前記注目領域の画像が前記規定の条件を満たしている場合には前記撮像画像を出力し、前記注目領域の画像が前記規定の条件を満たしていない場合には複数の撮像画像を合成した合成画像を出力する出力制御手段とを備えることを特徴とする。

本発明の構成によれば、複数の撮像画像を合成することでダイナミックレンジを広げた合成画像を生成する処理をその効果があると判定した場合に行うことができる。

ネットワークカメラシステムの構成例を示すブロック図。 ネットワークカメラ１０００が行う処理のフローチャート。 制御部１００３が生成するヒストグラムの一例を示す図。 ネットワークカメラ１０００が行う処理のフローチャート。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。例えば、撮像部１００１を制御するとともに、ネットワークカメラ１０００によって撮像された撮像画像を取得する外部装置で各実施形態の動作を実行してもよい。

［第１の実施形態］
先ず、本実施形態に係るネットワークカメラシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るネットワークカメラシステムは、ネットワークカメラ１０００とクライアント装置１１００とを有しており、ネットワークカメラ１０００及びクライアント装置１１００はネットワーク１２００に接続されている。これによりネットワークカメラ１０００とクライアント装置１１００とはネットワーク１２００を介して互いにデータ通信が可能なように構成されている。

先ず、ネットワークカメラ１０００について説明する。撮像部１００１は、レンズ及び撮像素子を有し、レンズを介して入光した光は撮像素子において光電変換されてアナログ画像信号として出力される。本実施形態では、撮像部１００１は、１秒あたりＦ（Ｆは２以上の自然数）フレーム分のアナログ画像信号を出力するものとする。

画像処理部１００２は、撮像部１００１からのアナログ画像信号をディジタル画像信号に変換し、該変換したディジタル画像信号が表す画像に対して色変換などの各種の画像処理を施すことで撮像画像を生成する。ここで画像処理部１００２は、制御部１００３によりＷＤＲ機能（詳細は後述する）がオフに設定されている場合、撮像部１００１から出力される全てのフレームのアナログ画像信号を取得するのではなく、ｆ（ｆは１＜ｆ＜Ｆを満たす自然数）フレーム間隔で取得し、該取得したアナログ画像信号から撮像画像を生成し、該生成した撮像画像を送信画像（出力画像）として出力する。一方、画像処理部１００２は、制御部１００３によりＷＤＲ機能がオンに設定されている場合、撮像部１００１からアナログ画像信号を取得すると、該アナログ画像信号から撮像画像を生成し、連続するｆフレーム分の撮像画像を生成する度に、該ｆフレーム分の撮像画像を合成することで合成画像を生成し、該生成した合成画像を該ｆフレーム分の撮像画像の代わりに送信画像として出力する。つまり、ＷＤＲ機能がオンに設定されている場合であっても、ＷＤＲ機能がオフに設定されている場合であっても、画像処理部１００２から出力される送信画像のフレームレートは（Ｆ／ｆ）フレーム／秒となる。

なお、ＷＤＲ機能がオン／オフの場合におけるネットワークカメラ１０００の動作は上記の動作に限らない。例えば、ＷＤＲ機能がオフの場合、制御部１００３は、撮像部１００１を制御してアナログ画像信号の出力フレームレートをＦフレーム／秒にする。一方、ＷＤＲ機能がオンの場合、制御部１００３は撮像部１００１を制御してアナログ画像信号の出力フレームレートをＧ（ＧはＧ＞Ｆを満たす自然数）フレーム／秒にする。画像処理部１００２はＷＤＲ機能がオフの場合には、撮像部１００１からアナログ画像信号を取得すると、該取得したアナログ画像信号から撮像画像を生成し、該生成した撮像画像を送信画像として出力する。一方、ＷＤＲ機能がオンの場合、画像処理部１００２は、撮像部１００１からアナログ画像信号を取得すると、該取得したアナログ画像信号から撮像画像を生成し、連続する（Ｇ／Ｆ）フレーム分の撮像画像を生成する度に、該（Ｇ／Ｆ）フレーム分の撮像画像を合成することで合成画像を生成し、該生成した合成画像を該（Ｇ／Ｆ）フレーム分の撮像画像の代わりに送信画像として出力する。

つまり、ＷＤＲ機能がオフの場合は撮像画像を送信画像として出力し、ＷＤＲ機能がオンの場合は露光条件の異なる複数の撮像画像を合成した合成画像を送信画像として出力するのであれば、ネットワークカメラ１０００の動作は特定の動作に限らない。

なお、画像処理部１００２は、送信画像を圧縮符号化せずに出力しても良いし、圧縮符号化を行ってから出力するようにしても良い。また画像処理部１００２は、目的に応じて送信画像（若しくは圧縮符号化済みの送信画像）に付加情報を付加してから出力するようにしても良い。

なお、画像処理部１００２は、ハードウェアとして実装しても良いし、コンピュータプログラムとして実装しても良い。画像処理部１００２をコンピュータプログラムとして実装する場合、このコンピュータプログラムは制御部１００３が有するメモリに格納しても良いし、記録部１００６に格納しておいても良い。前者の場合、制御部１００３が有するプロセッサが該メモリに格納されている該コンピュータプログラムを実行することで画像処理部１００２の機能を実現させることができる。後者の場合、制御部１００３は記録部１００６に格納されている該コンピュータプログラムを実行することで画像処理部１００２の機能を実現させることができる。

制御部１００３は、ＣＰＵ等のプロセッサと該プロセッサが実行するコンピュータプログラム等を格納しているメモリとを有するものである。制御部１００３は、ネットワークカメラ１０００全体の動作制御を行うと共に、ネットワークカメラ１０００が行うものとして後述する各処理を実行若しくは制御する。例えば制御部１００３は、通信部１００７を介してクライアント装置１１００から受信した制御コマンドを解析し、該解析の結果に応じてネットワークカメラ１０００を制御する。例えば制御部１００３は、制御コマンドがネットワークカメラ１０００のズーム、フォーカスなどのカメラパラメータを変更するためのコマンドである場合、該コマンドに対応するカメラパラメータの変更指示をレンズ制御部１００５に出力する。

レンズ制御部１００５は、制御部１００３からの指示に応じてレンズ駆動部１００４を制御する。レンズ駆動部１００４は、撮像部１００１が有するレンズ（フォーカスレンズ及びズームレンズ）の駆動系及びその駆動源のモータを有しており、その動作はレンズ制御部１００５により制御される。

なお、ネットワークカメラ１０００は、ネットワークカメラ１０００のパンやチルトを変更するためのＰＴ駆動部を有していても良い。その場合、制御部１００３は、クライアント装置１１００から受信した制御コマンドがネットワークカメラ１０００のパンやチルトを変更するためのコマンドであれば、該コマンドに応じたパンやチルトの変更を行うべくＰＴ駆動部を制御する。

記録部１００６には、撮像画像における注目領域を規定する情報（注目領域情報）、注目領域の画質判定を行うタイミングを規定する情報（タイミング情報）、注目領域において認識する認識対象を規定する情報（認識対象情報）等の情報が保存されている。つまり記録部１００６には、後述する処理のために使用される各種の情報が保存されている。

注目領域情報は、撮像画像における注目領域を規定する情報であれば如何なる情報であっても良く、例えば、注目領域の左上隅及び右下隅の座標位置であっても良いし、注目領域の左上隅の位置及び縦横のサイズであっても良い。注目領域情報は、ユーザがネットワークカメラ１０００の操作部（不図示）を操作して注目領域を指定することで制御部１００３が生成した情報であっても良い。また注目領域情報は、クライアント装置１１００側でユーザが指定することでクライアント装置１１００側で生成されてネットワークカメラ１０００に送信された情報であっても良い。また、注目領域情報は、例えば撮像画像の中央領域であるなど、予め設定されていても良い。

タイミング情報は、注目領域の画質判定を行うタイミングを規定する情報であれば如何なる情報であっても良く、例えば、時間間隔（例えば１時間ごと）であっても良いし、日時（例えば毎日１２時）であっても良い。またタイミング情報は、注目領域の画質判定を行う条件を規定する情報であっても良く、例えば、「ネットワークカメラ１０００のパン、チルト、ズーム、フォーカスなどが変更される度に注目領域の画質判定を行う」という条件を示す情報であっても良い。またタイミング情報は、「撮像画像から規定の動体を検知した場合には注目領域の画質判定を行う」という条件を示す情報であっても良い。またタイミング情報は、「置き去り検知などの検知イベントのきっかけとなる動体を撮像画像から検知した場合には注目領域の画質判定を行う」という条件を示す情報であっても良い。またタイミング情報は、「撮像部１００１による撮像画像全体の輝度が変化し、デイモードとナイトモードが切り替わったら注目領域の画質判定を行う」という条件を示す情報であっても良い。デイモードは、例えば、昼間のシーンなど比較的明るいシーンを撮像するためのモード（撮像部１００１の動作モード）、ナイトモードは、例えば、夜のシーンなど比較的暗いシーンを撮像するためのモード（撮像部１００１の動作モード）である。また、タイミング情報は、注目領域の画質判定を行うタイミングを規定する１つ以上の情報と注目領域の画質判定を行う条件を規定する１つ以上の情報との組み合わせであっても良い。これにより、タイミング情報が示すタイミングになった若しくはタイミング情報が示す条件が満たされたら注目領域の画質判定を行うことになる。認識対象情報は、認識対象を規定する情報であれば如何なる情報であっても良く、例えば、認識対象の画像であっても良いし、認識対象の画像特徴量であっても良い。

通信部１００７は、ネットワークカメラ１０００がネットワーク１２００を介してクライアント装置１１００との間でデータ通信を行うためのインターフェースとして機能するものである。例えば通信部１００７は、画像処理部１００２により送信対象として生成された送信画像をネットワーク１２００を介してクライアント装置１１００に対して送信する。また通信部１００７は、クライアント装置１１００から送信された制御コマンドをネットワーク１２００を介して受信する。

次に、クライアント装置１１００について説明する。クライアント装置１１００は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、等のコンピュータ装置である。

表示部１１０１は、ＣＲＴや液晶画面などにより構成されており、制御部１１０３による処理結果を画像や文字などでもって表示することができる。なお、表示部１１０１はタッチパネル画面であっても良い。表示部１１０１は、例えば、ネットワークカメラ１０００から受信した送信画像（圧縮符号化されている場合には復号された送信画像）や、ネットワークカメラ１０００を制御するためのＧＵＩ（グラフィカルユーザインターフェース）を表示することができる。

入力部１１０２は、キーボードやマウス、タッチパネル等のユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を制御部１１０３に対して入力することができる。例えば入力部１１０２は、ユーザが上記のＧＵＩを操作するために使用することができる。

制御部１１０３は、ＣＰＵ等のプロセッサである。制御部１１０３は、メモリ１１０５に格納されているコンピュータプログラムやデータを用いて処理を実行することで、クライアント装置１１００全体の動作制御を行うと共に、クライアント装置１１００が行うものとして後述する各処理を実行若しくは制御する。例えば制御部１１０３は、ユーザが入力部１１０２を操作して上記のＧＵＩを操作することで指定したネットワークカメラ１０００の制御内容を示す制御コマンドを生成し、該制御コマンドを通信部１１０４を介してネットワークカメラ１０００に送信する。また例えば制御部１１０３は、通信部１１０４を介してネットワークカメラ１０００から受信した送信画像を表示部１１０１に表示させる（送信画像が圧縮符号化されている場合には適宜復号してから表示部１１０１に表示させる）。

通信部１１０４は、クライアント装置１１００がネットワーク１２００を介してネットワークカメラ１０００との間でデータ通信を行うためのインターフェースとして機能するものである。例えば通信部１１０４は、ネットワークカメラ１０００から送信された送信画像をネットワーク１２００を介して受信する。また通信部１１０４は、クライアント装置１１００側で生成した制御コマンドをネットワーク１２００を介してネットワークカメラ１０００に対して送信する。

メモリ１１０５は、ＲＡＭやＲＯＭ、ハードディスクドライブ装置を含むメモリ装置である。例えばハードディスクドライブ装置には、ＯＳ（オペレーティングシステム）や、上記のＧＵＩのコンピュータプログラムやデータなどが保存されている。

次に、撮像画像の注目領域の輝度分布に基づく該撮像画像のダイナミックレンジが、ネットワークカメラ１０００が撮像可能なダイナミックレンジを超えているか否か、に応じてＷＤＲ機能のオン／オフを切り替える処理について、図２を用いて説明する。なお、図２のフローチャートに従った処理は、制御部１００３が記録部１００６に格納されている上記のタイミング情報が示すタイミングが「注目領域の画質判定を行うタイミング」になった若しくは該タイミング情報が示す条件が「注目領域の画質判定を行う条件」を満たしている、と判断した場合に実行する処理である。また、図２のフローチャートに従った処理の開始時点では、ＷＤＲ機能はオフに設定されているものとする。

ステップＳ２００１では、制御部１００３は、記録部１００６に格納されている注目領域情報を取得する。ステップＳ２００２では、制御部１００３は、画像処理部１００２から出力された撮像画像において注目領域情報が規定する注目領域に含まれている画素の輝度値のヒストグラム（輝度分布）を生成する。図３に制御部１００３が生成するヒストグラムの一例を示す。図３において横軸は輝度値を表しており、例えば撮像画像の各画素の輝度値が８ビットで現れている場合には、０〜２５５の各輝度値をビンとしている。図３において縦軸は画素数を表している。つまり図３のヒストグラム３００１は、撮像画像における各輝度値に対する画素数を表している。制御部１００３は、注目領域に含まれる画素の輝度値からヒストグラム３００１を生成すると、ヒストグラム３００１において規定画素数以上となる輝度範囲を特定する。そして更に制御部１００３は、ヒストグラム３００１において該輝度範囲内の各ビンに対応する画素数のうち最大画素数を特定する。図３の場合、ヒストグラム３００１において規定画素数以上となる輝度範囲として輝度範囲ｘ及び輝度範囲ｙが特定されている。また、図３の場合、ヒストグラム３００１において輝度範囲ｘ内の各ビンに対応する画素数のうち最大画素数α、ヒストグラム３００１において輝度範囲ｙ内の各ビンに対応する画素数のうち最大画素数βが特定されている。図３では、最大画素数αに対応するビン（輝度値）はｑ、最大画素数βに対応するビン（輝度値）はｒとなっている。

ここで水平方向の辺の長さが輝度範囲ｘで垂直方向の辺の長さがαである矩形領域（左側の斜線で示した矩形領域）を矩形領域ｏ、水平方向の辺の長さが輝度範囲ｙで垂直方向の辺の長さがβである矩形領域（右側の斜線で示した矩形領域）を矩形領域ｐとする。このとき制御部１００３は、矩形領域ｏ及び矩形領域ｐのそれぞれについて、輝度に一定の偏りがある領域であるか否かを判断する。

矩形領域ｏについては制御部１００３は、｛α×輝度範囲ｘ｝が規定の閾値よりも大きい場合は、矩形領域ｏは輝度に一定の偏りがある領域であると判断する。一方、制御部１００３は、｛α×輝度範囲ｘ｝が規定の閾値以下の場合は、矩形領域ｏは輝度に一定の偏りがない領域であると判断する。

矩形領域ｐについては制御部１００３は、｛β×輝度範囲ｙ｝が規定の閾値よりも大きい場合は、矩形領域ｐは輝度に一定の偏りがある領域であると判断する。一方、制御部１００３は、｛β×輝度範囲ｙ｝が規定の閾値以下の場合は、矩形領域ｐは輝度に一定の偏りがない領域であると判断する。

ステップＳ２００３では、制御部１００３は、ステップＳ２００２で輝度に一定の偏りがある領域と判断された矩形領域の数が２以上であるか否かを判断する。この判断の結果、ステップＳ２００２において輝度に偏りがある領域と判断された矩形領域の数が２以上であれば、処理はステップＳ２００４に進む。一方、ステップＳ２００２において輝度に偏りがある領域と判断された矩形領域の数が２未満であれば、処理はステップＳ２００７に進む。

ステップＳ２００４では、制御部１００３は、輝度に一定の偏りがある領域と判断された矩形領域において、該矩形領域の高さ（＝最大画素数）に対応するビン（輝度値）の最大値Ｍ１及び最小値Ｍ２を特定する。図３の場合、矩形領域ｏの高さα（＝最大画素数）に対応するビン（輝度値）は輝度値ｑ、矩形領域ｐの高さβ（＝最大画素数）に対応するビン（輝度値）は輝度値ｒであり、ｒ＞ｑであるから、最大値Ｍ１＝ｒ、最小値Ｍ２＝ｑとなる。そして制御部１００３は、（Ｍ１−Ｍ２）の値（図３の場合は（ｒ−ｑ）の値）を「輝度から算出したダイナミックレンジ」として求める。

ステップＳ２００５で制御部１００３は、ステップＳ２００４で求めたダイナミックレンジが、記録部１００６に格納されている情報が示す「ネットワークカメラ１０００（撮像部１００１）が撮像可能なダイナミックレンジ」を超えているか否かを判断する。この判断の結果、ステップＳ２００４で求めたダイナミックレンジが「ネットワークカメラ１０００（撮像部１００１）が撮像可能なダイナミックレンジ」を超えている場合には、ＷＤＲ機能の効果があると判定し、処理はステップＳ２００６に進む。一方、この判断の結果、ステップＳ２００４で求めたダイナミックレンジが「ネットワークカメラ１０００（撮像部１００１）が撮像可能なダイナミックレンジ」を超えていない場合には、ＷＤＲ機能の効果はないと判定し、処理はステップＳ２００７に進む。

ステップＳ２００６では、制御部１００３は、ＷＤＲ機能をオンに設定する。ステップＳ２００７では、制御部１００３は、ＷＤＲ機能をオフに設定する。このような設定後、画像処理部１００２は上記のようにＷＤＲ機能のオン／オフの設定に応じた動作を行うことになる。

＜変形例＞
注目領域はどのような領域であっても良く、例えば、ネットワークカメラ１０００に設定されている測光方式に対応する撮像画像上の測光領域を注目領域としても良いし、他の機能で設定されている領域を注目領域としても良い。また、注目領域は、撮像画像において画質を向上させる領域としても良いし、撮像画像において動体を検知するための領域を注目領域としても良い。また、ステップＳ２００１では、注目領域を規定する注目領域情報の代わりに、撮像画像において注目領域以外の領域を規定する情報を取得するようにしても良い。

また、第１の実施形態では、撮像画像の輝度分布に基づいて算出したダイナミックレンジに基づいて、ＷＤＲ機能のオン／オフを決定していたが、ＷＤＲ機能のオン／オフを決定する条件は特定の条件に限らない。例えば、撮像画像における規定の被写体のエッジが正確に得られているかどうか等によって該撮像画像内の白とび及び黒つぶれを検出する。そして、該撮像画像内の白とび及び黒つぶれの面積が閾値以上であるか否かを判断し、白とび及び黒つぶれの面積が閾値以上であればＷＤＲ機能をオンにし、閾値未満であればＷＤＲ機能をオフにする。また、顔などの特定の物体を認識する領域を注目領域とする場合、該物体の認識が成功している場合はＷＤＲ機能の効果は低いと判定し、該物体の認識が失敗している場合はＷＤＲ機能の効果は高いと判定するようにしても良い。物体の認識には上記の認識対象情報を使用すればよい。

つまり、第１の実施形態では、撮像画像における注目領域の画像が規定の条件を満たしているか否かを判定している。そして、該注目領域の画像が規定の条件を満たしている場合には撮像画像を出力し、該注目領域の画像が規定の条件を満たしていない場合には複数の撮像画像を合成した合成画像を出力している（出力制御）。

［第２の実施形態］
本実施形態及び本実施形態の変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態に係るＷＤＲ機能のオン／オフの切り替え処理について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに従った処理は、制御部１００３が記録部１００６に格納されている上記のタイミング情報が示すタイミングが「注目領域の画質判定を行うタイミング」になった若しくは該タイミング情報が示す条件が「注目領域の画質判定を行う条件」を満たしている、と判断した場合に実行する処理である。また、図４のフローチャートに従った処理の開始時点では、ＷＤＲ機能はオフに設定されているものとする。

ステップＳ４００１では、制御部１００３は、上記のステップＳ２００１と同様にして注目領域情報を取得する。ステップＳ４００２では、画像処理部１００２は、複数の撮像画像をＷＤＲ機能を用いて合成した合成画像を生成する。ステップＳ４００２において合成画像の生成に用いる撮像画像の数は、ＷＤＲ機能のオンの場合に送信画像を生成するための画像合成で用いる撮像画像の数と同じでも良いし、異なっていても良い。

ステップＳ４００３で制御部１００３は、画像処理部１００２から出力された１枚の撮像画像（参照画像）、ステップＳ４００２で生成した合成画像、のそれぞれについて、ステップＳ２００２と同様の処理を行うことで、ヒストグラム（輝度分布）を生成する。

ステップＳ４００４では、制御部１００３は、参照画像及びステップＳ４００２で生成した合成画像のそれぞれについて上記のステップＳ２００３と同様の処理を行う。その結果、参照画像及びステップＳ４００２で生成した合成画像の両方について「輝度に一定の偏りのある領域と判断された矩形領域の数が２以上」であれば、処理はステップＳ４００５に進む。一方、参照画像及びステップＳ４００２で生成した合成画像の一方若しくは両方が「輝度に一定の偏りのある領域と判断された矩形領域の数が２未満」であれば、処理はステップＳ４００８に進む。

ステップＳ４００５では、制御部１００３は、ステップＳ４００３で参照画像について求めたヒストグラムから上記のステップＳ２００４と同様の処理を行うことで、「輝度から算出したダイナミックレンジ」を求める。また制御部１００３は、ステップＳ４００３で合成画像について求めたヒストグラムから上記のステップＳ２００４と同様の処理を行うことで、「輝度から算出したダイナミックレンジ」を求める。

ステップＳ４００６では、制御部１００３は、ステップＳ４００５で参照画像について求めたダイナミックレンジと、ステップＳ４００５で合成画像について求めたダイナミックレンジと、の差の絶対値を求める。つまり、それぞれのダイナミックレンジの幅の差を求める。そして制御部１００３は、該求めた差の絶対値が閾値以上であるか否かを判断する。この判断の結果、該求めた差が閾値以上であれば、ＷＤＲ機能の効果は高いと判定し、処理はステップＳ４００７に進む。一方、該求めた差が閾値未満であれば、ＷＤＲ機能の効果は低いと判定し、処理はステップＳ４００８に進む。

ステップＳ４００７では、制御部１００３は、ＷＤＲ機能をオンに設定する。ステップＳ４００８では、制御部１００３は、ＷＤＲ機能をオフに設定する。このような設定後、画像処理部１００２は上記のようにＷＤＲ機能のオン／オフの設定に応じた動作を行うことになる。

＜変形例＞
第２の実施形態では、参照画像について求めたダイナミックレンジと、合成画像について求めたダイナミックレンジと、の差に応じてＷＤＲ機能のオン／オフを決定していた。しかし、合成画像のダイナミックレンジや該合成画像の画質からＷＤＲ機能のオン／オフを決定しても良い。例えば、第１の実施形態において撮像画像のダイナミックレンジの代わりに合成画像のダイナミックレンジを使用しても良い。また、第１の実施形態の変形例において撮像画像における被写体のエッジ、白とび及び黒つぶれ、物体の認識、の代わりに合成画像における被写体のエッジ、白とび及び黒つぶれ、物体の認識、を使用しても良い。

また、参照画像と比べて合成画像に動体ゴーストがより多く発生しているような場合は、ＷＤＲ機能の効果は低いと判定し、合成画像と比べて参照画像に動体ゴーストがより多く発生しているような場合は、ＷＤＲ機能の効果は高いと判定するようにしても良い。

上記の各実施形態や各変形例では、図２や図４のフローチャートに従った処理をネットワークカメラ１０００が行うものとして説明した。しかし、ディジタルカメラやスマートフォン等の他の種類の撮像装置が図２や図４のフローチャートに従った処理を実行しても良い。

なお、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００１：撮像部 １００２：画像処理部 １００３：制御部 １００４：レンズ駆動部 １００５：レンズ制御部 １００６：記録部 １００７：通信部

Claims (14)

1. 撮像画像における注目領域の画像が規定の条件を満たしているか否かを判定する判定手段と、
   前記注目領域の画像が前記規定の条件を満たしている場合には前記撮像画像を出力し、前記注目領域の画像が前記規定の条件を満たしていない場合には複数の撮像画像を合成した合成画像を出力する出力制御手段と
   を備えることを特徴とする撮像装置。
2. 前記判定手段は、
   前記撮像画像における注目領域の輝度分布に基づいて該撮像画像のダイナミックレンジを算出し、該算出したダイナミックレンジが前記撮像装置が撮像可能なダイナミックレンジを超えているか否かを判定し、
   前記出力制御手段は、前記算出したダイナミックレンジが前記撮像装置が撮像可能なダイナミックレンジを超えている場合には前記合成画像を生成して出力し、前記算出したダイナミックレンジが前記撮像装置が撮像可能なダイナミックレンジを超えていない場合には前記撮像画像を出力する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記撮像画像から検出した白とび及び黒つぶれの面積が閾値以上であるか否かを判定し、
   前記出力制御手段は、前記面積が閾値未満であれば前記撮像画像を出力し、前記面積が閾値以上であれば前記合成画像を生成して出力する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記判定手段は、複数の撮像画像を合成した合成画像を生成し、前記撮像画像における注目領域のダイナミックレンジと、該生成した合成画像における注目領域のダイナミックレンジと、の差が閾値以上であるか否かを判定し、
   前記出力制御手段は、前記差が閾値以上であれば前記合成画像を出力し、前記差が閾値未満であれば前記撮像画像を出力する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記判定手段は、規定の時間間隔で前記判定を行うことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記判定手段は、規定の日時で前記判定を行うことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記判定手段は、前記撮像装置のパラメータが変化する度に前記判定を行うことを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
8. 前記撮像装置のパラメータは、該撮像装置のパン、チルト、ズーム、フォーカスを含むことを特徴とする請求項７に記載の撮像装置。
9. 前記判定手段は、前記撮像画像から規定の被写体を検知した場合に前記判定を行うことを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
10. 前記注目領域は、ユーザにより設定された領域であることを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
11. 前記注目領域は、前記撮像装置に設定されている測光方式に対応する前記撮像画像上の測光領域であることを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
12. 前記注目領域は、前記撮像画像において動体を検知するための領域であることを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
13. 前記撮像装置はネットワークカメラであることを特徴とする請求項１乃至１２の何れか１項に記載の撮像装置。
14. 撮像装置の制御方法であって、
    前記撮像装置の判定手段が、撮像画像における注目領域の画像が規定の条件を満たしているか否かを判定する判定工程と、
    前記撮像装置の出力制御手段が、前記注目領域の画像が前記規定の条件を満たしている場合には前記撮像画像を出力し、前記注目領域の画像が前記規定の条件を満たしていない場合には複数の撮像画像を合成した合成画像を出力する出力制御工程と
    を備えることを特徴とする撮像装置の制御方法。

Images