JP2019050551A - 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 ＷＤＲ撮影などにより取得した合成画像について、ユーザーが露出を設定するための領域（測光エリア）を指定しようとする際に、ユーザーが望む様な設定が困難なことがある。【解決手段】 複数の画像を合成し合成画像として出力する際に、合成画像において互いに入出力特性が異なる複数の領域を示す情報を合成画像とともに取得し、取得した情報に基づいて検出領域を設定させて、その設定に基づいて露出パラメータを取得して撮像する。【選択図】 図１５

Description

本発明は、複数の画像を合成する撮影画像の撮像パラメータ（露出）を調整する技術に関する。

近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献１では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術（以降、ＷＤＲ撮影）が開示されている。

一方、撮影して得られた画像データに基づいて自動的に露出を決定する自動露出制御機能を備えた撮像装置がある。自動露出制御の為に行われる測光方式として、例えば、画面全体の画素の輝度情報を測光情報として制御を行う測光方式や、画面内の測光領域を複数のブロックに分割し、各ブロックの測光を行う多分割測光がある。他にも、画面の中央部に重点を置いて測光を行う中央重点測光や、画面の中央部の任意の範囲のみ測光するスポット測光などがある。

特許文献２では、主要被写体を指定することで、指定された領域の露出状態を検出し、検出された信号に応じて露出状態を制御するとともに、制御範囲を制限することで、画像補正を適用する範囲を限定する技術が開示されている。

特許第３５４６８５３号公報 特開平８−２７９９５８号公報

しかしながらＷＤＲ撮影の様な合成画像について、ユーザーが露出を設定するための領域（測光エリア）を指定しようとする際に、ユーザーが望む様な露出設定が困難なことがある。

前記課題を解決するために、本発明に係る撮像装置は、画像を撮像する撮像手段と、複数の画像を合成し合成画像として出力する合成手段と、前記合成画像について、互いに入出力特性が異なる複数の領域を示す第１情報を画像処理装置に通知する通知手段と、前記画像処理装置から検出領域を示す第２情報を受信する受信手段とを有し、前記撮像手段は前記受信手段により受信した第２情報が示す検出領域に基づいて露出を設定することを特徴とする。

本発明によれば、合成画像についてユーザーが撮像装置の露出設定を変更するための領域を指定する際に、ユーザーの所望の画像補正処理が可能となる。

ネットワークカメラシステムの構成を示す模式図である。 カメラの概略構成を示すブロック図である。 クライアントの概略構成を示すブロック図である。 画像処理部の構成の詳細を示すブロック図である。 画像処理部の処理の概略を示すフローチャートである。 表示画面の概略を示す模式図である。 輝度ヒストグラムを示す模式図である。 入出力特性を示すガンマカーブの模式図である。 マップを示す模式図である。 画像合成比率を説明するための模式図である。 （ａ）ユーザーが領域を選択した様子を示す模式図である。（ｂ）マップ情報を示す模式図である。（ｃ）ユーザーの選択とマップ情報から、ユーザーに提示する領域を示す模式図である。 ＷＤＲ撮影の各フレームについて説明するための模式図である。 修正されたマップ情報を示す模式図である。 （ａ）高ＥＶフレームを示す模式図である。（ｂ）低ＥＶフレームを示す模式図である。（ｃ）各種処理後の高ＥＶフレームを示す模式図である。（ｄ）合成後のフレームを示す模式図である。 ネットワークカメラシステムの処理の概略を示すフローチャートである。 魚眼画像についてマップとの対応を説明するための模式図である。 魚眼画像を扱う画像処理部の詳細を示すブロック図である。

まず、図１２を参照して、ＷＤＲ撮影の様な合成画像について、ユーザーが露出測光エリアを指定しようとする際に、ユーザーが望む様な露出設定が困難である状況について説明を補足する。ここで、ＷＤＲ撮影とはＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）すなわちダイナミックレンジが広い画像を取得するために、複数の画像を撮像して合成することを示すものとする。

図１２（ａ）〜（ｃ）は、窓のある室内で窓の外は室内よりも明るいシーンを、ＷＤＲ撮影を用いて撮影した状況を説明する図である。図１２（ａ）は、明るい対象が適切な露出になるように撮影したフレーム（高ＥＶフレーム）である。明るい窓の外を示す領域１２０１の方が、室内を示す領域１２０２よりも適正な露出に近いため、窓の外は明るく、室内は暗く撮影されている。一方、図１２（ｂ）は、暗い対象が適切な露出になるように撮影したフレーム（低ＥＶフレーム）であり、窓の外を示す領域１２０１は露出オーバーになり、室内を示す領域１２０２は適正露出に近く撮影されている。ここで、ＥＶとは露出値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）のことを示す。

この２枚のフレームに基づいてダイナミックレンジが拡張される様に合成した合成フレームを図１２（ｃ）に示す。窓の外を示す領域１２０１も室内を示す領域１２０２も適正な露出に近づいている。ダイナミックレンジを合成する基のフレーム図１２（ａ）や図１２（ｂ）はユーザーに提示しないことが多く、ユーザーは合成後の図１２（ｃ）だけを見て、さらに画像を調整するための作業をすることが多い。図１２（ａ）や図１２（ｂ）は画角の一部分しか内容が理解できるようにしか撮影されていない可能性が高く、これらをユーザーに提示する意義が低いためである。

ただし、図１２（ｃ）において、ユーザーが露出測光エリアを指定するための主要被写体として矩形１２０３を指定した場合、矩形１２０３は明るい領域１２０１と暗い領域１２０２をまたがってしまう。そのため、単純に合成画像上で矩形により指定を受けても、露出の検出位置として、明るい領域１２０１と暗い領域１２０２のうちどちらを、ユーザーが露出測光エリアとして望む領域であるか知ることが困難である。また、ユーザーにとっては、異なる画像調整がされた領域の境界を把握することが困難である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜実施形態１＞
以下、図面を参照して説明する。以下の説明においては、本発明の一実施形態としてネットワークカメラについて説明する。

図１は、実施形態１にかかる画像処理システムとしてのネットワークカメラシステムの概略構成の一例を示す図である。図１に示すように、ネットワークカメラシステム１００は撮像装置としてのネットワークカメラ１１０（以降、カメラと称す）とビューワークライアント１２０（以下、クライアントと称す）とネットワーク１３０とを有している。カメラ１１０とクライアント１２０はネットワーク１３０によって互いに通信可能に接続されている。なお、撮影装置は、ネットワークカメラに限らず、たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の携帯の装置に置き換えてもよい。

カメラ１１０は撮影（撮像）した画像を含む画像データを、ネットワーク１３０を介して配信する。クライアント１２０はカメラ１１０にアクセスして撮像パラメータを設定したり、配信設定をしたりする等して、所望の画像データを取得できるようにする。そして、クライアント１２０はカメラ１１０から配信された画像データを処理したり、配信された画像データを蓄積したり、蓄積された画像データなどを処理したりして、処理後の画像データに基づいて画像の表示を行う。

ネットワーク１３０は、カメラ１１０とクライアント１２０とを通信可能に接続するものであり、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等を含んでいる。なお、本実施形態において、ネットワーク１３０はカメラ１１０とクライアント１２０との間の通信（画像配信用とカメラの設定用）が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク１３０としては、インターネットから有線ＬＡＮ、無線ＬＡＮにいたるまで適用が可能である。

図２は、本実施形態におけるカメラ１１０の構成を示すブロック図である。撮像光学系２０１は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備えており、被写体の光情報を後述の撮像素子部２０２へ集光する。撮像素子部２０２は、撮像光学系２０１にて集光された光情報を電流値へと変換する素子でＣＣＤまたはＣＭＯＳセンサを備え、カラーフィルタなどと組み合わせることで色情報を取得する。ここで、撮像素子部２０２は基本的に、各画素について任意の露光時間とゲインの調整が設定可能な撮像センサとする。

ＣＰＵ２０３は、バス２１０に接続されている各構成の処理に関わる。例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５に格納された命令をＣＵＰ２０３が順に読み込み、解釈し、その結果に従って処理を実行する。撮像系制御部２０６は撮像光学系２０１に対して、フォーカスレンズを駆動しフォーカスを合わせたり、ＣＰＵ２０３から絞りを調整するなどの指示があれば指示されたとおりの制御を行ったりする。

より詳細には、絞りの駆動制御はプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、シャッター速度優先ＡＥ、絞り優先ＡＥなど、ユーザーが設定する撮影モードにより指定されるＡＥ機能に基づいて計算された露出値に基づいて行われる。

また、ＣＰＵ２０３はＡＥ制御に併せてＡＦ（Ａｕｔｏｆｏｃｕｓ）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥおよびＡＦの構成および制御については周知の一般的な技術を利用すればよいため、ここで詳細な説明は省略する。

撮像素子部２０２においてデジタル化された画像信号は、画像処理部２０７に入力される。画像処理部２０７では、後述の画像処理を行い、輝度信号Ｙ、色差信号Ｃｂ・Ｃｒを生成する。

エンコーダ部２０８は、画像処理部２０７にて処理した画像データをＪｐｅｇやＨ．２６４、Ｈ．２６５などの所定のフォーマットに変換する符号化処理を行う。

通信部２０９は、クライアント１２０とｏｎｖｉｆなどのカメラ制御用プロトコルに従った通信をしたり、撮影された画像データをネットワーク１３０経由でクライアント１２０へ配信したりする。カメラ制御用プロトコルを用いた通信とは、クライアント１２０からのカメラ操作コマンドやカメラ設定コマンド、機能の問合せ等を受信し、そのレスポンスや画像データ以外の必要なデータの送信を行うことである。

図３は、本実施形態におけるクライアント１２０の概略構成を示すブロック図である。ＣＰＵ３０１は、クライアント１２０における動作を統括的に制御するものである。ＲＯＭ３０２は、ＣＰＵ３０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ３０１は、処理の実行に際してＲＯＭ３０２から必要なプログラム等をＲＡＭ３０３にロードし、ロードしたプログラム等を実行することで各種の機能動作を実現したり、後述の処理を実施したりする。

ＨＤＤ３０４は大容量の２次記憶部であって、例えば、ＣＰＵ３０１が処理を行う際に必要な各種データや、画像データ、各種情報等を記憶している。また、ＨＤＤ３０４には、ＣＰＵ３０１がプログラム等を用いた処理を行うことにより得られた各種データや、画像データ、各種情報等が記憶される。

操作入力部３０５は電源ボタンやキーボードやマウス等の操作デバイス（ユーザーインターフェース）を備える入力部であり、ユーザーからの各種設定（後述する、各領域毎の画像処理設定や優先度の設定）を受け付ける受付部として機能する。通信部３０６は、クライアント１２０とネットワーク１３０との通信の処理を行う。具体的には、カメラ１１０において撮影された画像データをネットワーク１３０経由で受信する。また、カメラ操作コマンドをカメラ１１０へ送信し、そのレスポンスや画像データ以外の必要なデータを受信する。

表示部３０７は、カメラ１１０の各種制御パラメータ入力のためのＧＵＩ（詳細は後述）やディスプレイを備えている。表示部３０７は、外部のディスプレイに後述するＧＵＩ（グラフィックユーザーインターフェース）などを表示させるように表示制御する構成であってもよい。また。クライアント１２０の各要素の一部または全部の機能は、ＣＰＵ３０１がプログラムを実行することで実現することができる。ただし、クライアント１２０の各要素のうち少なくとも一部（ＧＰＵやＤＭＡなど）が専用のハードウェアとしてＣＰＵ３０１とは別に動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。

図１５に本実施形態のネットワークカメラシステムの処理の概略を示すフローチャートを示す。ステップＳ１５０１において、カメラ１１０がＷＤＲ撮影を実行し合成画像を取得する。この時、輝度ピークが２つ以上ある場合は入出力特性が異なる領域を識別するためのマップを作成する。カメラ１１０は合成画像と作成したマップをクライアント１２０に送信する。

ステップＳ１５０２では、クライアント１２０がカメラ１１０から取得した合成画像を表示する。マップも合わせて表示するようにしてもよい。そして、ステップＳ１５０３において、測光のための領域指定をユーザーから受け付ける。ステップ１５０４では、クライアント１２０がユーザーからの領域指定とマップに基づいて、露出を取得するための領域を決定し、カメラ１１０に通知する。ステップ１５０５ではカメラ１１０がクライアント１２０から取得した情報に基づいて露出パラメータを取得し撮像設定として保持する。そして、ステップＳ１５０６において、撮像設定に基づいてカメラ１１０がＷＤＲ撮影を実施する。マップ作成やＷＤＲ撮影、領域決定などの処理についての詳細は後述する。

図４は本実施形態の画像処理部２０７の構成の詳細を示すブロック図である。画像処理部２０７は現像処理部４００とダイナミックレンジ拡張処理部４１０の２つのブロックに大きく分かれておりローカルバス４３０を介してメモリ４２０と接続している。

現像処理部４００は、撮像素子部２０２より入力された画像データに対して、レンズ位置の補正など撮像光学系２０１の補正を行う光学補正部４０１、センサの補正など撮像素子部２０２の補正を行うセンサ補正部４０２、ゲイン調整を行うゲイン調整部４０３を備える。さらに現像処理部４００は、ノイズリダクション処理を行うＮＲ処理部４０４、ホワイトバランスの調整を行うＷＢ調整部４０５、ガンマ補正を行うガンマ補正部４０６、シャープネス処理を行うシャープネス処理部４０７、コントラスト調整処理や彩度調整処理や色変換処理などの色処理を行う色処理部４０８などの画像内容の補正処理を実施する構成を備える。現像処理部４００の出力は、メモリ４２０に一時的に蓄えられる。露出を変えて撮影した複数枚の画像をメモリ４２０に蓄えることで後述のＷＤＲ合成処理部４１４によって合成できる。

ダイナミックレンジ拡張処理部４１０は、ヒストグラム解析処理部４１１と後述するマップ作成処理部４１２、ガンマ調整部４１３、ＷＤＲ合成処理部４１４を備える。マップ作成処理部４１２で作成されたマップ情報もメモリ４２０に蓄えられる。ダイナミックレンジ拡張処理部４１０の有する各機能モジュールの説明は後述する。

アトリビュート生成部４０９では、画素の輝度値、およびマップ作成処理部４１２で作成されたマップ情報に基づいて画像処理の内容を変えるために、アトリビュート情報を画像処理部２０７（現像処理部４００）の各構成に出力する。各構成はアトリビュート生成部４０９から出力されたアトリビュート情報を参照して、画像データを処理する際の処理パラメータを変更することが可能なように構成されている。

例えば、輝度しきい値Ｙ^ｔｈをアトリビュート生成部４０９に設定する。そして、アトリビュート生成部４０９は、処理画素ごとに輝度値を輝度しきい値Ｙ^ｔｈと比較し、しきい値よりも大きいか否かを示す情報を、画素の輝度情報にアトリビュート情報として付加する。例えば、アトリビュート情報はブーリアン値でよく、画素の輝度値がＹ^ｔｈより大きければ”１”、小さければ”０”の値を保持する。光学補正部４０１〜色処理部４０８は、アトリビュート情報を参照し、アトリビュート情報に対応する処理パラメータを設定する。

また、マップ作成処理部４１２で作成された画素位置に対応する後述のマップ情報に応じても同様にアトリビュート情報を付加することができる。位置に応じて異なるアトリビュートを付加することで、画像処理部２０７の各構成の処理パラメータを変更することが可能となる。

次に図５において、画像処理部２０７の動作フローについて説明する。本実施形態では、明るい対象物に露出を合わせて撮影したフレーム（以降、高ＥＶフレーム）と、暗い対象物に露出を合わせて撮影したフレーム（以降、低ＥＶフレーム）の２枚の露出の異なるフレームを取得する。そして、そのうち高ＥＶフレームについてヒストグラム解析をして、現像処理と、ガンマ調整処理を行い、各フレームを合成して出力する。もちろん露出の異なる画像を３枚以上撮影して、それらのフレームを合成してもよい。さらに、本実施形態の説明では、撮影エリア全体を合成する例について説明するが、各フレームにおける撮影エリアの一部分を合成するようにしてもよい。また、低ＥＶフレームについてヒストグラム解析をしてもよいし、高ＥＶフレーム、低ＥＶフレーム双方を解析してももちろんよい。

ステップＳ５０１では、画像処理部２０７が撮像素子部２０２から画像データを受信する。次に、ステップＳ５０２において、受信した画像データについて現像処理部４００の各構成が種々の処理を実施する。

次に、ステップＳ５０３において、画像合成のために必要なフレーム分の画像データを受信して現像したかを判断する。本実施例では、２枚の露出の異なる撮影を行う。露出は、撮像素子部２０２においてシャッター速度を変えてもよいし、撮像素子部２０２のゲインを変えてもよく、またシャッター速度とゲインの双方を変えてももちろんよい。さらに、ゲイン調整部４０３でもゲインを変更することが可能である。撮像素子で変更する場合には、ＷＤＲ合成前の撮影画像単位で露出の変更がかかる。一方、イン調整部４０３はアトリビュート生成部で生成されたアトリビュートに応じてゲインを変更するため、ＷＤＲ合成前の撮影画像単位だけでなく、マップ作成処理で作成された領域ごとに調整が可能である。

合成に必要な枚数が受信されていれば、ステップＳ５０４へ進み、必要な枚数に達していなければ、ステップ５０１に戻り再度画像を受信する。

ステップＳ５０４ではヒストグラム解析処理部４１１がヒストグラム解析を行う。ヒストグラムについては図６を用いて説明する。図６は、撮影シーンの一例を表示しているＵＩを示しており、網掛けで示す窓６０１の外と室内６０２を含む範囲が撮影された画像が表示されている。窓６０１の外と室内６０２は異なる光源の影響を受けており、窓６０１の画像領域と室内６０２の画像領域とでは輝度差が大きいとする。このような輝度差のあるシーンの場合、ヒストグラムは、図７に示すように室内６０２に対応するピーク７０２を持つヒストグラムと、窓６０１に対応するピーク７０１を持つヒストグラムとが、谷７０３を挟んでいる様になる。

ヒストグラム解析部４１１は、ステップＳ５０４において、画像データから画素毎の輝度値についてのヒストグラムを生成し、生成したヒストグラムについて２つの山ができるか、１つしか山がないかを検知する。解析結果となるピークの数によってステップ５０５において処理を分岐する。

検出されたピークが１つ以下である場合は、後述のガンマ調整処理５０７を行い画像処理部２０７の処理を終了する。ピークが２つある場合、ステップ５０６においてマップ作製の処理を行う。さらに、ピークが２つある場合、ピークの谷７０３の輝度値をヒストグラム解析部４１１がアトリビュート生成部４０９に設定する。なお、３つ以上のピークを検出するように構成してもよく、検出されたピークに対応する分だけ領域を分割してもよいし、含まれる画素数が少なければ（ピークが属する領域のサイズが小さければ）無視するように構成してもよい。

ステップＳ５０６ではマップ作成処理部４１２がマップを作成する。ピークが２つ検出された画像に対して、マップは、ヒストグラムの２つのピークのどちらに属する領域であるかを画像上で示すための情報である。まず、マップ作成処理部４１２が画像を複数の輝度領域に分割する。本実施形態では、処理画像６０４の解像度は、１９２０×１０８０であり、６４×３６のブロック６０３に分割する。このブロックの中でヒストグラムの谷７０３の輝度値よりも大きい輝度値の画素がブロック内の画素数の２／３を超えるブロック６０３と、そうでないブロック６０３とに分割しマップとして示す。

ここで、図６に示した撮影画像から作成されたマップを図９に示し、図９を用いてマップについて説明をする。本実施形態では、２枚の露出の異なるフレームの合成を想定しているため、マップは複数画像の合成比率に応じたマップとなる。具体的には、輝度の低い側から、低ＥＶフレーム比率が１００％のエリア（領域９０１）、低ＥＶフレームと高ＥＶフレームの混合エリア（領域９０２）、高ＥＶフレーム比率１００％のエリア（領域９０３）、高ＥＶフレーム比率１００％（領域９０４）であり、かつ複数ピークが検出されガンマ特性の異なるエリアの４カテゴリーを持つマップとなる。もちろんマップ作成は、高ＥＶフレーム、もしくは低ＥＶフレームに対して行ってもよい。

図１２に、高ＥＶ・低ＥＶフレームについて説明を補足する。明るい対象物に露出を合わせて撮影したフレーム（高ＥＶフレーム）は図１４（ａ）のようになり、明るい室外の露出は適正になるが、暗い室内の階調がなくなり黒くつぶれてしまい視認性が落ちる。一方、暗い対象物に露出を合わせて撮影したフレーム（低ＥＶフレーム）は図１４（ｂ）のようになる。図１４（ｂ）の低ＥＶフレームでは、明るい窓の外などは白飛んでしまう一方、暗い室内は適正値に近い露出が得られる。

このマップ情報（第１情報）と、ステップＳ５０５で検出されたピーク数はカメラ１１０の通信部２０９がクライアント１２０へ通知する。

次に、ステップＳ５０７のガンマ調整処理について説明する。図８は図６のシーンに対応するガンマカーブ（入力に対する出力の関係を示す曲線）を模式的に示すものである。ピークが１つしかない（もしくはＷＤＲ撮影設定をオフしている等）マップ処理を行っていない場合は、調整用のガンマは図８の破線８０１で示されたガンマカーブとなる。一方で、マップを作成した場合、調整用のガンマは、図８の実線８０２、８０３に示されるような互いに不連続の曲線で示される特性となる。図７において谷７０３の明るさより明るい領域の明るさを下げるように調整されており、全体的なダイナミックレンジを確保する処理となる。谷７０３に相当する輝度値でいったん出力値を下げており、このようなガンマカーブで輝度調整を行うことで、明るいエリアの視認性が向上し、ダイナミックレンジが拡大する。

図６に示す明るいエリア６０１では、ユーザーによる露出検出領域６０３の指定がない場合は、エリア６０１全体の平均輝度があらかじめ設定した平均輝度になるように破線８０１に示すようにガンマカーブを調整する。露出検出領域６０３についての詳細は後述する。

次に、ステップＳ５０８でＷＤＲ合成処理部４１４が高ＥＶフレームのガンマ調整後の画像と低ＥＶフレームの合成処理を行う。合成処理の概略について図１０を参照して説明する。横軸は基準輝度を、縦軸は画像を加算合成する際の合成比率を表す。実線１３０１で示す合成比率は、基準輝度に対する低ＥＶフレームの合成比率を表し、１点鎖線１３０２で示す合成比率は、基準輝度に対する高いＥＶフレームの合成比率を表している。

合成する際の基準輝度の閾値Ｙ１より暗い領域は低ＥＶフレームのみを使用し、基準輝度の閾値Ｙ２より明るい領域では高ＥＶフレームのみを用いる。また、基準輝度の閾値付近の境界Ｙ１〜Ｙ２の中間領域では、合成比率を徐々に変化させることで画像の切り替えを滑らかにすることができる。基準輝度として用いるのは、本実施形態では高ＥＶフレームとなる。以上の処理により合成処理を終了する。

次に、図１４において、処理結果の概要を説明する。図１４（ａ）に示す明るい対象物に露出を合わせて撮影した画像（高ＥＶフレーム）に、図５のヒストグラム解析、現像、ガンマ調整処理を行った画像（ガンマ調整後の高ＥＶフレーム）を図１４（ｃ）に示す。ガンマを調整したことで、窓の外の明るい領域の輝度が下がり適切な輝度になる。図１４（ｄ）は図１４（ｂ）と図１４（ｃ）を図１０に示す比率でＷＤＲ合成処理部４１４が合成されることで、明るいエリアから暗いエリアまで撮影できるダイナミックレンジの広い画像となっている。

次に、クライアント１２０の処理について説明する。クライアント１２０においては、カメラ１１０から配信される動画像を表示させ、ユーザーは撮像画像を見ながらカメラ１１０へ撮影に関する設定（露出設定）やネットワークに関する設定を行うことができる。

ここで、ユーザーの露出検出領域の設定について説明する。クライアント１２０の表示部３０７には図１１（ａ）で示される画像が表示されている。ここで、ユーザーが１１０１に示す領域を露出検出領域として設定した場合について説明する。

図１１（ｂ）は、クライアント１２０がカメラ１１０から受信したマップ情報の模式図である。マップ情報は４つのエリア（１１０２，１１０３，１１０４，１１０５）を示している。

本実施例においては、マップ情報の示す複数のエリアについてユーザー指定領域１１０１の中心が属するエリアを選択し、選択したエリアとユーザー指定エリア１１０１とが重なる領域をユーザーへ提示する。図１１の例では、ユーザー指定エリアの中心は、エリア１１０４に対応するため、エリア１１０１と１１０４エリアの重複領域（図１１（ｃ）の１１０６）をユーザーに示す。ユーザーは、この１１０６領域を視認することで、意図する主要被写体かどうかを確認することが可能となる。もし意図した主要被写体と異なる場合は、異なるエリアを再度指定しなおすことができる。意図した主要被写体であれば、露出検出領域の設定を決定し選択処理を終了する。

クライアント１２０で設定された露出検出領域情報（第２情報）は、クライアント１２０の通信部３０６からカメラ１１０に通知される。カメラ１１０では、受信した領域情報を基に露出検出領域を設定して、この露出検出領域（測光領域）から取得した画素値（最大輝度値や平均輝度値など）に基づいて露出設定（露出パラメータ）を取得し、以降の撮像を実施する。例えば、露出検出領域が低ＥＶフレームのみを使用する領域の場合、低ＥＶフレームのみが露出調整される。また、低ＥＶフレームと、高ＥＶフレームの合成領域である場合、低ＥＶフレームと、高ＥＶフレーム双方が露出調整される。また、高ＥＶフレームのみを使用する領域の場合、高ＥＶフレームのみが露出調整され、高ＥＶフレーム中のガンマ調整された輝度領域である場合、対応する輝度領域だけが露出調整される。以上の処理は、アトリビュート生成部４０９を通じて各構成に設定される。

また、ゲイン調整部４０３によりゲインを調整することで、マップのエリアごとにゲインを調整するように構成してももちろんよい。以上の処理によって、ユーザーの意図する領域について露出設定を行うことができるため、ユーザーの意図する画像を出力することが可能となる。

＜実施形態２＞
次に、第２の実施形態について図面を用いて説明する。本実施例ではネットワークカメラの光学系に全方位レンズを用いた実施例について説明する。なお、実施形態１と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。

本実施形態における撮像装置は、撮像光学系２０１に全方位レンズを用いた点が異なる。そのため、画像処理部２０７において、全方位レンズの投影方式の変換部分をもつ。

画像処理部２０７の構成を図１７に示す。現像処理部４００、ダイナミックレンジ拡張処理部４１０は実施例１と同様の構成のため説明を省略する。本実施例では、デワープ処理部１７０１を持つ。デワープ処理部１７０１は、投影方式変換部１７０２からなる。

全方位レンズを用いた場合、撮像装置周辺の広範囲の画像を得ることができるが、画像の歪みが大きく、人間の閲覧や領域の指定には向かない。そのため、投影方式変換部１７０２において全方位画像の一部の領域の投影方式を変換する。投影方式変換部１７０２では、指定された視線方向に平面を想定し、全方位の画像を想定した平面に投影することによって透視投影画像を得る。

また、本処理は、現像処理部４００、ダイナミックレンジ拡張処理部４１０で処理され、メモリ４２０に保持された画像に対して処理が実行される。そのため、全方位の画像と、投影方式変換部１７０２で処理された画像の双方をメモリ４２０に保持することや、複数個所の投影変換画像を作成することが可能なように構成されている。

次に、ユーザーの露出検出領域の設定について説明する。全方位レンズにおける撮影画像を図１６（ａ）に示す。ここでは、被写体となる窓１６０２を含む室内を撮影した例について説明する。全方位レンズの射影によって窓１６０２は四角ではなく扇形に近い形状で撮像されている。

図１６（ｂ）は、クライアント１２０がカメラ１１０から受信したマップ情報の模式図である。マップ情報は２つのエリア（１６０３，１６０４）を示している。１６０３は、窓を含む領域のため明るいエリアを示し、１６０４は室内の比較的暗いエリアを示している。マップ情報は、デワープ処理部１７０１よりも先に処理されているため、全方位画像を基に作成される。

一方、ユーザーは、図１６（ｃ）に示す画像表示を参照する。透視投影変換されているので、１６０２に示す窓は四角く表示されていることがわかる。ここで、ユーザーは測光のための領域指定として１６０５に示すエリアを指定する。

前述のステップ１５０４において、クライアント１２０は測光領域を決定するが、実施例１と同様ユーザー指定領域１６０５の中心が属するエリア１６０３を選択し、選択したエリアとユーザー指定エリア１６０５が重なる領域をユーザーへ提示する。

ここで、マップ領域中の明るいエリア１６０３を透視投影変換後の図１６（ｃ）に破線でプロットする。透視投影変換のため、各ブロックが変形していることがわかる。

本実施例においては、マップ情報の示す複数のエリアについてユーザー指定領域１６０５の中心が属するエリア１６０３であって、ユーザー指定エリア１６０５の内部にあるブロックに外接する矩形領域１６０６をユーザーへ提示する。

なお、ユーザーの選択領域をできるだけ処理領域に近い形で変更したことをユーザーに伝えられれば良いので、外接する矩形領域に限らない。たとえば、マップ情報通りの矩形１６０３を表示してもよいし、外接矩形より若干小さく表示してもよい。

上記のように測光領域を決定し、ユーザー表示をすることで、ユーザーがより正確に測光領域を認識することができるとともに、実際の測光領域もユーザーの意図を反映した領域が設定可能となる。

＜そのほかの実施形態＞
その他の実施形態としては、実施形態１ではユーザーの指定した露出検出領域の中心を含むエリアについてユーザーの設定矩形を調整していたが、入出力特性の異なるエリアとそれ以外でマップ情報を修正してもよい。図１１の例において修正されたマップ情報を図１３（ａ）に示す。ここで、図１１（ａ）の矩形１１０１をユーザーが指定した場合に、実施形態１と同様に中心を含むマップ領域で切り出すと、図１３に１３０３で示す領域が露出検出エリアとなる。

また、切り出さずに、異なるマップ領域を避けるように露出検出枠を移動してもよく、例えば、マップ領域と重ならないように移動した際に、移動前と中心位置が最も近くなるような移動方法を検出すると、図１３の例の場合、図１３（ｃ）に１３０４で示すような位置に移動することができる。

さらに、ユーザーにマップ領域を示し、ユーザーの設定矩形が複数のエリアにまたがる場合に、複数のエリアにまたがってしまっている事をユーザーへ通知し、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。

また、ユーザーにマップ情報の示す複数のエリアを示し、露出の基準となるエリアを選択させるようにしてもよい。上述の実施形態では、説明の簡便のため２つのエリアについてマップを作成する例を主体として説明しているが、３つ以上のエリアであっても本発明を同様に適用することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (23)

1. 画像を撮像する撮像手段と、
   複数の画像を合成し合成画像として出力する合成手段と、
   前記合成画像について、互いに入出力特性が異なる複数の領域を示す第１情報を画像処理装置に通知する通知手段と、
   前記画像処理装置から検出領域を示す第２情報を受信する受信手段とを有し、
   前記撮像手段は前記受信手段により受信した第２情報が示す検出領域に基づいて露出を設定することを特徴とする撮像装置。
2. 前記撮像手段は露出設定を互いに異ならせた設定で複数の画像を撮像し、前記合成手段は当該複数の画像に基づいてダイナミックレンジを拡張した合成画像を出力することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、前記第２情報が示す検出領域から取得した輝度値に基づいて設定した露出に基づいて、撮像することを特徴とする請求項１または２に記載の撮像装置。
4. 撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第１情報とを取得する取得手段と、
   前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用する複数の領域とを表示する表示手段と、
   前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付手段と
   を有することを特徴とする画像処理装置。
5. 前記検出領域をユーザーが設定するためのユーザーインターフェースをさらに備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記受付手段により受け付けた領域の指定と、前記取得手段により取得した第１情報とに基づいて、前記撮像装置の露出を設定するための検出領域を決定する決定手段と、
   当該検出領域を含む第２情報を前記撮像装置に送信する送信手段とをさらに備えることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記決定手段は、前記第１情報が示す複数の領域のなかで前記受付手段により受け付けた領域の中心位置を含む領域と、前記受付手段により受け付けた領域とが重なる領域を検出領域として決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記第１情報が示す複数の領域のなかで前記受付手段により受け付けた領域の中心位置を含む領域と、前記受付手段により受け付けた領域とが重なる領域に外接する領域を検出領域として決定することを特徴とする請求項６に記載の画像処理装置。
9. 前記表示手段は、前記決定手段が検出領域として決定した領域を表示することを特徴とする請求項４乃至８のいずれか１項に記載の画像処理装置。
10. 前記表示手段は、前記受付手段で受け付けた領域が、前記第１情報が示す複数の領域にまたがっていると、そのことを通知するための表示をすることを特徴とする請求項４乃至９のいずれか１項に記載の画像処理装置。
11. 前記互いに入出力特性が異なる複数の領域とは、入出力の関係を示す曲線として互いに不連続な曲線が設定された領域であることを特徴とする請求項４乃至１０のいずれか１項に記載の画像処理装置。
12. 前記互いに入出力特性が異なる複数の領域とは、露出設定が互いに異なる領域であることを特徴とする請求項４乃至１０のいずれか１項に記載の画像処理装置。
13. 画像を撮像する撮像装置による撮像方法であって、
    複数の画像を合成し合成画像として出力する合成工程と、
    前記合成画像について、互いに入出力特性が異なる複数の領域を示す第１情報を画像処理装置に通知する通知工程と、
    前記画像処理装置から検出領域を示す第２情報を受信する受信工程とを有し、
    前記撮像工程では前記受信工程で受信した第２情報が示す検出領域に基づいて露出を設定することを特徴とする撮像方法。
14. 前記撮像工程は露出設定を互いに異ならせた設定で複数の画像を撮像し、前記合成工程は当該複数の画像に基づいてダイナミックレンジを拡張した合成画像を出力することを特徴とする請求項１３に記載の撮像方法。
15. 前記撮像工程は、前記第２情報が示す検出領域から取得した輝度値に基づいて設定した露出に基づいて、撮像することを特徴とする請求項１３または１４に記載の撮像方法。
16. 撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第１情報とを取得する取得工程と、
    前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用した複数の領域とを表示する表示工程と、
    前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付工程と
    を有することを特徴とする画像処理方法。
17. 前記受付工程で受け付けた領域の指定と、前記取得工程で取得した第１情報とに基づいて、前記撮像装置の露出を設定するための検出領域を決定する決定工程と、
    当該検出領域を含む第２情報を前記撮像装置に送信する送信工程とをさらに備えることを特徴とする請求項１６に記載の画像処理方法。
18. 前記決定工程は、前記第１情報が示す複数の領域のなかで前記受付工程により受け付けた領域の中心位置を含む領域と、前記受付工程により受け付けた領域とが重なる領域を検出領域として決定することを特徴とする請求項１７に記載の画像処理方法。
19. 前記表示工程は、前記決定工程が検出領域として決定した領域を表示することを特徴とする請求項１６乃至１８のいずれか１項に記載の画像処理方法。
20. 前記表示工程は、前記受付工程で受け付けた領域が、前記第１情報が示す複数の領域にまたがっていると、そのことを通知するための表示をすることを特徴とする請求項１６乃至１９のいずれか１項に記載の画像処理方法。
21. 前記互いに入出力特性が異なる複数の領域とは、入出力の関係を示す曲線として互いに不連続な曲線が設定された領域であることを特徴とする請求項１６乃至２０のいずれか１項に記載の画像処理方法。
22. 前記互いに入出力特性が異なる複数の領域とは、露出設定が互いに異なる領域であることを特徴とする請求項１６乃至２０のいずれか１項に記載の画像処理方法。
23. コンピュータを
    撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第１情報とを取得する取得手段と、
    前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用する複数の領域とを表示する表示手段と、
    前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付手段として機能させることを特徴とする画像処理装置。

Images