JP7475830B2 - 撮像制御装置および撮像制御方法 - Google Patents

Description

本発明は、撮像制御装置および撮像制御方法に関する。

従来のカメラシステムでは、光源の強弱変化に対応するため、画像全体の光量を撮像の際に測定し、測定した光量に適した露出制御を行う。
しかし、画像内の一部分を占める被写体が逆光状態や過順光状態となった高コントラスト状態のシーンでは、画像全体の光量に適した露出制御を行ったとしても、被写体を適切な露出で撮像できない場合がある。

高コントラスト状態で被写体を適切な露出で撮像できるよう、手動で露出設定したとしても、光源の明るさや位置が変化すると、その露出設定は適切ではなくなってしまう。
適切な露出設定を行う方法として、受信した撮像画像ごとに被写体を検出し、被写体の領域の輝度評価値が所定の輝度評価値になるよう露出を制御する方法がある。また、ユーザが被写体に似た輝度の矩形領域を背景の中に指定し、当該矩形領域が所定の輝度評価値となるよう露出を制御する方法もある。

特許文献１には、露出を合わせたい物体（目的の物体）の特徴量をデータベースにあらかじめ登録しておき、その後受信した画像ごとに、検出した移動物体の特徴量と登録した物体の特徴量とを照合する監視カメラシステムが開示されている。この監視カメラシステムでは、当該照合により、検出した移動物体が目的の物体であると判定されると、目的の物体が所定の明るさとなるよう絞り・露光・ゲインを制御（調整）する。

特開２０１４－１４６９７９号公報

しかし、特許文献１の監視カメラシステムでは、受信した撮像画像ごとに被写体を検出し露出を調整するため、適切な露出状態でないときには被写体の検出が困難であり露出調整に時間がかかる可能性がある。監視目的で通路や出入り口にカメラを設置する場合、被写体を撮像できる時間は短く、適切な露出で撮像する機会を逸する可能性がある。

本発明は、このような問題を解決するため、露光調整を効率的に行うことができる撮像制御装置を提供することを目的とする。

本発明の１つの態様に係る撮像制御装置は、撮像部の露出を制御する撮像制御装置であって、前記撮像部により撮像された第１の画像から特定の被写体を含む被写体領域を決定する決定手段と、前記決定手段により決定した被写体領域の輝度ヒストグラムと、前記被写体領域以外の領域の輝度ヒストグラムとに基づいて、前記第１の画像において、前記被写体領域の輝度値と類似する輝度値を有する領域を取得する取得手段と、前記撮像部により撮像された第２の画像における前記取得手段によって取得された領域の輝度値に基づいて、前記撮像部の露出を調整する調整手段と、を備え、前記取得手段は、前記被写体領域以外の領域の輝度ヒストグラムが表す輝度類似度の合計が所定値未満の場合、前記輝度ヒストグラムの区間幅を広げる。

本発明によれば、露出調整を効率的に行うことができる。

カメラシステムの構成を示すブロック図。 撮像装置および情報処理装置の構成を示すブロック図。 情報処理装置内で行われる実施形態１に係る全体処理のフローチャート。 （Ａ）～（Ｇ）は図３の各処理結果を示す図。 実施形態１の情報処理装置内で行われる被写体領域決定処理フローチャート。 実施形態１の情報処理装置内で行われる類似画素マップ作成処理フローチャート。 実施形態１の情報処理装置内で行われる輝度評価値取得処理フローチャート。 実施形態１の情報処理装置内で行われる露出設定決定処理フローチャート。 実施形態１の情報処理装置内で行われる類似画素マップ更新処理フローチャート。 実施形態２の情報処理装置内で行われる全体処理のフローチャート。 実施形態２の情報処理装置内で行われる類似画素マップ作成処理フローチャート。

以下、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

実施形態１
本発明の実施形態１に係るカメラシステムは、まず、目的とする被写体（オブジェクト）が映った第１の画像に対し、ユーザが指定した被写体候補領域から被写体領域を決定する。そして、カメラシステムは、第１の画像の被写体領域の輝度値に類似する値を有する領域を特定することを目的として、被写体領域以外の背景領域に第１の画像の被写体領域の輝度値に対する類似度を画素単位でマッピングした類似画素マップを取得する。カメラシステムは、その後取得した、露出調整対象の第２の画像のうち、類似画素マップから得られる領域の輝度値を評価対象の輝度値（輝度評価値）として取得する。そして、輝度評価値が所定の輝度となるように露出調整（露出制御）を行う。本実施形態では、輝度は２５６階調で表現されるとする。輝度の中間値は１２８となり、最大値は２５５となる。

＜カメラシステムの構成＞
図１は、本発明の実施形態に係るカメラシステム１の構成を示すブロック図である。
カメラシステム１は、撮像装置１０と、ネットワーク２０と、情報処理装置３０とを有する。撮像装置１０と情報処理装置３０は、ネットワーク２０を介して通信可能である。ネットワーク２０は、有線でも無線でもよい。

撮像装置１０は、画像（静止画像、動画）を撮像する装置であり、撮像装置１０で撮像した画像の信号（以下、「画像信号」と称する）はネットワーク２０を介し情報処理装置３０へ送信される。また撮像装置１０は、情報処理装置３０から露出制御信号を受信し、露出設定を決定・変更する。撮像装置１０は、例えば、ネットワークカメラである。本実施形態では、撮像装置１０は、画像として静止画像を情報処理装置３０に送信するとする。

情報処理装置３０は、撮像装置１０から画像信号を受信する。この画像信号の画像には、目的となる被写体（以下の記載において、単に「被写体」と称することや「所定の被写体」と称することもある）が映っているとする。本実施形態では、この画像信号を第１の画像信号と称する。情報処理装置３０は、受信した第１の画像信号の画像内に被写体領域を決定する。そして、情報処理装置３０は、被写体領域の輝度値に対する類似度を背景領域に画素単位でマッピングした類似画素マップを作成する。つまり、情報処理装置３０は、被写体領域の輝度値に類似する輝度値を有する領域を、被写体領域以外の背景領域から特定する。なお、被写体が写っている画像（第１の画像信号）は、撮像装置１０がすでに撮像した画像の中から、ユーザが予め選択した画像でもよい。
情報処理装置３０は、第１の画像信号の後に第２の画像信号を撮像装置１０から受信すると、第２の画像信号のうち類似画素マップによって特定された領域の輝度値（輝度評価値）を取得し、輝度評価値が所定の輝度値となる露出設定（露出調整）を決定する。そして、情報処理装置３０は、撮像装置１０に当該露出設定で撮像を行わせるための露出制御信号（露出調整信号）を、撮像装置１０へ送信する。情報処理装置３０は、撮像装置１０に露出制御信号を送信するので、撮像制御装置と称してもよい。情報処理装置３０は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンなどである。

＜撮像装置と情報処理装置の構成＞
図２は撮像装置１０および情報処理装置３０の構成を示すブロック図である。
撮像装置１０は、図２に示すように、撮像部１１と、ＣＣＤコントローラ１２と、Ｉ／Ｆ部１３とを備える。Ｉ／ＦはＩｎｔｅｒｆａｃｅの略である。撮像部１１はＣＣＤコントローラ１２に接続されており、ＣＣＤコントローラ１２はＩ／Ｆ部１３に接続されている。Ｉ／Ｆ部１３は撮像部１１とネットワーク２０に接続されている。ＣＣＤはＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。
撮像部１１は、レンズ１１１と、絞り１１２と、ＣＣＤ１１３を備える。ＣＣＤ１１３は、レンズ１１１および絞り１１２を通過した入射光を受け入射光に応じた検出信号を出力する。

ＣＣＤコントローラ１２は、撮像部１１を制御する。つまり、撮像部１１は、ＣＣＤコントローラ１２の制御の下で、画像を撮像する。
Ｉ／Ｆ部１３は、情報処理装置３０からネットワーク２０を介して送信された露出調整信号を受信し、露出調整信号をＣＣＤコントローラ１２に送信する。

情報処理装置３０は、Ｉ／Ｆ部３１と、ＣＰＵ３２と、入力部３３と、記憶部３４と、データバス３５を備えている。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。Ｉ／Ｆ部３１、ＣＰＵ３２、入力部３３および記憶部３４は、データバス３５に接続されており、相互に信号の送受信を行うことができる。
Ｉ／Ｆ部３１はネットワーク２０に接続されており、撮像装置１０から画像信号を受信する。Ｉ／Ｆ部３１は、受信した画像信号をカメラシステム１で扱うフォーマットの画像データに変換し、当該画像データをデータバス３５を介して記憶部３４に送信する。記憶部３４は、当該画像データを記憶する。

ＣＰＵ３２は、記憶部３４に記憶されたプログラムに従って、記憶部３４に記憶された画像データの解析を行う。画像データを解析した結果として、ＣＰＵ３２は、例えば撮像装置１０の撮影視野内の輝度値などの情報を取得する。そしてＣＰＵ３２は、当該情報を記憶部３４に送信し、記憶部３４は当該情報を記憶する。

入力部３３は、キーボードやマウスなどにより構成されている。ユーザは、入力部３３を操作することで、各種のコマンド、データおよび対応表を情報処理装置３０に入力することができる。本実施形態では、入力部３３は表示部を含んでいるとする。ユーザは表示部に表示されたタッチパネルを用いてコマンドなどを入力することもできる。また、ユーザは、表示部に表示された画像内に、被写体候補領域を指定することができる。入力部２０７は、操作部と称してもよい。

記憶部３４は、各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくために使用される。例えば、記憶部３４は、撮像装置１０から送信されてくる画像を記憶する。また、記憶部３４は、輝度評価値と露出設定の対応表を記憶する。さらに、記憶部３４は、撮像装置１０の撮像方向を制御するための制御パラメータ等を記憶してもよい。記憶部３４は、記憶する情報の種類に応じて、第１記憶領域、第２記憶領域、第３記憶領域などを備える。
第１の画像がユーザにより予め選択（用意）されたものである場合、第１の画像は記憶部３４に記憶されているとする。

また、記憶部３４は、各種パラメータや、ＣＰＵ３２が実行するプログラム格納領域、プログラム実行中のワーク領域等として使用され得る。記憶部３４は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。
なお、撮像装置１０および情報処理装置３０は、図２に示した以外の要素を含んでもよい。例えば、撮像装置１０は、表示部、収音部およびパンチルトズーム駆動部などを有してもよい。情報処理装置３０は、音声出力部などを有してもよい。

＜情報処理装置による処理＞
情報処理装置３０内で行われる処理を、図３および図４を用いて説明する。図３は、情報処理装置３０内で行われる処理の全体を示すフローチャートである。図４（Ａ）～（Ｇ）は、図３の各処理により得られる処理結果の一例を示している。図３の各処理は、ＣＰＵ３２が記憶部３４からプログラムを読み出して実行することにより行われる。ＳはＳｔｅｐの略である。

Ｓ１において、情報処理装置３０は、所定の被写体が映った第１の画像を取得する。図４（Ａ）は第１の画像の例を示している。図４（Ａ）において、光源は例えば太陽であり、被写体は人物である。人物は、２枚の透明ガラスの手前に立っているとする。人物の手前側は室内であり、室内に照明はないとする。撮像装置１０は、室内から人物を撮像しているとする。人物の左手前に、立方体の物体がある。つまり、撮像装置１０は、逆光の状態で、人物を撮像している。光源から見ると、立方体の背面には光源からの光が当たらないので、立方体の背面は黒で示されている。室内の壁および床は、光源からの光により、黒より少し明るい色で示されている。

Ｓ２において、情報処理装置３０は、入力部３３を使用してユーザが指定（設定）した被写体候補領域に基づいて、第１の画像に被写体候補領域を設定する。図４（Ｂ）は被写体候補領域の例を示している。図４（Ｂ）において、破線で示された矩形の領域が被写体候補領域である。被写体候補領域を指定する際、ユーザは、被写体候補領域内に被写体が含まれるようにする。そして、情報処理装置３０は、被写体候補領域の中から被写体領域を決定する。図４（Ｃ）は、被写体領域の例を示している。図４（Ｃ）において、白抜きの形状が被写体領域である。被写体領域決定処理については、図５を用いて後述する。

Ｓ３において、情報処理装置３０は、Ｓ２で決定した被写体領域の輝度値に対する類似度を、被写体領域以外の背景領域に画素単位でマッピングした類似画素マップを作成する。図４（Ｄ）は類似画素マップの例を示している。被写体領域は図４（Ｃ）で白領域である。被写体領域以外の背景領域において、被写体の輝度値に類似した輝度値を有しているのは立方体の背面である。図４（Ｄ）では、類似度が高い領域ほど白色に近い表現がなされている。例えば、立方体の背面の領域は類似度が高いため白になっている。被写体と最も異なる輝度情報（輝度値）を有しているのは、透明ガラス部分なので、図４（Ｄ）において透明ガラス部分は黒になっている（類似度が低い）。室内の壁および床は、グレーで示されている。図４（Ｄ）において被写体領域は黒とする。本実施形態では、類似度が高い白色領域から輝度評価値が抽出される。類似画素マップ作成処理については、図６を用いて後述する。図４（Ｄ）の類似画素マップは、２値化する前の状態を示している。

Ｓ４において、情報処理装置３０は、撮像装置１０から新たな画像（第２の画像）を取得したかを判定する。Ｓ４の判定結果がＹｅｓの場合、Ｓ５に進む。図４（Ｅ）は第２の画像の例を示している。図４（Ｅ）の画像には、人物がいない。本実施形態では、つまり、撮像装置１０が第１の画像を撮像した後に、人物が撮像範囲の外に移動し、撮像装置１０が第２の画像を撮像した場合を想定している。Ｓ４の判定結果がＮｏの場合、処理を終了する。
Ｓ５において、情報処理装置３０は、直近の類似画素マップ作成から所定時間が経過したかを判定する。Ｓ５の判定結果がＹｅｓの場合、Ｓ６に進む。Ｓ５の判定結果がＮｏの場合、Ｓ７に進む。

Ｓ６において、情報処理装置３０は、類似画素マップを更新する。具体的には、情報処理装置３０は、新たに第１の画像を撮像装置１０から取得し、当該第１の画像から新しい類似画素マップを作成する。類似画素マップの更新については、図９を用いて後述する。本実施形態では、Ｓ５において、直近の類似画素マップ作成から所定時間が経過していると判定された場合、現在使用している類似画素マップを使用しない方が良いと考えられるので、Ｓ６において類似画素マップを更新している。例えば、所定時間が経過すると、光源（太陽）の位置が変化し、撮像装置１０の撮像範囲内における明るさが変化するので、類似画素マップを更新することになる。

Ｓ７において、Ｓ４で取得した第２の画像と、Ｓ３で取得した類似画素マップもしくはＳ６で更新した類似画素マップとに基づいて、輝度評価値を取得する。輝度評価値取得処理については、図７を用いて後述する。
Ｓ８において、情報処理装置３０は、Ｓ７で取得した輝度評価値に基づいて最適な露出設定を取得（決定）し、決定した露出設定に対応する露出調整信号を撮像装置１０に送信する。Ｓ８の露出調整後に、撮像装置１０が撮像した画像は、例えば、図４（Ｆ）のような画像になる。よって、被写体を適切な露出で撮像することができる。露出設定決定処理については、図８を用いて後述する。

本実施形態では、Ｓ８の後、Ｓ４に戻り、撮像装置１０から画像を得られなくなるまでＳ４～Ｓ８を繰り返す。例えば、図４（Ｆ）の撮像の後に、第１の画像において指定された被写体領域付近に人物が入ってきた場合は、図４（Ｇ）のような画像が撮像される。この場合も、人物（被写体）を適切な露出で撮像することができる。図４（Ｇ）のような画像ならば、被写体である人物の顔が判別・認識できる。

以下に、図３に示した各処理の詳細を説明する。
＜被写体領域決定処理＞
図５は、図３のＳ２の処理内容を説明するフローチャートであり、情報処理装置３０内で行われる被写体領域決定処理の詳細を示している。
Ｓ１１において、情報処理装置３０は、露出を合わせたい被写体が映った画像（第１の画像）を取得する。
Ｓ１２において、ユーザは、Ｓ１１で取得した画像内に、入力部３３を使用して被写体候補領域を矩形で指定する。情報処理装置３０は、ユーザが指定した被写体候補領域に基づいて、画像内に被写体候補領域を設定する。

Ｓ１３において、情報処理装置３０は、矩形内の輝度値を一列に並べ、昇順にソートすることにより、輝度値リストを取得する。
Ｓ１４において、情報処理装置３０は、輝度値リストから輝度値の中央値を取得する。
Ｓ１５において、情報処理装置３０は、Ｓ１４で取得した中央値が、輝度値の取り得る値範囲の中間（２５６階調なので１２８）未満かを判定する。Ｓ１５の判定結果がＹｅｓの場合、Ｓ１７に進む。Ｓ１５の判定結果がＮｏの場合、Ｓ１６に進む。

Ｓ１６において、情報処理装置３０は、Ｓ１１で取得した画像の各画素の輝度値を、輝度値の取りうる値範囲の最大値（２５６階調なので２５５）から減算し、輝度値を反転させる。
Ｓ１７において、情報処理装置３０は、もしＳ１６を経由しているならＳ１６で取得した画像を用い、Ｓ１２で指定した矩形内の各画素の輝度値がＳ１４で取得した中央値未満であれば最大値（２５５）に置き換える。情報処理装置３０は、もしＳ１６を経由していないならばＳ１１で取得した画像を用い、Ｓ１２で指定した矩形内の各画素の輝度値がＳ１４で取得した中央値未満であれば最大値（２５５）に置き換える。

Ｓ１８において、情報処理装置３０は、Ｓ１７で取得した画像に対し、Ｓ１２で指定した矩形内の各画素の輝度値がＳ１４で取得した中央値以上であれば画素の輝度値を最小値（２５６階調なので０）に置き換える。
Ｓ１９において、情報処理装置３０は、Ｓ１８で取得した画像に対し、Ｓ１２で指定した矩形外の各画素の輝度値を、輝度値の最小値（０）に置き換える。

Ｓ１１～Ｓ１９の処理により、被写体領域の画素輝度値が、輝度値範囲の最大値（２５５）となり、それ以外の領域の画素輝度値が輝度値範囲の最小値（０）となった被写体領域マスク画像（図４（Ｃ）の被写体領域に対応する画像）を取得できる。
なお、図５の被写体領域決定方法は一例であって、この方法に限定されない。例えば、公知の被写体領域検出アルゴリズムにより被写体領域を検出し、検出された被写体領域を本実施形態で使用する被写体領域として採用してもよい。

図６は、図２のＳ３の処理内容を説明するフローチャートであり、情報処理装置３０内で行われる類似画素マップ作成処理の詳細を示している。本実施形態では、類似画素マップを作成する際に、輝度ヒストグラムを用いる。
Ｓ２１において、情報処理装置３０は、類似画素マップの作成に用いる輝度ヒストグラムで使用する区間幅ｗに区間幅初期値ｗ₀をセットする。
Ｓ２２において、情報処理装置３０は、Ｓ２で取得した被写体領域の輝度値から、区間幅ｗのヒストグラムＨ１を作成する。

Ｓ２３において、情報処理装置３０は、被写体領域以外の背景領域の輝度値から、区間幅ｗのヒストグラムＨ２を作成する。
Ｓ２４において、情報処理装置３０は、Ｓ２２で取得したヒストグラムＨ１の各区間を、Ｓ２３で取得したヒストグラムＨ２の各区間で除算し、ヒストグラムＨ３を取得する。
Ｓ２５において、情報処理装置３０は、背景領域に十分な類似画素マップが存在するかを判断するための指標として、Ｓ２３で取得したヒストグラムＨ２の各区間の高さにＳ２４で取得したヒストグラムＨ３の該当する区間の高さを乗算したものの総和（合計）ａを算出する。

Ｓ２６において、情報処理装置３０は、Ｓ２５で取得した総和ａが閾値未満かを判定する。つまり、Ｓ２６において、情報処理装置３０は、背景領域の輝度ヒストグラムが表す輝度類似度の合計が所定値未満かを判定する。Ｓ２６の判定結果がＹｅｓの場合、Ｓ２７に進む。Ｓ２６の判定結果がＮｏの場合、Ｓ２９に進む。
Ｓ２７において、情報処理装置３０は、区間幅ｗが閾値未満かどうかを判定する。Ｓ２７の判定結果がＹｅｓの場合、Ｓ２８に進む。Ｓ２７の判定結果がＮｏの場合、Ｓ２９に進む。
Ｓ２８において、情報処理装置３０は、区間幅ｗに区間幅加算値ｄｗを加算する。つまり、背景領域の輝度ヒストグラムが表す輝度類似度の合計が所定値未満の場合、輝度ヒストグラムの区間幅を広げる。Ｓ２８の後、Ｓ２２に戻る。
Ｓ２９において、情報処理装置３０は、画像の背景領域の各画素の輝度値を取得する。

Ｓ３０において、情報処理装置３０は、Ｓ２９で取得した画素ごとの輝度値それぞれに対し、ヒストグラムＨ３から該当する区間を見つけ、その区間の高さ値を取得する。
Ｓ３１において、情報処理装置３０は、Ｓ３０で取得した画素ごとの区間高さ値を対応する画素にマッピングした類似画素マップを作成する。
Ｓ３２において、情報処理装置３０は、類似画素マップの二値化を行う。二値化により、類似画素マップは１の領域と０の領域（真の値の領域と偽の値の領域）とを有するようになる。

なお、Ｓ３２は必須ではなく、類似度の高い領域を特定できればよい。例えば二値化を行わずに図４（Ｄ）に示すような類似画素マップをそのまま輝度評価値の取得処理（Ｓ７）に用いてもよい。
また、図６の類似画素マップ作成方法は一例であって、この方法に限定されない。例えば、第１の画像の被写体領域内の輝度値の中央値を代表輝度値とし、代表輝度値を中心とした所定の範囲に収まる輝度値を背景領域から探し出し、該当する画素に真を入力し、該当しない画素に偽を入力して類似画素マップを作成してもよい。

＜輝度評価値取得処理＞
図７は図２のＳ７の処理内容を説明するフローチャートであり、情報処理装置３０内で行われる輝度評価値取得処理の詳細を示している。
Ｓ４１において、情報処理装置３０は、撮像装置１０から第２の画像を取得する。
Ｓ４２において、情報処理装置３０は、Ｓ３もしくはＳ６で取得した類似画素マップ内の真の値の領域についてのみ（つまり、０以外の領域のみ）、第２の画像から輝度値を収集する。

Ｓ４３において、情報処理装置３０は、Ｓ４２で収集した輝度値の平均値を算出し、当該平均値を輝度評価値とする。
なお、図７の輝度評価値取得処理は一例であって、この方法に限定されない。例えば、類似画素マップの画素輝度値を重みとした第２の画像の加重平均輝度値を輝度評価値としてもよい。

＜露出設定決定処理＞
図８は、図２のＳ８の処理内容を説明するフローチャートであり、情報処理装置３０内で行われる露出設定決定処理の詳細を示している。
Ｓ５１において、情報処理装置３０は、Ｓ７で取得した輝度評価値を用いて、記憶部３４に記憶されている輝度評価値と露出設定の対応表を参照し、該当した露出設定を取得する。
Ｓ５２において、情報処理装置３０は、Ｓ５１で取得した露出設定を、露出制御信号として撮像装置１０に送信する。撮像装置１０は受信し露出制御信号に従い露出設定（決定、変更）を行う。
なお、上記の露出設定決定処理は一例であり、他の手法により露出設定を決定してもよい。例えば、輝度評価値が所定の輝度値になるまで、露出設定を変更し続けてもよい。

＜類似画素マップ更新処理＞
図９は図２のＳ６の処理内容を説明するフローチャートであり、情報処理装置３０内で行われる類似画素マップ更新処理の詳細を示している。
Ｓ６１において、情報処理装置３０は、前回の類似画素マップ更新から所定時間経過したかを判定する。所定時間は、例えば、１０分である。Ｓ６１の判定結果がＹｅｓの場合、Ｓ６２に進む。Ｓ２７の判定結果がＮｏの場合、Ｓ６１に戻る。
Ｓ６２において、情報処理装置３０は撮像装置１０から撮像画像を取得する。Ｓ６２では、被写体が映っている画像を撮像装置１０から受信・取得しているので、図９の処理は、所定時間ごとに、新たに第１の画像を撮像装置１０から取得していると言える。

Ｓ６３において、情報処理装置３０は、Ｓ６２で取得した画像から被写体を検出したかを判定する。Ｓ６３の判定結果がＹｅｓの場合、Ｓ６４に進む。Ｓ６３の判定結果がＮｏの場合、Ｓ６２に戻り、新たな撮像画像の取得を行う。
Ｓ６４において、情報処理装置３０は、Ｓ３の類似画素マップ作成処理を実行する。つまり、Ｓ６４により、Ｓ７の輝度評価値取得処理で用いられる類似画素マップが更新される。

＜実施形態１の効果＞
以上説明したように、本実施形態のカメラシステム１によれば、目的とする被写体（オブジェクト）が検出できるかどうかに関わらず、被写体に適した露出調整をすることができる。そのため、撮像画像ごとに露出設定を変更する方式に比べ、被写体を迅速に適正露出で撮像することができ、被写体の撮像し損なう機会を減らすことができる。本実施形態によれば、類似画素マップを更新することにより、光源の位置や明るさが変わったとしても、被写体撮像に適した露出調整を行うことができる。

実施形態２
実施形態１では、１枚の第１の画像から類似画素マップを作成する例を説明した。しかし、１枚の画像から類似画素マップを作成する際、被写体領域の輝度値に対して、風で動く木々など背景領域の動体領域の輝度値がたまたま類似するケースがある。その場合、第２の画像の際には、第１の画像の被写体領域の輝度値と動体領域の輝度値との類似度が継続しない可能性がある。そのため、第２の画像では適切な露出調整ができない可能性がある。当該可能性を低減するために、実施形態２では、目的となる被写体が映った動画を用いて、当該動画を構成するフレーム画像に対する類似画素マップを平均化して用いる。なお、本実施形態の説明において、実施形態１と同様な構成や処理には同じ参照符号を付けて、説明を省略する場合がある。

＜カメラシステム、撮像装置および情報処理装置の構成＞
実施形態２に係るカメラシステム１、撮像装置１０および情報処理装置３０の構成は、実施形態１の図１および図２と同じであるため、説明を省略する。

＜情報処理装置による処理＞
図１０は、実施形態２の情報処理装置３０内で実行される処理の全体を示すフローチャートである。
Ｓ７１において、情報処理装置３０は、複数フレームからなる動画から類似画素マップを作成する。Ｓ７１の詳細は図１１を用いて説明する。Ｓ７１の後、Ｓ４に進む。
図１０のＳ４～Ｓ８の処理は、図３と同じため説明を省略する。

図１１を参照して、動画から類似画素マップを作成する処理を説明する。
Ｓ８１において、情報処理装置３０は、撮像装置１０から目的の被写体が映った動画の入力を受け取る。つまり、情報処理装置３０は、被写体が写った動画を撮像装置１０から受信して、例えば、記憶部３４の第１記憶領域に記憶する。
Ｓ８２において、情報処理装置３０は、動画を構成するフレーム画像を１つずつ取得する。フレーム画像は、ＣＰＵ３１が動画を記憶部３４の第１記憶領域から読み出され、記憶部３４の第２記憶領域に記憶する（読み込む）ことにより行われる。

Ｓ８３において、情報処理装置３０は、全てのフレーム画像が記憶部３４の第１記憶領域から無くなったかを判定する。Ｓ８３の判定結果がＹｅｓの場合、Ｓ８７に進む。つまり、全てのフレーム画像が記憶部３４の第２記憶領域に読み込まれた場合、Ｓ８７に進む。Ｓ８３の判定結果がＮｏの場合、Ｓ８４に進む。
Ｓ８４において、情報処理装置３０は、Ｓ８２で読み込んだフレーム画像から、公知の被写体領域検出方法によって被写体領域を決定する。実施形態１と同様にユーザが被写体領域を指定してもよい。
Ｓ８５において、情報処理装置３０は、Ｓ３と同様に類似画素マップ作成処理を実行する。
Ｓ８６において、情報処理装置３０は、Ｓ８５で作成した類似画素マップを記憶部３４の第３記憶領域に保存する。Ｓ８６の後、Ｓ８２に戻る。

Ｓ８２において、情報処理装置３０は、次のフレーム画像を第１記憶領域から取得する（読み込む）。Ｓ８２～Ｓ８６の処理は、全てのフレーム画像が記憶部３４の第１記憶領域から無くなるまで繰り替えされる。そして、全てのフレーム画像が記憶部３４の第１記憶領域から無くなったならば、Ｓ８３の判定結果がＹｅｓになるので、Ｓ８７に進む。Ｓ８３の判定結果がＹｅｓになる時点において、記憶部３４の第３記憶領域には複数の類似画素マップが保存されている。
Ｓ８７において、情報処理装置３０は、複数のフレームに対応する複数の類似画素マップの各画素の類似度を画素ごとに平均し、１枚の類似画素マップを作成する。

＜実施形態２の効果＞
以上説明したように、実施形態２のカメラシステム１によれば、実施形態１と同様に、被写体に適した露出調整を迅速に行うことができ、被写体の撮像し損なう機会を減らすことができる。さらに、実施形態２のカメラシステム１によれば、風で動く木々など背景領域の動体領域の輝度値と、被写体領域の輝度値との類似度が高いと判断することが少なくなる。そのため、実施形態１よりも正確に露出調整を行うことができる。

なお、上記した説明では、情報処理装置３０は撮像装置１０から動画を受信し、当該動画を用いて、類似画素マップを平均化したが、情報処理装置３０は撮像装置１０から複数の静止画（第１の画像）を受信し、複数の類似画素マップを作成して平均化してもよい。また、図１１のＳ８４は図３のＳ２と同じ処理にしてもよい。
図１および図２には１つのネットワーク２０が描かれているが、撮像装置１０と情報処理装置３０は、複数のネットワークを介して接続されてもよい。
図１および図２では、情報処理装置３０と撮像装置１０が別々の装置として示されているが、情報処理装置３０を撮像装置１０内に組み込んでもよい。この場合、撮像装置１０は、情報処理装置３０の機能を内蔵する撮像装置となり、情報処理装置側ではユーザが指定した第１の画像内の被写体領域の位置およびサイズ情報を撮像装置１０側に送信することになる。
また、第２の画像には、図４（Ｇ）に示すように、第１の画像の被写体領域付近に被写体が撮影されるが、それらに最適な露出が制御できることになる。

図２に示した撮像装置１０および情報処理装置３０の構成は一例であり、機能モジュールの一部はハードウェアによって実現されてもよい。ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラシステム、１０：撮像装置、１１：撮像部、２０：ネットワーク、３０：情報処理装置、３１：Ｉ／Ｆ部、３２：ＣＰＵ、３３：入力部、３４：記憶部

Claims (8)

1. 撮像部の露出を制御する撮像制御装置であって、
   前記撮像部により撮像された第１の画像から特定の被写体を含む被写体領域を決定する決定手段と、
   前記決定手段により決定した被写体領域の輝度ヒストグラムと、前記被写体領域以外の領域の輝度ヒストグラムとに基づいて、前記第１の画像において、前記被写体領域の輝度値と類似する輝度値を有する領域を取得する取得手段と、
   前記撮像部により撮像された第２の画像における前記取得手段によって取得された領域の輝度値に基づいて、前記撮像部の露出を調整する調整手段と、
   を有し、
   前記取得手段は、前記被写体領域以外の領域の輝度ヒストグラムが表す輝度類似度の合計が所定値未満の場合、前記輝度ヒストグラムの区間幅を広げることを特徴とする撮像制御装置。
2. 撮像部の露出を制御する撮像制御装置であって、
   前記撮像部により撮像された第１の画像から特定の被写体を含む被写体領域を決定する決定手段と、
   前記第１の画像において、前記被写体領域の輝度値と類似する輝度値を有する領域を取得する取得手段と、
   前記撮像部により撮像された第２の画像における前記取得手段によって取得された領域の輝度値に基づいて、前記撮像部の露出を調整する調整手段と、
   を有し、
   前記取得手段は、前記被写体が映っている動画を前記撮像部から取得した場合、前記動画の複数のフレーム画像の背景領域のそれぞれについて、前記被写体領域の輝度値に対する類似度を平均化することにより前記類似する輝度値を有する領域を取得することを特徴とする撮像制御装置。
3. 前記決定手段は、所定時間ごとに、前記被写体が映っている第１の画像を取得し、当該第１の画像から被写体領域を決定することを特徴とする請求項１または２に記載の撮像制御装置。
4. 前記調整手段は、調整後の前記領域の輝度値が所定値になるまで、前記露出を調整することを特徴とする請求項１～３のいずれか１項に記載の撮像制御装置。
5. 前記取得手段は、前記第１の画像の画素ごとの輝度値に基づいて、前記被写体領域の輝度値と類似する輝度値を有する領域を取得することを特徴とする請求項１～４のいずれか１項に記載の撮像制御装置。
6. 請求項１～５のいずれか１項に記載の撮像制御装置と、
   前記撮像制御装置により露出制御される撮像部と、
   を備える撮像装置。
7. 撮像部の露出を制御する撮像制御方法であって、
   前記撮像部により撮像された第１の画像から特定の被写体を含む被写体領域を決定するステップと、
   前記決定するステップにより決定した被写体領域の輝度ヒストグラムと、前記被写体領域以外の領域の輝度ヒストグラムとに基づいて、前記第１の画像において、前記被写体領域の輝度値と類似する輝度値を有する領域を取得するステップと、
   前記撮像部により撮像された第２の画像における前記取得するステップによって取得された領域の輝度値に基づいて、前記撮像部の露出を調整するステップと、
   を有し、
   前記取得するステップは、前記被写体領域以外の領域の輝度ヒストグラムが表す輝度類似度の合計が所定値未満の場合、前記輝度ヒストグラムの区間幅を広げることを特徴とする撮像制御方法。
8. コンピュータを、請求項１～６のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。