JP2020057967A - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】複数の画像から広角画像を生成する際に、高品位な広角画像を生成すること。【解決手段】第１の撮像部１１１ａで取得した第１の画像と、撮像範囲が第１の撮像部１１１ａの撮像範囲の一部と重複する第２の撮像部１１１ｂで取得した第２の画像とを合成して広角画像を生成する合成処理部１３３と、第３の撮像部１２０で取得した、第１の撮像部１１１ａおよび第２の撮像部１１１ｂが重複して撮像する撮像範囲の少なくとも一部を撮像範囲に含む第３の画像と、第３の画像を撮像した際の第３の撮像部１２０の状態の少なくとも一方に基づいて、第１の撮像部１１１ａおよび第２の撮像部１１１ｂが重複して撮像する撮像範囲内の注目領域を抽出する抽出部１３２と、を備え、合成処理部１３３は、注目領域における第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像を生成する。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法およびプログラムに関する。

近年、並べて配置された複数のカメラ（以下、多眼カメラという）で撮影した画像を合成することで、単一のカメラを使用した場合よりも広い撮像範囲の画像（以下、広角画像という）を取得することができる撮像装置が提案されている。特許文献１は、共通の部分を含む複数の画像をずらしながらマッチング処理を行うことによって複数の画像間のズレ量を求め、複数の画像を重ね合わせて広角画像を生成する撮像装置を開示している。

特開２００４−１１８７８６号公報

しかしながら、特許文献１に開示されているように、マッチング処理によって多眼カメラで撮影した画像から特定の被写体が重なるように広角画像を生成した場合、その他の被写体が二重像になり、広角画像の視認性が低下してしまう恐れがある。これは、多眼カメラから被写体までの距離によって、各々の多眼カメラで撮影した画像間のズレ量が異なるためである。特定の被写体が重なるように、画像間のズレ量が異なる複数の画像をずらして広角画像を生成した場合、その他の被写体が二重像になってしまう。

本発明は、複数の画像から広角画像を生成する際に、高品位な広角画像を生成することができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、第１の撮像部で取得した第１の画像と、撮像範囲が前記第１の撮像部の撮像範囲の一部と重複する第２の撮像部で取得した第２の画像とを合成して広角画像を生成する合成処理部と、第３の撮像部で取得した、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲の少なくとも一部を撮像範囲に含む第３の画像と、前記第３の画像を撮像した際の前記第３の撮像部の状態の少なくとも一方に基づいて、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲内の注目領域を抽出する抽出部と、を備え、前記合成処理部は、前記注目領域における前記第１の画像と前記第２の画像の間の位置ズレ量を調整して、前記広角画像を生成する。

本発明によれば、複数の画像から広角画像を生成する際に、高品位な広角画像を生成することができる画像処理装置を提供することができる。

撮像装置を説明する図である。 撮像装置の構成を説明する図である。 距離が異なる複数の被写体を撮影した際の位置ズレ量を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。 撮像装置と生成される広角画像の関係を説明する図である。

（第１実施形態）
図１（Ａ）および図１（Ｂ）は、撮像装置１００を説明する図である。撮像装置１００は、例えば、監視カメラである。図１（Ａ）は、撮像装置１００を斜めから見た俯瞰図であり、図１（Ｂ）は、撮像装置１００を上側（＋Ｚ軸側）から見た配置図である。撮像装置１００は、広角画像を取得する広角撮像部１１０を備える。広角撮像部１１０は、撮像範囲の一部が重複するように配置された、第１の撮像部１１１ａおよび第２の撮像部１１１ｂを有する。以下では、第１の撮像部１１１ａが取得する画像を第１の画像、第２の撮像部１１１ｂが取得する画像を第２の画像という。本実施形態では、第１の画像と第２画像を合成することで、広角画像を生成する。なお、本実施形態では、広角撮像部１１０が２つの撮像部を有する例を説明するが、これに限られるものではなく、複数の撮像部を有するものであればよい。また、第１の撮像部１１１ａおよび第２の撮像部１１１ｂの撮像範囲は、図１に示す範囲に限られるものではなく、例えば３６０度全周が撮像範囲であってもよい。

また、撮像装置１００は、広角撮像部１１０の撮像範囲の一部を撮影し、詳細画像（第３の画像）１０２を取得する第３の撮像部１２０を備える。即ち、第３の撮像部１２０は、第１の撮像部１１１ａまたは第２の撮像部１１１ｂのうちの少なくとも一方の撮像範囲と重複する領域を撮影している。詳細画像は、例えば、広角画像２０１中の拡大画像として使用したり、広角画像２０１を補完する補完画像として使用したりすることができる。

図２は、撮像装置１００の構成を説明する図である。撮像装置１００は、撮像部１１１ａ、第２の撮像部１１１ｂ、第３の撮像部１２０の他、制御部１３０、画像処理部１３１、抽出部１３２、合成処理部１３３および転送部１４０を備える。なお、本実施形態では撮像装置１００を例に説明するが、本発明は画像処理装置によって実現されてもよい。画像処理装置は、制御部１３０、画像処理部１３１、抽出部１３２、合成処理部１３３および転送部１４０を備え、撮像部から取得した画像に対して各種処理を行う。

制御部１３０は、撮像装置１００全体を制御する。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、不揮発性メモリに記憶されたプログラムを読み出して実行することで、各種処理を実現する。画像処理部１３１は、各撮像部が取得した画像に対し、デモザイキング、欠陥補正、歪曲補正、ノイズ補正、倍率色収差補正、ホワイトバランス調整、現像処理、色変換処理、符号化処理、拡縮処理などの画像処理を実行する。

抽出部１３２は、第３の撮像部１２０の状態および第３の画像である詳細画像１０２の少なくとも一方の情報を用いて、注目する被写体が存在する領域である注目領域を抽出する。抽出部１３２は、例えば、第３の撮像部１２０の撮像範囲、ピント面までの距離、測距枠、測光枠、被写体の検出結果等に応じて注目領域を抽出する。

合成処理部１３３は、第１の撮像部１１１ａで取得した第１の画像および第２の撮像部１１１ｂで取得した第２の画像を合成し、広角画像を生成する。具体的には、合成処理部１３３は、第１の画像と第２の画像の重複部分をずらしながら相関係数を求める、所謂パターンマッチングの技術を適用することで複数の画像間の位置ずらし量を求め、広角画像を生成する。また、合成処理部１３３は、第１の撮像部１１１ａおよび第２の撮像部１１１ｂが重複して撮影する撮像範囲に含まれる被写体の内、注目する被写体が２重像になる可能性が低減するように、合成処理を行う。なお、注目する被写体は、第３の撮像部１２０の状態、第３の撮像部１２０で取得した詳細画像１０２のうちの少なくとも一方の情報を用いて判断している。広角画像を生成するための合成処理については、その詳細を後述する。

転送部１４０は、ネットワークを介して外部のクライアント装置と接続されており、撮像装置１００で撮像した画像をクライアント装置に転送したり、クライアント装置からの指示を受信したり、外部装置との通信を行う。クライアント装置は、例えばＰＣや画像処理装置などの外部機器である。ネットワークは、例えば、有線ＬＡＮ、無線ＬＡＮ等である。また、ネットワークを介して撮像装置１００に電源を供給する構成となっていてもよい。

転送部１４０は、撮像装置１００で撮像した広角画像および詳細画像を、同一のネットワークに対して順番に転送することが可能である。また、外部のクライアント装置は、撮像装置１００を制御するコマンドを転送部１４０に送信し、コマンドを受信した撮像装置１００は、コマンドに対するレスポンスをクライアント装置に送信する。なお、必ずしもクライアント装置に接続されている必要はなく、例えば、撮像装置１００が画像データを保存するメモリと、画像を表示するビューアーおよびユーザの命令を受け付けるインターフェース部を有していてもよい。

第１の撮像部１１１ａは、撮像光学系１１２ａおよび撮像素子１１３ａを有する。第１の撮像部１１１ａは、撮像光学系１１２ａを介して被写体像を撮像素子１１３ａ上に結像させることで、画像を取得している。同様に、第２の撮像部１１１ｂは、撮像光学系１１２ｂおよび撮像素子１１３ｂを有する。第２の撮像部１１１ｂは、撮像光学系１１２ｂを介して被写体像を撮像素子１１３ｂ上に結像させることで、画像を取得している。撮像光学系１１２ａおよび撮像光学系１１２ｂの駆動と、撮像素子１１３ａおよび撮像素子１１３ｂからの信号読み出し動作は、制御部１３０が制御している。

第３の撮像部１２０は、撮像光学系１２２、撮像素子１２３および駆動機構１２４を有する。第３の撮像部１２０は、撮像光学系１２２を介して被写体像を撮像素子１２３上に結像させることで、画像を取得している。撮像光学系１２２の駆動および撮像素子１２３からの信号読み出し動作は、制御部１３０が制御している。

各撮像光学系１１２ａ、１１２ｂ、１２２は、シフトレンズやズームレンズなどの複数のレンズや絞りを含む。各撮像素子１１３ａ、１１３ｂ、１２３は、ＣＣＤ、ＣＭＯＳ等の撮像素子であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号に変換する。そして、各撮像部１１１ａ、１１１ｂ、１２０は、電気信号をデジタル信号に変換し、画像を取得する。

駆動機構１２４は、第３の撮像部１２０を駆動し、撮像方向を変更する。駆動機構１２４は、例えば、モーターとギアを備え、モーターを駆動する電力を制御することで、第３の撮像部１２０を特定の回転軸の周りに回転させる。また、本実施形態では、駆動機構１２４の回転軸がＺ軸である場合を例に説明を行うが、モーターを複数設けることで複数の回転軸を有する構成としてもよい。なお、第３の撮像部１２０の撮像方向の情報を正確に取得するために、駆動機構１２４は、エンコーダを有していた方が好ましい。

図３（Ａ）から図３（Ｃ）は、撮像装置１００と生成される広角画像１０１の関係を説明する図である。図３（Ａ）は、撮像装置１００からの距離が異なる被写体を撮影した場合に取得する画像を説明する図である。被写体１５１が撮像装置１００からの距離が遠い被写体であり、被写体１５２が撮像装置１００からの距離が近い被写体である。第１の画像１１５ａは、第１の撮像部１１１ａにより撮影された画像である。第２の画像１１５ｂは、第２の撮像部１１１ｂにより撮影された画像である。図３（Ａ）に示されるように、距離の遠い被写体１５１の場合、第１の画像１１５ａと第２の画像１１５ｂ間での位置ズレ量１６１が小さい。一方、距離の近い被写体１５２の場合、第１の画像１１５ａと第２の画像１１５ｂ間での位置ズレ量１６２が大きい。

合成処理部１３３において、特定に被写体が重なるように図３（Ａ）に示される第１の画像１１５ａと第２の画像１１５ｂを合成して広角画像１０１を生成すると、図３（Ｂ）もしくは図３（Ｃ）の画像が生成される。図３（Ｂ）は、撮像装置１００からの距離が遠い被写体１５１が重なるように合成した広角画像１０１の一例を示す図である。図３（Ｃ）は、撮像装置１００からの距離が近い被写体１５２が重なるように合成した広角画像１０１の一例を示す図である。

図３（Ｂ）に示されるように、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５１が重なるように位置ズレ量１６１だけずらして重ねることで広角画像１０１を生成した場合、被写体１５２は二重像になってしまう。一方、図３（Ｃ）に示されるように、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５２が重なるように位置ズレ量１６２だけずらして重ねることで広角画像１０１を生成した場合、被写体１５１は二重像になってしまう。このように、距離の異なる複数の被写体を撮影した場合、生成される広角画像１０１では、いずれかの被写体が二重像になってしまう。特に、注目する被写体が二重像になってしまった場合、広角画像１０１の視認性が低下してしまう。

そこで、本実施形態では、抽出部１３２が合成処理に使用する注目領域を抽出し、合成処理部１３３において、注目領域が二重像にならないように、第１の画像１１５ａと第２の画像１１５ｂの間の位置ズレ量を調整して合成する。なお、抽出した注目領域１２６内の被写体が二重像にならないような位置ズレ量を求めるためには、例えば、テンプレートマッチング等の一般的な手法を用いればよい。例えば、第１の画像１１５ａと第２の画像１１５ｂをずらしつつ、注目領域１２６について相関係数を計算し、相関係数が最も高くなる位置ズレ量を求めればよい。相関係数は、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等で求められる。

第１実施形態では、抽出部１３２は、第３の撮像部１２０の撮像方向に基づいて注目領域を抽出する。撮像方向とは、第３の撮像部１２０中の撮像光学系１２２の光軸の方向を意味する。本実施形態では、第３の撮像部１２０が取得した、注目領域を抽出するのに利用する画像を詳細画像１０２と呼ぶ。注目領域を抽出するための詳細画像１０２は、第１の撮像部１１１ａと第２の撮像部１１１ｂが重複して撮像する撮像範囲の少なくとも一部を撮像範囲に含む。第３の撮像部１２０が取得する詳細画像１０２は、広角画像１０１中の拡大画像として使用する場合と、広角画像１０１を補完する補完画像として使用する場合とがある。以下では、それぞれの場合における広角画像の生成について説明する。

まず、詳細画像１０２を、広角画像１０１中の拡大画像として使用したい場合について説明する。この場合、詳細画像１０２と広角画像１０１に撮影されている被写体間の対応関係を正確に把握する必要があるため、広角画像１０１のうち、詳細画像１０２の撮像範囲内にも含まれている範囲の被写体が、二重像になる可能性を低減した方が好ましい。そのためには、第１の撮像部１１１ａと第２の撮像部１１１ｂが重複して撮影する撮像範囲の内、第３の撮像部１２０の撮像画角１２７に含まれる領域を注目領域１２６として設定すればよい。

図４（Ａ）および図４（Ｂ）は、撮像装置１００と生成される広角画像１０１および詳細画像１０２の関係を説明する図である。図４（Ａ）と図４（Ｂ）とでは、第３の撮像部１２０の撮像方向が異なっている。撮像画角１２７は、第３の撮像部１２０の撮像画角を示している。図４（Ａ）は、第３の撮像部１２０の撮像画角１２７内に撮像装置１００からの距離の遠い被写体１５１が含まれており、距離の近い被写体１５２が含まれていない場合である。一方、図４（Ｂ）は、第３の撮像部１２０の撮像画角１２７内に撮像装置１００からの距離の近い被写体１５２が含まれており、距離の遠い被写体１５１が含まれていない場合である。

抽出部１３２は、第３の撮像部１２０の撮像画角１２７に含まれる領域を注目領域１２６として抽出する。そのため、図４（Ａ）においては、合成処理部１３３は、注目領域１２６即ち撮像画角１２７に含まれる被写体１５１が二重像にならないように、第１の画像１１５ａと第２の画像１１５ｂを合成し、広角画像１０１を生成する。したがって、合成処理部１３３は、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５１が重なるように位置ズレ量１６１だけずらして重ねることで広角画像１０１を生成する。

一方、図４（Ｂ）においては、合成処理部１３３は、注目領域１２６即ち撮像画角１２７に含まれる被写体１５２が二重像にならないように、第１の画像１１５ａと第２の画像１１５ｂを合成し、広角画像１０１を生成する。したがって、合成処理部１３３は、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５２が重なるように位置ズレ量１６２だけずらして重ねることで広角画像１０１を生成する。

このように、第３の撮像部１２０の撮像画角１２７に含まれる領域を注目領域１２６とすることで、広角画像１０１のうち、詳細画像１０２の撮像範囲内にも含まれている範囲の被写体が、二重像になる可能性を低減することができる。その結果、詳細画像１０２を、広角画像１０１中の拡大画像として使用したい場合の、広角画像１０１の視認性を向上させることができる。

次に、広角画像１０１を補完して監視するための画像として、詳細画像１０２を使用したい場合について説明する。この場合、広角画像１０１のうち、詳細画像１０２の撮像範囲内に含まれていない範囲の被写体の視認性を向上させた方が好ましい。そのため、抽出部１３２は、第１の撮像部１１１ａと第２の撮像部１１１ｂが重複して撮影する撮像範囲の内、第３の撮像部１２０の撮像画角１２７に含まれない領域を注目領域１２６として設定する。

図５（Ａ）および図５（Ｂ）は、撮像装置１００と生成される広角画像１０１および詳細画像１０２の関係を説明する図である。図５（Ａ）と図５（Ｂ）とでは、第３の撮像部１２０の撮像方向が異なっている。図５（Ａ）は、第３の撮像部１２０の撮像画角１２７内に撮像装置１００からの距離の遠い被写体１５１が含まれており、距離の近い被写体１５２が含まれていない場合である。一方、図５（Ｂ）は、第３の撮像部１２０の撮像画角１２７内に撮像装置１００からの距離の近い被写体１５２が含まれており、距離の遠い被写体１５１が含まれていない場合である。

図５（Ａ）において各撮像部が取得する画像は、図４（Ａ）において各撮像部が取得する画像と同じである。同様に、図５（Ｂ）において各撮像部が取得する画像は、図４（Ｂ）において各撮像部が取得する画像と同じである。しかしながら、図５（Ａ）および図５（Ｂ）においては、抽出部１３２は、第３の撮像部１２０の撮像画角１２７に含まれない領域を注目領域１２６として抽出する。そのため、生成される広角画像１０１は、図５（Ａ）と図４（Ａ）で異なっており、同様に図５（Ｂ）と図４（Ｂ）でも異なっている。

図５（Ａ）においては、合成処理部１３３は、第３の撮像部１２０の撮像画角１２７外である注目領域１２６に含まれる被写体１５２が二重像にならないように、第１の画像１１５ａと第２の画像１１５ｂを合成し、広角画像１０１を生成する。したがって、合成処理部１３３は、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５２が重なるように位置ズレ量１６２だけずらして重ねることで広角画像１０１を生成する。

図５（Ｂ）においては、合成処理部１３３は、第３の撮像部１２０の撮像画角１２７外である注目領域１２６に含まれる被写体１５１が二重像にならないように、第１の画像１１５ａと第２の画像１１５ｂを合成し、広角画像１０１を生成する。したがって、合成処理部１３３は、第１の画像１１５ａと第２の画像１１５ｂを、被写体１５１が重なるように位置ズレ量１６１だけずらして重ねることで広角画像１０１を生成する。

このように、第３の撮像部１２０の撮像画角１２７に含まれない領域を注目領域１２６とすることで、広角画像１０１のうち、詳細画像１０２の撮像範囲内にも含まれていない範囲の被写体が、二重像になる可能性を低減することができる。その結果、詳細画像１０２を、広角画像１０１を補完して監視するための画像として使用したい場合の、広角画像１０１の視認性を向上させることができる。

なお、本実施形態のように、注目領域１２６が二重像にならないように広角画像１０１を生成する際、注目領域１２６以外の被写体は二重像になってしまう可能性がある。具体的には、注目領域１２６以外の被写体の、第１の画像１１５ａと第２の画像１１５ｂ間の位置ズレ量が、注目領域１２６中の被写体の、第１の画像１１５ａと第２の画像１１５ｂ間の位置ズレ量と異なる場合、二重像となってしまう。そこで、二重像となってしまう領域については、広角画像１０１を生成する際に、第１の画像１１５ａと第２の画像１１５ｂをずらして重ね合わせると同時に、ボケを付加して、二重像を目立たないようにする方が好ましい。具体的には、注目領域１２６以外の被写体の領域に対してローパスフィルタを施せばよい。ローパスフィルタにより、隣接する画素間で加算平均や間引きを行ってもよいし、周波数空間に変換してから演算を行ってもよい。

以上説明したように、本実施形態によると、第３の撮像部１２０の撮像方向（撮像範囲）に応じて合成処理に使用する注目領域１２６を設定し、注目領域１２６内の被写体を重ねるよう複数の画像を合成して広角画像１０１を生成することができる。これにより、注目する被写体が二重像になってしまう可能性を低減し、広角画像１０１の視認性を向上させることができる。

（第２実施形態）
第２実施形態における撮像装置２００は、第１の撮像部２１１ａ、第２の撮像部２１１ｂおよび第３の撮像部２２０を備えている。撮像装置２００は、第１実施形態の撮像装置１００と同様の構成を有しているが、第３の撮像部２２０の構成が異なる。具体的には、撮像装置２００の第３の撮像部２２０は、撮像装置１００の第３の撮像部１２０が有する撮像方向を変更可能な駆動機構１２４の代わりに、撮像画角を変更可能なズーム制御機構を有している。ズーム制御機構は、モーターとギアを備え、第３の撮像部２２０の撮像光学系１２２内の一部のレンズを光軸方向に移動することで、ズーム比を変化させる。

第２実施形態では、抽出部１３２は、第３の撮像部２２０の撮像画角に基づいて注目領域２２６を抽出する。一般に、撮像装置からの距離が遠い被写体を撮影する場合ほど、拡大して撮影する必要があるため、撮像画角は狭くなる。したがって、第３の撮像部２２０の撮像画角が狭いほど、ユーザは、主として距離が遠い被写体を撮影していると判断できる。第３の撮像部２２０が取得する詳細画像２０２は、広角画像２０１中の拡大画像として使用する場合と、広角画像２０１を補完する補完画像として使用する場合とがある。以下では、それぞれの場合における広角画像の生成について説明する。

まず、詳細画像２０２を、広角画像２０１の拡大画像として使用する場合について説明する。この場合は、広角画像２０１を生成する際に、第３の撮像部２２０で主として撮影している被写体が二重像になる可能性を低減する方が好ましい。図６（Ａ）および図６（Ｂ）は、撮像装置２００と生成される広角画像２０１および詳細画像２０２の関係を説明する図である。図６（Ａ）と図６（Ｂ）とでは、第３の撮像部２２０の撮像画角が異なっている。図６（Ａ）は、第３の撮像部２２０の撮像画角が狭い場合である。一方、図６（Ｂ）は、第３の撮像部２２０の撮像画角が広い場合である。

図６（Ａ）の場合は、第３の撮像部２２０の撮像画角が狭いため、第３の撮像部２２０が撮像装置２００からの距離が遠い被写体２５１を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部２１１ａと第２の撮像部２１１ｂが重複して撮影する撮像範囲の内、撮像装置２００からの距離が遠い被写体２５１が撮影されている範囲を注目領域２２６として抽出する。そして、合成処理部１３３は、注目領域２２６中の被写体２５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像２０１を生成する。なお、被写体２５１が撮影されている範囲は撮像装置２００からの距離が遠いため、第１の画像と第２の画像間での位置ズレ量が小さい範囲である。そのため、詳細画像２０２を拡大画像として使用する場合は、抽出部１３２は、第３の撮像部２２０の撮像画角が狭いほど、第１の画像と第２の画像間での位置ズレ量が小さい領域を、注目領域２２６として抽出すればよい。

図６（Ｂ）の場合は、第３の撮像部２２０の撮像画角が広いため、第３の撮像部２２０が撮像装置２００からの距離が近い被写体２５２を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部２１１ａと第２の撮像部２１１ｂが重複して撮影する撮像範囲の内、撮像装置２００からの距離が近い被写体２５２が撮影されている範囲を注目領域２２６として抽出する。そして、合成処理部１３３は、注目領域２２６中の被写体２５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像２０１を生成する。なお、被写体２５２が撮影されている範囲は撮像装置２００からの距離が近いため、第１の画像と第２の画像間での位置ズレ量が大きい範囲である。そのため、詳細画像２０２を拡大画像として使用する場合は、抽出部１３２は、第３の撮像部２２０の撮像画角が広いほど、第１の画像と第２の画像間での位置ズレ量が大きい領域を、注目領域２２６として抽出すればよい。

このように、詳細画像２０２を拡大画像として使用する場合は、第３の撮像部２２０の撮像画角が狭いほど広角画像２０１の合成に使用する画像間の位置ズレ量が小さい範囲を、注目領域２２６として抽出する。これにより、第３の撮像部２２０で主として撮影している被写体が広角画像２０１において二重像になる可能性を低減でき、詳細画像２０２を広角画像２０１の拡大画像として使用したい場合の広角画像２０１の視認性を向上させることができる。

次に、広角画像２０１を補完して監視するための画像として、詳細画像２０２を使用する場合について説明する。この場合、広角画像２０１を生成する際に、第３の撮像部２２０で主として撮影している被写体とは別の被写体が二重像になる可能性を低減する方が好ましい。図７（Ａ）および図７（Ｂ）は、撮像装置２００と生成される広角画像２０１および詳細画像２０２の関係を説明する図である。図７（Ａ）と図７（Ｂ）とでは、第３の撮像部２２０の撮像画角が異なっている。図７（Ａ）は、第３の撮像部２２０の撮像画角が狭い場合である。一方、図７（Ｂ）は、第３の撮像部２２０の撮像画角が広い場合である。

図７（Ａ）の場合は、第３の撮像部２２０の撮像画角が狭いため、第３の撮像部２２０が撮像装置２００からの距離が遠い被写体２５１を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部２１１ａと第２の撮像部２１１ｂが重複して撮影する撮像範囲の内、被写体２５１とは異なる被写体２５２が撮影されている範囲を注目領域２２６として抽出する。そして、合成処理部１３３は、注目領域２２６中の被写体２５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像２０１を生成する。なお、被写体２５２が撮影されている範囲は撮像装置２００からの距離が近いため、第１の画像と第２の画像間での位置ズレ量が大きい範囲である。そのため、詳細画像２０２を補完画像として使用する場合は、抽出部１３２は、第３の撮像部２２０の撮像画角が狭いほど、第１の画像と第２の画像間での位置ズレ量が大きい領域を、注目領域２２６として抽出すればよい。

図７（Ｂ）の場合は、第３の撮像部２２０の撮像画角が広いため、第３の撮像部２２０が撮像装置２００からの距離が近い被写体２５２を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部２１１ａと第２の撮像部２１１ｂが重複して撮影する撮像範囲の内、被写体２５２とは異なる被写体２５１が撮影されている範囲を注目領域２２６として抽出する。そして、合成処理部１３３は、注目領域２２６中の被写体２５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像２０１を生成する。なお、被写体２５１が撮影されている範囲は撮像装置２００からの距離が遠いため、第１の画像と第２の画像間での位置ズレ量が小さい範囲である。そのため、詳細画像２０２を補完画像として使用する場合は、抽出部１３２は、第３の撮像部２２０の撮像画角が広いほど、第１の画像と第２の画像間での位置ズレ量が小さい領域を、注目領域２２６として抽出すればよい。

このように、詳細画像２０２を補完画像として使用する場合は、第３の撮像部２２０の撮像画角が狭いほど広角画像２０１の合成に使用する画像間の位置ズレ量が大きい範囲を、注目領域２２６として抽出する。これにより、第３の撮像部２２０で主として撮影している被写体とは別の被写体が広角画像２０１において二重像になる可能性を低減でき、詳細画像２０２を広角画像２０１の補完画像として使用したい場合の広角画像２０１の視認性を向上させることができる。

以上説明したように、本実施形態によると、第３の撮像部２２０の撮像画角に応じて合成処理に使用する注目領域２２６を設定し、注目領域２２６内の被写体を重ねるよう複数の画像を合成して広角画像２０１を生成することができる。また、第１実施形態と第２実施形態によると、抽出部１３２は、撮像方向や撮像画角など、詳細画像の撮像範囲に基づいて注目領域を抽出する。これにより、注目する被写体が二重像になってしまう可能性を低減し、広角画像２０１の視認性を向上させることができる。

（第３実施形態）
第３実施形態における撮像装置３００は、第１の撮像部３１１ａ、第２の撮像部３１１ｂおよび第３の撮像部３２０を備えている。撮像装置３００は、第１実施形態の撮像装置１００と同様の構成を有しているが、第３の撮像部３２０の構成が異なる。具体的には、撮像装置３００の第３の撮像部３２０は、撮像装置１００の第３の撮像部１２０が有する撮像方向を変更可能な駆動機構１２４の代わりに、バックフォーカス距離を変更可能なフォーカス制御機構を有している。フォーカス機構３２４は、例えば、モーターとギアを備え、第３の撮像部３２０の撮像光学系１２２内の一部のレンズを光軸方向に移動することで、バックフォーカス距離を変化させる。

撮像装置３００の抽出部１３２は、第３の撮像部３２０が撮像した注目領域３２６をもつ被写体からピント面までの距離に基づいて、注目領域３２６を抽出する。一般に、ピント面から離れた被写体ほど、ボケによって画像の鮮明度が低下する。したがって、ユーザは、第３の撮像部３２０を用いて主としてボケの少なく、ピント面に近い被写体を撮影していると判断できる。前述したように、第１の撮像部３１１ａで撮影した第１の画像と、第２の撮像部３１１ｂで撮影した第２の画像間の位置ズレ量は、撮像装置３００から被写体までの距離によって変化する。第３の撮像部３２０が取得する詳細画像３０２は、広角画像３０１中の拡大画像として使用する場合と、広角画像３０１を補完する補完画像として使用する場合とがある。以下では、それぞれの場合における広角画像の生成について説明する。

まず、詳細画像３０２を、広角画像３０１の拡大画像として使用する場合について説明する。この場合は、広角画像３０１を生成する際に、第３の撮像部３２０で主として撮影している被写体が二重像になる可能性を低減する方が好ましい。図８（Ａ）および図８（Ｂ）は、撮像装置３００と生成される広角画像３０１および詳細画像３０２の関係を説明する図である。図８（Ａ）と図８（Ｂ）とでは、第３の撮像部３２０からピント面までの距離３２７が異なっている。図８（Ａ）は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５１までの距離と一致している場合である。一方、図８（Ｂ）は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５２までの距離と一致している場合である。

図８（Ａ）の場合は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５１までの距離と一致しているため、第３の撮像部３２０が被写体３５１を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部３１１ａと第２の撮像部３１１ｂが重複して撮影する撮像範囲の内、被写体３５１が撮影されている範囲を注目領域３２６として抽出する。そして、合成処理部１３３は、注目領域３２６中の被写体３５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像３０１を生成する。なお、ユーザは第３の撮像部３２０を用いてピント面に位置する被写体を撮影している可能性が高いため、抽出部１３２が、第３の撮像部３２０からピント面までの距離３２７と一致する範囲を注目領域３２６とすれば、更に好ましい。

図８（Ｂ）の場合は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５２までの距離と一致しているため、第３の撮像部３２０が被写体３５２を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部３１１ａと第２の撮像部３１１ｂが重複して撮影する撮像範囲の内、被写体３５２が撮影されている範囲を注目領域３２６として抽出する。そして、合成処理部１３３は、注目領域３２６中の被写体３５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像３０１を生成する。なお、ユーザは第３の撮像部３２０を用いてピント面に位置する被写体を撮影している可能性が高いため、抽出部１３２が、第３の撮像部３２０からピント面までの距離３２７と一致する範囲を注目領域３２６とすれば、更に好ましい。

即ち、図８（Ａ）のように第３の撮像部３２０からピント面までの距離３２７が撮像装置３００から遠い場合には、被写体３５１が二重像にならないように、広角画像３０１を生成する際の画像間の位置ズレ量を小さくする。一方、図８（Ｂ）のように第３の撮像部３２０からピント面までの距離３２７が撮像装置３００に近い場合には、被写体３５２が二重像にならないように、広角画像３０１を生成する際の画像間の位置ズレ量を大きくする。

このように、詳細画像３０２を撮影する際の被写体とピント面との距離関係に応じて注目領域３２６を設定することにより、広角画像３０１において第３の撮像部３２０で主として撮影している被写体が二重像になる可能性を低減することができる。その結果、詳細画像３０２を広角画像３０１の拡大画像として使用する場合における、広角画像３０１の視認性を向上させることができる。

次に、広角画像３０１を補完して監視するための画像として、詳細画像３０２を使用する場合について説明する。この場合は、広角画像３０１のうち、第３の撮像部３２０で主として撮影している被写体とは別の被写体が二重像になる可能性を低減する方が好ましい。図９（Ａ）および図９（Ｂ）は、撮像装置３００と生成される広角画像３０１および詳細画像３０２の関係を説明する図である。図９（Ａ）と図９（Ｂ）とでは、第３の撮像部３２０からピント面までの距離３２７が異なっている。図９（Ａ）は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５１までの距離と一致している場合である。一方、図９（Ｂ）は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５２までの距離と一致している場合である。

図９（Ａ）の場合は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５１までの距離と一致しているため、第３の撮像部３２０が被写体３５１を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部３１１ａと第２の撮像部３１１ｂが重複して撮影する撮像範囲の内、被写体３５２が撮影されている範囲を注目領域３２６として抽出する。そして、合成処理部１３３は、注目領域３２６中の被写体３５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像３０１を生成する。

図９（Ｂ）の場合は、第３の撮像部３２０からピント面までの距離３２７が、第三の撮像部３２０から被写体３５２までの距離と一致しているため、第３の撮像部３２０が被写体３５２を撮影していると判断できる。そのため、抽出部１３２は、第１の撮像部３１１ａと第２の撮像部３１１ｂが重複して撮影する撮像範囲の内、被写体３５１が撮影されている範囲を注目領域３２６として抽出する。そして、合成処理部１３３は、注目領域３２６中の被写体３５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像３０１を生成する。

即ち、図９（Ａ）のように、第３の撮像部３２０からピント面までの距離３２７が撮像装置３００から遠い場合には、被写体３５２が二重像にならないように、広角画像３０１を生成する際の画像間の位置ズレ量を大きくする。一方、図９（Ｂ）のように第３の撮像部３２０からピント面までの距離３２７が撮像装置３００から近い場合には、被写体３５１が二重像にならないように、広角画像３０１を生成する際の画像間の位置ズレ量を小さくする。

このように、詳細画像３０２を撮影する際の被写体とピント面との距離関係に応じて注目領域３２６を設定することにより、広角画像３０１において第３の撮像部３２０で主として撮影している被写体とは異なる被写体が二重像になる可能性を低減することができる。その結果、詳細画像３０２を広角画像３０１の補完画像として使用する場合における、広角画像３０１の視認性を向上させることができる。

（第４実施形態）
第４実施形態における撮像装置４００は、第１の撮像部４１１ａ、第２の撮像部４１１ｂおよび第３の撮像部４２０を備えている。撮像装置４００は、第１から第３実施形態の撮像装置１００、撮像装置２００、撮像装置３００のいずれかと概ね同様の構成を有しているが、評価枠設定手段をさらに有している点が異なっている。評価枠設定手段は、第３の撮像部４２０が取得する第３の画像である詳細画像４０２に、第３の撮像部４２０の撮像パラメータを決定するための領域（以下、評価枠）４２７を設定する。抽出部１３２は、評価枠設定手段によって設定した評価枠４２７の情報を用いて、注目領域４２６を抽出する。評価枠４２７は、例えば、被写体検出等に応じて評価枠設定手段が自動で設定してもよいし、ユーザが詳細画像４０２上で領域を指定することにより設定してもよい。

以下では、評価枠４２７で決定される撮像パラメータとして露出レベルを例に説明する。すなわち、評価枠４２７は露出レベルを決定する測光枠として機能する。一般に、露出レベルが高いほど白トビが発生しやすく、露出レベルが低いほど黒ツブレが発生しやすいため、画像中の信号レベルの平均値が適正な値になるように、露出レベルを調整する。露出レベルの調整方法として、画像中の特定領域のみを抜出して、特定領域の信号レベルの平均値を求める方法がある。本実施形態の評価枠４２７は、信号レベルの平均値を求める特定領域に対応している。露出レベルは、第３の撮像部４２０の撮像素子１２３の各画素の蓄積時間やゲインを制御することで調整できる。また、第３の撮像部４２０の撮像光学系１２２が絞りを有している場合には、絞りを制御することによっても、露出レベルを調整することができる。

評価枠４２７中の画素信号レベルの平均値が適正な信号レベルに一致するように、第３の撮像部４２０の露出レベルを調整することで、被写体の明るさによらず、評価枠４２７内の被写体の視認性を向上させることができる。そのため、ユーザは第３の撮像部４２０を用いて、評価枠４２７の範囲を主として撮影していると判断することができる。即ち、抽出部１３２は、詳細画像４０２の評価枠４２７の領域に応じて、注目領域４２６を設定すればよい。第３の撮像部４２０が取得する詳細画像４０２は、広角画像４０１中の拡大画像として使用する場合と、広角画像４０１を補完する補完画像として使用する場合とがある。以下では、それぞれの場合における広角画像の生成について説明する。

まず、詳細画像４０２を、広角画像４０１の拡大画像として使用する場合について説明する。この場合は、広角画像４０１を生成する際に、第３の撮像部４２０で主として撮影している被写体が二重像になる可能性を低減する方が好ましい。そのためには、抽出部１３２は、第１の撮像部４１１ａと第２の撮像部４１１ｂが重複して撮影する撮像範囲の内、詳細画像４０２の評価枠４２７を注目領域４２６として抽出すればよい。

図１０（Ａ）および図１０（Ｂ）は、撮像装置４００と生成される広角画像４０１および詳細画像４０２の関係を説明する図である。図１０（Ａ）と図１０（Ｂ）とでは、第３の撮像部４２０に設定される評価枠４２７が異なっている。図１０（Ａ）は、撮像装置４００からの距離が遠い被写体４５１に評価枠４２７が設定されている場合である。一方、図１０（Ｂ）は、撮像装置４００からの距離が近い被写体４５２に評価枠４２７が設定されている場合である。

図１０（Ａ）では、評価枠４２７中に被写体４５１が含まれており、被写体４５２が含まれていない。抽出部１３２は、評価枠４２７を注目領域４２６として抽出する。そして、合成処理部１３３は、注目領域４２６中の被写体４５１が二重像にならないように、第１の画像と第２の画像４１５ｂの間の位置ズレ量を調整して、広角画像４０１を生成する。

図１０（Ｂ）では、評価枠４２７中に被写体４５２が含まれており、被写体４５１が含まれていない。抽出部１３２は、評価枠４２７を注目領域４２６として抽出する。そして、合成処理部１３３は、注目領域４２６中の被写体４５２が二重像にならないように、第１の画像と第２の画像４１５ｂの間の位置ズレ量を調整して、広角画像４０１を生成する。

このように、評価枠４２７を注目領域４２６とした場合、第３の撮像部４２０で主として撮影している被写体が、生成した広角画像４０１において二重像になる可能性を低減できる。その結果、詳細画像４０２を広角画像４０１の拡大画像として使用する場合の、広角画像４０１の視認性を向上させることができる。

次に、広角画像４０１を補完して監視するための補完画像として詳細画像４０２を使用する場合について説明する。この場合は、広角画像４０１では、詳細画像４０２で主として撮影している被写体とは別の被写体が二重像になる可能性を低減する方が好ましい。そのためには、抽出部１３２は、第１の撮像部４１１ａと第２の撮像部４１１ｂが重複して撮影する撮像範囲の内、詳細画像４０２中の評価枠４２７とは異なる領域を、注目領域４２６として抽出すればよい。

図１１（Ａ）および図１１（Ｂ）は、撮像装置４００と生成される広角画像４０１および詳細画像４０２の関係を説明する図である。図１１（Ａ）と図１１（Ｂ）とでは、第３の撮像部４２０に設定される評価枠４２７が異なっている。図１１（Ａ）は、撮像装置４００からの距離が遠い被写体４５１に評価枠４２７が設定されている場合である。一方、図１１（Ｂ）は、撮像装置４００からの距離が近い被写体４５２に評価枠４２７が設定されている場合である。

図１１（Ａ）では、評価枠４２７中に被写体４５１が含まれており、被写体４５２が含まれていない。抽出部１３２は、評価枠４２７に含まれない領域を注目領域４２６として抽出する。そして、合成処理部１３３は、注目領域４２６中の被写体４５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像４０１を生成する。

図１１（Ｂ）では、評価枠４２７中に被写体４５２が含まれており、被写体４５１が含まれていない。抽出部１３２は、評価枠４２７に含まれない領域を注目領域４２６として抽出する。そして、合成処理部１３３は、注目領域４２６中の被写体４５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像４０１を生成する。

このように、評価枠４２７に含まれない領域を注目領域４２６とした場合、第３の撮像部４２０で主として撮影している被写体とは別の被写体が、生成した広角画像４０１において二重像になる可能性を低減できる。その結果、詳細画像４０２を広角画像４０１の補完画像として使用する場合の、広角画像４０１の視認性を向上させることができる。

以上説明したように、詳細画像４０２を拡大画像として使用する場合には、評価枠４２７を注目領域４２６とし、詳細画像４０２を補完画像として使用する場合には、評価枠４２７には含まれない領域を注目領域４２６とすればよい。これにより、詳細画像４０２を拡大画像として使用する場合には、詳細画像４０２で主として撮影している被写体が生成した広角画像４０１において二重像になる可能性を低減できる。また、詳細画像４０２を補完画像として使用する場合には、詳細画像４０２で主として撮影している被写体とは別の被写体が生成した広角画像４０１において二重像になる可能性を低減できる。その結果、詳細画像４０２を広角画像４０１の拡大画像として使用する場合、補完画像として使用する場合、それぞれの広角画像４０１の視認性を向上させることができる。

なお、本実施形態では撮像パラメータとして露出レベルの例を説明したが、他の撮像パラメータを決定するための領域を評価枠４２７としてもよい。例えば、画像のホワイトバランスを決定するための領域を、評価枠４２７としてもよい。また、ピント面の位置を決定するための領域である測距枠を、評価枠４２７としてもよい。このように、評価枠４２７は主としてユーザが撮影したい被写体に設定される可能性が高いため、評価枠４２７に応じて注目領域１２６を設定すればよい。

（第５実施形態）
第５実施形態における撮像装置５００は、第１の撮像部５１１ａ、第２の撮像部５１１ｂおよび第３の撮像部５２０を備えている。撮像装置５００は、第１から第３実施形態の撮像装置１００、撮像装置２００、撮像装置３００のいずれかと概ね同様の構成を有しているが、検出手段をさらに有している点が異なっている。検出手段は、第３の撮像部５２０が取得する第３の画像である詳細画像５０２を用いて特定の被写体を検出する。特定の被写体とは、例えば、監視カメラを用いて主に監視したい被写体（例えば人物や車など）である。検出手段は、例えば、詳細画像５０２から特徴点を抽出することにより、特定の被写体を検出する。特徴点とは、画像上で特定の被写体の特徴が表れている部分であり、例えば人物の場合には眼や鼻、口などが特徴点である。抽出部１３２は、検出手段によって検出された特定の被写体の情報を用いて、注目領域５２６を抽出する。

したがって、ユーザは、第３の撮像部５２０を用いて監視対象となる特定被写体が撮影されている範囲（以下、特定被写体範囲という）５２７を主として撮影していると判断することができる。即ち、抽出部１３２は、詳細画像５０２中の特定被写体の検出結果に応じて、注目領域５２６を設定すればよい。第３の撮像部５２０が取得する詳細画像５０２は、広角画像５０１中の拡大画像として使用する場合と、広角画像５０１を補完する補完画像として使用する場合とがある。以下では、それぞれの場合における広角画像の生成について説明する。

まず、詳細画像５０２を、広角画像５０１の拡大画像として使用したい場合に好いて説明する。この場合、広角画像５０１のうち、第３の撮像部５２０で主として撮影している被写体が、二重像になる可能性を低減する方が好ましい。そのため、抽出部１３２は、第１の撮像部５１１ａと第２の撮像部５１１ｂが重複して撮影する撮像範囲の内、詳細画像５０２中の特定被写体範囲５２７を注目領域５２６として抽出する。

図１２（Ａ）および図１２（Ｂ）は、撮像装置５００と生成される広角画像５０１および詳細画像５０２の関係を説明する図である。図１２（Ａ）と図１２（Ｂ）とでは、第３の撮像部５２０で検出された特定の被写体に対応する特定被写体範囲５２７が異なっている。図１２（Ａ）は、撮像装置５００からの距離が遠い被写体５５１に特定被写体範囲５２７が設定されている場合である。一方、図１２（Ｂ）は、撮像装置５００からの距離が近い被写体４５２に特定被写体範囲５２７が設定されている場合である。

図１２（Ａ）では、特定被写体範囲５２７中に被写体５５１が含まれており、被写体５５２が含まれていない。抽出部１３２は、特定被写体範囲５２７を注目領域５２６として抽出する。そして、合成処理部１３３は、特定被写体範囲５２７中の被写体５５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像５０１を生成する。

図１２（Ｂ）では、特定被写体範囲５２７中に被写体４５２が含まれており、被写体４５１が含まれていない。抽出部１３２は、特定被写体範囲５２７を注目領域５２６として抽出する。そして、合成処理部１３３は、注目領域５２６中の被写体５５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像５０１を生成する。

このように、特定被写体範囲５２７を注目領域５２６とした場合、生成した広角画像５０１において第３の撮像部５２０で主として撮影している被写体が二重像になる可能性を低減できる。その結果、詳細画像５０２を広角画像５０１の拡大画像として使用したい場合の広角画像５０１の視認性を向上させることができる。

次に、広角画像５０１を補完して監視するための画像として、詳細画像５０２を使用した場合について説明する。この場合、広角画像５０１では、詳細画像５０２で主として撮影している被写体とは別の被写体が二重像になる可能性を低減する方が好ましい。そのため、抽出部１３２は、第１の撮像部５１１ａと第２の撮像部５１１ｂが重複して撮影する撮像範囲の内、詳細画像５０２中の特定被写体範囲５２７とは異なる領域を、注目領域５２６として抽出する。

図１３（Ａ）および図１３（Ｂ）は、撮像装置５００と生成される広角画像５０１および詳細画像５０２の関係を説明する図である。図１３（Ａ）と図１３（Ｂ）とでは、第３の撮像部５２０で検出された特定の被写体に対応する特定被写体範囲５２７が異なっている。図１３（Ａ）は、撮像装置５００からの距離が遠い被写体５５１に特定被写体範囲５２７が設定されている場合である。一方、図１３（Ｂ）は、撮像装置５００からの距離が近い被写体４５２に特定被写体範囲５２７が設定されている場合である。

図１３（Ａ）では、特定被写体範囲５２７中に被写体５５１が含まれており、被写体５５２が含まれていない。抽出部１３２は、特定被写体範囲５２７に含まれない領域を注目領域５２６として抽出する。そして、合成処理部１３３は、注目領域５２６中の被写体５５２が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像５０１を生成する。

図１１（Ｂ）では、特定被写体範囲５２７中に被写体５５２が含まれており、被写体５５１が含まれていない。抽出部１３２は、特定被写体範囲５２７に含まれない領域を注目領域５２６として抽出する。そして、合成処理部１３３は、注目領域５２６中の被写体４５１が二重像にならないように、第１の画像と第２の画像の間の位置ズレ量を調整して、広角画像５０１を生成する。

このように、特定被写体範囲５２７とは異なる領域を注目領域５２６とした場合、第３の撮像部５２０で主として撮影している被写体とは別の被写体が、生成した広角画像５０１において二重像になる可能性を低減できる。その結果、詳細画像５０２を広角画像５０１の補完画像として使用する場合の、広角画像５０１の視認性を向上させることができる。

なお、本実施形態では、特定の被写体の検出方法として、画像の特徴点から特定の被写体を検出する例を示したが、これに限られるものではない。例えば、詳細画像５０２内において、鮮明に撮影されている被写体を検出してもよい。被写体の鮮明度は、画像の各領域のコントラスト、明るさ、色差、空間周波数成分などによって求めることができる。例えば、画素信号のうち、最大の信号レベルと最小の信号レベルの差を鮮明度として使用すればよい。また、監視カメラでは静止し続けている物体の情報よりも動く物体の情報が重要となるため、複数フレームで取得した詳細画像５０２間の差分から、特定の被写体として動く被写体（以下、動体と呼ぶ）を検出してもよい。

以上に示す、第１実施形態〜第５実施形態は適宜組み合わせて使用してもよい。例えば、第３の撮像部が撮像方向、撮像画角、合焦位置の全てを変更可能であって、これら三つの情報を組み合わせて注目領域を抽出するようにしてもよい。また、第３の撮像部の状態および第３の画像の情報の双方を利用して注目領域を抽出してもよい。例えば、第３の撮像部の撮像画角内に複数の被写体が存在している場合、まず第３の画像を用いて、その中から特定の被写体を抽出する。そして、それらの中から、第３の撮像部の撮像方向に近かったり、合焦位置に近かったりする被写体の領域を注目領域としてもよい。このように、複数の情報を組み合わせることで、広角画像中の注目領域の抽出精度が向上する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１３３ 合成処理部
１３２ 抽出部
１３０ 制御部

Claims (11)

1. 第１の撮像部で取得した第１の画像と、撮像範囲が前記第１の撮像部の撮像範囲の一部と重複する第２の撮像部で取得した第２の画像とを合成して広角画像を生成する合成処理部と、
   第３の撮像部で取得した、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲の少なくとも一部を撮像範囲に含む第３の画像と、前記第３の画像を撮像した際の前記第３の撮像部の状態の少なくとも一方に基づいて、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲内の注目領域を抽出する抽出部と、を備え、
   前記合成処理部は、前記注目領域における前記第１の画像と前記第２の画像の間の位置ズレ量を調整して、前記広角画像を生成する
   ことを特徴とする画像処理装置。
2. 前記抽出部は、前記第３の画像の撮像範囲に基づいて前記注目領域を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像範囲は、前記第３の撮像部の撮像方向または撮像画角であることを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出部は、前記第３の画像を撮像した際の前記注目領域からピント面までの距離に基づいて前記注目領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記抽出部は、前記第３の撮像部の撮像パラメータを決定するための評価枠が設定された領域に基づいて、前記注目領域を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像パラメータは、露出レベル、ホワイトバランスおよびピント面の位置のいずれかであることを特徴とする請求項５に記載の画像処理装置。
7. 前記抽出部は、検出部が検出した特定の被写体に対応する領域に基づいて、前記注目領域を抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記抽出部は、前記第３の画像を前記広角画像の拡大画像として利用する場合と補完画像として利用する場合とに応じて、抽出する前記注目領域を変更することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   前記第１の撮像部と、
   撮像範囲が前記第１の撮像部の撮像範囲の一部と重複する前記第２の撮像部と、
   前記第１の撮像部または前記第２の撮像部のうち少なくとも一方の撮像範囲と重複する範囲を撮像する前記第３の撮像部と、を備える
   ことを特徴とする撮像装置。
10. 画像処理装置の制御方法であって、
    第１の撮像部で取得した第１の画像と、撮像範囲が前記第１の撮像部の撮像範囲の一部と重複する第２の撮像部で取得した第２の画像とを合成して広角画像を生成する合成処理工程と、
    第３の撮像部で取得した、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲の少なくとも一部を撮像範囲に含む第３の画像と、前記第３の画像を撮像した際の前記第３の撮像部の状態の少なくとも一方に基づいて、前記第１の撮像部および前記第２の撮像部が重複して撮像する撮像範囲内の注目領域を抽出する抽出工程と、を有し、
    前記合成処理工程では、前記注目領域における前記第１の画像と前記第２の画像の間の位置ズレ量を調整して、前記広角画像を生成する
    ことを特徴とする制御方法。
11. 請求項１乃至８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images