JP6700935B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、複数の撮像部を有する撮像装置、その制御方法、および制御プログラムに関し、特に、複数の撮像部の視点が略一致するように配置された撮像装置に関する。

一般に、広角レンズ又は魚眼レンズを光学系に用いて広い範囲を一度に撮影する撮像装置が知られている。ところが、広角レンズにおいては画角が制限される。一方、所謂全周魚眼レンズは１８０度の画角を有し、広い範囲を一度で撮影できるものの、レンズ周辺部における光学的収差が大きく、画角全域に亘って高解像度とすることが困難である。

このような問題を解決するため、複数の撮像部を互いの視点が略一致するように配置した撮像装置（以下複眼撮像装置と呼ぶ）がある。この複眼撮像装置では、撮像部の各々で得られた撮影画像を繋ぎ合せて広い画角に亘ってシームレスでかつ高解像度の画像を得ている（特許文献１参照）。なお、広角レンズ又は魚眼レンズのように画角が広いレンズは被写界深度が深いので、絞りをあまり絞ることなく画面全域にフォーカスが合った画像を得ることができる。

ところが、上述の複眼撮像装置を用いて広い画角を高解像度で撮影する際には、画角の狭いレンズを用いる必要がある。そして、画角の狭いレンズでは、絞り込まない限り１つの被写体にフォーカスを合わせると、その前後の被写体にフォーカスが合わないという事態が生じ易くなる。一方、画角の狭いレンズにおいても近くの被写体から遠くの被写体までフォーカスを合わせることが可能な撮像装置として、所謂あおり機構を備える撮像装置がある（特許文献２参照）。

特開平１０−１４５６５７号公報 特開２０００−５６２１４号公報

ところが、上述の特許文献１および２に記載の技術を単純に組み合わせても、複数の撮像部の各々で撮影された撮影画像を繋ぎ合わせると、繋ぎ合わせた画像の繋ぎ目部分が不自然となってしまう。つまり、フォーカス面および被写界深度が撮像部毎に異なる結果、フォーカス面および被写界深度がずれた状態での画像を合成すると、繋ぎ目目部分でフォーカスずれが生じる。

従って、本発明の目的は、画像の繋ぎ目部分でフォーカスずれが生じることなく、広い画角を高解像度で撮影することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、複数の撮像部を備え、前記複数の撮像部の各々に備えられた撮像素子によって撮影画像を得る撮像装置であって、前記複数の撮像部はその視点が互いに略一致するように配置されており、前記複数の撮像部におけるフォーカスを制御する第１の制御手段と、前記撮像素子について前記撮像部の光軸に対する傾きであるあおり角度を制御する第２の制御手段とを有し、前記第１の制御手段によって前記複数の撮像部の少なくとも１つにおいてフォーカス制御が行われると、前記第２の制御手段は、前記フォーカス制御が行われた撮像部のフォーカス面に応じて、前記フォーカス制御が行われた撮像部に隣接する撮像部において前記あおり角度を調整することを特徴とする。

本発明によれば、画像の繋ぎ目部分でフォーカスずれが生じることなく、広い画角を高解像度で撮影することができる。

本発明の第１の実施形態による撮像装置の一例を表示装置とともに示すブロック図である。 図１に示す撮像装置の外観を示す図である。 図１に示す第１〜第７の撮像部で得られた撮影画像の一例を示す図である。 第１〜第７の撮影画像を合成して得られた全体画像の一例を示す図である。 従来の複眼撮像装置によるフォーカス面と被写界深度とを説明するための図である。 図１に示す複眼撮像装置によるフォーカス面と被写界深度とを説明するための図である。 従来の複眼撮像装置および図１に示す複眼撮像装置において絞りを開放にした際に撮像部の１つで得られた撮影画像を示す図である。 従来の複眼撮像装置および図１に示す複眼撮像装置において絞りを開放にした際に得られた全体画像を示す図である。 図１に示す複眼撮像装置においてフォーカス面、レンズ面、および撮像面の位置関係を説明するシャインプルーフの原理を示す図である。 図１に示す複眼撮像装置において大人よりも背が低い子供の頭部にフォーカス面を合わせた場合のフォーカス面および被写界深度を説明するための図である。 図１に示す撮像装置の制御（カメラ制御）を説明するためのフローチャートである。 本発明の第２の実施形態による撮像装置の一例をビューワー端末とともに示すブロック図である。 図１２に示す複眼撮像装置のフォーカス面と被写界深度を説明するための図である。 本発明の第２の実施形態による撮像装置の制御（カメラ制御）を説明するためのフローチャートである。 本発明の第３の実施形態による撮像装置の一例をビューワー端末とともに示すブロック図である。 図１５に示す撮像装置の外観を示す図である。 図１５に示す複眼撮像装置によるフォーカス面および被写界深度の一例を示す図である。 図１７に示す状態で得られた撮影画像および全体画像の一例を示す図である。 図１５に示す複眼撮像装置によるフォーカス面および被写界深度の他の例を示す図である。 図１９に示す状態で得られた撮影画像、全体画像、および切り出し画像の一例を示す図である。 本発明の第３の実施形態による撮像装置の制御（カメラ制御）を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例を表示装置とともに示すブロック図である。

図１においては、撮像装置１はネットワーク３を介して表示装置（以下ビューワー端末と呼ぶ）２に接続されている。図示の撮像装置１は、第１〜第７の撮像部１１０〜１７０を有している。さらに、撮像装置１は、制御パラメータ算出部１０１、画像合成部１０２、画像圧縮部１０３、および通信部１０４を備えている。第１の撮像部１１０は、レンズ制御部１１１、レンズ１１２、撮像面（撮像素子）１１３、およびあおり制御部１１４を備えている。なお、図示はしないが、第２〜第７の撮像部１２０〜１７０は第１の撮像部１１０と同様の構成を有している。また、以下の説明では、複数の撮像部を備える撮像装置を複眼撮像装置と呼ぶ。

ここで、第１の撮像部１１０に注目して、レンズ制御部１１１は、制御パラメータ算出部１０１で取得したフォーカス情報および絞り値に基づいてレンズ１１２のフォーカス制御および絞り制御を行う。あおり制御部１１４は、制御パラメータ算出部１０１で求められたあおり角度情報に基づいて撮像面（撮像素子）１１３の傾き（レンズ１１２の光軸方向の傾き）を制御する。つまり、あおり制御部１１４は撮像面１１３の奥行き方向の傾きを制御する。

第１〜第７の撮像部１１０〜１７０で得られた撮影画像は、画像合成部１０２に入力される。以下、第１〜第７の撮像部１１０〜１７０で得られた撮影画像をそれぞれ第１〜第７の撮影画像と呼ぶ。画像合成部１０２は第１〜第７の撮影画像をシームレスに繋ぎ合わせて合成画像（以下全体画像とも呼ぶ）を生成する。

全体画像は画像圧縮部１０３においてネットワーク配信可能なデータサイズに圧縮される。そして、圧縮後の全体画像は通信部１０４によってネットワーク３を介してビューワー端末２に配信される。

ビューワー端末２は、メイン画像表示部２０１、全体画像表示部２０２、画像切り出し・デワープ部２０３、画像伸長部２０４、操作入力部２０５、操作コマンド生成・解釈部２０６、および通信部２０７を有している。通信部２０７によって圧縮後の全体画像を受信すると、画像伸長部２０４は当該圧縮後の全体画像を伸長する。そして、当該全体画像は全体画像表示部２０２に表示される。画像切り出し・デワープ部２０３は全体画像について射影変換による歪みの補正（デワープ）を行うとともに、全体画像の部分切り出しを行って、当該部分画像をメイン画像としてメイン画像表示部２０１に表示する。

操作入力部２０５はフォーカスおよび絞り、切り出し部分に関するユーザー操作入力を受け付ける。操作コマンド生成・解釈部２０６ユーザー操作入力をカメラ制御パラメータとして、ネットワーク配信可能なコマンドに変換して通信部２０７を介して撮像装置１に送信する。

図２は、図１に示す撮像装置の外観を示す図である。

図２において、下側の図は真下から撮像装置を見上げた状態を示す図であり、上側の図は水平よりもやや下側から撮像装置を見上げた状態を示す図である。

レンズ１１２〜１７２はそれぞれ第１〜第７撮像部１１０〜１７０に備えられている。レンズ１１２〜１７２は互いの視点が略一致しており、これらレンズ１１２〜１７２によってパン方向に３６０度、チルト方向に１８０度の画角を隙間なくカバーする。

図３は、図１に示す第１〜第７の撮像部で得られた撮影画像の一例を示す図である。また、図４は第１〜第７の撮影画像を合成して得られた全体画像の一例を示す図である。

いま、第１〜第７の撮影画像３０１〜３０７が第１〜第７の撮像部１１０〜１７０で得られたとする。画像合成部１０２は、第１〜第７の撮影画像３０１〜３０７をレンズの画角、視線方向、およびあおり角度に応じて合成する。これによって、図４に示す全体画像が得られる。

図４に示す例では、全体画像は所謂全周魚眼レンズで撮影を行って得た画像と同様に円形の平面画像になる。なお、全体画像を第１〜第７の撮像部１１０〜１７０において略一致した視点を中心とする球体に射影した立体画像としてもよい。さらには、全体画像を、パン方向を横軸とし、チルト方向を縦軸とする矩形のパノラマ画像としてもよい。

上記の全体画像は、レンズの絞りを絞りこんで画面全域にフォーカスが合った状態、つまり、パンフォーカスで撮影された画像によっても得ることができるが、絞りを開いた場合には上記のような全体画像は得られない。

図５は従来の複眼撮像装置によるフォーカス面と被写界深度とを説明するための図である。また、図６は、図１に示す複眼撮像装置によるフォーカス面と被写界深度とを説明するための図である。

図５および図６を参照して、視野２１０〜２３０、フォーカス面２１１〜２３１、および被写界深度２１２〜２３２はそれぞれ撮像部１１０〜１３０の視野、フォーカス面、および被写界深度を示す。ここで、フォーカス面と被写界深度との傾きは撮像面１１３のあおり角度に依存し、フォーカス面の位置はフォーカス値に依存する。そして、被写界深度の幅は絞り値に依存する。

ここでは、視野２１０〜２３０は簡略化のため、第１〜第７の撮像部１１０〜１１３０において重複部分を除いた視野を示しており、実際には撮像部１１０〜１３０で得られた撮影画像にはより広い範囲が写ることになる。図５においては撮像部１１０〜１３０のフォーカス面および被写界深度が互いに一致しない。一方、図６においては撮像部１１０〜１３０のフォーカス面および被写界深度が互いに一致する。なお、従来の複眼撮像装置においては、図１に示すあおり制御部１１４は備えられていない。

図７は、従来の複眼撮像装置および図１に示す複眼撮像装置において絞りを開放にした際に撮像部の１つで得られた撮影画像を示す図である。また、図８は、従来の複眼撮像装置および図１に示す複眼撮像装置において絞りを開放にした際に得られた全体画像を示す図である。なお、ここでは、撮像部の１つは、例えば、第２の差像部１２０である。

図７において、左側に示す画像は従来の複眼撮像装置で得られた撮影画像を示し、右側に示す画像は図１に示す複眼撮像装置で得られた画像を示す。左側に示す撮影画像では、一番奥に位置する人物にフォーカスが合っており、手前の２人については被写界深度から外れているためフォーカスが合っていない。一方、右側に示す撮影画像では、全ての人物について胴体にはフォーカスが合っていないものの、頭部にフォーカスが合った状態になる。なお、下向きの第１の撮像部１１０（図２参照）で得られた撮影画像については、従来複眼の撮像装置においても頭部にフォーカスが合った状態となる。

図８において、上側に示す全体画像４０１でおいては、同一の身長の人物であっても、人物の位置によって全身がぼやけるか又は全身にフォーカスが合った状態となる。さらには、身体の一部にのみフォーカスが合った状態となって他の部分がぼやけた状態となる。一方、下側に示す全体画像４０２においては、同一の身長の人物であれば、人物の位置に拘わらず頭部にフォーカスが合った状態になる。

この結果、顔認証などの用途に用いる場合には、全体画像４０２の方が安定的に顔認証などを行うことができる。さらに、全体画像４０１においては、人物が撮影画像の繋ぎ目付近に位置する場合には、撮影画像の間でフォーカスずれが生じて不自然な画像となる。一方、全体画像４０２においては、人物が撮影画像の繋ぎ目付近に位置したとしても不自然な画像とはならない。

図９は、図１に示す複眼撮像装置においてフォーカス面、レンズ面、および撮像面の位置関係を説明するシャインプルーフの原理を示す図である。

図９において左側の図に示すように、レンズ面（Ｌｅｎｓ Ｐｌａｎｅ）および撮像面（Ｉｍａｇｅ Ｐｌａｎｅ）が平行である場合には、フォーカス面（Ｓｕｂｊｅｃｔ Ｐｌａｎｅ）もこれらと平行となる。ここで、撮像面のあおり角度を調整して、撮像面がレンズ面と平行でない状態とする。この場合、図９において右側の図に示すように、フォーカス面は必ずレンズ面と撮像面との交点（Ｓｃｈｅｉｍｐｌｕｆｌｕｇ Ｉｎｔｅｒｓｅｃｔｉｏｎ）と交わる。これがシャインプルーフの原理である。なお、フォーカス面の傾きはレンズ面と撮像面との距離に応じて変化する。

図１０は、図１に示す複眼撮像装置において大人よりも背が低い子供の頭部にフォーカス面を合わせた場合のフォーカス面および被写界深度を説明するための図である。

第１〜第７の撮像部１１０〜１３０のフォーカス面２１１〜２３１および被写界深度２１２〜２３２は、フォーカス制御によってレンズ面と撮像面の距離を変化させることによって図６に示す状態よりも下に移動する。フォーカス面２１１〜２３１および被写界深度２１２〜２３２が下側に移動しても、図６に示す状態と同様に互いに一致している。単純にフォーカス制御を行うのみでは、フォーカス面２１１〜２３１および被写界深度２１２〜２３２を互いに一致させることはできない。このため、あおり角度および絞りをフォーカス制御に連動して調整する。これによって、子供の位置に拘わらず子供の頭部にフォーカスが合った状態となって、子供の顔認証を安定的に行うことができる。

図１１は、図１に示す撮像装置の制御（カメラ制御）を説明するためのフローチャートである。ここでは、ユーザーがビューワー端末２において撮像装置１のフォーカス操作を行った際の撮像装置における処理について説明する。

いま、ユーザーがビューワー端末２において操作入力部２０５によって第１の撮像部１１０のフォーカス制御を要求したとする。当該フォーカス制御要求に応じて、操作コマンド生成・解釈部２０６はフォーカス制御コマンドを生成する。そして、操作コマンド生成・解釈部２０６は通信部２０７によって当該フォーカス制御コマンドをネットワーク３を介して撮像装置２に送信する。

撮像装置１は通信部１０４によってフォーカス制御コマンドを受信する。制御パラメータ算出部１０１は第１の撮像部１１０を制御した後のフォーカス面および被写界深度に応じて、第２および第３の撮像部１２０および１３０のフォーカス値、絞り値、およびあおり角度を算出する（ステップＳ１０１）。ここでは、算出に用いられる計算式については省略するが、シャインプルーフの原理を用いて、第２および第３の撮像部１２０および１３０のレンズの画角および視線方向など撮像部の特性に基づいて算出が行われる。なお、第２および第３の撮像部１２０および１３０は第１の撮像部１１０に隣接する撮像部である。

次に、第２および第３の撮像部１２０および１３０において、レンズ制御部１１１はステップＳ１０１で算出されたフォーカス値および絞り値に基づいてレンズ１１２のフォーカスおよび絞りを制御する（ステップＳ１０２）。そして、第２および第３の撮像部１２０および１３０において、あおり制御部１１４はステップＳ１０１で算出されたあおり角度に基づいて撮像面のあおり角度を制御する（ステップＳ１０３）。その後、撮像装置１はカメラ制御を終了する。

このように、本発明の第１の実施形態では、第１の撮像部１１０の制御結果に応じて他の撮像部においてフォーカスおよび絞りを制御するとともに、撮像面のあおり角度を制御する。この結果、全体画像においては繋ぎ目部分においてフォーカスずれが生じることなく、画角が広い高解像度の全体画像を得ることができる。さらには、被写界深度が浅い大口径のレンズを用いても暗視性能および解像度を高めることが可能となる。

［第２の実施形態］
続いて、本発明の第２の実施形態による撮像装置の一例について説明する。

図１２は、本発明の第２の実施形態による撮像装置の一例をビューワー端末とともに示すブロック図である。

図示の撮像装置およびビューワー端末について図１に示す例と同一の構成要素については同一の参照番号を付す。また、ここでは、第１〜第７の撮像部１１０〜１７０の各々には、あおり制御部１１４が備えられておらず、他の構成は図１に示す例と同様である。

このため、撮像面１１３のあおり角度は組み立ての際に固定されるか又は出荷後の設置の際に手動で調整される。よって、撮像装置を設置した後、ビューワー端末のコマンドによってあおり角度の調整を行うことはできない。

図１３は、図１２に示す複眼撮像装置のフォーカス面と被写界深度を説明するための図である。

いま、前述の図１０で説明したように、第１〜第７の撮像部１１０〜１７０は子供の頭部にフォーカスが合うように設置された状態であるとする。この状態で、ビューワー端末２から大人の頭部にフォーカスが合うようにフォーカス操作を行うと、図１３に示すようにフォーカス面と被写界深度とが変化する。

図１３に示す状態では、図６に示す大人の頭部にフォーカスが合った状態と異なり、第１の撮像部１１０のフォーカス面２１１と第２および第３の撮像部１２０および１３０のフォーカス面２２１および２３１とは一致しない。つまり、撮像装置の設置後においては撮像面のあおり角度の調整が行えない結果、全体画像の繋ぎ目部分においてフォーカス位置および被写界深度のみが一致する。

このため、第２の実施形態では、第１の実施形態と異なって、同一の身長の人物であっても、人物が撮像装置から離れるほど頭部にフォーカス（焦点）が合わない状態になる。一方、第２の実施形態による撮像装置では、従来の複眼撮像装置とは異なって、人物が撮影画像の繋ぎ目付近に位置する場合であっても、撮影画像間においてフォーカスずれは生じることがなく、不自然な画像とはならない。

図１４は、本発明の第２の実施形態による撮像装置の制御（カメラ制御）を説明するためのフローチャートである。

いま、ユーザーがビューワー端末２において操作入力部２０５によって第１の撮像部１１０のフォーカス制御を要求したとする。当該フォーカス制御要求に応じて、操作コマンド生成・解釈部２０６はフォーカス制御コマンドを生成する。そして、操作コマンド生成・解釈部２０６は通信部２０７によって当該フォーカス制御コマンドをネットワーク３を介して撮像装置２に送信する。

撮像装置１は通信部１０４によってフォーカス制御コマンドを受信する。制御パラメータ算出部１０１は第１の撮像部１１０を制御した後のフォーカス面および被写界深度に応じて、第２および第３の撮像部１２０および１３０のフォーカス値および絞り値を算出する（ステップＳ２０１）。

次に、第２および第３の撮像部１２０および１３０において、レンズ制御部１１１はステップＳ２０１で算出されたフォーカス値および絞り値に基づいてレンズ１１２のフォーカスおよび絞りを制御する（ステップＳ２０２）。その後、撮像装置１はカメラ制御を終了する。

このように、本発明の第２の実施形態では、第１の撮像部１１０の制御結果に応じて他の撮像部１２０〜１７０においてフォーカスおよび絞りを制御する。これによって、全体画像においては繋ぎ目部分においてフォーカスずれが生じることなく、画角が広い高解像度の全体画像を得ることができる。さらには、被写界深度が浅い大口径のレンズを用いても暗視性能および解像度を高めることが可能となる。

［第３の実施形態］
続いて、本発明の第３の実施形態による撮像装置の一例について説明する。

図１５は、本発明の第３の実施形態による撮像装置の一例をビューワー端末とともに示すブロック図である。

図示の撮像装置およびビューワー端末について図１に示す例と同一の構成要素については同一の参照番号を付す。図示の撮像装置１においては第１〜第３の撮像部１１０〜１３０が備えてられている。さらに、撮像装置１は画像切り出し部１０５を有している。また、ビューワー端末２には画像切り出し・デワープ処理部２０３が備えられていない。つまり、図示の例では、撮像装置１に備えられた画像切り出し部１０５が全体画像から部分画像を切り出して切り出し画像を得る。このため、撮像装置１は、ビューワー端末に全体画像および切り出し画像の少なくとも１つを配信することになる。

図１６は、図１５に示す撮像装置の外観を示す図である。

図２は、図１に示す撮像装置の外観を示す図である。

図２において、下側の図は真下から撮像装置を見上げた状態を示す図であり、上側の図は水平よりもやや下側から撮像装置を見上げた状態を示す図である。

レンズ１１２〜１３２はそれぞれ第１〜第３撮像部１１０〜１３０に備えられている。レンズ１１２〜１３２は互いの視点が略一致しており、これらレンズ１１２〜１３２によってパン方向に１８０度の画角を隙間なくカバーするように撮像装置１が配置されている。

図１７は、図１５に示す複眼撮像装置によるフォーカス面および被写界深度の一例を示す図である。また、図１８は、図１７に示す状態で得られた撮影画像および全体画像の一例を示す図である。なお、図１８においては、説明の便宜上、２つの撮像部で得られた撮影画像が示されている。

図１７において、視野２１０、フォーカス面２１１、および被写界深度２１２は第１および撮像部１１０における視野、フォーカス面、および被写界深度を示す。また、視野２２０、フォーカス面２２１、および被写界深度２２２は第２の撮像部１２０の視野、フォーカス面、および被写界深度を示す。フォーカス面と被写界深度との傾きは撮像面１１３のあおり角度に依存する。また、フォーカス面の位置はフォーカス値に依存し、被写界深度の幅は絞り値に依存する。

ビューワー端末２において全体画像表示部２０２に所定の大きさ以上の全体画像が表示されている場合には、フォーカス面と被写界深度とは図１７に示す状態となる。この場合には、第１および第２の撮像部１１０および１２０のフォーカス面および被写界深度は互いに一致する。

第１の撮像部１１０で得られた撮影画像１８１０と第２の撮像部１２０で得られた撮影画像１８２０は大人の頭部にフォーカスが合った状態となって、子供および大人の胴体部分にはフォーカスが合わない状態になる。撮影画像１８１０と撮影画像１８２０とを合成した全体画像１８３０においはフォーカスずれが生じない自然な画像となる。

図１９は、図１５に示す複眼撮像装置によるフォーカス面および被写界深度の他の例を示す図である。また、図２０は、図１９に示す状態で得られた撮影画像、全体画像、および切り出し画像の一例を示す図である。

いま、ユーザーが操作入力部２０５を用いて全体画像を所定の大きさ未満の表示にするか又は非表示として、かつ繋ぎ目部分を含まない撮影画像の一部を切り出して切り出し画像としてメイン画像表示部２０１に表示したとする。この場合、フォーカス面と被写界深度とは図１９に示す状態となる。視野２１３は画像切り出し部１０５によって全体画像又は撮影画像からその一部を切り出した切り出し画像（部分画像）１８１２の視野である。

部分画像１８１２の視野は撮影画像１８１０のうち子供の全身を含む範囲１８１１であるので、ここでは、子供の全身にフォーカスが合うように第１の撮像部１１０におけるフォーカス面２１１と被写界深度２１２とが垂直方向に変化する。この際、切り出し対象ではない撮影画像１８２０を得た第２の撮像部１２０におけるフォーカス面２２１および被写界深度２２２は変化しない。よって、第１および第２の撮像部１１０および１２０におけるフォーカス面および被写界深度は一致しなくなって、全体画像１８３０にはフォーカスずれが生じて不自然な画像となる。一方、ここでは、全体画像を所定の大きさ未満で表示しているのでユーザーには不自然さが目立たなくなる。ここでは、所定の大きさとは画像の不自然さが目立つ境界の大きさ（閾値）をいう。

なお、全体画像を所定の大きさ以上で表示し、かつ繋ぎ目部分を含まない撮影画像の一部を切り出してメイン画像表示部２０１に表示した際には、全体画像は不自然となるが、部分画像をメイン画像表示部２０１に表示しているので問題はない。

図２１は、本発明の第３の実施形態による撮像装置の制御（カメラ制御）を説明するためのフローチャートである。ここでは、ビューワー端末２において第１の撮像部１１０のフォーカス操作、全体画像の表示／非表示、全体画像の大きさの変更、部分画像の表示／非表示、および切り出し範囲の変更の少なくとも１つが行われてものとする。当該操作が行われると、操作コマンド生成・解釈部２０６は通信部２０７によって操作コマンドをネットワーク３を介して撮像装置１に送信する。

撮像装置１は通信部１０４によって操作コマンドを受信する。制御パラメータ算出部１０１は操作コマンドにおいて全体画像が所定の大きさ以上であるか否かを判定する（ステップＳ３０１）。全体画像が所定の大きさ以上であると（ステップＳ３０１において、ＹＥＳ）、制御パラメータ算出部１０１は部分画像が繋ぎ目を含むか否かを判定する（ステップＳ３０２）。

部分画像が繋ぎ目を含む場合には（ステップＳ３０２において、ＹＥＳ）、制御パラメータ算出部１０１は第１の撮像部１１０を制御した後のフォーカス面および被写界深度を得る。そして、制御ブラメーター算出部１０１は、当該フォーカス面および被写界深度を得る。第２および第３の撮像部１２０および１３０のフォーカス値、絞り値、およびあおり角度を算出する（ステップＳ３０３）。ここでは、制御パラメータ算出部１０１はシャインプルーフの原理を用いて、第２および第３の撮像部１２０〜１３０のレンズの画角および視線方向など撮像部の特性に基づいてフォーカス値、絞り値、およびあおり角度を算出する。

次に、第２および第３の撮像部１２０および１３０において、レンズ制御部１１１はステップＳ３０３で算出されたフォーカス値および絞り値に基づいてレンズ１１２のフォーカスおよび絞りを制御する（ステップＳ３０４）。そして、第２および第３の撮像部１２０および１３０において、あおり制御部１１４はステップＳ３０３で算出されたあおり角度に基づいて撮像面のあおり角度を制御する（ステップＳ３０５）。その後、撮像装置１はカメラ制御を終了する。

全体画像が所定の大きさ未満であると（ステップＳ３０１において、ＮＯ）、制御パラメータ算出部１０１は部分画像に対応する撮像部のフォーカス値、絞り値、およびあおり角度を算出する（ステップＳ３０６）。そして、処理はステップＳ３０４に進み、部分画像に対応する撮像部において、レンズ制御部１１１はステップＳ３０６で求めたフォーカス値および絞り値に基づいてレンズ１１２のフォーカスおよび絞りを制御する。続いて、処理はステップＳ３０５に進み、部分画像に対応する撮像部において、あおり制御部１１４はステップＳ３０６で求めたあおり角度に基づいて撮像面のあおり角度を制御する。

なお、部分画像が繋ぎ目を含まないと（ステップＳ３０２において、ＮＯ）、制御パラメータ算出部１０１はステップＳ３０６の処理に進む。

このように、本発明の第３の実施形態では、全体画像が所定の大きさ以上であり、かつ部分画像が繋ぎ目を含むと第１の撮像部１１０の制御結果に応じて他の撮像部においてフォーカス、絞り、およびあおり角度を制御する。また、全体画像が所定の大きさ未満であるか又は部分画像が繋ぎ目を含まないと部分画像に対応する撮像部においてフォーカス、絞り、およびあおり角度を制御する。この結果、全体画像においては繋ぎ目部分においてフォーカスずれが生じることなく、画角が広い高解像度の全体画像を得ることができる。さらには、被写界深度が浅い大口径のレンズを用いても暗視性能および解像度を高めることが可能となる。

上述の説明から明らかなように、図１に示す例では、制御パラメータ算出部１０１およびレンズ制御部１１１が第１の制御手段として機能し、制御パラメータ算出部１０１およびあおり制御部１１４が第２の制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置
１０１ 制御パラメータ算出部
１０２ 画像合成部
１０３ 画像圧縮部
１０４ 通信部
１１０〜１７０ 撮像部
１１１ レンズ制御部
１１２ レンズ
１１３ 撮像面
１１４ あおり制御部

Claims (10)

1. 複数の撮像部を備え、前記複数の撮像部の各々に備えられた撮像素子によって撮影画像を得る撮像装置であって、
   前記複数の撮像部はその視点が互いに略一致するように配置されており、
   前記複数の撮像部におけるフォーカスを制御する第１の制御手段と、
   前記撮像素子について前記撮像部の光軸に対する傾きであるあおり角度を制御する第２の制御手段とを有し、
   前記第１の制御手段によって前記複数の撮像部の少なくとも１つにおいてフォーカス制御が行われると、前記第２の制御手段は、前記フォーカス制御が行われた撮像部のフォーカス面に応じて、前記フォーカス制御が行われた撮像部に隣接する撮像部において前記あおり角度を調整することを特徴とする撮像装置。
2. 前記第２の制御手段は、前記フォーカス制御が行われた撮像部のフォーカス面とそのフォーカス面が一致するように前記あおり角度を調整することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の制御手段は、前記複数の撮像部の少なくとも１つにおいてフォーカス制御を行った際、当該フォーカス制御を行った撮像部に隣接する撮像部においてフォーカス制御を行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記隣接する撮像部において前記フォーカス面に対する被写界深度が略一致するように絞りを制御する第３の制御手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の撮像部で得られた撮影画像を合成して全体画像を得る合成手段を有することを特徴とする請求項４に記載の撮像装置。
6. 前記第２の制御手段は、前記複数の撮像部で得られた撮影画像を合成して得られる前記全体画像の表示が所定の大きさ以上かどうかを判定し、前記所定の大きさ以上である場合に、前記複数の撮像部で得られた前記撮影画像を合成した前記全体画像に存在する複数の被写体に応じて、前記隣接する撮像部の前記あおり角度を調整することを特徴とする請求項５に記載の撮像装置。
7. 前記撮影画像からその一部を部分画像として切り出す切り出し手段を備え、
   前記第２の制御手段は、前記複数の撮像部で得られた撮影画像を合成して得られる前記全体画像の表示が所定の大きさ以上であり、かつ前記部分画像に前記全体画像を生成する際の繋ぎ目が含まれているかどうかを判定し、前記全体画像の表示が前記所定の大きさ以上であり前記部分画像に前記繋ぎ目が含まれている場合に、前記部分画像に存在する被写体に応じて、前記隣接する撮像部の前記あおり角度を調整することを特徴とする請求項５に記載の撮像装置。
8. 前記第２の制御手段は、前記複数の撮像部で得られた撮影画像を合成して得られる前記全体画像の表示が所定の大きさ未満であるか又は前記部分画像に前記全体画像を生成する際の繋ぎ目が含まれていないかどうかを判定し、全体画像の表示が前記所定の大きさ未満であるか又は前記部分画像に前記繋ぎ目が含まれていない場合に、前記部分画像を切り出した撮影画像を得た撮像部において、前記第１の制御手段がフォーカスを調整し、前記第３の制御手段が絞りを調整するとともに、前記あおり角度を調整することを特徴とする請求項７に記載の撮像装置。
9. 視点が互いに略一致するように配置された複数の撮像部を備え、前記複数の撮像部の各々に備えられた撮像素子によって撮影画像を得る撮像装置の制御方法であって、
   前記複数の撮像部におけるフォーカスを制御する第１の制御ステップと、
   前記撮像素子について前記撮像部の光軸に対する傾きであるあおり角度を制御する第２の制御ステップとを有し、
   前記第１の制御ステップで前記複数の撮像部の少なくとも１つにおいてフォーカス制御が行われると、前記第２の制御ステップでは、前記フォーカス制御が行われた撮像部のフォーカス面に応じて、前記フォーカス制御が行われた撮像部に隣接する撮像部において前記あおり角度を調整することを特徴とする制御方法。
10. 視点が互いに略一致するように配置された複数の撮像部を備え、前記複数の撮像部の各々に備えられた撮像素子によって撮影画像を得る撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の撮像部におけるフォーカスを制御する第１の制御ステップと、
    前記撮像素子について前記撮像部の光軸に対する傾きであるあおり角度を制御する第２の制御ステップと実行させ、
    前記第１の制御ステップで前記複数の撮像部の少なくとも１つにおいてフォーカス制御が行われると、前記第２の制御ステップでは、前記フォーカス制御が行われた撮像部のフォーカス面に応じて、前記フォーカス制御が行われた撮像部に隣接する撮像部において前記あおり角度を調整することを特徴とする制御プログラム。