JP2011259245A - 撮影装置及び撮影方法 - Google Patents

Abstract

【課題】発光を使用したパノラマ撮影の際に、良好なパノラマ画像を得られる撮影装置及び撮影方法を提供する。
【解決手段】連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置であって、この撮影装置は、撮影方向の変化量を検出する回転角検出部と、撮影のための発光を行う発光部と、撮影範囲内における特定被写体の存在を検出する特定被写体検出部と、特定被写体検出部で検出した特定被写体の測光を行う測光部と、パノラマ撮影モード時に、特定被写体の撮影時における発光部による発光の要否、及び発光量を算出し、発光部の発光を制御する発光制御部とを備え、発光制御部は、特定被写体に対する発光が必要な場合、特定被写体の位置、撮影方向、及び測光部の出力を少なくとも利用して、合成後のパノラマ画像データに特定被写体が合成される画像の撮影時に最適な発光量となるように、発光部の発光パターンを制御する。
【選択図】図４

Description

本発明は、撮影装置及び撮影方法に関する。

従来、フラッシュを利用したパノラマ撮影を行う撮像装置としては、下記特許文献に示すものが知られている。

特許文献１には、パノラマ撮影でフラッシュ撮影を行う際に、パノラマ画像データを合成することとなる複数の画像それぞれの撮影において、同じ発光量で撮影を行うことが記載されている。

特許文献２には、パノラマ撮影の途中で、フラッシュの発光モードや発光量が切り替わることを禁止する画像処理装置が記載されている。

特開２００９−６５４６０号公報 特開２００２−９０８２０号公報

しかし、特許文献１，２では、パノラマ画像データを合成することとなる複数の画像を連続して撮影している間は、特定の人物等の特定の被写体がその周囲より照度が暗くても、発光量を変えて撮影することができなかった。また、特定の被写体の撮影時のみフラッシュ発光させた場合、合成画像に明るさの段差ができてしまう。

本発明は、発光を使用したパノラマ撮影の際に、良好なパノラマ画像データを得られる撮影装置及び撮影方法を提供する。

連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置であって、
当該撮影装置の撮影方向の変化量を検出する回転角検出部と、
撮影のための発光を行う発光部と、
当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出部と、
前記特定被写体検出部で検出した前記特定被写体の測光を行う測光部と、
前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御部と、を備え、
前記発光制御部は、前記特定被写体に対する発光が必要な場合、前記特定被写体検出部が検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光部の出力を少なくとも利用して、前記発光部の発光パターンを制御する撮影装置。

連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置を用いた撮影方法であって、
前記撮影装置の撮影方向の変化量を検出する回転角検出ステップと、
発光部が撮影のための発光を行う発光ステップと、
当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出ステップと、
検出した前記特定被写体の測光を行う測光ステップと、
前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御ステップと、を備え、
前記発光制御ステップでは、前記特定被写体に対する発光が必要な場合、検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光から求めた出力を少なくとも利用して、前記発光部の発光パターンを制御する撮影方法。

本発明によれば、発光を使用したパノラマ撮影の際に、良好なパノラマ画像データを得られる撮影装置及び撮影方法を提供できる。

撮影装置の構成を示すブロック図である。 連続した複数の撮影を実施するときの状態を示す図である。 複数の画像データを合成してパノラマ画像データを生成する処理を説明する図である。 発光部の発光パターンを説明するための図である。 連続で撮影を行う手順を示すフローチャートである。 連続で撮影を行う間に特定被写体として複数の人物が撮影される場合の発光パターンを説明する図である。 パノラマ撮影モードの手順の変形例を示すフローチャートである。 パノラマ撮影モードの手順の変形例を示すフローチャートである。 連続で撮影する間に、登録した人物を含む複数の人物を検出したときの発光パターンを説明する図である。 連続で撮影を行う際に、角速度に応じて警告を行う手順を示すフローチャートである。 建物を特定被写体として撮影する状態を説明する図である。 建物を撮影するときの発光パターンを示している。 パノラマ撮影モードにおいて、特定被写体として建物を撮影する手順を示す図である。

図１は、撮影装置の構成を示すブロック図である。なお、撮影装置としてデジタルカメラを例に説明する。

撮影装置は、撮像系として、撮影レンズ１と、ＣＣＤ型やＭＯＳ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

撮影装置は、電気制御系全体を統括制御するシステム制御部１１を備える。システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

システム制御部１１は、発光回路３２を介して発光部１２を制御し、また、受光部１３で検出した信号が入力される。発光回路３２は、発光制御部として機能する。発光部１２は、撮影のための補助光の連続点灯が可能な、例えばＬＥＤフラッシュを用いる。

発光回路３２は、発光部１２の発光のための電荷を蓄電するコンデンサを備え、発光部１２の発光量を制御する。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

システム制御部１１には、撮影レンズの撮影方向の変化量である回転角を検出する回転角検出部として機能する角速度センサ３１が接続されている。システム制御部１１には、角速度センサ３１から検出信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、測光データを積算しデジタル信号処理部１７が行うホワイトバランス補正のゲインを求める積算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶などの表示部２３が接続される表示制御部２２と、を備える。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、積算部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

また、撮影装置は、演算部２６とパノラマ画像合成部２７とを備える。演算部２６は、パノラマ画像データを生成するため連続で複数の撮影を実行する際に、必要な演算を行う。パノラマ画像合成部２７は、複数の画像データを合成してパノラマ画像データを生成する。演算部２６及びパノラマ画像合成部２７は制御バス２４及びデータバス２５に接続され、システム制御部１１からの指令によって制御される。生成されたパノラマ画像データは、メインメモリ１６に記録される。

撮影装置は、本撮像を行う前の仮撮像の状態においてスルー画を表示部２３に表示させることができる。ここでスルー画とは、一般にライブビューとも称され、固体撮像素子５で撮像して得られた画像データを表示部２３に表示させたものをいう。ユーザは、本撮像を行う前の仮撮像時に表示部２３でスルー画を視認し、被写体や画角などを確認したうえで、その後、本撮像を実行することができる。

また、撮影装置は、通常の撮影を行う通常撮影モードと、連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し、該パノラマ画像データを記録するパノラマ撮影モードと、を有する。撮影装置は、通常撮影モードと、パノラマ撮影モードとで切り替えが可能である。

図２は、撮影装置を用いて、パノラマ画像データを生成するため、連続した複数の撮影を実施していている状態を示している。ユーザは、撮影装置でパノラマ撮影モードに設定し、図２の矢印に示すように、撮影装置を風景及び被写体の所望の範囲が画角に含まれるように、所定の方向（ここでは、水平方向）に振る。

撮影装置は、パノラマ撮影モードにおいて、レリーズを一回押して撮影装置を振る動作を開始した位置から振る動作を終了する位置で再度もう一回レリーズ押すまでの間、撮像する動作が予め設定された時間間隔で繰り返される。こうして、パノラマ撮影モードでは、撮影装置を振る動作を一回行う間に複数の撮影によって、撮影ごとに画像データを取得できる。

図３は、パノラマ撮影モードにおいて、撮影によって得られる複数の画像データを合成してパノラマ画像データを生成する処理を説明する図である。ここで、連続で撮影された複数の画像データＰＩＣ．１〜ＰＩＣ．Ｎ（Ｎは、２以上の整数）を用いてパノラマ画像データを合成するとする。１〜Ｎの数値は、連続撮影で撮影された順を表すものとする。画像データＰＩＣ．１〜ＰＩＣ．Ｎの、各画像中央の領域をパノラマ画像データの生成に用いる。この領域を合成領域Ｇｐとする。各画像における、合成領域Ｇｐに隣接し、画像端部に位置する領域を非合成領域Ｇｅとする。パノラマ画像データを合成する際には、各画像データの合成領域Ｇｐをトリミングし、連続撮影で撮影された順に、合成領域Ｇｐを繋ぎ合わせる処理を行う。こうして、１つのパノラマ画像データを生成する。

ところで、低照度の環境下では、パノラマ撮影モード時の連続の撮影で、撮影ごとに発光部１２を発光させる。連続の撮影では、撮影で得られる画像データごとに明るさや色の違いが大きい状態だと、パノラマ画像データを合成したときに画像同士を繋ぎ合わせた部分に段が生じてしまう。このため、連続の撮影の途中で発光部１２の発光状態を急に切り替えることができない。例えば図２に示すように、特定の人物を被写体として撮像するときに、人物及び顔が暗い場合に十分な発光を行いたい場合が考えられる。この場合に、仮に画像の合成領域に人物が含まれるときにだけ発光部の発光量を上げるとすると、その画像だけ明るくなり、他の画像との繋ぎ合わせる部分に段が生じることが避けられない。

そこで、本発明では、固体撮像素子５で取得された画像データの非合成領域Ｇｅにおいて特定被写体を検出し、角速度に基づいて、合成後のパノラマ画像データに合成される合成領域に特定被写体が含まれる画像データを撮影する期間（以下、被写体撮影期間という。）を算出し、被写体撮影期間の撮影時に最適な発光量となるように、発光部１２の発光パターンを制御する。例えば、６０個の画像データで１つのパノラマ画像データを生成するとき、撮影順に第２０番目から第３０番目の画像データにおいて、合成領域Ｇｐに特定被写体が含まれる場合には、第２０番目から第３０番目の画像データの撮影の間を被写体撮影期間とし、最適な発光量で撮影を行う。発光パターンは、被写体撮影期間の撮影時に最適な発光量となるまでは徐々に発光量が増加し、最適な発光量が必要な期間の終了後は徐々に発光量が減少する。こうすることで、撮影装置は、生成されたパノラマ画像データにおいて明るさの段が生じることを防止している。

撮影装置には、画像データの非合成領域Ｇｅで特定被写体を検出する特定被写体検出部３１が設けられている。また、撮影装置には、連続で撮影を行う際に、撮影ごとに発光部１２をプリ発光させたときに、特定被写体の測光を行う測光部３２が設けられている。さらに、撮影装置には、画像データから顔を検出する顔検出部３３が設けられている。

図４は、連続で撮影するときの、発光パターンを説明するための図である。図４に示すグラフにおいて、横軸は時間を示し、縦軸は発光部の発光量を示している。ここでは、撮影方向を左から右へ変化させ、人物を特定被写体として撮影するときを例に説明する。連続撮影の開始時の発光量を０とする。

画像データの非合成領域Ｇｅで人物が検出される前は、発光量が０に維持される（時間０〜ｔ１の期間）。

画像データの非合成領域Ｇｅで人物が検出されると、発光量を増加し始める時間と、合成後のパノラマ画像データに前記特定被写体が合成される画像の撮影時に最適な発光量が算出される。そして、該非合成領域Ｇｅで人物が検出されている間の撮影では、発光部の発光量を次第に増大させていく（時間ｔ１〜ｔ２の期間）。

画像データの合成領域Ｇｐで人物が検出される間、つまり、合成後のパノラマ画像データに前記特定被写体が合成される画像の撮影期間（被写体撮影期間）の撮影では、最適な発光量で発光させる（時間ｔ２〜ｔ３の期間）。

画像データの左側の非合成領域Ｇｅで人物が検出される間の撮影では、発光部の発光量を次第に減少させていく（時間ｔ３〜ｔ４の期間）。

画像データの左側の非合成領域Ｇｅで人物が検出されなくなった後は、発光部の発光量が０となる（時間ｔ４以降の期間）。

このような発光パターンで、連続で撮影を行うことで、合成後のパノラマ画像データに特定被写体が合成される画像の撮影期間に合わせて発光量を変化させることができる。このため、人物が暗い場合に、最適な発光量で撮影を行うことができる。また、人物が合成領域Ｇｐで検出される前の期間と、合成領域Ｇｐで人物が検出できなくなった後の期間とで、発光量を徐々に変化させ、生成されたパノラマ画像データに明るさの段が生じることを防止できる。

次に、パノラマ撮影モードにおいて連続で撮影を行う手順を説明する。図５は、連続で撮影を行う手順を示すフローチャートである。以下では、撮影装置として図１に示す構成のものを例に説明する。

最初に、ユーザの操作によってパノラマ撮影モードが設定される。パノラマ撮影モードが開始された後、ユーザが撮影装置を振る動作が行われるとともに、連続の撮影が開始される。撮影ごとに以下の手順が実行される。

先ず、ステップＳ１において、画像データの非合成領域Ｇｅで人物が検出されているかどうかを判断するため、非合成領域Ｇｅ内で顔検出を実行し、画像データに人物が含まれているのか否かを判別する。顔が検出された場合には、ステップＳ２へ進む。顔が検出されなかった場合には、ステップＳ６へ進む。

ステップＳ２において、検出された顔の明るさが予め設定された基準値Ｘより小さいか否かを判別する。顔の明るさが基準値Ｘより小さい場合にはステップＳ３へ進む。顔の明るさが基準値Ｘ以上の場合には、特定被写体の明るさは十分であると判断して、ステップＳ６へ進む。

ステップＳ３において、発光部１２をプリ発光させて、測光部３２で測光を行い、顔を撮影する際の最適な発光量を算出する。算出された発光量のデータは、メインメモリ１６に保存される。その後、ステップＳ４へ進む。

ステップＳ４において、角速度センサ３１で検出された角速度に基づいて、検出された顔が、パノラマ画像データに合成される合成領域に特定被写体を含む画像データを撮影する期間の開始時点と、終了時点とを算出し、この期間を被写体撮影期間として算出する。被写体撮影期間と、測光部３１の出力によって算出された最適な発光量とに基づいて発光パターンを決定する。発光パターンのデータは、メインメモリ１６に保存される。その後、ステップＳ６に進む。

撮影装置は、発光パターンに基づく発光量で発光部１２を発光させつつ、撮影を実行する。ここで、特定被写体が検出され、且つ、発光が必要な場合には、システム制御部１１がメインメモリ１６から発光パターンのデータを読み出し、発光回路３２がこの発光パターンのデータに応じて発光部１２の発光を制御する。発光が必要でない場合には、発光部１２を発光させずに撮影を行う。こうして、発光パターンに応じた発光量で発光を行いつつ、パノラマ合成データを生成するのに必要な回数の撮影が実行される。

ステップＳ６において、連続の撮影を継続するか判別する。ここで、ユーザがレリーズボタンを押しているか否かで、連続の撮影の継続又は終了を判別する。パノラマ撮影モードを継続する場合には、ステップＳ１へ戻る。

連続の撮影を終了すると判別された場合には、パノラマ画像合成部２７が、連続の撮影で取得した複数の画像データから合成領域をトリミング処理し、パノラマ画像データを生成する。そして、生成されたパノラマ画像データはメインメモリ１６に記録される。

連続の撮影では、撮影ごとに、上記ステップＳ１からステップＳ６の手順が繰り返される。なお、ステップＳ１では、既に検出された顔は認識されたものとして、再度、ステップＳ１での検出では、検出対象外として設定してもよい。

次に、連続で撮影を行う間に、特定被写体として複数の人物が撮影される場合について説明する。図６は、連続で撮影を行う間に、特定被写体として複数の人物が撮影される場合の発光パターンを説明する図である。図６に示すグラフにおいて、横軸は時間を示し、縦軸は発光部の発光量を示している。ここでは、撮影方向を左から右へ変化させ、二人の人物を特定被写体として撮影するときを例に説明する。連続撮影の開始時の発光量を０とする。図６Ａから６Ｃの各図に示す状態に対応する時間をそれぞれの対応するグラフの時間軸においてＴで示している。

図６Ａに示すように、画像データの非合成領域Ｇｅに人物Ａの顔が検出され、人物Ａの顔が暗い場合には、上述した手順と同様に、人物Ａを合成領域で最適な発光量で撮影するための発光パターンが決定される。この人物Ａに対応する発光パターンを第１の発光パターンとする。第１の発光パターンは、時間ｔ１からｔ２の期間において発光量が徐々に増大し、時間ｔ２からｔ３の期間において最適な発光量となり、時間ｔ３からｔ４の期間において発光量が徐々に減少する。

図６Ｂに示すように、先に検出した人物Ａが合成後のパノラマ画像データに合成される画像の撮影期間において、非合成領域Ｇｅで人物Ｂの顔が検出される。この場合には、人物Ｂを合成領域で最適な発光量で撮影するための発光パターンが決定される。この人物Ｂに対応する発光パターンを第２の発光パターンとする。そして、第１の発光パターンのデータに第２の発光パターンのデータが重畳され、新しい発光パターンが決定される。新しい発光パターンは第１の発光パターンにおいて時間ｔ３からｔ４の期間が、第２の発光パターンの発光量を増大させる期間と重なっており、時間ｔ５から発光量を再び増大させる。そして、時間ｔ６からｔ７で人物Ｂの被写体撮影期間で、人物Ｂの撮影における最適な発光量となる。また、新しい発光パターンにおいて時間ｔ７からｔ８において発光量が徐々に減少する。

図６Ｃに示すように、人物Ｂの被写体撮影期間において、新しい発光パターンに基づく発光量で発光させつつ、合成後のパノラマ画像データに人物Ｂが合成される画像データが撮影される。

この例では特定被写体として人物が二人を撮影する場合を説明したが、人物が三人以上であっても、人物の顔検出に応じて発光パターンを決定し、先に決定された発光パターンのデータに重畳すればよい。

次に、パノラマ撮影モードの手順の変形例を説明する。図７は、パノラマ撮影モードの手順の変形例を示すフローチャートである。なお、以下の手順において、先に説明したフローの手順と同じ手順については、説明を簡略又は省略するものとする。

上述した撮影装置には、更に、顔検出部３３によって顔が検出された際に、顔が検出された画像群を取り込み、取り込まれた画像群が含む画像数に対する顔が所定の方向を向いている画像数の比率を算出し、比率としきい値とを比較して、顔を前記特定被写体に設定するか否かを判別する被写体判別部が設けられていてもよい。この被写体判別部は、演算部２６に含まれていてもよい。

この手順では、スルー画の画像データの非合成領域Ｇｅで人物の顔検出を行い（ステップＳ１）、検出した顔の明るさが暗いと判別（ステップＳ２）した後で、ステップＳ１１へ進む。

ステップＳ１１において、顔が検出された画像群を取り込む。画像群は、顔を被写体として含む画角で複数回撮影を行うことで取得された複数の画像からなる。画像群を取得した後、ステップＳ１２へ進む。

ステップＳ１２において、取り込まれた画像群が含む画像数に対する顔が所定の方向を向いている画像数の比率を算出する。所定の方向とは、例えば正面（撮影者側に対面する方向）である。この手順では、所定の方向を正面に設定した。そして、この比率と予め設定されたしきい値Ｙとを比較して、顔を特定被写体に設定するか否かを判別する。ここでは、比率がしきい値Ｙより大きい場合に、検出された顔の人物が特定被写体であると判断する。そして、ステップＳ３へ進む。一方で、この比率がしきい値Ｙ以下である場合には、検出された顔の人物が特定被写体ではないと判断して、ステップＳ６へ進む。

ステップＳ１２でしきい値Ｙに基づいて特定被写体に設定された人物に対して、上記手順と同様に、発光部１２をプリ発光させて、調光を行い、顔を撮影する際の最適な発光量を算出し（ステップＳ３）、発光パターンを決定する（ステップＳ４）。そして、決定された発光パターンがある場合には、該発光パターンに基づく発光量で発光させて撮影が実行される。または、特定被写体が検出されていない場合には、発光させずに撮影が実行される。撮影後、ステップＳ６において、連続の撮影を継続するか判別し、パノラマ撮影モードを継続する場合には、ステップＳ１へ戻る。パノラマ撮影モードを終了する場合には、撮影された複数の画像データを合成してパノラマ画像データを生成し、該パノラマ画像データを記録し、フローを終了する。

この手順によれば、顔検出した人物の顔の向きによって、その人物が特定被写体である可能性が高いかどうかを判断したうえで、必要に応じて発光を用いた撮影を行うことができる。例えば、多数の人物が被写体として含まれうる状況において、顔の向きによって特定の人物を目標として撮影を実行することができる。

次に、図７の手順の変形例を説明する。
ステップＳ１１で画像群を取り込んだ後、被写体判別部によって、取り込まれた前記画像群から求めた顔に対応する人物の移動する速度を算出し、この速度としきい値とを比較して顔を特定被写体に設定するか否かを判別してもよい。ここで、人物の移動する速度とは、取り込まれた画像群を時系列に並べて、検出した顔領域の画像間での位置を比較したときに、顔領域の位置のずれ量と画像間での撮影時間差を用いて算出することができる。この手順では、算出した速度がしきい値より小さい場合に、その顔の人物は移動していない撮影対象として判断し、特定被写体に設定する。

この手順によれば、顔検出した人物の速度によって、その人物が特定被写体である可能性が高いかどうかを判断したうえで、必要に応じて発光を用いた撮影を行うことができる。例えば、多数の人物が撮影範囲を行き交う状況において、静止している人物を目標として撮影を実行することができる。

次に、複数の人物を撮影する際に、登録された人物を優先して最適な発光量で撮影する手順を説明する。

撮影装置には、特定被写体検出部３１によって複数の人物が撮影されていると判別されたときに、顔検出部３３によって検出された顔と、予め登録された登録人物データとを比較して、顔の人物が登録された人物であるか否かを判別する人物判別部がもうけられていてもよい。この人物判別部は、演算部２６に含まれていてもよい。

図８は、この例の撮影の手順を示すフローチャートである。

先ず、ステップＳ１において、画像データの非合成領域で人物が検出されているかどうかを判断するため、非合成領域内で顔検出を実行し、画像データに人物が含まれているのか否かを判別する。顔が検出された場合には、ステップＳ２１へ進む。顔が検出されなかった場合には、ステップＳ６へ進む。

ステップＳ２１において、検出した顔と、予め登録された人物の顔画像データとを比較する。ここで、登録された人物の顔画像データは、メインメモリ１６に予め保存されているものとする。検出した顔が登録された人物の顔と一致した場合には、ステップＳ２２へ進む。検出した顔が登録された人物の顔と一致しない場合には、ステップＳ２５へ進む。

ステップＳ２２において、登録された人物の顔の明るさが、予め設定された基準値Ｘより小さいか否かを判別する。顔の明るさが基準値Ｘより小さい場合にはステップＳ２３へ進む。顔の明るさが基準値Ｘ以上の場合には、露光は十分であると判断して、ステップＳ６へ進む。

ステップＳ２３において、発光部１２をプリ発光させて、測光部３２で測光を行い、特定被写体の撮影時における最適な発光量を算出する。算出された発光量のデータは、メインメモリ１６に保存される。その後、ステップＳ２４へ進む。

一方で、ステップＳ２１において、検出した顔が登録された人物の顔と一致しない場合には、検出した顔の明るさがしきい値Ｘより小さいか否かを判別し（ステップＳ２５）、しきい値Ｘより小さい場合にプリ発光し（ステップＳ２６）、発光パターンを決定する（ステップＳ２７）。

ここで、ステップＳ２４とステップＳ２７とは、顔の発光パターンを決定する手順である点で同じであるが、ステップＳ２４において登録された人物の発光パターンのデータが、ステップＳ２７で決定された発光パターンのデータに上書きされる。

ステップＳ５において、撮影が実行される。ステップＳ２４又はステップＳ２７において発光パターンが決定されている場合には、決定された発光パターンで撮影が行われる。撮影後、ステップＳ６において、連続の撮影を継続するか判別し、パノラマ撮影モードを継続する場合には、ステップＳ１へ戻る。パノラマ撮影モードを終了する場合には、撮影された複数の画像でパノラマ画像データを合成、記録し、フローを終了する。

図９は、連続で撮影する間に、登録した人物を含む複数の人物を検出したときの発光パターンを説明する図である。ここで人物Ｂが登録された人物であるとする。
図９Ａは、画像データの非合成領域Ｇｅで人物Ａを検出したときの状態と、その発光パターンを示している。非合成領域Ｇｅで人物Ａの顔が検出されと、検出された顔が登録された顔と一致するか否かが判別される。人物Ａが登録された人物ではないと判別されると、顔の明るさが判別され、暗い場合にはプリ発光を行い、人物Ａを撮影する際の発光パターンを決定する。この発光パターンにおいて、人物Ａの被写体撮影期間における最適となる発光量がＬ１である。

図９Ｂは、人物Ａを撮影した後で画像データの非合成領域Ｇｅで人物Ｂを検出したときの状態と、その発光パターンを示している。非合成領域において顔検出により人物Ｂの顔が検出されると、検出された顔が登録された顔と一致するか否かが判別される。人物Ｂが登録された人物であると判別されると、顔の明るさが判別され、暗い場合にはプリ発光を行い、人物Ｂを撮影する際の発光パターン（最適な発光量をＬ２とする。）が決定される。ここで、人物Ｂは登録された人物であるため、人物Ｂの撮影の際の発光パターンのデータが、先に決定された人物Ａの撮影の際の発光パターンのデータに優先して上書きされる。こうして図９Ｂのグラフに示すように、発光パターンは、人物Ｂを撮影する際の最適な発光量であるＬ２（＜Ｌ１）となるように更新される。

この手順によれば、連続で撮影する被写体として複数の人物が含まれる場合に、予め登録された人物に合わせた発光量で発光を行いつつ、撮影を実行することができる。

なお、上記手順では、連続で撮影する被写体として複数の人物が含まれる場合に、登録人物であるか否かを判断基準として特定被写体の設定を行った。しかし、人物が一人の場合であっても、同様に検出された顔が登録された顔と一致するか否かを判別し、特定被写体の設定を行ってもよい。例えば、図５に示す手順を参照に説明すれば、ステップＳ１で顔を検出した後で、検出された顔が登録された顔と一致するか否かが判別するステップを実行し、その結果に応じて、特定被写体の設定を行ってもよい。

撮影装置は、パノラマ撮影モードにおいて、連続で撮影するとき、角速度がしきい値よりも高い場合に、ユーザに警告を行う警告部を備えていてもよい。

図１０は、連続で撮影を行う際に、角速度に応じて警告を行う手順を示すフローチャートである。

この手順では、画像データの非合成領域Ｇｅで人物の顔検出を行い（ステップＳ１）、検出した顔の明るさが暗いと判別（ステップＳ２）した後で、ステップＳ３１へ進む。

ステップＳ３１において、角速度センサ３１で検出される角速度としきい値とを比較する。角速度がしきい値より小さい場合には、ステップＳ３へ進む。角速度がしきい値より小さい場合には、角速度は適正であると判断し、プリ発光を行い（ステップＳ３）、最適な発光量を算出して発光パターンを決定する（ステップＳ４）。そして、ステップＳ６へ進む。
一方で、角速度がしきい値以上の場合には、ユーザが撮影装置を振る速度が速すぎると判断し、ステップＳ３２へ進む。

ステップＳ３２において、ユーザに角速度が速すぎることを知らせるための警告を行う。警告としては、表示部２３に警告表示を行ってもよく、または、警告音で通知してもよい。警告を行った後、ステップＳ６へ進む。ステップＳ５において、決定された発光パターンがある場合には、該発光パターンに基づく発光量で発光させて撮影が実行される。または、特定被写体が検出されていない場合には、発光させずに撮影が実行される。撮影後、ステップＳ６において、連続の撮影を継続するか判別し、パノラマ撮影モードを継続する場合には、ステップＳ１へ戻る。パノラマ撮影モードを終了する場合には、撮影された複数の画像データを合成してパノラマ画像データを生成、記録し、フローを終了する。

この手順によれば、パノラマ撮影モードにおいて、ユーザが撮影装置を振る速度が速すぎる場合には、撮影を行わないことで、合成するのに適していない画像データが取得されることを防止できる。

次に、特定被写体として人物以外のものを特定被写体として検出し、発光させつつ撮影する手順を説明する。
図１１は、建物を特定被写体として撮影する状態を説明する図である。図１２は、建物を撮影するときの発光パターンを示している。以下では、人物以外の特定被写体の一例として建物を撮影する場合について説明する。画像データの非合成領域において、建物のみが検出される場合には、非合成領域Ｇｅを拡大し（例えば、画像データの画角全体の３分の１の領域）、この拡大された領域においてＡＥ（自動露光制御）、ＡＦ（自動焦点調節）を行い、ＡＥ評価値及びＡＦ評価値を取得する。これらＡＥ評価値及びＡＦ評価値に基づき、建物の明るさを判別する。また、暗い場合には、ＡＥ評価値及びＡＦ評価値に基づいて、発光パターンを決定する。建物を特定被写体とする場合には、建物に相当する画面上の領域が、人物に比べて撮影装置を振る方向に連続的に長いことがあり、角速度のみでは被写体撮影期間の終了時点が特定できない。このため、非合成領域ＧｅにおいてＡＥ評価値及びＡＦ評価値を継続的に検出し、終了時点を特定する。

図１３は、パノラマ撮影モードにおいて、特定被写体として建物を撮影する手順を示す図である。
先ず、ステップＳ１において、画像データの非合成領域Ｇｅで顔検出を行う。顔が検出された場合には、ステップＳ２へ進み、顔の明るさをしきい値Ｘと比較し、暗い場合にはステップＳ４４へ進む。ステップＳ１において、顔が検出されなかった場合には、ステップＳ４１へ進む。

ステップＳ４１において、画像データの非合成領域Ｇｅを画像全体の３分の１の大きさに拡大する。拡大した領域を評価領域とする。その後、ステップＳ４２へ進む。

ステップＳ４２において、システム制御部１１は画像データの評価領域にＡＥとＡＦを行い、ＡＥ評価値、ＡＦ評価値を取得する。そして、ステップＳ４３へ進む。

ステップＳ４３において、ＡＥ評価値及びＡＦ評価値がそれぞれしきい値より小さいか否かを判別する。ＡＥ評価値及びＡＦ評価値がいずれもしきい値より小さい場合には、ステップＳ４４へ進む。ＡＥ評価値及びＡＦ評価値の少なくとも一方がしきい値以上の場合にはステップＳ６へ進む。

ステップＳ４４において、測光部３２において測光を行い、最適な発光量を算出する。そして、ステップＳ４５へ進む。

ステップＳ４５では、先のステップＳ４２でＡＥ評価値及びＡＦ評価値が取得されている場合には、ＡＥ評価値及びＡＦ評価値に基づいて発光パターンを決定する。このとき、ＡＥ評価値及びＡＦ評価値に基づいて、発光量を徐々に減らしていくタイミングを示す終了時間が検出される。一方で、非合成領域Ｇｅで検出された特定被写体が顔である場合には、上記手順と同様に、角速度と、測光部３２の出力とによって発光パターンを決定する。その後、ステップＳ５へ進み、撮影が実行される。撮影後、ステップＳ６において、連続した複数の撮影を継続するか判別し、パノラマ撮影モードを継続する場合には、ステップＳ１へ戻る。パノラマ撮影モードを終了する場合には、撮影された複数の画像でパノラマ画像データを合成し、フローを終了する。

この手順によれば、パノラマ撮影モードにおいて、人物以外の建物等の特定被写体を撮影する場合でも、暗い部分に適正な発光量で発光を行い撮影することができ、明るさの段のない良好なパノラマ画像データを得ることができる。

本明細書は次の事項を開示する。
（１）連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置であって、
当該撮影装置の撮影方向の変化量を検出する回転角検出部と、
撮影のための発光を行う発光部と、
当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出部と、
前記特定被写体検出部で検出した前記特定被写体の測光を行う測光部と、
前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御部と、を備え、
前記発光制御部は、前記特定被写体に対する発光が必要な場合、前記特定被写体検出部が検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光部の出力を少なくとも利用して、前記合成後のパノラマ画像データに前記特定被写体が合成される画像の撮影時に最適な発光量となるように、前記発光部の発光パターンを制御する撮影装置。
（２）（１）に記載の撮影装置であって、
前記画像から顔を検出する顔検出部と、
前記顔が検出された画像群を取り込み、取り込まれた前記画像群が含む画像数に対する前記顔が所定の方向を向いている画像数の比率を算出し、前記比率としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する被写体判別部と、を備える撮影装置。
（３）（１）に記載の撮影装置であって、
前記画像から顔を検出する顔検出部と、
前記顔が検出された際に、前記顔が検出された画像群を取り込み、取り込まれた前記画像群から求めた前記顔に対応する人物の移動する速度を算出し、前記速度としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する被写体判別部と、を備える撮影装置。
（４）（１）に記載の撮影装置であって、
前記画像から顔を検出する顔検出部と、
前記顔検出部によって検出された顔と、予め登録された登録人物データとを比較して、前記顔の人物が登録された人物であるか否かを判別する人物判別部と、を有し、
前記演算部は、前記顔が前記人物判別部で登録された人物であると判別された場合に、前記顔を特定被写体に設定し、前記発光パターンを演算する撮影装置。
（５）（１）に記載の撮影装置であって、
前記変化量がしきい値よりも高い場合に、ユーザに警告を行う警告部を有する撮影装置。
（６）（１）に記載の撮影装置であって、
前記画像から顔を検出する顔検出部を有し、
前記顔検出部によって顔を検出できなかった場合には、前記特定被写体が人物以外の物体であると判別され、前記画像データから算出されたＡＥ評価値及びＡＦ評価値に基づいて前記発光パターンが決定される撮影装置。
（７）連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置を用いた撮影方法であって、
前記撮影装置の撮影方向の変化量を検出する回転角検出ステップと、
発光部が撮影のための発光を行う発光ステップと、
当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出ステップと、
検出した前記特定被写体の測光を行う測光ステップと、
前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御ステップと、を備え、
前記発光制御ステップでは、前記特定被写体に対する発光が必要な場合、検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光から求めた出力を少なくとも利用して、前記合成後のパノラマ画像データに前記特定被写体が合成される画像の撮影時に最適な発光量となるように、前記発光部の発光パターンを制御する撮影方法。
（８）（７）に記載の撮影方法であって、
前記画像から顔検出部によって顔を検出し、
前記顔が検出された画像群を取り込み、取り込まれた前記画像群が含む画像数に対する前記顔が所定の方向を向いている画像数の比率を算出し、前記比率としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する撮影方法。
（９）（７）に記載の撮影方法であって、
前記画像から顔検出部によって顔を検出し、
前記顔が検出されたとき、前記顔が検出された画像群を取り込み、取り込まれた前記画像群から求めた前記顔に対応する人物の移動する速度を算出し、前記速度としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する撮影方法。
（１０）（７）に記載の撮影方法であって、
前記画像から顔検出部によって顔を検出し、
前記顔検出部によって検出された顔と、予め登録された登録人物データとを比較して、前記顔の人物が登録された人物であるか否かを判別し、前記顔が登録された人物であると判別された場合に、前記顔を特定被写体に設定し、前記発光パターンを演算する撮影方法。
（１１）（７）に記載の撮影方法であって、
前記変化量がしきい値よりも高い場合に、ユーザに警告を行う撮影方法。
（１２）（７）に記載の撮影方法であって、
前記画像から顔を検出する顔検出部を有し、
前記顔検出部によって顔を検出できなかった場合には、前記特定被写体が人物以外の物体であると判別され、前記画像データから算出されたＡＥ評価値及びＡＦ評価値に基づいて前記発光パターンが決定される撮影方法。

５ 固体撮像素子
１２ 発光部
２６ 演算部
２７ パノラマ画像合成部
３１ 特定被写体検出部
３２ 測光部

Claims (12)

1. 連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置であって、
   当該撮影装置の撮影方向の変化量を検出する回転角検出部と、
   撮影のための発光を行う発光部と、
   当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出部と、
   前記特定被写体検出部で検出した前記特定被写体の測光を行う測光部と、
   前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御部と、を備え、
   前記発光制御部は、前記特定被写体に対する発光が必要な場合、前記特定被写体検出部が検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光部の出力を少なくとも利用して、前記発光部の発光パターンを制御する撮影装置。
2. 請求項１に記載の撮影装置であって、
   前記画像から顔を検出する顔検出部と、
   前記顔が検出された画像群を取り込み、取り込まれた前記画像群が含む画像数に対する前記顔が所定の方向を向いている画像数の比率を算出し、前記比率としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する被写体判別部と、を備える撮影装置。
3. 請求項１に記載の撮影装置であって、
   前記画像から顔を検出する顔検出部と、
   前記顔が検出された際に、前記顔が検出された画像群を取り込み、取り込まれた前記画像群から求めた前記顔に対応する人物の移動する速度を算出し、前記速度としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する被写体判別部と、を備える撮影装置。
4. 請求項１に記載の撮影装置であって、
   前記画像から顔を検出する顔検出部と、
   前記顔検出部によって検出された顔と、予め登録された登録人物データとを比較して、前記顔の人物が登録された人物であるか否かを判別する人物判別部と、を有し、
   前記演算部は、前記顔が前記人物判別部で登録された人物であると判別された場合に、前記顔を特定被写体に設定し、前記発光パターンを演算する撮影装置。
5. 請求項１に記載の撮影装置であって、
   前記変化量がしきい値よりも高い場合に、ユーザに警告を行う警告部を有する撮影装置。
6. 請求項１に記載の撮影装置であって、
   前記画像から顔を検出する顔検出部を有し、
   前記顔検出部によって顔を検出できなかった場合には、前記特定被写体が人物以外の物体であると判別され、前記画像データから算出されたＡＥ評価値及びＡＦ評価値に基づいて前記発光パターンが決定される撮影装置。
7. 連続した複数の撮影を実施し、当該撮影によって得られる画像データを合成してパノラマ画像データを生成し記録するパノラマ撮影モードを有する撮影装置を用いた撮影方法であって、
   前記撮影装置の撮影方向の変化量を検出する回転角検出ステップと、
   発光部が撮影のための発光を行う発光ステップと、
   当該撮影装置の撮影範囲内における特定被写体の存在を検出する特定被写体検出ステップと、
   検出した前記特定被写体の測光を行う測光ステップと、
   前記パノラマ撮影モード時に、前記特定被写体の撮影時における前記発光部による発光の要否、及び発光量を算出し、前記発光部の発光を制御する発光制御ステップと、を備え、
   前記発光制御ステップでは、前記特定被写体に対する発光が必要な場合、検出した前記特定被写体の位置、前記変化量から求めた当該撮影装置の撮影方向、及び前記測光から求めた出力を少なくとも利用して、前記発光部の発光パターンを制御する撮影方法。
8. 請求項７に記載の撮影方法であって、
   前記画像から顔検出部によって顔を検出し、
   前記顔が検出された画像群を取り込み、取り込まれた前記画像群が含む画像数に対する前記顔が所定の方向を向いている画像数の比率を算出し、前記比率としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する撮影方法。
9. 請求項７に記載の撮影方法であって、
   前記画像から顔検出部によって顔を検出し、
   前記顔が検出されたとき、前記顔が検出された画像群を取り込み、取り込まれた前記画像群から求めた前記顔に対応する人物の移動する速度を算出し、前記速度としきい値とを比較して、前記顔を前記特定被写体に設定するか否かを判別する撮影方法。
10. 請求項７に記載の撮影方法であって、
    前記画像から顔検出部によって顔を検出し、
    前記顔検出部によって検出された顔と、予め登録された登録人物データとを比較して、前記顔の人物が登録された人物であるか否かを判別し、前記顔が登録された人物であると判別された場合に、前記顔を特定被写体に設定し、前記発光パターンを演算する撮影方法。
11. 請求項７に記載の撮影方法であって、
    前記変化量がしきい値よりも高い場合に、ユーザに警告を行う撮影方法。
12. 請求項７に記載の撮影方法であって、
    前記画像から顔を検出する顔検出部を有し、
    前記顔検出部によって顔を検出できなかった場合には、前記特定被写体が人物以外の物体であると判別され、前記画像データから算出されたＡＥ評価値及びＡＦ評価値に基づいて前記発光パターンが決定される撮影方法。

Images