JP2010171491A - 撮影装置、撮影方法及びプログラム - Google Patents

Abstract

【課題】装置構成を複雑にすることなく、被写体の動きに応じて連写間隔を変更することである。
【解決手段】撮影装置１は、連写撮影して撮影画像データを生成する画像データ生成部２１と、画像データ生成部２１の連写撮影中に、画像データ生成部２１により生成された撮影画像データから被写体領域を抽出し、当該抽出した被写体領域の大きさを算出し、当該算出した被写体領域の大きさに基づいて、画像データ生成部２１の連写間隔を算出し、当該算出した連写間隔を画像データ生成部２１に設定する制御部２０４と、を備える。
【選択図】図１

Description

本発明は、撮影装置、撮影方法及びプログラムに関する。

従来、移動する被写体を連写撮影（連続撮影）して複数の撮影画像データを生成する連写撮影機能を有するデジタルカメラ等の撮影装置が知られている。

連写撮影において、被写体の移動速度は、一定でない場合がある。この場合、連写速度を一定にすると、被写体の動きが緩慢なときに冗長な撮影をし、被写体の動きが俊敏なときに決定的な撮影タイミングを逃すような撮影をするおそれがあった。

このため、撮像部で撮像された被写体の光像を測光部又は焦点検出部で、測光量又はデフォーカス量として取得し、この取得した被写体の光像の変動に応じて連写速度を変化させるカメラが考えられている（例えば、特許文献１参照）。このカメラは、動きの無い被写体に対して低速で連写撮影し、動きの激しい被写体に対して高速で連写撮影していた。

特開平１０−３１１０号公報

しかし、従来の構成では、撮像部と別に測光部又は焦点検出部を設けねばならず、装置構成が複雑となっていた。

本発明の課題は、装置構成を複雑にすることなく、被写体の動きに応じて連写間隔（連写速度）を適切に変更することである。

上記課題を解決するために、請求項１に記載の発明の撮影装置は、
連写撮影して撮影画像データを生成する撮影手段と、
前記撮影手段の連写撮影中に、前記撮影手段により生成された撮影画像データから被写体領域を抽出し、当該抽出した被写体領域の大きさを算出し、当該算出した被写体領域の大きさに基づいて、前記撮影手段の連写間隔を算出し、当該算出した連写間隔を前記撮影手段に設定する制御手段と、を備える。

請求項２に記載の発明は、請求項１に記載の撮影装置において、
前記制御手段は、前記被写体領域の移動量及び大きさを算出し、当該算出した被写体領域の移動量及び大きさに基づいて、前記被写体領域が重ならない連写間隔を算出して設定する。

請求項３に記載の発明は、請求項１又は２に記載の撮影装置において、
前記制御手段は、前記連写撮影において前記撮影手段により生成された複数の撮影画像データを合成して移動する被写体の複数の被写体部分を示す画像を含む動体連写合成画像データを生成する。

請求項４に記載の発明は、請求項１に記載の撮影装置において、
前記制御手段は、前記被写体領域の大きさを算出し、当該被写体領域の大きさが大きくなるにつれて、より短い連写間隔を算出して設定する。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の撮影装置において、
画像を表示する表示手段と、
画像を前記表示手段に再生表示させるための再生手段と、を備え、
前記制御手段は、前記撮影手段により生成された複数の撮影画像データを所定の時間間隔で前記再生手段に再生表示させる。

請求項６に記載の発明の撮影方法は、
連写撮影して撮影画像データを生成する撮影装置の撮影方法であって、
当該連写撮影中の撮影装置により生成された撮影画像データから被写体領域を抽出するステップと、
前記抽出した被写体領域の大きさを算出するステップと、
前記算出した被写体領域の大きさに基づいて連写間隔を算出するステップと、
前記算出した連写間隔を当該連写撮影中の撮影装置に設定するステップと、
を含む。

請求項７に記載の発明のプログラムは、
連写撮影して撮影画像データを生成する撮影装置を制御するコンピュータに、
当該連写撮影中の撮影装置により生成された撮影画像データから被写体領域を抽出する機能と、
前記抽出した被写体領域の大きさを算出する機能と、
前記算出した被写体領域の大きさに基づいて連写間隔を算出する機能と、
前記算出した連写間隔を当該連写撮影中の撮影装置に設定する機能と、
を実現させる。

本発明によれば、撮影画像データの被写体領域の移動速度又は大きさに応じて連写速度を変更するので、装置構成を複雑にすることなく、被写体の動きに応じて連写間隔を適切に変更することができる。

本発明に係る実施の形態の撮影装置の機能構成を示すブロック図である。 撮影装置による左から右へ動く被写体の撮影の様子を示す図である。 「撮影処理」を示すフローチャートである。 撮影処理における「第１の連写間隔設定処理」を示すフローチャートである。 撮影処理における「記憶処理」を示すフローチャートである。 記憶処理における「合成処理」を示すフローチャートである。 撮影処理における「表示処理」を示すフローチャートである。 実施の形態における動体連写合成画像を示す。 撮影装置による後ろから前へ動く被写体の撮影の様子を示す図である。 「第２の連写間隔設定処理」を示すフローチャートである。 変形例における動画像を示す。

以下、添付図面を参照して本発明に係る好適な実施の形態及びその変形例を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。

図１〜図１１を参照して、本発明に係る実施の形態を説明する。先ず、図１を参照して、本実施の形態の撮影装置１の装置構成を説明する。図１に、本実施の形態の撮影装置１の機能構成を示す。

以下、撮影装置１で撮影する対象を被写体という。また、連続して撮影した写真データをフレームといい、フレームに含まれる撮影範囲を画角という。また、被写体が画角内で移動している複数のフレームの被写体領域画像を１枚の背景画像に合成することを動体連写合成（又は合成）といい、この動体連写合成によって生成した、被写動体の動き（移動の様子）を表す画像を動体連写合成画像という。

撮影装置１は、デジタルカメラ等の撮影装置であり、複数枚の画像を連続撮影する連写機能（連続撮影機能）を有する。また、撮影装置１は、連写撮影した画像を合成して、動体連写合成画像を生成する画像合成機能を有する。また、撮影装置１は、連写撮影した画像を動画像として表示する動画表示機能を有する。

図１に示すように、撮影装置１は、被写体を撮影する撮影手段としての画像データ生成部２１と、画像処理を行うデータ処理部２２と、使用者に処理経過を見せ、操作を受けるユーザインタフェース部２３と、を備える。

画像データ生成部２１は、光学レンズ部１０１と、イメージセンサ１０２と、を備える。

光学レンズ部１０１は、被写体を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出等のカメラ設定パラメータを調整するための周辺回路を備える。イメージセンサ１０２は、光学レンズ部１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device）等によって構成される。

なお、画像データ生成部２１は、高解像度画像撮影と低解像度画像撮影（ライブビュー撮影）が可能である。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度で解像度は低いが、画像を３０ｆｐｓ（フレーム／秒）の速さで動画撮影と画像読み出しが可能になる。他方、高解像度画像撮影は、たとえば、撮影可能な最大の画素数、例えば、撮影装置１が４００万画素のカメラである場合は、その４００万画素の画像撮影を行う。ただし、高解像度画像撮影での画像読み取りは遅くなる。

データ処理部２２は、メモリ２０１と、再生手段としてのビデオ出力部２０２と、画像処理部２０３と、制御手段としての制御部２０４と、プログラムメモリ２０５と、を備える。

メモリ２０１は、ＲＡＭ（Random Access Memory）で構成され、撮影する毎に、イメージセンサ１０２が取り込んだ画像データを一時記憶するためのものである。また、メモリ２０１は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶する。また、メモリ２０１は、画像表示をおこなうための表示画像データを保存と読み出しをおこなうためのメモリ領域も含まれている。

ビデオ出力部２０２は、画像データからＲＧＢ信号を生成するものである。ビデオ出力部２０２は、メモリ２０１の表示メモリ領域に格納された表示画像データを読み出し、ＲＧＢ信号を生成し、生成したＲＧＢ信号をユーザインタフェース部２３の液晶表示部３０１へ出力する。また、ビデオ出力部２０２は、ＲＧＢ信号を外部インタフェース３０３を介して、テレビ、ＰＣ（Personal Computer）、プロジェクタ等の外部機器へ出力して表示させることも可能である。

画像処理部２０３は、メモリ２０１に一時記憶されている画像データに対して、画像表示を行うための所定の画像処理を施す。当該画像処理を施された画像データは、表示画像データとしてメモリ２０１の表示メモリ領域に格納される。また、画像処理部２０３は、静止画像データをＪＰＥＧ（Joint Photographic Expert Group）方式等のファイルに圧縮・符号化する機能と、逆に伸長・復号化する機能とを有する。例えば、メモリ２０１に記憶されている静止画像データが読み出されて、画像処理部２０３によりＪＰＥＧ方式で圧縮・符号化されて外部メモリ３０４に記憶される。また、外部メモリ３０４に記憶されている静止画像のＪＰＥＧファイルが読み出されて、画像処理部２０３により伸長・復号化されて静止画像データとしてメモリ２０１に記憶される。

また、画像処理部２０３は、連写撮影された動画像データをＭＰＥＧ（Moving Picture Experts Group）−４方式等のファイルに圧縮・符号化する機能と、逆に伸長・復号化する機能とを有する。例えば、メモリ２０１に記憶されている動画像データが読み出されて、画像処理部２０３によりＭＰＥＧ−４方式で圧縮・符号化されて外部メモリ３０４に記憶される。また、外部メモリ３０４に記憶されている動画像のＭＰＥＧファイルが読み出されて、画像処理部２０３により伸長・復号化されて動画像データとしてメモリ２０１に記憶される。

制御部２０４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（図示略）等を備え、撮影装置１の各部を制御する。制御部２０４において、ＣＰＵは、プログラムメモリ２０５に記憶されたプログラムの中から指定されたプログラムを読み出してＲＡＭに格納し、ＲＡＭに展開されたプログラムとの協働で各種処理を実行する。

プログラムメモリ２０５は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、制御部２０４の動作に必要な各種プログラムやデータを記憶する。特に、プログラムメモリ２０５は、後述する撮影プログラムを記憶している。

ユーザインタフェース部２３は、表示手段としての液晶表示部３０１と、操作部３０２と、外部インタフェース３０３と、外部メモリ３０４と、を備えて構成される。

液晶表示部３０１は、ビデオ出力部２０２から出力されたＲＧＢ信号に基づいて撮影画像を表示する。具体的には、画像データ生成部２１により生成された複数の画像データ（画像フレーム）に基づいたライブビュー画像や、録画中に外部メモリ３０４に記録される動画像を表示したり、外部メモリ３０４に記録された動画像を再生表示したりする。なお、液晶表示部３０１は、ビデオ出力部２０２から適宜出力される表示画像データを一時的に記憶するビデオメモリ（図示せず）を備えるようにしてもよい。また、液晶表示部３０１に代えて、ＥＬＤ（ElectroLuminescent Display）等の表示部としてもよい。

操作部３０２は、各種機能キー、選択キー、メニューキー、撮影キー、電源キー等のキーを備え、ユーザからの各キーへのキー操作入力を受け付け、当該操作入力に応じた操作信号を制御部２０４に出力する。

外部インタフェース３０３は、テレビやＰＣ、プロジェクタ等の外部機器との接続用端子であり、所定の通信ケーブルを介してデータの送受信を行う。外部メモリ３０４は、例えば、ＳＤ（Secure Digital）カード、メモリースティック等の不揮発性メモリやハードディスク等により構成され、画像データ生成部２１により撮影された被写体画像の画像データを、複数記憶する。外部メモリ３０４には、例えば、ＪＰＥＧファイルやＭＰＥＧファイルに変換された画像データが記憶される。

次に、図２〜図８を参照して、撮影装置１の動作を説明する。先ず、図２を参照して、本実施の形態の連写撮影の概要を説明する。図２に、撮影装置１による左から右へ動く被写体Ｏ１の撮影の様子を示す。

図２に示すように、本実施の形態の連写撮影の一例として、左から右へ歩く人物としての被写体Ｏ１を連写撮影して動体連写合成するケースを説明する。撮影装置１は、撮影時に、三脚等、又は撮影者の把持により、固定状態にされる。このため、画角Ａ１内で、被写体Ｏ１のみが移動することになる。

動体連写合成画像の生成では、連写した複数の撮影画像から”動いていない背景領域”と”その背景内で動いている被写体領域”とを識別し、被写体領域のみを抽出することを要する。動いていない背景、とはいっても、多少のパンニングによる移動が生じても、複数映像位置合わせ（位置ずれの補正）等の技術を利用して、それが「背景である」と識別することは可能である。

動体連写合成画像において、被写体Ｏ１が激しく重なり合わず、被写体Ｏ１の位置が適度に分散されるような配置が好ましい。このため、被写体Ｏ１の移動速度が画角Ａ１内で一定である場合には、動体連写合成画像で被写体Ｏ１が適切な配置にされるような一定の連写間隔（連写速度）で撮影装置１により連写撮影されることが好ましい。

しかし、被写体Ｏ１の移動速度が一定でない場合、例えば、被写体Ｏ１の移動速度が画角Ａ１内の途中で大きくなるよう変化した場合に、一定の連写間隔では、動体連写合成画像で被写体Ｏ１が適切な配置にされない。

上記のように、被写体領域を単独で抽出することができるわけであるから、動体連写合成画像で被写体Ｏ１が適切な配置にされる程度の連写間隔がどの程度であるか識別可能である。より具体的には、本実施の形態では、連写撮影した撮影画像から、連写撮影したフレーム間の被写体領域Ｒ１の移動距離としての移動画素数Ｎｖと、被写体Ｏ１の被写体領域Ｒ１の運動方向（水平方向）の幅としての幅画素数Ｎｗと、が算出される。

そして、次式（１）により、連写間隔Ｔが算出される。
Ｔ＝α・（Ｎｗ／Ｎｖ） …（１）
但し、αは正の定数である。また、連写間隔Ｔ＝１／連写速度である。

このように、連写撮影画像に基づいて適切な連写間隔Ｔのリアルタイムな算出が可能になる。したがって、本実施の形態では、リアルタイムに算出した連写間隔に基づいて、画像データ生成部２１の連写間隔を連写中に自動的に最適調整する。

次いで、図３〜図７を参照して、撮影装置１で実行される撮影処理を説明する。図３に、撮影処理の流れを示す。図４に、撮影処理における第１の連写間隔設定処理の流れを示す。図５に、撮影処理における記憶処理の流れを示す。図６に、記憶処理における記憶処理の流れを示す。図７に、撮影処理における表示処理の流れを示す。

本実施の形態の撮影処理は、左右方向に移動する被写体の移動速度に応じて連写間隔をリアルタイムに変更しながら連写撮影を行い、その連写撮影により生成される複数の撮影画像データを合成し動体連写合成画像データを生成して記憶及び表示する、又は前記複数の撮影画像データを動画データとして記憶及び表示する処理である。また、撮影装置１は、連写撮影の間に固定されているものとする。

撮影装置１において、予め、露光時間等、撮影に必要な諸条件と、連写撮影の連写間隔（連写速度）の初期値とが、ライブビュー表示時等に、ユーザからの操作部３０２を介する操作入力に応じて適宜設定され、その各設定情報がメモリ２０１に記憶されているものとする。

撮影装置１において、例えば、ライブビュー表示がなされている場合に、ユーザからの操作部３０２の撮影キー押下入力に応じて、ユーザから操作部３０２に撮影処理の実行指示が入力されたことをトリガとして、プログラムメモリ２０５に記憶された撮影プログラムに従って、制御部２０４により、撮影処理が実行される。

図３に示すように、先ず、被写体が画角に入っていない状態で、画像データ生成部２１により背景画像が撮影され、その背景画像データが生成されてメモリ２０１に記憶される（ステップＳ１１）。そして、画像データ生成部２１で生成されたライブビュー画像データが、ビデオ出力部２０２により液晶表示部３０１にライブビュー画像として表示される（ステップＳ１２）。

そして、連写撮影が開始されたか否かが判別される（ステップＳ１３）。ステップＳ１３では、例えば、ユーザによる操作部３０２の撮影キーの押下の有無に応じて連写撮影開始か否かが判別される。また、ステップＳ１３では、被写体がフレームインしたか否かに応じて連写撮影開始か否かが判別される。

例えば、撮影フレームにおいて、被写体がフレームインする部分を含む領域が開始評価領域として予め設定されているものとする。ステップＳ１２において、画像データ生成部２１により生成された直近の２つのライブビュー画像データの開始評価領域が画像比較される。背景が撮影されている段階では、２つの開始評価領域の画像がほぼ同じ画像であり、連写撮影開始でないと判別される。開始評価領域の画像がほぼ同じでなくなった場合に、被写体が開始評価領域に入った（フレームインした）ものとして、連写撮影開始であると判別される。

連写撮影が開始されてない場合（ステップＳ１３；ＮＯ）、ステップＳ１２に移行される。連写撮影が開始された場合（ステップＳ１３；ＹＥＳ）、現在設定中の連写間隔（連写速度）で画像データ生成部２１による連写撮影が開始され、その撮影した撮影画像データがメモリ２０１に記憶されていく（ステップＳ１４）。

そして、メモリ２０１に記憶されている背景画像データ及び撮影画像データに基づいて、撮影中の被写体に対応する被写体領域画像が推定される（ステップＳ１５）。ステップＳ１５では、例えば、メモリ２０１に記憶されている背景画像データの背景画像と、最新の１つの撮影画像データの撮影画像とが比較され、同じ座標で互いに画素値が異なる画素領域が被写体領域画像であると推定される。

そして、連写撮影を終了するか否かが判別される（ステップＳ１６）。ステップＳ１６では、例えば、操作部３０２の撮影キーの押下中に連写撮影が継続されるものとすると、ユーザによる操作部３０２の撮影キーの押下終了の有無に応じて連写撮影終了か否かが判別される。また、ステップＳ１６では、被写体がフレームアウトしたか否かに応じて連写撮影開始か否かが判別される。

例えば、撮影フレームにおいて、被写体がフレームアウトする部分を含む領域が終了評価領域として予め設定されているものとする。ステップＳ１６において、画像データ生成部２１により生成された直近の２つのライブビュー画像データの開始評価領域が画像比較される。被写体がフレームアウトする前の段階では、２つの終了評価領域の画像がほぼ同じ画像であり、連写撮影終了でないと判別される。終了評価領域の画像がほぼ同じでなくなった場合に、被写体が終了評価領域に入った（フレームアウトした）ものとして、連写撮影終了であると判別される。

連写撮影を終了しない場合（ステップＳ１６；ＮＯ）、連写撮影の連写間隔を変更設定する第１の連写間隔設定処理が実行され（ステップＳ１７）、ステップＳ１４に移行される。連写撮影を終了する場合（ステップＳ１６；ＹＥＳ）、連写撮影した撮影画像データを動体連写合成画像データ又は動画像データに変換して外部メモリ３０４に記憶する記憶処理が実行される（ステップＳ１８）。そして、ステップＳ１８で生成された各画像データに対応する動体連写合成画像又は動画像を液晶表示部３０１に表示する表示処理が実行され（ステップＳ１９）、撮影処理が終了する。ステップＳ１７の第１の連写間隔設定処理と、ステップＳ１８の記憶処理と、ステップＳ１９の表示処理とは、詳細に後述される。

図４を参照して、ステップＳ１７の第１の連写間隔設定処理を詳細に説明する。先ず、ステップＳ１５で取得された直近の２つの被写体領域画像及びそのフレームから、その被写体領域画像の左右方向の移動画素数Ｎｖが算出される（ステップＳ２１）。そして、ステップＳ１５で取得された直近の２つの被写体領域画像及びそのフレームから、その被写体領域画像の左右方向の幅画素数Ｎｗが算出される（ステップＳ２２）。そして、ステップＳ２１，Ｓ２２で算出された移動画素数Ｎｖ及び幅画素数Ｎｗを用いて、上記式（１）により連写間隔Ｔが算出される（ステップＳ２３）。

そして、ステップＳ２３で算出された連写間隔Ｔ（又は連写間隔Ｔに対応する連写速度）が画像データ生成部２１の連写間隔（連写速度）に設定され（ステップＳ２４）、第１の連写間隔設定処理が終了する。

図５を参照して、ステップＳ１８の記憶処理を詳細に説明する。先ず、操作部３０２を介するユーザからの動体連写合成をするか否かの操作入力に応じて、撮像画像データに対し動体連写合成をするか否かが判別される（ステップＳ３１）。動体連写合成をする場合（ステップＳ３１；ＹＥＳ）、撮影画像データを動体連写合成して動体連写合成画像データを生成する合成処理が実行される（ステップＳ３２）。ステップＳ３２の合成処理は、詳細に後述される。

そして、ステップＳ３２で生成された動体連写合成画像データがＪＰＥＧ方式で圧縮・符号化され、ＪＰＥＧファイルが生成される（ステップＳ３３）。そして、ステップＳ３４で生成されたＪＰＥＧファイルとしての動体連写合成画像データが外部メモリ３０４に記憶され（ステップＳ３４）、記憶処理が終了する。

動体連写合成をしない場合（ステップＳ３１；ＮＯ）、メモリ２０１に記憶されている複数の撮影画像データが読み出されて、ＭＰＥＧ−４方式で圧縮・符号化され、動画像データとしてのＭＰＥＧファイルが生成される（ステップＳ３５）。そして、ステップＳ３５で生成されたＭＰＥＧファイルとしての動画像データが外部メモリ３０４に記憶され（ステップＳ３６）、記憶処理が終了する。

図６を参照して、合成処理を詳細に説明する。先ず、メモリ２０１に記憶されている連写撮影された複数の撮影画像データが読み出され、全フレームの画像の特徴点が合致するよう位置ずれが補正される（ステップＳ４１）。そして、疑似背景画像が生成され、変動閾値が生成される（ステップＳ４２）。

疑似背景画像とは、全撮影画像データから生成される疑似的な背景画像である。ステップＳ４２において、例えば、撮影画像データのフレーム内において、１点の座標が選択され、全フレームの前記選択した同一座標の画素値の中央値と座標標準偏差とが算出されることが、全座標について繰り返されることにより、その中央値の集まりとしての疑似背景画像が生成される。座標標準偏差は、下記の式（２）により算出される。

但し、ｆｄ（ｎ，ｘ，ｙ）＝｜ｆｂ（ｘ，ｙ）−ｆ（ｎ，ｘ，ｙ）｜、ｐａｇｅは全フレーム数、ｎはフレーム番号（１〜ｐａｇｅ）、である。ここで、ｆｄ（ｎ，ｘ，ｙ）はフレームｎにおける座標（ｘ，ｙ）のピクセル差分値であって、ｆｂ（ｘ，ｙ）は座標（ｘ，ｙ）の中央値（疑似背景ピクセル値）、ｆ（ｎ，ｘ，ｙ）はフレームｎにおける座標（ｘ，ｙ）のピクセル値、である。

そして、ステップＳ４２において、フレーム内の前記算出した座標標準偏差を超えるピクセル値が抽出されることが、全フレーム及び全座標について繰り返され、抽出されたピクセル値の変動閾値が算出される。変動閾値ｍｏｖｅは、次式（３）で算出される。

但し、ｍａｘｍはｆｓ（ｘ，ｙ）＜ｆｄ（ｎ，ｘ，ｙ）を満たした数、また、over［ｍ］（０＜ｍ≦ｍａｘｍ）はｆｓ（ｘ，ｙ）＜ｆｄ（ｎ，ｘ，ｙ）を満たしたｆｄ（ｎ，ｘ，ｙ）、である。

そして、ステップＳ４２で算出された変動閾値を用いて全フレームの被写体領域画像抽出のための領域マスクデータを生成する被写体抽出処理が実行される（ステップＳ４３）。ステップＳ４３において、１つのフレームが選択され、そのフレーム内の全座標について、ピクセル差分値が変動閾値ｍｏｖｅを超える座標の値が「１」とされ、超えない座標の値が「０」とされる。そして、ステップＳ４３において、「１」の連続している領域のうち最大の領域のみが有効とされ、この有効とされた領域に対して、膨張、穴埋め、収縮といった欠損を補完するための処理が行われ、被写体領域画像抽出のための領域マスクデータが生成される。ステップＳ４３において、前記領域マスクデータ生成が、全フレームにおいて行われる。

そして、ステップＳ４３で生成された領域マスクデータを用いて、メモリ２０１に記憶された撮影画像データから全フレームの被写体領域画像が抽出され、時間的に最後の被写体領域画像を含むフレーム（１枚の撮影画像データ）が取得される（ステップＳ４４）。そして、ステップＳ４４で取得された最後の被写体領域画像を含むフレームへの被写体領域画像の上書きが終了したか否かが判別される（ステップＳ４５）。ステップＳ４５では、後述するステップＳ４６において、上書き対象の被写体領域画像を含むフレームが取得されなかった場合に、上書きが終了したと判別される。

上書きが終了した場合（ステップＳ４５；ＹＥＳ）、合成処理が終了する。上書きが終了していない場合（ステップＳ４５；ＮＯ）、メモリ２０１に記憶された全フレームの中から、最後に上書きした被写体領域画像のフレーム（初回はステップＳ４４で取得されたフレーム）の直前のフレームが選択され、その選択フレームの被写体領域画像が取得される（ステップＳ４６）。

そして、ステップＳ４６で取得された被写体領域画像が、ステップＳ４４で取得された最後の被写体領域画像を含むフレームの被写体領域画像が重複しない画像部分に上書きされ（ステップＳ４７）、ステップＳ４５に移行される。ステップＳ４６で被写体画像領域が取得されない場合は、ステップＳ４７でも上書きされない。

図７を参照して、ステップＳ１９の表示処理を詳細に説明する。先ず、ステップＳ３１の判別結果に応じて、動画連写合成画像を表示するか否かが判別される（ステップＳ５１）。ステップＳ３１において動体連写合成すると判別されていると、動画連写合成画像を表示すると判別され、ステップＳ３１において動体連写合成しないと判別されていると、動画を再生表示する（動画連写合成画像を表示しない）と判別される。

動画連写合成画像を表示する場合（ステップＳ５１；ＹＥＳ）、メモリ２０１に記憶されている動体連写合成データが読み出され、ビデオ出力部２０２により、この動体連写合成データに基づく動体連写合成画像が液晶表示部３０１に表示され（ステップＳ５２）、表示処理が終了する。

動画連写合成画像を表示しない場合（ステップＳ５１；ＮＯ）、ユーザからの操作部３０２を介する再生速度設定入力が受け付けられ、その入力された再生速度が動画の再生速度に設定される（ステップＳ５３）。メモリ２０１に記憶されている連写された複数の撮影画像データが読み出され、ビデオ出力部２０２により、これらの撮影画像データに基づく動画が、ステップＳ５３で設定された再生速度で液晶表示部３０１に再生表示され（ステップＳ５４）、表示処理が終了する。

ステップＳ５４においては、連写速度が変更されて撮影された複数の撮影画像データが、ステップＳ５３で設定された所定の時間間隔の再生速度で動画再生される。このため、被写体の移動速度が小さい場合に、被写体が通常の移動速度で移動するよう再生され、被写体の移動速度が大きく（被写体が俊敏に）なると、被写体が低速の移動速度で移動するようスロウ再生される。

次いで、図８を参照して、動体連写合成画像の具体例を説明する。図８に、動体連写合成画像Ｇ１を示す。

左から右へ移動する人物である被写体Ｏ１を撮影装置１で連写撮影した場合を考える。上記撮影処理による連写撮影及び動体連写合成により、図８に示す動体連写合成画像Ｇ１の動体連写合成画像データが生成される。また、連写撮影時に、被写体Ｏ１が画角の左端からフレームインした後、画角内で移動速度を速めたものとする。動体連写合成画像Ｇ１において、被写体Ｏ１が画角内で移動速度を速めたにもかかわらず、被写体Ｏ１の被写体領域は、激しく重なり合わず、ほぼフレーム内で適度に分散されているよう配置されている。

以上、本実施の形態によれば、撮影装置１は、画像データ生成部２１の連写撮影中に、画像データ生成部２１により生成された撮影画像データから被写体領域画像を抽出し、当該抽出した被写体領域画像の画角内の移動速度を示す移動画素数Ｎｖ及び幅画素数Ｎｗを算出し、当該算出した移動画素数Ｎｖ及び幅画素数Ｎｗに基づいて、画像データ生成部２１の連写間隔Ｔを算出して設定する。このため、撮影画像データを用いて算出される被写体領域画像の移動速度に応じて連写速度を変更するので、測光部等が不要で装置構成を複雑にすることなく、左右方向に移動する被写体の動きに応じて連写間隔（連写速度）を適切に変更することができる。

また、撮影装置１は、被写体領域の移動速度を示す移動画素数Ｎｖ及び幅画素数Ｎｗを用いて、式（１）により、当該移動速度が大きくなるにつれて、より短い連写間隔Ｔを算出して設定する。このため、被写体の動きが緩慢であるときに、冗長な連写間隔で撮影をすることを避けることができる。また、被写体の動きが俊敏であるときに、連写間隔を短くして決定的な瞬間（フレーム）の撮影画像データを残すことができる。

また、撮影装置１は、画像データ生成部２１により生成された複数の撮影画像データを合成して動体連写合成画像データを生成する。このため、被写体の動きに応じて連写間隔を適切に変更された動体連写合成画像データを得ることができ、動体連写合成画像データを表示することより、ユーザが被写体の動きを目視で容易に確認できる。

また、撮影装置１は、画像データ生成部２１により生成された複数の撮影画像データを、所定の時間間隔でビデオ出力部２０２により液晶表示部３０１に再生表示する。このため、被写体を適切な移動速度となるよう動画再生することができる。具体的には、被写体の実際の移動速度が小さい場合に、被写体が通常の移動速度で移動するよう再生でき、被写体の実際の移動速度が大きくなると、被写体が移動速度を小さくするようスロウ再生できる。

（変形例）
図９〜図１１を参照して、上記実施の形態の変形例を説明する。上記実施の形態では、画角の左右方向に移動する被写体を連写撮影する構成を説明したが、本変形例では、画角の（撮影装置１に対しての）前後方向に移動する被写体を連写撮影する構成を説明する。また、本変形例の装置として、撮影装置１を用いるものとする。

先ず、図９を参照して、本変形例の連写撮影の概要を説明する。図９に示すように、本変形例の連写撮影の一例として、撮影装置１に対して後ろ（遠く）から前（近く）へ歩く人物としての被写体Ｏ２を連写撮影する。撮影装置１は、固定状態にされており、画角Ａ２内で、被写体Ｏ２のみが移動している。

上記実施の形態では、「被写体の重なり具合」および「移動速度」などを連写間隔算定のよりどころとした。一方、本変形例では、「被写体のフレーム内での大きさ」を連写間隔算定のよりどころとする。すなわち、動いている被写体の被写体領域画像を抽出できるのであるから、フレーム内における被写体の相対的な大きさが分かる。被写体が「遠く」に居て小さい時には連写間隔を長めに制御する。しかし、被写体が（例えば子供の徒競走で）近付いてきてフレーム内で大きくなってくると、それを決定的瞬間ととらえ、大きさに連動して徐々に連写間隔を短めに推移させる。こうすることによって、決定的瞬間すなわち主要被写体がアップの時ほど連写速度を高速制御でき、最適な写真の１フレームを得やすくなる。

より具体的には、本変形例では、連写撮影した撮影画像から、連写撮影したフレーム間の被写体領域Ｒ２の大きさとしての被写体領域画素数Ｎｔと、撮影したフレームの大きさとしてのフレーム画素数Ｎｆと、が算出される。

そして、次式（４）により、連写間隔Ｔが算出される。
Ｔ＝β・（Ｎｆ／Ｎｔ） …（４）
但し、β：正の定数である。

このように、連写撮影画像に基づいて適切な連写間隔Ｔのリアルタイムな算出が可能になる。したがって、本変形例では、リアルタイムに算出した連写間隔に基づいて、画像データ生成部２１の連写間隔を連写中に自動的に最適調整する。

次いで、図１０を参照して、撮影装置１で実行される本変形例の撮影処理を説明する。図１０に、第２の連写間隔設定処理の流れを示す。

本変形例の撮影処理は、前後方向に移動する被写体に応じて連写間隔をリアルタイムに変更しながら連写撮影を行い、その連写撮影により生成される複数の撮影画像データを動画データとして記憶及び表示する処理である。また、撮影装置１は、連写撮影の間に、固定されているものとする。また、本変形例の撮影処理は、上記実施の形態の撮影処理の第１の連写間隔設定処理を第２の連写間隔設定処理に代えた処理であるため、第２の連写間隔設定処理のみを説明する。また、本変形例の撮影処理は、動体連写合成と、動体連写合成画像データの表示と、を行わないものとする。

図１０に示すように、先ず、ステップＳ１１で撮影された背景画像と直近に撮影された撮影画像を比較して、その撮影画像に含まれる被写体領域画像の被写体領域画素数Ｎｔが算出される（ステップＳ６１）。そして、メモリ２０１に記憶されている直近の撮影画像データ（フレーム）のフレーム画素数Ｎｆが算出される（ステップＳ６２）。そして、ステップＳ６１，Ｓ６２で算出された被写体領域画素数Ｎｔ及びフレーム画素数Ｎｆを用いて、上記式（４）により連写間隔Ｔが算出される（ステップＳ６３）。

そして、ステップＳ６３で算出された連写間隔Ｔ（又は連写間隔Ｔに対応する連写速度）が画像データ生成部２１の連写間隔（連写速度）に設定され（ステップＳ６４）、第２の連写間隔設定処理が終了する。

また、撮影処理における表示処理のステップＳ５４においては、連写速度が変更されて撮影された複数の撮影画像データが、ステップＳ５３で設定された所定の時間間隔の再生速度で動画再生される。このため、被写体領域が小さい場合に、被写体が通常どおり再生され、被写体領域が大きくなる（被写体が撮影装置１に接近する）と、画角内で大きくなった被写体がスロウ再生される。

次いで、図１１を参照して、動画像の具体例を説明する。図１１に、撮影画像Ｇ１１〜Ｇ１４を示す。

後ろから前へ移動する人物である被写体Ｏ２を撮影装置１で連写撮影した場合を考える。撮影処理の連写撮影が開始され、撮影画像Ｇ１１が得られ、引き続き被写体Ｏ２が画角内を一定速度で前方向に移動しているものとする。連写が進み、撮影画像Ｇ１１→Ｇ１２→Ｇ１３→Ｇ１４となるにつれて、被写体Ｏ２が一定速度であるが、連写間隔がだんだんと短くなるよう推移される。より具体的には、撮影画像Ｇ１１，Ｇ１２において、被写体Ｏ２がフレーム内後方の距離ｄ１を移動する間に、２枚撮影されており、撮影画像Ｇ１２〜Ｇ１４において、被写体Ｏ２がフレーム内前方の距離ｄ１を移動する間に、３枚撮影されている。

以上、本変形例によれば、撮影装置１は、画像データ生成部２１の連写撮影中に、画像データ生成部２１により生成された撮影画像データから被写体領域画像を抽出し、当該抽出した被写体領域画像の画角内の大きさを示す被写体領域画素数Ｎｔ及びフレーム画素数Ｎｆを算出し、当該算出した被写体領域画素数Ｎｔ及びフレーム画素数Ｎｆに基づいて、画像データ生成部２１の連写間隔Ｔを算出して設定する。このため、撮影画像データを用いて算出される被写体領域画像の大きさに応じて連写速度を変更するので、測光部等が不要で装置構成を複雑にすることなく、前後方向に移動する被写体の動きに応じて連写間隔（連写速度）を適切に変更することができる。

また、撮影装置１は、被写体領域画像の大きさを示す被写体領域画素数Ｎｔ及びフレーム画素数Ｎｆを用いて、式（４）により、当該被写体領域画像の大きさが大きくなるにつれて、より短い連写間隔Ｔを算出して設定する。このため、被写体が画角の後方にいるときに、冗長な連写間隔で撮影をすることを避けることができる。また、被写体が画角の前方にいるときに、連写間隔を短くして決定的な瞬間（フレーム）の撮影画像データを残すことができる。

また、撮影装置１は、画像データ生成部２１により生成された複数の撮影画像データを、所定の時間間隔でビデオ出力部２０２により液晶表示部３０１に再生表示する。このため、画角内の被写体の時間的変化が適切となるよう被写体を動画再生することができる。具体的には、被写体が後方にいる（被写体領域画像が小さい）場合に、被写体を通常再生でき、被写体が前方にいく（被写体領域画像が大きい）につれて、被写体をスロウ再生できる。

なお、上記実施の形態における記述は、本発明に係る撮影装置、撮影方法及びプログラムの一例であり、これに限定されるものではない。

例えば、上記実施の形態と変形例とを適宜組み合わせる構成としてもよい。例えば、撮影装置１が、上記実施の形態のように左右方向に移動する被写体を撮影する左右モードと、上記変形例のように前後方向に移動する被写体を撮影する前後モードと、を有し、ユーザからの操作部３０２へのモード選択入力に応じて、各モードの撮影処理に切り替えられる構成としてもよい。

また、撮影キー押下又は被写動体のフレームインに応じて連写撮影を開始し、被写動体のフレームアウトに応じて自動的に連写撮影を終了する構成としてもよい。

また、以上の説明では、本発明に係るプログラムをコンピュータ読み取り可能な媒体としてプログラムメモリ２０５に格納して適用した例を開示したが、この例に限定されない。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記録媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

また、上記実施の形態及び変形例における撮影装置１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

１…撮影装置、２１…画像データ生成部、１０１…光学レンズ部、１０２…イメージセンサ、２２…データ処理部、２０１…メモリ、２０２…ビデオ出力部、２０３…画像処理部、２０４…制御部、２０５…プログラムメモリ、２３…ユーザインタフェース部、３０１…液晶表示部、３０２…操作部、３０３…外部インタフェース、３０４…外部メモリ

Claims (7)

1. 連写撮影して撮影画像データを生成する撮影手段と、
   前記撮影手段の連写撮影中に、前記撮影手段により生成された撮影画像データから被写体領域を抽出し、当該抽出した被写体領域の大きさを算出し、当該算出した被写体領域の大きさに基づいて、前記撮影手段の連写間隔を算出し、当該算出した連写間隔を前記撮影手段に設定する制御手段と、を備える撮影装置。
2. 前記制御手段は、前記被写体領域の移動量及び大きさを算出し、当該算出した被写体領域の移動量及び大きさに基づいて、前記被写体領域が重ならない連写間隔を算出して設定する請求項１に記載の撮影装置。
3. 前記制御手段は、前記連写撮影において前記撮影手段により生成された複数の撮影画像データを合成して移動する被写体の複数の被写体部分を示す画像を含む動体連写合成画像データを生成する請求項１又は２に記載の撮影装置。
4. 前記制御手段は、前記被写体領域の大きさを算出し、当該被写体領域の大きさが大きくなるにつれて、より短い連写間隔を算出して設定する請求項１に記載の撮影装置。
5. 画像を表示する表示手段と、
   画像を前記表示手段に再生表示させるための再生手段と、を備え、
   前記制御手段は、前記撮影手段により生成された複数の撮影画像データを所定の時間間隔で前記再生手段に再生表示させる請求項１から４のいずれか一項に記載の撮影装置。
6. 連写撮影して撮影画像データを生成する撮影装置の撮影方法であって、
   当該連写撮影中の撮影装置により生成された撮影画像データから被写体領域を抽出するステップと、
   前記抽出した被写体領域の大きさを算出するステップと、
   前記算出した被写体領域の大きさに基づいて連写間隔を算出するステップと、
   前記算出した連写間隔を当該連写撮影中の撮影装置に設定するステップと、
   を含むことを特徴とする撮影方法。
7. コンピュータを、
   連写撮影して撮影画像データを生成する撮影装置を制御するコンピュータに、
   当該連写撮影中の撮影装置により生成された撮影画像データから被写体領域を抽出する機能と、
   前記抽出した被写体領域の大きさを算出する機能と、
   前記算出した被写体領域の大きさに基づいて連写間隔を算出する機能と、
   前記算出した連写間隔を当該連写撮影中の撮影装置に設定する機能と、
   を実現させることを特徴とするプログラム。

Images