JP2016208277A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】 従来の合成処理では、カメラと被写体間の距離を考慮せずに動きベクトルの大きさの閾値を設定していなかったため、実際には同じスピードで動いているにもかかわらず、遠くにいる被写体ほど多く間引かれ不自然な合成画像になるという課題があった。
【解決手段】 連続的に撮影して複数の画像を取得する撮像手段と、撮影中に動きを有する被写体について画像間での動き量を検出する検出手段と、所定の閾値以上の動き量が検出された画像から前記被写体を抽出した被写体画像を生成する生成手段と、前記複数の画像から生成された１つの背景画像に対して、前記被写体画像を順次合成する合成手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に応じて前記閾値を制御する制御手段と、を備える。
【選択図】 図１

Description

本発明は、連続的に撮影して取得された複数の画像から被写体を抽出して背景画像に合成する合成機能を有する撮像装置に関する。

近年、連続して複数回の撮影を行い、連続撮影中に動いた被写体のみを抽出して一枚の写真に合成する合成機能を備えた撮像装置が開発されている。このような合成機能に関して、被写体の動き量に応じて、合成する被写体を選択するものがある。

特許文献１は、注目する被写体の動きベクトルの大きさが所定の閾値よりも大きいか否かを判断し、動きベクトルの大きさが所定の閾値よりも大きいと判断された部分とそれに隣接した部分として合成する画像を選択する構成を有する。

特開２００５−００６１９１号公報

しかしながら、上記特許文献１に記載された従来技術の構成では、カメラと被写体間の距離を考慮しないと、実際には同じスピードで動いているにもかかわらず、遠くにいる被写体ほど多く間引かれるといった問題がある。たとえば、被写体の距離が変わったときや複数の被写体が異なる距離にいた場合、動きベクトルのみを考慮して合成する被写体の取捨選択を行うと、遠い位置で撮影された画像ほど多く間引かれてしまう。撮像装置からの距離が異なる複数の被写体があったとき、実際に動いた距離が被写体ごとに異なったものが選択されるため不自然な合成画像になる。

また、撮影中に撮像装置と被写体の距離が変化する状況では、撮像装置から遠くにいるときほど実際に動いた距離が大きいような不自然な合成画像が生成される。

本発明は上記の問題点に鑑み、被写体までの距離と被写体の動き量に応じて合成する被写体を適切に選択することで、自然な画像を合成する撮像装置を提供することを目的とする。

本発明の撮像装置は、連続的に撮影して複数の画像を取得する撮像手段と、撮影中に動きを有する被写体について、画像間での動き量を検出する検出手段と、所定の閾値以上の動き量が検出された画像から前記被写体を抽出した被写体画像を生成する生成手段と、前記複数の画像から生成された背景画像に前記被写体画像を順次合成する合成手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に応じて前記閾値を制御する制御手段と、を備えることを特徴とする。

また、本発明の撮像方法は、連続的に撮影して複数の画像を取得する撮像ステップと、撮影中に動きを有する被写体について、画像間での動き量を検出する検出ステップと、所定の閾値以上の動き量が検出された画像から前記被写体を抽出した被写体画像を生成する生成ステップと、前記複数の画像から生成された背景画像に前記被写体画像を順次合成する合成ステップと、前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、前記距離情報に応じて前記閾値を制御する制御ステップと、を含むことを特徴とする。

本発明によれば、撮像装置と被写体までの距離が撮影中に変わった場合や複数の被写体が異なる距離にいた場合でも、自然な合成画像を生成することができる。

本実施形態における撮像装置の構成を示すブロック図である。 本実施形態における撮像装置に用いられる撮像素子の構成図である。 実施形態１における撮像装置の動作を説明するフローチャートである。 実施形態１における合成処理を説明するフローチャートである。 実施形態１における動きベクトルの大きさの閾値の決定方法について説明する図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（実施形態１）
まず、図１を参照して、本実施形態における撮像装置１００の構成について説明する。

図１は、撮像装置１００の構成を示すブロック図である。

この撮像装置１００において、１０１はレンズユニットであり、ＡＦ時にレンズを駆動するほか、レンズの焦点距離などの情報を取得することができる。

１０２は撮像素子である。図２は撮像素子１０２の構造を示したものであり、一つの画素を側面から見たときの断面図であるが、２つのフォトダイオード２０１が一つのマイクロレンズ２０２を共有しており、瞳分割像を得ることができる構造になっている。取得した瞳分割像を用いて後述の相関演算部で相関演算を行うことにより、被写体までの距離を取得することができる。なお、図２に示した撮像素子は、一例であって、被写体までの距離を取得することが可能な他の構成であってもよい。

１０３は撮像素子１０２で生成されたアナログ信号をデジタル信号に変換する変換回路であって、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）である。

１０４は相関演算部（演算手段）である。相関演算部１０４は、ＡＦＥ１０３から出力された瞳分割画像を用いて相関演算を行う。

１０５は、ＡＦＥ１０３から出力された信号に対して、瞳分割像の加算処理、センサー補正や現像処理等、各種の信号処理を行う画像処理部である。

１０６は、連続的に撮影された複数枚の画像について、２枚の画像データから動きベクトルを検出する動きベクトル検出部である。動きベクトル検出部１０６は、注目領域とその周辺とでテンプレートマッチング処理を行い、画像を複数領域に分割した領域毎、もしくは、画素ごとに動きベクトルを算出する。

１０７は、画像処理部１０５により出力された画像データから、顔のある領域を検出する顔検出部である。検出した顔情報は内部バス１２０を介して一時記憶メモリ１１４へ保存する。

１０８は、前記複数枚の画像から選択された１枚の画像（背景画像）に合成する被写体に対応する被写体画像を抽出して生成する、被写体抽出部である。被写体抽出部１０８は、動きベクトル検出部１０６により算出された領域毎の動きベクトルから動きのある領域を抽出し、顔検出部１０７で検出した顔が前記抽出した領域に属しているものを被写体として特定する。さらに、前記特定した被写体を含む所定領域について、動きベクトル検出部１０６により画素ごとに動きベクトルを求め、動きベクトルの大きさが所定の閾値以上の領域を抽出する。

１０９は、被写体検出部１０８で抽出した被写体が、その後に撮影された画像中でどの位置に移動したかを追尾する追尾処理部である。追尾処理は、ひとつ前に撮影した画像中の被写体の位置を注目領域とし、その周辺領域とテンプレートマッチング処理を行う。テンプレートマッチング処理の結果から一致度の高い領域を特定し、移動後の被写体の位置を出力する。

１１０は、被写体抽出部１０８で抽出対象となった被写体に対して、相関演算部１０４の結果をもとに撮像装置１００と被写体との距離を算出する距離算出部である。

１１１は、距離算出部１１０で算出した距離や焦点距離に応じて合成する際の被写体の動きベクトルの大きさの閾値を算出する、閾値決定部である。

１１２は、被写体抽出部１０８と閾値決定部１１１の出力をもとに、合成に使用する被写体を取捨選択し、当該被写体に対応した被写体画像を背景画像に順次合成する合成処理部である。

１１３は、合成した画像を記録するメモリであり、ＳＤカードやＣＦカード等の取り外し可能な外部記憶メモリである。

１１４は、上記の処理を行う際の作業領域として使用する一時記憶メモリである。

１１５は、スルー画や撮影した画像のプレビュー表示を行う表示部である。また、表示部１１５は撮像装置１００の動作設定を指定するためのメニュー等のＵＩ表示も行う。

１１６は、前記の各ブロックへの動作指示等、撮像装置１００のシステム全体を制御するシステム制御部である。

１１７は、撮影者がシステム制御部１１６に対して指示を出すことのできる操作部である。操作部１１７は、表示部１１５上をタッチして操作できるタッチパネルである。

１２０は、各ブロックに接続され、画像データや制御信号のやりとりが行われる内部バスである。

以下、添付の図面を用いて本実施形態の撮像制御について説明を行う。

図３は本実施形態の撮影における一連の流れを説明するためのフローチャートである。

ステップＳ３０１では、撮影者によって表示部１１５に表示されたＵＩからメニュー表示が行われ（図示せず）、メニューの中から本実施形態の撮影モードが選択されると、撮像装置１００は撮影待機状態に入る。

撮影待機状態は、システム制御部１１６の指示により、ＥＶＦ表示用に撮像素子１０２でキャプチャし、ＡＦＥ１０３から出力した画像データを画像処理部１０５に入力し、各種信号処理をおこなう。画像処理部１０５で処理された画像データは、システム制御部１１６によって一時記憶メモリ１１４へ保存されるとともに、メモリから読み出した画像データを表示部１１５にスルー画としてＥＶＦ表示を行うように制御される。

ステップＳ３０２では、前記ＥＶＦ表示されたスルー画を用いて主被写体の決定を行う。動きベクトル検出部１０６により、ステップＳ３０１で取得したスルー画のうち連続した２枚の画像を用いて、画像を複数に分けた領域毎に画像間の動きベクトルを検出する。また、顔検出部１０７により、処理対象の画像中に存在する顔を検出し、被写体抽出部１０８により、動きベクトル検出部１０６の結果と顔検出部１０７の結果から、顔の存在している動きのある領域を抽出する。抽出した領域に存在している顔のうち、画像中心に写っているものを主被写体として決定する。動きのある領域に顔が検出されなかった場合は、システム制御部１１６に対して、主被写体が決定できないという情報を出力し、以降の処理では一枚だけ撮影して保存するように制御する。

ステップＳ３０３では、システム制御部１１６によってステップＳ３０２で主被写体を決定できたか否かを判定し、主被写体を決定できなかった場合は撮影失敗として撮影を終了する。

ステップＳ３０４では、位相差方式のＡＦ制御を行う。ＡＦ制御は、ＡＦＥ１０３から得られた瞳分割画像をもとに相関演算部１０４で相関演算を行い、システム制御部１１６は相関演算結果をもとに、ステップＳ３０２で決定した主被写体に合焦するようにレンズユニット１０１を駆動する。

ステップＳ３０５では、システム制御部１１６の指示により、記録用の撮影動作が行われる。ＡＦＥ１０３から取得した画像データに対して、画像処理部１０５でセンサー補正処理や現像処理等、各種画像処理を行う。

ステップＳ３０６では、システム制御部１１６の指示により、ステップＳ３０５で処理された画像データを外部記憶メモリ１１３に記録する。

ステップＳ３０７では、システム制御部１１６の指示により、撮影者によって操作部１１７の操作で撮影終了操作が行われたか否かを判定する。撮影者によって前記撮影終了操作が行われるまで撮像装置１００はステップＳ３０４からステップＳ３０６の撮影動作を連続的に繰り返し行う。

ステップＳ３０８では、ステップＳ３０６で記録した複数の画像を外部記憶メモリ１１３から順次読みだして合成処理を行う。合成処理の詳細については後述する。

ステップＳ３０９では、ステップＳ３０８で合成した合成画像を外部記憶メモリ１１３に記録し、合成画像を表示部１１５へプレビュー表示して撮影を終了する。

次に、ステップＳ３０８の合成処理について、図４のフローチャートを用いて詳細に説明を行う。

ステップＳ４０１では、システム制御部１１６の指示により、最初に撮影した画像を外部記憶メモリ１１３から読み出し、一時記憶メモリ１１４へ格納する。最初に撮影された画像は背景画像として使用し、この画像に対して、２枚目以降に撮影した画像から抽出した被写体画像を順次合成していく。

ステップＳ４０２では、システム制御部１１６の指示により、ステップＳ３０２で決定した被写体を追尾処理部１０９に対して追尾領域として指定する。

ステップＳ４０３では、システム制御部１１６の指示により、次に撮影した画像を外部記憶メモリ１１３から読み出して一時記憶メモリ１１４へ格納する。

ステップＳ４０４では、システム制御部１１６の指示により、処理対象画像が２枚目のとき、すなわち、動きベクトルを１枚目の画像と２枚目の画像から算出しているか否かを判定する。

ステップＳ４０５では、ステップＳ４０４で処理対象画像が２枚目と判定されなかった場合に、合成する被写体を特定する。このステップでは、ステップＳ４０２で指定した追尾対象が画像上でどこに移動したかを追尾処理部１０９により追尾し、合成する被写体領域を特定する。

ステップＳ４０６では、動きベクトル検出部１０６によってステップＳ３０２、または、ステップＳ４０５で特定した被写体を含む所定領域の動きベクトルを算出する。さらに、動きベクトル検出部１０６によってステップＳ３０２、または、ステップＳ４０５で特定した被写体を含む所定領域について画素ごとの動きベクトルも算出し、合成に使用する被写体領域（被写体画像に対応する領域）を決定する。

次のステップＳ４０７では、距離情報取得部としての距離算出部１１０により、ステップＳ４０５で追尾により特定した被写体と撮像装置１００の距離情報を算出する。

ステップＳ４０８では、距離算出部１１０により算出した撮像装置と被写体間の距離をもとに、閾値決定部１１１により合成対象とする被写体の動きベクトルの大きさの下限値（閾値）を決定する。すべての画像を合成して被写体が密に重なり合って合成されてしまうことを防ぐために、所定の動き量のある被写体のみを選択して見やすい合成画像を生成するためである。動きベクトルの大きさの閾値の決定方法については後述する。

ステップＳ４０９では、ステップＳ４０６で算出した動きベクトルとステップＳ４０８で決定した閾値を用いて、システム制御部１１６の指示により、被写体の動きベクトルの大きさが閾値よりも大きいか否かを判定する。

被写体の動きベクトルの大きさが閾値よりも大きいときはステップＳ４１０を実行し、そうでないときはステップＳ４１２を実行するように制御する。ステップＳ４０９では、前回合成した画像と現在の処理対象画像における被写体の動きベクトル（以下、累積動きベクトル）が閾値よりも大きいか否かで合成対象画像か否かを判断する。前回合成した画像から現在の処理対象画像までの動き量は、後述するステップで管理する。

ステップＳ４１０では、合成処理部１１２によって、ステップステップＳ４０６で決定した被写体領域を合成対象として一時記憶メモリ１１４に記憶している合成画像と抽出した被写体領域の画像を合成し、新たな合成画像として一時記憶メモリ１１４へ記憶する。

ステップＳ４１１では、システム制御部１１６の指示により累積動きベクトルをリセットする。これは、ステップＳ４１０で合成が行われたため、次以降の画像の合成は現在の処理画像を基準とした累積動きベクトルとなるようにするためである。

ステップＳ４１２では、ステップＳ４０９で合成しないと判定された場合に、システム制御部１１６の指示により累積動きベクトルに処理対象画像の動きベクトルを加算して、新たに累積動きベクトルとする。

ステップＳ４１３では、図３のフローチャートで説明したすべての撮影画像に対して処理を行ったか否かをシステム制御部１１６の指示により判定し、処理が終わっていない画像があればステップＳ４０３に戻り、同様に合成画像を作成していく。すべての撮影画像に対して処理が完了していたら、合成処理は完了となる。

次に、ステップＳ４０８で行う動きベクトルの大きさの閾値の決定方法について、図５を用いて詳細に説明する。

図５（ａ）は、撮像装置１００と被写体間の距離に拘わらず動きベクトルの大きさの閾値を一定に決定したときの状況を表した図である。５０１、５０２、および５０３で示す各矢印は、画像上では動きベクトルの大きさは同じ大きさと判断される。

このように、画像上で同じ動きベクトルであっても、実際には距離が遠い被写体ほど速いスピードで動いていることになる。したがって、被写体が重なりすぎないように合成する被写体を間引こうとしたときに画像上の動きベクトルだけで判断すると、近い位置にいる被写体は間引かれにくくなり、遠くにいる被写体ほど多く間引かれてしまい不自然な合成画像になってしまう。

一方、図５（ｂ）は撮像装置１００と被写体間の距離を考慮して動きベクトルの大きさの閾値を決定した時の状況を表した図であり、本実施形態の構成による合成結果を示す図である。距離の異なる被写体が同じ速度で移動していた場合、画像上の被写体の動きベクトルの大きさは遠い被写体ほど小さくなる。

したがって、自然な合成画像を生成するために、動きベクトルの大きさの閾値は被写体までの距離に応じて可変になるようにし、撮像装置から被写体までの距離が長くなるほど動きベクトルの大きさの閾値を小さくなるように決定する。

さらに、ステップＳ４０８で動きベクトルの大きさの閾値を決定する際に、撮像手段（レンズ）の焦点距離を考慮するように制御する。たとえばレンズユニット１０１がズームレンズであった場合、望遠端で撮影した場合は、広角端で撮影した場合と比較して、被写体までの距離が同じでも被写体が画面上に大きく映ることになる。動きベクトルの大きさの閾値を焦点距離によらず決めてしまうと、望遠端で撮影した場合は被写体が密に重なって合成されてしまい、不自然な合成画像となる恐れがある。

したがって、撮影時のレンズの焦点距離が大きいほど、動きベクトルの大きさの閾値が大きくなるように決定する。

なお、撮像装置から被写体までの距離を示す距離情報を取得できれば、上記焦点距離を利用する例に限らない。上述したように、図２に示す撮像素子１０２を用いて取得した画像から取得する距離情報を利用するようにしてもよい。撮像素子１０２を用いた場合は、画像内に動きを有する被写体が複数いた場合でも、それぞれに対して距離情報を取得できるので、被写体ごとに異なる閾値を設定することができる。

また、被写体が動いている方向も加味して閾値を決定するようにしてもよい。たとえば、同じ距離にいる２人の被写体が、撮像装置１００に対して水平方向に移動している場合と、撮像装置１００との距離が変わる方向に動いている場合、前記水平方向に移動している場合のほうが動きベクトルの大きさは大きいと判断される。

このような被写体が同時に存在していた場合は、動きベクトルの大きさや被写体の距離を考慮していたとしても、撮像装置１００との距離が変わる方向に動いている被写体のほうが多く間引かれてしまい、不自然な合成画像となる恐れがある。

したがって、被写体の動きの方向を考慮して、撮像装置１００は、被写体の移動方向の方向を取得する方向取得手段（図示せず）を備え、撮像装置１００との距離が変わる方向に動いている被写体ほど動きベクトルの大きさの閾値は小さくなるように決定するようにしてもよい。

（実施形態２）
実施形態１では、連写撮影して得られた複数の画像を用いて合成する例をあげているが、動画撮影して記録した動画データからデコードしながら合成処理を行うようにしてもよい。

実施形態２は、動画データで連続する複数のフレーム画像が、実施形態１の複数の画像に相当し、他の構成は実施形態１と同様である。

上記のようにすることで、撮影中に撮像装置と被写体との距離が変動する場合や距離の異なる複数の被写体があった場合でも合成する被写体を適切に選択することができ、自然な合成画像を生成することができる。

また、上記の実施形態の説明では、主被写体の決定方法として、複数の顔が検出された場合に、画像中心に近いものを選択している例で説明したが、違う基準で選択してもよい。たとえば撮像装置１００から被写体までの距離を考慮したり動きの大きい被写体を選択したりする方法でもよい。

また、上記の実施形態の説明では、合成対象の被写体を人物の例で説明したが、人物位階の被写体でもよい。

さらにまた、上記の実施形態の説明では、１枚目の画像を背景画像にし、撮影順に被写体を合成する例で説明しているが、背景画像は撮影の１枚目の画像でなくてもよく、また、合成順序は必ずしも撮影順でなくてもよい。

背景画像は、複数の画像から生成される１つの画像であればよく、複数の画像を合成処理して生成した画像でもよい。

さらに、上記実施形態の説明では、合成する被写体を１つとしている例で説明したが、合成する被写体は複数あってもよい。その際は、所定の動き量のある被写体が複数含まれる場合に複数の被写体を合成するが、合成後に見づらくならないように合成する被写体画像の数に制限をかけるようにする。合成する被写体の数に制限をかける方法は、たとえば所定領域毎に動き量の大きいほうから所定の数の被写体だけ合成対象として選択し、所定領域内に合成する被写体の数を制限する。

なお、複数の被写体を合成の対象とする際に、被写体ごとに重み付けをして閾値を設定できるようにしても良い。たとえば、主被写体以外の被写体については、主被写体に対して設定された閾値よりも大きくなるように設定してもよい。

（その他の実施形態）
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０１ レンズユニット
１０２ 撮像素子
１０３ ＡＦＥ
１０４ 相関演算部
１０５ 画像処理部
１０６ 動きベクトル検出部
１０７ 顔検出部
１０８ 被写体抽出部
１０９ 追尾処理部
１１０ 距離算出部
１１１ 閾値決定部
１１２ 合成処理部
１１３ 外部記憶メモリ
１１４ 一時記憶メモリ
１１５ 表示部
１１６ システム制御部
１１７ 操作部
１２０ 内部バス

Claims (9)

1. 連続的に撮影して複数の画像を取得する撮像手段と、
   撮影中に動きを有する被写体について画像間での動き量を検出する検出手段と、
   所定の閾値以上の動き量が検出された画像から前記被写体を抽出した被写体画像を生成する生成手段と、
   前記複数の画像から生成された１つの背景画像に対して、前記被写体画像を順次合成する合成手段と、
   前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
   前記距離情報に応じて前記閾値を制御する制御手段と、を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記被写体までの距離が長くなるにしたがって、前記閾値を小さくすることを特徴とする請求項１に記載の撮像装置。
3. 前記距離情報は、前記撮像手段の焦点距離であることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記撮像手段の焦点距離が長くなるにしたがって、前記閾値を小さくすることを特徴とする請求項３に記載の撮像装置。
5. 前記被写体が移動方向を取得する方向取得手段を備え、
   前記制御手段は、前記被写体の移動方向に応じて、前記閾値を制御することを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。
6. 前記合成手段は、前記背景画像の所定の領域に合成する前記被写体画像の数を制限することを特徴とする請求項１から請求項５の何れか１項に記載の撮像装置。
7. 前記背景画像は、前記複数の画像から選択された１つの画像であることを特徴とする請求項１から請求項６の何れか１項に記載の撮像装置。
8. 前記背景画像は、最初に撮影された画像であることを特徴とする請求項７に記載の撮像装置。
9. 連続的に撮影して複数の画像を取得する撮像ステップと、
   撮影中に動きを有する被写体について、画像間での動き量を検出する検出ステップと、
   所定の閾値以上の動き量が検出された画像から前記被写体を抽出した被写体画像を生成する生成ステップと、
   前記複数の画像から生成された背景画像に前記被写体画像を順次合成する合成ステップと、
   前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、
   前記距離情報に応じて前記閾値を制御する制御ステップと、を含むことを特徴とする撮像方法。

Images