JP6851551B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本開示は、撮像装置、撮像方法、及びプログラムに関する。

従来、電子部品画像及び実写映像の被写体の所定の視点からの距離同士を画素毎に比較し、比較結果に基づいて電子部品画像と実写映像とを合成する技術が開示されている（特許文献１参照）。

また、所定の被写体が撮像されている動画像から被写体が映されている領域を含むように生成された被写体動画像に対して、被写体毎に個別に、被写体動画像に対して行われた操作内容に応じた画像処理を行う技術が開示されている（特許文献２参照）。この技術では、画像処理が施された被写体動画像と、他の動画像とを合成する。

また、画像上の複数の位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と、入替用画像とを合成する技術が開示されている（特許文献３参照）。

特開平５−２４４６３０号公報 再公表特許第２０１６／１５２６３３号 特開２０１２−２５２６４８号公報

ところで、撮像により得られた画像から主要被写体を抽出し、抽出した主要被写体と別の画像の背景とを合成する技術が知られている。この技術として、例えば、画像の背景領域が特定の色（例えば、緑又は青等）となる設備を用いて撮像を行うクロマキー技術が知られている。

クロマキー技術では、画像の背景領域を特定の色に統一するために、背景領域が特定の色となる設備が用いられる結果、屋内のスタジオ等において撮像を行う必要がある等、撮像場所が限定されてしまう。一方、屋外において画像を撮像した場合は、撮像により得られた画像の背景領域をユーザが手作業により指定する等、手間がかかってしまい、簡易に合成用の画像を生成することができない。

一般的に行われている画像の合成の手間を低減するために、撮像の際に得られる距離情報から背景領域を特定し、背景領域が特定の色に統一された合成用の画像を簡易に生成できることが望ましい。しかしながら、特許文献１〜３に記載の技術では、画像の背景領域を特定の色に統一することについては考慮されていない。

本開示は、以上の事情を鑑みて成されたものであり、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本開示の撮像装置は、撮像により画像を取得する撮像部と、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部と、画像を撮像する際に得られる距離情報から画像内の距離マップを生成する生成部と、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定する判定部と、画像の背景領域を特定の色に変換する画像処理を行う画像処理部と、画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部と、を備えている。

なお、本開示の撮像装置は、画像の記録開始の指示が入力される前に距離閾値が視認可能なライブビュー画像を表示部に表示する制御を行う表示制御部を更に備えてもよい。

また、本開示の撮像装置は、表示制御部が、距離閾値を設定するための情報を表示部に更に表示する制御を行ってもよい。

また、本開示の撮像装置は、生成部が、ライブビュー画像について、距離マップを生成し、画像処理部は、ライブビュー画像の背景領域を特定の色に変換する画像処理を行い、表示制御部は、画像処理を経たライブビュー画像を表示部に表示する制御を行ってもよい。

また、本開示の撮像装置は、記憶制御部が、画像処理が行われる前の画像を記憶部に更に記憶する制御を行ってもよい。

また、本開示の撮像装置は、自装置を含む複数の撮像装置により撮像を行う場合、判定部が、複数の撮像装置の各々により生成された距離マップを用いて画像の主要被写体領域と背景領域とを切り分けてもよい。

また、本開示の撮像装置は、判定部が、自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、周辺が背景領域である主要被写体領域を背景領域と判定してもよい。

また、本開示の撮像装置は、判定部が、自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、周辺が主要被写体領域である背景領域を主要被写体領域と判定してもよい。

また、本開示の撮像装置は、生成部が、撮像部による撮像により取得された動画像の各フレームの画像について距離マップを生成し、記憶制御部が、画像処理を経た動画像を記憶部に記憶する制御を行ってもよい。

また、本開示の撮像装置は、動画像におけるフレーム間の距離マップの変化から自装置が動いた方向及び動いた量を検出する検出部を更に備え、記憶制御部が、更に、画像処理を経た動画像に対応付けて自装置が動いた方向及び動いた量を記憶部に記憶する制御を行ってもよい。

一方、上記目的を達成するために、本開示の撮像方法は、撮像により画像を取得する撮像部を備えた撮像装置が実行する撮像方法であって、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、画像を撮像する際に得られる距離情報から画像内の距離マップを生成し、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行い、画像処理を経た画像を記憶部に記憶する制御を行う。

また、上記目的を達成するために、本開示のプログラムは、撮像により画像を取得する撮像部を備えた撮像装置を制御するコンピュータに、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、画像を撮像する際に得られる距離情報から画像内の距離マップを生成し、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行い、画像処理を経た画像を記憶部に記憶する制御を行う処理を実行させる。

本開示によれば、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる。

各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１実施形態〜第５実施形態に係る撮像装置が備える制御部の機能的な構成の一例を示すブロック図である。 第１実施形態に係る撮像処理の一例を示すフローチャートである。 各実施形態に係るライブビュー画像の一例を示す図である。 各実施形態に係るＡＦエリアを説明するための図である。 各実施形態に係る背景領域が特定の色に変換された画像の一例を示す図である。 第２実施形態に係る撮像処理の一例を示すフローチャートである。 第２実施形態に係る背景領域が特定の色に変換されたライブビュー画像の一例を示す図である。 第３実施形態に係る撮像処理の一例を示すフローチャートである。 第４実施形態に係る複数の撮像装置の一例を示す概略平面図である。 第４実施形態に複数の撮像装置の各々による領域の判定結果の一例を示す図である。 第４実施形態に係る撮像処理の一例を示すフローチャートである。 第５実施形態に係る撮像装置が備える制御部の機能的な構成の一例を示すブロック図である。 第５実施形態に係る撮像処理の一例を示すフローチャートである。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

［第１実施形態］

まず、図１を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、制御部２０、撮像部２４、液晶ディスプレイ等の表示部２５、入力部２６、及び通信Ｉ／Ｆ（InterFace）２７を備えている。また、制御部２０は、ＣＰＵ（Central Processing Unit）２１、一時記憶領域としてのメモリ２２、及びフラッシュメモリ等の不揮発性の記憶部２３を備えている。ＣＰＵ２１、メモリ２２、記憶部２３、撮像部２４、表示部２５、入力部２６、及び通信Ｉ／Ｆ２７は、バス２８に接続される。制御部２０が、撮像装置１０を制御するコンピュータの一例である。撮像装置１０の例としては、デジタルカメラが挙げられる。

記憶媒体としての記憶部２３には、撮像プログラム３０が記憶される。ＣＰＵ２１は、記憶部２３から撮像プログラム３０を読み出してからメモリ２２に展開し、展開した撮像プログラム３０を実行する。

撮像部２４は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子及び撮像レンズを含み、撮像により画像を取得する。また、本実施形態に係る撮像部２４は、像面位相差ＡＦ（AutoFocus）等の画角内の周縁部まで測距可能なＡＦ制御が可能とされている。入力部２６は、ダイヤル、レリーズボタン、十字キー、及び表示部２５と一体化されたタッチパネル等を含む。通信Ｉ／Ｆ２７は、撮像装置１０が外部装置と通信を行う場合に用いられる。

次に、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。図２に示すように、制御部２０は、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、及び記憶制御部５０を含む。ＣＰＵ２１が撮像プログラム３０を実行することにより、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、及び記憶制御部５０として機能する。

設定部４０は、撮像部２４による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を受け付け、受け付けた距離閾値を設定する。また、設定部４０は、画像の記録開始の指示の入力を受け付ける。表示制御部４２は、設定部４０により画像の記録開始の指示の入力が受け付けられる前に、ライブビュー画像を表示部２５に表示する制御を行う。本実施形態では、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。ライブビュー画像は、スルー画像と称されることもある。

生成部４４は、設定部４０により画像の記録開始の指示の入力が受け付けられると、撮像部２４による撮像により取得された動画像の各フレームの画像について、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。本実施形態では、生成部４４は、像面位相差ＡＦにより画像内の各ＡＦエリアについて得られた距離情報を含む距離マップを生成する。像面位相差ＡＦにより距離マップを生成する手法としては、例えば、特開２０１４−５２５０５号公報の手法が挙げられる。なお、生成部４４は、例えば、特開２００６−２７９５４６号公報の手法により距離マップを生成してもよい。

判定部４６は、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値を超える領域を画像の背景領域と判定する。また、判定部４６は、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値以下の領域を画像の主要被写体領域と判定する。

画像処理部４８は、撮像部２４による撮像により取得された画像における判定部４６により背景領域と判定された領域を特定の色（例えば、緑色等）に変換する画像処理を行う。記憶制御部５０は、画像処理部４８による画像処理を経た画像を記憶部２３に記憶する制御を行う。

次に、図３を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図３に示す撮像処理が実行される。図３に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図３に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。

図３のステップＳ１０で、表示制御部４２は、ライブビュー画像を表示部２５に表示する制御を開始する。具体的には、表示制御部４２は、予め設定されたフレームレートで撮像部２４による撮像により取得された画像を表示部２５に表示する制御を行うことによって、ライブビュー画像を表示部２５に表示する制御を行う。更に、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。

本実施形態では、一例として図４に示すように、表示制御部４２は、距離閾値を設定するための情報として、所定の範囲の距離を指定可能な目盛りを、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。また、本実施形態では、距離閾値を視認可能にするために、距離を表す数字も目盛りに表示される。ユーザは、表示部２５に表示された目盛り上で距離閾値を指定する。なお、図４の例では、距離閾値として５ｍが指定された場合を示している。また、図４に示すように、本実施形態では、人を主要被写体とし、人以外を背景とする場合について説明する。

ステップＳ１２で、設定部４０は、表示部２５に表示された目盛り上の指定された位置に対応する距離閾値を受け付け、受け付けた距離閾値を設定する。ステップＳ１４で、設定部４０は、画像の記録開始の指示の入力が受け付けられたか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１２に戻り、肯定判定となった場合は、処理はステップＳ１６に移行する。

ステップＳ１６で、生成部４４は、前述したように、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。本ステップＳ１６の処理により、一例として図５に示される画像内の各ＡＦエリアに対応する距離情報を含む距離マップが生成される。本実施形態では、ＡＦエリアは複数の画素を含むサイズの領域とされている。

ステップＳ１８で、判定部４６は、ステップＳ１６の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値を超える領域を画像の背景領域と判定する。また、判定部４６は、ステップＳ１６の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値以下の領域を画像の主要被写体領域と判定する。

ステップＳ２０で、判定部４６は、ステップＳ１８の処理により背景領域と判定された領域のうち、主要被写体領域との境界の領域について、輪郭を検出する画像処理を行うことによって、画素単位で背景領域を特定する。なお、この輪郭を検出する画像処理としては、例えば、画像の輝度を１次微分することによって勾配を求める手法等の公知の手法を適用することができる。

ステップＳ２２で、画像処理部４８は、撮像部２４による撮像により取得された画像におけるステップＳ２０の処理により背景領域と特定された領域を特定の色に変換する画像処理を行う。本ステップＳ２２の処理により、一例として図６に示すように、人以外の領域が背景領域として特定の色に変換される。ステップＳ２４で、記憶制御部５０は、ステップＳ２２の処理による画像処理を経た画像を記憶部２３に記憶する制御を行う。

ステップＳ２６で、設定部４０は、入力部２６を介して画像の記録を終了する指示が受け付けられたか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１６に戻り、肯定判定となった場合は、撮像処理が終了する。すなわち、ステップＳ１６からステップＳ２４までの処理が、予め設定されたフレームレートに従って、撮像部２４による撮像により取得された動画像の各フレームの画像について実行される。

以上説明したように、本実施形態によれば、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行っている。従って、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる。

［第２実施形態］

開示の技術の第２実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る撮像装置１０では、ライブビュー画像において背景領域を特定の色に変換するか否かを設定することが可能とされている。

まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態と異なる機能を有する機能部についてのみ説明する。

生成部４４は、ライブビュー画像についても同様に、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。判定部４６は、ライブビュー画像についても同様に、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値を超える領域を背景領域と判定する。また、判定部４６は、ライブビュー画像についても同様に、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値以下の領域を主要被写体領域と判定する。

画像処理部４８は、ライブビュー画像についても同様に、撮像部２４による撮像により取得された画像における判定部４６により背景領域と判定された領域を特定の色に変換する画像処理を行う。表示制御部４２は、画像処理部４８による画像処理を経たライブビュー画像を表示部２５に表示する制御を行う。

次に、図７を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図７に示す撮像処理が実行される。図７に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図７に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図７における図３と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

図７のステップＳ１２の処理が終了すると、処理はステップＳ３０に移行する。ステップＳ３０で、生成部４４は、ライブビュー画像において背景領域を特定の色に変換する設定がされているか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ３２に移行する。ステップＳ３２で、生成部４４は、ステップＳ１６と同様に、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。

ステップＳ３４で、判定部４６は、ステップＳ１８と同様に、ステップＳ３２の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値を超える領域を背景領域と判定する。また、判定部４６は、ステップＳ３２の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値以下の領域を主要被写体領域と判定する。

ステップＳ３６で、判定部４６は、ステップＳ２０と同様に、ステップＳ３４の処理により背景領域と判定された領域のうち、主要被写体領域との境界の領域について、輪郭を検出する画像処理を行うことによって、画素単位で背景領域を特定する。

ステップＳ３８で、画像処理部４８は、ステップＳ２２と同様に、撮像部２４による撮像により取得された画像におけるステップＳ３６の処理により背景領域と特定された領域を特定の色に変換する画像処理を行う。ステップＳ４０で、表示制御部４２は、ステップＳ３８による画像処理を経た画像を、ライブビュー画像として表示部２５に表示する制御を行う。更に、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。ステップＳ４０の処理が終了すると、処理はステップＳ１４に移行する。

一方、ステップＳ３０の判定が否定判定となった場合、処理はステップＳ４２に移行する。ステップＳ４２で、表示制御部４２は、撮像部２４による撮像により取得された画像を、ライブビュー画像として表示部２５に表示する制御を行う。ステップＳ４２の処理が終了すると、処理はステップＳ１４に移行する。

以上の処理により、一例として図８に示すように、ユーザが入力部２６を操作することにより、背景領域が特定の色に変換されていない通常のライブビュー画像と、背景領域が特定の色に変換されたライブビュー画像とを切り替えることができる。

また、ユーザは、背景領域が特定の色に変換されたライブビュー画像の特定の色の領域を確認することによって、画像の記録を開始する前に距離閾値を視認することができる結果、適切な距離閾値を設定することができる。

［第３実施形態］

開示の技術の第３実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る撮像装置１０では、背景領域を特定の色に変換する前の画像も記録するか否かを設定することが可能とされている。

まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態及び第２実施形態と異なる機能を有する機能部についてのみ説明する。

記憶制御部５０は、画像処理部４８による画像処理を経た画像を記憶部２３に記憶する制御を行う。更に、記憶制御部５０は、背景領域を特定の色に変換する前の画像も記録する設定がされている場合、画像処理部４８による画像処理前のオリジナルの画像も記憶部２３に記憶する制御を行う。

次に、図９を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図９に示す撮像処理が実行される。図９に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図９に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図９における図７と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

図９のステップＳ１４の判定が肯定判定となった場合、処理はステップＳ５０に移行する。ステップＳ５０で、記憶制御部５０は、背景領域を特定の色に変換する前の画像も記録する設定がされているか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ５２に移行し、否定判定となった場合は、処理はステップＳ１６に移行する。

ステップＳ５２で、記憶制御部５０は、撮像部２４による撮像により取得された画像を記憶部２３に記憶する制御を行う。ステップＳ５２の処理が終了すると、処理はステップＳ１６に移行する。すなわち、ステップＳ５０からステップＳ２４までの処理が、予め設定されたフレームレートに従って、撮像部２４による撮像により取得された動画像の各フレームの画像について実行される。

以上説明したように、本実施形態によれば、特定の色に変換された背景領域が実際の背景領域と異なる場合でも、オリジナルの画像を用いることによって動画全体が使用できなくなってしまうことを防止することができる。

［第４実施形態］

開示の技術の第４実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。本実施形態では、一例として図１０に示すように、複数台（図１０の例では２台）の撮像装置１０により画像を撮像する場合について説明する。なお、２台の撮像装置１０を区別して説明する場合は、撮像装置１０Ａ、及び１０Ｂのように、符号の末尾にアルファベットを付して説明する。

まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態〜第３実施形態と異なる機能を有する機能部についてのみ説明する。

判定部４６は、自装置を含む各撮像装置１０により生成された距離マップを用いて、自装置の撮像部２４による撮像により取得された画像の主要被写体領域と背景領域とを切り分ける。なお、以下では、自装置の撮像部２４による撮像により取得された画像を「第１画像」といい、自装置の生成部４４により生成された距離マップを「第１距離マップ」という。また、以下では、他の撮像装置１０の撮像部２４による撮像により取得された画像を「第２画像」といい、他の撮像装置１０の生成部４４により生成された距離マップを「第２距離マップ」という。

具体的には、判定部４６は、第１画像及び第２画像を用いてパターンマッチングを行い、各撮像装置１０のＡＦエリアの対応付けを行う。この対応付けにより、一例として図１１に示すように、各撮像装置１０により生成された距離マップの対応する領域が対応付けられる。なお、図１１における斜線で網掛けされた領域は主要被写体領域、すなわち、距離マップのその領域に対応する距離が距離閾値以下の領域を表す。また、図１１における斜線で網掛けされていない領域は背景領域、すなわち、距離マップのその領域に対応する距離が距離閾値を超える領域を表す。

図１１に示すように、距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａ、及び背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂの各領域は、判定誤りであると考えられる。

そこで、本実施形態では、判定部４６は、第１実施形態と同様に第１距離マップと距離閾値との比較による領域の判定を行った後、更に、以下に示すように判定を行うことによって判定結果を補正する。すなわち、この場合、判定部４６は、対応付けが行われた第１距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａについて、第２距離マップにおける対応する領域が背景領域である場合、その主要被写体領域Ａを背景領域であると判定する。また、この場合、判定部４６は、対応付けが行われた第１距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂについて、第２距離マップにおける対応する領域が主要被写体領域である場合、その背景領域Ｂを主要被写体領域であると判定する。

次に、図１２を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図１２に示す撮像処理が実行される。図１２に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図１２に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図１２における図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

また、本実施形態では、図１２に示す撮像処理が各撮像装置１０によって実行される場合について説明するが、これに限定されない。例えば、複数の撮像装置１０のうち、主となる１台の撮像装置１０を決めて、主となる１台の撮像装置１０によって図１２に示す撮像処理が実行される形態としてもよい。この場合、主となる１台の撮像装置１０以外の撮像装置１０は、図１２に示す撮像処理におけるステップＳ１０からステップＳ１８までの処理を実行する形態が例示される。

図１２のステップＳ１８の処理が終了すると、処理はステップＳ６０に移行する。ステップＳ６０で、判定部４６は、他の撮像装置１０から、第２画像、第２距離マップ、及び第２距離マップの各領域が主要被写体領域であるか又は背景領域であるかの判定結果を、通信Ｉ／Ｆ２７を介して取得する。例えば、本ステップＳ６０の処理を撮像装置１０Ａの判定部４６が実行する場合、撮像装置１０Ａの判定部４６は、撮像装置１０Ｂの撮像部２４による撮像により取得された第２画像を取得する。また、この場合、撮像装置１０Ａの判定部４６は、撮像装置１０ＢがステップＳ１６の処理を実行することによって生成された第２距離マップを取得する。また、この場合、撮像装置１０Ａの判定部４６は、撮像装置１０ＢがステップＳ１８の処理を実行することによって生成された判定結果を取得する。

ステップＳ６２で、判定部４６は、自装置の撮像部２４による撮像により取得された第１画像、及びステップＳ６０の処理により取得された第２画像を用いてパターンマッチングを行い、各撮像装置１０のＡＦエリアの対応付けを行う。

ステップＳ６４で、判定部４６は、前述したように、ステップＳ６０の処理により取得された第２距離マップ及び判定結果を用いて、ステップＳ１８の処理による判定結果を補正する。具体的には、判定部４６は、ステップＳ６２の処理により対応付けが行われた第１距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａについて、第２距離マップにおける対応する領域が背景領域である場合、その主要被写体領域Ａを背景領域であると判定する。また、判定部４６は、対応付けが行われた第１距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂについて、第２距離マップにおける対応する領域が主要被写体領域である場合、その背景領域Ｂを主要被写体領域であると判定する。

ステップＳ６４の処理が終了すると、処理はステップＳ２０に移行する。ステップＳ２０以降の処理は、ステップＳ６４の処理による補正後の判定結果を用いて行われる。

以上説明したように、本実施形態によれば、複数の撮像装置１０が生成した距離マップを用いて、主要被写体領域と背景領域とを切り分けているため、背景領域の判定精度を向上させることができる。

［第５実施形態］

開示の技術の第５実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。

まず、図１３を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態〜第４実施形態と異なる機能を有する機能部についてのみ説明する。図１３に示すように、制御部２０は、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、記憶制御部５０、及び検出部５２を含む。ＣＰＵ２１が撮像プログラム３０を実行することにより、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、記憶制御部５０、及び検出部５２として機能する。

検出部５２は、撮像部２４による撮像により取得された動画像におけるフレーム間の距離マップの変化から自装置が動いた方向及び動いた量を検出する。記憶制御部５０は、画像処理部４８による画像処理を経た動画像に対応付けて、検出部５２により検出された自装置が動いた方向及び動いた量を記憶部２３に記憶する制御を行う。

次に、図１４を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図１４に示す撮像処理が実行される。図１４に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図１４に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図１４における図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

図１４のステップＳ１８が終了すると、処理はステップＳ７０に移行する。ステップＳ７０で、検出部５２は、撮像部２４による撮像により取得された１つ前のフレームの画像に対応する距離マップと今回のフレームの画像に対応する距離マップとの変化から自装置が動いた方向及び動いた量を検出する。ステップＳ７０が終了すると、ステップＳ２０及びステップＳ２２の処理が行われ、処理はステップＳ２４Ａに移行する。

ステップＳ２４Ａで、記憶制御部５０は、ステップＳ２２の処理による画像処理を経た画像と、その画像に対応付けて、ステップＳ７０の処理により検出された自装置が動いた方向及び動いた量を記憶部２３に記憶する制御を行う。

以上説明したように、本実施形態によれば、撮像装置１０が動いた方向及び動いた量を動画像に対応付けて記憶している。従って、この撮像装置１０が動いた方向及び動いた量に合わせて画像を合成することによって、合成にかかる手間を低減することができる。

なお、上記各実施形態において、画像処理部４８が画像の背景領域を特定の色に変換する場合に、主要被写体領域で使用されていない色を特定の色として選択する形態としてもよい。

また、上記第２実施形態において、ライブビュー画像を表示部２５に表示する際に、背景領域を特定の色に変換するのではなく、背景領域を点滅させて表示してもよいし、背景領域を縞模様によって表示してもよい。

また、上記第５実施形態では、動画像におけるフレーム間の距離マップの変化から撮像装置１０が動いた方向及び動いた量を検出する場合について説明したが、これに限定されない。例えば、動画像におけるフレーム間の背景領域の輝度分布又は色分布の変化から撮像装置１０が動いた方向及び動いた量を検出する形態としてもよい。

また、上記各実施形態では、ユーザが入力した距離閾値を受け付ける場合について説明したが、これに限定されない。例えば、設定部４０が、撮像部２４による撮像により取得された画像から距離閾値を導出し、導出した距離閾値を設定する形態としてもよい。この場合、設定部４０が、距離マップのデータに基づいて距離のヒストグラムを作成し、ヒストグラムの形状に基づいて距離閾値を導出する形態が例示される。具体的には、例えば、設定部４０は、距離のヒストグラムの山を２分割する距離の値を、距離閾値として導出する。この形態例では、表示制御部４２は、ユーザが距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行わなくてもよい。

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、撮像プログラム３０が記憶部２３に予め記憶（インストール）されている態様を説明したが、これに限定されない。撮像プログラム３０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮像プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記記載から、以下の付記項１に記載の撮像装置を把握することができる。

［付記項１］

撮像により画像を取得する撮像装置と、

プロセッサと、

を備え、

前記プロセッサは、

前記撮像装置による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、

前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、

前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、

前記画像の前記背景領域を特定の色に変換する画像処理を行い、

前記画像処理を経た画像を記憶する撮像装置。

１０、１０Ａ、１０Ｂ 撮像装置

２０ 制御部

２１ ＣＰＵ

２２ メモリ

２３ 記憶部

２４ 撮像部

２５ 表示部

２６ 入力部

２７ 通信Ｉ／Ｆ

２８ バス

３０ 撮像プログラム

４０ 設定部

４２ 表示制御部

４４ 生成部

４６ 判定部

４８ 画像処理部

５０ 記憶制御部

５２ 検出部

Ａ 主要被写体領域

Ｂ 背景領域

Claims (12)

1. 撮像により画像を取得する撮像部と、
   前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部と、
   前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成する生成部と、
   前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定する判定部と、
   前記画像の前記背景領域を特定の色に変換する画像処理を行う画像処理部と、
   前記画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部と、
   を備え、
   自装置を含む複数の撮像装置により撮像を行う場合、前記判定部は、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
   前記判定部は、自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、前記周辺が背景領域である主要被写体領域を背景領域と判定する
   撮像装置。
2. 撮像により画像を取得する撮像部と、
   前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部と、
   前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成する生成部と、
   前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定する判定部と、
   前記画像の前記背景領域を特定の色に変換する画像処理を行う画像処理部と、
   前記画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部と、
   を備え、
   自装置を含む複数の撮像装置により撮像を行う場合、前記判定部は、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
   前記判定部は、自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、前記周辺が主要被写体領域である背景領域を主要被写体領域と判定する
   撮像装置。
3. 画像の記録開始の指示が入力される前に前記距離閾値が視認可能なライブビュー画像を表示部に表示する制御を行う表示制御部
   を更に備えた請求項１又は請求項２に記載の撮像装置。
4. 前記表示制御部は、前記距離閾値を設定するための情報を前記表示部に更に表示する制御を行う
   請求項３に記載の撮像装置。
5. 前記生成部は、前記ライブビュー画像について、前記距離マップを生成し、
   前記画像処理部は、前記ライブビュー画像の前記背景領域を特定の色に変換する画像処理を行い、
   前記表示制御部は、前記画像処理を経たライブビュー画像を前記表示部に表示する制御を行う
   請求項３又は請求項４に記載の撮像装置。
6. 前記記憶制御部は、前記画像処理が行われる前の画像を前記記憶部に更に記憶する制御を行う
   請求項１から請求項５の何れか１項に記載の撮像装置。
7. 前記生成部は、前記撮像部による撮像により取得された動画像の各フレームの画像について前記距離マップを生成し、
   前記記憶制御部は、前記画像処理を経た動画像を前記記憶部に記憶する制御を行う
   請求項１から請求項６の何れか１項に記載の撮像装置。
8. 前記動画像におけるフレーム間の前記距離マップの変化から自装置が動いた方向及び動いた量を検出する検出部を更に備え、
   前記記憶制御部は、更に、前記画像処理を経た動画像に対応付けて前記動いた方向及び動いた量を前記記憶部に記憶する制御を行う
   請求項７に記載の撮像装置。
9. 撮像により画像を取得する撮像部を備えた撮像装置が実行する撮像方法であって、
   前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、
   前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、
   前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、
   前記画像の前記背景領域を特定の色に変換する画像処理を行い、
   前記画像処理を経た画像を記憶部に記憶する制御を行い、
   自装置を含む複数の撮像装置により撮像を行う場合、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
   自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、前記周辺が背景領域である主要被写体領域を背景領域と判定する
   撮像方法。
10. 撮像により画像を取得する撮像部を備えた撮像装置が実行する撮像方法であって、
    前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、
    前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、
    前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、
    前記画像の前記背景領域を特定の色に変換する画像処理を行い、
    前記画像処理を経た画像を記憶部に記憶する制御を行い、
    自装置を含む複数の撮像装置により撮像を行う場合、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
    自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、前記周辺が主要被写体領域である背景領域を主要被写体領域と判定する
    撮像方法。
11. 撮像により画像を取得する撮像部を備えた撮像装置を制御するコンピュータに、
    前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、
    前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、
    前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、
    前記画像の前記背景領域を特定の色に変換する画像処理を行い、
    前記画像処理を経た画像を記憶部に記憶する制御を行い、
    自装置を含む複数の撮像装置により撮像を行う場合、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
    自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、前記周辺が背景領域である主要被写体領域を背景領域と判定する
    処理を実行させるためのプログラム。
12. 撮像により画像を取得する撮像部を備えた撮像装置を制御するコンピュータに、
    前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、
    前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、
    前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、
    前記画像の前記背景領域を特定の色に変換する画像処理を行い、
    前記画像処理を経た画像を記憶部に記憶する制御を行い、
    自装置を含む複数の撮像装置により撮像を行う場合、前記複数の撮像装置の各々により生成された距離マップを用いて前記自装置により撮像された画像の前記主要被写体領域と前記背景領域とを切り分け、
    自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、前記周辺が主要被写体領域である背景領域を主要被写体領域と判定する
    処理を実行させるためのプログラム。

Images