JP2019068243A - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】 同一の人物像が複数回現れない好適なパノラマ画像を自動作成できる画像処理装置を提供する。【解決手段】 画像処理装置は、パンニング動作をしながら撮像された複数の画像のそれぞれから前景と背景を認識する認識手段と、複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成手段とを有する。この合成手段は、複数の背景画像のうち、前景画像と画角が重なる領域においては、前景画像を優先して合成する。【選択図】 図７

Description

本発明は、複数の画像を合成してパノラマ画像を作成する画像処理装置に関するものである。

デジタルカメラなどの撮像装置をパンニングしながら複数の画像を撮像し、撮像した画像を繋ぎ合わせてパノラマ画像を生成する方法が知られている。従来のパノラマ画像を生成する撮像装置では、撮像者がパノラマ画像に含まれるように撮影することを想定しておらず、そのようなパノラマ画像を生成することは困難であった。そこで、特許文献１では、回転機構を用いて、撮像装置を三脚など固定して回転させることで、撮像者を映しこんだパノラマ画像を生成する方法を開示している。

特開２０１３−３４１５８号公報

しかしながら、特許文献１で開示した方法では、三脚などの固定装置が必要であり、利便性がよくない。一方で、撮像者が撮像装置を自分に向かって撮像（いわゆる「自撮り」）する方法が広く使われている。撮像者が撮像装置を自分に向けて撮影しながら回転することで、撮像者自身の画像を含むパノラマ画像を生成する方法が考えられる。

図１４は、自撮りパノラマ撮像の課題を説明するための図である。図１４（ａ）に示すように、撮像者がデジタルカメラなどの撮像装置をもって、自分に撮像装置を向けたままパンニング（回転）しながら撮像すれば、従来の方法でも撮像者を含むパノラマ画像が生成される。しかしながら、従来のパノラマ撮像方法を用いると、図１４（ｂ）に示すように、同一の撮像者の人物像が複数回現れてしまうパノラマ画像が生成されてしまう。

本発明は、上記の課題を鑑みてなされたものであり、同一の人物像が複数回現れない好適なパノラマ画像を作成することを目的とする。

上記課題を解決するため、本願発明は、パンニング動作をしながら撮像された複数の画像のそれぞれから前景と背景を認識する認識手段と、前記複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、前記複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成手段と、を有し、前記合成手段は、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記前景画像を優先して合成することを特徴とする画像処理装置を提供する。

本発明の構成によれば、同一の人物像が複数回現れない好適なパノラマ画像を作成できる画像処理装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。 従来方法を用いるパノラマ撮像中のデジタルカメラの動く方向と画像データの切り出し領域との関係を説明するための図である。 従来方法を用いるパノラマ画像の合成処理の流れを説明する図である。 本発明における自撮りパノラマ撮像を説明するための図である。 本発明の実施形態を説明するためのフローチャートである。 本発明の実施形態における画像合成を説明するためのフローチャートである。 本発明の実施形態における処理対象の画像の領域について説明するための図である。 本発明の実施形態における背景領域のみを合成する場合について説明するための図である。 本発明の実施形態における合成において１枚目の画像の前景領域を合成画像に使用する場合について説明するための図である。 本発明の実施形態における合成において３枚目の画像の前景領域を合成画像に使用する場合の一例について説明するための図である。 本発明の実施形態における合成において３枚目の画像の前景領域を合成画像に使用する場合のもう一例について説明するための図である。 本発明の実施形態における撮像者以外の人物像がパノラマ撮像の画角に存在する場合について説明するための図である。 自撮りパノラマ撮像の課題を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、後述する自動焦点検出（ＡＦ）処理がより素早くできる。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、パノラマ撮像の方法と、複数の撮像画像からパノラマ画像を合成する方法について説明する。最初に、パノラマ画像を合成するために撮像画像の画像データから所定の領域を切り出す処理について説明する。

図３は、従来方法を用いるパノラマ撮像中のデジタルカメラ１００の動く方向と画像データの切り出し領域との関係を説明するための図である。

図３（ａ）は、撮像部２０４が有する撮像素子の有効画像領域を示しており、“Ｗｖ”は水平方向の有効画素数であり、“Ｈｖ”は垂直方向の有効画素数である。図３（ｂ）は、撮像画像の画像データから切り出した切り出し領域を示しており、“Ｗｃｒｏｐ”は水平方向の切り出し画素数であり、“Ｈｃｒｏｐ”は垂直方向の切り出し画素数である。

図３（ｃ）は、矢印で示す水平方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｃ）においてハッチングにて示した領域Ｓ１が画像データからの切り出し領域を示しており、下記の（式１）および（式２）を満たす。
Ｗｖ＞Ｗｃｒｏｐ・・・・・・（式１）
Ｈｖ＝Ｈｃｒｏｐ・・・・・・（式２）

同様に、図３（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｄ）においてハッチングにて示した領域Ｓ２が画像データの切り出し領域を示しており、下記の（式３）および（式４）を満たす。
Ｗｖ＝Ｗｃｒｏｐ・・・・・・（式３）
Ｈｖ＞Ｈｃｒｏｐ・・・・・・（式４）

撮像画像の画像データの切り出し領域は、画像データ毎に異なるようにしてもよい。また、パノラマ撮像の開始時とパノラマ撮像の終了時の画像データについては、画角を広くするために切り出し領域を広くしてもよい。画像データの切り出し領域の決定方法は、例えば、撮像直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り出して保存することにより、メモリ２０９の記憶容量を節約することができる。

次に、パノラマ画像の合成方法について説明する。システム制御部２１０は、パノラマ撮像時に保存された切り出し領域をメモリ２０９から読み出し、読み出した画像データにパノラマ合成を行う。

図４は、従来方法を用いたパノラマ画像の合成処理の流れを説明する図である。図４では、ドットハッチングされた領域は、被写界にある並木を模式的に表した領域であり、斜線ハッチングされた領域は、画像データの切り出し領域を表している。図４（ａ）は、ユーザがシャッタボタン１２１を押下し、第１スイッチＳＷ１がオンにされた状態を示し、ユーザは、主被写体に対してピント合わせを行うことを示している。図４（ｂ）は、シャッタボタン１２１の第２スイッチＳＷ２がオンにされた位置を示しており、ユーザが合成しようとしているパノラマ画像の一方の端に合わせて画角を設定している。図４（ｂ）では、撮像部２０４は画像４１０を撮像する。図４（ｃ）乃至図４（ｅ）では、ユーザが合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００を移動させながら、パノラマ撮像を行っている状態を模式的に示している。図４（ｅ）は、ユーザがシャッタボタン１２１の押下をやめ、パノラマ撮像が終了した状態を示している。図４（ｂ）乃至図４（ｅ）では、撮像部２０４が画像４１０乃至４７０計７枚の画像を撮像したが、画像４３０、４５０および４６０は不図示である。画像処理部２０６は、撮像部２０４が撮像した画像４１０乃至４７０に対して切り出し処理を行い、切り出し領域４１１乃至４７１を生成する。システム制御部２１０において、切り出し領域の幅は、予め定めてもよいが、パノラマ撮像中のデジタルカメラ１００の移動速度などに応じて変化させてもよい。

図４（ｆ）は、画像処理部２０６が、撮像部２０４が撮像した複数の画像を合成してできたパノラマ画像を示している。ここで、システム制御部２１０は、合成を行う前に、画像に対して位置合わせを行う。また、手振れなどのため、切り出し領域４１１乃至４７１の上辺と下辺とは合っていないため、画像処理部２０６は、縦方向に対しても切り出し処理を行う。その結果、画像処理部２０６は、領域４００が示したようなパノラマ画像を生成する。

システム制御部２１０は、画像処理部２０６が検出した複数の動きベクトルに基づいて、位置合わせを行う。一例としては、画像処理部２０６は、切り出し領域を任意のサイズの小ブロックに分割し、小ブロック毎に輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、算出したＳＡＤが最小となる対応点より、動きベクトルを算出することができる。システム制御部２１０は、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

図４では、説明を容易にするため、切り出し領域４１１乃至４７１の互いに重畳する領域がなく、かつ、互いに隣接している例を示している。もし、重畳する領域が存在していれば、重畳する領域の中央を境目として、画像処理部２０６は、その左側に片方の切り出し領域、右側にもう片方の切り出し領域の画素情報を合成画像に出力する。もしくは、画像処理部２０６は、境目上に両方の切り出し領域の画素情報を５０％ずつ合成した値を出力し、境目からの距離が離れるに従って境目の左側では片方の切り出し領域を、境目の右側ではもう片方の切り出し領域の割合を大きくしながら合成を行う。

しかしながら、前述のパノラマ画像の合成の方法を、自撮りに適用すると、以下のような課題が生じる。自撮りでパンニングをする場合、撮像者が自らの画像を写すため、撮像部をパンニングの全過程で自分に向かって撮像を行う。そのために、自撮りでパンニング動作をして撮像した画像では、従来のパノラマとは異なり、撮像者自身の像が多数の画像に入る。

図５は、自撮りパノラマ撮像を説明するための図である。図５（ａ）に示したように、撮像者が撮像装置をもって自分に撮像装置を向けてパンニング（回転）しながら撮像する。撮像者が期待する成果物のパノラマ画像は、図５（ｂ）に示したような、背景画像（並木）の前に、撮像者の人物像が１つだけ現れる画像である。しかしながら、従来のパノラマ撮像方法を用いると、パンニング中撮像したすべての画像に撮像者の人物像が入ってしまい、撮像者の人物像が複数回映るようになってしまう。

前述したような課題を解決するために、本実施形態では、図４が示した従来技術とは異なり、パノラマ撮像中、前景画像と背景画像とを抽出し、背景画像を合成するとともに、前景画像を選択し合成を行う。以下では、本実施形態のフローについて図を用いて詳細に説明する。

図６は、本実施形態を説明するためのフローチャートである。ユーザが、モード切替スイッチ１０４で、自撮りパノラマモードを選択した場合に、デジタルカメラ１００が図６の処理を実行する。あるいは、ユーザが、操作部１０２に設けたボタンなどの操作で、デジタルカメラ１００のメニュー画面、または表示部１０１兼用のタッチパネルから自撮りパノラマモードを選択する。

ステップＳ６０１で、ユーザがパノラマ撮像のための設定を行う。たとえば、ユーザがパノラマ合成画像の画角やパンニング方向などの設定を行う。もし、ステップＳ６０１で、ユーザが設定をしなかった場合は、デジタルカメラ１００は、パノラマ撮像において、初期の設定を用いるか、前回のパノラマ撮像のときの設定を用いる。

続いて、ステップＳ６０２で、システム制御部２１０は、第１スイッチＳＷ１が押されたか否かの判定を行い、第１スイッチＳＷ１が押されたと判定された場合、ステップＳ６０３の処理に移る。第１スイッチＳＷ１が押されなかったと判定された場合、ステップＳ６０１の処理に戻る。

ステップＳ６０３で、検出部２１５は、姿勢検知処理を行う。姿勢検知処理では検出部２１５は、デジタルカメラ１００のパンニング方向を判断する。ユーザがステップＳ６０１でデジタルカメラ１００のパンニング方向を設定したのであれば、ここで、システム制御部２１０は、デジタルカメラ１００に設定されたパンニング方向と実際のパンニング方向とを比較し、異なる場合では適宜に警告を出す。

ステップＳ６０４で、デジタルカメラ１００は、自動露出処理制御（ＡＥ）処理と自動焦点検出（ＡＦ）処理とを行う。

ステップＳ６０５で、システム制御部２１０は、ステップＳ６０４のＡＥ処理結果に基づいて撮像感度などの撮像条件を決定する。

ステップＳ６０６で、システム制御部２１０は、第２スイッチＳＷ２が押されたか否かの判定を行う。ステップＳ６０６において、第２スイッチＳＷ２が押されなかったと判定された場合、システム制御部２１０は、ステップＳ６０２に戻り、第１スイッチＳＷ１が押されたままか否か（いわゆる半押しのままか否か）判定する。ステップＳ６０６において、システム制御部２１０は、第２スイッチＳＷ２が押されたと判定された場合、ステップＳ６０７に進み、ステップＳ６０５で決定した撮像条件で撮像部２０４が撮像する。

ステップＳ６０８でシステム制御部２１０は撮像が継続中かを判定し、継続している場合はステップＳ６０７に処理を戻し、撮像が終了したと判定した場合はステップＳ６０９に進む。たとえば、システム制御部２１０は、ステップＳ６０１のユーザ設定に基づいて、撮像が継続か終了かを判断する。一例としては、ステップＳ６０１で設定した画角に達したら、システム制御部２１０は撮像が終了したと判断する。自撮りパノラマの場合、撮像者が図５（ａ）に示したように回転しながらパンニングすることが多く、回転角度が３６０度になったら撮像が終了するほうが好ましい。この場合、ステップＳ６０８で、システム制御部２１０は、検出部２１５に設けたジャイロの情報に用いて撮像の終了を判断するのもよい。または、システム制御部２１０は、ユーザが第２スイッチＳＷ２の押下の中止をもって、撮像の終了を判断する。

ステップＳ６０９では、システム制御部２１０は、ステップＳ６０７で撮像部２０４が撮像した画像に対して合成を行う。ステップＳ６０１乃至ステップＳ６０８での処理は、従来のパノラマ撮像と大差がなく、ステップＳ６０９での処理は本実施形態の特徴的な部分である。以下では、図とフローチャートを用いてステップＳ６０９について詳細に説明する。

図７は、本実施形態におけるステップＳ６０９での画像合成の処理について説明するためのフローチャートである。まず、ステップＳ７０１で、システム制御部２１０は、デジタルカメラ１００が自撮りパノラマモードに設定されているかどうかについて判断する。デジタルカメラ１００が自撮りパノラマモードでなければ、図４に示したような従来のパノラマ合成方法で行うことになり、フローはステップＳ７０７に進む。自撮りパノラマモードの場合、フローはステップＳ７０２に進む。ステップＳ７０２で、システム制御部２１０が、撮像の順に処理対象の画像を選択する。

図８は、本実施形態における処理対象の画像に対して設定する領域について説明するための図である。ステップＳ７０２でシステム制御部２１０が選択した処理対象の画像に対しては、後述の処理で人物像が重複して現れないようにするために、前景領域と背景領域との特定が必要である。同時に、システム制御部２１０が位置合わせのための動きベクトルの探索領域を定める。図８（ａ）乃至図８（ｃ）は、前景領域、および動きベクトルの探索領域、背景領域の設定の一例である。図８（ａ）では、システム制御部２１０が、公知の顔検出処理などを用いて人物像の領域を抽出し、人物像の幅と画像の高さとを持つ矩形領域を前景領域として設定することを示している。あるいは、パノラマ画像の撮像を行う前に、予めフォーカスレンズを移動させながら撮像を繰り返すスキャンＡＦを行って領域ごとの被写体距離を判定し、所定値以下の距離情報に対応する領域を人物像の領域として抽出してもよい。

図８（ｂ）では、システム制御部２１０は、前景領域以外の画像の部分を動きベクトルの探索領域として設定する。図８（ｃ）では、システム制御部２１０は、人物像の両側の矩形の部分を背景領域として設定する様子を示している。なお、図８は一例にすぎず、図８では説明を簡略化するために前景領域以外の画像の全部を動きベクトルの探索領域として設定しているが、それに限られるものではない。例えば、人物像の輪郭に沿って前景領域を設定するようにしてもよい。なお、前景領域にあたる人物の姿勢や表情などは、画像によって大きく変化する可能性があり、動きベクトルの検出には不適であるため、動きベクトルの探索領域には含めないようにすることが望ましい。

システム制御部２１０が、動きベクトルの探索領域の全部または一部において、複数の小ブロックを設定する。システム制御部２１０は、１枚の画像に設定された複数の小ブロックのいずれかを選択し、もう１枚の画像の動きベクトルの探索領域において、この選択した小ブロックと同じ位置であって、かつ、この小ブロックより広い探索ブロックを設定する。システム制御部２１０は、もう１枚の画像で、一方の画像の選択した小ブロックと最も相関が高くなる（ＳＡＤの値が最小となる）領域を抽出する。システム制御部２１０は、抽出した領域の中心である対応点の座標と、選択した小ブロックの中心位置の座標から、その小ブロックに対応する動きベクトルを算出することができる。システム制御部２１０は、これを全ての小ブロックに対して行い、全ての小ブロックに対応する動きベクトルを算出する。

ステップＳ７０３で、システム制御部２１０は、ステップＳ７０２で選択した処理対象の画像の前景領域を合成画像に使用するかどうかについて判断する。たとえば、ユーザが予め、１枚目、最後、もしくは撮影開始から所定時間後に撮像されたいずれか１つの画像の人物像を合成に使用するように、メニュー画面等で設定したものとする。ステップＳ７０３で、システム制御部２１０は、こうしたユーザの設定に基づいて処理対象の画像の前景領域を合成に使用するかどうかについて判断する。処理対象の画像の前景領域を合成に使用する場合は、ステップＳ７０４に進み、システム制御部２１０は、処理対象の画像の全部を合成に使用することを示すフラグを付与する。逆に、処理対象の画像の前景領域を合成に使用しない場合は、ステップＳ７０５に進み、システム制御部２１０は、処理対象の背景領域のみを合成に使用することを示すフラグを付与する。次に、ステップＳ７０６で、システム制御部２１０がすべての画像に対して処理が済んでいるかどうかについて判断し、済んでいなければステップ７０２に戻り、済んでいればステップＳ７０７に進む。ステップＳ７０７では、システム制御部２１０が位置合わせ及び合成を行う。以下では、図を用いて、合成画像の生成について詳細に説明する。

図９は、本実施形態における背景領域のみを合成する場合について説明するための図である。図９（ａ）乃至図９（ｄ）に示した画像では、パノラマ撮像で得られた４枚の画像のそれぞれを示す。この４枚の画像は、図７のステップＳ７０５で前景領域を合成に使用せず、背景のみを合成に使用するフラグを付与された画像である。図９（ｅ）乃至図９（ｈ）のそれぞれは、図９（ａ）乃至図９（ｄ）のそれぞれを合成に用いた後の合成画像を示す。まず、図９（ａ）は、前景領域に相当する人物像の両側に背景領域ａとｂ（グレーの部分）が存在することを示している。そして、図９（ｅ）では、図９（ａ）の画像の背景領域だけが合成に使われているよう様子を示している。図９（ｅ）は、前景領域も示しているが、後述の説明のように、この前景領域は最終的に上書きされる。したがって、画像の前景領域は、合成に使わないと判明した後に削除してもよい。図９（ｂ）では、図９（ａ）のつぎに撮像された画像を示し、同様にこの画像の前景領域の両側に背景領域ａとｂ（グレーの部分）が存在する。図９（ｂ）では、前景領域の両側に位置する背景領域のうち、図９（ａ）の背景領域と重複しない領域を背景領域ａとｂとして設定している。図９（ｆ）は、図９（ａ）と図９（ｂ）とが示した画像の背景領域を合成した画像を示している。システム制御部２１０は、同様な処理を図９（ｃ）と図９（ｄ）とが示した画像に対して行い、最終的に図９（ｈ）が示したような合成画像を生成する。図９（ｈ）では、図９（ａ）乃至図９（ｄ）のいずれの前景領域も存在しなく、つなぎ目が自然な背景領域の合成画像が得られる。なお、図９（ｄ）に示す４枚目の画像までを合成した時点で、４枚目の左側の背景領域と、１枚目の右側の背景領域との間のギャップが無くなったため、５枚目以降の画像では前景領域の右側の背景領域のみを合成に用いればよい。

図１０は、本実施形態における合成において１枚目の画像の前景領域を合成画像に使用する場合について説明するための図である。図９と同様に、図１０（ａ）乃至図１０（ｄ）に示す画像は、撮像で得られた４枚の画像を示し、図１０（ｅ）乃至図１０（ｈ）のそれぞれは、図１０（ａ）乃至図１０（ｄ）を順に合成した後の合成画像を示す。ここで、ユーザが１枚目の画像（図１０（ａ）が示す画像）の前景領域を合成画像に使用すると設定したものとする。この場合、図１０（ｅ）に示すように図１０（ａ）の画像の全面を合成画像に使用する。次に、図１０（ｂ）に対して、システム制御部２１０がその右側のグレーの背景領域ｂを合成に使用する。その理由は、背景領域ｂ以外の部分は、図１０（ａ）に示した画像と重なり、システム制御部２１０が図１０（ａ）に示した画像を優先的に使用するためである。同様に、システム制御部２１０が図１０（ｃ）と図１０（ｄ）に対しても同様な処理を行い、最終的に図１０（ｈ）が示したような合成画像を作成する。図１０（ｈ）は、図１０（ａ）の前景領域とともに、背景の合成画像が映るパノラマ画像を示している。

図１１は、本実施形態における合成において３枚目の画像の前景領域を合成画像に使用する場合の一例について説明するための図である。図１１（ａ）乃至図１１（ｄ）は、撮像で得られた４枚の画像を示し、図１０と同様である。ただし、図１１では、３枚目の画像（図１１（ｃ））の前景領域を合成に用いるという点で、図１０とは異なる。図１１（ａ）と図１１（ｂ）とに対する処理は、図９と同様である。つまり、システム制御部２１０は、図１１（ａ）と図１１（ｂ）が示す画像の背景領域をそれぞれ切り出して合成に用い、図１１（ｆ）に示す合成画像を生成する。ここで、図１１（ｃ）が示す３枚目の画像の前景領域を合成画像に使用するため、図７が示したフローチャートの通り、図１１（ｃ）が示す画像の全面を合成画像に使用する。具体的に図１１（ｇ）が示すように、図１１（ｃ）が示す画像の全体を合成画像に使用し、すでに合成済みの部分と重なる部分を上書きするように図１１（ｃ）が示す画像を優先的に使用する。その結果、３枚目の画像が合成に使われた後、図１１（ｇ）が示したような合成画像が生成できる。図１１（ｇ）に示す画像は、図１１（ａ）の左側の背景領域と図１１（ｃ）の画像の全部とからなる。次に、図１１（ｄ）に示す画像が撮像された後、システム制御部２１０は、図１１（ｄ）に示す画像の右側の背景領域ｂを合成に用い、最終的に図１１（ｈ）に示したような合成画像を作成する。

ただし、図７のフローチャートに示したような合成方法は一例にすぎず、様々な変形をして実施することができる。たとえば、次のような合成方法で実施してもよい。

図１２は、本実施形態における合成において３枚目の画像の前景領域を合成画像に使用する別の一例について説明するための図である。図１２に示す合成方法は、３枚目の画像の全面よりは狭い範囲を合成画像に用いることが、図１１に示す方法との違いである。図１２（ａ）乃至図１２（ｄ）のそれぞれは図１１（ａ）乃至図１１（ｄ）のそれぞれと同様である。システム制御部２１０は、図１２（ａ）と図１２（ｂ）とが示した画像の背景領域をそれぞれ切り出して合成に用い、図１２（ｆ）に示したような合成画像を生成し、図１２（ｆ）は図１１（ｆ）と同様である。

ここで図１１（ｈ）に示す合成画像から、図１１（ｂ）に示す画像の左側の背景領域ａが合成画像には含まれていないことがわかる。これは、図１１（ｃ）に示した画像を合成に用いるとき、上書きされるためである。図１２では、前述した背景領域ａが上書きされないように、３枚目の画像の合成に使われる領域を減らす。図１２（ｃ）では、システム制御部２１０が合成に用いる領域がグレーになっていて、図１１（ｃ）と比べて図１２（ｂ）の背景領域ａに相当する部分が欠けていることがわかる。図１２で示した方法では、図１２（ｂ）の背景領域ａを図１２（ｈ）の合成画像に映りこむようにすることができる。

なお、ステップＳ７０１で自撮りパノラマモードでないと判定した場合には、ステップＳ７０７では従来通りの方法でパノラマ画像の合成を行えばよい。つまり、連続して撮像された画像のそれぞれから前景領域と背景領域を抽出する必要はなく、図３や図４に示すように画像の中央付近の領域を切り出して、位置合わせをして合成すればよい。

また、上述した図９乃至図１２では、説明を容易にするため、画像全体を前景領域と背景領域に分ける例を上げて説明を行ってきたが、これに限られるものではない。図３や図４に示すように、画像の中央付近の領域を短冊状に切り出し、この領域内で前景領域と背景領域を区別するようにしてもよい。ただし、短冊状に切り出す領域は、撮像者がはみ出ないように十分な幅を設ける必要がある。

また、本発明は、「前景」が撮像者である場合のみに適用できるものでなく、様々な場面に適用できる。例えば、システム制御部２１０は、前景の抽出手段として、学習済みの畳込みニューラルネットワーク（ＣＮＮ）を使用し、いわゆる一般物体認識手段を使用し、前景となりうる被写体を抽出する。その場合、システム制御部２１０は、学習済みの一般物体の中から、ユーザが予め前景として認識してほしい物体を設定できるようにしてもよい。

ここまでは、撮像者以外の人物が撮影する画角に入っていないことを前提として、説明をしてきた。撮像者以外の人物像がパノラマ撮像の画角に入ってしまうと、前述のような実施方法では以下のような課題が起きる可能性がある。図１３は、本実施形態における撮像者以外の人物像がパノラマ撮像の画角に存在する場合について説明するための図である。

図１３（ａ）乃至図１３（ｄ）では、パノラマ撮像で撮像部２０４が連続して撮像した４枚の画像を示している。そのうち、図１３（ｂ）乃至図１３（ｄ）の画像は、撮像者の人物像以外は、ほかにもう１人の人物像が入っていることがわかる。前述した前景領域の判断方法では、システム制御部２１０が顔認識で人物像を特定し、その人物像を前景領域と見なす。しかしながら、図１３のような場合では、システム制御部２１０は、撮像者でない人物像を前景領域として認識してしまう可能性がある。もともと背景に存在する人物像は、システム制御部２１０によって前景にあると誤認識されると、合成に用いられず、その背景領域にあたる画角が欠けてしまう可能性がある。例えば、図１３に示したような場合では、システム制御部２１０は、図１３（ｂ）に示した画像の最も右側の領域を前景領域と誤認してしまうとする。図１３（ｂ）に示した画像の最も右側の領域が前景領域とされてしまうため、システム制御部２１０は図１３（ｂ）に示した画像の前景領域を合成画像に使用すると選択しない限り、図１３（ｂ）に示した画像の最も右側の領域は合成に使われない。システム制御部２１０は、図１３（ｂ）に示した画像の最も右側の領域にあたる画角を有するほかの画像の領域を合成画像に使わないと、その画角が欠けてしまう。たとえば、システム制御部２１０は、１枚目の画像、つまり図１３（ａ）に示した画像の前景領域を合成に用いると設定すると仮定する。この場合では、図１３（ｂ）に示した画像の最も右側の領域が前景領域に該当するため、システム制御部２１０がこの領域を合成画像に用いない。同様に、図１３（ｃ）に示した画像でも、システム制御部２１０が撮像者でない人物像を前景領域と認識し、合成画像に用いない。図１３（ｄ）においても同様である。その結果、図１３（ｂ）に示した画像の最も右側の領域にあたる画角をもつ領域は、いずれも合成画像に用いられていなく、合成画像にその画角にあたる部分が欠けてしまう。

上述のような課題を解決するために、システム制御部２１０が単純に人物を認識して前景領域と判断するような実施方法を改める必要がある。たとえば、２つ以上の人物像が現れたとき、システム制御部２１０が人物像の被写体距離を取得し、被写体距離の最も近い方のみを前景領域と判断する。または、システム制御部２１０が、最も面積の大きい人物像のみを前景領域と判断する。以上の方法で、システム制御部２１０が撮像者でない人物像を前景領域と誤認してしまうことを防ぐことが期待できる。

本実施形態によれば、撮像者が自撮りでパンニングして撮像した画像を用いて、前景の撮像者の人物像を含むパノラマ画像を撮像するとき、前景の画像が多数回出なく、違和感のないパノラマ画像を作成できる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (13)

1. パンニング動作をしながら撮像された複数の画像のそれぞれから前景と背景を認識する認識手段と、
   前記複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、前記複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成手段と、を有し、
   前記合成手段は、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記前景画像を優先して合成することを特徴とする画像処理装置。
2. 前記合成手段は、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記背景画像に対して前記前景画像を上書きするか、前記前景画像のみを用いて合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、第１のモードが設定された場合に、前記認識手段の認識の結果を用いて、前記前景画像と前記複数の背景画像を用いて合成し、第２のモードが設定された場合に、前記認識手段の認識の結果を用いずに前記複数の画像を用いて合成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１のモードでは、前記認識手段が、撮像者の人物像を前景として認識することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１のモードでは、前記認識手段が、前記撮像者の人物像を含まない領域を背景として認識することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１のモードは、撮像者が自分を撮像した画像を用いてパノラマ画像を生成するモードであることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記いずれか１つの画像は、前記複数の画像が撮像される前に予め指定されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合成手段は、前記複数の画像を撮像された順に合成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成手段は、前記前景画像を含む１つの画像の全体を、合成に用いる他の背景画像より優先して合成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記合成手段は、前記前景画像を含む１つの画像のうちの、前記前景画像よりも前記パンニング動作の方向の側に存在する領域の画像を、合成に用いる他の背景画像より優先して合成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 撮像手段と、
    パンニング動作をしながら前記撮像手段によって撮像された複数の画像のそれぞれから前景と背景を認識する認識手段と、
    前記複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、前記複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成手段と、を有し、
    前記合成手段は、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記前景画像を優先して合成することを特徴とする撮像装置。
12. パンニング動作をしながら撮像された複数の画像のそれぞれから前景と背景を認識する認識ステップと、
    前記複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、前記複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成ステップと、を有し、
    前記合成ステップにおいて、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記前景画像を優先して合成することを特徴とする画像処理方法。
13. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    パンニング動作をしながら撮像された複数の画像のそれぞれから前景と背景を認識する認識ステップと、
    前記複数の画像のいずれか１つの画像において認識された前景に対応する画像である前景画像と、前記複数の画像のそれぞれにおいて認識された背景に対応する複数の背景画像を合成し、パノラマ画像を生成する合成ステップと、を有し、
    前記合成ステップにおいて、前記複数の背景画像のうち、前記前景画像と画角が重なる領域においては、前記前景画像を優先して合成することを特徴とするプログラム。

Images