JP2012191486A - 画像合成装置と画像合成方法およびプログラム - Google Patents

Abstract

【課題】画像の合成を制御して高品質である広画角の合成画像を容易に生成できるようにする。
【解決手段】被写体領域決定部２９３は、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する。合成処理部２９４は、決定された近接被写体の領域の位置に基づき、撮像画像から画像を切り出して繋ぎ合わせて合成画像を生成する。したがって、近接被写体の領域を分割しないように画像を切り出して繋ぎ合わせることで、繋ぎ目に上書きする画像の選択操作や選択した画像を繋ぎ目に上書きする処理を行う必要がなく、高品質である広画角の合成画像を容易に生成できる。
【選択図】 図４

Description

この技術は、画像合成装置と画像合成方法およびプログラムに関する。詳しくは、画像の合成を制御して高品質である広画角の合成画像を容易に生成できるようにする。

従来、撮像装置をスイングまたは平行移動しながら複数回の撮像を行うことにより得られた撮像画像を合成することで、１回の撮像で得られる画像よりも広画角であるパノラマ画像を生成することが行われている。例えば特許文献１では、画像の特徴点を抽出して、この特徴点が一致するように画像を繋ぎ合わせることで、パノラマ画像が生成されている。

また、特徴点が一致するように画像を繋ぎ合わせる場合、ユーザの意図とは無関係に画像の繋ぎ目の位置が決定されて、例えば主要な被写体の位置に繋ぎ目が生じてしまうおそれがある。このため、特許文献２では、ユーザが意図する部分に画像合成による繋ぎ目が生じた場合、ユーザが選択した画像を繋ぎ目に上書きすることが可能とされている。

特開平１１−２８２１００号公報 特開２００８ー１７６４３０号公報

ところで、ユーザが選択した画像をパノラマ画像の繋ぎ目に上書きする場合、上書きする画像を選択する操作が必要となり、ユーザが意図する部分に画像合成による繋ぎ目が生じていないパノラマ画像を自動的に生成することができない。

そこで、この技術では複数の画像を合成して合成画像を生成する場合に、画像の合成を制御して高品質である広画角の合成画像を容易に生成できる画像合成装置と画像合成方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部とを備える画像合成装置にある。

この技術においては、撮像時に測距を行って生成された複数点の被写体距離情報と予め設定されている閾値が比較されて、比較結果に基づき近接被写体の領域が決定される。近接被写体の領域が決定された場合には、近接被写体の領域を分割しないように画像の切り出し、近接被写体の領域が決定されていない場合には、中央部分の画像の切り出しが行われる。また、近接被写体の領域が複数の画像で重複する場合には、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、近接被写体の領域の画像の切り出しが行われて、画像が連続するように繋ぎ合わされて合成画像が生成される。また、被写体距離情報の相関を検出して、検出結果に基づき画像間の重複領域が推定されて、推定された重複領域における被写体距離情報の差分に応じて、画像の拡大または縮小が行われる。さらに、被写体距離情報に基づいて連続する２つの画像間の移動ベクトルが検出されて、近接被写体の領域の位置や移動ベクトルに基づき、拡大または縮小された画像から切り出した画像が繋ぎ合わされて合成画像が生成される。

この技術の第２の側面は、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する工程と、前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する工程とを含む画像合成方法にある。

この技術の第３の側面は、複数の撮像画像から広画角の合成画像を生成する画像合成をコンピュータで実行させるプログラムであって、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する手順と、前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する手順とを前記コンピュータで実行させるプログラム。

なお、本技術のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

この技術によれば、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域が決定される。また、決定した近接被写体の領域の位置に基づき撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像が生成される。したがって、繋ぎ目に上書きする画像の選択操作や選択した画像を繋ぎ目に上書きする処理を行う必要がなく、また、近接被写体の領域の位置に基づき画像が切り出されて合成されるので、高品質である広画角の合成画像を容易に生成できる。

撮像装置の構成を示す図である。 位相差画素を有するＣＭＯＳ固体撮像素子の構成を示す図である。 Ａ系列とＢ系列の像との間に生じるシフト量と、デフォーカス量との関係を例示した図である。 合成処理部の構成を示している。 撮像装置のパノラマ撮像動作を示すフローチャートである。 撮像画像の保存例を示す図である。 撮像画像と被写体距離情報を例示した図である。 合成画像の保存例を示す図である。 合成画像の生成処理を示すフローチャートである。 合成画像の生成処理を例示した図である。 移動ベクトルと拡大縮小処理を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を用いた撮像装置の構成
２．画像処理装置を用いた撮像装置の動作

＜１．画像処理装置を用いた撮像装置の構成＞
図１は、本技術の画像処理装置を用いた撮像装置１０の構成を例示している。撮像装置１０は、撮像レンズ部１１、撮像素子１２、撮像素子駆動部１３、前処理部１４、カメラＤＳＰ部２０、メモリ部４１、表示部４２、記録媒体４３、システム制御部５０、操作部５１を有している。

撮像レンズ部１１は、被写体光を撮像素子１２に導くための撮像光学系として機能するものである。撮像レンズ部１１は、撮像素子１２の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。

撮像素子１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ(Charge Coupled Device）等の固体撮像素子を用いて構成されている。撮像素子１２は、撮像レンズ部１１によって受光面に結像された光学像に応じた撮像信号を生成して前処理部１４に出力する。

撮像素子駆動部１３は、駆動信号を生成して撮像素子１２に供給することで、撮像信号を撮像素子１２で生成して出力させる。

前処理部１４は、撮像素子１２から供給される撮像信号に対して相関二重サンプリング処理（ＣＤＳ：Correlated Double Sampling）やアナログ増幅処理、Ａ／Ｄ変換処理等を行い、画像データを生成してカメラＤＳＰ（Digital Signal Processing）部２０に出力する。

カメラＤＳＰ部２０は、後述するシステム制御部５０の制御のもとで、前処理部５から出力される画像データの記録や再生および画像データに基づく画像表示等に係る処理、広画角の合成画像の生成等を行う。なお、カメラＤＳＰ部２０にはメモリ部４１が接続されており、メモリ部４１は、カメラＤＳＰ部２０で種々の処理を行うための作業用領域として用いられる。

カメラＤＳＰ部２０は、カメラ信号処理部２１、メモリ制御部２２、レンズ制御部２３、解像度変換部２４、表示制御部２５、コーデック部２６、メディア制御部２７、被写体距離計測部２８、合成処理部２９を有している。また、カメラＤＳＰ部２０の各部は、内部バス３０を介して接続されている。

カメラ信号処理部２１は、前処理部１４から供給される画像データに対してホワイトバランス調整処理、ガンマ補正処理等を行う。また、カメラ信号処理部２１は、画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部２３に出力する。

メモリ制御部２２は、メモリ部４１に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部２２は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データをメモリ部４１に書き込み、またメモリ部４１に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

レンズ制御部２３は、カメラ信号処理部２１から得られる情報や、後述するシステム制御部５０からの制御信号に基づき、撮像レンズ部１１を駆動して、オートフォーカス制御やズーム制御、絞り制御等を行う。

解像度変換部２４は、メモリ部４１に格納された画像データ、またはカメラ信号処理部２１から出力される画像データの解像度を変換する。例えば、解像度変換部２４は、カメラ信号処理が行われた画像データを表示部４２の表示解像度に対応した画像データに変換する。また、解像度変換部２４は、ユーザにより指示された解像度に変換して、記録媒体４３に記録できるようにする。また、撮像画像の一部領域を切り出してこの解像度の変換処理に係る処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。

表示制御部２５は、解像度変換部２４から供給された画像データやメモリ部４１に格納された画像データにより表示部４２を駆動して、撮像動作時におけるモニタ画像やメモリ部４１に記録されている画像、および記録媒体４３に記録されている画像の表示を行う。また、表示制御部２５は、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示等を、表示部４２で表示させる。

コーデック部２６は、画像データのデータ圧縮処理を行い、得られた符号化データをメモリ制御部２２やメディア制御部２７に出力して、メモリ部４１や記録媒体４３に記録させる。また、メモリ部４１や記録媒体４３から読み出された符号化データのデータ伸長処理を行い、得られた画像データをメモリ制御部２２や表示制御部２５等に出力する。なおこのデータ圧縮、伸長は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group）の手法が適用され、動画にあっては、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２（Motion Picture Experts Group 2）、ＭＰＥＧ４（Motion Picture Experts Group 4）、ＩＴＵ−ＴのＨ．２６３、Ｈ．２６４/ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）等、動きベクトルを用いたデータ圧縮手法が適用される。

メモリ制御部２２は、メモリ部４１に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部２２は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データをメモリ部４１に書き込み、またメモリ部４１に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

メディア制御部２７は、記録媒体４３に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メディア制御部２７は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データを記録媒体４３に書き込み、また記録媒体４３に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

被写体距離計測部２８は、撮像時に撮像範囲内の複数点で被写体までの距離を計測して、計測結果に応じた距離情報（以下「被写体距離情報」という）を生成する。被写体距離計測部２８は、生成した被写体距離情報を合成処理部２９に出力する。または、被写体距離計測部２８は、生成した被写体距離情報を撮像画像の画像データと関連付けてメモリ部４１や記録媒体４３に供給する。

被写体距離計測部２８としては、例えば特開２０１０−１６９７０９号公報に示されているように、被写体光を瞳分割して焦点検出するための位相差画素を有するＣＭＯＳ固体撮像素子を用いることができる。図２は、位相差画素を有するＣＭＯＳ固体撮像素子の構成を示している。撮像素子１２は、フォトダイオードを用いて構成される複数の画素がマトリクス状に２次元配置されている。各画素の受光面には、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されて、Ｒ画素１２１、Ｇ画素１２２およびＢ画素１２３が形成されている。また、被写体光を瞳分割して焦点検出するための位相差画素のペア(以下「ＡＦ（AutoFocus）画素対」という)１２ｆが設けられている。なお、Ｒ画素１２１、Ｇ画素１２２、Ｂ画素１２３およびＡＦ画素対１２ｆで示す破線は、集光レンズとして機能するマイクロレンズを示している。

瞳分割機能を持たない画素は、Ｇ画素１２２とＲ画素１２１とが水平方向に交互に配置されて水平ラインＬ１を形成しており、Ｂ画素１２３とＧ画素１２２とが水平方向に交互に配置されて水平ラインＬ２を形成している。この水平ラインＬ１と水平ラインＬ２とが垂直方向に交互に配置されることでベイヤー配列が構成される。

ＡＦ画素対１２ｆは、水平方向に沿って繰り返し配列されてＡＦラインＬｆを形成している。なお、斜線の領域は遮光部ＬＳである。このように構成されたＡＦラインＬｆは、垂直方向に所定ライン数の配置間隔をもって複数設けられている。また、ＡＦ画素対１２ｆの第１ＡＦ画素１２ｆ-aで得られる受光データをＡ系列のデータ、第２ＡＦ画素１２ｆ-bで得られる受光データをＢ系列のデータとする。

Ａ系列の像とＢ系列の像を比較すると、デフォーカス量が大きいほど、Ａ系列の像とＢ系列の像との間に生じるＡＦラインＬｆ(水平方向)方向のシフト量(ズレ量)が増大する。図３は、Ａ系列とＢ系列の像との間に生じるシフト量と、デフォーカス量との関係を例示している。なお、図３においては、縦軸がＡ系列の像の重心位置に対するＢ系列の像の重心位置の差(画素ピッチ)を示し、縦軸がデフォーカス量(μｍ)を示している。なお、各像の重心位置Ｘgは、式(１)により求められる。なお、式(１)において、Ｘ1〜Ｘnは、例えばＡＦラインＬｆにおける左端からの画素位置を表し、Ｙ1〜Ｙnは、各位置Ｘ1〜Ｘnの第１ＡＦ画素１２ｆ-a、第２ＡＦ画素１２ｆ-bからの出力値を表している。

図３に示すように一対の像における重心位置の差（ピッチ）とデフォーカス量(μｍ)との関係は、比例関係となっている。この関係について、デフォーカス量をＤＦ(μｍ)とし重心位置の差をＣ(μｍ)として数式で表現すると、次の式(２)のようになる。なお、式(２)の係数ｋは、傾きＧｋ(破線で図示)を表しており、工場試験等によって事前に取得できるものである。

このように、ＡＦラインＬｆのＡＦ画素対１２ｆから得られるＡ系列のデータとＢ系列のデータに関する重心位置の差(位相差)Ｃを算出して、さらに式(２)の演算を行うことでデフォーカス量ＤＦが算出できる。このようにして算出したデフォーカス量ＤＦに基づき、被写体までの距離被写体までの距離を算出する。また、ＡＦ画素対１２ｆは、撮像面に分散して設けられていることから、撮像範囲内の複数点で被写体までの距離を計測できる。

なお、被写体距離計測部２８は、撮像範囲内の複数点で被写体までの距離に応じた被写体距離情報を生成できれば、位相差画素を有するＣＭＯＳ固体撮像素子を用いる場合に限られない。例えば、被写体距離計測部２８は、赤外光または超音波等を利用した測距センサからのセンサ信号に基づき、被写体までの距離を判別して、被写体距離情報を生成してもよい。

図１に戻り、合成処理部２９は、カメラ信号処理部２１やメモリ部４１から読み出された画像データ、またはコーデック部２６から供給された画像データを用いて撮像画像の画像合成を行い、合成画像の画像データを生成する。また、合成処理部２９は、画像合成において、複数点の被写体距離情報に基づき近接被写体の領域を決定して、決定した近接被写体の領域の位置に基づき撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせる。

図４は、合成処理部２９の構成を示している。合成処理部２９は、移動ベクトル検出部２９１と拡大縮小部２９２と被写体領域決定部２９３および合成処理部２９４を有している。

移動ベクトル検出部２９１は、被写体距離情報の相関に基づき、連続する２つの撮像画像間の移動ベクトルを検出する。拡大縮小部２９２は、連続する２つの撮像画像間において重複部分の被写体距離情報に基づき画像の拡大縮小を行い、連続する画像において同一被写体の画像サイズを一致させる。また、拡大縮小部２９２は、拡大縮小処理後の画像に対応させて被写体距離情報を補正する。

被写体領域決定部２９３は、被写体距離情報に基づき、近接被写体の領域を決定する。被写体領域決定部２９３は、予め設定されている閾値と被写体距離情報を比較して、閾値よりも被写体距離情報が小さい座標位置を近接被写体の領域と決定する。

合成処理部２９４は、被写体領域の検出結果に基づき画像を切り出して、移動ベクトル検出部２９１で検出された移動ベクトルに基づき位置を調整して合成することで、繋ぎ目部分の画像が連続している合成画像を生成する。合成処理部２９４は、被写体領域の検出結果で近接被写体が示されている場合、画像の繋ぎ目が近接被写体の位置とならないように画像の切り出しを行う。また、合成処理部２９４は、被写体領域の検出結果で近接被写体が示されていない場合、撮像レンズ部１１等による画像歪みの影響の少ない中央部分の画像を切り出す。例えば、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、近接被写体の領域の画像の切り出しを行う。さらに、画像の切り出しは、被写体領域の検出結果と移動ベクトルに基づき、繋ぎ目部分で画像のブレンドを行うことができるように、繋ぎ目部分の被写体が重複するように切り出しを行うようにしてもよく、繋ぎ目部分で一方の画像から他方の画像に切り替わり、繋ぎ目部分の被写体の画像が連続するように切り出しを行うようにしてもよい。合成処理部２９４は、切り出した画像を順に繋ぎ合わせて広画角の合成画像すなわちパノラマ画像を生成する。

また、合成処理部２９４は、被写体距離情報に基づき撮像画像間の近接被写体の領域の重複を判別して、近接被写体の領域が重複する場合には、近接被写体の領域がより中央に位置する画像すなわち画像歪みの影響の少ない近接被写体の領域の画像の切り出しを行う。

図１に戻り、表示部４２は、液晶表示素子や有機ＥＬ等の平面表示素子を用いて構成されている。表示部４２は、表示制御部２５の制御の下で、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示、撮像画像や再生画像等の表示を行う。

記録媒体４３は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録媒体等が用いられる。記録媒体４３は、コーデック部２６で生成された符号化データ等を記録する。

システム制御部５０には、操作部５１が接続されている。操作部５１は、撮像装置１０に設けられた操作スイッチや操作ボタン、表示部４２の表示画面に設けられたタッチパネル等を用いて構成されており、ユーザによる操作に応じた操作信号をシステム制御部５０に出力する。

システム制御部５０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)等を用いて構成されている。システム制御部５０は、ＲＯＭに記憶されているプログラムを読み出してＣＰＵで実行して、操作信号に基づき撮像装置１０の動作がユーザ操作に応じた動作となるように各部の動作を制御する。なお、プログラムは、事前に、撮像装置１０にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしてもよい。

＜２．画像処理装置を用いた撮像装置の動作＞
図５は、本技術の画像処理装置を用いた撮像装置のパノラマ撮像動作を示すフローチャートである。ステップＳＴ１で撮像装置１０は、１フレーム撮像処理を行う。撮像装置１０は、１フレーム撮像処理を行い１フレーム分の撮像画像の画像データを生成する。また、撮像装置１０は、被写体距離計測部２８によって、撮像画像内の被写体までの距離を算出して被写体距離情報を生成する。さらに、撮像装置１０は、撮像画像の画像データと被写体距離情報を例えばメモリ部４１に保存してステップＳＴ２に進む。

図６は、メモリ部４１における画像データと被写体距離情報の保存例を示している。各フレームの画像データは、被写体距離情報が関連付けられて保存されている。また、各フレームの画像データに対して、撮像情報や現像用パラメータも関連付けて保存されている。被写体距離情報は、例えばフレーム画像上に設定した複数の座標の位置における被写体までの距離を識別可能とする情報である。

図７の（Ａ）は撮像画像、図７の（Ｂ）は図７の（Ａ）に示す撮像画像に対する被写体距離情報を例示している。被写体距離情報は、撮像画像上に設定した複数の座標の位置における被写体までの距離に応じた値を示しており、被写体までの距離が短い場合には小さい値、被写体までの距離が長い場合には大きな値とされている。例えば図７では、座標の位置が撮像画像における手前の地面の位置である場合「１０」、座標の位置が撮像画像における空の位置である場合「９９」としている。

図６に示す撮像情報は、撮影日時、露出制御値、ズーム倍率などのカメラ設定値、レンズ情報などの様々な情報である。また、現像用パラメータは、ＲＡＷデータを現像するためのホワイトバランス値やγ値等である。

図５に戻り、ステップＳＴ２で撮像装置１０は、撮像終了であるか判別する。撮像装置１０は、撮像動作を継続する場合にはステップＳＴ１に戻り、撮像動作を終了する場合にはステップＳＴ３に進み、撮像動作を継続する場合にはステップＳＴ１に戻る。撮像装置１０は、撮像終了操作が行われるまで撮像動作を継続して、撮像終了操作が行われた場合に撮像動作を終了する。また、撮像装置１０は、例えば所定フレーム数分の撮像画像を生成した場合や、パノラマ画像の生成のために行われた撮像装置１０のスイング動作または平行移動動作が終了した場合に撮像動作の終了としてもよい。

ステップＳＴ３で撮像装置１０は、合成処理を行う。撮像装置１０は、メモリ部４１に保存されている複数枚の撮像画像から画像を切り出して繋ぎ合わせることで、広画角の合成画像を生成してステップＳＴ４に進む。また、撮像装置１０は、被写体距離情報に基づき、高品質の合成画像を生成できるように、画像の合成を制御する。

ステップＳＴ４で撮像装置１０は、合成画像保存処理を行う。撮像装置１０は、生成した合成画像の画像データを、メモリ部４１や記録媒体４３に記録して、合成画像を保存する。例えば、図８に示すように、合成画像の画像データに対して、合成画像における被写体距離情報や、撮像情報、現像用パラメータ、機種情報等を関連付けて保存する。

図９は、合成処理を示すフローチャートである。ステップＳＴ１１で撮像装置１０の合成処理部２９は、画像データと被写体距離情報の取得を行う。合成処理部２９は、メモリ部４１に保存されている画像データと被写体距離情報から合成する画像データと、この画像データに関係付けられている被写体距離情報を取得してステップＳＴ１２に進む。

ステップＳＴ１２で合成処理部２９は、移動ベクトルの検出を行う。合成処理部２９は、連続する画像の被写体距離情報に基づいて画像間の移動ベクトルを検出する。例えば、時刻の早い撮像画像における撮像装置移動方向の端部側領域の被写体距離情報と、時刻の遅い撮像画像の被写体距離情報との相関検出を行い、相関が最も高くなる位置を求めることで移動ベクトルの検出を行う。また、被写体距離情報に基づいて画像間の移動ベクトルを検出する場合、被写体距離情報の数が少ないと、高い精度で移動ベクトルを検出することができない。したがって、合成処理部２９は、被写体距離情報に基づいて画像間の移動ベクトルの第１の検出を行い、第１の検出結果に基づき探索範囲を設定して、探索範囲の画像データを用いて移動ベクトルの第２の検出を行うようにしてもよい。すなわち、被写体距離情報に基づいて移動ベクトルの粗検出を行い、粗検出結果に基づき探索範囲を設定して、探索範囲の画像データの詳細検出を行う。このように、移動ベクトルの検出を行えば、画像データのみを用いる場合に比べて、移動ベクトルの検出が容易となる。また、被写体距離情報のみを用いる場合に比べて、移動ベクトルの検出精度を高めることができる。

ステップＳＴ１３で合成処理部２９は、拡大縮小処理を行う。合成処理部２９は、被写体距離情報に基づいて撮像画像間の重複領域を推定して、推定した重複領域における被写体距離情報の差分に応じて、画像の拡大または縮小を行う。例えば被写体距離情報が小さい被写体は近接していることから画像サイズが大きく、被写体距離情報が大きい被写体は離れていることから画像サイズが小さい。すなわち同一被写体で被写体距離情報が異なると、画像サイズの相違が生じていると想定される。したがって、合成処理部２９は、拡大縮小処理を行うことにより、連続する画像において同一被写体の画像サイズを一致させてステップＳＴ１４に進む。なお、被写体距離情報と画像サイズは、撮像レンズ部１１のズーム倍率等によって相違する。したがって、被写体距離情報の差分に応じて、画像の拡大または縮小を行う場合は、撮像情報に含まれているカメラ設定値やレンズ情報に基づき拡大倍率や縮小倍率を決定すればよい。

ステップＳＴ１４で合成処理部２９は、被写体領域を決定する。合成処理部２９は、被写体距離情報に基づき撮像画像における近接被写体の領域を決定する。例えば、近接している被写体では被写体距離情報の値が小さく、離れている被写体では被写体距離情報の値が大きくなるとする。この場合、合成処理部２９は、被写体距離情報の値が予め設定されている閾値よりも小さい領域を近接被写体の領域としてステップＳＴ１５に進む。また、撮像画像において、近接した被写体と離れた被写体との境界では、被写体距離情報の差分が大きくなる。したがって、周辺の被写体距離情報との差分を利用して、近接被写体の領域を判別してもよい。さらに、被写体距離情報だけでなく画像処理による被写体検出結果を用いて所望の近接被写体を検出してもよい。例えば、被写体距離情報から近接被写体の領域を検出して、検出された近接被写体の領域の画像を用いて顔認識を行うことで、近接する人物をより確実に検出することができる。なお、人物が後ろを向いている場合には顔を認識することができないが、被写体距離情報によって近接被写体であるかを判別することができる。

ステップＳＴ１５で合成処理部２９は、近接被写体が含まれているか判別する。合成処理部２９は、近接被写体が含まれていると判別した場合にはステップＳＴ１６に進み、近接被写体が含まれていないと判別した場合にはステップＳＴ１７に進む。

ステップＳＴ１６で合成処理部２９は、近接被写体領域を分割しないように画像の切り出しを行う。合成処理部２９は、ステップＳＴ１４で検出した近接被写体領域が画像の切り出しで分割されることがなく、画像を合成したとき繋ぎ目の画像が連続するように切り出し位置や切り出し幅（合成画像の長手方向に対応するサイズ）を決定する。なお、切り出し位置や切り出し幅の決定において、検出されている移動ベクトルを用いれば、画像を合成したとき繋ぎ目の画像が連続するように切り出し位置や切り出し幅を容易に決定できる。このようにして、合成処理部２９は、撮像画像から合成処理に用いる画像を切り出してステップＳＴ１８に進む。また、合成処理部２９は、被写体距離情報に基づき撮像画像間の近接被写体の領域の重複を判別して、領域が重複する場合には、近接被写体の領域がより中央に位置する撮像画像から画像の切り出しを行う。すなわち、画像歪みの影響の少ない近接被写体の領域の画像の切り出しを行う。近接被写体の領域の重複は、近接被写体の領域に対応する被写体距離情報の相関を検出して、検出結果に基づき判別する。例えば、近接被写体の領域が一致すると、近接被写体の領域に対応する被写体距離情報の相関が高くなる。したがって、被写体距離情報の相関に基づき近接被写体の領域の重複を判別できる。なお、相関検出は後述の移動ベクトルの検出と同様に行えばよい。

ステップＳＴ１７で合成処理部２９は、中央部分の画像の切り出しを行う。合成処理部２９は、撮像レンズ部１１等によって生じる歪みの少ない中央部分から合成処理に用いる画像を切り出してステップＳＴ１８に進む。また、合成処理部２９は、画像を合成したとき繋ぎ目の画像が連続するように切り出し位置や切り出し幅を決定する。

ステップＳＴ１８で合成処理部２９は、画像の合成を行う。合成処理部２９は、ステップＳＴ１６やステップＳＴ１７で切り出した画像を、ステップＳＴ１２で検出した移動ベクトルに基づき位置を調整して合成することで、繋ぎ目部分の画像が連続している合成画像を生成してステップＳＴ１９に進む。

ステップＳＴ１９で合成処理部２９は、被写体距離情報を合成画像に関連付ける。合成処理部２９は、画像の拡大または縮小に応じて補正されている被写体距離情報を合成画像に関連付けてステップＳＴ２０に進む。また、画像合成では、移動ベクトルに基づき画像の切り出しや合成が行われるため、合成の画像における測距点の間隔が繋ぎ目で短くなってしまう場合が想定される。したがって、間隔が一様とされた測距点に対応する被写体距離情報を線形補間演算等によって算出して、合成画像に関連付けてもよい。なお、ステップＳＴ１９の処理は、ステップＳＴ２０で合成処理が終了したと判断された後に行うようにしてもよい。また、ステップＳＴ１９の処理を行うことなく、合成画像の生成のみを行うようにしてもよい。

ステップＳＴ２０で合成処理部２９は、最後の画像の合成が終了したか判別する。合成処理部２９は、上述の処理に用いられていない画像が残っている場合にはステップＳＴ１１に戻り、全ての画像を用いて上述の処理が終了している場合には合成処理を終了する。

図１０は、合成画像の生成処理を例示している。図１０の（Ａ）は複数枚の撮像画像Ｐ１〜Ｐ５、図１０の（Ｂ）は合成画像を示している。

合成処理部２９は、撮像画像の画像データと被写体距離情報を取得して、被写体領域検出処理を行う。例えば、被写体領域検出処理によって、撮像画像Ｐ１では被写体ＯＢ１，ＯＢ２の領域、撮像画像Ｐ２では被写体ＯＢ２，ＯＢ３の領域、撮像画像Ｐ３では被写体ＯＢ３の領域が近接被写体の領域と判別されたとする。

合成処理部２９は、移動ベクトルの検出と拡大縮小処理を行う。なお、移動ベクトルの検出と拡大縮小処理については、図１１を用いて後述する。

合成処理部２９は、近接被写体が含まれている場合、近接被写体領域が画像の切り出しで分割されることがなく、画像を合成したとき繋ぎ目に近接被写体領域の画像が存在しないように切り出し位置や切り出し幅を決定して、合成処理に用いる画像を切り出す。また、合成処理部２９は、被写体距離情報に基づき撮像画像間の近接被写体の領域の重複を判別して、近接被写体の領域が重複する場合には、近接被写体の領域がより中央に位置する画像の切り出しを行う。ここで、撮像画像Ｐ１では近接被写体として被写体ＯＢ１，ＯＢ２、撮像画像Ｐ２では近接被写体として被写体ＯＢ２，ＯＢ３、撮像画像Ｐ３では近接被写体として被写体ＯＢ３が検出されているとする。また、撮像画像Ｐ１と撮像画像Ｐ２では被写体ＯＢ２が重複しており、撮像画像Ｐ２と撮像画像Ｐ３では被写体ＯＢ３が重複しているとする。さらに、被写体ＯＢ２が中央に位置する画像は撮像画像Ｐ２であり、被写体ＯＢ３が中央に位置する画像は撮像画像Ｐ３とする。この場合、合成処理部２９は、重複する近接被写体の領域が、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、近接被写体の領域の画像の切り出しを行う。すなわち、撮像画像Ｐ１に含まれる被写体ＯＢ２の画像は、撮像画像Ｐ２以降の画像から切り出すようにして、撮像画像Ｐ１の被写体ＯＢ１の領域が分割されないように切り出し領域ＡＲ１を設定して画像の切り出しを行う。また、合成処理部２９は、撮像画像Ｐ２に含まれる被写体ＯＢ３の画像は撮像画像Ｐ３以降の画像から切り出すようにして、撮像画像Ｐ２の被写体ＯＢ２の領域が分割されないように切り出し領域ＡＲ２を設定して画像の切り出しを行う。

合成処理部２９は、画像合成を行い切り出した領域ＡＲ１，ＡＲ２の画像を繋ぎ合わせることで、合成画像を生成する。

また、撮像画像Ｐ３と撮像画像Ｐ４では被写体ＯＢ３が重複しており、被写体ＯＢ３が画像を繋ぎ合わせる方向において、より中央に位置する画像は撮像画像Ｐ３である。したがって、合成処理部２９は、撮像画像Ｐ３に含まれる被写体ＯＢ３の領域が分割されないように切り出し領域ＡＲ３を設定して画像の切り出しを行う。また、合成処理部２９は、画像合成を行い切り出した領域ＡＲ３の画像を合成画像に繋ぎ合わせることで、広画角の合成画像を生成する。

以下同様な処理を時間順の最後の撮像画像まで繰り返し行うことで、図１０の（Ｂ）に示すように、広画角の合成画像ＰＧを生成できる。なお、図１０では、繋ぎ目部分で一方の画像から他方の画像に切り替わるように画像を切り出しているが、繋ぎ目部分でお互いの画像が重複するように切り出してもよい。

図１１は、移動ベクトルと拡大縮小処理を例示した図である。図１１の（Ａ）は移動ベクトルの算出と拡大縮小処理に用いる連続する２つの撮像画像、例えば撮像画像Ｐ１と撮像画像Ｐ２を示している。図１１の（Ｂ）は、撮像画像Ｐ１と撮像画像Ｐ２の被写体距離情報を示している。

合成処理部２９は、例えば撮像画像Ｐ１と撮像画像Ｐ２の移動ベクトルを検出する場合、時刻の早い撮像画像Ｐ１における撮像装置移動方向の端部側領域ＤＬａの被写体距離情報と、時刻の遅い撮像画像Ｐ２の被写体距離情報との相関を検出して、相関が最も高くなる位置を求める。ここで、撮像画像Ｐ２の被写体距離情報における領域ＤＬｂで相関が最も高くなる場合には、端部側領域ＤＬａと領域ＤＬｂから図１１の（Ｃ）に示すように、撮像画像Ｐ１と撮像画像Ｐ２との移動ベクトルＭＶを容易に検出できる。また、領域ＤＬｂを基準として探索範囲を設定して、端部側領域ＤＬａ内の画像と探索範囲内の画像の相関検出を行えば、被写体距離情報が少ない場合すなわち測距が行われた点が少ない場合でも、精度よく移動ベクトルを検出できる。

また、合成処理部２９は、被写体距離情報に基づいて撮像画像間の重複領域を推定して、推定した重複領域における被写体距離情報の差分に応じて、画像の拡大または縮小を行う。合成処理部２９は、例えば被写体距離情報の相関検出を行い、相関が高い領域を重複領域と判別する。上述のように、移動ベクトルの検出では、被写体距離情報との相関検出を行い、相関が最も高くなる位置を求めることで移動ベクトルを検出している。すなわち、移動ベクトルの検出では、撮像画像間の重複領域を検出していることから、検出された重複領域における被写体距離情報の差分に応じて、画像の拡大または縮小を行えばよい。すなわち、撮像画像Ｐ１における端部側領域ＤＬａの被写体距離情報と、撮像画像Ｐ２における領域ＤＬｂの被写体距離情報の差分に応じて画像の拡大または縮小を行う。なお、図１１では、端部側領域ＤＬａの被写体距離情報に比べて領域ＤＬｂの被写体距離情報の値が小さい。すなわち、撮像画像Ｐ２は撮像画像Ｐ１に比べて被写体に近接して撮像が行われたと判別して、撮像画像Ｐ２を縮小させる。また、縮小倍率は、カメラ設定値やレンズ情報に基づき決定する。このように被写体距離情報に基づいて拡大縮小処理を行えば、例えば被写体から離れる方向に移動しながらスイング動作を行い、複数の撮像画像を生成して画像合成を行った場合でも、繋ぎ目を連続した画像とすることが可能となる。

また、移動ベクトルに基づき画像の切り出しと合成を行うと、移動ベクトルが合成画像の長手方向に対して傾きを有している場合、図１１の（Ｃ）に示すように、合成画像は矩形状の画像とならない場合が生じる。したがって、合成処理部２９は、合成画像から矩形状にトリミングすることで、トリミング後の画像ＰＨを合成画像として保存する。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

ハードウェアやソフトウェア、または両者の複合構成によって一連の処理を実行する場合、記録媒体から撮像画像の画像データと撮像画像に対応する被写体距離情報を読み出すようにしてもよく、ネットワークを介して他の機器から取得するようにしてもよい。さらに、他の機器からネットワーク等を介して画像データと被写体距離情報を取得して、撮像装置で合成画像を生成するようにしてもよい。

このように、本技術によれば、近接被写体の画像が分割されることなく切り出されて画像合成に用いられるので、上書きする画像の選択操作や繋ぎ目に選択した画像を上書きする処理を行う必要がなく、高品質である広画角の合成画像を容易に生成できる。また、近接被写体が複数枚の撮像画像に含まれる場合や、近接被写体が含まれていない場合には、歪みの少ない部分から画像が切り出されるので、高品質の合成画像を生成できる。さらに、重複部分の被写体距離情報の差分に応じて拡大縮小処理が行われて同一被写体の画像サイズが等しくされるので、撮像時に撮像画像間で被写体までの距離が変化しても繋ぎ目部分を連続した画像とすることができる。また、被写体距離情報を用いることで移動ベクトルの検出が容易となる。

なお、本技術は上述した技術の実施の形態に限定して解釈されるべきではない。例えば、上述の実施の形態では、矩形状に画像を切り出す場合について説明したが、近接被写体の形状に応じて画像を切り出すようにしてもよい。また、切り出した画像に対して拡大縮小処理を行うようにしても、繋ぎ目部分を連続した画像とすることができる。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術は以下のような構成も取ることができる。
（１）撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部と
を備える画像合成装置。

（２）前記合成処理部は、前記近接被写体の領域が決定されている場合には、前記近接被写体の領域を分割しないように画像の切り出しを行う前記（１）に記載の画像合成装置。

（３）前記合成処理部は、前記近接被写体の領域が決定されていない場合には、中央部分の画像の切り出しを行う前記（１）または前記（２）に記載の画像合成装置。

（４）前記合成処理部は、前記被写体距離情報に基づき画像間の前記近接被写体の領域の重複を判別して、前記近接被写体の領域が重複する場合には、該重複する近接被写体の領域がより中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う前記（１）乃至前記（３）の何れかに記載の画像合成装置。

（５）前記合成処理部は、前記重複する近接被写体の領域が、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う前記（１）乃至前記（４）の何れかに記載の画像合成装置。

（６）前記合成処理部は、前記検出された近接被写体の領域に対応する被写体距離情報の相関を検出して、検出結果に基づき画像間における前記近接被写体の領域の重複を判別する前記（１）乃至前記（５）の何れかに記載の画像合成装置。

（７）前記被写体距離情報に基づいて画像間の重複領域を推定して、該推定した重複領域における前記被写体距離情報の差分に応じて、画像の拡大または縮小を行う拡大縮小部をさらに備え、
前記画像合成部は、前記被写体距離情報の差分に応じて拡大または縮小された画像の繋ぎ合わせを行う前記（１）乃至前記（６）の何れかに記載の画像合成装置。

（８）前記拡大縮小部は、前記被写体距離情報の相関を検出して、検出結果に基づき画像間の重複領域を推定する前記（７）に記載の画像合成装置。

（９）前記被写体距離情報に基づいて、連続する２つの撮像画像間の移動ベクトルを検出する移動ベクトル検出部をさらに備え、
前記画像合成部は、前記検出した移動ベクトルに基づいて前記合成画像の生成を行う前記（１）乃至前記（８）の何れかに記載の画像合成装置。

（１０）前記移動ベクトルは、前記被写体距離情報に基づいて画像間の移動ベクトルの第１の検出を行い、第１の検出結果に基づき探索範囲を設定して、該探索範囲の画像データを用いて前記移動ベクトルの第２の検出を行う前記（９）に記載の画像合成装置。

（１１）前記被写体領域決定部は、予め設定されている閾値と前記被写体距離情報を比較して、比較結果に基づき前記近接被写体の領域を決定する前記（１）乃至前記（１０）の何れかに記載の画像合成装置。

この技術の画像合成装置と画像合成方法およびプログラムでは、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域が決定される。また、決定した近接被写体の領域の位置に基づき撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像が生成される。したがって、繋ぎ目に上書きする画像の選択操作や選択した画像を繋ぎ目に上書きする処理を行う必要がなく、また、近接被写体の領域の位置に基づき画像が切り出されて合成されるので、高品質である広画角の合成画像を容易に生成できる。このため、撮像装置や画像の編集装置等に適している。

１０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像素子、１２ｆ・・・ＡＦ画素対、１２ｆ-a・・・第１ＡＦ画素、１２ｆ-b・・・第２ＡＦ画素、１３・・・撮像素子駆動部、１４・・・前処理部、２０・・・カメラＤＳＰ部、２１・・・カメラ信号処理部、２２・・・メモリ制御部、２３・・・レンズ制御部、２４・・・解像度変換部、２５・・・表示制御部、２６・・・コーデック部、２７・・・メディア制御部、２８・・・被写体距離計測部、２９・・・合成処理部、３０・・・内部バス、４１・・・メモリ部、４２・・・表示部、４３・・・記録媒体、５０・・・システム制御部、５１・・・操作部、１２１・・・Ｒ画素、１２２・・・Ｇ画素、１２３・・・Ｂ画素、２９１・・・移動ベクトル検出部、２９２・・・拡大縮小部、２９３・・・被写体領域決定部、２９４・・・合成処理部

Claims (13)

1. 撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、
   前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部と
   を備える画像合成装置。
2. 前記合成処理部は、前記近接被写体の領域が決定されている場合には、前記近接被写体の領域を分割しないように画像の切り出しを行う請求項１記載の画像合成装置。
3. 前記合成処理部は、前記近接被写体の領域が決定されていない場合には、中央部分の画像の切り出しを行う請求項１記載の画像合成装置。
4. 前記合成処理部は、前記被写体距離情報に基づき画像間の前記近接被写体の領域の重複を判別して、前記近接被写体の領域が重複する場合には、該重複する近接被写体の領域がより中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う請求項１記載の画像合成装置。
5. 前記合成処理部は、前記重複する近接被写体の領域が、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う請求項４記載の画像合成装置。
6. 前記合成処理部は、前記決定された近接被写体の領域に対応する被写体距離情報の相関を検出して、検出結果に基づき画像間における前記近接被写体の領域の重複を判別する請求項４記載の画像合成装置。
7. 前記被写体距離情報に基づいて画像間の重複領域を推定して、該推定した重複領域における前記被写体距離情報の差分に応じて、画像の拡大または縮小を行う拡大縮小部をさらに備え、
   前記画像合成部は、前記被写体距離情報の差分に応じて拡大または縮小された画像を用いて前記合成画像の生成を行う請求項１記載の画像合成装置。
8. 前記拡大縮小部は、前記被写体距離情報の相関を検出して、検出結果に基づき画像間の重複領域を推定する請求項７記載の画像合成装置。
9. 前記被写体距離情報に基づいて、連続する２つの撮像画像間の移動ベクトルを検出する移動ベクトル検出部をさらに備え、
   前記画像合成部は、前記検出した移動ベクトルに基づいて前記合成画像の生成を行う請求項１記載の画像合成装置。
10. 前記移動ベクトルは、前記被写体距離情報に基づいて画像間の移動ベクトルの第１の検出を行い、第１の検出結果に基づき探索範囲を設定して、該探索範囲の画像データを用いて前記移動ベクトルの第２の検出を行う請求項９記載の画像合成装置。
11. 前記被写体領域決定部は、予め設定されている閾値と前記被写体距離情報を比較して、比較結果に基づき前記近接被写体の領域を決定する請求項１記載の画像合成装置。
12. 撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する工程と、
    前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する工程と
    を含む画像合成方法。
13. 複数の撮像画像から広画角の合成画像を生成する画像合成をコンピュータで実行させるプログラムであって、
    撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する手順と、
    前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する手順と
    を前記コンピュータで実行させるプログラム。

Images