JP2012044339A

JP2012044339A - 撮像装置及びパノラマ画像データ生成方法

Info

Publication number: JP2012044339A
Application number: JP2010181983A
Authority: JP
Inventors: Keisuke Uchida; 敬介内田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-08-16
Filing date: 2010-08-16
Publication date: 2012-03-01

Abstract

【課題】撮影間の装置移動量が既知ではないパノラマ撮影を行う場合に、低周波模様の被写体であっても自然なパノラマ画像データを得ることが可能な撮像装置を提供する。
【解決手段】パノラマ撮影機能を有する撮像装置であって、被写体の可視光画像を撮影する撮像素子２と、撮像素子２が撮影する前記被写体の赤外光画像を同時に撮影する撮像素子３と、撮像素子２で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するデジタル信号処理部９とを備え、デジタル信号処理部９は、合成対象となる２つの前記可視光撮像画像データを得るための２回の撮影間の撮像装置１００の移動量を、当該２回の撮影において撮像素子３で同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行う機能を有する。
【選択図】図１

Description

本発明は、撮像装置及びパノラマ画像データ生成方法に関する。

パノラマ撮影機能を有するデジタルカメラが近年普及してきている。このようなデジタルカメラでは、例えば、ユーザがデジタルカメラを移動させながら複数回の撮影を行い、その複数回の撮影で得られた複数の撮影画像データ同士を連結することでパノラマ画像データを生成している（特許文献１参照）。

ユーザがカメラを移動させながら行うパノラマ撮影時のパノラマ画像データの生成方法としては、ある撮影画像データにおける特徴点と、その次の撮影で得られた撮影画像データにおける特徴点との比較により、これら２つの撮影画像データを得た２回の撮影間のカメラの移動量を検出し、この移動量に基づいて、複数の撮影画像データ同士の連結を行う方法が知られている。

このような方法は、撮影した被写体に特徴点が多く見つかる場合には有効であるが、特徴点を見つけにくい被写体、例えば空等の低周波模様を多く含む被写体を撮影した場合には、移動量を正確に算出することができず、撮影画像データの連結を精度良く行うことができない。

特許文献１、２には、可視光撮影と赤外光撮影を行って、パノラマ画像を生成する装置が記載されているが、この装置はカメラの画角を機械的に変更するものであり、カメラの移動量が既知であるため、上述したような問題は発生しない。

特許文献３には、パノラマ画像データを可視光撮影と赤外光撮影とで切り替えて行う装置が記載されているが、この装置もカメラの画角を機械的に変更するものであり、カメラの移動量が既知であるため、上述したような問題は発生しない。

特開２００８−２７８３８４号公報特開２００６−３３３１３２号公報特開２００６−０５４７９０号公報

本発明は、上記事情に鑑みてなされたものであり、撮影間の装置移動量が既知ではないパノラマ撮影を行う場合に、低周波模様の被写体であっても自然なパノラマ画像データを得ることが可能な撮像装置及びパノラマ画像データ生成方法を提供することを目的とする。

本発明の撮像装置は、パノラマ撮影機能を有する撮像装置であって、被写体の可視光画像を撮影する第一の撮像部と、前記第一の撮像部が撮影する前記被写体の赤外光画像を同時に撮影する第二の撮像部と、前記第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成部とを備え、前記パノラマ画像データ生成部は、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、当該２回の撮影において前記第二の撮像部で同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行う機能を有するものである。

特許文献１〜３には、赤外光撮像画像データと可視光撮像画像データを得られる装置が開示されているが、これらの装置は、同一被写体（同一画角）の可視光画像と赤外光画像を同時に得られるものではない。また、可視光撮像画像データの合成に赤外光撮像画像データを利用するものでもない。したがって、撮像装置の移動量が変化するようなパノラマ撮影を行った場合には、低周波模様の被写体をパノラマ撮影した場合にパノラマ合成の精度を向上させることができない。これに対し、上記構成によれば、低周波模様の被写体であっても、赤外光撮像画像データを用いて撮像装置の移動量を精度良く算出することができる。このため、低周波模様の被写体を連続撮影して得られた複数の可視光撮像画像データであっても、この移動量を用いて、これらを高精度で合成することができる。この結果、撮像装置の移動量を検知するセンサ等を追加することなく、低コストかつコンパクトな構成で、自然なパノラマ画像データを得ることができる。

本発明のパノラマ画像データ生成方法は、パノラマ撮影機能を有する撮像装置におけるパノラマ画像データ生成方法であって、被写体の可視光画像を撮影する第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成ステップを備え、前記パノラマ画像データ生成ステップは、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、前記被写体の赤外光画像を前記第一の撮像部と同時に撮影する第二の撮像部で当該２回の撮影において同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行うステップを含むものである。

本発明によれば、撮影間の装置移動量が既知ではないパノラマ撮影を行う場合に、低周波模様の被写体であっても自然なパノラマ画像データを得ることが可能な撮像装置及びパノラマ画像データ生成方法を提供することができる。

本発明の一実施形態を説明するためのパノラマ撮影機能を有する撮像装置の概略構成を示す図図１に示した撮像装置１００における撮像素子２で連続撮影して得られた合成対象となる２つの可視光撮像画像データを示す図図２に示した２つの可視光撮像画像データを得るための撮影と同時に撮像素子３により得られた２つの赤外光撮像画像データを示す図赤外光撮像画像データから抽出できる特徴点の数は、可視光撮像画像データから抽出できる特徴点の数よりも多くなる傾向にあることを説明した図図１に示した撮像装置１００のパノラマ撮影モード時の動作を説明するためのフローチャート図５に示したフローチャートにおけるステップＳ８の詳細な手順を説明するためのフローチャート赤外撮像画像データと可視光撮像画像データとで共通する特徴点を探す方法を説明するための図図５に示したフローチャートにおけるステップＳ６の詳細な手順を説明するためのフローチャート

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するためのパノラマ撮影機能を有する撮像装置の概略構成を示す図である。

図１に示す撮像装置１００は、撮影レンズ系Ｌと、ビームスプリッタ１と、被写体の可視光画像を撮影する第一の撮像部として機能する可視光撮影用の撮像素子２と、撮像素子２が撮影する被写体（画角）と同じ被写体（同じ画角）の赤外光画像を撮像素子２と同時に撮影する第二の撮像部として機能する赤外光撮影用の撮像素子３と、ＣＤＳ部４と、ＡＭＰ部５と、Ａ／Ｄ変換器６と、駆動部７と、ＡＭＰゲイン制御部８と、デジタル信号処理部９と、操作部１０と、システム制御部（ＣＰＵ）１１と、記録装置（メモリ部）１２と、表示部１３とを備える。

ビームスプリッタ１は、直角プリズム１ａ，１ｂと、多層膜１ｃと、樹脂１ｄとを備える。

多層膜１ｃは、可視光（一般的には、波長４００ｎｍ〜７００ｎｍの光）を透過し、赤外光（一般的には、波長７８０ｎｍ以上の光）を反射する膜であり、直角プリズム１ａの斜面に貼り付けられている。この多層膜１ｃは、例えば特開昭６２−１８７８０２号公報に記載されているものを用いることができる。

直角プリズム１ｂの斜面と直角プリズム１ａの斜面は樹脂１ｄを介して貼り合わされており、撮影レンズ系Ｌを通って直角プリズム１ｂに入射してきた被写体からの光のうち、可視光は多層膜１ｃをそのまま通過して直角プリズム１ａから出射され、赤外光は多層膜１ｃで反射して９０度方向が変わった後、直角プリズム１ｂから出射される。

直角プリズム１ａの光出射面の後方には撮像素子２が配置されている。撮像素子２は、被写体の可視光画像を撮影可能なものであり、異なる色の光を検出する複数種類の受光素子を有している。撮像素子２としては、例えば、シリコン基板内に形成された複数のフォトダイオードと、この複数のフォトダイオードの各々の上方に設けられたカラーフィルタとを有し、このカラーフィルタが全体としてベイヤ配列となっているものを用いることができる。

直角プリズム１ｂの光出射面の後方には撮像素子３が配置されている。撮像素子３は、被写体の赤外光画像を撮影可能なものである。撮像素子３としては、例えば、シリコン基板内に形成された複数のフォトダイオードを有し、この複数のフォトダイオードの各々の上方に可視光カットフィルタを設けたものを用いることができる。

このように、同一被写体からの光のうち、可視光成分については撮像素子２で撮影し、赤外光成分については撮像素子３で撮影することができるため、撮像素子２，３は同一被写体（同一画角）の可視光画像と赤外光画像を同時に撮影することができるものとなっている。

ＣＤＳ部４は、撮像素子２から出力された撮像信号と撮像素子３から出力された撮像信号に独立に相関二重サンプリング処理を行って、処理後の信号をＡＭＰ部５に出力する。

ＡＭＰ部５は、相関二重サンプリング処理後の信号を増幅してＡ／Ｄ変換器６に出力する。

Ａ／Ｄ変換器６は、増幅後の信号をデジタル信号に変換してデジタル信号処理部９に出力する。なお、ＣＤＳ部４、ＡＭＰ部５、及びＡ／Ｄ変換器６は、撮像素子２と撮像素子３とで別々に用意しておくことで、撮像素子２と撮像素子３から出力される撮像信号を並行して処理することができる。図１の例では、ＣＤＳ部４、ＡＭＰ部５、及びＡ／Ｄ変換器６を１組のみとし、信号に対する処理を撮像素子２と撮像素子３とで時分割して行っている。

デジタル信号処理部９は、撮像素子２から出力されてデジタル信号に変換された撮像画像信号にデジタル信号処理を施して可視光撮像画像データ（１画素に赤青緑の３つの色成分を持つデータ）を生成し、撮像素子３から出力されてデジタル信号に変換された撮像画像信号にデジタル信号処理を施して赤外光撮像画像データ（１画素に赤外成分のみを持つデータ）を生成する。可視光撮像画像データは所謂カラー画像データであり、赤外光撮像画像データは所謂モノクロ画像データである。

また、デジタル信号処理部９は、撮像素子２で複数回連続して撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成処理も行う。この処理については後述する。

システム制御部１１は、撮像装置１００全体を統括制御するものであり、駆動部７を介して撮像素子２，３の駆動制御を行ったり、ＡＭＰゲイン制御部８を介してＡＭＰ部５での信号の増幅率を制御したり、デジタル信号処理部９に対してパノラマ画像データの生成を指示したりする。

システム制御部１１にはシャッタボタン、モード切替ボタン等の各種操作部材からなる操作部１０が接続されている。

記録装置１２は、デジタル信号処理部９で生成された可視光撮像画像データ、赤外光撮像画像データ、及びパノラマ画像データを記録する。

表示部１３は、デジタル信号処理部９で生成された可視光撮像画像データ、赤外光撮像画像データ、及びパノラマ画像データの各々に基づく画像を表示したり、撮像素子２で撮影中の被写体をライブビュー画像として表示したりするためのものである。

この撮像装置１００は、撮像素子２，３により複数回連続して撮影を行い、この連続撮影によって得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成し、これを記憶装置１２に記録するパノラマ撮影モードを有している。以下では、このパノラマ撮影モード時の撮像装置１００の動作について説明する。

操作部１０に含まれるモード設定ボタンによりパノラマ撮影モードが設定された後、操作部１０に含まれるシャッタボタンが押下されて撮影の指示がなされると、システム制御部１１は、撮像素子２，３により撮影を開始する。ユーザがシャッタボタンを押下したままで撮像装置１００を移動させていくと、この移動の間、撮像素子２，３により所定間隔で撮影が実施される。そして、シャッタボタンの押下が解除されると、システム制御部１１は撮像素子２，３による撮影を終了する。

デジタル信号処理部９は、パノラマ撮影モード時に行われる連続撮影中に可視光撮像画像データ及び赤外光撮像画像データを順次生成し、合成対象となる２つの可視光撮像画像データ（具体的には、時系列で隣り合う２つの可視光撮像画像データ）と、これらを得るための撮影で同時に得られる２つの赤外光撮像画像データとを生成した時点で、当該２つの可視光撮像画像データの合成処理を行う。

図２は、図１に示した撮像装置１００における撮像素子２で連続撮影して得られた合成対象となる２つの可視光撮像画像データを示す図である。図３は、図２に示した２つの可視光撮像画像データを得るための撮影と同時に撮像素子３により得られた２つの赤外光撮像画像データを示す図である。

可視光撮像画像データ２１と赤外光撮像画像データ３１は、第一の被写体（第一の画角、第一の被写界）を撮像素子２，３で同時に撮影して得られたものであり、可視光撮像画像データ２２と赤外光撮像画像データ３２は、第一の被写体よりも水平方向右側にある第二の被写体（第二の画角、第二の被写界）を撮像素子２，３で同時に撮影して得られたものである。

デジタル信号処理部９は、図２に示した可視光撮像画像データ２１，２２と図３に示した赤外光撮像画像データ３１，３２を生成した時点で、可視光撮像画像データ２１，２２を合成する合成処理を開始する。この合成処理には、可視光利用合成処理と赤外光利用合成処理が含まれる。

可視光利用合成処理は、可視光撮像画像データ２１と可視光撮像画像データ２２から抽出される特徴点を利用して、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する処理である。赤外光利用合成処理は、赤外光撮像画像データ３１と赤外光撮像画像データ３２から抽出される特徴点を利用して、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する処理である。

可視光利用合成処理では、デジタル信号処理部９は、可視光撮像画像データ２１と可視光撮像画像データ２２からそれぞれに共通する特徴点を抽出し、その特徴点同士の比較で、可視光撮像画像データ２１と可視光撮像画像データ２２を得た２回の撮影間の撮像装置１００の水平方向の移動量（Ｉとする）を算出する。そして、この移動量Ｉに基づいて可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。具体的には、可視光撮像画像データ２１の左端部から水平方向右側に向かって移動量Ｉの位置を可視光撮像画像データ２２との境界位置とし、この境界位置よりも水平方向右側にある可視光撮像画像データ２１の領域に、可視光撮像画像データ２２を重ね合わせて、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。

赤外光利用合成処理では、デジタル信号処理部９は、赤外光撮像画像データ３１と赤外光撮像画像データ３２からそれぞれに共通する特徴点を抽出し、その特徴点同士の比較で、赤外光撮像画像データ３１と赤外光撮像画像データ３２を得た２回の撮影間の撮像装置１００の水平方向の移動量（Ｉ’とする）を算出する。この移動量Ｉ’は、移動量Ｉとほぼ同じ値であるため、デジタル信号処理部９は、この移動量Ｉ’に基づいて可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。具体的には、可視光撮像画像データ２１の左端部から水平方向右側に向かって移動量Ｉ’の位置を可視光撮像画像データ２２との境界位置とし、この境界位置よりも水平方向右側にある可視光撮像画像データ２１の領域に、可視光撮像画像データ２２を重ね合わせて、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。

このように、可視光利用合成処理では、可視光撮像画像データ２１と可視光撮像画像データ２２の間の移動量Ｉを算出するために、双方から共通する特徴点を抽出する必要がある。しかし、図２に示した例のように、被写体として空等の低周波模様を多く含む場合には、可視光撮像画像データ２１と可視光撮像画像データ２２から共通する特徴点を抽出しにくくなる。この共通する特徴点が抽出できなかったり、抽出できた数が少なかったりすると、移動量Ｉの算出精度が低下するため、可視光撮像画像データ２１と可視光撮像画像データ２２の合成精度が低下してしまう。

そこで、撮像装置１００では、このような合成精度の低下を防ぐために、可視光利用合成処理だけでなく、赤外光利用合成処理も行う。

赤外線は光の散乱が起こりにくいため、可視光撮影を行ったときと比較して空が暗くなり、かつ、水面等の反射による赤外線が減り、雲を明瞭に撮影することができる。つまり、遠景が霞まない撮像画像データを得ることができる。それ以外にも、人の肌や植物の葉が白く写る等、可視光撮影とは異なった画像を得ることが可能である。図３に示すように、撮像素子３で撮影して得られる赤外光撮像画像データによれば、可視光撮像画像データよりも空のコントラストが強調される。このため、図４に示すように、赤外光撮像画像データから抽出できる特徴点の数は、可視光撮像画像データから抽出できる特徴点の数よりも多くなる傾向にある。したがって、可視光利用合成処理では合成精度が低下するような被写体であっても、赤外光利用合成処理を行うことで、合成精度の低下を防ぐことができる。

以下では、撮像装置１００のパノラマ撮影モード時の動作をより具体的に説明する。

図５は、図１に示した撮像装置１００のパノラマ撮影モード時の動作を説明するためのフローチャートである。図５では、撮像装置１００を用いて第一の位置で撮影を行い、その後、撮像装置１００を水平方向に移動させて第二の位置で撮影を行い、この２回の撮影で得られる２つの可視光撮像画像データを合成してパノラマ画像データを生成するときの動作例を示している。２回の撮影で得られる撮像画像データとしては図２，３に示したものを援用して説明する。

ユーザにより撮影指示がなされると、システム制御部１１が駆動部７を介して撮像素子２，３により第一の位置で撮影を行う。この撮影が終了すると、デジタル信号処理部９が、撮像素子２，３から出力される撮像画像信号から可視光撮像画像データ２１と赤外光撮像画像データ３１を生成し、これを記録装置１２内のワークメモリに一時記憶する（ステップＳ１）。

次に、システム制御部１１は、駆動部７を介して撮像素子２，３により第二の位置で撮影を行う。この撮影が終了すると、デジタル信号処理部９が、撮像素子２，３から出力される撮像画像信号から可視光撮像画像データ２２と赤外光撮像画像データ３２を生成し、これを記録装置１２内のワークメモリに一時記憶する（ステップＳ２）。

次に、デジタル信号処理部９は、可視光撮像画像データ２１と可視光撮像画像データ２２の各々の合成のりしろ部に対して特徴点抽出処理を実行する（ステップＳ３）。可視光撮像画像データ２１と可視光撮像画像データ２２で共通に抽出される特徴点は、可視光撮像画像データ２１の右端部と可視光撮像画像データ２２の左端部とに存在するため、当該右端部及び当該左端部を合成のりしろ部として特徴点抽出処理を行えば、移動量Ｉの算出は十分に可能となる。

デジタル信号処理部９は、特徴点抽出処理の結果、可視光撮像画像データ２１と可視光撮像画像データ２２とで共通に抽出された特徴点の数ａが第一の閾値（ここでは１０とする）を越えていた場合（ステップＳ４：ＹＥＳ）、この場合は、移動量Ｉの算出を高精度に行うことができるため、ステップＳ５において可視光利用合成処理を行って、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。一方、特徴点の数ａが第一の閾値以下であった場合（ステップＳ４：ＮＯ）、この場合は、移動量Ｉの算出精度が低下する可能性があるため、ステップＳ６の処理を行う。第一の閾値は、可視光利用合成処理で合成精度を十分に許容できなくなるときの特徴点数ａの下限値である。

ステップＳ６では、デジタル信号処理部９が撮影シーン判定を行う。詳細は後述するが、この撮影シーン判定では、ステップＳ１，Ｓ２のデータを得るために行った撮影における撮影シーンが、可視光利用合成処理において求まる移動量Ｉの算出精度が許容値以下となる第一の撮影シーン（例えば、特徴点が抽出しにくくなる低周波模様の風景シーン、夜景シーン等）なのか、可視光利用合成処理において求まる移動量Ｉの算出精度が当該許容値を越える第二の撮影シーン（例えば、特徴点が抽出しやすくなる高周波模様のシーン等）なのかを判定する。

デジタル信号処理部９は、撮影シーン判定の結果、第一の撮影シーンであった場合（ステップＳ７：ＹＥＳ）にはステップＳ８の処理を実行し、第二の撮影シーンであった場合（ステップＳ７：ＮＯ）にはステップＳ５の処理を実行する。

ステップＳ８では、デジタル信号処理部９が、可視光撮像画像データ２１，２２と赤外光撮像画像データ３１，３２の内容に基づいて、可視光利用合成処理と赤外光利用合成処理のいずれかを選択して実行して、可視光撮像画像データ２１と可視光撮像画像データ２２を合成する。

図６は、図５に示したフローチャートにおけるステップＳ８の詳細な手順を説明するためのフローチャートである。

まず、デジタル信号処理部９は、可視光撮像画像データ２１と可視光撮像画像データ２２の各々の合成のりしろ部に対し特徴点抽出処理を行い、可視光撮像画像データ２１と可視光撮像画像データ２２に共通する特徴点（以下、可視特徴点という）を抽出する（ステップＳ８１）。ここで抽出した可視特徴点の数をｎ個とする。

次に、デジタル信号処理部９は、赤外光撮像画像データ３１と赤外光撮像画像データ３２の各々の合成のりしろ部に対し特徴点抽出処理を行い、赤外光撮像画像データ３１と赤外光撮像画像データ３２に共通する特徴点（以下、赤外特徴点という）を抽出する（ステップＳ８２）。ここで抽出した赤外特徴点の数をｍ個とする。

次に、デジタル信号処理部９は、ｍとｎが共に第二の閾値（ここでは３個とする）以下になっているか否かを判定する（ステップＳ８３）。第二の閾値は、可視光撮像画像データの合成精度が全く許容できなくなるときのｍとｎの値である。ｍとｎが共に第二の閾値以下になっていた場合（ステップＳ８３：ＮＯ）、デジタル信号処理部９は、ｍとｎの数が移動量Ｉと移動量Ｉ’のどちらを算出するにも少なすぎると判断し、撮影指示が継続されている場合は撮影を中断するようシステム制御部１１に指示を出すと共に、パノラマ画像データの生成ができないことを警告する通知を行うようシステム制御部１１に指示を出す。これらの指示により、撮影及びパノラマ合成処理は終了され、表示部１３には、“パノラマ合成ができないため撮影を中止しました”といったメッセージが表示される（ステップＳ８８）。

ステップＳ８３の判定の結果、ｍとｎの一方又は両方が第二の閾値を越えていた場合（ステップＳ８３：ＹＥＳ）、デジタル信号処理部９は、ｍとｎを比較する（ステップＳ８４）。

デジタル信号処理部９は、ステップＳ８４の比較の結果、ｍ＜ｎ、又は、ｍ＝ｎであった場合（ステップＳ８４：ＮＯ）はステップＳ５の処理を実行し、ｍ＞ｎであった場合（ステップＳ８４：ＹＥＳ）はステップＳ８５の処理を実行する。

ステップＳ８５では、デジタル信号処理部９が、ｍ個の赤外特徴点とｎ個の可視特徴点とで共通する特徴点（同じ被写体部位に対応する特徴点）が存在するか否かを判定する。

例えば、図７に示すように、可視光撮像画像データ２１，２２と赤外光撮像画像データ３１，３２に合成のりしろ部を設定して特徴点の抽出を行った結果、可視光撮像画像データ２１，２２で共通する可視特徴点は１つ（符号７０）であり、赤外光撮像画像データ３１，３２で共通する赤外特徴点は２つ（符号７１，７２）であった場合を例にする。この場合、可視特徴点７０の形状及び位置と、各赤外特徴点７１，７２の形状及び位置とを比較し、形状が同じで、かつ、画像データ上の位置が所定範囲内に入っている可視特徴点及び赤外特徴点があった場合は、ｍ個の赤外特徴点とｎ個の可視特徴点とで共通する特徴点があると判定する。一方、形状が同じで、かつ、画像データ上の位置が所定範囲内に入っている可視特徴点及び赤外特徴点が１つもなかった場合は、ｍ個の赤外特徴点とｎ個の可視特徴点とで共通する特徴点がないと判定する。図７の例では、可視特徴点７０と赤外特徴点７２が、形状が同じで、かつ、画像データ上の位置が所定範囲内に入っている可視特徴点及び赤外特徴点のペアとなっている。

デジタル信号処理部９は、ステップＳ８５の判定がＮＯの場合はステップＳ５の可視光利用合成処理を実行し、ステップＳ８５の判定がＹＥＳの場合はステップＳ８６の処理を実行する。ステップＳ８５の判定がＮＯのときに可視光利用合成処理を行うのは、ステップ８５の判定がＮＯでは、赤外光利用合成処理によって移動量Ｉ’を算出しても、この移動量Ｉ’が移動量Ｉとほぼ一致する保証がなくなるためである。

ステップＳ８６では、デジタル信号処理部９が、形状が同じで、かつ、画像データ上の位置が所定範囲内に入っている可視特徴点及び赤外特徴点のペアを１つ抽出し、この可視特徴点と赤外特徴点の位置のズレ量を算出する。そして、このズレ量に基づいて、この可視特徴点と赤外特徴点の位置が一致するように、赤外光撮像画像データ３１，３２の補正を行う（ステップＳ８６）。具体的には、算出したズレ量を相殺するように赤外光撮像画像データ３１，３２の位置補正を行う。この位置補正には、アフィン変換、線形補間等の画像処理を用いる。

ここで赤外光撮像画像データ３１，３２の位置補正を行うのは、可視光撮像画像データと赤外光撮像画像データとでは光条件の違いにより共通に抽出される特徴点の位置にずれが生じてしまい、赤外光利用合成処理を行った場合に、移動量Ｉ’と移動量Ｉとにずれが生じる可能性があるためである。

ステップＳ８６の後、デジタル信号処理部９は、ステップＳ８２で抽出し、かつ、ステップＳ８６で位置補正後の赤外特徴点に基づいて、赤外光撮像画像データ３１と赤外光撮像画像データ３２を得るために行われた２回の撮影間の撮像装置１００の移動量Ｉ’を算出し、この移動量Ｉ’に基づいて可視光撮像画像データ２１と可視光撮像画像データ２２を合成し（ステップＳ８７；赤外光利用合成処理）、ステップＳ８の一連の処理を終了する。

図８は、図５に示したフローチャートにおけるステップＳ６の詳細な手順を説明するためのフローチャートである。

撮影シーン判定を開始すると、デジタル信号処理部９は、可視光撮像画像データ２１と可視光撮像画像データ２２のいずれかを複数の領域に分割する（ステップＳ６１）。

次に、デジタル信号処理部９は、複数の分割領域の各々にＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；高速フーリエ変換）等を行い、各分割領域の周波数成分を算出し、更に、分割領域毎に周波数成分の平均値を算出する（ステップＳ６２）。

次に、デジタル信号処理部９は、注目する分割領域の周波数成分の平均値と、その分割領域の周辺にある分割領域（注目する分割領域の場所によって個数は異なり、最低３個、最大８個）の各々の周波数成分の平均値との差の平均値を求め、この平均値をその注目する分割領域の周波数変化量とする。デジタル信号処理部９は、この周波数変化量を全ての分割領域に対して算出する（ステップＳ６３）。

次に、デジタル信号処理部９は、各分割領域の色成分の平均値を算出する（ステップＳ６４）。

次に、デジタル信号処理部９は、注目する分割領域の色成分の平均値と、その分割領域の周辺にある分割領域の各々の色成分の平均値との差の平均値を算出し、これをその注目する分割領域の色成分変化量とする。デジタル信号処理部９は、この色成分変化量を全ての分割領域に対して算出する（ステップＳ６５）。

次に、デジタル信号処理部９は、各分割領域の周波数変化量及び色成分変化量に基づいて、可視光撮像画像データ２１が低周波画像で色変化が少ないかどうかを判定する（ステップＳ６６）。

可視光撮像画像データ２１が低周波画像で色変化が少なかった場合（ステップＳ６６：ＹＥＳ）、デジタル信号処理部９は、撮影シーンが風景又は夜景等の第一の撮影シーンであると判定する（ステップＳ６７）。

可視光撮像画像データ２１が高周波画像で色変化が少なかった場合、可視光撮像画像データ２１が低周波画像で色変化が多かった場合、又は可視光撮像画像データ２１が高周波画像で色変化が多かった場合（ステップＳ６６：ＮＯ）、デジタル信号処理部９は、可視光撮像画像データ２１の各画素の輝度の平均を算出し、この輝度が閾値以上か否かを判定する（ステップＳ６８）

輝度平均値が閾値以上であった場合（ステップＳ６８：ＹＥＳ）、デジタル信号処理部９は、可視光利用合成処理でも移動量の算出精度が確保できると判断して、撮影シーンが第一の撮影シーンであると判定する（ステップＳ６７）。一方、輝度平均値が閾値未満であった場合（ステップＳ６８：ＮＯ）、デジタル信号処理部９は、可視光利用合成処理よりも赤外光利用合成処理の方が移動量の算出精度が高くなると判断して、撮影シーンを第二の撮影シーンであると判定する（ステップＳ６９）。ステップＳ６７，Ｓ６９の処理後、撮影シーン判定が終了する。

以上説明してきたように、撮像装置１００によれば、可視光利用合成処理だけでなく、赤外光利用合成処理も行って可視光撮像画像データ２１と可視光撮像画像データ２２を合成することができる。このため、可視光撮像画像データ２１と可視光撮像画像データ２２だけでは抽出される特徴点の数が少なくなるような被写体であっても、赤外光利用合成処理によって可視光撮像画像データ２１と可視光撮像画像データ２２を高精度に合成することができる。この結果、被写体の内容に関わらず自然なパノラマ撮影を行うことができる。

また、撮像装置１００によれば、可視光撮像画像データだけで十分な特徴点が抽出できた場合（図５のステップＳ４：ＹＥＳ）には、ステップＳ６〜ステップＳ８を行うことなく、可視光利用合成処理によって可視光撮像画像データ２１と可視光撮像画像データ２２を合成するため、常に赤外光利用合成処理を行うときと比べて、デジタル信号処理部９による演算量を大幅に減らすことができ、消費電力を抑えることができる。

また、撮像装置１００によれば、撮影シーンが、人物や建物を含むシーン等のように赤外光利用合成処理でなくとも合成精度を確保できるシーンのときには、可視光利用合成処理が行われるため、常に赤外光利用合成処理を行うときと比べて、デジタル信号処理部９による演算量を大幅に減らすことができ、消費電力を抑えることができる。

また、撮像装置１００によれば、赤外光利用合成処理が有効であると判定した場合（ステップＳ７：ＹＥＳ）でも、可視光撮像画像データの特徴点抽出結果と赤外光撮像画像データの特徴点抽出結果に基づいて、合成精度が最も高くなる合成処理を選択して実行しているため、赤外光利用合成処理を行った結果、合成精度が低下してしまったという事態を防ぐことができ、被写体に合わせた最適なパノラマ画像データを生成することが可能となる。

また、撮像装置１００によれば、特徴点数ｍと特徴点数ｎのいずれもが第一の閾値以下のときには、パノラマ画像データ生成処理を終了することができる。このため、失敗したパノラマ画像データが記録されてしまうのを未然に防ぐことができ、メモリ容量の削減に繋がると共に、合成のための無駄な演算を行わないことによる消費電力の削減を図ることができる。

また、撮像装置１００によれば、同一被写体部位に対応する赤外特徴点及び可視特徴点の位置ずれを補正してから、赤外光利用合成処理を行っているため、可視光撮像画像データと赤外光撮像画像データの相関性を高めて、合成精度を更に向上させることができる。

なお、撮像装置１００では、撮影した被写体の内容に関わらず、赤外光利用合成処理を常に行ってパノラマ画像データを生成してもよい。ただし、赤外特徴点の数が第二の閾値以下のときは、赤外光利用合成処理を行っても合成がうまくいかないため、この場合にはステップＳ８８の処理を行うことが好ましい。

また、図５においてステップＳ３，Ｓ４，Ｓ６，Ｓ７を省略し、ステップＳ２の後にステップＳ８の処理を直接行うようにしてもよい。また、図５におけるステップＳ６，７の処理は省略し、ステップＳ４：ＮＯの後にステップＳ８を行うようにしてもよい。また、図５のステップＳ７：ＹＥＳの後は、ステップＳ８を行うことなく、赤外光利用合成処理を行ってもよい。

また、図６におけるステップＳ８５、ステップＳ８６を省略し、ステップＳ８４：ＹＥＳの後はステップＳ８７を行うようにしてもよい。可視特徴点と赤外特徴点で同じ被写体部位に対応するものがなくても、ｍ＞ｎの場合は、赤外光利用合成処理を行えば、可視光利用合成処理を行う場合と比較して、可視光撮像画像データの合成精度を向上させることができる可能性があるからである。

また、図５のステップＳ３、図６のステップＳ８１では、可視光撮像画像データを色成分毎に分離し、各色成分毎に特徴点の抽出を行ってもよい。例えば、可視光撮像画像データを赤色成分の画像データと、緑色成分の画像データと、青色成分の画像データとに分離し、それぞれの画像データから特徴点を抽出する。そして、抽出した特徴点の数が最も多い色成分の画像データから抽出した特徴点を、特徴点抽出処理の結果とする。

図５のステップＳ３で色成分毎に特徴点を抽出した場合は、ステップＳ４で第一の閾値と比較する特徴点数ａを、最も特徴点が多かった色成分の画像データから抽出された特徴点の数とし、ステップＳ５では、当該最も多かった特徴点に基づいて移動量Ｉを算出し、この移動量Ｉに基づいて可視光撮像画像データ２１と可視光撮像画像データ２２の合成を行う。

また、図６のステップＳ８１で色成分毎に特徴点を抽出した場合は、ｎの数を、最も特徴点が多かった色成分の画像データから抽出された特徴点の数とする。また、ステップＳ８５で、形状が同じでありかつ位置が所定範囲内にある赤外特徴点と可視特徴点を探す際には、最も特徴点が多かった色成分の画像データから抽出された可視特徴点を対象として、形状が同じでありかつ位置が所定範囲内にある赤外特徴点と可視特徴点があるかどうかを判定する。

このように、特徴点が最も多い色成分の画像データから抽出した特徴点を、ステップＳ４、ステップＳ８３、ステップＳ８４、ステップＳ８５の判定に用いることで、これらの判定精度を向上させることができる。

なお、撮像装置１００は、撮像素子２と撮像素子３の２種類の撮像素子を用いて、同一被写体の可視光画像と赤外光画像を同時に得られるものとしているが、このような撮影を、１種類の撮像素子で実現することも可能である。例えば、特開２００８−８５１５９号公報に記載されている撮像素子を用いることで、同一被写体の可視光画像と赤外光画像を同時に得ることができる。特開２００８−８５１５９号公報に記載されている撮像素子においては、半導体基板内に配列形成されたフォトダイオードが第一の撮像部として機能し、半導体基板上方に配列形成される基板上光電変換部が第二の撮像部として機能する。

以上のように、本明細書には次の事項が開示されている。

開示された撮像装置は、パノラマ撮影機能を有する撮像装置であって、被写体の可視光画像を撮影する第一の撮像部と、前記第一の撮像部が撮影する前記被写体の赤外光画像を同時に撮影する第二の撮像部と、前記第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成部とを備え、前記パノラマ画像データ生成部は、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、当該２回の撮影において前記第二の撮像部で同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行う機能を有するものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記２回の撮影間の前記撮像装置の移動量を前記２つの可視光撮像画像データから抽出した特徴点を用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第二の合成処理を行う機能を有し、前記第一の合成処理と前記第二の合成処理を切り替えて行うものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データから特徴点を抽出する第一の特徴点抽出処理及び前記２つの赤外光撮像画像データから特徴点を抽出する第二の特徴点抽出処理を行う機能を有し、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行うものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が第一の閾値を越えている場合において、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合には前記第一の合成処理を行い、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数以下の場合には前記第二の合成処理を行うものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値以下であった場合には、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数に関わらず、前記第一の合成処理及び前記第二の合成処理を行わずに前記パノラマ画像データの生成を終了するものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が前記第一の閾値を越えており、かつ、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合において、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がある場合には前記第一の合成処理を行い、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がない場合には前記第二の合成処理を行うものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データのいずれかに基づいて撮影シーンを判定するシーン判定処理を行う機能を有し、前記シーン判定処理の結果、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が所定値以下となる第一の撮影シーンであった場合に、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行い、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が前記所定値を越える第二の撮影シーンであった場合に前記第二の合成処理を行うものである。

開示された撮像装置は、前記シーン判定処理が、前記可視光撮像画像データを分割して得られる各分割領域の周波数及び色の変化、及び、当該可視光撮像画像データの輝度に応じて前記撮影シーンを判定する処理であるものである。

開示された撮像装置は、前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データから共通して抽出される特徴点の数が第二の閾値を越えていた場合には前記シーン判定処理を行わずに前記第二の合成処理を行い、当該特徴点の数が前記第二の閾値以下であった場合には前記シーン判定処理を行って前記第一の合成処理又は前記第二の合成処理を行うものである。

開示された撮像装置は、前記第一の合成処理では、前記２つの可視光撮像画像データの各々と、当該各々の可視光撮像画像データを得るために行われた撮影で前記第二の撮像部で同時に得られた前記赤外光撮像画像データとで共通に含まれる特徴点の位置が一致するよう前記２つの赤外光撮像画像データを補正した上で、前記移動量を算出するものである。

開示された撮像装置は、前記第一の特徴点抽出処理が、前記２つの可視光撮像画像データの各々を色成分毎に分離して特徴点を抽出する処理であり、抽出した特徴点が最も多い色成分から抽出した特徴点を、前記第一の特徴点抽出処理で抽出された特徴点とするものである。

開示されたパノラマ画像データ生成方法は、パノラマ撮影機能を有する撮像装置におけるパノラマ画像データ生成方法であって、被写体の可視光画像を撮影する第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成ステップを備え、前記パノラマ画像データ生成ステップは、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、前記被写体の赤外光画像を前記第一の撮像部と同時に撮影する第二の撮像部で当該２回の撮影において同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行うステップを含むものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップが、前記２回の撮影間の前記撮像装置の移動量を前記２つの可視光撮像画像データから抽出した特徴点を用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第二の合成処理を行うステップを含み、前記パノラマ画像データ生成ステップでは、前記第一の合成処理と前記第二の合成処理を切り替えて行うものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップが、前記２つの可視光撮像画像データから特徴点を抽出する第一の特徴点抽出処理及び前記２つの赤外光撮像画像データから特徴点を抽出する第二の特徴点抽出処理を行うステップを含み、前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行うものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が第一の閾値を越えている場合において、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合には前記第一の合成処理を行い、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数以下の場合には前記第二の合成処理を行うものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値以下であった場合には、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数に関わらず、前記第一の合成処理及び前記第二の合成処理を行わずに前記パノラマ画像データの生成を終了するものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値を越えており、かつ、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合において、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がある場合には前記第一の合成処理を行い、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がない場合には前記第二の合成処理を行うものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップが、前記２つの可視光撮像画像データのいずれかに基づいて撮影シーンを判定するシーン判定処理を行うステップを含み、前記パノラマ画像データ生成ステップでは、前記シーン判定処理の結果、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が所定値以下となる第一の撮影シーンであった場合に、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行い、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が前記所定値を越える第二の撮影シーンであった場合に前記第二の合成処理を行うものである。

開示されたパノラマ画像データ生成方法は、前記シーン判定処理が、前記可視光撮像画像データを分割して得られる各分割領域の周波数及び色の変化、及び、当該可視光撮像画像データの輝度に応じて前記撮影シーンを判定する処理であるものである。

開示されたパノラマ画像データ生成方法は、前記パノラマ画像データ生成ステップでは、前記２つの可視光撮像画像データから共通して抽出される特徴点の数が第二の閾値を越えていた場合には前記シーン判定処理を行わずに前記第二の合成処理を行い、当該特徴点の数が前記第二の閾値以下であった場合には前記シーン判定処理を行って前記第一の合成処理又は前記第二の合成処理を行うものである。

開示されたパノラマ画像データ生成方法は、前記第一の合成処理では、前記２つの可視光撮像画像データの各々と、当該各々の可視光撮像画像データを得るために行われた撮影で前記第二の撮像部で同時に得られた前記赤外光撮像画像データとで共通に含まれる特徴点の位置が一致するよう前記２つの赤外光撮像画像データを補正した上で、前記移動量を算出するものである。

開示されたパノラマ画像データ生成方法は、前記第一の特徴点抽出処理が、前記２つの可視光撮像画像データの各々を色成分毎に分離して特徴点を抽出する処理であり、抽出した特徴点が最も多い色成分から抽出した特徴点を、前記第一の特徴点抽出処理で抽出された特徴点とするものである。

１００撮像装置
１ビームスプリッタ
２可視光画像撮影用の撮像素子
３赤外光画像撮影用の撮像素子
９デジタル信号処理部

Claims

パノラマ撮影機能を有する撮像装置であって、
被写体の可視光画像を撮影する第一の撮像部と、
前記第一の撮像部が撮影する前記被写体の赤外光画像を同時に撮影する第二の撮像部と、
前記第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成部とを備え、
前記パノラマ画像データ生成部は、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、当該２回の撮影において前記第二の撮像部で同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行う機能を有する撮像装置。
請求項１記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記２回の撮影間の前記撮像装置の移動量を前記２つの可視光撮像画像データから抽出した特徴点を用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第二の合成処理を行う機能を有し、前記第一の合成処理と前記第二の合成処理を切り替えて行う撮像装置。
請求項２記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データから特徴点を抽出する第一の特徴点抽出処理及び前記２つの赤外光撮像画像データから特徴点を抽出する第二の特徴点抽出処理を行う機能を有し、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行う撮像装置。
請求項３記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が第一の閾値を越えている場合において、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合には前記第一の合成処理を行い、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数以下の場合には前記第二の合成処理を行う撮像装置。
請求項４記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値以下であった場合には、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数に関わらず、前記第一の合成処理及び前記第二の合成処理を行わずに前記パノラマ画像データの生成を終了する撮像装置。
請求項４又は５記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が前記第一の閾値を越えており、かつ、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合において、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がある場合には前記第一の合成処理を行い、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がない場合には前記第二の合成処理を行う撮像装置。
請求項３〜６のいずれか１項記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データのいずれかに基づいて撮影シーンを判定するシーン判定処理を行う機能を有し、前記シーン判定処理の結果、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が所定値以下となる第一の撮影シーンであった場合に、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行い、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が前記所定値を越える第二の撮影シーンであった場合に前記第二の合成処理を行う撮像装置。
請求項７記載の撮像装置であって、
前記シーン判定処理が、前記可視光撮像画像データを分割して得られる各分割領域の周波数及び色の変化、及び、当該可視光撮像画像データの輝度に応じて前記撮影シーンを判定する処理である撮像装置。
請求項７又は８記載の撮像装置であって、
前記パノラマ画像データ生成部が、前記２つの可視光撮像画像データから共通して抽出される特徴点の数が第二の閾値を越えていた場合には前記シーン判定処理を行わずに前記第二の合成処理を行い、当該特徴点の数が前記第二の閾値以下であった場合には前記シーン判定処理を行って前記第一の合成処理又は前記第二の合成処理を行う撮像装置。
請求項３〜９のいずれか１項記載の撮像装置であって、
前記第一の合成処理では、前記２つの可視光撮像画像データの各々と、当該各々の可視光撮像画像データを得るために行われた撮影で前記第二の撮像部で同時に得られた前記赤外光撮像画像データとで共通に含まれる特徴点の位置が一致するよう前記２つの赤外光撮像画像データを補正した上で、前記移動量を算出する撮像装置。
請求項３〜１０のいずれか１項記載の撮像装置であって、
前記第一の特徴点抽出処理が、前記２つの可視光撮像画像データの各々を色成分毎に分離して特徴点を抽出する処理であり、
抽出した特徴点が最も多い色成分から抽出した特徴点を、前記第一の特徴点抽出処理で抽出された特徴点とする撮像装置。
パノラマ撮影機能を有する撮像装置におけるパノラマ画像データ生成方法であって、
被写体の可視光画像を撮影する第一の撮像部で連続撮影して得られる複数の可視光撮像画像データを合成してパノラマ画像データを生成するパノラマ画像データ生成ステップを備え、
前記パノラマ画像データ生成ステップは、合成対象となる２つの前記可視光撮像画像データを得るために行われた２回の撮影間の前記撮像装置の移動量を、前記被写体の赤外光画像を前記第一の撮像部と同時に撮影する第二の撮像部で当該２回の撮影において同時に得られた２つの赤外光撮像画像データを用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第一の合成処理を行うステップを含むパノラマ画像データ生成方法。
請求項１２記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップが、前記２回の撮影間の前記撮像装置の移動量を前記２つの可視光撮像画像データから抽出した特徴点を用いて算出し、当該算出した移動量に基づいて当該２つの可視光撮像画像データを合成する第二の合成処理を行うステップを含み、
前記パノラマ画像データ生成ステップでは、前記第一の合成処理と前記第二の合成処理を切り替えて行うパノラマ画像データ生成方法。
請求項１３記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップが、前記２つの可視光撮像画像データから特徴点を抽出する第一の特徴点抽出処理及び前記２つの赤外光撮像画像データから特徴点を抽出する第二の特徴点抽出処理を行うステップを含み、
前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行うパノラマ画像データ生成方法。
請求項１４記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数のいずれか又は両方が第一の閾値を越えている場合において、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合には前記第一の合成処理を行い、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数以下の場合には前記第二の合成処理を行うパノラマ画像データ生成方法。
請求項１５記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値以下であった場合には、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数に関わらず、前記第一の合成処理及び前記第二の合成処理を行わずに前記パノラマ画像データの生成を終了するパノラマ画像データ生成方法。
請求項１５又は１６記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップでは、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果、前記第一の特徴点抽出処理で抽出された特徴点の数と前記第二の特徴点抽出処理で抽出された特徴点の数がいずれも前記第一の閾値を越えており、かつ、前記第二の特徴点抽出処理で抽出された特徴点の数が前記第一の特徴点抽出処理で抽出された特徴点の数よりも多い場合において、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がある場合には前記第一の合成処理を行い、前記可視光撮像画像データと前記赤外光撮像画像データとで共通に抽出された特徴点がない場合には前記第二の合成処理を行うパノラマ画像データ生成方法。
請求項１４〜１７のいずれか１項記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップが、前記２つの可視光撮像画像データのいずれかに基づいて撮影シーンを判定するシーン判定処理を行うステップを含み、
前記パノラマ画像データ生成ステップでは、前記シーン判定処理の結果、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が所定値以下となる第一の撮影シーンであった場合に、前記第一の特徴点抽出処理と前記第二の特徴点抽出処理の結果に応じて、前記第一の合成処理及び前記第二の合成処理のいずれかを選択して行い、前記撮影シーンが、前記第二の合成処理において求まる前記移動量の精度が前記所定値を越える第二の撮影シーンであった場合に前記第二の合成処理を行うパノラマ画像データ生成方法。
請求項１８記載のパノラマ画像データ生成方法であって、
前記シーン判定処理が、前記可視光撮像画像データを分割して得られる各分割領域の周波数及び色の変化、及び、当該可視光撮像画像データの輝度に応じて前記撮影シーンを判定する処理であるパノラマ画像データ生成方法。
請求項１８又は１９記載のパノラマ画像データ生成方法であって、
前記パノラマ画像データ生成ステップでは、前記２つの可視光撮像画像データから共通して抽出される特徴点の数が第二の閾値を越えていた場合には前記シーン判定処理を行わずに前記第二の合成処理を行い、当該特徴点の数が前記第二の閾値以下であった場合には前記シーン判定処理を行って前記第一の合成処理又は前記第二の合成処理を行うパノラマ画像データ生成方法。
請求項１４〜２０のいずれか１項記載のパノラマ画像データ生成方法であって、
前記第一の合成処理では、前記２つの可視光撮像画像データの各々と、当該各々の可視光撮像画像データを得るために行われた撮影で前記第二の撮像部で同時に得られた前記赤外光撮像画像データとで共通に含まれる特徴点の位置が一致するよう前記２つの赤外光撮像画像データを補正した上で、前記移動量を算出するパノラマ画像データ生成方法。
請求項１４〜２１のいずれか１項記載のパノラマ画像データ生成方法であって、
前記第一の特徴点抽出処理が、前記２つの可視光撮像画像データの各々を色成分毎に分離して特徴点を抽出する処理であり、
抽出した特徴点が最も多い色成分から抽出した特徴点を、前記第一の特徴点抽出処理で抽出された特徴点とするパノラマ画像データ生成方法。