JP4556803B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像の特徴点の座標変換を行う画像処理装置及びプログラムに関する。

近年、デジタルカメラ等の撮像装置は、複数回の撮像にて取得した画像を合成することにより、ノイズを押さえた画像やパノラマ画像等の取得を行うことができるようになっている。また、画像合成にあたって、画像がずれるのを防止するために、２つの画像からオプティカルフローを算出して、当該オプティカルフローに基づいて画像の合成位置を調整するものが開発されている（例えば、特許文献１参照。）。
具体的には、２つの画像のうち、基準となる基準画像フレームの特徴点（又は領域）を抽出して、他方の画像フレームの中で各特徴点の対応座標を追跡し（オプティカルフローの推定）、これらの対応関係に基づいて、平行移動、回転移動、アフィン変換及び射影変換などが適用される座標変換の方程式を解いて、得られた座標変換式によって各画素位置を合わせて画素値を平均するようになっている。これにより、例えば、画像に生じるランダムノイズを低減することができることとなる。
特開２００５−９４６１４号公報

ところで、デジタルカメラに備わるレンズには、歪曲収差があり、画像フレームどうしのオプティカルフローを、平行移動、回転変換、アフィン変換、射影変換などの座標変換によって吸収することができない場合がある。
かかる場合には、特徴点対応から座標変換式を求めることができなかったり、座標変換式を求めることができても、画像全体がボケたり、画像のランダムな一部の領域のみがぴったり重なりその他の部分がボケてしまうといった問題がある。
なお、上記問題の解決を図る上で、画像フレーム毎の歪曲収差の補正処理が考えられるが、この補正処理は、計算量が多く、処理に時間がかかってしまうといった問題があり、デジタルカメラ等の撮像装置に適用することは現実的には困難となる。

そこで、本発明の課題は、合成画像に対する撮像レンズの歪みの影響を抑えることができる画像処理装置及びプログラムを提供することである。

請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像の特徴点を複数抽出する特徴点抽出手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記複数の画像の画像情報のうち、前記特徴点抽出手段により前記特徴点が抽出された前記一の画像と異なる他の画像の画像情報に基づいて、前記一の画像における一の特徴点に対応する前記他の画像における他の特徴点の追跡を行う特徴点追跡手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記特徴点追跡手段により追跡された前記一の特徴点から前記他の特徴点までの移動量を算出する特徴点移動量算出手段（例えば、図１の映像信号処理部１３等）と、
前記特徴点移動量算出手段により算出された前記移動量に基づいて、前記一の特徴点の座標を前記他の特徴点の座標に変換する座標変換式を算出する座標変換式算出手段（例えば、図２のＲＡＮＳＡＣ処理部１３２等）と、
前記特徴点移動量算出手段により算出された前記移動量が大きくなる程、前記特徴点抽出手段により抽出された前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみを用いて前記座標変換式算出手段に前記座標変換式を算出させる座標変換式算出制御手段（例えば、図１の映像信号処理部１３等）と、
を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特徴点抽出手段により抽出された前記一の特徴点の座標に基づいて、当該一の特徴点の前記撮像レンズの歪曲収差による歪みに係る歪み微分量を取得する歪み微分量取得手段（例えば、図１の映像信号処理部１３等）と、
前記歪み微分量取得手段により取得された前記歪み微分量、及び前記特徴点移動量算出手段により算出された前記移動量に基づいて、当該移動量に係る前記一の特徴点の歪み量を算出する歪み量算出手段（例えば、図１の映像信号処理部１３等）と、を備え、
前記座標変換式算出制御手段は、前記歪み量算出手段により算出された前記歪み量に基づいて、当該歪み量が大きい程、前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみが用いられるように、当該複数の特徴点の各々が前記座標変換式算出手段による前記座標変換式の算出に用いられるか否かを判定する特徴点利用判定手段（例えば、図１の映像信号処理部１３等）を備えることを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置（例えば、図１３の撮像装置３００等）において、
前記複数の画像情報に基づいて、前記一の特徴点から前記他の特徴点までの移動量を代表する移動量代表値を取得する移動量代表値取得手段（例えば、図１の映像信号処理部１３等）と、
前記移動量代表値取得手段により取得された移動量代表値、及び前記特徴点抽出手段により抽出された前記特徴点の座標に基づいて、前記特徴点追跡手段に前記複数の特徴点のうち、少なくとも前記画像の周縁側に位置する特徴点の追跡を行わせるか否かを判定する特徴点追跡判定手段（例えば、図１の映像信号処理部１３等）と、を備えることを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記特徴点追跡手段は、前記複数の画像情報に基づいて、前記特徴点抽出手段により抽出された前記複数の特徴点のうち、前記複数の画像の周縁側よりも中心側に位置する特定領域（例えば、特定領域１等）内の少なくとも一の特徴点の追跡を行い、
前記特徴点移動量算出手段は、前記特徴点追跡手段により追跡された前記特定領域内の前記特徴点に係る前記移動量を算出し、
前記移動量代表値取得手段は、前記特徴点移動量算出手段により算出された前記移動量に基づいて、前記特定領域内の前記特徴点の移動量の平均値を算出して、当該平均値を前記移動量代表値として取得することを特徴としている。

請求項５に記載の発明の画像処理装置（例えば、図９の撮像装置２００等）は、
撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像と他の画像の間の移動量を算出する画像移動量算出手段（例えば、図１の映像信号処理部１３等）と、
前記画像移動量算出手段により算出された前記移動量に基づいて、前記一の画像における一の画素の座標を当該画素に対応する前記他の画像における他の画素の座標に変換する座標変換式を算出する座標変換式算出手段（例えば、図２のＲＡＮＳＡＣ処理部１３２等）と、
前記座標変換式算出手段により算出された前記座標変換式に基づいて、前記一の画像の前記一の画素の座標を前記他の画像の前記他の画素の座標に変換して、前記複数の画像情報を合成する画像合成手段（例えば、図２の画像合成部１３３等）と、
前記画像移動量算出手段により算出された前記移動量が大きくなる程、前記複数の画像の画素のうちの前記画像の中心側に位置する画素のみを用いて前記画像合成手段に前記画像情報を合成させる画像合成制御手段（例えば、図１の映像信号処理部１３等）と、
を備えることを特徴としている。

請求項６に記載の発明のプログラムは、
画像処理装置（例えば、図１の撮像装置１００等）に
撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像の特徴点を複数抽出する機能と、
前記複数の画像の画像情報のうち、前記特徴点が抽出された前記一の画像と異なる他の画像の画像情報に基づいて、前記一の画像における一の特徴点に対応する前記他の画像における他の特徴点の追跡を行う機能と、
追跡された前記一の特徴点から前記他の特徴点までの移動量を算出する機能と、
算出された前記移動量が大きくなる程、抽出された前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみを用いて前記一の特徴点の座標を前記他の特徴点の座標に変換する座標変換式を算出させる機能と、
を実現させることを特徴としている。

請求項７に記載の発明のプログラムは、
画像処理装置（例えば、図９の撮像装置２００等）に、
撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像と他の画像の間の移動量を算出する機能と、
算出された前記移動量に基づいて、前記一の画像における一の画素の座標を当該画素に対応する前記他の画像における他の画素の座標に変換する座標変換式を算出する機能と、
前記移動量が大きくなる程、前記複数の画像の画素のうちの前記画像の中心側に位置する画素のみを用いて、前記一の画像の前記一の画素の座標を前記座標変換式に基づいて前記他の画像の前記他の画素の座標に変換して、前記複数の画像情報を合成させる機能と、
を実現させることを特徴としている。

請求項１に記載の発明によれば、一の画像における一の特徴点から他の画像における他の特徴点までの移動量が大きくなる程、抽出された複数の特徴点のうちの画像のより中心側に位置する特徴点のみを用いて座標変換式を算出させることができるので、より適正な座標変換式を算出することができ、特徴点の座標変換をより正確に行うことができる。即ち、撮像レンズの歪みにより対応する特徴点が動いてしまう虞がある場合に、少なくとも歪みによる動きの影響の少ない画像の中心側の特徴点を用いて座標変換式を算出することができることとなる。
従って、当該座標変換式を用いることにより、複数の画像間における特徴点の座標変換を適正に行うことができることとなって、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、撮像レンズの歪曲収差に応じて変動する特徴点の歪み量が大きい程、複数の特徴点のうちの画像のより中心側に位置する特徴点のみが座標変換式の算出に用いられることとなって、座標変換式の算出に不要な特徴点を除外することができ、特徴点の座標変換をより適正に行うことができる座標変換式を算出することができる。

請求項３に記載の発明によれば、請求項１又は２に記載の発明と同様の効果が得られるのは無論のこと、特に、一の特徴点から他の特徴点までの移動量を代表する移動量代表値及び特徴点の座標に基づいて、複数の特徴点のうち、少なくとも画像の周縁側に位置する特徴点の追跡を行わせるか否かを判定することができるので、撮像レンズの歪みにより対応する特徴点が動いてしまう虞がある場合に、座標変換式の算出に用いられることのない画像の周縁側に位置する特徴点の追跡を行う必要がなくなって、座標変換式の算出に係る時間を短縮することができる。

請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られるのは無論のこと、特に、抽出された複数の特徴点のうち、複数の画像の周縁側よりも中心側に位置する特定領域内の特徴点の移動量の平均値を算出して、当該平均値を移動量代表値として取得することができるので、抽出された複数の特徴点の全てについて追跡を行わずとも、特定領域内の特徴点に係る移動量代表値に基づいて、画像の特定領域以外の領域の特徴点の追跡を行うか否かを判定することができ、座標変換式の算出に用いられる特徴点のみの追跡をより適正に、且つ高速に行うことができる。

請求項５に記載の発明によれば、一の画像と他の画像の間の移動量が大きくなる程、複数の画像の画素のうちの画像の中心側に位置する画素のみを用いて、座標変換式に基づいて、一の画像の一の画素の座標を当該画素に対応する他の画像の他の画素の座標に変換して、複数の画像情報を合成することができる。即ち、撮像レンズの歪みにより対応する画素が動いてしまう虞がある場合に、当該撮像レンズの歪みの影響が大きい画像の周縁部の画素を用いずに、少なくとも歪みによる動きの影響の少ない画像の中心側の画素を用いて画像合成を行うことができることとなって、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

請求項６に記載の発明によれば、一の画像における一の特徴点から他の画像における他の特徴点までの移動量が大きくなる程、抽出された複数の特徴点のうちの画像のより中心側に位置する特徴点のみを用いて座標変換式を算出させることができるので、より適正な座標変換式を算出することができ、特徴点の座標変換をより正確に行うことができる。即ち、撮像レンズの歪みにより対応する特徴点が動いてしまう虞がある場合に、少なくとも歪みによる動きの影響の少ない画像の中心側の特徴点を用いて座標変換式を算出することができることとなる。
従って、当該座標変換式を用いることにより、複数の画像間における特徴点の座標変換を適正に行うことができることとなって、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

請求項７に記載の発明によれば、一の画像と他の画像の間の移動量が大きくなる程、複数の画像の画素のうちの画像の中心側に位置する画素のみを用いて、座標変換式に基づいて、一の画像の一の画素の座標を当該画素に対応する他の画像の他の画素の座標に変換して、複数の画像情報を合成することができる。即ち、撮像レンズの歪みにより対応する画素が動いてしまう虞がある場合に、当該撮像レンズの歪みの影響が大きい画像の周縁部の画素を用いずに、少なくとも歪みによる動きの影響の少ない画像の中心側の画素を用いて画像合成を行うことができることとなって、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
以下に、実施形態１の撮像装置１００について図１〜図９を参照して説明する。
ここで、図１は、本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置１００の要部構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。

撮像装置１００は、例えば、デジタルカメラ等が適用され、具体的には、図１に示すように、被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該撮像装置１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。

撮像部１は、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズからなる撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、制御回路７１のＣＰＵの制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。

映像信号処理部１３は、例えば、図２に示すように、オプティカルフロー検出部１３１と、ＲＡＮＳＡＣ処理部１３２と、画像合成部１３３等を備えている。

オプティカルフロー検出部１３１は、合成される複数の画像に係る画像信号のピラミッド階層構造化、所定画像からの特徴点の抽出、抽出された特徴点の勾配法による追跡（トラック）等を行うものである。

ＲＡＮＳＡＣ処理部１３２は、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行って、一の画像における全ての画素の座標をそれぞれ対応する他の画像における全ての画素の座標に変換するための座標変換式を算出するものである。ここで、ＲＡＮＳＡＣ処理部１３２は、対応する特徴点の動きの大きさに基づいて、一の特徴点の座標を他の特徴点の座標に変換する座標変換式を算出する座標変換式算出手段を構成している。

画像合成部１３３（画像合成手段）１３３は、画素どうしが対応する位置を計算して画像信号を加算（合成）するものであり、より具体的には、後述する座標変換式算出処理にて算出される座標変換式に基づいて、複数の画像のうちの何れか一の画像の画素の座標を当該画素に対応する他の画像に係る他の画素の座標に変換して、前記複数の画像信号を合成する画像合成処理を行うようになっている。
なお、画像合成部１３３による画像合成処理は、後述するように、合成画像を初期化する合成初期化処理、画像合成の主処理としての合成主処理、最後の合成画像の主処理後に行われる合成終了処理等から構成されている（図５〜図８参照）。

制御部７は、例えば、撮像装置１００の各部を統括的に制御するＣＰＵを備える制御回路７１と、ＣＰＵの動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。

プログラムメモリ７２は、例えば、特徴点抽出プログラム７２ａ、特徴点追跡プログラム７２ｂ、特徴点移動量算出プログラム７２ｃ、移動判定プログラム７２ｄ、第一の座標変換式算出制御プログラム７２ｅ、歪み微分量取得プログラム７２ｆ、歪み量算出プログラム７２ｇ、第二の座標変換式算出制御プログラム７２ｈ等を記憶している。

特徴点抽出プログラム７２ａは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点抽出手段として、電子撮像部１２により所定間隔を空けて連続撮影された複数の画像（フレーム）に係る画像信号に基づいて、少なくとも何れか一の画像の特徴点を所定数抽出する特徴点抽出処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、２つの画像のうち、一方の画像から複数の特徴点を抽出するようになっている（図３参照）。

特徴点追跡プログラム７２ｂは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点追跡手段として、複数の画像の画像信号のうち、特徴点抽出処理により特徴点が抽出された一の画像と異なる他の画像の画像信号に基づいて、一の画像における一の特徴点に対応する他の画像における他の特徴点の追跡を行う特徴点追跡処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる特徴点追跡プログラム７２ｂの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、特徴点抽出処理にて特徴点が抽出された一の画像と異なる他の画像において、所定の特徴点の追跡を勾配法により行うようになっている。また、特徴点追跡処理に係る勾配法にあっては、オプティカルフロー検出部１３１は、例えば、画像の縦横の画素を所定倍ずつ縮小することでピラミッド階層構造化された画像（レイヤ）の画像信号に基づいて、順次勾配法により特徴点の追跡を行うようにしても良い。

特徴点移動量算出プログラム７２ｃは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点移動量算出手段として、特徴点追跡処理にて追跡された一の特徴点から当該特徴点に対応する他の特徴点までの特徴点移動量、即ち、対応する特徴点の動きの大きさ（動きベクトルの大きさ（式（１）参照））を算出する特徴点移動量算出処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる特徴点移動量算出プログラム７２ｃの実行に基づいて、例えば、映像信号処理部１３が、特徴点が含まれる一の画像と他の画像におけるフレーム間の動きの大きさを算出するようになっている。
なお、動きベクトルの大きさは、以下の一般式（１）により表される。

移動判定プログラム７２ｄは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点移動量算出処理にて算出された特徴点移動量に基づいて、他の特徴点が一の特徴点に対して移動しているか否かを判定する移動判定処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる移動判定プログラム７２ｄの実行に基づいて、例えば、映像信号処理部１３が、動きベクトルの大きさ（式（１）参照）が０であるか否かに応じて、他の特徴点が一の特徴点に対して移動しているか否かを判定するようになっている。

第一の座標変換式算出制御プログラム７２ｅは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、移動判定処理にて他の特徴点が一の特徴点に対して移動していないと判定された場合に、特徴点抽出処理にて抽出された複数の特徴点の全てを用いて座標変換式を算出させる第一の座標変換式算出制御に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる第一の座標変換式算出制御プログラム７２ｅの実行に基づいて、例えば、映像信号処理部１３が、移動判定処理にて特徴点移動量（動きベクトルの大きさ）が０であると判定された場合に、特徴点抽出処理にて抽出された複数の特徴点の全て、即ち、例えば図３における画像の中心Ｃからの距離に応じて付された１〜３に対応する全ての特徴点を用いて座標変換式を算出するようになっている。

歪み微分量取得プログラム７２ｆは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、歪み微分量取得手段として、特徴点抽出処理にて抽出された一の画像の一の特徴点の座標に基づいて、当該一の特徴点の撮像レンズの歪曲収差による歪みに係る歪み微分量を取得する歪み微分量取得処理に係る機能を実現させるためのプログラムである。
ここで、歪み微分量ｆ（ｘ、ｙ）は、例えば、歪曲収差が単純な樽型の歪曲収差である場合には、歪みは画像の中心（光軸）からの距離の自乗に比例するので、基準画像の座標を（ｘ、ｙ）と、画像中心座標Ｃを（ｘ_ｃ、ｙ_ｃ）として、下記式（２）により表される。

なお、ｋは所定の定数である。

歪み量算出プログラム７２ｇは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、歪み量算出手段として、歪み微分量取得処理にて取得された歪み微分量、及び特徴点追跡処理にて追跡された特徴点の動きベクトルの大きさ（特徴点移動量算出処理により算出された特徴点移動量）に基づいて、特徴点抽出処理にて抽出された特徴点の歪み量を算出する歪み量算出処理に係る機能を実現させるためのプログラムである。
ここで、歪み量は、例えば、上記式（２）の左辺により表される歪み微分量に対して、特徴点追跡処理にて追跡された特徴点の動きベクトルの大きさを積算することにより規定される。

第二の座標変換式算出制御プログラム７２ｈは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、座標変換式算出制御手段として、移動判定処理にて他の特徴点が一の特徴点に対して移動していると判定された場合に、特徴点移動量算出処理にて算出された特徴点移動量が大きくなる程、特徴点抽出処理にて抽出された複数の特徴点のうちの画像のより中心Ｃ側に位置する特徴点のみを用いて座標変換式を算出させる第二の座標変換式算出制御に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる第二の座標変換式算出制御プログラム７２ｈの実行に基づいて、例えば、映像信号処理部１３が、特徴点利用判定手段として、歪み量算出処理にて算出された一の特徴点の歪み量に基づいて、当該歪み量が大きい程、複数の特徴点のうちの画像のより中心側に位置する特徴点のみが用いられるように、当該複数の特徴点の各々が座標変換式の算出に用いられるか否かを判定するようになっている。
より具体的には、例えば、下記式（３）に示すように、歪み量が所定の閾値ｔ（ｔは、任意の数である。）に対して、大きくなっているか否かに応じて座標変換式に用いられる特徴点が決定される。即ち、歪み量算出処理にて算出される歪み量が閾値ｔよりも大きい場合には、この特徴点は用いない。こうすることにより、図３における画像のより中心側に位置する特徴点１のみが用いられるようになっている。
このように、特徴点追跡処理にて追跡された特徴点の動きベクトルの大きさが大きい程、画像のより中心側に位置する特徴点のみが座標変換式の算出に用いられることとなる。

さらに、以下の様な判定方法を用いても良い。画像全体の動き量を算出し、これが所定の閾値ｍ、ｎ（ｍ、ｎは、任意の数であり、ｍ＞ｎである。）に対して、大きくなっているか否かに応じて座標変換式に用いられる特徴点が決定される。即ち、画像全体の動き量が閾値ｎよりも大きい場合には、例えば図３における画像の周縁部の特徴点３を除いた特徴点１及び２のみが用いられ、また、画像全体の動き量が閾値ｎよりも大きい閾値ｍよりも大きい場合には、図３における画像のより中心側に位置する特徴点１のみが用いられる。

撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２と、ストロボ発光部２３を発光させるためのストロボ駆動部２４等を備えている。
これらフォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。

表示部３は、例えば、ＣＰＵから適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。

操作部４は、例えば、当該撮像装置１００の各部に設けられた撮影スイッチ、各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵに入力するための入力回路４２等を備えている。

記録媒体５としては、例えば、カード型のフラッシュメモリやハードディスク等を適用することができる。

次に、複数の画像を合成して合成画像を作成する合成画像作成処理について図４〜図８を参照して説明する。
実施形態１の撮像装置１００による合成画像作成処理は、座標変換式算出処理にて座標変換式を算出した後、当該座標変換式に基づいて複数の画像を合成する画像合成処理を行うようになっている。

先ず、座標変換式算出処理について図４を参照して説明する。
ここで、図４は、撮像装置１００による座標変換式算出処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、撮像装置１００のユーザによる所定操作に基づいて連続して画像が撮像されて映像信号処理部１３に入力されると（ステップＳ１）、映像信号処理部１３は、ＣＰＵによるピラミッド階層構造化プログラムの実行に基づいて、入力された画像信号をピラミッド階層構造化する処理を行う（ステップＳ２）。

次に、映像信号処理部１３は、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、例えば、撮像された２つ画像のうちの何れか一方の画像の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ３）。
続けて、映像信号処理部１３は、ＣＰＵによる特徴点追跡プログラム７２ｂの実行に基づいて、解像度の低いレイヤから順に勾配法により、一の画像における一の特徴点に対応する他の画像における他の特徴点の追跡を行う特徴点追跡処理を行う（ステップＳ４）。

次に、映像信号処理部１３は、ＣＰＵによる特徴点移動量算出プログラム７２ｃの実行に基づいて、特徴点追跡処理にて追跡された対応する特徴点の動きの大きさ（動きベクトルの大きさ）を算出する特徴点移動量算出処理を行う（ステップＳ５）。
続けて、映像信号処理部１３は、ＣＰＵによる移動判定プログラム７２ｄの実行に基づいて、特徴点移動量算出処理にて算出された動きベクトルの大きさに基づいて、対応する特徴点が移動しているか否かを判定する移動判定処理を行う（ステップＳ６）。

ステップＳ６にて、動きベクトルの大きさがゼロであり、特徴点が移動していないと判定されると（ステップＳ６；ＹＥＳ）、映像信号処理部１３は、ＣＰＵによる第一の座標変換式算出制御プログラム７２ｅの実行に基づいて、特徴点抽出処理にて抽出された特徴点１〜３の全てを用いて座標変換式を算出する（ステップＳ７）。

一方、動きベクトルの大きさがゼロ（０）ではなく特徴点が移動していると判定されると（ステップＳ６；ＮＯ）、映像信号処理部１３は、ＣＰＵによる歪み微分量取得プログラム７２ｆの実行に基づいて、特徴点抽出処理により抽出された一の特徴点に係る歪み微分量を取得する歪み微分量取得処理を行い（ステップＳ８）、続けて、ＣＰＵによる歪み量算出プログラム７２ｇの実行に基づいて、特徴点抽出処理にて抽出された一の特徴点の歪み量を算出する歪み量算出処理を行う（ステップＳ９）。
次に、映像信号処理部１３は、ＣＰＵによる第二の座標変換式算出制御プログラム７２ｈの実行に基づいて、特徴点移動量算出処理にて算出された動きベクトルの大きさが大きくなる程、特徴点抽出処理にて抽出された複数の特徴点のうちの画像のより中心Ｃ側に位置する特徴点のみを用いて座標変換式を算出する（ステップＳ１０）。

そして、映像信号処理部１３は、ステップＳ７或いはステップＳ１０により座標変換式の算出が終了すると、２つの画像を合成する画像合成処理を行う。

次に、画像合成処理について図５〜図８を参照して説明する。
ここで、図５は、図１の撮像装置１００による画像合成処理に係る動作の一例を示すフローチャートである。また、図６は、画像合成処理における合成初期化処理に係る動作の一例を示すフローチャートであり、図７は、画像合成処理における合成主処理に係る動作の一例を示すフローチャートであり、図８は、画像合成処理における合成終了処理に係る動作の一例を示すフローチャートである。
なお、画像合成処理は、単純化のため、グレイスケールの画像を例にして説明する。

映像信号処理部１３は、図５及び図６に示すように、先ず、合成初期化処理を行う（ステップＳ２１）。
この合成初期化処理にあっては、映像信号処理部１３は、先ず、基準画像となる最初の画像フレームが入力されると（ステップＳ２１１）、合成画像の画素値配列（累積値）Ｃ（ｘ、ｙ）を基準画像の画素値配列Ｐ（ｘ、ｙ）とする処理を行う（ステップＳ２１２）。

次に、映像信号処理部１３は、図５及び図７に示すように、合成主処理を行う（ステップＳ２２）。
この合成主処理は、２枚目以降の全ての画像フレームに対して実行される処理であり、映像信号処理部１３は、基準画像に重ね合わされる画像フレームが入力されると（ステップＳ２２１）、座標変換式算出処理にて算出された所定の座標変換Ｔにより基準画像の一の画素の座標（ｘ、ｙ）を座標変換して当該重ね合わされる画像の画素の座標（Ｘ、Ｙ）とする処理を行う（ステップＳ２２２）。
次に、映像信号処理部１３は、合成画像の画素値配列（累積値）Ｃ（ｘ、ｙ）に重ね合わされる画像の画素値配列Ｑ（Ｘ、Ｙ）を加算する処理を行う（ステップＳ２２３）。

次に、映像信号処理部１３は、図５及び図８に示すように、合成終了処理を行う（ステップＳ２３）。
この合成終了処理は、重ね合わされる最後の画像フレームの合成主処理後に実行される処理であり、映像信号処理部１３は、合成画像の画素値配列（累積値）Ｃ（ｘ、ｙ）を重ね合わされた画像フレームの枚数Ｎで除算して、その演算結果を合成画像として出力する（ステップＳ２３１）。

このようにして、画像合成処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、追跡された画像の一の特徴点に対応する他の特徴点が一の特徴点に対して移動していない、即ち、特徴点の動きベクトルがゼロであると判定された場合に、抽出された複数の特徴点の全てを用いて座標変換式を算出させることができる。また、他の特徴点が一の特徴点に対して移動していると判定された場合には、その移動量が大きくなる程、抽出された複数の特徴点のうちの画像のより中心側に位置する特徴点のみを用いて座標変換式を算出させることができる。即ち、撮像レンズの歪曲収差に応じて変動する特徴点の歪み量が大きい程、複数の特徴点のうちの画像のより中心側に位置する特徴点のみが座標変換式の算出に用いられることとなる。
これによって、より適正な座標変換式を算出することができ、特徴点の座標変換をより正確に行うことができる。即ち、撮像レンズの歪曲収差により対応する特徴点が動いてしまう虞がある場合に、少なくとも歪みによる動きの影響の少ない画像の中心側の特徴点を用いて座標変換式を算出することができることとなる。
従って、当該座標変換式を用いることにより、複数の画像間における特徴点の座標変換を適正に行うことができることとなって、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

［実施形態２］
以下に、実施形態２の撮像装置２００について、図９〜図１２を参照して説明する。
ここで、図９は、本発明に係る実施形態２の撮像装置２００の要部構成を示すブロック図である。
なお、実施形態２の撮像装置２００は、画像合成処理以外の点では上記実施形態１と同様であるので、同様の構成には同一の符号を付してその説明を省略する。

実施形態２の撮像装置２００は、ＣＰＵによる特徴点移動量算出プログラム７２ｃの実行に基づいて映像信号処理部（画像移動量算出手段）１３により算出された合成される画像フレームの動きの大きさ（一の画像と他の画像の間の移動量）、即ち、一の特徴点の動きベクトルの大きさに応じて、重ね合わされる画像の画素の位置及びその量を変更する画像合成処理を行うようになっている。
即ち、プログラムメモリ２７２には、実施形態１のプログラムメモリ７２に記憶されている所定のプログラムに加えて、画像合成制御プログラム７２ｉが記憶されている。

画像合成制御プログラム７２ｉは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、移動判定処理にて他の特徴点が一の特徴点に対して移動していないと判定された場合に、複数の画像の全ての画素を用いて画像合成部１３３に画像信号を合成させる処理に係る機能を実現させるためのプログラムである。
また、画像合成制御プログラム７２ｉは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部（画像合成制御手段）１３に、移動判定処理にて他の特徴点が一の特徴点に対して移動していると判定された場合に、特徴点移動量算出処理により算出された特徴点移動量が大きくなる程、画像の画素のうちの中心Ｃ側に位置する画素のみを用いて画像合成部１３３に画像信号を合成させる処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる画像合成制御プログラム７２ｉの実行に基づいて、例えば、映像信号処理部１３が、下記式（４）に示すように、一の特徴点の歪み量が所定の閾値ｏに対して大きくなっているか否かに応じて画像合成処理にて合成される画素を決定するようになっている。即ち、一の特徴点の歪み量が所定の閾値ｏ以下であると判定された場合には、映像信号処理部１３は、所定の座標変換式に基づいて座標変換された各画像を構成する全ての画素を用いて画像合成部１３３に画像信号を合成させ、また、一の特徴点の歪み量が閾値ｏよりも大きい場合には、画像のより周縁部の画素を除いてより中心側の画素を用いて画像合成部１３３に画像信号を合成させるようになっている。

なお、上記式（４）において、歪み微分量ｆ（ｘ、ｙ）の替わりに、ｆ（Ｘ、Ｙ）や、ｍａｘ（ｆ（ｘ、ｙ）、ｆ（Ｘ、Ｙ））を用いても良い。
また、歪み量の大きさの判定に係る閾値は、閾値ｏに対してより小さい閾値を用いて、当該閾値との歪み量の比較判定に基づいて、画像合成に用いられる画素の位置及びその量をより細かく決定するようにしても良い。

以下に、実施形態２の撮像装置２００による画像合成処理について図１０〜図１２を参照して説明する。
ここで、図１０は、画像合成処理における合成初期化処理に係る動作の一例を示すフローチャートであり、図１１は、画像合成処理における合成主処理に係る動作の一例を示すフローチャートであり、図１２は、画像合成処理における合成終了処理に係る動作の一例を示すフローチャートである。

映像信号処理部１３は、図１０に示すように、先ず、合成初期化処理を行う。
この合成初期化処理にあっては、映像信号処理部１３は、先ず、基準画像となる最初の画像フレームが入力されると（ステップＳ２２１１）、合成画像の画素値配列（累積値）Ｃ（ｘ、ｙ）を基準画像の画素値配列Ｐ（ｘ、ｙ）とする処理を行う（ステップＳ２２１２）。
続けて、映像信号処理部１３は、画像の各画素について合成終了処理における除数を規定するＤ〔ｘ、ｙ〕に１を代入する処理を行う（ステップＳ２２１３）。

次に、映像信号処理部１３は、図１１に示すように、合成主処理を行う。
この合成主処理にあっては、基準画像に重ね合わされる画像フレームが入力されると（ステップＳ２２２１）、映像信号処理部１３は、座標変換式算出処理にて算出された所定の座標変換Ｔにより基準画像の一の画素の座標（ｘ、ｙ）を座標変換して当該重ね合わされる画像の画素の座標（Ｘ、Ｙ）とする処理を行う（ステップＳ２２２２）。

続けて、映像信号処理部１３は、重ね合わされる画素の歪み量を上記式（４）に従って算出し（ステップＳ２２２３）、ＣＰＵによる画像合成制御プログラム７２ｉの実行に基づいて、当該歪み量が閾値ｏに以下であるか否かを判定する（ステップＳ２２２４）。
ここで、歪み量が閾値ｏ以下であると判定されると（ステップＳ２２２４；ＹＥＳ）、映像信号処理部１３は、合成画像の画素値配列Ｃ（ｘ、ｙ）に重ね合わされる画像の画素値配列Ｑ（Ｘ、Ｙ）を加算する処理を行った後（ステップＳ２２２５）、除数Ｄ〔ｘ、ｙ〕に１を加算する処理を行う（ステップＳ２２２６）。
一方、歪み量が閾値ｏ以下ではないと判定されると（ステップＳ２２２４；ＮＯ）、映像信号処理部１３は、ステップＳ２２２５及びステップＳ２２２６の処理を実行させずに、当該合成主処理を終了させる。

次に、映像信号処理部１３は、図１２に示すように、合成終了処理を行う。
この合成終了処理にあっては、映像信号処理部１３は、合成画像の画素値配列（累積値）Ｃ（ｘ、ｙ）を重ね合わされた画像フレームの画素の数である除数Ｄ〔ｘ、ｙ〕で除算して、その演算結果を合成画像として出力する（ステップＳ２２３１）。

このようにして、画像合成処理を終了する。

以上のように、実施形態２の撮像装置２００によれば、重ね合わされる画素の歪み量が閾値ｏ以下であると判定された場合に、全ての画素を用いて画像信号を合成することができ、また、画素の歪み量が閾値ｏよりも大きいと判定された場合に、複数の画素のうちの画像の中心側に位置する画素のみを用いて画像信号を合成することができるので、撮像レンズの歪曲収差の影響を抑えた合成画像を作成することができる。即ち、撮像レンズの歪曲収差により対応する画素が動いてしまう虞がある場合に、当該撮像レンズの歪みの影響が大きい画像の周縁部の画素を用いずに、少なくとも歪みによる動きの影響の少ない画像の中心側の画素を用いることで、より適正な画像合成を行うことができる。このようにして、合成画像に対する撮像レンズの歪みの影響を抑えることができる。

なお、上記実施形態では、画像フレームの各画素について、動きベクトルを算出して歪み量を算出する処理を行うようにしたが、これに限られるものではなく、例えば、画像フレーム全体の大まかな動き量（動きベクトル）を取得して、当該取得された動きベクトルを用いて歪み量（式（５）参照）を算出するようにしても良い。この場合には、配列Ｄは、画像フレームの中心座標（ｘ_ｃ、ｙ_ｃ）からの距離が等しければ同じ値となるので、下記の一般式（６）により表される１次元の配列により規定しても良い。これにより、除数Ｄの保存に係るメモリの保存領域の縮小化を図ることができる。
なお、歪み量は、以下の一般式（５）により、また、１次元の配列は、以下の一般式（６）により表される。

さらに、上記実施形態２における画像合成処理にあっては、歪み量の判定に係る閾値によって規定される境界を乱数や所定のディザパターンにてぼやけさせることで擬輪郭を目立たないようにしても良いし、閾値を多段階化しても良い。また、境界付近の画素値に境界上を０．５として中心部に近づくほど1に近く、遠ざかるほど０に近いような実数係数を乗算して（除数も同様とする）から加算するようにしても良い。

［実施形態３］
以下に、実施形態３の撮像装置３００について、図１３〜図１５を参照して説明する。
ここで、図１３は、本発明に係る実施形態３の撮像装置３００の要部構成を示すブロック図である。
なお、実施形態３の撮像装置３００は、特徴点追跡処理以外の点では上記実施形態１と同様であるので、同様の構成には同一の符号を付してその説明を省略する。

実施形態３の撮像装置３００は、重ね合わされる画像の動きベクトルの代表値である移動量代表値を取得する移動量代表値取得処理を行い、当該移動量代表値の大きさに応じて画像のより周縁部に位置する特徴点の追跡を行うか否かを判定する特徴点追跡判定処理を行うようになっている。
即ち、プログラムメモリ３７２には、実施形態１のプログラムメモリ７２に記憶されている所定のプログラムに加えて、移動量代表値取得プログラム７２ｊ、特徴点追跡判定プログラム７２ｋが記憶されている。

移動量代表値取得プログラム７２ｊは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、移動量代表値取得手段として、複数の画像信号に基づいて、一の画像の一の特徴点から当該特徴点に対応する他の第一の画像の他の特徴点までの移動量を代表する移動量代表値を取得する移動量代表値取得処理に係る機能を実現させるためのプログラムである。
具体的には、本実施形態における特徴点追跡処理にあっては、先ず、複数の画像信号に基づいて、特徴点抽出処理にて抽出された複数の特徴点のうち、画像の周縁側よりも中心側に位置する特定領域１内の少なくとも一の特徴点の追跡を行い、その後、特徴点移動量算出処理にて、特定領域１（図１４参照）内の特徴点の動きベクトルの大きさを算出するようになっている。そして、ＣＰＵによる移動量代表値取得プログラム７２ｊの実行に基づいて、映像信号処理部１３は、特徴点移動量算出処理にて算出された動きベクトルの大きさに基づいて、特定領域１内の特徴点の動きベクトルの大きさの平均値（式（７）参照）を算出して、当該平均値を移動量代表値として取得するようになっている。
なお、動きベクトルの大きさの平均値は、以下の一般式（７）により表される。

特徴点追跡判定プログラム７２ｋは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点追跡判定手段として、移動量代表値取得処理にて取得された移動量代表値、及び特徴点抽出処理により抽出された特徴点の座標に基づいて、複数の特徴点のうち、少なくとも画像の周縁側に位置する特徴点の追跡を行わせるか否かを判定する特徴点追跡判定処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる特徴点追跡判定プログラム７２ｋの実行に基づいて、映像信号処理部１３は、例えば、下記式（８）に示すように、特徴点抽出処理にて抽出された特定領域２内の特徴点の歪み微分量と特定領域１内の特徴点の動きベクトルの大きさの平均値により規定される歪み量が所定の閾値ｔに対して、大きくなっているか否かに応じて特徴点の追跡を行うか否かを決定するようになっている。即ち、映像信号処理部１３は、歪み量が閾値ｔよりも大きくなる場合には、当該特徴点の追跡を行わずに、歪み量が閾値ｔ以下となる場合には、当該特徴点の追跡を行うようになっている。

次に、特徴点追跡処理について図１５を参照して説明する。
ここで、図１５は、撮像装置３００による特徴点追跡処理に係る動作の一例を示すフローチャートである。

先ず、映像信号処理部１３は、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、例えば、撮像された２つ画像のうちの何れか一方の画像の特定領域１内の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ３０１）。
続けて、映像信号処理部１３は、ＣＰＵによる特徴点追跡プログラム７２ｂの実行に基づいて、勾配法により抽出された特徴点に対応する他方の画像における特徴点の追跡を行う（ステップＳ３０２）。
次に、映像信号処理部１３は、ＣＰＵによる移動量代表値取得プログラム７２ｊの実行に基づいて、特定領域１内の特徴点の動きベクトルの大きさの平均値を取得する移動量代表値取得処理を行う（ステップＳ３０３）。

続けて、映像信号処理部１３は、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、例えば、一方の画像の特定領域２内の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ３０４）。
次に、映像信号処理部１３は、特徴点抽出処理にて抽出された特定領域２内の特徴点の座標と移動量代表値取得処理にて取得された特定領域１内の特徴点の動きベクトルの大きさの平均値に基づいて、当該特徴点の歪み量を算出する（ステップＳ３０５）。

そして、映像信号処理部１３は、ＣＰＵによる特徴点追跡判定プログラム７２ｋの実行に基づいて、上記式（８）に従って歪み量が閾値ｔ以下であるか否かを判定する特徴点追跡判定処理を行う（ステップＳ３０６）。
ここで、歪み量が閾値ｔ以下であると判定されると（ステップＳ３０６；ＹＥＳ）、映像信号処理部１３は、ＣＰＵによる特徴点追跡プログラム７２ｂの実行に基づいて、勾配法により当該特徴点に対応する他方の画像における特徴点の追跡を行う（ステップＳ３０７）。

その後、映像信号処理部１３は、特徴点抽出処理にて抽出された特定領域２内の特徴点の全てについて追跡を行ったか否かを判定する処理を行う（ステップＳ３０８）。
ここで、特定領域２内の全ての特徴点について追跡を行っていないと判定されると（ステップＳ３０８；ＮＯ）、映像信号処理部１３は、未だ判定されていない特徴点について、追跡を行うか否かの判定を行わせる（ステップＳ３０９）。

なお、歪み量が閾値ｔ以下ではないと判定されると（ステップＳ３０６；ＮＯ）、映像信号処理部１３は、ステップＳ３０８に移行して、それ以降の処理を実行させる。
また、当該特徴点追跡処理の終了後には、映像信号処理部１３にて、追跡された特徴点に基づいて座標変換式が算出された後、画像が合成されるようになっている。

以上のように、実施形態３の撮像装置３００によれば、複数の特徴点のうち、複数の画像の周縁側よりも中心側に位置する特定領域１内の特徴点の動きベクトルの大きさの平均値を算出して、当該平均値を移動量代表値として取得することができる。そして、特定領域１内の特徴点の動きベクトルの大きさの平均値及び特徴点の座標に基づいて、特定領域２内の特徴点の追跡を行わせるか否かを判定することができるので、撮像レンズの歪曲収差により対応する特徴点が動いてしまう虞がある場合に、座標変換式の算出に用いられることのない画像の周縁側に位置する特徴点の追跡を行う必要がなくなって、座標変換式の算出に係る時間を短縮することができる。
即ち、抽出された複数の特徴点の全てについて追跡を行わずとも、特定領域１内の特徴点に係る移動量代表値に基づいて、画像の特定領域１以外の特定領域２の特徴点の追跡を行うか否かを判定することができることとなり、座標変換式の算出に用いられる特徴点の追跡のみの追跡をより適正に、且つ高速に行うことができる。

なお、上記実施形態３にあっては、合成される画像の歪みを最小にするためには、特定領域１は、画像の略中心位置Ｃを中心として略等しい半径を有する円形状の領域であることが好ましいが、フォーカスを合わせたい被写体が画像の中心位置Ｃからずれている場合には、その被写体を中心とする領域であることが好ましい。
また、上記実施形態３では、移動量代表値として特定領域１内の特徴点の動きベクトルの大きさの平均値を用いるようにしたが、これに限られるものではなく、例えば、動きベクトルの二乗平均や、最頻値や、特定領域１の中心１点の動きベクトルの大きさを用いても良い。さらに、当該動きベクトルに替えて、ブロックマッチングや撮像装置１００に内蔵された加速度センサからの出力信号などを用いて、合成される画像の移動量を見積もって算出するようにしても良い。

なお、上記実施形態３では、画像の特定領域１内の特徴点に基づいて移動量代表値を取得し、当該移動量代表値に基づいて特定領域２内の特徴点の追跡を行うか否かを判定するようにしたが、特徴点追跡処理の方法は、これに限られるものではない。
以下に、特徴点追跡処理の変形例について説明する。

＜特徴点追跡処理の変形例＞
即ち、図１６及び図１７に示すように、例えば、画像の縦横の画素を順次１／２倍ずつすることでピラミッド階層構造化して、当該ピラミッド階層構造化された画像のうち、解像度の低い画像（レイヤ）Ｇ１を用いてグローバルマッチングにより画像の追跡を行って、当該グローバルマッチングにより算出された全体動きベクトルを移動量代表値として、当該レイヤＧ１よりも解像度の高いレイヤＧ２にて座標変換式の算出に係る特徴点の追跡を行うかの判定を行うようになっている。
ここで、グローバルマッチングは、合成される複数の画像におけるそれぞれの解像度の低いレイヤＧ１に対して、一の画像に係るレイヤＧ１の中心近傍の領域とほぼ等しくなる領域を他の画像に係るレイヤＧ１全体の中で探索するものである。

以下に、特徴点追跡処理の変形例について、図１７を参照して詳細に説明する。
先ず、映像信号処理部１３は、例えば、撮像された二つの画像の画像信号（例えば、ＲＧＢ信号のうちのＧ信号）をピラミッド階層構造化する処理を行った後（ステップＳ４０１）、当該ピラミッド階層構造化された解像度の低い画像（レイヤ）Ｇ１を用いてグローバルマッチングにより画像の追跡を行う（ステップＳ４０２）。
次に、映像信号処理部１３は、ＣＰＵによる移動量代表値取得プログラム７２ｊの実行に基づいて、グローバルマッチングによる画像の追跡結果に従って画像の全体動きベクトルを移動量代表値として取得する移動量代表値取得処理を行う（ステップＳ４０３）。

続けて、映像信号処理部１３は、ピラミッド階層構造化された画像（レイヤ）のうち、グローバルマッチングに用いられたレイヤＧ１よりも１段階解像度の高いレイヤＧ２を用いて、一方の画像の特徴点を所定数抽出する特徴点抽出処理を行う（ステップＳ４０４）。
次に、映像信号処理部１３は、特徴点抽出処理にて抽出された特徴点の座標と移動量代表値取得処理にて取得された一段階解像度の低いレイヤＧ１の全体動きベクトルに基づいて、当該特徴点の歪み量を算出する（ステップＳ４０５）。

そして、映像信号処理部１３は、ＣＰＵによる特徴点追跡判定プログラム７２ｋの実行に基づいて、歪み量が所定の閾値以下であるか否かを判定する特徴点追跡判定処理を行う（ステップＳ４０６）。
ここで、歪み量が閾値以下であると判定されると（ステップＳ４０６；ＹＥＳ）、映像信号処理部１３は、ＣＰＵによる特徴点追跡プログラム７２ｂの実行に基づいて、勾配法により当該特徴点に対応する他方の画像における特徴点の追跡を行う（ステップＳ４０７）。

その後、映像信号処理部１３は、特徴点抽出処理にて抽出された特徴点の全てについて追跡を行ったか否かを判定する処理を行う（ステップＳ４０８）。
ここで、全ての特徴点について追跡を行っていないと判定されると（ステップＳ４０８；ＮＯ）、映像信号処理部１３は、未だ判定されていない特徴点について、追跡を行うか否かの判定を行なわせる（ステップＳ４０９）。

なお、歪み量が所定の閾値以下ではないと判定されると（ステップＳ４０６；ＮＯ）、映像信号処理部１３は、ステップＳ４０８に移行して、それ以降の処理を実行させる。

このような構成としても、実施形態３の撮像装置３００と同様に、グローバルマッチングに基づいて算出されたレイヤＧ１の全体動きベクトル及び特徴点の座標に基づいて、レイヤＧ１よりも解像度が一段階高いレイヤＧ２にて特徴点の追跡を行わせるか否かを判定することができるので、撮像レンズの歪曲収差により対応する特徴点が動いてしまう虞がある場合に、座標変換式の算出に用いられることのない特徴点の追跡を行う必要がなくなって、座標変換式の算出に係る時間を短縮することができる。

なお、本発明は、上記実施形態１〜３に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１〜３では、本発明に係る画像処理装置として、撮像された複数の画像の合成を行う撮像装置１００、２００、３００を例示したが、これに限られるものではなく、少なくとも特徴点の動きの大きさに応じて座標変換式の算出に用いられる特徴点を判定することで、より適正な座標変換式を算出する処理を行うことができる装置であれば如何なるものであっても良い。

本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置の要部構成を示すブロック図である。 図１の撮像装置の映像信号処理部を模式的に示した図である。 図１の撮像装置による座標変換式算出処理に用いられる特徴点を模式的に示した図である。 図１の撮像装置による座標変換式算出処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。 図５の画像合成処理における合成初期化処理に係る動作の一例を示すフローチャートである。 図５の画像合成処理における合成主処理に係る動作の一例を示すフローチャートである。 図５の画像合成処理における合成終了処理に係る動作の一例を示すフローチャートである。 本発明を適用した画像処理装置の好適な一例として例示する実施形態２の撮像装置の要部構成を示すブロック図である。 図９の撮像装置による画像合成処理における合成初期化処理に係る動作の一例を示すフローチャートである。 図９の画像合成処理における合成主処理に係る動作の一例を示すフローチャートである。 図９の画像合成処理における合成終了処理に係る動作の一例を示すフローチャートである。 本発明を適用した画像処理装置の好適な一例として例示する実施形態３の撮像装置の要部構成を示すブロック図である。 図１３の撮像装置による特徴点追跡処理に係る画像を模式的に示した図である。 図１３の撮像装置による特徴点追跡処理に係る動作の一例を示すフローチャートである。 特徴点追跡処理の変形例に係る画像を模式的に示した図である。 図１６の特徴点追跡処理の変形例に係る動作の一例を示すフローチャートである。

符号の説明

１００、２００、３００ 撮像装置（画像処理装置）
１ 撮像部
１２ 電子撮像部
１３ 映像信号処理部（特徴点移動量算出手段、座標変換式算出制御手段、歪み微分量取得手段、歪み量算出手段、特徴点利用判定手段、画像合成制御手段、移動量代表値 取得手段、特徴点追跡判定手段）
１３１ オプティカルフロー検出部（特徴点抽出手段、特徴点追跡手段）
１３２ ＲＡＮＳＡＣ処理部（座標変換式算出手段）
１３３ 画像合成部（画像合成手段）
１５ 撮影制御部
７ 制御部
７１ 制御回路
７２、２７２、３７２ プログラムメモリ

Claims (7)

1. 撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像の特徴点を複数抽出する特徴点抽出手段と、
   前記複数の画像の画像情報のうち、前記特徴点抽出手段により前記特徴点が抽出された前記一の画像と異なる他の画像の画像情報に基づいて、前記一の画像における一の特徴点に対応する前記他の画像における他の特徴点の追跡を行う特徴点追跡手段と、
   前記特徴点追跡手段により追跡された前記一の特徴点から前記他の特徴点までの移動量を算出する特徴点移動量算出手段と、
   前記特徴点移動量算出手段により算出された前記移動量に基づいて、前記一の特徴点の座標を前記他の特徴点の座標に変換する座標変換式を算出する座標変換式算出手段と、
   前記特徴点移動量算出手段により算出された前記移動量が大きくなる程、前記特徴点抽出手段により抽出された前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみを用いて前記座標変換式算出手段に前記座標変換式を算出させる座標変換式算出制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴点抽出手段により抽出された前記一の特徴点の座標に基づいて、当該一の特徴点の前記撮像レンズの歪曲収差による歪みに係る歪み微分量を取得する歪み微分量取得手段と、
   前記歪み微分量取得手段により取得された前記歪み微分量、及び前記特徴点移動量算出手段により算出された前記移動量に基づいて、当該移動量に係る前記一の特徴点の歪み量を算出する歪み量算出手段と、を備え、
   前記座標変換式算出制御手段は、前記歪み量算出手段により算出された前記歪み量に基づいて、当該歪み量が大きい程、前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみが用いられるように、当該複数の特徴点の各々が前記座標変換式算出手段による前記座標変換式の算出に用いられるか否かを判定する特徴点利用判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像情報に基づいて、前記一の特徴点から前記他の特徴点までの移動量を代表する移動量代表値を取得する移動量代表値取得手段と、
   前記移動量代表値取得手段により取得された移動量代表値、及び前記特徴点抽出手段により抽出された前記特徴点の座標に基づいて、前記特徴点追跡手段に前記複数の特徴点のうち、少なくとも前記画像の周縁側に位置する特徴点の追跡を行わせるか否かを判定する特徴点追跡判定手段と、を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特徴点追跡手段は、前記複数の画像情報に基づいて、前記特徴点抽出手段により抽出された前記複数の特徴点のうち、前記複数の画像の周縁側よりも中心側に位置する特定領域内の少なくとも一の特徴点の追跡を行い、
   前記特徴点移動量算出手段は、前記特徴点追跡手段により追跡された前記特定領域内の前記特徴点に係る前記移動量を算出し、
   前記移動量代表値取得手段は、前記特徴点移動量算出手段により算出された前記移動量に基づいて、前記特定領域内の前記特徴点の移動量の平均値を算出して、当該平均値を前記移動量代表値として取得することを特徴とする請求項３に記載の画像処理装置。
5. 撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像と他の画像の間の移動量を算出する画像移動量算出手段と、
   前記画像移動量算出手段により算出された前記移動量に基づいて、前記一の画像における一の画素の座標を当該画素に対応する前記他の画像における他の画素の座標に変換する座標変換式を算出する座標変換式算出手段と、
   前記座標変換式算出手段により算出された前記座標変換式に基づいて、前記一の画像の前記一の画素の座標を前記他の画像の前記他の画素の座標に変換して、前記複数の画像情報を合成する画像合成手段と、
   前記画像移動量算出手段により算出された前記移動量が大きくなる程、前記複数の画像の画素のうちの前記画像の中心側に位置する画素のみを用いて前記画像合成手段に前記画像情報を合成させる画像合成制御手段と、
   を備えることを特徴とする画像処理装置。
6. 画像処理装置に
   撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像の特徴点を複数抽出する機能と、
   前記複数の画像の画像情報のうち、前記特徴点が抽出された前記一の画像と異なる他の画像の画像情報に基づいて、前記一の画像における一の特徴点に対応する前記他の画像における他の特徴点の追跡を行う機能と、
   追跡された前記一の特徴点から前記他の特徴点までの移動量を算出する機能と、
   算出された前記移動量が大きくなる程、抽出された前記複数の特徴点のうちの前記画像のより中心側に位置する特徴点のみを用いて前記一の特徴点の座標を前記他の特徴点の座標に変換する座標変換式を算出させる機能と、
   を実現させるためのプログラム。
7. 画像処理装置に、
   撮像レンズを用いて撮像された複数の画像のうち、少なくとも何れか一の画像と他の画像の間の移動量を算出する機能と、
   算出された前記移動量に基づいて、前記一の画像における一の画素の座標を当該画素に対応する前記他の画像における他の画素の座標に変換する座標変換式を算出する機能と、
   前記移動量が大きくなる程、前記複数の画像の画素のうちの前記画像の中心側に位置する画素のみを用いて、前記一の画像の前記一の画素の座標を前記座標変換式に基づいて前記他の画像の前記他の画素の座標に変換して、前記複数の画像情報を合成させる機能と、
   を実現させるためのプログラム。

Images