JP2011013890A - 画像合成装置及び方法 - Google Patents

Abstract

【課題】特徴点の分布を均一にして画像の合成精度を向上させる。
【解決手段】第１画像６５の重複画像領域６５ｂ内から、特徴のある信号勾配を持つ複数の特徴点６５ｃを抽出する。特徴６５ｃが抽出された重複画像領域６５ｂを、縦ｍ×横ｎ個の複数の分割領域６５ｅに分割する。各分割領域６５ｅ内の特徴点６５ｃの個数が均一になるように、各分割領域６５ｅから特徴点６５ｃをランダムに削除する。削除後に重複画像領域６５ｂ内に残った、分布が均一な特徴点６５ｃを用いて画像合成を行う。
【選択図】図１０

Description

本発明は、互いに重複した画像領域を有する少なくとも２つの画像を、各画像の重複画像領域から抽出した特徴点に基づいて合成する画像合成装置及び方法に関する。

広い画角の画像あるいは細密な画像を得るために、複数の画像を合成して１つの合成画像を作成する画像合成が用いられている。合成される複数の画像の位置を合わせる手法の一つとして、特徴点マッチングと呼ばれる手法がある。特徴点マッチングでは、複数の画像において互いに重複した重複画像領域を算出し、各重複画像領域内の被写体像のエッジ上から互いに対応する特徴点を抽出し、対応する特徴点同士の相関から画像間のずれを検出している。

画像間のずれの検出精度は、画像の合成精度に大きな影響を及ぼす。特許文献１記載の発明では、画像間のずれの検出精度を向上させるため、合成対象である一方の画像から像のエッジを示す線を含む線画像を作成し、この線画像の線幅を拡大させ、この線幅が拡大された線画像から特徴点を抽出している。また、特許文献２記載の発明では、画像合成を行うコンピュータ上において、合成される複数の画像間の特徴点を手動で対応付けして画像間のずれを算出し、算出したずれが打ち消されるように画像を平行移動させている。

特開平１１−０１５９５１号公報 特開平０７−３１１８４１号公報

図９（Ａ）、（Ｂ）は、撮影画角が水平方向で重なるように撮影された第１画像６５，第２画像６６であり、第１画像６５から抽出された特徴点６５ｃと、これらの特徴点６５ｃに対応する第２画像６６の対応特徴点６６ｃとを丸印によって表している。第１、第２画像６５，６６は、数人の人物からなる主要な被写体と、その背景の壁とからなる。特徴点は、均一なテクスチャを持つ被写体よりも、複雑なテクスチャを持つ被写体のほうが抽出されやすい。そのため、第１、第２画像６５、６６のようなシーンでは、背景の壁から抽出される特徴点６５ｃが主要被写体よりも少なくなり、特徴点６５ｃが不均一な分布となる。

図２２に示すように、特徴点の分布が不均一、かつ局所的に集中した第１画像６５と第２画像６６とを合成すると、その合成画像１００は、主要被写体の部分で局所的に最適化されてしまい、背景の壁にずれが生じ、合成精度が低下してしまう。特許文献１、２の発明は、画像間のずれ検出精度は向上するものの、特徴点の分布の不均一に対する考慮はなされていない。

本発明の目的は、画像のシーンによらず特徴点の分布を均一にして画像の合成精度を向上させることにある。

本発明の画像合成装置は、重複画像領域決定手段、特徴点抽出手段、特徴点追尾手段、特徴点削除手段、画像変形手段及び画像合成手段を備えている。重複画像領域決定手段は、少なくとも２つの画像の互いに重複した画像領域を決定している。特徴点抽出手段は、一方の画像の重複画像領域から特徴点を抽出している。特徴点追尾手段は、他方の画像の重複画像領域において一方の画像の特徴点に対応する対応特徴点を追尾し、特徴点と対応特徴点との間のオプティカルフローを算出している。特徴点削除手段は、特徴点の分布または個数に応じて特徴点及び対応特徴点の個数を削減している。画像変形手段は、特徴点の座標と対応特徴点の座標とに基づいて、対応特徴点を特徴点に一致させる幾何変換パラメータを算出し、この幾何変換パラメータに基づいて他方の画像を変形している。画像合成手段は、特徴点と対応特徴点とが重なるように一方の画像と変形後の他方の画像とを合成している。

特徴点削除手段は、一方の画像の重複画像領域を複数の分割領域に分割し、各分割領域内の特徴点の個数が等しくなるように特徴点を削除している。

特徴点削除手段は、分割領域内の特徴点の個数が閾値以下のときに、分割領域から特徴点を削除しないようにしてもよい。この場合、各分割領域内の特徴点数の最小値と、予め決定されている下限値とを比較し、いずれか大きい方の値を閾値とするのが好ましい。

別の特徴点削除手段としては、分割領域ごとに特徴点のオプティカルフローの平均値を算出し、この平均値から遠い値のオプティカルフローを有する特徴点から順に削除してもよい。

更に別の特徴点削除手段としては、分割領域ごとに複数の特徴点の中から基準特徴点を決定し、基準特徴点のオプティカルフローに近い値のオプティカルフローを有する特徴点から順に削除してもよい。

更にまた別の特徴点削除手段としては、複数の特徴点の中から基準特徴点を選択し、この基準特徴点を順次に変更しながら、基準特徴点から所定距離内に存在する特徴点を削除してもよい。

合成される複数の画像の位置関係が明確でない場合には、重複画像領域決定手段によって重複した画像領域を決定する前に、画像位置関係算出手段によって各画像を解析し、各画像間の位置関係を規定してもよい。

本発明の画像合成方法は、重複画像領域決定工程、特徴点抽出工程、特徴点追尾工程、特徴点削除工程、画像変形工程及び画像合成工程を備えている。重複画像領域決定工程では、少なくとも２つの画像の互いに重複した画像領域が決定される。特徴点抽出工程では、一方の画像の重複画像領域から特徴点を抽出される。特徴点追尾工程では、他方の画像の重複画像領域において一方の画像の特徴点に対応する対応特徴点が追尾され、特徴点と対応特徴点との間のオプティカルフローが算出される。特徴点削除工程では、特徴点の分布または個数に応じて特徴点及び対応特徴点の個数が削減される。画像変形工程では、特徴点の座標と対応特徴点の座標とに基づいて、対応特徴点を特徴点に一致させる幾何変換パラメータが算出され、この幾何変換パラメータに基づいて他方の画像が変形される。画像合成工程では、特徴点と対応特徴点とが重なるように一方の画像と変形後の他方の画像とが合成される。

特徴点削除工程では、一方の画像の重複画像領域を複数の分割領域に分割し、各分割領域内の特徴点の個数が等しくなるように特徴点を削除するのが好ましい。

特徴点削除工程は、分割領域内の特徴点の個数が閾値以下のときに、分割領域から特徴点を削除しないようにしてもよい。この場合、各分割領域内の特徴点数の最小値と、予め決定されている下限値とを比較し、いずれか大きい方の値を閾値とするのが好ましい。

別の特徴点削除工程としては、分割領域ごとに特徴点のオプティカルフローの平均値を算出し、この平均値から遠い値のオプティカルフローを有する特徴点から順に削除してもよい。

更に別の特徴点削除工程としては、分割領域ごとに複数の特徴点の中から基準特徴点を決定し、基準特徴点のオプティカルフローに近い値のオプティカルフローを有する特徴点から順に削除してもよい。

更にまた別の特徴点削除工程としては、複数の特徴点の中から基準特徴点を選択し、この基準特徴点を順次に変更しながら、基準特徴点から所定距離内に存在する特徴点を削除してもよい。

本発明の画像合成装置及び方法によれば、特徴点の分布が均一になるので、合成画像が局所的に最適化されることがなく、合成画像全体としての合成精度が向上する。

特徴点の削除は、重複画像領域を分割した各分割領域内の特徴点の個数に基づいて行われるので、基準が明確であり、かつ処理も容易である。更に、削除する特徴点の閾値を設け、この閾値以下のときには特徴点を削除しないので、特徴点が削除されすぎることもない。

また、各分割領域内の特徴点の個数だけに注目して特徴点を削除した場合、隣接する分割領域内の特徴点が近接したときに特徴点の分布の均一化が図られなくなるが、各分割領域内の特徴点のオプティカルフローに基づいて削除する特徴点を選択すれば、このような弊害が生じることもない。また、各特徴点間の距離に基づいて削除する特徴点を選択した場合には、重複画像領域全体における特徴点の分布を均一化することができる。

本発明を実施したデジタルカメラの構成を示すブロック図である。 信号処理部の構成を示すブロック図である。 重複画像領域の算出状態を模式的に表す説明図である。 特徴点抽出、特徴点追尾、オプティカルフローの算出を模式的に表す説明図である。 冗長な特徴点を削除した後の画像を示す説明図である。 画像の幾何変換及び合成状態を模式的に表す説明図である。 画像合成の処理手順を示すフローチャートである。 合成対象である第１画像及び第２画像の画像図である。 第１画像及び第２画像から抽出された特徴点及び対応特徴点、算出されたオプティカルフローを示す画像図である。 第１実施形態による冗長特徴点の削除を示す説明図である。 第１実施形態による冗長特徴点の手順を示すフローチャートである。 冗長特徴点の削除後に合成した画像を示す画像図である。 第２実施形態による冗長特徴点の削除を示す説明図である。 第２実施形態による冗長特徴点の手順を示すフローチャートである。 第３実施形態による冗長特徴点の削除を示す説明図である。 第３実施形態による冗長特徴点の手順を示すフローチャートである。 第４実施形態による冗長特徴点の削除を示す説明図である。 第４実施形態による冗長特徴点の手順を示すフローチャートである。 外部入力された複数画像を合成する画像合成装置のブロック図である。 複数画像間の位置関係を規定する画像位置関係規定回路を備えた信号処理部のブロック図である。 複数画像間の位置関係に基づいて設定されるテンプレートマッチングの領域を示す説明図である。 冗長な特徴点を削除せずに合成した合成画像の例を示す画像図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本発明の画像合成装置を組み込んだデジタルカメラ１０の構成を示している。デジタルカメラ１０は、例えば撮影画角が重なるように水平方向に並べて配置した第１、第２撮像部１１、１２によって２つの画像を撮影し、この２つの画像を合成して広い画角の合成画像を作成する。

第１撮像部１１について説明する。なお、第２撮像部１２は、第１撮像部１１と同一の構成を有しているため、詳しい説明は省略する。第１撮像部１１は、撮影レンズ１５、レンズ駆動回路１６、撮像素子１７、撮像素子駆動回路１８、ＣＤＳ１９、ＡＤＣ２０、ＴＧ２１等を備えている。

撮影レンズ１５は、レンズ駆動回路１６によって撮影光軸方向に移動され、被写体像を撮像素子１７の撮像面に結像する。撮像素子１７は、例えばＣＣＤであり、撮像素子駆動回路１８に駆動されて被写体像を撮像し、アナログの撮像信号を出力する。ＣＤＳ１９は、撮像信号に相関二重サンプリングを施してノイズを除去する。ＡＤＣ２０は、ＣＤＳ１９から入力されたアナログの撮像信号をデジタルの画像データに変換する。ＴＧ２１は、レンズ駆動回路１６、撮像素子駆動回路１８、ＣＤＳ１９及びＡＤＣ２０に制御用のタイミング信号を入力する。

メモリ２４は、例えばＳＤＲＡＭ等からなり、第１、第２撮像部１１、１２のＡＤＣ２０から出力された画像データを記憶する。メモリ２４は、デジタルカメラ１０内に設けられたデータバス２５に接続されている。ＣＰＵ２６は、ＴＧ２１を介して第１、第２撮像部１１、１２を制御する。また、ＣＰＵ２６は、メモリ２４と同様にデータバス２５に接続されており、データバス２５に接続された各部を統轄的に制御する。

操作部２９は、デジタルカメラ１０のモード設定、撮影操作、画像の再生操作、各種設定操作等に用いられる。操作部２９は、デジタルカメラ１０の筐体に設けられた各種操作部材と、この操作部材の操作を検出するスイッチ等からなり、各スイッチの操作信号はデータバス２５を介してＣＰＵ２６に入力される。

信号処理部３２は、第１、第２撮像部１１、１２によって撮影された２つの画像の合成処理と、合成画像の圧縮処理及び伸張処理とを行う。メディアＩ／Ｆ３５は、信号処理部３２によって圧縮処理された画像データをメモリカード等の記録メディア３６に記録する。また、デジタルカメラ１０が再生モードに設定されたときには、メディアＩ／Ｆ３５によって記録メディア３６内の画像データが信号処理部３２に読み出され、ＬＣＤ３９によって再生表示可能なように画像データが伸張処理される。

ＬＣＤ３９は、ＬＣＤパネルと、このＬＣＤパネルを駆動するＬＣＤドライバとを有している。ＬＣＤ３９は、デジタルカメラ１０が撮影モードであるときには、第１、第２撮像部１１、１２が撮像した画像をスルー画表示する。また、ＬＣＤ３９は、デジタルカメラ１０が再生モードであるときには、記録メディア３６から読み出された画像データの画像を再生表示する。

ＬＣＤ３９によるスルー画表示は、例えば第１、第２撮像部１１、１２の画像を同時に分割表示してもよいし、第１、第２撮像部１１、１２のいずれか一方の画像のみを表示し、切換操作によって他方の画像を表示させてもよい。また、第１、第２撮像部１１、１２の画像を画像処理部３２で合成し、その合成画像をスルー画表示してもよい。

図２に示すように、信号処理部３２は、重複画像領域算出回路４２、特徴点抽出回路４３、特徴点追尾回路４４、冗長特徴点削除回路４５、画像変形回路４６、画像合成回路４７、圧縮伸張回路４８を備えている。

重複画像領域算出回路４２は、第１撮像部１１及び第２撮像部１２によって撮影された２つの画像間において互いに重複する重複画像領域を算出する。図３（Ａ），（Ｂ）に示すように、第１撮像部１１及び第２撮像部１２によって第１画像５１及び第２画像５２が撮影された場合に、重複画像領域算出回路４２は、第２画像５２の左側縁の領域５２ａをテンプレートにして、第１画像５１の右側縁の領域５１ａ内をテンプレートマッチングにより探索し、同一の被写体像を含む重複画像領域５１ｂ，５２ｂを算出する。

テンプレートとして用いる領域５２ａと、テンプレートマッチングが行われる領域５１ａの位置及び範囲は、第１撮像部１１と第２撮像部１２との撮影画角の重なり量に基づいて予め決定されている。なお、より厳密なマッチングをとる場合には、領域５２ａをより細分化してマッチングをとればよい。

重複画像領域５１ｂ、５２ｂの算出には、例えば、領域５１ａ、５２ａ間の画素値の差の２乗和を求めるＳＳＤ（Sum of Squared Difference）等のテンプレートマッチングが用いられる。領域５１ａ、５２ａ間のＳＳＤを表すＲ_ＳＳＤは、下記式（１）によって求められる。式（１）の「Ｉｍａｇｅ１」及び「Ｔｅｍｐ」は、それぞれ領域５１ａ、５２ａを表している。また、重複画像領域５１ｂ、５２ｂの算出には、領域５１ａ、５２ａ間の画素値の差の絶対値の総和を求めるＳＡＤ（Sum of Absolute Difference）等を用いてもよい。

特徴点抽出回路４３は、第１画像の重複画像領域内から、特徴のある信号勾配を持つ複数の特徴点を抽出する。図４（Ａ）に示すように、第１画像５５が符号５５ａのような被写体像を含むとき、特徴点抽出回路４３は、被写体像５５ａのエッジ上とその背景から複数の特徴点５５ｂを抽出する。特徴点５５ｂの抽出には、例えば、Ｈａｒｒｉｓオペレータ、Ｓｕｓａｎオペレータ等の特徴点抽出法が用いられる。

特徴点追尾回路４４は、第２撮像部１２によって撮影された第２画像の重複画像領域内から、第１画像の特徴点に対応する対応特徴点を追尾し、特徴点と対応特徴点との間のオプティカルフローを算出する。オプティカルフローとは、画像間における特徴点の軌跡であり、特徴点の移動方向及び移動量を表す動きベクトルである。特徴点の追尾には、例えばＫＬＴ（Kanade-Lucas-Tomasi）等の手法が用いられる。

図４（Ｂ）は、同図（Ａ）の第１画像５５に対応した第２画像５７を示している。第２画像５７には、第１画像５５の主要被写体５５ａと同一の被写体像５７ａが含まれている。特徴点追尾回路４４は、第２画像５７から、第１画像５５の特徴点５５ｂに対応する対応特徴点５７ｂを追尾し、特徴点５５ｂと対応特徴点５７ｂとの間のオプティカルフロー５７ｃを算出する。

冗長特徴点削除回路４５は、特徴点の分布及び個数に応じて特徴点を削減し、重複画像領域全体における特徴点の分布を均一にする。図４（Ａ）に示すように、第１画像５５のシーンが被写体像５５ａと空等の背景からなるとき、空等の均一なテクスチャからは特徴点５５ｂが抽出しにくいため、被写体像５５ａに特徴点５５ｂが集中し、特徴点５５ｂの分布が不均一になる。このような第１画像５５と、同図（Ｂ）の第２画像５７とを合成すると、合成画像は主要被写体５５ａ，５７ａの部分で局所的に最適化されてしまい、背景にずれが生じてしまう。

冗長特徴点削除回路４５は、上述のような局所的な最適化による合成精度の低下を防止するため、第１画像５５の特徴点５５ｂをその個数及び分布に応じて削減し、図５に示すように、特徴点５５ｂの分布の均一化を図る。なお、冗長特徴点削除回路４５は、第１画像５５から削除した特徴点５５ｂに基づいて、第２画像５７の対応特徴点５７ｂを一緒に削除する。

画像変形回路４６は、特徴点の座標と対応特徴点の座標とに基づいて、対応特徴点を特徴点に一致させる幾何変換パラメータを算出し、この幾何変換パラメータに基づいて第２画像を変形させる。画像合成回路４７は、第１画像と幾何変換された第２画像とを合成して１つの合成画像を作成する。圧縮伸張回路４８は、合成画像の画像データの圧縮処理及び伸張処理を行う。

例えば、第１画像及び第２画像が図６（Ａ），（Ｂ）に示すような画像６０、６１である場合、第１画像６０と第２画像６２とをそのまま合成しても適切な合成画像を得ることはできない。しかし、同図（Ｃ）に示すように、第１画像６０の特徴点６０ａに第２画像６１の対応特徴点６１ａが一致するように第２画像６１を変形させることにより、各画像６０、６１に含まれる被写体像にずれが生じないように合成画像６２を作成することができる。

第２画像６１を変形させる幾何変換には、例えば、アフィン変換が用いられる。画像変形回路４６は、特徴点６０ａ及び対応特徴点６１ａの座標より、アフィン変換式（２）、（３）の係数ａ，ｂ，ｓ，ｃ，ｄ，ｔを算出する。係数の算出には、下記式（４）〜（９）のように最小二乗法を用いるとよい。最小二乗法を用いた場合、数式（４）〜（９）の左辺が０に近づくような値が係数として求められる。係数を算出した後、アフィン変換式（２）、（３）により第２画像６１を変形する。なお、幾何変換には、射影変換を用いてもよい。

次に、上記信号処理部３２の作用を図７のフローチャートに基づいて説明する。重複画像領域算出回路４２は、第１撮像部１１及び第２撮像部１２の画像データをメモリ２４から読み出す。図８（Ａ）、（Ｂ）は、メモリ２４から読み出した画像データにより表される第１画像６５及び第２画像６６である。

重複画像領域算出回路４２は、予め設定されている第２画像６６の領域６６ａをテンプレートとして、第１画像６５の領域６５ａ内をパターンマッチングにより探索し、第１画像６５及び第２画像６６間において互いに重複する重複画像領域６５ｂ、６６ｂを算出する。重複画像領域６５ｂ、６６ｂの算出には、上記式（１）が用いられる。

特徴点抽出回路４３は、図９（Ａ）に示すように、第１画像６５の重複画像領域６５ｂ内から、複数の特徴点６５ｃを抽出する。重複画像領域６５ｂ内の被写体像は、数人の人物と、その背後の壁であるため、テクスチャが均一な壁からは特徴点６５ｃがほとんど抽出されず、人物に特徴点６５ｃが集中してしまう。

特徴点追尾回路４４は、図９（Ｂ）に示すように、第２画像６６の重複画像領域６６ｂ内から、第１画像６５の特徴点６５ｃに対応する複数の対応特徴点６６ｃを追尾する。また、特徴点追尾回路４４は、特徴点６５ｃと対応特徴点６６ｃとの間のオプティカルフロー６６ｄを算出する。なお、図面の煩雑化を避けるため、オプティカルフロー６６ｄの図示を数ヶ所のみに留めているが、実際には全ての特徴点６５ｃと対応特徴点６６ｃとの間のオプティカルフロー６６ｄが算出されている。

冗長特徴点削除回路４５は、図１０（Ａ）及び図１１に示すように、第１画像６５の重複画像領域６５ｂを例えば縦ｍ×横ｎ個の分割領域６５ｅに分割し、各分割領域６５ｅ内の特徴点６５ｃの個数をカウントする。そして、全ての分割領域６５ｅ内において最小の特徴点数Ｎを決定し、この最小特徴点数Ｎと予め決定されている閾値Ｔとを比較する。

冗長特徴点削除回路４５は、最小特徴点数Ｎが閾値Ｔよりも大きいときには、各分割領域６５ｅ内の特徴点６５ｃの個数がＮ個になるまでランダムに特徴点６５ｃを削除する。また、冗長特徴点削除回路４５は、最小特徴点数Ｎが閾値Ｔよりも小さいときには、各分割領域６５ｅ内の特徴点６５ｃの個数がＴ個になるまでランダムに特徴点６５ｃを削除する。

図１０（Ａ）に示す例では、特徴点６５ｃが抽出されていない分割領域６５ｅがあるため、最小特徴点数Ｎは「０」となる。したがって、閾値Ｔが例えば「１」であるときには、同図（Ｂ）に示すように、冗長特徴点削除回路４５によって各分割領域６５ｅ内の特徴点６５ｃの個数がそれぞれ１個になるまでランダムに削除される。また、特徴点６５ｃの個数が閾値Ｔ以下のときには、その分割領域６５ｅから特徴点６５ｃは削除されない。冗長特徴点削除回路４５は、第１画像６５の特徴点６５ｃの削除後、第２画像６６から、削除した特徴点６５ｃに対応する対応特徴点６６ｃを削除する。

なお、削除する特徴点６５ｃは、上述したようにランダムに選択してもよいし、例えば、各分割領域６５ｅの中心座標に近い特徴点６５ｃを残すように削除するなど、他の方法を用いてもよい。

画像変形回路４６は、特徴点６５ｃ及び対応特徴点６６ｃの座標より、アフィン変換式（２）、（３）の係数ａ，ｂ，ｓ，ｃ，ｄ，ｔを最小二乗法（４）〜（９）により算出する。係数を算出した後、アフィン変換式（２）、（３）により第２画像６６を変形する。

画像合成回路４７は、図１２に示すように、特徴点６５ｃ及び対応特徴点６６ｃに基づいて、第１画像６５と変形後の第２画像６６とを合成し、１つの合成画像７０を作成する。合成方法として、例えば、重複画像領域６６ｂ内全ての対応特徴点６６ｃのオプティカルフロー６６ｄの平均値の分だけ、変形後の第２画像６６を第１画像６５に対して平行移動させる方法が挙げられる。

合成画像７０は、冗長な特徴点６５ｃ及び対応特徴点６６ｃを削除し、分布が均一化されるように残された特徴点６５ｃ及び対応特徴点６６ｃに基づいて合成されているので、局所的な最適化による像のずれはなく、背景の壁まで精度よく像が合成されている。圧縮伸張回路４８は、合成画像７０の画像データを圧縮処理する。圧縮処理された画像データは、データバス２５を介してメディアＩ／Ｆ３５に送信され、メディアＩ／Ｆ３５により記録メディア３６に記録される。

次に、冗長特徴点削除工程の第２の実施形態について説明する。なお、上記第１実施形態と同じ構成については、同符号を用いて詳しい説明は省略する。第１実施形態では、各分割領域６５ｅ内の特徴点６５ｃの個数が等しくなるように特徴点６５ｃをランダムに削除している。しかし、この削除手法では、隣接する分割領域６５ｅ内の互いに近接する特徴点６５ｃが削除されずに残ってしまうことがあり、特徴点６５ｃの分布の均一化が図られない場合がある。そこで、第２実施形態では、各分割領域６５ｅ内のオプティカルフローの傾向に基づいて削除する特徴点６５ｃを選択している。

図１３（Ａ）及び図１４に示すように、第２実施形態の冗長特徴点削除回路は、分割領域６５ｅごとに特徴点６５ｃのオプティカルフローの平均値を算出する。符号７５は、分割領域６５ｅごとに算出された平均オプティカルフローを示している。次いで、冗長特徴点削除回路は、分割領域６５ｅごとに、特徴点６５ｃのオプティカルフローの値を平均オプティカルフロー７５と比較し、平均オプティカルフロー７５に近い値のオプティカルフローを有する特徴点６５ｃを各分割領域６５ｅにおいてＮ個ずつ残し、残りを削除する。このＮが１個であるとき、第１画像６５の重複画像領域６５ｂ内に残る特徴点６５ｃは、図１３（Ｂ）に示すような分布となる。これによれば、各分割領域６５ｅ内に残された第１実施形態よりも特徴点６５ｃの分布を均一化することができる。

次に、冗長特徴点削除工程の第３の実施形態について説明する。なお、上記第１実施形態と同じ構成については、同符号を用いて詳しい説明は省略する。第２実施形態では、分割領域６５ｅごとに求めたオプティカルフローの平均値に近似したオプティカルフローを有する特徴点６５ｃを削除せずに残しているが、重複画像領域６５ｂ中に平均値と大きく異なるオプティカルフローを有する特異な特徴点６５ｃが存在していた場合、その特異な特徴点６５ｃ近傍での画像合成にずれが生じる可能性がある。そこで、第３実施形態では、特異なオプティカルフローを有する特徴点６５ｃが残るように特徴点６５ｃを削除する。

図１５（Ａ）及び図１６に示すように、第３実施形態の冗長特徴点削除回路は、分割領域６５ｅごとに基準特徴点６５ｆをランダムに決定する。図１５（Ａ）では、オプティカルフローの矢印が描かれている特徴点が基準特徴点６５ｆであり、矢印がない特徴点６５ｃが削除対象となる。冗長特徴点削除回路は、基準特徴点６５ｆのオプティカルフローに近い値のオプティカルフローを有する特徴点６５ｃから順に削除し、予め設定したＴ個の特徴点６５ｃが各分割領域６５ｅ内に残るようにしている。

例えば設定値Ｔが２個であるとき、図１５（Ｂ）に示すように、重複画像領域６５ｂ内には、基準特徴点６５ｆと、この基準特徴点６５ｆのオプティカルフローと遠い値のオプティカルフローを有する特徴点６５ｃとが残ることになる。これによれば、オプティカルフローの値が互いに近似しない特徴点６５ｃを用いて画像合成を行うので、画像の合成精度が向上する。

次に、冗長特徴点削除工程の第４の実施形態について説明する。なお、上記第１実施形態と同じ構成については、同符号を用いて詳しい説明は省略する。第１〜３実施形態では、重複画像領域６５ｂを複数の分割領域６５ｅに分割し、分割領域６５ｅごとに特徴点６５ｃの個数を調整している。しかし、この削除手法では、隣接する分割領域６５ｅ内の互いに近接する特徴点６５ｃが削除されずに残ってしまうことがあり、特徴点６５ｃの分布の均一化が図られない場合がある。そこで、第４実施形態では、各特徴点から所定距離内にある特徴点を削除することにより、特徴点の分布の更なる均一化を図っている。

図１７（Ａ）及び図１８に示すように、第４実施形態の冗長特徴点削除回路は、第１画像６５の原点からの距離が最短の特徴点を最初の基準特徴点として選択する。原点は、第１画像６５の所定位置でもよいし、重複画像領域６５ｂの所定位置でもよい。本実施形態では、第１画像６５の右上の角部を原点とするので、最初に選択されるのは特徴点８０ａである。冗長特徴点削除回路は、基準特徴点８０ａを中心とした半径ｒの架空の円８１ａ内に存在する特徴点を全て削除する。削除する特徴点がないとき若しくはなくなったときには、冗長特徴点削除回路は、まだ基準となっていない特徴点であって、直前の基準特徴点に最も近い特徴点を次の基準特徴点として選択し、新たな基準特徴点から所定距離内の特徴点を全て削除する。冗長特徴点削除回路は、この工程を基準となっていない特徴点がなくなるまで繰り返す。

図１７（Ｂ）は、最初の基準特徴点８０ａから最後の基準特等点８０ｊまで特徴点の削除を行った後の第１画像６５である。これによれば、重複画像領域６５ｂには、所定距離以上の間隔を空けて特徴点が分布することになるので、画像の合成精度が向上する。

上記各実施形態では、第１画像と第２画像との２つの画像の合成について説明したが、本発明は、３つ以上の複数の画像合成にも適用可能である。例えば、本実施形態のデジタルカメラ１０に３個以上の撮像部を設け、各撮像部で撮像した画像を合成してもよい。３つ以上の画像の合成は、隣接する２つの画像同士で順に合成していってもよいし、全ての画像間で互いに重複する重複画像領域を用いて画像合成を行ってもよい。

上記第１〜第４実施形態は、デジタルカメラ１０に画像合成装置を組み込んだ例について説明したが、本発明は、図１９に示すように、画像入力Ｉ／Ｆ８５から入力された複数の画像を合成する単体の画像合成装置８６として構成することも可能である。この場合、信号処理部８７には、図２０に示すように、入力された複数の画像を解析して各画像間の位置関係を規定する画像位置関係規定回路８８を設けるのが好ましい。

画像位置関係規定回路８８または重複画像領域算出回路４２は、入力された複数の画像の位置関係に応じて、テンプレートマッチングに用いる領域を設定するのが好ましい。例えば、図２１に示すように、基準となる画像９０に対し、基準画像９０に合成される被合成画像９１が基準画像９０の右方に配置される場合には、領域９０ａ、９１ａをテンプレートマッチングに用いる領域として設定する。同様に、被合成画像９１が基準画像９１の上方に配置される場合には、領域９０ｂ、９１ｂをテンプレートマッチングに用いる領域として設定する。なお、第１実施形態と同じ構成については、同符号を用いて詳しい説明を省略する。

以上、本発明に係る画像合成装置及び方法について説明したが、本発明は、上記の各実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ デジタルカメラ
１１ 第１撮像部
１２ 第２撮像部
３２、８７ 信号処理部
４２ 重複画像領域算出回路
４３ 特徴点抽出回路
４４ 特徴点追尾回路
４５ 冗長特徴点削除回路
４６ 画像変形回路
４７ 画像合成回路
４８ 圧縮伸張回路
５１、５５、６０、６５ 第１画像
５２、５７、６１、６６ 第２画像
５１ｂ、５２ｂ、６５ｂ、６６ｂ 重複画像領域
５５ｂ、６０ａ、６５ｃ 特徴点
５７ｂ、６１ａ、６６ｃ 対応特徴点
５７ｃ、６６ｄ オプティカルフロー
６５ｅ 分割領域
６５ｆ，８０ａ〜８０ｊ 基準特徴点
７０、１００ 合成画像
７５ 平均オプティカルフロー
８６ 画像合成装置
８８ 画像位置関係規定回路

Claims (15)

1. 少なくとも２つの画像の互いに重複した画像領域を決定する重複画像領域決定手段と、
   前記一方の画像の重複画像領域から特徴点を抽出する特徴点抽出手段と、
   前記他方の画像の重複画像領域において前記一方の画像の特徴点に対応する対応特徴点を追尾し、前記特徴点と前記対応特徴点との間のオプティカルフローを算出する特徴点追尾手段と、
   前記特徴点の分布または個数に応じて前記特徴点及び対応特徴点の個数を削減する特徴点削除手段と、
   前記特徴点の座標と前記対応特徴点の座標とに基づいて、前記対応特徴点を前記特徴点に一致させる幾何変換パラメータを算出し、前記幾何変換パラメータに基づいて前記他方の画像を変形する画像変形手段と、
   前記特徴点と前記対応特徴点とが重なるように前記一方の画像と変形後の前記他方の画像とを合成する画像合成手段とを備えたことを特徴とする画像合成装置。
2. 前記特徴点削除手段は、前記一方の画像の重複画像領域を複数の分割領域に分割し、前記各分割領域内の前記特徴点の個数が等しくなるように前記特徴点を削除することを特徴とする請求項１記載の画像合成装置。
3. 前記特徴点削除手段は、前記分割領域内の前記特徴点の個数が閾値以下のときに、当該分割領域から前記特徴点を削除しないことを特徴とする請求項２記載の画像合成装置。
4. 前記特徴点削除手段は、前記各分割領域内の前記特徴点の個数の最小値と、予め決定されている下限値とを比較し、いずれか大きい方の値を前記閾値とすることを特徴とする請求項３記載の画像合成装置。
5. 前記特徴点削除手段は、前記分割領域ごとに前記特徴点のオプティカルフローの平均値を算出し、前記平均値から遠い値のオプティカルフローを有する前記特徴点から順に削除していくことを特徴とする請求項２記載の画像合成装置。
6. 前記特徴点削除手段は、前記分割領域ごとに複数の前記特徴点の中から基準特徴点を決定し、前記基準特徴点のオプティカルフローに近い値のオプティカルフローを有する特徴点から順に削除していくことを特徴とする請求項２記載の画像合成装置。
7. 前記特徴点削除手段は、複数の前記特徴点の中から基準特徴点を選択し、前記基準特徴点を順次に変更しながら、前記基準特徴点から所定距離内に存在する特徴点を削除することを特徴とする請求項１記載の画像合成装置。
8. 前記重複画像領域決定手段によって重複した画像領域を決定する前に、各画像を解析し、各画像間の位置関係を規定する画像位置関係算出手段を備えたことを特徴とする請求項１〜７いずれか記載の画像合成装置。
9. 少なくとも２つの画像の互いに重複した画像領域を決定する重複画像領域決定工程と、
   前記一方の画像の重複画像領域から特徴点を抽出する特徴点抽出工程と、
   前記他方の画像の重複画像領域において前記一方の画像の特徴点に対応する対応特徴点を追尾し、前記特徴点と前記対応特徴点との間のオプティカルフローを算出する特徴点追尾工程と、
   前記特徴点の分布または個数に応じて前記特徴点及び対応特徴点の個数を削減する特徴点削除工程と、
   前記特徴点の座標と前記対応特徴点の座標とに基づいて、前記対応特徴点を前記特徴点に一致させる幾何変換パラメータを算出し、前記幾何変換パラメータに基づいて前記他方の画像を変形する画像変形工程と、
   前記特徴点と前記対応特徴点とが重なるように前記一方の画像と変形後の前記他方の画像とを合成する画像合成工程とを備えたことを特徴とする画像合成方法。
10. 前記特徴点削除工程は、前記一方の画像の重複画像領域を複数の分割領域に分割し、前記各分割領域内の前記特徴点の個数が等しくなるように前記特徴点を削除することを特徴とする請求項９記載の画像合成方法。
11. 前記特徴点削除工程は、前記分割領域内の前記特徴点の個数が閾値以下のときに、当該分割領域から前記特徴点を削除しないことを特徴とする請求項１０記載の画像合成方法。
12. 前記特徴点削除工程は、前記各分割領域内の前記特徴点の個数の最小値と、予め決定されている下限値とを比較し、いずれか大きい方の値を前記閾値とすることを特徴とする請求項１１記載の画像合成方法。
13. 前記特徴点削除工程は、前記分割領域ごとに前記特徴点のオプティカルフローの平均値を算出し、前記平均値から遠い値のオプティカルフローを有する前記特徴点から順に削除していくことを特徴とする請求項１０記載の画像合成方法。
14. 前記特徴点削除工程は、前記分割領域ごとに複数の前記特徴点の中から基準特徴点を決定し、前記基準特徴点のオプティカルフローに近い値のオプティカルフローを有する特徴点から順に削除していくことを特徴とする請求項１０記載の画像合成方法。
15. 前記特徴点削除工程は、複数の前記特徴点の中から基準特徴点を選択し、前記基準特徴点を順次に変更しながら、前記基準特徴点から所定距離内に存在する特徴点を削除することを特徴とする請求項９記載の画像合成方法。

Images