JP4321251B2 - 合成画像を生成・表示する装置及び方法 - Google Patents

Description

本発明は複数の画像から共通部分を算出して画像同士をつなげて合成された画像を自動生成・表示する装置に関し、詳しくは複数の画像におけるエッジの特徴と色相の特徴群の照合により複数の画像の共通部分を検出し、特徴点群の相対的な位置関係により特徴点間の誤対応を減らして合成された１枚あるいは複数の画像を生成し、表示する装置および方法に関する。

複数の画像から1枚の画像を生成する際には、各画像における共通な特徴を人間が判断し、手動により選択を行うことで1枚の画像を生成する手法が一般的である。また、自動化を図る場合、各画像における共通な特徴を多数抽出することが困難な場合があり、また相関演算にもとづく特徴点同士の照合においては、誤対応が検出される場合が多く、1枚の画像として自動的かつ精度良く合成することが困難であることが知られる（例えば、特許文献１、非特許文献１乃至３を参照）。

特開２０００−９０２３２号公報

千葉直樹,畑中晴雄,飯田崇,"画像特徴に基づく高速・高精度なパノラマ画像合成ソフトウェア", 三洋電機技報, Vol.35, No.1, pp.75-82, 2003. John Krumm,"Object Detection with Vector Quantized Binary Features", Proc. of the 1997 IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp.179-185, 1997. 吉田達哉,影沢政隆,塘中哲也,池内克史,"局所特徴認識アルゴリズムによる車両の認識", 電子情報通信学会技術研究報告, Vol.101, No.302, pp.9-14, 2001.

画像入力機器または既に画像が保存されている記憶装置などから得られた複数の画像より画像間で共通な部分を検出することで、複数の画像をつなげて1枚の画像として自動的に生成し、表示する装置の構築を課題とする。なお、この複数の画像から生成された1枚あるいは複数の画像を合成画像と定義し、以下ではこの呼称を用いる。

前記の課題を解決すべく、画像入力機器または既に画像が保存されているを制御することにより画像入力を行い、入力された画像からエッジ画像と色相画像を生成し、それぞれの画像において画像上のある点において近傍に対するエッジか色相の値の類似度が低い点を特徴点として抽出し、複数の画像間で特徴点を照合することにより、共通な特徴点を持つ画像の組を算出し、同じ特徴点を持つ画像間において、相対位置関係が保持されている特徴点のみを算出し、同じ特徴点を持つ画像間において、相対位置関係が保持されている特徴点群の相対位置の平均値を算出し、この相対位置を画像間の相対位置として、画像を重ね合わせて合成画像を生成、表示する。

本発明により、複数の画像における共通な特徴を抽出・照合し、１枚の合成画像として自動的に生成・表示することが可能となる。特に複数の画像のそれぞれからエッジと色相の特徴点を多数抽出し、各画像間で照合することにより、画像間における共通な部分を検出し、また特徴点同士の相対位置の比較によって特徴点間の誤対応を減少させることで、より精度の高い合成画像の自動生成・表示を可能とする。

本発明の実施の形態を図を用いて以下に説明する。

図１は本発明の処理の流れの概要を示す。処理が開始されると（１０１）、カメラなどの画像入力機器を制御することにより画像入力を行い（１０２）、入力された画像からエッジ画像と色相画像を生成し、それぞれの画像において画像上のある点において近傍に対するエッジの類似度が低い点もしくは色相の値の類似度が低い点を特徴点として抽出し（１０３）、複数の画像間で特徴点を照合することにより、共通な特徴点を持つ画像の組を算出し、算出された画像の組において、相対位置関係が保持されている特徴点のみを算出し（１０４）、共通な特徴点を持つ画像間において、相対位置関係が保持されている特徴点群の相対位置の平均値を算出し、この相対位置を画像間の相対位置として合成画像を生成し（１０５）、生成された合成画像を表示し（１０６）、プログラムを終了する（１０７）。

以上の処理の流れの概略を踏まえ、図１の処理の流れをより詳細にしたものを図２に示す。図１の１０２が図２の２０２に、図１の１０２が図２の２０３〜２０６に、図１の１０３が図２の２０７〜２０９、２１２に、図１の１０４が図２の２１０に、図１の１０５が図２の２１１に対応する。

また、図２のうち、処理２０８の部分を詳細に示したものを図３に示す。

プログラムが開始されると（２０１）、画像入力（１０２）の処理としてカメラなどの画像入力機器の制御を行い、複数枚の画像を取り込む（２０２）。
次に画像特徴算出（１０３）を行う。図４は画像特徴算出（１０３）の処理（２０３〜２０６）のうち２０４と２０６の例を示すものである。画像入力（１０２）により入力された複数の画像のそれぞれに対して、まず明度により二値化したエッジ画像を生成する（２０３）。生成したエッジ画像（４０１）においてウィンドウ（４０２）を設け、ウィンドウを画像内で走査させていく（４０３）。このとき、ある位置でのウィンドウ（４０４）の各ピクセル毎に白か黒のいずれかを示す二値の値を読み込んでピクセル値とし、このウィンドウの周囲に設けたウィンドウ（４０５）の各ピクセル値が一致した場合を１、一致してない場合を０としてウィンドウ内の各ピクセル値に対して評価を行って総和を算出してハミング距離を求める。ハミング距離が閾値以下の場合において、そのウィンドウを特徴点とし、画像における座標とその座標を中心とするウィンドウ内の各ピクセル値を記録する（２０４）。ここで閾値の設定においては、ウィンドウ間の各ピクセル値が同じか否かを比較したときに一致する割合を閾値として設定する。なお、図４において、ある位置でのウィンドウ（４０２）に対して周囲に設けるウィンドウを簡略的に１つのウィンドウ（４０５）として示しているが、実際はウィンドウ（４０２）に対して全周囲に設ける。

また、画像特徴算出（１０３）は取り込んだ複数の各画像より、色相画像を生成する（２０５）。エッジ画像における処理と同様に、生成した色相画像（４０１）においてウィンドウ（４０２）を設け、ウィンドウを画像内で走査させていく（４０３）。このとき、ある位置でのウィンドウ（４０４）の各ピクセル毎に０度から３６０度までの範囲をとることで色みを示す値を読み込んでピクセル値とする。同様にウィンドウ（４０４）の周囲に設けたウィンドウ（４０５）の各ピクセル値を読み込む。次に各ウィンドウの左上を原点としたときにウィンドウ（４０４）とウィンドウ（４０５）の間で同じ座標となる画素のピクセル値の差分をとり、各画素のピクセル値の差分の総和を求める。具体的には下記の式、数１、数２により各画素のピクセル値の差分の総和が算出される。

ここでｎはウィンドウ内の縦方向または横方向のピクセル数、H1 とH2は各ウィンドウのある画素のピクセル値とする。また、i=jのときのみ数1及び数２が評価されるものとし、またH1からH2を引いたときの絶対値ｄijが１８０以上のときは、ｄ＝３６０−ｄijを求め、ｄijにｄを代入するものとする。
次いで、この差分の総和が閾値以上の点を特徴点とし、画像における座標とその座標を中心とするウィンドウ内の各ピクセル値を記録する（２０６）。この
閾値はウィンドウ間の各ピクセル値の差が最も大きくなる場合の差分の総和に対して、比較しているウィンドウ間の画素毎のピクセル値の差分の総和が占める割合で定義される。仮にここでの閾値Rを定義すると、実際においてウィンドウの類似度を比較する際には数３により、ウィンドウ間の各ピクセル値の差が最も大きくなる場合の差分の総和に対して、現在比較しているウィンドウ間の画素毎のピクセル値の差分の総和が占める割合を求める。

これにより求められたｒが閾値Rよりも小さい場合は類似でないと判定する。

次に画像特徴照合（１０４）を行う。画像特徴照合（１０４）は複数の画像間において対応するエッジの特徴点または色相の特徴点を持つ画像の組み合わせを求める処理（２０７）と２０７の処理により求められた画像の組み合わせのうち、画像間で共通する特徴点群のうち相対位置も一致する特徴点群のみを選択する処理（２０８）からなる。まず、図５に画像特徴照合（１０４）の処理である２０７の例を示す。ある画像（５０１）に対して求められたエッジの各特徴点群（５０２〜５０５）を参照画像として、画像入力（１０２）で取り込まれた他の画像（５０６〜５０８）において抽出された特徴点との照合を行う。例えば５０６の画像に対しては既に画像特徴抽出（１０３）で抽出された特徴点群（５０９〜５１２）との類似度の比較を行う。

このとき、ウィンドウ内の各ピクセル値が一致した場合を１、一致してない場合を０としてウィンドウ内の各ピクセル値に対して評価を行って総和を算出してハミング距離を求め、ハミング距離が閾値以上の点を求め、その座標を記録する。これにより画像間で共通なエッジの特徴点の位置を算出し、記録する。またエッジ画像における特徴点群の照合と同様に、ある画像（５０１）に対して求められた色相の特徴点群（５０２〜５０５）を参照画像として他の画像（５０６〜５０８）において走査を行いながら照合を行う。このとき、ウィンドウ内の画像の各ピクセル値と参照先に設けたウィンドウ内の画像の各ピクセル値との差分をとり、各ピクセル値の差分の総和を求める。これは画像特徴抽出（１０３）の説明における数１〜数２の処理と同等である。数３が閾値以上の点を求め、その座標を記録する。これにより画像間で共通な色相の特徴点の位置を算出し、記録する。以上によりエッジの特徴点もしくは色相の特徴点を持つ画像の組み合わせをすべて求める。図６に画像特徴照合（１０４）の処理である２０８の例を示す。２０８ではある画像における複数の特徴点と共通な複数の特徴点を持つ画像（６０１、６０７）を選択し、特徴点の相対位置が最も合致するような特徴点の組み合わせを求める。まず共通な特徴点を持つ６０１と６０７の画像を重ねるとした場合に適当な特徴点（６０４）を基準として選択する（３０１）。

次に６０１と６０７の画像が特徴点（６０４）を基準として重なるように配置する（３０２）。このとき画像間で一致する各特徴点間の相対距離を算出する（３０３）。ここで、相対距離とは、基準点から特徴点までの距離である。画像間で一致する特徴点のうち、互いに対応する相対距離が閾値以下となる特徴点の数をカウントする（３０４）。この任意に選択した基準点、相対距離、閾値の関係の一例を図６に示す。ここで、基準点は任意の特徴点としてもよいし、特徴点以外の任意の場所を基準点として選択してもよい。また同様に特徴点（６０２）を基準として６０１と６０７の画像を重ねるとき、画像間で一致する特徴点間の相対位置が閾値以下のものをカウントし、すべての特徴点を基準としたときに画像間で共通な特徴点間の距離が閾値以下となるものの数をカウントする。すべての特徴点を基準としたときに相対距離が閾値以下の特徴点のカウントが終わった場合（３０５）、このカウント値が最も大きくなるときに基準とした特徴点を選択する（３０６）。

カウント値が最大となるような特徴点同士の重ね方で画像同士が配置されるとき、画像間で共通の特徴点群のうち、相対位置関係が保持された特徴点の数が最も多いことになる。これを踏まえ、３０６で選択された特徴点を基準として画像を配置したときに、画像間で一致した特徴点間の距離が閾値以上のものを除外し、閾値以下の特徴点のみを選択し、特徴点のウィンドウ内の画像とその座標をファイルとして記録する（３０７）。例えば図６においては特徴点（６０２）を基準として画像（６０１、６０７）を配置した場合、各画像間において一致する特徴の組のうち６０２と６０８の組、６０３と６０９の組、６０５と６１０の組がちょうど重なり、６０４を基準として画像を重ねた場合に比べて一致する特徴点同士の距離が閾値以下となるものの数が大きくなる。よって特徴点６０２を基準として選択して記録する（３０７）。このとき特徴点の組（６１３と６１６）は特徴は一致するが、互いの距離が閾値以上であるため、記録から除外する（３０８）。

次いで画像特徴照合（１０４）の処理（２０８）で記録された特徴点の数と各特徴点間の画像上での距離が閾値以上離れているか否かを評価し（２０９）、閾値以下であれば合成画像の生成に必要な特徴点が得られないと判断し、合成画像が生成できない旨をエラーの表示により操作者に伝える（２１２）。画像特徴照合（１０４）の処理（２０８）で記録された特徴点の数と各特徴点間の画像上での距離が閾値以上であれば、合成画像生成（１０５）として画像間で一致する各特徴点同士の相対位置を算出し、互いに一致する全て特徴点同士の相対位置の平均値を求め、この値を共通な特徴点を持つ画像同士の相対位置とする。共通な特徴点を持つ画像同士の相対位置を順次求めていき、共通な特徴点を持つ画像同士を相対位置分だけ重複するようにして一枚の画像を生成することで合成画像とする（２１０）。最後に画像表示（１０５）として生成された合成画像を表示し（２１１）、プログラムは終了する（２１３）。

次に図７を用いて本発明の実施形態における装置の構成を説明する。この装置は、プログラムにもとづいてデータの処理を行うメインプロセッサ（７０１）、プログラムとデータを保持するメモリ等の主記憶（７０７）とハードディスク等の補助記憶（７０６）、ディスプレイ（７０２）とグラフィックボード（７０３）、画像入力（１０２）を行うためのカメラ（７０４）とビデオキャプチャボード（７０５）を備える。この構成は、ハードウェア的には、プロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを記載している。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

主記憶（７０７）にて動作するプログラムとデータについて説明をする。オペレーティングシステム（７０９）は、プログラムの実行等を管理する基本ソフトウェアである。複数の画像から合成画像を生成するプログラムとしては、全体の処理の流れを制御するメインプログラム（７１０）、図１におけるカメラ画像入力（１０２）の処理に相当する画像入力プログラム（７１１）、画像特徴算出（１０３）の処理に相当する画像特徴算出プログラム（７１２）、画像特徴照合（１０４）の処理に相当する画像特徴照合プログラム（７１３）、合成画像生成（１０５）の処理に相当する合成画像生成プログラム（７１４）、画像表示（１０６）の処理に相当する画像表示プログラム（７１５）がある。また画像処理にあたって処理結果を保持する画像バッファ（７１６）がある。また、補助記憶（７０６）には主記憶に読み込まれる各種プログラム（７０９〜７１５）がプログラム（７０８）として記憶されている。これらのプログラムは、メモリに読み込まれ、プロセッサによって実行されることによって処理が行われる。

各プログラムの処理について説明する。メインプログラム（７１０）は図１〜６で示した画像入力から合成画像の生成・表示までのプログラム全体の処理流れを制御する。画像入力プログラム（７１１）はカメラ画像入力（１０２）としてビデオキャプチャボード（７０５）とカメラ（７０４）を制御することにより、カメラにより撮影された画像を主記憶（７０７）の画像バッファ（７１６）に取り込む（図２の２０２）。なお、この画像バッファ（７１６）は以下における各種プログラムの作業領域としても用いられる。

次に画像特徴算出プログラム（７１２）は画像入力（１０２）により取り込まれた画像よりエッジ画像の生成を行い（図２の２０３）、近傍とのエッジの類似度の低い点を特徴点として抽出する（図２の２０４）。また色相画像を生成し（図２の２０５）、近傍との色相の類似度の低い点を特徴点として抽出する（図２の２０６）。画像特徴照合プログラム（７１３）は画像間においてエッジと色相のそれぞれについて共通な特徴点の組み合わせを算出する（図２の２０７）。

より具体的には画像間に共通なエッジと色相の各特徴点のうち、ある画像における各特徴点の相対位置を基準として参照先の画像での各特徴点の相対位置との差が閾値以下となるもののみを選択し、記録する（図２の２０８）。一致した特徴点の数と特徴点間の画像上での距離が閾値以上か否かを評価し、いずれかが閾値に満たない場合はエラー表示を行う（図２の２１２）。一致した特徴点の数と特徴点間の画像上での距離が閾値以上の場合は合成画像生成プログラム（７１４）により一致した特徴点群から画像間の相対位置の平均値を求め、この相対位置に従って複数の画像を1枚の合成画像として合成する（図２の２１１）。次いで画像表示プログラム（７１５）は合成画像生成プログラム（７１４）により生成された合成画像を表示する（図２の２１１）。

なお、前述した実施の形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のプロセッサが記録媒体に格納されたプログラムを読み出し実行することによっても、本願が目的が達成されることはいうまでもない。

以上の説明においては、発明の実施の形態として特にカメラを画像入力機器とする装置例を示したが、画像入力機器としては、カメラ付き携帯電話やカメラ付きPDA（Personal Digital Assistant）などの電子手帳、ビデオカメラ、スキャナなどに加え、スチルカメラの画像を保存しているネットワーク上の記憶装置などから画像を入力する場合でも示した装置例と同様の結果を得ることが可能である。

また、本発明を用いることにより、産業応用の例としては自動車あるいは航空機や衛星などの移動物体に搭載されたカメラにより撮影された複数の画像から１枚の合成画像を自動的に生成・表示を行ったり、複数のカメラを並べたカメラアレイによる複数の画像から１枚の合成画像を自動的に生成・表示することが可能となり、作業の省力化ならびに作業時間の短縮が期待できる。

本発明の全体の機能の構成図である。 本発明の全体の処理の流れを示す図である。 全体の処理の流れを示す図２のうち、画像特徴照合に関わる処理２０８の流れを示す図である。 全体の処理の流れを示す図２のうち、画像特徴抽出に関わる処理２０４と２０６を示す図である。 全体の処理の流れを示す図２のうち、画像特徴照合に関わる処理２０７を示す図である。 全体の処理の流れを示す図２のうち、画像特徴照合に関わる処理２０８を示す図である。 本発明の一実施形態における装置全体の構成図である。

符号の説明

１０１‥プログラムの開始処理、１０２‥画像入力処理、１０３‥画像特徴抽出処理、１０４‥画像特徴照合処理、１０５‥画像表示処理、１０６‥プログラムの終了処理

Claims (2)

1. 複数の画像から合成画像を生成させる画像生成装置であって、
   画像を入力する画像入力手段と、
   前記の画像入力手段から入力された複数の画像の各画像における特徴を算出する画像特徴算出手段と、
   前記画像特徴算出手段で得られた各画像の特徴を比較し、同様の特徴を有する画像の照合を行う画像特徴照合手段と、
   前記画像特徴照合手段における照合結果に基づき前記複数の画像のうちの少なくとも２以上の画像を重ね合わせて合成画像を生成する画像生成手段と、
   前記合成画像を表示する手段とを有し、
   前記画像特徴算出手段は、前記複数の画像のそれぞれについてエッジ画像と色相画像を生成し、該エッジ画像と色相画像に基づき各画像内の特徴点を抽出し、
   前記画像特徴照合手段は、前記複数の画像のうちの各画像内の特徴点の前記エッジ画像と前記色相画像のピクセル値に基づき、一の画像内の特徴点のピクセル値と他の画像内の特徴点のピクセル値の差分が所定の閾値以下の場合に前記一の特徴点と他の特徴点が類似する特徴点であると判断し、前記特徴点が類似する少なくとも２以上の画像のうちで、各画像内の複数の特徴点のうちの１つの特徴点を基準点とし、該画像内で他の複数の特徴点が該基準点から所定の距離内にあるか否かを判断し、前記他の複数の特徴点のいずれかが前記所定の距離外にある場合、該所定の距離外にある特徴点を前記抽出した特徴点から削除することを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置であって、
   前記画像生成手段は、前記類似する特徴点を有する２以上の画像を、当該特徴点の位置を重ね合わせることにより、当該画像を合成することを特徴とする画像生成装置。

Images