JPH09322061A - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JPH09322061A JPH09322061A JP8133645A JP13364596A JPH09322061A JP H09322061 A JPH09322061 A JP H09322061A JP 8133645 A JP8133645 A JP 8133645A JP 13364596 A JP13364596 A JP 13364596A JP H09322061 A JPH09322061 A JP H09322061A
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- points
- arrangement information
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Input (AREA)
Abstract
(57)【要約】
【課題】 オーバーラップ部分を持つ複数画像をパノラ
マ合成する場合に、各画像をどのように配置して合成す
るのかを自動的に検出する。 【解決手段】 記録媒体１１０から読み込まれ、展開さ
れた複数の画像に対応点抽出すべき領域を設定した後、
その領域について画像間の対応点を対応点検出部１１４
で検出し、評価データ演算部１１５は検出された対応点
から配置情報を得るための評価データを求め、配置情報
抽出部１１６は評価データに基づいて配置情報を求め、
画像合成部１１７は配置情報に従って各画像を配置して
１枚の画像を合成する。
マ合成する場合に、各画像をどのように配置して合成す
るのかを自動的に検出する。 【解決手段】 記録媒体１１０から読み込まれ、展開さ
れた複数の画像に対応点抽出すべき領域を設定した後、
その領域について画像間の対応点を対応点検出部１１４
で検出し、評価データ演算部１１５は検出された対応点
から配置情報を得るための評価データを求め、配置情報
抽出部１１６は評価データに基づいて配置情報を求め、
画像合成部１１７は配置情報に従って各画像を配置して
１枚の画像を合成する。
Description
【０００１】
【発明の属する技術分野】本発明はカメラで撮像した複
数の画像をつなぎ合わせてパノラマ画像を作成する場合
等に用いて好適な画像合成装置に関するものである。
数の画像をつなぎ合わせてパノラマ画像を作成する場合
等に用いて好適な画像合成装置に関するものである。
【０００２】
【従来の技術】従来より、電子カメラで撮像され一部が
オーバーラップした複数の画像を、それらの配置を示す
配置情報に応じてつなぎ合わせて、１枚のパノラマ画像
を得る画像合成装置として、例えば特開平４−５２６３
５号公報に開示されるように、３次元位置及び方位を検
出する手段を設けた電子カメラを用い、撮影時の位置及
び方位を検出し、再生時にその位置及び方位情報に基づ
いてパノラマ画像を得るようにしたものがある。これは
３次元位置及び方位を検出するための特別な手段を用い
て画像間の配置情報を得るものである。
オーバーラップした複数の画像を、それらの配置を示す
配置情報に応じてつなぎ合わせて、１枚のパノラマ画像
を得る画像合成装置として、例えば特開平４−５２６３
５号公報に開示されるように、３次元位置及び方位を検
出する手段を設けた電子カメラを用い、撮影時の位置及
び方位を検出し、再生時にその位置及び方位情報に基づ
いてパノラマ画像を得るようにしたものがある。これは
３次元位置及び方位を検出するための特別な手段を用い
て画像間の配置情報を得るものである。
【０００３】
【発明が解決しようとする課題】しかしながら上記従来
例の装置は、画像間の配置情報を得るために電子カメラ
に特別な検出手段を設置することが必要であるため、装
置が大型化することになる。また、検出した３次元位置
及び方位を各画像信号に対応付けて記録することが必要
となり、装置が複雑化すると共に特別な画像フォーマッ
トが新たに必要となるなどコスト等の面で問題があっ
た。
例の装置は、画像間の配置情報を得るために電子カメラ
に特別な検出手段を設置することが必要であるため、装
置が大型化することになる。また、検出した３次元位置
及び方位を各画像信号に対応付けて記録することが必要
となり、装置が複雑化すると共に特別な画像フォーマッ
トが新たに必要となるなどコスト等の面で問題があっ
た。
【０００４】本発明は上記の問題を解決するためのもの
で、複数の画像間の配置情報を容易に精度よく抽出する
ことのできる画像合成装置を得ることを目的とする。
で、複数の画像間の配置情報を容易に精度よく抽出する
ことのできる画像合成装置を得ることを目的とする。
【０００５】
【課題を解決するための手段】請求項１の発明において
は、入力される複数の画像間の対応点を抽出する対応点
抽出手段と、上記抽出された対応点に基づいて上記複数
の画像を配置する配置情報を抽出する配置情報抽出手段
と、上記抽出された配置情報及び対応点に基づいて上記
複数の画像を合成する画像合成手段とを設けている。
は、入力される複数の画像間の対応点を抽出する対応点
抽出手段と、上記抽出された対応点に基づいて上記複数
の画像を配置する配置情報を抽出する配置情報抽出手段
と、上記抽出された配置情報及び対応点に基づいて上記
複数の画像を合成する画像合成手段とを設けている。
【０００６】請求項７の発明においては、入力された複
数の画像の縮小画像を生成する縮小画像生成手段と、複
数の上記縮小画像間の対応点を抽出する第１の対応点抽
出手段と、上記抽出された対応点に基づいて上記複数の
画像を配置する配置情報を抽出する配置情報抽出手段
と、上記抽出された配置情報と上記抽出された縮小画像
間の対応点に基づいて上記複数の画像間の対応点を抽出
する第２の対応点抽出手段と、上記抽出された配置情報
及び上記複数の画像間で抽出された対応点に基づいて上
記複数の画像を合成する画像合成手段とを設けている。
数の画像の縮小画像を生成する縮小画像生成手段と、複
数の上記縮小画像間の対応点を抽出する第１の対応点抽
出手段と、上記抽出された対応点に基づいて上記複数の
画像を配置する配置情報を抽出する配置情報抽出手段
と、上記抽出された配置情報と上記抽出された縮小画像
間の対応点に基づいて上記複数の画像間の対応点を抽出
する第２の対応点抽出手段と、上記抽出された配置情報
及び上記複数の画像間で抽出された対応点に基づいて上
記複数の画像を合成する画像合成手段とを設けている。
【０００７】
【作用】請求項１の発明によれば、先ず、複数画像の互
いに対応する点が抽出され、この対応点により各画像の
オーバーラップ部分が求められる。次に対応点に基づい
て各画像の配置が決定され、各画像が合成される。
いに対応する点が抽出され、この対応点により各画像の
オーバーラップ部分が求められる。次に対応点に基づい
て各画像の配置が決定され、各画像が合成される。
【０００８】請求項７の発明によれば、複数画像が先ず
縮小され、各縮小画像について対応点、配置情報を求
め、これらに基づいて複数画像間の対応点を再度求め、
求められた対応点と上記配置情報とに基づいて各画像が
合成される。
縮小され、各縮小画像について対応点、配置情報を求
め、これらに基づいて複数画像間の対応点を再度求め、
求められた対応点と上記配置情報とに基づいて各画像が
合成される。
【０００９】
（第１の実施の形態）以下、図１により本発明に係る画
像合成装置としての画像合成システムの構成及び機能に
ついて説明する。図１において、１１０は記録媒体であ
り、磁気ディスク、テープ等を用いることができる。１
１１は画像読み込み部であり記録媒体１１０に記録され
ている画像情報を読み込むものである。１１２は画像展
開部であり、読み込んだ画像情報をメモリに展開する。
１１３は領域設定部であり、合成に用いる２つの画像に
おいて、画像の配置情報抽出に用いるための領域を設定
する。
像合成装置としての画像合成システムの構成及び機能に
ついて説明する。図１において、１１０は記録媒体であ
り、磁気ディスク、テープ等を用いることができる。１
１１は画像読み込み部であり記録媒体１１０に記録され
ている画像情報を読み込むものである。１１２は画像展
開部であり、読み込んだ画像情報をメモリに展開する。
１１３は領域設定部であり、合成に用いる２つの画像に
おいて、画像の配置情報抽出に用いるための領域を設定
する。
【００１０】１１４は対応点抽出部であり、設定した領
域間の対応関係を求めるものである。１１５は評価デー
タ演算部であり、得られた対応関係の情報から画像間の
配置情報を抽出するためのデータを演算により求める。
１１６は配置情報抽出部であり、評価データを比較し、
配置情報を決定するものである。１１７は画像合成部で
あり、配置情報決定の際に用いられた対応関係の情報を
用いて各々の画像を合成する。１１８は画像書き込み部
であり、合成した画像情報を記録媒体等に書き込むもの
である。
域間の対応関係を求めるものである。１１５は評価デー
タ演算部であり、得られた対応関係の情報から画像間の
配置情報を抽出するためのデータを演算により求める。
１１６は配置情報抽出部であり、評価データを比較し、
配置情報を決定するものである。１１７は画像合成部で
あり、配置情報決定の際に用いられた対応関係の情報を
用いて各々の画像を合成する。１１８は画像書き込み部
であり、合成した画像情報を記録媒体等に書き込むもの
である。
【００１１】次に、上記構成による画像合成システムの
動作について説明する。画像読み込み部１１１により記
録媒体１１０から読み込まれた画像情報は、画像展開部
１１２によりメモリ上に展開される。図２はメモリ上に
展開された画像２１０及び画像２２０の概略である。説
明のために画像サイズを幅Ｗ×高さＨとする。領域設定
部１１３は、メモリ上に展開されている画像２１０及び
２２０において互いのオーバーラップ部分における対応
関係を求めるための領域Ｌ１〜Ｌ４及びＲ１〜Ｒ４を設
定する。このように、各々の画像２１０、２２０におい
て対応点を検出するための領域Ｌ１〜Ｌ４またはＲ１〜
Ｒ４を設定し、この限定した領域でのみ後述する対応点
の抽出処理を実行することにより、処理を高速化でき
る。
動作について説明する。画像読み込み部１１１により記
録媒体１１０から読み込まれた画像情報は、画像展開部
１１２によりメモリ上に展開される。図２はメモリ上に
展開された画像２１０及び画像２２０の概略である。説
明のために画像サイズを幅Ｗ×高さＨとする。領域設定
部１１３は、メモリ上に展開されている画像２１０及び
２２０において互いのオーバーラップ部分における対応
関係を求めるための領域Ｌ１〜Ｌ４及びＲ１〜Ｒ４を設
定する。このように、各々の画像２１０、２２０におい
て対応点を検出するための領域Ｌ１〜Ｌ４またはＲ１〜
Ｒ４を設定し、この限定した領域でのみ後述する対応点
の抽出処理を実行することにより、処理を高速化でき
る。
【００１２】本実施の形態においては、テンプレートマ
ッチング法により対応関係を抽出する。テンプレートマ
ッチング法の概略を図３に示す。図３において、４１０
は図２の領域Ｌ１を示しており、４２０は領域Ｒ２を示
す。領域４１０において、点線で囲まれた各々の領域は
テンプレートを示す。テンプレートは任意の画素を中心
としてｎ×ｍ等の画素により構成される。
ッチング法により対応関係を抽出する。テンプレートマ
ッチング法の概略を図３に示す。図３において、４１０
は図２の領域Ｌ１を示しており、４２０は領域Ｒ２を示
す。領域４１０において、点線で囲まれた各々の領域は
テンプレートを示す。テンプレートは任意の画素を中心
としてｎ×ｍ等の画素により構成される。
【００１３】図４は図３におけるテンプレートＴ１１を
拡大して示したもので、画素Ｌ（ｘ１１，ｙ１１）を中
心として５×５の画素から構成される。対応点の抽出
は、上記のテンプレートＴ１１を図３の領域４２０上で
移動しながら各位置でのテンプレートＴ１１と領域４２
０における各画素Ｒとの残差を以下の式により求める。
拡大して示したもので、画素Ｌ（ｘ１１，ｙ１１）を中
心として５×５の画素から構成される。対応点の抽出
は、上記のテンプレートＴ１１を図３の領域４２０上で
移動しながら各位置でのテンプレートＴ１１と領域４２
０における各画素Ｒとの残差を以下の式により求める。
【００１４】
【数１】
【００１５】（１）式により得られる最小の残差Ｅ
（ｘ，ｙ）を与える位置を画素Ｌ（ｘ１１，ｙ１１）に
対する対応点の位置とする。
（ｘ，ｙ）を与える位置を画素Ｌ（ｘ１１，ｙ１１）に
対する対応点の位置とする。
【００１６】領域設定部１１３においては、対応点を抽
出するためにテンプレート切り出しエリアとサーチエリ
アとのペアを図５に示すように設定する。ここで、図５
のＬ１〜Ｌ４及びＲ１〜Ｒ４は図２の各エリアに対応し
ている。
出するためにテンプレート切り出しエリアとサーチエリ
アとのペアを図５に示すように設定する。ここで、図５
のＬ１〜Ｌ４及びＲ１〜Ｒ４は図２の各エリアに対応し
ている。
【００１７】次に対応点抽出部１１４は、上記のテンプ
レートマッチング法により対応点を抽出する。図６は図
２の領域Ｌ１とＲ２間で対応点を抽出し、結果をフロー
Ｆ１１、Ｆ１２、…として表わしたものであり、左上隅
を原点として領域Ｌ１及び領域Ｒ２の座標及びテンプレ
ートを同時に示したものである。図６において、右端の
各領域はテンプレートＴ１１、Ｔ１２、…、Ｔ２７を示
す。また、フローＦ１１は、テンプレートＴ１１の中心
の座標（ｘ１１，ｙ１１）と対応点の座標（ｘ′１１，
ｙ′１１）との差（Δｘ１１，Δｙ１１）を表わす。他
のフローについても同様である。
レートマッチング法により対応点を抽出する。図６は図
２の領域Ｌ１とＲ２間で対応点を抽出し、結果をフロー
Ｆ１１、Ｆ１２、…として表わしたものであり、左上隅
を原点として領域Ｌ１及び領域Ｒ２の座標及びテンプレ
ートを同時に示したものである。図６において、右端の
各領域はテンプレートＴ１１、Ｔ１２、…、Ｔ２７を示
す。また、フローＦ１１は、テンプレートＴ１１の中心
の座標（ｘ１１，ｙ１１）と対応点の座標（ｘ′１１，
ｙ′１１）との差（Δｘ１１，Δｙ１１）を表わす。他
のフローについても同様である。
【００１８】対応点抽出部１１４においては、検出され
る対応点の座標を基にフローを生成し、ｘ方向及びｙ方
向のフローに対してヒストグラムを作成する。図７は、
図６により得られる対応点のフローを基に作成したヒス
トグラムの概略である。ここでは、説明のために図７を
ｘ方向のフローを基に作成したものとする。ヒストグラ
ムの幅としては任意の値を設定することが可能である。
図７においては、幅を５と設定している。
る対応点の座標を基にフローを生成し、ｘ方向及びｙ方
向のフローに対してヒストグラムを作成する。図７は、
図６により得られる対応点のフローを基に作成したヒス
トグラムの概略である。ここでは、説明のために図７を
ｘ方向のフローを基に作成したものとする。ヒストグラ
ムの幅としては任意の値を設定することが可能である。
図７においては、幅を５と設定している。
【００１９】ヒストグラム作成後、最大度数を与えるフ
ローを抽出する。図７においてはΔｘmin+10〜Δｘ
min+15が最大度数を与えるフローである。ｙ方向につい
ても同様に最大度数を与えるフローを抽出する。対応点
抽出部１１４は、ヒストグラム処理により抽出された最
大度数を与えるフロー以外の対応点ペアをノイズとして
除去する。
ローを抽出する。図７においてはΔｘmin+10〜Δｘ
min+15が最大度数を与えるフローである。ｙ方向につい
ても同様に最大度数を与えるフローを抽出する。対応点
抽出部１１４は、ヒストグラム処理により抽出された最
大度数を与えるフロー以外の対応点ペアをノイズとして
除去する。
【００２０】図８はヒストグラムによりノイズ除去を実
行した後に残った対応点のペアを表わしたものである。
図６と比較してノイズ成分が除去されたものとなってい
る。
行した後に残った対応点のペアを表わしたものである。
図６と比較してノイズ成分が除去されたものとなってい
る。
【００２１】次に評価データ演算部１１５は、２つの画
像の配置を決定するための評価データを生成する。評価
データとしては図６に示すテンプレート切り出しエリア
において切り出されたテンプレートの数をＴＮ、ヒスト
グラム処理によるノイズ除去後に残ったテンプレートの
数をＴＫとして以下の式により生成する。 Ｄ１＝ＴＫ／ＴＮ×１００（％） ………（２） 図６及び図８の例では、ＴＮ＝１４、ＴＫ＝８であり、
Ｄ１＝５７（％）となる。
像の配置を決定するための評価データを生成する。評価
データとしては図６に示すテンプレート切り出しエリア
において切り出されたテンプレートの数をＴＮ、ヒスト
グラム処理によるノイズ除去後に残ったテンプレートの
数をＴＫとして以下の式により生成する。 Ｄ１＝ＴＫ／ＴＮ×１００（％） ………（２） 図６及び図８の例では、ＴＮ＝１４、ＴＫ＝８であり、
Ｄ１＝５７（％）となる。
【００２２】図５に示す〜の４つの配置について、
上記の対応点抽出、ヒストグラム処理及び評価データの
演算処理を施し、評価データＤ１〜Ｄ４が生成される。
上記の対応点抽出、ヒストグラム処理及び評価データの
演算処理を施し、評価データＤ１〜Ｄ４が生成される。
【００２３】次に配置情報抽出部１１６において、生成
された評価データＤ１〜Ｄ４を比較し、そのうちの最大
の評価データを与える方向を抽出する。例えばＤ１が最
大であると検出されると、２つの画像の配置は図９
（ａ）に示すものとする。尚、図９の（ａ）〜（ｄ）の
配置は図５の〜のペアに対応している。
された評価データＤ１〜Ｄ４を比較し、そのうちの最大
の評価データを与える方向を抽出する。例えばＤ１が最
大であると検出されると、２つの画像の配置は図９
（ａ）に示すものとする。尚、図９の（ａ）〜（ｄ）の
配置は図５の〜のペアに対応している。
【００２４】次に画像合成部１１７は、配置情報抽出部
１１６において得られる配置情報及び抽出された配置に
おいて検出された対応点の座標データを基に合成のため
のパラメータを抽出する。画像合成部１１７は、アフィ
ン変換により以下の式を用いて２つの画像を合成する。
１１６において得られる配置情報及び抽出された配置に
おいて検出された対応点の座標データを基に合成のため
のパラメータを抽出する。画像合成部１１７は、アフィ
ン変換により以下の式を用いて２つの画像を合成する。
【００２５】
【数２】
【００２６】次に（３）式に従い生成された合成画像
は、画像書き込み部１１８によりメモリあるいは記録媒
体等に書き込まれる。また、合成された画像を不図示の
表示部に表示してもよい。
は、画像書き込み部１１８によりメモリあるいは記録媒
体等に書き込まれる。また、合成された画像を不図示の
表示部に表示してもよい。
【００２７】（第２の実施の形態）図１０は第２の実施
の形態を示すもので、特徴的な部分は、エッジ画像生成
部１１９及び対応点抽出部１２０である。その他の部分
については、第１の実施の形態による図１と同様の機能
及び動作を有するものであり説明を省略する。エッジ画
像生成部１１９は、入力した画像を基にエッジ画像を生
成する。エッジ画像生成のためのマスクとして例えば以
下のものを用いる。
の形態を示すもので、特徴的な部分は、エッジ画像生成
部１１９及び対応点抽出部１２０である。その他の部分
については、第１の実施の形態による図１と同様の機能
及び動作を有するものであり説明を省略する。エッジ画
像生成部１１９は、入力した画像を基にエッジ画像を生
成する。エッジ画像生成のためのマスクとして例えば以
下のものを用いる。
【００２８】
【数３】
【００２９】また、エッジ画像Ｌ′及びＲ′は、次式に
より生成する。
より生成する。
【００３０】
【数４】
【００３１】生成したエッジ画像に対して第１の実施の
形態と同様に領域設定部１１３において配置情報を得る
ための領域を設定する。
形態と同様に領域設定部１１３において配置情報を得る
ための領域を設定する。
【００３２】対応点抽出部１２０においては、エッジ画
像において図３に示すようにテンプレートを設定する
が、このとき以下の処理を新たに追加する。即ち、各テ
ンプレート内の画素値つまりエッジのレベルをしきい値
Ｓと比較する。例えば５×５のテンプレートの場合２５
のエッジ強度としきい値Ｓとを比較し、しきい値以上の
エッジの数ｋを求める。
像において図３に示すようにテンプレートを設定する
が、このとき以下の処理を新たに追加する。即ち、各テ
ンプレート内の画素値つまりエッジのレベルをしきい値
Ｓと比較する。例えば５×５のテンプレートの場合２５
のエッジ強度としきい値Ｓとを比較し、しきい値以上の
エッジの数ｋを求める。
【００３３】次に、このエッジの数ｋがしきい値Ｓn 以
上であるか否かを検出し、しきい値Ｓn 以下の場合に
は、そのテンプレートを対応点抽出に用いない。従っ
て、評価データ演算部１１５において用いる、切り出し
たテンプレートの数ＴＮにはエッジの数ｋがしきい値Ｓ
n 以下のテンプレートは含めない。以下の処理は、第１
の実施の形態と同様に行われる。
上であるか否かを検出し、しきい値Ｓn 以下の場合に
は、そのテンプレートを対応点抽出に用いない。従っ
て、評価データ演算部１１５において用いる、切り出し
たテンプレートの数ＴＮにはエッジの数ｋがしきい値Ｓ
n 以下のテンプレートは含めない。以下の処理は、第１
の実施の形態と同様に行われる。
【００３４】これにより、特徴点の少ない画像及び濃度
差の大きい画像を用いるために生じる誤対応を防止する
ことができ、配置情報抽出の精度を向上することができ
る。
差の大きい画像を用いるために生じる誤対応を防止する
ことができ、配置情報抽出の精度を向上することができ
る。
【００３５】（第３の実施の形態）図１１は第３の実施
の形態を示すもので、特徴的な部分は、粗画像生成部１
２１及び２つの対応点抽出部１２２である。その他の部
分については、第１、２の実施の形態による図１、図１
０と同様の機能及び動作を有するものであり説明を省略
する。本実施の形態においては、読み込んだ画像を縮小
した粗画像により配置情報を抽出し、粗画像により得ら
れる対応点のフローを基に元の画像において画像間の重
複領域を予測し対応点検出を実行することにより、処理
時間の短縮と合成時の精度向上を図るものである。
の形態を示すもので、特徴的な部分は、粗画像生成部１
２１及び２つの対応点抽出部１２２である。その他の部
分については、第１、２の実施の形態による図１、図１
０と同様の機能及び動作を有するものであり説明を省略
する。本実施の形態においては、読み込んだ画像を縮小
した粗画像により配置情報を抽出し、粗画像により得ら
れる対応点のフローを基に元の画像において画像間の重
複領域を予測し対応点検出を実行することにより、処理
時間の短縮と合成時の精度向上を図るものである。
【００３６】次に図１１の動作を説明する。粗画像生成
部１２１は、読み込んだ画像Ｗ×ＨをＷ／２×Ｈ／２に
縮小した粗画像に変換する。変換は次式により行う。 Ｐ′i,j ＝（Ｐ2i,2j ＋Ｐ2i+1,2j ＋Ｐ2i,2j+1 ＋Ｐ2i+1,2j+1 ）／４ ｉ＝０…Ｗ／２，ｊ＝０…Ｈ／２ ………（６） ここで、Ｐ′は粗画像の画素値であり、Ｐは元の画像の
画素値である。尚、ここでは元の画像の縦及び横を１／
２に縮小した画像を素画像としているが、これに限るも
のではなく１／４あるいは１／８に縮小した画像を素画
像としてもよいことは言うまでもない。
部１２１は、読み込んだ画像Ｗ×ＨをＷ／２×Ｈ／２に
縮小した粗画像に変換する。変換は次式により行う。 Ｐ′i,j ＝（Ｐ2i,2j ＋Ｐ2i+1,2j ＋Ｐ2i,2j+1 ＋Ｐ2i+1,2j+1 ）／４ ｉ＝０…Ｗ／２，ｊ＝０…Ｈ／２ ………（６） ここで、Ｐ′は粗画像の画素値であり、Ｐは元の画像の
画素値である。尚、ここでは元の画像の縦及び横を１／
２に縮小した画像を素画像としているが、これに限るも
のではなく１／４あるいは１／８に縮小した画像を素画
像としてもよいことは言うまでもない。
【００３７】次にＬ及びＲの粗画像をＬs 及びＲs と
し、作成した粗画像Ｌs 、Ｒs を基に第２の実施の形態
と同様の方式により配置情報を抽出する。配置情報抽出
後、配置情報抽出の際に用いた対応点の最大フローＦ
max を基に元の画像のエッジ画像Ｌ′及びＲ′における
重複領域を予測する。
し、作成した粗画像Ｌs 、Ｒs を基に第２の実施の形態
と同様の方式により配置情報を抽出する。配置情報抽出
後、配置情報抽出の際に用いた対応点の最大フローＦ
max を基に元の画像のエッジ画像Ｌ′及びＲ′における
重複領域を予測する。
【００３８】図１２に重複領域予測の概略を示す。図１
２は元の画像のエッジ画像Ｌ′及びＲ′において、対応
点のフローを基に予測される重複領域（斜線部）及びサ
ーチエリアの概略である。最大フローＦma x （Δ
ｘmax ，Δｙmax ）が縦・横１／２に縮小された粗画像
において得られている場合、重複領域は（Ｗ−Δｘmax
×２，Ｈ−Δｙmax ×２）の領域となる。
２は元の画像のエッジ画像Ｌ′及びＲ′において、対応
点のフローを基に予測される重複領域（斜線部）及びサ
ーチエリアの概略である。最大フローＦma x （Δ
ｘmax ，Δｙmax ）が縦・横１／２に縮小された粗画像
において得られている場合、重複領域は（Ｗ−Δｘmax
×２，Ｈ−Δｙmax ×２）の領域となる。
【００３９】また、サーチエリアは図１２の画素Ｌ′
（ｘ，ｙ）に対応する点を粗画像により得られている最
大フローを基に予測し、その点を中心として設定するこ
とが可能である。以上のように粗画像の対応点抽出結果
を基に予測される重複領域及びサーチエリアにより再度
対応点を抽出し、以下第２の実施の形態と同様に合成画
像を生成する。
（ｘ，ｙ）に対応する点を粗画像により得られている最
大フローを基に予測し、その点を中心として設定するこ
とが可能である。以上のように粗画像の対応点抽出結果
を基に予測される重複領域及びサーチエリアにより再度
対応点を抽出し、以下第２の実施の形態と同様に合成画
像を生成する。
【００４０】（第４の実施の形態）これまで説明した各
実施の形態においては２枚の画像の合成について示して
いるが、第４の実施の形態は３枚以上の合成について示
す。図１３は３枚以上の画像から配置を自動的に検出し
て合成する場合の概略を示したものである。ここでは、
図１３（ａ）に示す４枚の画像９００〜９０３の合成に
ついて示す。
実施の形態においては２枚の画像の合成について示して
いるが、第４の実施の形態は３枚以上の合成について示
す。図１３は３枚以上の画像から配置を自動的に検出し
て合成する場合の概略を示したものである。ここでは、
図１３（ａ）に示す４枚の画像９００〜９０３の合成に
ついて示す。
【００４１】図１３（ｂ）は、まず最初の２枚の画像９
００、９０１の合成について示したものである。この場
合には、前述の各実施の形態と同様に配置検出のための
領域Ｌ１〜Ｌ４及びＲ１〜Ｒ４を設定して配置を抽出す
る。配置抽出の方式としては、第１の実施の形態と同様
に（１）式によるテンプレートマッチング法、ヒストグ
ラム処理による誤対応点成分の除去を用いることができ
る。
００、９０１の合成について示したものである。この場
合には、前述の各実施の形態と同様に配置検出のための
領域Ｌ１〜Ｌ４及びＲ１〜Ｒ４を設定して配置を抽出す
る。配置抽出の方式としては、第１の実施の形態と同様
に（１）式によるテンプレートマッチング法、ヒストグ
ラム処理による誤対応点成分の除去を用いることができ
る。
【００４２】また、評価データとして（１）式により各
テンプレート毎に得られる最小の残差Ｅmin （ｘ，ｙ）
の平均値を用いることも可能である。即ち、図５の〜
の４つの配置について、各方向毎の残差の平均値Ｄ
１′〜Ｄ４′を評価データとして画像間の配置を抽出す
る。
テンプレート毎に得られる最小の残差Ｅmin （ｘ，ｙ）
の平均値を用いることも可能である。即ち、図５の〜
の４つの配置について、各方向毎の残差の平均値Ｄ
１′〜Ｄ４′を評価データとして画像間の配置を抽出す
る。
【００４３】合成に用いる画像が４つの場合には、 4Ｃ
2 通りの画像の組み合わせについて上記処理を実行し、
評価データとして用いる残差の平均値を計算し、その最
小値を与える２つの画像を選択し、さらに最小の残差の
平均値を与える方向に従い画像合成する。図１３（ｂ）
においては、上記の処理に従い画像９００と９０１が選
択され、さらに最小の残差の平均値を与える方向である
Ｌ１とＲ１の方向に従い合成が実行される。
2 通りの画像の組み合わせについて上記処理を実行し、
評価データとして用いる残差の平均値を計算し、その最
小値を与える２つの画像を選択し、さらに最小の残差の
平均値を与える方向に従い画像合成する。図１３（ｂ）
においては、上記の処理に従い画像９００と９０１が選
択され、さらに最小の残差の平均値を与える方向である
Ｌ１とＲ１の方向に従い合成が実行される。
【００４４】図１３（ｃ）の画像９１０は、画像９００
及び９０１を合成した結果の画像である。合成画像９１
０に対して前述と同様に配置情報抽出のための領域Ｌ１
〜Ｌ４を設定し、これと図１３（ａ）の残りの画像９０
２及び９０３との間で配置情報抽出のための評価データ
を生成する。図１３（ｃ）においては、画像９１０と画
像９０２が最小の残差の平均値を与えるペアとして選択
され、さらに最小の残差の平均値を与える方向であるＬ
４とＲ３の方向に従い合成が実行される。
及び９０１を合成した結果の画像である。合成画像９１
０に対して前述と同様に配置情報抽出のための領域Ｌ１
〜Ｌ４を設定し、これと図１３（ａ）の残りの画像９０
２及び９０３との間で配置情報抽出のための評価データ
を生成する。図１３（ｃ）においては、画像９１０と画
像９０２が最小の残差の平均値を与えるペアとして選択
され、さらに最小の残差の平均値を与える方向であるＬ
４とＲ３の方向に従い合成が実行される。
【００４５】この場合、Ｌ１とＲ２の領域間の対応点に
より既に配置情報が抽出されているので、画像９１０に
おいて点線で囲まれたＬ１とＲ２に対応する領域につい
ての対応点を探索する必要はない。
より既に配置情報が抽出されているので、画像９１０に
おいて点線で囲まれたＬ１とＲ２に対応する領域につい
ての対応点を探索する必要はない。
【００４６】図１３（ｄ）の画像９１１は、画像９１０
及び画像９０２を合成した結果である。画像９１１に対
して同様に配置情報抽出のための領域Ｌ１〜Ｌ４、Ｌ
１′及びＬ４′を設定し、これと画像９０３との間で配
置情報抽出のための評価データを生成する。以下前述と
同様の処理により、最小の残差の平均値を与える方向に
従い各々の画像を合成する。ここでは、４画像の合成に
ついて示したが、それ以上の画像についても上記の処理
の拡張により対応可能であることは言うまでもない。
及び画像９０２を合成した結果である。画像９１１に対
して同様に配置情報抽出のための領域Ｌ１〜Ｌ４、Ｌ
１′及びＬ４′を設定し、これと画像９０３との間で配
置情報抽出のための評価データを生成する。以下前述と
同様の処理により、最小の残差の平均値を与える方向に
従い各々の画像を合成する。ここでは、４画像の合成に
ついて示したが、それ以上の画像についても上記の処理
の拡張により対応可能であることは言うまでもない。
【００４７】
【発明の効果】以上説明したように、請求項１の発明に
よれば、複数の画像を入力し、入力した複数の画像間の
配置情報を自動的に抽出することができるので、画像の
配置を設定するための煩わしい操作が不要となる。
よれば、複数の画像を入力し、入力した複数の画像間の
配置情報を自動的に抽出することができるので、画像の
配置を設定するための煩わしい操作が不要となる。
【００４８】また、請求項２の発明によれば、対応点抽
出の際の誤対応成分を除去するので、誤対応成分により
誤った配置情報を抽出する事態を防止することができ、
検出精度を向上させることができる。また、請求項３の
発明によれば、対応点抽出の際の候補点の数及び抽出後
の対応点の数を基に評価情報を生成するので、複雑な演
算を要せずに短時間で配置情報を抽出することができ
る。
出の際の誤対応成分を除去するので、誤対応成分により
誤った配置情報を抽出する事態を防止することができ、
検出精度を向上させることができる。また、請求項３の
発明によれば、対応点抽出の際の候補点の数及び抽出後
の対応点の数を基に評価情報を生成するので、複雑な演
算を要せずに短時間で配置情報を抽出することができ
る。
【００４９】また、請求項４の発明によれば、エッジ画
像を基に対応点を抽出するので画像間の濃度差による誤
対応を防止することができ、精度の高い対応点抽出及び
画像合成を行うことができる。また、請求項５の発明に
よれば、候補点をエッジ情報を基に設定しているので、
特徴的な部分で対応点抽出を行うことができ、誤対応の
発生要因を対応点抽出処理実行前に除去することができ
る。また、請求項６の発明によれば、縮小画像を基に配
置情報を抽出しているので処理時間を短縮することがで
きる。
像を基に対応点を抽出するので画像間の濃度差による誤
対応を防止することができ、精度の高い対応点抽出及び
画像合成を行うことができる。また、請求項５の発明に
よれば、候補点をエッジ情報を基に設定しているので、
特徴的な部分で対応点抽出を行うことができ、誤対応の
発生要因を対応点抽出処理実行前に除去することができ
る。また、請求項６の発明によれば、縮小画像を基に配
置情報を抽出しているので処理時間を短縮することがで
きる。
【００５０】また、請求項７の発明によれば、縮小画像
により配置情報を抽出すると共に、原画像を用いて対応
点抽出処理を再度実行することにより、短時間でかつ精
度の高い合成画像を生成することができる。
により配置情報を抽出すると共に、原画像を用いて対応
点抽出処理を再度実行することにより、短時間でかつ精
度の高い合成画像を生成することができる。
【００５１】さらに請求項８、９の発明によれば、不必
要な対応点抽出処理を行わなくて済むので処理を高速化
することができる。
要な対応点抽出処理を行わなくて済むので処理を高速化
することができる。
【図１】本発明の第１の実施の形態を示すブロック図で
ある。
ある。
【図２】配置情報抽出に用いる画像領域を説明するため
の構成図である。
の構成図である。
【図３】テンプレートマッチング法を説明するための構
成図である。
成図である。
【図４】テンプレートマッチング法を説明するための構
成図である。
成図である。
【図５】配置情報抽出に用いる領域の対応を説明するた
めの構成図である。
めの構成図である。
【図６】対応点抽出処理の概略を示す構成図である。
【図７】対応点抽出処理のヒストグラム処理を示す特性
図である。
図である。
【図８】対応点抽出の誤対応除去の概略を示す構成図で
ある。
ある。
【図９】画像の配置を示す構成図である。
【図１０】本発明の第２の実施の形態を示すブロック図
である。
である。
【図１１】本発明の第３の実施の形態を示すブロック図
である。
である。
【図１２】対応点抽出の概略を示す構成図である。
【図１３】配置情報抽出の概略を示す構成図である。
１１０ 記録媒体 １１１ 画像読み込み部 １１２ 画像展開部 １１３ 領域設定部 １１４ 対応点抽出部 １１５ 評価データ生成部 １１６ 配置情報抽出部 １１７ 画像合成部 １１８ 画像書き込み部 １１９ エッジ画像生成部 １２１ 粗画像生成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽鳥 健司 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内
Claims (9)
- 【請求項１】 入力される複数の画像間の対応点を抽出
する対応点抽出手段と、 上記抽出された対応点に基づいて上記複数の画像を配置
する配置情報を抽出する配置情報抽出手段と、 上記抽出された配置情報及び対応点に基づいて上記複数
の画像を合成する画像合成手段とを備えた画像合成装
置。 - 【請求項２】 上記対応点抽出手段は、上記対応点を抽
出するための複数の候補点を上記複数の画像に設定し、
この複数の候補点について対応点抽出処理を行い、この
処理により得られる対応点情報の誤対応成分を除去する
ことにより対応点を得ることを特徴とする請求項１記載
の画像合成装置。 - 【請求項３】 上記配置情報抽出手段は、上記複数の候
補点の数及び誤対応成分除去後の対応点の数の評価情報
を生成し、この評価情報を基に配置情報を抽出すること
を特徴とする請求項２記載の画像合成装置。 - 【請求項４】 上記対応点抽出手段は、上記複数の画像
のエッジ画像を生成し、この生成したエッジ画像を基に
対応点抽出を行うことを特徴とする請求項１記載の画像
合成装置。 - 【請求項５】 上記対応点抽出手段は、上記対応点を抽
出するための複数の候補点を上記複数の画像に設け、こ
の候補点はその候補点の周辺のエッジ情報を基に設定す
ることを特徴とする請求項４記載の画像合成装置。 - 【請求項６】 上記複数の画像の縮小画像を生成する縮
小画像生成手段を設け、上記対応点抽出手段は、複数の
上記縮小画像間の対応点を抽出し、上記配置情報抽出手
段は上記抽出された対応点に基づいて上記複数の画像の
配置情報を抽出することを特徴とする請求項１記載の画
像合成装置。 - 【請求項７】 入力された複数の画像の縮小画像を生成
する縮小画像生成手段と、 複数の上記縮小画像間の対応点を抽出する第１の対応点
抽出手段と、 上記抽出された対応点に基づいて上記複数の画像を配置
する配置情報を抽出する配置情報抽出手段と、 上記抽出された配置情報と上記抽出された縮小画像間の
対応点に基づいて上記複数の画像間の対応点を抽出する
第２の対応点抽出手段と、 上記抽出された配置情報及び上記複数の画像間で抽出さ
れた対応点に基づいて上記複数の画像を合成する画像合
成手段とを備えた画像合成装置。 - 【請求項８】 上記対応点抽出手段は、上記対応点を抽
出する領域を上記複数の画像に設定することを特徴とす
る請求項１記載の画像合成装置。 - 【請求項９】 上記画像合成手段は、２つの画像を合成
した後、この合成された画像と他の画像とについて上記
対応点抽出手段が上記領域を設定して対応点を抽出する
ように成され、この際、上記２つの画像に設定された領
域については対応点抽出処理は行わないことを特徴とす
る請求項８記載の画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8133645A JPH09322061A (ja) | 1996-05-28 | 1996-05-28 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8133645A JPH09322061A (ja) | 1996-05-28 | 1996-05-28 | 画像合成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09322061A true JPH09322061A (ja) | 1997-12-12 |
Family
ID=15109659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8133645A Pending JPH09322061A (ja) | 1996-05-28 | 1996-05-28 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09322061A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000022934A (ja) * | 1998-07-03 | 2000-01-21 | Sharp Corp | 画像処理装置 |
| US7123291B2 (en) | 2000-02-03 | 2006-10-17 | Minolta Co., Ltd. | Image processing device, image processing method and image processing program for joining a plurality of divided images |
| KR100790887B1 (ko) * | 2006-09-22 | 2008-01-02 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
| KR100866278B1 (ko) * | 2007-04-26 | 2008-10-31 | 주식회사 코아로직 | 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
| JP2011066535A (ja) * | 2009-09-15 | 2011-03-31 | Tokyo Metropolitan Industrial Technology Research Institute | 画像合成装置及び画像合成方法 |
| JP2013015665A (ja) * | 2011-07-04 | 2013-01-24 | Nikon Corp | 顕微鏡装置及び画像形成方法 |
| WO2015030221A1 (en) * | 2013-08-28 | 2015-03-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| JP2015046044A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび撮像システム |
| JP2016053978A (ja) * | 2015-11-20 | 2016-04-14 | 株式会社リコー | 画像処理装置 |
| JP2017501005A (ja) * | 2013-12-23 | 2017-01-12 | アールエスビーブイ，リミティド ライアビリティ カンパニー | 広視野網膜画像取得システム及び方法 |
| JP2018022519A (ja) * | 2017-10-05 | 2018-02-08 | 株式会社リコー | 画像処理装置 |
-
1996
- 1996-05-28 JP JP8133645A patent/JPH09322061A/ja active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000022934A (ja) * | 1998-07-03 | 2000-01-21 | Sharp Corp | 画像処理装置 |
| US7123291B2 (en) | 2000-02-03 | 2006-10-17 | Minolta Co., Ltd. | Image processing device, image processing method and image processing program for joining a plurality of divided images |
| KR100790887B1 (ko) * | 2006-09-22 | 2008-01-02 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
| KR100866278B1 (ko) * | 2007-04-26 | 2008-10-31 | 주식회사 코아로직 | 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
| JP2011066535A (ja) * | 2009-09-15 | 2011-03-31 | Tokyo Metropolitan Industrial Technology Research Institute | 画像合成装置及び画像合成方法 |
| JP2013015665A (ja) * | 2011-07-04 | 2013-01-24 | Nikon Corp | 顕微鏡装置及び画像形成方法 |
| CN105659287A (zh) * | 2013-08-28 | 2016-06-08 | 株式会社理光 | 图像处理装置、图像处理方法和成像*** |
| US9609212B2 (en) | 2013-08-28 | 2017-03-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and image system |
| KR20160028490A (ko) * | 2013-08-28 | 2016-03-11 | 가부시키가이샤 리코 | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 |
| CN108600576B (zh) * | 2013-08-28 | 2020-12-29 | 株式会社理光 | 图像处理装置、方法和***以及计算机可读记录介质 |
| WO2015030221A1 (en) * | 2013-08-28 | 2015-03-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| US20160212336A1 (en) * | 2013-08-28 | 2016-07-21 | Hirokazu Takenaka | Image processing apparatus, image processing method, and imaging system |
| US10834316B2 (en) | 2013-08-28 | 2020-11-10 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| JP2015046044A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび撮像システム |
| US10412302B2 (en) | 2013-08-28 | 2019-09-10 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| CN105659287B (zh) * | 2013-08-28 | 2018-08-17 | 株式会社理光 | 图像处理装置、图像处理方法和成像*** |
| US10063774B2 (en) | 2013-08-28 | 2018-08-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| JP2017501005A (ja) * | 2013-12-23 | 2017-01-12 | アールエスビーブイ，リミティド ライアビリティ カンパニー | 広視野網膜画像取得システム及び方法 |
| JP2016053978A (ja) * | 2015-11-20 | 2016-04-14 | 株式会社リコー | 画像処理装置 |
| JP2018022519A (ja) * | 2017-10-05 | 2018-02-08 | 株式会社リコー | 画像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5269707B2 (ja) | 画像合成装置及び方法 | |
| US7076116B2 (en) | Image processing apparatus | |
| JP4821642B2 (ja) | 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム | |
| JP5182229B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10785469B2 (en) | Generation apparatus and method for generating a virtual viewpoint image | |
| JPH09322061A (ja) | 画像合成装置 | |
| WO2012137621A1 (ja) | 画像処理方法及び装置 | |
| CN104396231A (zh) | 图像处理装置和图像处理方法 | |
| JP4272771B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP7333520B2 (ja) | 学習プログラム、学習方法、及び情報処理装置 | |
| JPH10126665A (ja) | 画像合成装置 | |
| JP3468404B2 (ja) | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 | |
| JP2002207963A (ja) | 画像処理装置 | |
| JPH11213156A (ja) | 画像処理装置および方法、記録媒体 | |
| JP3175760B2 (ja) | 動画像アンカー作成システム | |
| JP2005182098A (ja) | 合成画像を生成・表示する装置及び方法 | |
| JP2021043774A (ja) | 通知判定装置、通知判定方法及び通知判定プログラム | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| JP2000216990A (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
| US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor | |
| JP3216037B2 (ja) | パノラマ画像合成システム | |
| JP4154023B2 (ja) | 画像合成方法、画像合成装置、画像合成システム、及び記憶媒体 | |
| JPH0554189A (ja) | 画像情報処理装置 | |
| JP4560441B2 (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
| JPH0310384A (ja) | 移動物体認識回路 |