JP3074292B2 - テンプレートマッチング処理方法 - Google Patents
テンプレートマッチング処理方法Info
- Publication number
- JP3074292B2 JP3074292B2 JP08312517A JP31251796A JP3074292B2 JP 3074292 B2 JP3074292 B2 JP 3074292B2 JP 08312517 A JP08312517 A JP 08312517A JP 31251796 A JP31251796 A JP 31251796A JP 3074292 B2 JP3074292 B2 JP 3074292B2
- Authority
- JP
- Japan
- Prior art keywords
- cross
- correlation
- pixel
- correlation value
- template matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、画像処理に於ける、画
像間パターンマッチング処理方法に関するものである。
像間パターンマッチング処理方法に関するものである。
【０００２】
【従来の技術】近年、あらゆる分野で画像処理応用技術
が導入される中、得られた画像データを総合的に解析
し、高精度かつ多角的な特徴を抽出する処理手法が種々
試みられている。
が導入される中、得られた画像データを総合的に解析
し、高精度かつ多角的な特徴を抽出する処理手法が種々
試みられている。
【０００３】ＦＡの分野では、画像間の対応付けを求め
るパターンマッチング処理の用途が多く、特に、テンプ
レート画像とテクスチャー画像の類似度を走査、演算
し、対象物の位置を求めるテンプレートマッチング処理
は、物の位置決め、移動体の追跡、三次元形状計測等の
処理に用いられる、最も一般的な手法である。
るパターンマッチング処理の用途が多く、特に、テンプ
レート画像とテクスチャー画像の類似度を走査、演算
し、対象物の位置を求めるテンプレートマッチング処理
は、物の位置決め、移動体の追跡、三次元形状計測等の
処理に用いられる、最も一般的な手法である。
【０００４】ここで、テンプレートマッチング処理につ
いて説明する。図５に示す様に、求める対象物を含むテ
ンプレート画像データｇ（ｘ，ｙ）、テクスチャー画像
データｆ（ｘ，ｙ）とすると、正規化相互相関Ｒ（ｘ，
ｙ）は、画像データｇ（ｘ，ｙ）の中心座標を（ｋ，
ι）とすると、式にて計算される。この演算をテクス
チャ画像全体の画素に対して施し、正規化相互相関値が
最大となる画素位置を求める。
いて説明する。図５に示す様に、求める対象物を含むテ
ンプレート画像データｇ（ｘ，ｙ）、テクスチャー画像
データｆ（ｘ，ｙ）とすると、正規化相互相関Ｒ（ｘ，
ｙ）は、画像データｇ（ｘ，ｙ）の中心座標を（ｋ，
ι）とすると、式にて計算される。この演算をテクス
チャ画像全体の画素に対して施し、正規化相互相関値が
最大となる画素位置を求める。
【０００５】式で演算された正規化相互相関値の分布
を図６に示す。この結果、最も相関の高い位置を元画素
精度で求めることが出来る。
を図６に示す。この結果、最も相関の高い位置を元画素
精度で求めることが出来る。
【０００６】次に対象物の位置をサブピクセルの精度で
求める場合について説明する。先に示したテンプレート
画像データｇ（ｘ，ｙ）、テクスチャ画像データｆ
（ｘ，ｙ）に濃度補間処理を施し、サブピクセルオーダ
ーの濃淡画像データを作り、式を用いて同様の演算を
補間画素全体に対して行えば良い。ここで、図７を用い
て、濃度補間処理の一例を説明する。元画素画像データ
の位置をｕ，ｖ座標で表し、座標位置を（ｕ，ｖ）、
（ｕ，ｖ＋１）、（ｕ＋１，ｖ）、（ｕ＋１，ｖ＋１）
とし、濃度値を各々ｆ（ｕ，ｖ）、ｆ（ｕ，ｖ＋１）、
ｆ（ｕ＋１，ｖ）、ｆ（ｕ＋１，ｖ＋１）とし、濃度補
間後の（ｕ０，ｖ０）の位置の濃度をｆ（ｕ０，ｖ０）
とすると、濃度値ｆ（ｕ０，ｖ０）は式にて演算され
る。 ｆ（ｕ０，ｖ０）＝ｆ（ｕ，ｖ）（１−α）（１−β）＋ｆ（ｕ＋１，ｖ）α（ １−β）＋ｆ（ｕ，ｖ＋１）（１−α）β＋ｆ（ｕ＋１，ｖ＋１）αβ………
求める場合について説明する。先に示したテンプレート
画像データｇ（ｘ，ｙ）、テクスチャ画像データｆ
（ｘ，ｙ）に濃度補間処理を施し、サブピクセルオーダ
ーの濃淡画像データを作り、式を用いて同様の演算を
補間画素全体に対して行えば良い。ここで、図７を用い
て、濃度補間処理の一例を説明する。元画素画像データ
の位置をｕ，ｖ座標で表し、座標位置を（ｕ，ｖ）、
（ｕ，ｖ＋１）、（ｕ＋１，ｖ）、（ｕ＋１，ｖ＋１）
とし、濃度値を各々ｆ（ｕ，ｖ）、ｆ（ｕ，ｖ＋１）、
ｆ（ｕ＋１，ｖ）、ｆ（ｕ＋１，ｖ＋１）とし、濃度補
間後の（ｕ０，ｖ０）の位置の濃度をｆ（ｕ０，ｖ０）
とすると、濃度値ｆ（ｕ０，ｖ０）は式にて演算され
る。 ｆ（ｕ０，ｖ０）＝ｆ（ｕ，ｖ）（１−α）（１−β）＋ｆ（ｕ＋１，ｖ）α（ １−β）＋ｆ（ｕ，ｖ＋１）（１−α）β＋ｆ（ｕ＋１，ｖ＋１）αβ………
【０００７】α及びβは、元画像データ間を例えば各々
１０等分（１０×１０＝１００倍補間）して補間する場
合は、図８に示すように０．１、０．２〜１という様に
変化させ、各点の濃度値を求める。以上の結果、最も相
関の高い位置をサブピクセル精度で求めることが出来
る。図９に従来のサブピクセル精度での対応点を求める
ための処理フローの一例を示す。
１０等分（１０×１０＝１００倍補間）して補間する場
合は、図８に示すように０．１、０．２〜１という様に
変化させ、各点の濃度値を求める。以上の結果、最も相
関の高い位置をサブピクセル精度で求めることが出来
る。図９に従来のサブピクセル精度での対応点を求める
ための処理フローの一例を示す。
【０００８】
【発明が解決しようとする課題】以上説明した様に、テ
ンプレートマッチング処理で用いる固像データは多く、
サブピクセル精度で対応位置を求めようとした場合、元
画素のデータ量が、補間倍率（例えば、０．１ピクセル
精度では、１０×１０＝１００倍）により拡大される。
また、テクスチャ画像の全ての点に於いて、対応付け走
査を施すので、テンプレート画像パターンと最も良く一
致する場所を探し出すには、かなり長い演算時間を必要
とする問題が生じる。
ンプレートマッチング処理で用いる固像データは多く、
サブピクセル精度で対応位置を求めようとした場合、元
画素のデータ量が、補間倍率（例えば、０．１ピクセル
精度では、１０×１０＝１００倍）により拡大される。
また、テクスチャ画像の全ての点に於いて、対応付け走
査を施すので、テンプレート画像パターンと最も良く一
致する場所を探し出すには、かなり長い演算時間を必要
とする問題が生じる。
【０００９】これらの問題の解決策として、超高速動作
のＣＰＵの導入や複数ＭＰＵによる並列分散処理構成等
のハードウェア的対応が考えられるが、処理装置のコス
ト上昇及び大型化につながることになり、得策ではな
い。一方、ソフトウェア的な解決策としては、相互相関
演算を高速フーリェ変換を用いて行う方法や、相互相関
演算の部分和が、あるしきい値を超えた時点で、演算を
中断させ、演算効率を上げるＳＳＤＡ法（Ｓｅｑｕｅｎ
ｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ
Ａｌｇｏｒｉｔｈｍ）や、飛び越し走査で対応範囲を
絞り込み、次にその範囲内を全て走査する粗密２段階の
サーチ方法等が提案さているが、位置検出精度を上げる
には濃度補間倍率を上げる他はなく、それに共ない、画
像データも増大し、結局の所、演算時間が伸びてしまう
という問題が生じる。
のＣＰＵの導入や複数ＭＰＵによる並列分散処理構成等
のハードウェア的対応が考えられるが、処理装置のコス
ト上昇及び大型化につながることになり、得策ではな
い。一方、ソフトウェア的な解決策としては、相互相関
演算を高速フーリェ変換を用いて行う方法や、相互相関
演算の部分和が、あるしきい値を超えた時点で、演算を
中断させ、演算効率を上げるＳＳＤＡ法（Ｓｅｑｕｅｎ
ｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ
Ａｌｇｏｒｉｔｈｍ）や、飛び越し走査で対応範囲を
絞り込み、次にその範囲内を全て走査する粗密２段階の
サーチ方法等が提案さているが、位置検出精度を上げる
には濃度補間倍率を上げる他はなく、それに共ない、画
像データも増大し、結局の所、演算時間が伸びてしまう
という問題が生じる。
【００１０】本発明は上記実情に鑑みなされたもので、
画像間の対応位霞を求めるテンプレートマッチング処理
に於いて、濃度補間処理をせずに、極めて短時間でサブ
ピクセル精度の対応位置を求めるテンプレートマッチン
グ処理方法を提供することを目的とする。
画像間の対応位霞を求めるテンプレートマッチング処理
に於いて、濃度補間処理をせずに、極めて短時間でサブ
ピクセル精度の対応位置を求めるテンプレートマッチン
グ処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】テレビカメラで撮像され
た濃淡画像間の対応付け走査により求められた、元画素
データによる最大相互相関値と、当該最大相互相関値価
素位置の周囲の画素位置の相互相関値の差、或いは、傾
きを利用して、サブピクセル精度の対応位置を求める様
にしたものである。
た濃淡画像間の対応付け走査により求められた、元画素
データによる最大相互相関値と、当該最大相互相関値価
素位置の周囲の画素位置の相互相関値の差、或いは、傾
きを利用して、サブピクセル精度の対応位置を求める様
にしたものである。
【００１２】
【作用】元画素データによる正規化相互相関演算で求め
た、最大相互相関値と、当該最大相互相関値画素位置の
周囲の画素位置の相互相関値の差、或いは、傾きを利用
して、サブピクセル精度の対応点を求めることが出来る
ので、従来の様に濃度補間処理を施した大きな画像デー
タに対して、テンプレートマッチング処理を行う必要が
なくなる。
た、最大相互相関値と、当該最大相互相関値画素位置の
周囲の画素位置の相互相関値の差、或いは、傾きを利用
して、サブピクセル精度の対応点を求めることが出来る
ので、従来の様に濃度補間処理を施した大きな画像デー
タに対して、テンプレートマッチング処理を行う必要が
なくなる。
【００１３】
【実施例】以下、本発明の実施例について、図面を用い
て説明する。図１は、本実施例のテンプレートマッチン
グ処理フローで、本処理フローの順序に従って説明す
る。まず、テレビカメラからのアナログ映像信号を取り
込み、順次Ａ／Ｄ変換する。次にデジタイズされた取り
込み画像データ上で、図５に示すように、対象物を含む
テンプレート画像データｇ（ｘ，ｙ）と、テクスチャ画
像ｆ（ｘ，ｙ）の領域を設定する。次に正規化相互相関
演算について説明すると、画像データｇ（ｘ，ｙ）の中
心座標を（ｋ，ι）とすると、正規化相互相関Ｒ（ｘ，
ｙ）は、式にて計算される。この演算をテクスチャ画
像全体の画素に対して施し、正規化相互相関値が最大と
なる画素位置を求める。式で演算された正規化相互相
関値の三次元分布モデルを図２に示す。ｘ軸、ｙ軸は、
画素の座標軸、ｚ軸は、各画素位置での相互相関値を表
す。図中Ｗ１〜Ｗ９が各画素位置での相互相関値であ
り、高低差で相関の度合を表している。相互相関値の最
も高い位置はＷ２の値を持つ画素であり、この画素内に
サブピクセル精度の対応点が存在することになる。
て説明する。図１は、本実施例のテンプレートマッチン
グ処理フローで、本処理フローの順序に従って説明す
る。まず、テレビカメラからのアナログ映像信号を取り
込み、順次Ａ／Ｄ変換する。次にデジタイズされた取り
込み画像データ上で、図５に示すように、対象物を含む
テンプレート画像データｇ（ｘ，ｙ）と、テクスチャ画
像ｆ（ｘ，ｙ）の領域を設定する。次に正規化相互相関
演算について説明すると、画像データｇ（ｘ，ｙ）の中
心座標を（ｋ，ι）とすると、正規化相互相関Ｒ（ｘ，
ｙ）は、式にて計算される。この演算をテクスチャ画
像全体の画素に対して施し、正規化相互相関値が最大と
なる画素位置を求める。式で演算された正規化相互相
関値の三次元分布モデルを図２に示す。ｘ軸、ｙ軸は、
画素の座標軸、ｚ軸は、各画素位置での相互相関値を表
す。図中Ｗ１〜Ｗ９が各画素位置での相互相関値であ
り、高低差で相関の度合を表している。相互相関値の最
も高い位置はＷ２の値を持つ画素であり、この画素内に
サブピクセル精度の対応点が存在することになる。
【００１４】次にサブピクセル精度の対応点を求める方
法について説明する。図３は、図２の相互相関値を、最
大相互相関値Ｗ２を持つ画素の囲りのｘ軸、ｙ軸方向４
点に集めたモデル図で、この状態からサブピクセル精度
の対応点を求める。まず、ｘ軸方向に於けるサブピクセ
ル精度の対応点を求める方法について、図４を用いて説
明する。Ｗ２は最大相互相関値、Ｗ１、Ｗ３は両隣の画
素の相互相関値であり、θ１はＷ１とＷ２を結ぶ線分
と、Ｗ１よりＯＷ２に垂直に下ろした線分とのなす角、
θ２はＷ３とＷ２を結ぶ線分とＷ３よりＯＷ２に垂直に
下ろした線分とのなす角である。サブピクセル精度の対
応点は、θ１＝θ２が成り立つ位置にＯＷ２があること
であるから（図中点線で示す）、式で求められる。ｔ
ａｎθ１＝ｔａｎθ２ より
法について説明する。図３は、図２の相互相関値を、最
大相互相関値Ｗ２を持つ画素の囲りのｘ軸、ｙ軸方向４
点に集めたモデル図で、この状態からサブピクセル精度
の対応点を求める。まず、ｘ軸方向に於けるサブピクセ
ル精度の対応点を求める方法について、図４を用いて説
明する。Ｗ２は最大相互相関値、Ｗ１、Ｗ３は両隣の画
素の相互相関値であり、θ１はＷ１とＷ２を結ぶ線分
と、Ｗ１よりＯＷ２に垂直に下ろした線分とのなす角、
θ２はＷ３とＷ２を結ぶ線分とＷ３よりＯＷ２に垂直に
下ろした線分とのなす角である。サブピクセル精度の対
応点は、θ１＝θ２が成り立つ位置にＯＷ２があること
であるから（図中点線で示す）、式で求められる。ｔ
ａｎθ１＝ｔａｎθ２ より
【００１５】同様にｙ軸方向に於けるサブピクセル精度
の対応点は、Ｗ２、Ｗ４、Ｗ５を用いて、式で求めら
れる。
の対応点は、Ｗ２、Ｗ４、Ｗ５を用いて、式で求めら
れる。
【００１６】以上の結果から、サブピクセル精度の対応
点は画素中心から（Διｘ，Διｙ）だけずれた位置に
存在することが求められる。仮に元画素の最大相互相関
値Ｗ２と、当該最大相互相関値画素位置の周囲の画素位
置の相互相関値Ｗ１、Ｗ３、Ｗ４、Ｗ５のいずれかとの
差が微小（ある定数以下、或いは、零）である場合は、
量子化誤差等を考慮して、最大相互相関値画素及び、最
大相互相関値との差が微小な相互相関値を持つ画素を含
む領域の周囲の画素位置の相互相関値を用いて同様の計
算を実施すれば良い。また、計算式から明らかな様に、
位置検出精度は、最大相互相関値Ｗ２と、当該最大相互
相関値画素位置の周囲の画素位置の相互相関値Ｗ１、Ｗ
３、Ｗ４、Ｗ５との差、或いは、傾きがあれば、量子化
誤差等を考慮に入れなければ、いくらでも高めることが
可能である。
点は画素中心から（Διｘ，Διｙ）だけずれた位置に
存在することが求められる。仮に元画素の最大相互相関
値Ｗ２と、当該最大相互相関値画素位置の周囲の画素位
置の相互相関値Ｗ１、Ｗ３、Ｗ４、Ｗ５のいずれかとの
差が微小（ある定数以下、或いは、零）である場合は、
量子化誤差等を考慮して、最大相互相関値画素及び、最
大相互相関値との差が微小な相互相関値を持つ画素を含
む領域の周囲の画素位置の相互相関値を用いて同様の計
算を実施すれば良い。また、計算式から明らかな様に、
位置検出精度は、最大相互相関値Ｗ２と、当該最大相互
相関値画素位置の周囲の画素位置の相互相関値Ｗ１、Ｗ
３、Ｗ４、Ｗ５との差、或いは、傾きがあれば、量子化
誤差等を考慮に入れなければ、いくらでも高めることが
可能である。
【００１７】
【発明の効果】上述した様に本発明は、元画素のデータ
より求めた相互相関値を利用するので、従来の様に濃度
補間処理を施した、大きな画像データを扱う必要がな
く、極めて高速かつ高精度な両像間のマッチングを低コ
ストでコンパクトな装置で実現出来るという大きな効果
を有する。
より求めた相互相関値を利用するので、従来の様に濃度
補間処理を施した、大きな画像データを扱う必要がな
く、極めて高速かつ高精度な両像間のマッチングを低コ
ストでコンパクトな装置で実現出来るという大きな効果
を有する。
【図１】実施例の処理フロー
【図２】相互相関の分布の３次元モデル図
【図３】サブピクセル精度の対応位置を求めるためのモ
デル図
デル図
【図４】ｘ軸方向の対応位置を求める方法を説明するた
めの図
めの図
【図５】相互相関を説明するための図
【図６】相互相関の分布を示す図
【図７】濃度補間を説明するための図
【図８】濃度補間データを説明するための図
【図９】従来のサブピクセル精度の対応点を求めるため
の処理フロー
の処理フロー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 赤井 光俊 東京都千代田区岩本町３丁目11番５号 大同電機工業株式会社内 審査官 安田 太 (56)参考文献 特開 昭64−82279（ＪＰ，Ａ) 特開 平７−43309（ＪＰ，Ａ) 特開 平４−194702（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00
Claims (1)
- 【請求項１】テレビカメラからのアナログ映像信号をデ
ジタイズし、演算素子により計測、解析処理を行う画像
処理装置の前記、計測、解析処理の内、画像間の対応付
走査を行うための相互相関演算と、相互相関演算結果の
最大相互相関値から対応位置を求めるテンプレートマッ
チング処理に於いて、前記、相互相関演算により求めら
れた、元画素データによる最大相互相関値と、当該最大
相互相関値画素位置の周辺画素の相互相関値との差、成
いは傾きを利用して、サブピクセル精度の対応位置を求
めることを特徴とするテンプレートマッチング処理方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08312517A JP3074292B2 (ja) | 1996-10-18 | 1996-10-18 | テンプレートマッチング処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08312517A JP3074292B2 (ja) | 1996-10-18 | 1996-10-18 | テンプレートマッチング処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10124666A JPH10124666A (ja) | 1998-05-15 |
| JP3074292B2 true JP3074292B2 (ja) | 2000-08-07 |
Family
ID=18030185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08312517A Expired - Lifetime JP3074292B2 (ja) | 1996-10-18 | 1996-10-18 | テンプレートマッチング処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3074292B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011188376A (ja) * | 2010-03-10 | 2011-09-22 | Toshiba Corp | 画像処理装置と画像処理方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7082225B2 (en) | 2001-08-28 | 2006-07-25 | Nippon Telegraph And Telephone Corporation | Two dimensional image recording and reproducing scheme using similarity distribution |
| WO2004063991A1 (ja) * | 2003-01-14 | 2004-07-29 | The Circle For The Promotion Of Science And Engineering | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム |
| JP4550110B2 (ja) * | 2005-03-03 | 2010-09-22 | パイオニア株式会社 | テンプレートマッチング処理装置及び方法、ホログラム再生装置及び方法、並びにコンピュータプログラム |
-
1996
- 1996-10-18 JP JP08312517A patent/JP3074292B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011188376A (ja) * | 2010-03-10 | 2011-09-22 | Toshiba Corp | 画像処理装置と画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10124666A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6801653B1 (en) | Information processing apparatus and method as well as medium | |
| US6690842B1 (en) | Apparatus and method for detection and sub-pixel location of edges in a digital image | |
| US8098963B2 (en) | Resolution conversion apparatus, method and program | |
| CN111462198B (zh) | 一种尺度、旋转和辐射不变性的多模态影像配准方法 | |
| JP3054682B2 (ja) | 画像処理方法 | |
| US4985765A (en) | Method and apparatus for picture motion measurement whereby two pictures are correlated as a function of selective displacement | |
| JP3074292B2 (ja) | テンプレートマッチング処理方法 | |
| US7057614B2 (en) | Information display system and portable information terminal | |
| KR100640761B1 (ko) | 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법 | |
| JPH0875454A (ja) | 測距装置 | |
| JPH06160047A (ja) | パターンマッチング方法 | |
| JPH0695340B2 (ja) | 画像マッチング方法 | |
| JPH07168941A (ja) | 画像処理装置 | |
| CN109767390A (zh) | 一种分块并行的数字图像消像旋方法 | |
| JP3516117B2 (ja) | 画像処理方法およびその装置 | |
| JP2703454B2 (ja) | 画像のパターンマッチング方法 | |
| JPH09330403A (ja) | テンプレートマッチング方法 | |
| JPH0410074A (ja) | 画像パターン傾き検出方法 | |
| JP3080097B2 (ja) | 平行線図形抽出方法 | |
| CN117729444A (zh) | 图像质量提升方法、装置及光学*** | |
| JP3747595B2 (ja) | 円弧位置推定方法 | |
| CN111209835A (zh) | 一种改进的surf移动机器人图像匹配方法 | |
| JPH07311814A (ja) | 文書画像傾き角推定方法 | |
| JP2001033224A (ja) | ３次元画像生成の装置および方法 | |
| JPH08279048A (ja) | 画像探索装置 |