JP2006018389A - 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 - Google Patents
画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 Download PDFInfo
- Publication number
- JP2006018389A JP2006018389A JP2004193184A JP2004193184A JP2006018389A JP 2006018389 A JP2006018389 A JP 2006018389A JP 2004193184 A JP2004193184 A JP 2004193184A JP 2004193184 A JP2004193184 A JP 2004193184A JP 2006018389 A JP2006018389 A JP 2006018389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- difference
- corresponding point
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】複数の物体が混在する領域、特徴の少ない領域、および同じような模様が繰り返し存在する領域においても精度の高い対応点抽出を可能とする画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供する。
【解決手段】テンプレート・マッチング法において、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値との差を変換する関数と該画素値の差を変換する関数によって変換された各画素における値を用いて類似度を算出する関数により構成された類似度評価関数を用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御する。
【選択図】 図1
【解決手段】テンプレート・マッチング法において、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値との差を変換する関数と該画素値の差を変換する関数によって変換された各画素における値を用いて類似度を算出する関数により構成された類似度評価関数を用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御する。
【選択図】 図1
Description
本発明は、異なる視点、および、時系列の複数の画像間の対応を求める画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体に関するものである。
異なる視点位置、あるいは、異なる時点で撮影された複数の画像間の対応点を求め、その対応点の位置関係から、奥行き情報や動き情報を求める手法の一つとしてテンプレート・マッチング法が知られている。このテンプレート・マッチング法は、複数の画像の一方を基準画像、他方を探索画像として、基準画像中の対応を求める点を囲む小領域をテンプレートとし、そのテンプレートと探索画像中の小領域の類似度が高い点を対応点とする手法である。
このテンプレート・マッチング法における類似度を評価する関数は従来から種々提案されている。代表的な例として、(1)式を用いた画素値の差の絶対値和を評価量とする関数がある。
(1)式においてT(i,j)は基準画像中のテンプレート内の画素の画素値を、I(i,j)はテンプレートと比較される探索画像中の小領域内の画素の画素値を表しており、E(x,y)は(x,y)だけ移動した探索画像中の位置における画素値の差の絶対値和を示している。
また、(2)式を用いた相関係数を評価量とする関数がある。
(2)式において、T(i,j)、I(i,j)は(1)式と同様である。C(x,y)は探索画像中で(x,y)だけ移動した位置における相関係数を示している。(1)式の評価関数を用いるとE(x,y)が最小となる点、(2)式の評価関数を用いるとC(x,y)が最大となる点が対応点となる。
このほかに、(3)式のようにテンプレート画像内全体で、テンプレート画像内の各画素の画素値とテンプレートと比較される探索画像中の小領域内の各画素の画素値の差の絶対値があるしきい値ε未満の画素数を評価量とする関数がある。
(3)式においてはN(x,y)が最大となる点が対応点となる。
特開平9−49714号公報
しかしながら、上述の評価関数を用いるテンプレート・マッチング法においては、テンプレート内に異なる奥行きあるいは異なる動きをもつ物体が混在する物体の境界領域、一方の画像に存在しても他方の画像に存在しないオクルージョン領域、画像に特徴の少ない領域、および画像中に同じような特徴が繰り返し存在する領域において抽出精度が劣化する問題が依然として存在する。
(1)式、(2)式の評価関数を使用する場合、特徴の少ない領域、同じような特徴が繰り返し存在する領域においても比較的正確な対応点を抽出することが可能であるが、複数の物体が混在する領域およびオクルージョン領域での抽出精度の劣化などの問題がある。特に(1)式の評価関数を用いると画素値の変化が大きい領域の類似度がテンプレート全体の類似度に大きく影響するため、複数の物体が混在する領域において物体境界がずれるバウンダリ・オーバーリーチの発生や、画像中のノイズの大きさにより抽出精度が大きく影響されてしまうという問題がある。(2)式の評価関数ではオクルージョン領域において抽出精度が劣化する、また、計算量が(1)式、(3)式に比べて多いなどの問題がある。
(3)式の評価関数を用いると、画素値の差の絶対値があるしきい値以下の画素数により類似度を評価するため物体境界部、オクルージョン領域においても比較的正確な対応点抽出が可能であるが、特徴の少ない画像領域や同じような模様が繰り返し存在する領域においては誤対応が多く発生する傾向がある。また、画素判定のしきい値以上の画像間での輝度変動が生じた場合に対応がとれないなどの問題も生じる。また、画素判定のためのしきい値の設定により対応点の抽出精度が大きく変化するため最適なしきい値の設定が必要である。
本発明は従来のテンプレート・マッチング法における問題を改善するために、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値との差を変換する関数と該画素値の差を変換する関数によって変換された各画素における値を用いて類似度を算出する関数により構成された類似度評価関数を用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御することにより、複数の物体が混在する領域、特徴の少ない領域および同じような模様が繰り返し存在する領域においても精度の高い対応点抽出を可能とする画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供することを目的とする。
この発明は下記の構成を備えることにより上記課題を解決できるものである。
(1)複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出方法において、前記類似度を評価する関数が、前記基準画像の小領域内の画素の画素値と前記探索画像の小領域内の画素の画素値との差を変換する関数と、該画素値の差を変換する関数によって変換された値を用いて類似度を算出する関数から構成され、かつ、前記画素値の差を変換する関数が前記基準画像の小領域の特徴に応じて変更されることを特徴とする画像対応点抽出方法。
(2)前記画素値の差を変換する関数が不連続な関数であることを特徴とする前記(1)に記載の画像対応点抽出方法。
(3)前記画素値の差を変換する関数が非線形な関数であることを特徴とする前記(1)に記載の画像対応点抽出方法。
(4)前記基準画像の小領域の特徴が小領域内の画素の画素値の分散であることを特徴とする前記(1)から(3)のいずれか一つに記載の画像対応点抽出方法。
(5)前記基準画像の小領域の特徴が小領域内の画素の画素値の微分値を演算した値であることを特徴とする前記(1)から(3)のいずれか一つに記載の画像対応点抽出方法。
(6)複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出装置において、複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像のうちのひとつを基準画像とし、該基準画像中の注目画素を含む小領域をテンプレート画像として作成するテンプレート画像作成手段と、前記テンプレート画像作成手段により作成されたテンプレート画像の画像特徴を演算するテンプレート画像特徴演算手段と、前記テンプレート画像内の画素の画素値と探索画像内の画素の画素値の差を演算する画素値差演算手段と、該画素値差演算手段からの出力を変換する画素値差変換手段と、該画素値差変換手段の出力に基づいて類似度を算出する類似度演算手段と、該類似度演算手段で算出された類似度に基づいて基準画像中の注目画素に対する探索画像の対応点を抽出する対応点抽出手段とを有し、前記テンプレート画像特徴演算手段の出力に基づいて、前記画素値差変換手段を制御する画素値差変換制御手段と、を備えたことを特徴とする画像対応点抽出装置。
(7)前記画素値差変換手段が前記画素値差演算手段からの出力を不連続関数に基づいて変換することを特徴とする前記(6)に記載の画像対応点抽出装置。
(8)前記画素値差変換手段が前記画素値差演算手段からの出力を非線形関数に基づいて変換することを特徴とする前記(6)に記載の画像対応点抽出装置。
(9)前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の分散を演算することを特徴とする前記(6)から(8)のいずれか一つに記載の画像対応点抽出装置。
(10)前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の微分値を演算することを特徴とする前記(6)から(8)のいずれか一つに記載の画像対応点抽出装置。
(11)前記(1)から(5)のいずれか一つに記載の画像対応点抽出方法を実行するプログラムを外部読み出し可能に記憶する記憶媒体。
本発明によれば、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値の差を変換する関数と該画素値の差を変換する関数によって変換された各画素における変換値を用いて類似度を算出する関数により構成された類似度の評価関数に用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御することにより、バウンダリ・オーバーリーチ、特徴の少ない領域、および同じような模様が繰り返し存在する領域においても比較的少ない計算量で精度の高い対応点抽出が可能な画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供できる。
以下、本発明の各実施の形態を図面に基づき詳細に説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態を図1,図2を参照して説明する。
まず、本発明の第1の実施の形態を図1,図2を参照して説明する。
図1は、本実施の形態における画像対応点抽出装置の構成を示すブロック図である。同図において、101は視点の異なる位置に配置された複数台のカメラ、または、時系列に撮像を行うカメラなどの画像入力部である。102は基準画像を格納する基準画像メモリ、103は探索される画像を格納する探索画像メモリである。104は基準画像からテンプレートを作成するテンプレート画像作成部、105はテンプレート画像の画像特徴を判定するテンプレート画像特徴判定部である。類似度評価関数演算部106はテンプレート画像と探索画像の各画素の差分を演算する差分演算部107、差分を変換する関数を演算する差分変換演算部108、および差分変換関数の演算結果から類似度を算出する類似度演算部109から構成される。110は類似度評価関数演算部の結果から類似度が最も高くなる点を対応点と決定する対応点決定部である。
図1の装置の動作について次に説明する。各部の演算処理に関しての詳細は後述する。まず、画像入力部101から視点の異なる位置で撮影された複数枚の画像、または、異なる時刻に撮影された複数枚の画像データが入力される。その入力された画像データのうち任意の基準となる画像が基準画像メモリ102に、他の対応点探索を行う画像が探索画像メモリ103に格納される。テンプレート画像作成部104は基準画像メモリ102内の画像データから任意の位置、サイズの領域を抽出することでテンプレート画像を作成し、テンプレート画像特徴判定部105、および、類似度評価関数演算部106にテンプレート画像データを供給する。テンプレート画像特徴判定部105では供給されたテンプレート画像データの画像特徴を演算し、演算結果に応じた信号を差分変換演算部108に出力する。
類似度評価関数演算部106を構成する差分演算部107はテンプレート画像と探索画像の各画素の画素値の差分を演算し、差分変換演算部108に結果を出力する。差分変換演算部108はテンプレート画像特徴判定部105からの信号に応じて差分変換関数の変更を行い、差分演算部107から出力された差分をテンプレート画像特徴に応じて変更された差分変換関数に基づいて変換し、変換結果を類似度演算部109に供給する。類似度演算部では差分変換演算部108から供給される各画素についてのテンプレート画像と探索画像の探索領域内の画素値の差分変換値をもとにテンプレート画像と探索画像の類似度評価値を演算し、その結果を対応点決定部110に供給する。対応点決定部110は供給された探索領域内の各点の類似度評価値から、類似度評価値が最大となる点を対応点として決定し、対応点を出力する。
次に本実施の形態における画像対応点抽出方法の処理手順を図2のフローチャートを用いて説明する。
ステップS201で基準画像と探索画像が入力され、ステップS202で基準画像中の対応点を抽出する画素を含む小領域をテンプレート画像として抽出する。テンプレート形状およびサイズは画像特徴、対応点抽出精度に応じて任意に設定してよい。ステップS203では、ステップS202で作成されたテンプレート画像の画像特徴を演算する。画像特徴として本実施の形態では(4)式を用いて計算されるテンプレート画像内の画素値の分散を用いる。
ここで、σ2はテンプレート画像内の画素値の分散を、T(i,j)はテンプレート画像内の画素値を、
はテンプレート画像内の画素値の平均値を、Tnはテンプレート画像内の画素数を示している。分散σ2の値が小さければテンプレート画像が低特徴であり、大きければテンプレート画像内に強い特徴があると判断できるため、この分散の値によりテンプレート画像の画像特徴を判定することが可能である。ステップS204ではテンプレート画像と探索画像の各画素ごとの差分を変換する差分変換関数をステップS203で判定されたテンプレート画像特徴により変更する。差分変換関数には本実施の形態では図3に示されるような不連続な関数を用いることとする。この関数を用いるとテンプレート画像と探索画像の画素値の差分はある所定のしきい値diffthで不連続的に変換され、diffth未満では差分がそのまま変換値となり、しきい値diffth以上では変換値は一定値(図3中Pth)に変換される。即ち、この関数を用いると差分がしきい値diffth以上の場合は類似していない画素として変換値を一定の値にし、しきい値diffth未満の場合は類似している画素としてその差分を類似度へ寄与させることで類似している画素の類似度への寄与を強めることができる。このような変換を行うことにより、テンプレート内に異なる奥行き、あるいは、動きをもつ物体が混在する領域においても正確な対応点抽出が可能であり、類似している画素についてはその差分が類似度に寄与しているため、特徴の少ない領域または同じような模様が繰り返し発生する領域でも正確な対応点抽出が可能である。
はテンプレート画像内の画素値の平均値を、Tnはテンプレート画像内の画素数を示している。分散σ2の値が小さければテンプレート画像が低特徴であり、大きければテンプレート画像内に強い特徴があると判断できるため、この分散の値によりテンプレート画像の画像特徴を判定することが可能である。ステップS204ではテンプレート画像と探索画像の各画素ごとの差分を変換する差分変換関数をステップS203で判定されたテンプレート画像特徴により変更する。差分変換関数には本実施の形態では図3に示されるような不連続な関数を用いることとする。この関数を用いるとテンプレート画像と探索画像の画素値の差分はある所定のしきい値diffthで不連続的に変換され、diffth未満では差分がそのまま変換値となり、しきい値diffth以上では変換値は一定値(図3中Pth)に変換される。即ち、この関数を用いると差分がしきい値diffth以上の場合は類似していない画素として変換値を一定の値にし、しきい値diffth未満の場合は類似している画素としてその差分を類似度へ寄与させることで類似している画素の類似度への寄与を強めることができる。このような変換を行うことにより、テンプレート内に異なる奥行き、あるいは、動きをもつ物体が混在する領域においても正確な対応点抽出が可能であり、類似している画素についてはその差分が類似度に寄与しているため、特徴の少ない領域または同じような模様が繰り返し発生する領域でも正確な対応点抽出が可能である。
また、ステップS204ではステップS203で判定された画像特徴により差分変換関数が変更される。本実施の形態ではステップS203で演算されたテンプレート内の画素値の分散の値によりしきい値diffth以上の差分に対する変換値Pthを変更する。分散が小さく画像が低特徴であると判定された領域では、しきい値diffth以上の差分に対する変換値Pthをしきい値diffthと同値とする。このような変換を行うことにより、ノイズが存在するテクスチャーの弱い領域でも、しきい値diffth以上の大きさのノイズの類似度への寄与を一定にすることでノイズによる誤対応を抑制でき正確な対応点抽出が可能となる。分散が大きく画像特徴が強いと判定された領域では、しきい値diffth以上の差分に対する変換値Pthを最大値Pmaxで一定とする。この変換により、テンプレート内で類似している画素数が類似度に対して大きく寄与するため物体の境界部においても正確な対応点抽出が可能である。このようにテンプレート画像の画像特徴に応じて変換関数を変更することで画像領域に適した類似度評価値演算を行うことができる。
ステップS205ではテンプレート画像と探索画像の各画素について画素値の差分の演算を行う。ステップS206では、ステップS204で変更された差分変換関数を用いてステップS205で演算された差分の変換を行う。
ステップS207ではステップS206で演算された各画素の差分変換値をもとにテンプレート画像について類似度を算出する。本実施の形態では類似度Sの算出に次式を用いる。
ここで、P(i,j)はテンプレート画像と探索画像の各画素の差分の変換値である。本実施形態では、各画素についての単純な和を計算しているが、テンプレート画像領域に応じて画素ごとに重みづけをした加重和を用いてもよい。この類似度評価関数を用いた場合、最大の類似度は1、最小の類似度は0であり、テンプレート画像と探索画像が類似しているほどその値は高くなる。類似度の演算結果は探索画像中の探索範囲内の各点の座標と共に保持される。
ステップS208では、探索画像中の探索範囲内全ての点についてステップS205〜S207の処理が行われたか否かを判定し、処理が完了していなければステップS205に戻り探索範囲内の次の点に関してステップS205〜S207の処理を繰り返す。完了した場合、ステップS209において類似度が最大となる探索画像中の点を対応点と決定する。
上記説明したようにテンプレート画像と探索画像の各画素の差分を不連続な関数で変換し、その変換値をもとに類似度を評価することで類似している画素と類似していない画素とで類似度への寄与を変更することができ、なおかつ、テンプレート画像の画像特徴に応じて差分の変換関数を変更することで類似している画素と類似していない画素それぞれの画像領域に適した類似度への寄与を得ることができるため、特徴の少ない領域、同じような模様が繰り返す領域、および、異なる奥行きあるいは異なる動きをもつ複数の物体が混在する領域においても正確な対応点抽出が可能である。
(第2の実施の形態)
次に、本発明の第2の実施の形態について図1および図2を用いて説明する。本実施形態における画像対応点抽出装置の構成および画像対応点抽出方法の処理手順は第1の実施の形態と同様であるが、装置を構成する各部分および各処理手順の処理内容が異なる。第1の実施の形態と同一の装置構成部分および処理手順については説明を省略する。
次に、本発明の第2の実施の形態について図1および図2を用いて説明する。本実施形態における画像対応点抽出装置の構成および画像対応点抽出方法の処理手順は第1の実施の形態と同様であるが、装置を構成する各部分および各処理手順の処理内容が異なる。第1の実施の形態と同一の装置構成部分および処理手順については説明を省略する。
本実施の形態における装置構成は図1に示すように、画像入力101、基準画像メモリ102、探索画像メモリ103、テンプレート画像作成部104、テンプレート画像特徴判定部105、類似度評価関数演算部106、および対応点決定部110から構成される。類似度評価関数演算部106は、差分演算部107、差分変換演算部108、類似度演算部109の3つの部分から構成される。本実施の形態における装置と第1の実施の形態における装置の相違はテンプレート画像特徴判定部105と差分変換演算部108の処理内容であり、処理内容については後述する。
本実施の形態における画像対応点抽出方法の処理手順を図2に従って説明する。
ステップS201で基準画像と探索画像が入力され、ステップS202で基準画像中からテンプレート画像が作成される。ステップS203では、ステップS202で作成されたテンプレート画像の画像特徴を演算する。本実施の形態においては第1の実施の形態と異なり、テンプレート画像内の画素値の微分値の2乗和D2を画像特徴として演算する。
ここでd(i,j)は座標(i,j)の画素値の微分値を示しており、1次微分フィルターを用いて計算される。分散と同様、D2の値が小さければテンプレート画像が低特徴であり、大きければテンプレート画像内に強い特徴があると判断でき、また、微分値を用いることで画像の特徴が強調されるため、画像特徴を高感度で判定することが可能である。本実施の形態では、D2の値が小さい場合は各画素の微分値が小さくかつ画素値が変化する位置が少ないとして画像のテクスチャーの弱い領域であり、D2の値が大きい場合は各画素の微分値が大きくかつ画素値が変化する位置が多いとして画像のテクスチャーが細かく強い領域であり、D2の値がその中間である場合は物体の輪郭部など画像領域中の一部の微分値が高いとして複数の物体が混在している領域であるとテンプレート画像領域を判定する。
ステップS203の結果を基にステップS204ではテンプレート画像の画像領域特徴に応じて、テンプレート画像と探索画像の差分を変換する関数を変更する。本実施の形態においては差分の変換演算に図4に示す関数を用いる。この関数は第1の実施の形態と同様、ある所定のしきい値diffth未満では差分はそのまま変換値となり、しきい値diffth以上では一定値(図4中Pth)に変換される。本実施の形態における第1の実施の形態との相違はステップS203におけるテンプレート画像の画像特徴の判定結果に応じてしきい値diffthが変更されることである。
ステップS203においてテンプレート画像がテクスチャーの弱い領域であると判定された場合には、テンプレート画像と探索画像の画素値の差分は所定のしきい値diffth未満では差分がそのまま変換値となり、diffth以上では変換値Pthはdiffthと同値で一定となる。このような変換を行うことにより、ノイズが存在するテクスチャーの弱い領域でも、しきい値diffth以上の大きさのノイズの類似度への寄与を一定にすることでノイズによる誤対応を抑制でき精度の高い対応点抽出が可能となる。テクスチャーが細かく強い領域であると判定された場合はしきい値diffthを高く設定する。このような領域ではテンプレート画像と探索画像の間で幾何学変化が微小でも発生した場合に画素値の差分が大きくなってしまうため、安定した対応点抽出を行うには差分を考慮する範囲を広くくしなければならなく、しきい値diffthを高く設定し、画素値の差分がそのまま変換値となる範囲を広くしている。
しきい値diffth以上の差分の変換値Pthはdiffthと同値である。複数の物体が混在している領域であると判定された場合は、しきい値diffth以上の差分に対する変換値PthをPmaxで一定とする。この変換により、テンプレート内で類似している画素数が類似度に対して大きく寄与するため物体の境界部においても正確な対応点抽出が可能である。
ステップS205ではテンプレート画像と探索画像の各画素について画素値の差分を演算を行い、ステップS206では、ステップS204で変更された差分変換関数を用いてステップS205で演算された差分の変換を行う。ステップS207ではステップS206で演算された各画素の差分変換値をもとに第1の実施の形態と同様な演算でテンプレート画像について類似度を算出し、探索画像中の探索範囲内の各点の座標と類似度を保持する。
ステップS208では、探索画像中の探索範囲内全ての点についてステップS205〜S207の処理が行われたか否かを判定し、処理が完了していなければステップS205に戻り探索範囲内の次の点に関してステップS205〜S207の処理を繰り返す。完了した場合、ステップS209において類似度が最大となる探索画像中の点を対応点と決定する。
上記説明したように本実施の形態では、差分を一定値に変換するその値に加え、差分考慮する範囲を設定するしきい値を画像に応じて変更することでより安定、かつ、精度の高い対応点抽出が可能である。また、テンプレート画像の画像特徴を微分値の2乗和で判定しているため画像特徴を高感度で判定でき、画像領域に適した類似度演算を行うことができる。
上記説明した実施の形態では、テンプレート画像と探索画像の各画素の差分を用いているが、画素値の2乗差などを用いても差し支えない。
また、上記説明した実施の形態では、画素値の差の変換演算に不連続関数を適用しているが、上述の関数と同様な効果を期待できる急峻に変化する連続な非線形関数を適用してもよい。また、画素値の差の変換演算を一つの関数の演算で行っているが、複数の関数の組み合わせによる変換演算を適用してもよい。また、画素値の差を関数により変換しているが、画素値の差と変換値の対応を示すルックアップ・テーブルを用いて変換を行ってもよい。
また、上記説明した実施の形態では、テンプレート画像領域の特徴の判定によりその領域ごとに画素値の差の変換関数を変更しているが、テンプレート画像の画像特徴量に対し連続的に変換関数を変更してもよい。
また、本発明は、上記説明した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。
この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上記説明した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって、上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
101 画像入力部
102 基準画像メモリ
103 探索画像メモリ
104 テンプレート画像作成部
105 テンプレート画像領域特徴判定部
106 類似度評価関数演算部
107 差分演算部
108 差分変換演算部
109 類似度演算部
110 対応点決定部
102 基準画像メモリ
103 探索画像メモリ
104 テンプレート画像作成部
105 テンプレート画像領域特徴判定部
106 類似度評価関数演算部
107 差分演算部
108 差分変換演算部
109 類似度演算部
110 対応点決定部
Claims (11)
- 複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出方法において、
前記類似度を評価する関数が、前記基準画像の小領域内の画素の画素値と前記探索画像の小領域内の画素の画素値との差を変換する関数と、該画素値の差を変換する関数によって変換された値を用いて類似度を算出する関数から構成され、かつ、
前記画素値の差を変換する関数が前記基準画像の小領域の特徴に応じて変更されることを特徴とする画像対応点抽出方法。 - 前記画素値の差を変換する関数が不連続な関数であることを特徴とする請求項1に記載の画像対応点抽出方法。
- 前記画素値の差を変換する関数が非線形な関数であることを特徴とする請求項1に記載の画像対応点抽出方法。
- 前記基準画像の小領域の特徴が小領域内の画素の画素値の分散であることを特徴とする請求項1から3のいずれか一つに記載の画像対応点抽出方法。
- 前記基準画像の小領域の特徴が小領域内の画素の画素値の微分値を演算した値であることを特徴とする請求項1から3のいずれか一つに記載の画像対応点抽出方法。
- 複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出装置において、
複数の画像データを入力する画像入力手段と、
該画像入力手段により入力された画像のうちのひとつを基準画像とし、該基準画像中の注目画素を含む小領域をテンプレート画像として作成するテンプレート画像作成手段と、
前記テンプレート画像作成手段により作成されたテンプレート画像の画像特徴を演算するテンプレート画像特徴演算手段と、
前記テンプレート画像内の画素の画素値と探索画像内の画素の画素値の差を演算する画素値差演算手段と、
該画素値差演算手段からの出力を変換する画素値差変換手段と、
該画素値差変換手段の出力に基づいて類似度を算出する類似度演算手段と、
該類似度演算手段で算出された類似度に基づいて基準画像中の注目画素に対する探索画像の対応点を抽出する対応点抽出手段とを有し、
前記テンプレート画像特徴演算手段の出力に基づいて、前記画素値差変換手段を制御する画素値差変換制御手段と、
を備えたことを特徴とする画像対応点抽出装置。 - 前記画素値差変換手段が前記画素値差演算手段からの出力を不連続関数に基づいて変換することを特徴とする請求項6に記載の画像対応点抽出装置。
- 前記画素値差変換手段が前記画素値差演算手段からの出力を非線形関数に基づいて変換することを特徴とする請求項6に記載の画像対応点抽出装置。
- 前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の分散を演算することを特徴とする請求項6から8のいずれか一つに記載の画像対応点抽出装置。
- 前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の微分値を演算することを特徴とする請求項6から8のいずれか一つに記載の画像対応点抽出装置。
- 請求項1から5のいずれか一つに記載の画像対応点抽出方法を実行するプログラムを外部読み出し可能に記憶する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004193184A JP2006018389A (ja) | 2004-06-30 | 2004-06-30 | 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004193184A JP2006018389A (ja) | 2004-06-30 | 2004-06-30 | 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006018389A true JP2006018389A (ja) | 2006-01-19 |
Family
ID=35792639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004193184A Withdrawn JP2006018389A (ja) | 2004-06-30 | 2004-06-30 | 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006018389A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010131416A1 (ja) * | 2009-05-11 | 2010-11-18 | パナソニック株式会社 | 電子カメラ、画像処理装置および画像処理方法 |
JP2018032447A (ja) * | 2012-10-25 | 2018-03-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2004
- 2004-06-30 JP JP2004193184A patent/JP2006018389A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010131416A1 (ja) * | 2009-05-11 | 2010-11-18 | パナソニック株式会社 | 電子カメラ、画像処理装置および画像処理方法 |
JP2010263584A (ja) * | 2009-05-11 | 2010-11-18 | Panasonic Corp | 電子カメラ、画像処理装置および画像処理方法 |
CN102084642A (zh) * | 2009-05-11 | 2011-06-01 | 松下电器产业株式会社 | 电子照相机、图像处理装置及图像处理方法 |
US8593522B2 (en) | 2009-05-11 | 2013-11-26 | Panasonic Corporation | Digital camera, image processing apparatus, and image processing method |
CN102084642B (zh) * | 2009-05-11 | 2014-05-14 | 松下电器产业株式会社 | 电子照相机、图像处理装置及图像处理方法 |
JP2018032447A (ja) * | 2012-10-25 | 2018-03-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8331619B2 (en) | Image processing apparatus and image processing method | |
US7986813B2 (en) | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor | |
US8903177B2 (en) | Method, computer program and device for hybrid tracking of real-time representations of objects in a sequence | |
JP4855556B1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム | |
KR101747216B1 (ko) | 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 | |
JP2007233871A (ja) | 画像処理装置、コンピュータの制御方法及びプログラム | |
US20190066311A1 (en) | Object tracking | |
KR20120044484A (ko) | 이미지 처리 시스템에서 물체 추적 장치 및 방법 | |
JP2008102814A (ja) | オブジェクト検出方法 | |
JP5310485B2 (ja) | 画像処理方法及び装置並びにプログラム | |
Paral et al. | OPTICS-based template matching for vision sensor-based shoe detection in human–robot coexisting environments | |
US10930068B2 (en) | Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program | |
JP2012181710A (ja) | オブジェクト追跡装置、方法、及びプログラム | |
KR101700276B1 (ko) | 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법 | |
CN110162362B (zh) | 动态控件位置检测与测试方法、装置、设备及存储介质 | |
JP2005165969A (ja) | 画像処理装置、及び方法 | |
JP2007316950A (ja) | 画像処理方法及び装置及びプログラム | |
JP2006018389A (ja) | 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 | |
JP2010128925A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007156954A (ja) | 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム | |
JP5470529B2 (ja) | 動き検出装置、動き検出方法及び動き検出プログラム | |
JP2017201454A (ja) | 画像処理装置及びプログラム | |
JP4914260B2 (ja) | テンプレートマッチング装置及び方法 | |
JP2008158626A (ja) | テンプレート作成装置,テンプレート作成方法,その方法を実装したテンプレート作成プログラム,そのプログラムを格納した記憶媒体と、テンプレートマッチング装置,テンプレートマッチング方法,その方法を実装したテンプレートマッチングプログラム,そのプログラムを格納した記憶媒体 | |
KR100730571B1 (ko) | 색상 유사도 영상을 이용한 물체 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070904 |