JPWO2009110410A1 - 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム - Google Patents
画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム Download PDFInfo
- Publication number
- JPWO2009110410A1 JPWO2009110410A1 JP2010501886A JP2010501886A JPWO2009110410A1 JP WO2009110410 A1 JPWO2009110410 A1 JP WO2009110410A1 JP 2010501886 A JP2010501886 A JP 2010501886A JP 2010501886 A JP2010501886 A JP 2010501886A JP WO2009110410 A1 JPWO2009110410 A1 JP WO2009110410A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- calculated
- feature point
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 195
- 230000001186 cumulative effect Effects 0.000 claims abstract description 117
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims description 155
- 238000012795 verification Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 abstract description 13
- 239000013598 vector Substances 0.000 description 78
- 230000006870 function Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 8
- 206010010071 Coma Diseases 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 101100160255 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) YLR154C-H gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 101100150271 Caenorhabditis elegans srb-17 gene Proteins 0.000 description 1
- 101100212791 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) YBL068W-A gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
- G06V30/18095—Summing image-intensity values; Projection and histogram analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
登録処理においては、予め登録される複数の画像の各々に対して、次の処理が行われる。
(登録手続きA)英文文書の単語領域の重心が特徴点として抽出される。
(登録手続きG)特徴点の列Lfから、不変量の列が計算される。当該の登録画像を一意に指定する番号(以下、登録画像番号と呼ぶ)と、特徴点を一意に指定する特徴点番号(以下、特徴点番号と呼ぶ)と共に、特徴量リストとして、格納される。
(検索手続きA)英文文書の単語領域の重心が特徴点として抽出される。
(検索手続きG)特徴点の列Lfから、不変量の列が計算される。
その理由は、累積画素値の比を特徴量として用いているので、異なる領域であるにもかかわらずほぼ同じ位置の特徴点が得られたり、特徴点三角形の面積が0となったりする場合の影響を受けないためである。
登録モジュールにおける連結領域計算モジュールR11は、入力される画像から既存の手法を用いて、入力された登録画像から連結領域を抽出する。例えば、入力画像に対して、既存の手法で二値化を行い、既存のラベリング手法を用いて、連結領域のラベリングを行うことで抽出できる。既存の画質改善処理を二値化の前後に行っても良い。これは、連結成分重心が連結成分から計算されることを考慮すれば、背景技術で記載した登録処理の(登録手続きA)に相当する処理となる。
処理全体は、登録処理と、検索処理とから構成される。画像照合装置のCPUによりこれらの処理がなされてもよい。
まず、登録モジュールにおける連結領域計算モジュールR11が、入力される画像から連結領域を計算する(図2のステップSR11:背景技術の(登録手続きA)に相当。)。次に、登録モジュールにおける領域組み合わせ計算モジュールR12は、計算された連結領域の中から注目連結領域pを1つ選択し(ステップSR12:背景技術の(登録手続きC)に相当。)、特徴点の近傍にあるn個の連結領域からm個の連結領域を取り出し(ステップSR13:背景技術の(登録手続きD)に相当)、取り出されたm個の連結領域から、その重心が最も注目連結領域pの重心に近くなるような連結領域を注目連結領域p0として選んだ上で、pの重心を中心とし、p0を先頭として、各連結領域の重心が時計回りに並ぶように連結領域の列Lmを生成し、(ステップSR14:ほぼ背景技術の(登録手続きE)に相当)、Lmから順序を保存してf点を選択するすべての連結領域の列Lfを求め、辞書式順序に並べる。(ステップSR15:背景技術の(登録手続きF)に相当)。
まず、検索モジュールにおける連結領域計算モジュールQ11が、入力される画像から連結領域を計算する(図4のステップSQ11)。次に、検索モジュールにおける領域組み合わせ計算モジュールQ12が、登録処理と同様に連結領域の列を計算する。図4における各ステップ、SQ12、SQ13、SQ14、SQ15は、それぞれ登録処理における各ステップ、SR12、SR13、SR14、SR15と同じ動作を行う。ここで計算された連結領域の列をLfBで表すこととすると、LfBは、
まず、累積画素値比が持つ性質について説明する。例えば、非特許文献2には次のような事実が記載されている。
(非特許文献2)
池山保、平山豊一著「理工系のための微分積分」、裳華房、2006年3月25日、p.137
(ここから非特許文献2を引用。)
累積画素値比=(領域Aの画素値の和)/(領域Bの画素値の和)
=28/12
となり、
画素値が二値の場合(b)、
(画素値の和は面積となるので、)
累積画素値比=(領域Aの面積の和)/(領域Bの面積の和)
=7/4
となる。
処理全体は、登録処理と、検索処理とから構成される。画像照合装置のCPUによりこれらの処理がなされてもよい。
本発明の第2の実施の形態では、累積画素値比を要素とする特徴ベクトルを照合に加えて、特徴ベクトルを構成する元の領域組み合わせから特徴点配置を構成し、特徴点配置をも利用して照合が行えるように構成されているため、より高精度な照合が可能である。
図13を参照すると、本発明の第3の実施の形態は、本発明の第1の実施の形態における構成に加えて、登録モジュールにおける三角形面積比計算モジュールR17、登録モジュールにおける三角形面積比格納モジュールR18、検索モジュールにおける特徴点三角形面積比計算モジュールQ16、不変量検証部Q17から構成される。
処理全体は、登録処理と、検索処理とから構成される。画像照合装置のCPUによりこれらの処理がなされてもよい。
まず、ステップSQC171は、ステップSQB171の処理と同一である。
本発明の第3の実施の形態では、累積画素値比を要素とする特徴ベクトルを照合に加えて、特徴ベクトルを構成する元の領域組み合わせから特徴点配置を構成し、特徴点配置から特徴点三角形面積比を不変量として計算される不変量の列を用いて照合が行えるように構成されている。
入力画像がカラー画像の場合は、画像中の各画素について、色空間上の点から濃淡値を計算する手続きにより、カラー画像から1枚の濃淡画像を作成する方法を構成すれば、本発明が適用できるようになる。
図17に示すように、第1の実施例においては、本発明の第1の実施の形態の画像照合装置、もしくは、本発明の第2の実施の形態の画像照合装置、もしくは、本発明の第3の実施の形態の画像照合装置に加えて、最終一致判定部Q3から構成される。なお、図17中の結果出力部Q2は、本発明の第1の実施の形態の画像照合装置においては検索モジュールにおける累積画素値比一致判定モジュールQ14、本発明の第2の実施の形態の画像照合装置においてはアフィンパラメータ検証部A2、本発明の第3の実施の形態の画像照合装置においては不変量検証部Q17のことを指す。いずれも、登録画像から計算された領域の組み合わせと検索画像から計算された領域の組み合わせ1対に対し、一致または不一致1回を1回出力する点で共通である。
まず、登録画像は撮像装置ScAを用いて撮像される。
撮像された登録画像は計算機ComAにより計算され、計算されたデータが計算機ComCに格納される
合には、特徴点三角形面積比を計算する際の分子(または分母)が0となる。分子(分母)の値が0となる場合、分母(分子)の値にかかわらず、分子(分母)の値が0(∞)となる。これは特徴量リストの誤った一致を引き起こす原因となる。
[0035]
本発明は、以上のような課題を解決するためになされたもので、精度のよい照合を可能にする画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラムを提供することを目的とする。
課題を解決するための手段
[0036]
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
[0037]
本発明の画像照合装置は、照合対象となる第1の画像と第2の画像について、第1および第2の画像中の部分領域から複数の部分領域を領域の組として求め、組から計算される特徴量を用いて第1の画像と第2の画像を照合する画像照合装置であって、部分領域として、第1の画像および第2の画像を二値化してそれぞれの画像中の連結領域を求める連結領域計算手段と、組として、同一画像中で互いに近傍に存在する、連結領域もしくは2つ以上の連結領域の和領域、の組を求める領域組み合わせ計算手段と、特徴量として、組に属する2つの部分領域における画素値の和である累積画素値を計算し、計算された累積画素値の比を計算する、累積画素値比計算手段と第1の画像から得られた特徴量と第2の画像から得られた特徴量とが一致するかどうかを判定する累積画素値比一致判定手段とを含む。このような構成を採用し、累積画素値比から計算される特徴量リストを計算し、登録画像から計算される累積画素値比を特徴量とする特徴量リスト(以下、特徴ベクトルと呼ぶ。)と検索画像から計算される特徴ベクトルについて照合を行い、その照合された特徴ベクトル対の数を利用して画像照合を行うことにより、本発明の目的を達成することができる。
[0038]
なお、同目的は、上記構成の画像照合装置に対応する画像照合方法によっても達成される。
[0039]
また、同目的は、上記の各構成を有する画像照合方法、ならびに対応する装置をコンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
発明の効果
[0040]
本発明によれば、関連する画像照合装置において、特徴点三角形面積比を特徴量として用いる場合に高精度に照合が行えない場合においても、高精度な照合ができる。
その理由は、累積画素値の比を特徴量として用いているので、異なる領域であるにもかかわらずほぼ同じ位置の特徴点が得られたり、特徴点三角形の面積が0となったりする場合の影響を受けないためである。
発明を実施するための最良の形態
み合わせに対して行う。結果として、入力画像が濃淡画像の場合は、領域の組み合わせ列1つにつき、1つの特徴ベクトルが計算される。
[0045]
登録モジュールにおける累積画素値比格納モジュールR14は、登録モジュールにおける累積画素値比計算モジュールR13にて計算された特徴ベクトルを、少なくともその特徴ベクトルが計算された元となる登録画像を一意に指定できる情報とともに、格納する。
[0046]
検索モジュールにおける連結領域計算モジュールQ11は、登録モジュールにおける連結領域計算モジュールR11と同様の処理を行う。
[0047]
検索モジュールにおける領域組み合わせ計算モジュールQ12は、登録モジュールにおける領域組み合わせ計算モジュールR12と同様の処理を行う。処理中の(登録手続きE)に相当する処理では、背景技術で説明した(検索手続きE)のように、m個の点をすべてp0として選ぶまで処理が継続させてもよい。
[0048]
検索モジュールにおける累積画素値比計算モジュールQ13は、登録モジュールにおける累積画素値比計算モジュールR13と同様の処理を行う。
[0049]
検索モジュールにおける累積画素値比一致判定モジュールQ14は、検索モジュールにおける累積画素値比計算モジュールQ13により計算された特徴ベクトルと、登録モジュールにおける累積画素値比格納モジュールR14に格納された特徴ベクトルとを比較し、一致するかどうかを判定する。一致するかどうかを判定する手法としては、既存の判定手法、例えば、ベクトル間の相違度(あるいは類似度)を、市街地距離、誤差二乗和、ユークリッド距離、2つのベクトルのなす角度、内積などにより計算し、それらをある閾値よりも相違度が小さい(あるいは類似度が大きい)場合に一致すると判定するようにすればよい。
[0050]
次に、図2及び図4のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
処理全体は、登録処理と、検索処理とから構成される。画像照合装置のCPUによりこれらの処理がなされてもよい。
[0051]
最初に、登録処理について説明する。
まず、登録モジュールにおける連結領域計算モジュールR11が、入力される画像
であり、各
[0064]
[数9]
は、
[0065]
[数10]
で表される。ここで
[0066]
[数11]
は、連結領域である。連結領域は、連結領域を一意に指定できる番号で表現することとする。
[0067]
さらに、検索モジュールにおける累積画素値比計算モジュールQ13は、登録モジュールにおける累積画素値比計算モジュールR13と同様に、計算されたLfBから特徴ベクトルを計算する(ステップSQ16)。これは、例えば、LfBの列に対して、
[0068]
[数12]
を計算することにより実現される。
[0069]
次に、検索モジュールにおける累積画素値比一致判定モジュールQ14が、計算された特徴ベクトルと、登録モジュールにおける累積画素値比格納モジュールR14に格納されたすべての特徴ベクトルのそれぞれとの照合を行い、登録モジュールにおける累積画素値比格納モジュールR14に格納されたそれぞれの特徴ベクトルがQ13により計算された特徴ベクトルと一致しているかどうかの判定結果を出力する(ステップ
=28/12
となり、
画素値が二値の場合(b)、
(画素値の和は面積となるので、)
累積画素値比=(領域Aの面積の和)/(領域Bの面積の和)
=7/4
となる。
[0080]
本実施の形態では、登録画像と検索画像との双方からアフィン不変量の近似である累積画素値比を要素として特徴ベクトルが構成され、それらの特徴ベクトルが一致するかどうかを判定するというように構成されているため、登録画像と検索画像との間にアフィン変換で記述できる変形が起こっていたとしても、精度良く画像の照合が行える。特に、上述したような、特徴点三角形面積比を用いる関連技術では精度良い認識が行えない場合であっても、累積画素値比を用いることにより精度良く認識することが可能である。
[0081]
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。
[0082]
図6を参照すると、本発明の第2の実施の形態は、本発明の第1の実施の形態における構成に加えて、登録モジュールにおける特徴点配置計算モジュールR15、登録モジュールにおける特徴点配置格納モジュールR16、検索モジュールにおける特徴点配置計算モジュールQ15、アフィンパラメータ推定モジュールA1、アフィンパラメータ検証モジュールA2から構成される。
[0083]
登録モジュールにおける特徴点配置計算モジュールR15は、登録モジュールにおける領域組み合わせ計算モジュールR12が計算する登録画像連結領域の列Lmに対して、特徴点配置を計算する。例えば、Lm=(i1、i2、…、im)であるとする。ここで、i1は対応する連結領域を一意に指定する番号である。このとき、登録モジュールにおける特徴点配置計算モジュールR15は、次のような特徴点配置Fmを計算する。
[0084]
[数18]
の値、あるいはこれらから計算される値があらかじめ定められた範囲内の値にある場合に一致すると判定する。例えば、Bxをx方向の伸縮率、Byをy方向の伸縮率、θを回転角として
なるモデルを仮定する。この場合、撮像系から得られる条件などによりBx、By、θの値の範囲が定められると、a、b、c、dの値の範囲も定められる。したがって、
の当てはまりがよい場合に、特徴点配置が一致すると判定をすることが可能になる。
に仮定できる条件から定められる範囲内に入っているかどうかを検証することにしても良い。例えば、各kに対して計算される
いは類似度)を、市街地距離、誤差二乗和、ユークリッド距離、2つのベクトルのなす角度、内積などにより計算し、それらをある閾値よりも相違度が小さい(あるいは類似度が大きい)場合に一致すると判定するようにすればよい。
[0095]
また、
[0096]
[数24]
のように、各kに対して計算された市街地距離の和で求められる値であってもよい。また、より一般に各kに対して計算される何らかの相違度(類似度)を引数とする関数値がある閾値よりも小さい(大きい)場合に一致すると判定することもできる。
[0097]
また、検索モジュールにおける累積画素値比一致判定モジュールQ14にて計算された相違度(あるいは類似度)とこれらの値を合わせて利用する照合を行っても良い。
図13を参照すると、本発明の第3の実施の形態は、本発明の第1の実施の形態における構成に加えて、登録モジュールにおける特徴点三角形面積比計算モジュールR17、登録モジュールにおける特徴点三角形面積比格納モジュールR18、検索モジュールにおける特徴点三角形面積比計算モジュールQ16、不変量検証モジュールQ17から構成される。
[0115]
登録モジュールにおける特徴点三角形面積比計算モジュールR17は、背景技術における(登録手続きG)と同様の手続きで、登録画像から計算された特徴点の列Lfから不変量の列を計算する。
[0116]
登録モジュールにおける特徴点三角形面積比格納モジュールR18は、登録モジュールにおける特徴点三角形面積比計算モジュールR17にて計算された不変量の列を、画像番号および不変量の列を計算する元となった連結領域の列Lmを一意に指定できる指標とともに、格納する。
[0117]
検索モジュールにおける特徴点三角形面積比計算モジュールQ16は、背景技術における(登録手続きG)と同様の手続きで、検索画像から計算された特徴点の列Lfから不変量の列を計算する。
[0118]
不変量検証モジュールQ17は、登録モジュールにおける特徴点三角形面積比計算モジュールR17にて計算された不変量の列と、検索モジュールにおける特徴点三角形面積比計算モジュールQ16にて計算された不変量の列を特徴ベクトルとみなし、検索モジュールにおける累積画素値比一致判定モジュールQ14が持つ機能において説明した相違度(または類似度)を計算し、その値を利用して一致しているかどうかを判定する。例えば、Q17にて計算される相違度(類似度)があらかじめ定められた範囲内の値をとる場合に一致したとみなし、それ以外の場合は不一致であると判定すればよい。また、Q14にて計算された相違度(類似度)を合わせて照合に利用することもできる。
[0119]
次に、図14及び図15、図16のフローチャートを参照して本発明の第3の実施の形態の全体の動作について詳細に説明する。
処理全体は、登録処理と、検索処理とから構成される。画像照合装置のCPUによりこれらの処理がなされてもよい。
[0120]
最初に、登録処理について説明する。本発明の第3の実施の形態における登録処理は、本発明の第1の実施の形態における登録処理とほぼ同じである。従って、本発明の第1の実施の形態と相違する処理のみ、すなわち図14におけるステップSRC14およびSRC17を説明するについて説明する。
[0121]
ステップSRC14では、本発明の第1の実施の形態におけるステップSR14における処理が行われた後、登録モジュールにおける特徴点配置計算モジュールR15が、Lmから不変量の列を計算する。計算された不変量の列は、登録モジュールにおける特徴点三角形面積比格納モジュールR18に格納される。
[0122]
ステップSRC17では、本発明の第1の実施の形態におけるステップSR17における処理が行われた後、特徴ベクトルが計算される元となったLmから計算される不変量の列を一意に指定できる情報があわせて格納される。
[0123]
次に、検索処理について説明する。本発明の第3の実施の形態における検索処理は、本発明の第1の実施の形態における検索処理とほぼ同じである。従って、本発明の第1の実施の形態と相違する処理のみ、すなわち、図15におけるステップSQC17のみ説明する。
[0124]
図16を参照して、ステップSQC17について説明する。
まず、ステップSQC171は、ステップSQB171の処理と同一である。
[0125]
ステップSQC172は、ステップSQC171にて計算された相違度(あるいは類似度)があらかじめ定められる範囲内にあるかを判定する。この場合、相違度(類似度)がある値より小さい(大きい)場合に一致すると判定できるように範囲を決めておくことが一つの方法である。あらかじめ定められる範囲内にある場合はステップSQC173へ、そうでない場合にはステップSQC177へ進む。
[0126]
ステップSQC173では、検索モジュールにおける特徴点三角形面積比計算モジュールQ16が不変量の列を計算する。この処理にはこれまでの手法を用いることができる。なお、これまでの手法の説明においては、1つの(連結)領域から、特徴点として重心を計算するように説明しているが、必ずしも重心でなくてもよい。また、1つの領域から1つの特徴点を抽出するように限る必要はなく、登録画像から計算される特徴点の数と、検索画像から計算される特徴点の数が同じになる方法
であればそれを適用することが可能である。
[0127]
ステップSQC174では、不変量検証モジュールQ17が、現在照合を行っている登録画像から計算された特徴ベクトルを生成する元となった領域組み合わせLmから計算した不変量の列を取得する。
[0128]
ステップSQC175では、不変量検証モジュールQ17が、一致しているかどうかの判定結果を出力する。
[0129]
ステップSQC177では、不変量検証モジュールQ17が、最終結果として一致であるか不一致であるかを出力する。
[0130]
次に、本発明の第3の実施の形態の効果について説明する。
本発明の第3の実施の形態では、累積画素値比を要素とする特徴ベクトルを照合に加えて、特徴ベクトルを構成する元の領域組み合わせから特徴点配置を構成し、特徴点配置から特徴点三角形面積比を不変量として計算される不変量の列を用いて照合が行えるように構成されている。
[0131]
本発明の第2の実施の形態と同様に、面積だけでなく、領域の位置に関する情報をも照合に利用できるため、より高精度な照合が可能となる。
[0132]
なお、第2の実施の形態におけるアフィンパラメータの推定および検証と、第3の実施の形態における不変量による検証は独立して付加することができる処理である。したがって、第1の実施の形態にアフィンパラメータの推定及び検証と、不変量による検証の双方を付加することにより、新たな実施の形態が構成可能であることを付記しておく。
[0133]
以上の説明は、入力画像が(二値を含む)濃淡画像の場合についての説明である。
入力画像がカラー画像の場合は、画像中の各画素について、色空間上の点から濃淡値を計算する手続きにより、カラー画像から1枚の濃淡画像を作成する方法を構成すれば、本発明が適用できるようになる。
[0134]
また、既存の手法でカラー画像から複数の濃淡画像を作成し、それらを利用した照合を行うこともできる。
[0135]
例えば、次のような手法が可能である。
[0136]
まず、登録モジュールにおける累積画素値比計算モジュールR13、検索モジュ
ールにおける累積画素値比計算モジュールQ13、登録モジュールにおける特徴点配置計算モジュールR15、検索モジュールにおける特徴点配置計算モジュールQ15、登録モジュールにおける特徴点三角形面積比計算モジュールR17、検索モジュールにおける特徴点三角形面積比計算モジュールQ16では、それぞれの濃淡画像から計算が行われる。
[0137]
登録モジュールにおける累積画素値比格納モジュールR14、登録モジュールにおける特徴点配置格納モジュールR16、登録モジュールにおける特徴点三角形面積比格納モジュールR18では、複数の画像から計算された値が格納される。
[0138]
そうしておけば、検索モジュールにおける累積画素値比一致判定モジュールQ14、アフィンパラメータ推定モジュールA1、アフィンパラメータ検証モジュールA2、不変量検証モジュールQ17が持つ機能を複数回動作させることで、同じ領域組み合わせについて、複数の画像における照合が可能となる。
[0139]
例えば、RGB空間における、R値が表す濃淡画像R、G値が表す濃淡画像G、B値が表す濃淡画像Bの3画像を用いる場合は、濃淡画像Rから計算された特徴ベクトル同士による照合と、濃淡画像Gから計算された特徴ベクトル同士による照合と、濃淡画像Bから計算された特徴ベクトル同士による照合を行うことができる。照合結果としては、すべての濃淡画像において計算された特徴ベクトル同士が一致であった場合に、最終的に一致したと判定する。また、あらかじめ定められた数以上の濃淡画像における特徴ベクトル同士が一致した場合に、最終的に一致したとすることもできる。あらかじめ定められた数が2の場合は、例えば、濃淡画像Rにおける特徴ベクトル同士が一致し、かつ、濃淡画像Bにおける特徴ベクトル同士が一致した場合に、最終的に一致したとすることになる。ここでは、色空間から複数の濃淡画像を生成する方法として、RGB各成分が表す濃淡画像を例に取ったが、これに限る必要はない。
[0140]
複数の濃淡画像を作る方法としては、入力される画像がカラー画像の場合は、RGB空間、XYZ空間、LAB空間、LUV空間、YIQ空間など既存の色空間における各成分についての濃淡画像を利用することができる。もちろん、これに限らず、色空間における画素値の組を1次元の濃淡値に変換する関数を複数用意してお
けば、複数の濃淡画像が得られる。
[0141]
複数の濃淡画像は、画像が入力された時点で計算しておいてもよいし、特徴ベクトルあるいは不変量リストの列が計算される直前に計算するのでもよい。
[0142]
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。
図17に示すように、第1の実施例においては、本発明の第1の実施の形態の画像照合装置、もしくは、本発明の第2の実施の形態の画像照合装置、もしくは、本発明の第3の実施の形態の画像照合装置に加えて、最終一致判定部Q3から構成される。なお、図17中の結果出力部Q2は、本発明の第1の実施の形態の画像照合装置においては検索モジュールにおける累積画素値比一致判定モジュールQ14、本発明の第2の実施の形態の画像照合装置においてはアフィンパラメータ検証モジュールA2、本発明の第3の実施の形態の画像照合装置においては不変量検証モジュールQ17のことを指す。いずれも、登録画像から計算された領域の組み合わせと検索画像から計算された領域の組み合わせ1対に対し、一致または不一致1回を1回出力する点で共通である。
[0143]
最終一致判定部Q3は、まず、結果出力部Q2から一致が出力された数を、登録画像に応じて別々に計数する。例えば、登録画像RIrのある領域の組み合わせと検索画像のある領域の組み合わせが一致であった場合に、一致数Crを1だけ増加させる。照合開始前に各Crをすべて0で初期化しておけば、結果として、登録画像RIrに対して、一致数がCr個であるというように計数される。次に、この値を用いて、最終的に検索画像に対応する登録画像がどの画像であるかを判定し、登録画像を一意に指定できる情報を出力する。例えば、Crの値が最も大きい登録画像RIrを用いることもできるし、背景技術で説明したような計算式を使って、各画像のスコアを求め、その値を利用して照合を行ってもよい。もちろん、Crあるいはスコアが同点のものがあれば結果を棄却としてもよい。また、Crの数があらかじめ定めた値よりも小さい場合、スコアがあらかじめ定めた範囲に入っていない場合について結果を棄却とすることも考えられる。
[0144]
最終一致判定部Q3は、すべての登録画像に対するすべての領域組み合わせと、検索画像に対するすべての領域組み合わせについての一致判定が終了した後に動
3を含むよう構成すればよい。第2の実施の形態の画像照合装置を用いた本発明の第1の実施例においては、計算機ComAが、登録モジュールにおける連結領域計算モジュールR11、登録モジュールにおける領域組み合わせ計算モジュールR12、登録モジュールにおける累積画素値比計算モジュールR13、登録モジュールにおける特徴点配置計算モジュールR15を、計算機ComCが登録モジュールにおける累積画素値比格納モジュールR14、登録モジュールにおける特徴点配置格納モジュールR16を、計算機ComBが検索モジュールにおける連結領域計算モジュールQ11、検索モジュールにおける領域組み合わせ計算モジュールQ12、検索モジュールにおける累積画素値比計算モジュールQ13、検索モジュールにおける累積画素値比一致判定モジュールQ14、検索モジュールにおける特徴点配置計算モジュール15、アフィンパラメータ推定モジュールA1、アフィンパラメータ検証モジュールA2、最終一致判定部Q3を含むように構成すればよい。第3の実施の形態の画像照合装置を用いた本発明の第1の実施例においては、計算機ComAが、登録モジュールにおける連結領域計算モジュールR11、登録モジュールにおける領域組み合わせ計算モジュールR12、登録モジュールにおける累積画素値比計算モジュールR13、登録モジュールにおける特徴点三角形面積比計算モジュールR17を、計算機ComCが登録モジュールにおける累積画素値比格納モジュールR14、登録モジュールにおける特徴点三角形面積比格納モジュールR18を、計算機ComBが検索モジュールにおける連結領域計算モジュールQ11、検索モジュールにおける領域組み合わせ計算モジュールQ12、検索モジュールにおける累積画素値比計算モジュールQ13、検索モジュールにおける累積画素値比一致判定モジュールQ14、検索モジュールにおける特徴点三角形面積比計算モジュールQ16、不変量検証モジュールQ17、最終一致判定部Q3を含むように構成すればよい。
[0150]
このようにすれば、例えば、次のような動作が可能である。
まず、登録画像は撮像装置ScAを用いて撮像される。
撮像された登録画像は計算機ComAにより計算され、計算されたデータが計算機ComCに格納される
[0151]
次に、検索画像は撮像装置ScBを用いて撮像され、撮像された検索画像は計算機
Claims (22)
- 照合対象となる第1の画像と第2の画像について、前記第1および第2の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第1の画像と前記第2の画像を照合する画像照合装置であって、
前記特徴量として、前記組に属する2つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算する、累積画素値比計算手段を含むことを特徴とする画像照合装置。 - 前記累積画素値比計算手段は、累積画素値を計算する際に、画素値として二値を利用することを特徴とする請求項1に記載された画像照合装置。
- 前記累積画素値比計算手段は、累積画素値を計算する際に、画素値として濃淡画像における画素値を利用することを特徴とする請求項1に記載された画像照合装置。
- 前記累積画素値比計算手段は、累積画素値を計算する際に、画素値としてカラー画像中の各画素における画素情報を基に計算された値を画素値として利用することを特徴とする請求項1に記載された画像照合装置。
- 前記カラー情報を表す画素情報を元に画素値を計算する手段を1つ以上備え、カラー画像から計算される1つ以上の種類の濃淡画像のそれぞれに対して前記累積画素値比計算手段を利用した照合を行い、あらかじめ定められた数の濃淡画像について画像照合結果が一致と判定された場合に、画像として一致したと判定することを特徴とする請求項1に記載された画像照合装置。
- 前記累積画素値比計算手段により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算する特徴点配置計算手段と、
前記特徴点配置計算手段により計算された特徴点配置を用いてアフィンパラメータを推定するアフィンパラメータ推定手段と、
前記アフィンパラメータにより計算された値を用いて特徴点配置の当てはまりのよさを検証するアフィンパラメータ検証手段と
を含むことを特徴とする請求項1に記載された画像照合装置。 - 前記累積画素値比計算手段により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、アフィンパラメータ推定手段と、アフィンパラメータ検証手段とが動作することを特徴とする請求項6に記載された画像照合装置。
- 前記累積画素値比計算手段により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算し、特徴点配置から特徴点三角形面積比である不変量の組を計算する特徴点三角形面積比計算手段と、
少なくとも前記特徴点三角形面積比計算手段により計算された特徴点三角形面積比である不変量を用いて検証を行う不変量検証手段と
を含むことを特徴とする請求項1に記載された画像照合装置。 - 前記累積画素値比計算手段により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、不変量検証手段が動作することを特徴とする請求項8に記載された画像照合装置。
- 検索される画像に対応する登録画像を検索または同定するための結果を出力する最終一致判定手段を備えることを特徴とする請求項1乃至9のいずれか1項に記載の画像照合装置。
- 請求項1乃至10のいずれか1項に記載の画像照合装置により計算される特徴量を含むデータを格納した画像照合用特徴量格納記憶媒体。
- 照合対象となる第1の画像と第2の画像について、前記第1および第2の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第1の画像と前記第2の画像を照合する画像照合方法であって、
前記特徴量として、前記組に属する2つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算することを特徴とする画像照合方法。 - コンピュータに、
照合対象となる第1の画像と第2の画像について、前記第1および第2の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第1の画像と前記第2の画像を照合する処理を実行させるプログラムであって、
前記特徴量として、前記組に属する2つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算する、累積画素値比計算処理を実行させることを特徴とするプログラム。 - 前記累積画素値比計算処理で、累積画素値を計算する際に、画素値として二値を利用することを特徴とする請求項13に記載されたプログラム。
- 前記累積画素値比計算処理で、累積画素値を計算する際に、画素値として濃淡画像における画素値を利用することを特徴とする請求項13に記載されたプログラム。
- 前記累積画素値比計算処理で、累積画素値を計算する際に、画素値としてカラー画像中の各画素における画素情報を基に計算された値を画素値として利用することを特徴とする請求項13に記載されたプログラム。
- 前記カラー情報を表す画素情報を元に画素値を計算する処理を実行させ、カラー画像から計算される1つ以上の種類の濃淡画像のそれぞれに対して前記累積画素値比計算処理を利用した照合を行い、あらかじめ定められた数の濃淡画像について画像照合結果が一致と判定された場合に、画像として一致したと判定する処理を実行させることを特徴とする請求項13に記載されたプログラム。
- 前記累積画素値比計算処理により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算する特徴点配置計算処理と、
前記特徴点配置計算処理により計算された特徴点配置を用いてアフィンパラメータを推定するアフィンパラメータ推定処理と、
前記アフィンパラメータにより計算された値を用いて特徴点配置の当てはまりのよさを検証するアフィンパラメータ検証処理と
を実行させることを特徴とする請求項13に記載されたプログラム。 - 前記累積画素値比計算処理により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、アフィンパラメータ推定処理と、アフィンパラメータ検証処理とが実行されることを特徴とする請求項18に記載されたプログラム。
- 前記累積画素値比計算処理により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算し、特徴点配置から特徴点三角形面積比である不変量の組を計算する特徴点三角形面積比計算処理と、
少なくとも前記特徴点三角形面積比計算処理により計算された特徴点三角形面積比である不変量を用いて検証を行う不変量検証処理と
を実行させることを特徴とする請求項13に記載されたプログラム。 - 前記累積画素値比計算処理により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、不変量検証処理を実行させることを特徴とする請求項20に記載されたプログラム。
- 検索される画像に対応する登録画像を検索または同定するための結果を出力する最終一致判定処理を実行させることを特徴とする請求項13乃至21のいずれか1項に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010501886A JP5304781B2 (ja) | 2008-03-04 | 2009-03-02 | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008053925 | 2008-03-04 | ||
JP2008053925 | 2008-03-04 | ||
PCT/JP2009/053824 WO2009110410A1 (ja) | 2008-03-04 | 2009-03-02 | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム |
JP2010501886A JP5304781B2 (ja) | 2008-03-04 | 2009-03-02 | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009110410A1 true JPWO2009110410A1 (ja) | 2011-07-14 |
JP5304781B2 JP5304781B2 (ja) | 2013-10-02 |
Family
ID=41055966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010501886A Expired - Fee Related JP5304781B2 (ja) | 2008-03-04 | 2009-03-02 | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2251830A1 (ja) |
JP (1) | JP5304781B2 (ja) |
WO (1) | WO2009110410A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014061222A1 (ja) | 2012-10-18 | 2014-04-24 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理用プログラム |
CN103208096B (zh) * | 2013-04-26 | 2016-02-24 | 西安电子科技大学 | 基于缩小及局部的多时相图像快速自动排序拼合方法 |
JP6487100B1 (ja) * | 2018-05-24 | 2019-03-20 | 株式会社東芝 | 帳票処理装置及び帳票処理方法 |
CN110992407B (zh) * | 2019-11-07 | 2023-10-27 | 武汉多谱多勒科技有限公司 | 一种红外与可见光图像匹配方法 |
CN112184817B (zh) * | 2020-09-30 | 2022-12-02 | 四川大学华西医院 | 一种臂丛神经图像识别方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266149A (ja) * | 2000-03-23 | 2001-09-28 | Alpine Electronics Inc | 画像一致判定装置 |
JP4152927B2 (ja) * | 2004-08-02 | 2008-09-17 | シャープ株式会社 | 画像処理装置、画像形成装置、処理原稿検索方法、処理原稿検索プログラム、記録媒体 |
-
2009
- 2009-03-02 EP EP09718102A patent/EP2251830A1/en not_active Withdrawn
- 2009-03-02 JP JP2010501886A patent/JP5304781B2/ja not_active Expired - Fee Related
- 2009-03-02 WO PCT/JP2009/053824 patent/WO2009110410A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP5304781B2 (ja) | 2013-10-02 |
EP2251830A1 (en) | 2010-11-17 |
WO2009110410A1 (ja) | 2009-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pele et al. | A linear time histogram metric for improved sift matching | |
JP5522408B2 (ja) | パターン認識装置 | |
US8798357B2 (en) | Image-based localization | |
US8412730B2 (en) | Image search apparatus and method thereof | |
EP3869385B1 (en) | Method for extracting structural data from image, apparatus and device | |
JP5487970B2 (ja) | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム | |
CN111079570A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
US11893678B2 (en) | Apparatus and method for searching for global minimum of point cloud registration error | |
CN110097068B (zh) | 相似车辆的识别方法和装置 | |
US20190188729A1 (en) | System and method for detecting counterfeit product based on deep learning | |
CN101133429A (zh) | 文档和/或图像检索方法及其程序、文档和/或图像存储设备和检索设备 | |
US20190179850A1 (en) | Generating congruous metadata for multimedia | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
JP5304781B2 (ja) | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム | |
JP6128910B2 (ja) | 学習装置、学習方法及びプログラム | |
CN111783770A (zh) | 图像的矫正方法、装置和计算机可读存储介质 | |
JP4721829B2 (ja) | 画像検索方法及び装置 | |
CN110135428B (zh) | 图像分割处理方法和装置 | |
US8942515B1 (en) | Method and apparatus for image retrieval | |
JP6793925B2 (ja) | 検証装置、方法、及びプログラム | |
JP2012159990A (ja) | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 | |
Kang et al. | Combining random forest with multi-block local binary pattern feature selection for multiclass head pose estimation | |
WO2015068417A1 (ja) | 画像照合システム、画像照合方法およびプログラム | |
Che et al. | Image retrieval by information fusion based on scalable vocabulary tree and robust Hausdorff distance | |
JP6544482B2 (ja) | 物体認識装置、物体認識方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110708 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5304781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |