JP4988408B2 - 画像認識装置 - Google Patents

画像認識装置 Download PDF

Info

Publication number
JP4988408B2
JP4988408B2 JP2007102105A JP2007102105A JP4988408B2 JP 4988408 B2 JP4988408 B2 JP 4988408B2 JP 2007102105 A JP2007102105 A JP 2007102105A JP 2007102105 A JP2007102105 A JP 2007102105A JP 4988408 B2 JP4988408 B2 JP 4988408B2
Authority
JP
Japan
Prior art keywords
feature
image
point
points
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007102105A
Other languages
English (en)
Other versions
JP2008257649A (ja
Inventor
雅成 高木
弘亘 藤吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007102105A priority Critical patent/JP4988408B2/ja
Priority to DE102008000758.7A priority patent/DE102008000758B4/de
Priority to FR0852220A priority patent/FR2914761B1/fr
Priority to US12/080,936 priority patent/US8027514B2/en
Publication of JP2008257649A publication Critical patent/JP2008257649A/ja
Application granted granted Critical
Publication of JP4988408B2 publication Critical patent/JP4988408B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、入力された画像から対象物を認識する画像認識装置に関する。
従来より、入力された画像から予め登録された標準画像(認識対象物)を認識する手法が種々提案されている。例えば、入力画像中から特徴点を抽出すると共にその特徴点に関する特徴量を算出し、その特徴量と標準画像中の特徴点の特徴量とを比較して、入力画像中に標準画像が存在しているか否かを判断する方法が知られている。
そして、上記のように入力画像と標準画像の双方で特徴量の比較を行う方法として、特に、画像の拡大や縮小、回転に拘わらず不変な特徴量を用いることで、標準画像に対して入力画像中の対象物のスケールや回転位置が異なっていてもその対象物を認識できるようにした方法が提案されている(例えば、特許文献1、非特許文献1参照。)。
上記各文献に記載の方法では、まず、入力画像に対し、ガウス関数を用いた画像平滑化を行う。具体的には、ガウス関数のスケールσを複数段階に変えた複数枚の平滑化画像を得る。
そして、スケールの異なる複数の平滑化画像に対してDoG(Difference of Gaussian)フィルタを適用し、そのDoGフィルタ出力画像(DoG画像)から極値を検出してこの極値となる点を特徴点候補点とする。なお、このとき極値となるDoG画像のスケールを、後で特徴量抽出の際に用いる。また、1つの入力画像に対してだけでなく、それを所定の縮小率で縮小した入力画像に対しても、同様にDoGフィルタを用いた特徴点候補点の検出を行う。
なお、検出された特徴点候補点には、開口問題が発生しやすい点が含まれている可能性があるため、コントラストの低い点やエッジ上の候補点を削除し、より頑健な点を特徴点として抽出する。
そして、このようにして検出された各特徴点に対し、特徴量を算出する。ここで算出する特徴量は、スケール不変特徴量、特徴量を求める際のスケール情報(範囲)、及びその範囲の画像の回転情報で構成されている。スケール不変特徴量は、上記各文献に詳しく記載されている通り、画像の拡大や縮小、回転に拘わらず不変なものである。そのため、入力画像中に対象物が含まれていれば、それがどのような大きさ、回転位置で含まれていても、標準画像と入力画像の特徴量を比較することで、入力画像中の対象物(標準画像)を認識することができる。
即ち、標準画像中のある特徴点と入力画像中の全ての特徴点についてスケール不変特徴量の比較を行う。この比較を、標準画像中の全ての特徴点に対して行う。この結果、特徴量の一致又は類似する特徴点がある程度多ければ、入力画像中に対象物が存在していると判断できる。
例えば、標準画像中に特徴点が100点ある場合に、その標準画像の各特徴点の特徴量と同じ又は類似する特徴量を有する特徴点が入力画像中から多数(例えば90点以上)抽出された場合は、入力画像中に対象物が存在している可能性が非常に高いため、対象物が存在していると判断できる。逆に、一致又は類似する特徴点が少ない(例えば10点以下)場合は、対象物が存在していない可能性が非常に高いため、対象物が存在していないと判断することができる。
特開2006−65399号公報 David G. Lowe,"Distinctive image features from scale-invariant keypoints", Journal of Computer Vision , 60 , 2 , pp.91-110 , 2004
しかしながら、入力画像中に対象物が存在していても、その対象物の特徴点を十分に抽出できない場合がある。そのような場合、対象物が存在しているにも拘わらず、標準画像の特徴量との比較において、特徴量の一致又は類似する特徴点が少ないため対象物は存在しないと誤判断されてしまうおそれがある。
このように、入力画像中に対象物が存在しているにも拘わらずその特徴点を十分に抽出できないケースとして、例えばオクルージョンがある。即ち、対象物が別の物体に隠れていて一部分しか見えていない場合である。このような場合、対象物が存在していてもそこから抽出できる特徴点(対象物の特徴点)は当然ながら少なくなる。
また例えば、対象物の大きさが極端に小さい場合なども、その対象物の特徴点を十分に抽出することができない。即ち、入力画像中の対象物の大きさが標準画像と同じ程度の大きさであれば、両者から抽出される特徴点の数はほぼ同数となるはずであり、そのような場合は問題ない。しかし、標準画像の大きさに対して対象物の大きさが非常に小さいと、解像度が低いため、そこから抽出できる特徴点の数はおのずと少なくなってしまう。
このように、スケール不変特徴量を用いた画像認識においては、拡大・縮小・回転に拘わらず対象物を良好に認識することができるものの、入力画像の状態(オクルージョン等)によっては、入力画像中に対象物が存在しているにも拘わらず特徴量の一致又は類似する特徴点の数が少なくなるケースも生じ、その場合は、対象物が存在していないと誤認識されるおそれがあった。
本発明は上記課題に鑑みなされたものであり、入力画像及び標準画像の双方から特徴点を抽出するとともにその特徴量を算出し、双方の画像の特徴量を比較することにより入力画像中の対象物(標準画像)を認識する画像認識装置において、入力画像中に対象物が存在しているにも拘わらずその対象物の特徴点が十分に抽出できない場合であっても、対象物を確実に認識できるようにすることを目的とする。
上記課題を解決するためになされた請求項1記載の発明は、入力された入力画像から、認識対象物として予め登録されている標準画像を認識する画像認識装置であって、入力画像から特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された特徴点の各々に対し、該特徴点の特徴的情報である特徴量として、入力画像の回転及びスケール変化に対して不変性を有するスケール不変特徴量を算出する特徴量算出手段とを備えている。
また、標準画像に対しては、予め、該標準画像から特徴点が抽出されると共に、該抽出された特徴点の各々に対し該特徴点の特徴的情報である特徴量として、標準画像の回転及びスケール変化に対して不変性を有するスケール不変特徴量が算出され、当該画像認識装置に設定されている。また、標準画像に対する特徴量には、該標準画像における対応する特徴点の位置を直接又は間接的に示す位置情報が含まれている。
そして、特徴量比較手段が、上記特徴量算出手段により算出された入力画像の特徴点の特徴量と、上記設定されている標準画像の特徴点の特徴量とを比較し、該各画像間で特徴量が類似する特徴点同士を対応点として設定する。
そして、判定手段が、入力画像中に標準画像が存在しているか否かを判定する。即ち、入力画像中の特徴点のうち特徴量比較手段により対応点として設定された特徴点である対応特徴点の位置関係が、該各対応特徴点に対応した標準画像中の特徴点の位置関係と類似しているか否かを、入力画像中の対応特徴点の座標と標準画像中の各特徴点の特徴量に含まれている位置情報に基づいて直接又は間接的に判断する。そして、類似していると判断した場合に、前記入力画像中に前記標準画像が存在していると判定する。
更に、標準画像中の任意の1点に基準点が設定されており、上記位置情報は、標準画像における上記基準点に対する各特徴点の位置ベクトルである。そして、判定手段は、入力画像中の各対応特徴点毎に、該対応特徴点に対応する標準画像中の特徴点と基準点との距離である標準距離をその特徴点の位置ベクトルに基づいて算出し、該対応特徴点とその対応特徴点に対する基準点である対応基準点との距離を対応距離として、その対応距離と標準距離との比が入力画像のスケールと標準画像のスケールとの比であるスケール比に等しくなるように、標準距離及びスケール比を用いて対応距離を算出し、該対応特徴点の座標、対応距離、該対応特徴点に対応する標準画像中の特徴点の位置ベクトル、及び該特徴点と該対応特徴点との回転差分に基づいて、該対応特徴点に対する対応基準点を算出し、該算出した対応基準点を入力画像上に投票して、入力画像上の所定の小領域内に、予め設定された投票閾値以上の数の対応基準点が投票された場合に、入力画像中に標準画像が存在していると判定する。
上記のように構成された画像認識装置では、標準画像中の各特徴点の特徴量として、標準画像中における当該特徴点の位置を示す位置情報が含まれている。そのため、仮に入力画像中に標準画像が存在しているならば、特徴量比較手段により設定された対応点のうち入力画像中の対応特徴点の位置関係は、標準画像中における対応する特徴点の位置関係と類似するはずである。
そこで、標準画像中の対応点(特徴点)に対応した上記位置情報に基づき、入力画像中の対応点の位置関係が標準画像中の対応点の位置関係と類似しているか否かを判断する。そして、類似している場合、即ち、対応点の位置関係が入力画像及び標準画像の双方で類似しているならば、標準画像が入力画像中に存在していると判定する。
つまり、従来のように、単に特徴量の一致又は類似する特徴点が多いか少ないかという単純な判定方法で標準画像の有無を判定するのではなく、標準画像と入力画像における対応点の位置関係を調べることで、標準画像の有無を判定しているのである。
更に、本発明における位置情報は、より具体的には、標準画像における上記基準点に対する各特徴点の位置ベクトルである。そして、判断手段は、この位置ベクトルに基づいて、入力画像中における各対応特徴点に対する基準点(対応基準点)を算出し、それを入力画像上に投票することで、入力画像中に標準画像が存在しているか否か判定する。
従って、本発明の画像認識装置によれば、入力画像から抽出できる特徴点(標準画像に対応した特徴点)の数が少ない場合であっても、特徴点の位置関係に基づいて標準画像の存在を判定できるため、認識対象物を確実に認識することができる。
また、入力画像中に標準画像が存在しているにも拘わらず入力画像から抽出できる特徴点(標準画像に対応した特徴点)の数が少なくて入力画像中の対応特徴点が少ない場合であっても、各対応特徴点に対応した基準点の全て又は大部分は入力画像中の所定の小領域内に投票されることになる。そのため、その投票値に基づいて、入力画像中の対応特徴点の位置関係が該各対応特徴点に対応した標準画像中の特徴点の位置関係と類似しているか否かを間接的に判断でき、その結果、入力画像中の標準画像の有無を確実に判定することができる。
票閾値は、例えば、標準画像の種類に拘わらず一定値としてもよいが、例えば請求項記載のように、標準画像において抽出されている特徴点の数に応じ、該標準画像毎に個別に設定するようにしてもよい。
例えば、標準画像において抽出されている特徴点の数が多いほど投票閾値も大きくする、といったことが可能である。このように特徴点の数に応じて標準画像毎に投票閾値を設定することで、種々の標準画像を確実に判定(判別)することが可能となる。
なお、判定手段は、例えば請求項記載のように、入力画像中における対応特徴点の数が、標準画像における特徴点の総数に対する所定の割合以上の場合は、そのまま入力画像中に標準画像が存在していると判定するようにしてもよい。つまり、対応特徴点の数が多くて標準画像が存在している可能性が高い場合は、あえて上述した各請求項1、2に記載のような判定は行わない。そして、対応特徴点の数が少ない場合に、上記各請求項1、2に記載した判定を行うのである。
このようにしても、上記各請求項1、2とほぼ同等の確実性をもって標準画像の有無を判定できる。
以下に、本発明の好適な実施形態を図面に基づいて説明する。
図1は、本発明が適用された標識認識システムの概略構成を示すブロック図である。本実施形態の標識認識システム1は、車両に搭載され、車両前方における所定範囲内の画像を撮影してその画像中に所定の対象物(各種道路標識等)が存在しているか否かを判断し、対象物の存在を認識した場合はその旨を運転者等へ伝えるものである。この標識認識システム1は、図1に示す如く、主として、カラーカメラ10と、ナビゲーションECU(以下「ナビECU」と略す)20と、出力部30とを備えている。
カラーカメラ10は、車両において例えばルームミラー近傍に取り付けられ、車両前方の所定範囲を撮影する。具体的には、レンズ11と撮像素子12とにより構成され、レンズ11を通して撮像素子12に入力された画像情報が画素信号(RGB信号)としてナビECU20へ出力される。なお、本実施形態の標識認識システム1は、多色画像を入力可能なカラーカメラ10を備えた構成としたが、モノクロ画像を撮影するカメラを用いてもよい。
ナビECU20は、車両におけるいわゆるナビゲーションシステムを制御するための電子制御装置であるが、本実施形態では、ナビゲーションシステムに関する各種制御に加え、カラーカメラ10からの画素信号(以下「入力画像」ともいう)に基づく標識認識も行う。そのため、標識認識を行うための画像処理部21を備えている。
画像処理部21には、認識対象物としての各種道路標識の画像が、その種類毎に標準画像として登録されている。そのため、画像処理部21は、カラーカメラ10からの入力画像中に、その登録されている標準画像のいずれか(1つ又は複数)が存在しているか否かを判断し、その結果を出力部30へ出力する。
画像処理部21は、より具体的には、入力画像及び標準画像から特徴点を抽出する特徴点抽出部22と、特徴点抽出部22にて抽出された特徴点毎に特徴量を算出する特徴量算出部23と、入力画像中の各特徴点の特徴量と標準画像中の各特徴点の特徴量を比較し、特徴量が一致又は類似する特徴点同士を対応点として設定する特徴量比較部24と、特徴量比較部24により対応点として設定された特徴点に基づいて入力画像中に標準画像(対象物)が存在しているか否かを判定する対象標識判定部25とを備えている。対象標識判定部25による判定結果は、出力部30に出力される。
なお、特徴点抽出部22における標準画像の特徴点抽出は、入力画像の特徴点抽出を行う毎に逐一行っても良いが、本実施形態では、標準画像の登録の際に予め特徴点の抽出が行われ、抽出された特徴点が標準画像毎に図示しないメモリに格納されている。特徴量算出部23における標準画像の特徴量算出についても同様であり、標準画像の特徴点抽出・メモリ格納時に、抽出された各特徴点について特徴量の算出も行われ、その算出結果がメモリに格納されるようにしている。つまり、標準画像については、特徴点の抽出及び特徴量の算出のいずれも、当該標識認識システム1への標準画像登録時に行っておくのである。そのため、実際に入力画像中に標準画像が存在しているか否かの判定を行う際には、特徴点抽出部22は入力画像に対して特徴点の抽出を行い、特徴量算出部23はその抽出された入力画像中の特徴点に対する特徴量の算出を行うこととなる。
上記構成の画像処理部20は、特徴点抽出部22、特徴量算出部23、特徴量比較部24、及び対象標識判定部25がそれぞれ別個独立したハードウェアとして構成されたものであってもよいし、CPUがプログラムを実行することで上記特徴点抽出部22、特徴量算出部23、特徴量比較部24、及び対象標識判定部25としての各種機能を実現するように構成されたものであってもよい。
出力部30は、ディスプレイ31と、スピーカ32と、インジケータ33とを備えている。ディスプレイ31は、ナビゲーションシステムにおける地図画像や各種情報等を表示するほか、画像処理部21における画像認識結果の表示も行う。具体的には、例えば、入力画像中から道路標識を認識した場合にその道路標識の画像を表示する。
スピーカ32は、ナビゲーションシステムにおける各種音声案内等の出力を行うほか、画像処理部21における画像認識結果の音声案内も行う。具体的には、例えば、入力画像中から横断歩道の標識を認識した場合に「前方に横断歩道があります・・・」といった音声を出力する。
インジケータ33は、登録されている道路標識のいずれかが認識された場合に、特定のLEDを点灯させることで、道路標識を認識した(車両前方に道路標識が存在している)旨を運転者へ視覚的に報知する。
次に、上記のように構成された本実施形態の標識認識システム1における、ナビECU20の画像処理部21にて実行される画像認識処理について、図2に基づいて説明する。図2は、画像処理部21にて実行される画像認識処理を表すフローチャートである。
なお、図2の画像認識処理において、S120の処理は特徴点抽出部22により実行され、S130の処理は特徴量算出部23により実行され、S140の処理は特徴量比較部24により実行され、S150の処理は対象標識判定部25により実行される。
図2に示す如く、画像処理部21は、まず、S110にて、カラーカメラ10からの画像入力を受け付ける。カラーカメラ10からは、撮影された動画像が1秒に数十枚の静止画像として順次入力される。そのため、図2の画像認識処理は、各画像毎に実行される。
S110にて画像が入力されると、S120にて、特徴点抽出処理が実行される。なお、このS120の特徴点抽出処理と、続くS130の特徴量算出処理及びS140の特徴量比較処理は、いずれも、既述の非特許文献1に詳しく記載されているため、ここではこれら各処理の詳細説明は省略し、その概要のみ説明する。
S120の特徴点抽出処理は、入力画像から特徴点を抽出するものであり、その詳細は、図3に示す通りである。即ち、この特徴点抽出処理が開始されると、まず、S210にて、入力画像に対する多重解像度平滑化画像を作成する。具体的には、入力画像I(x,y)を一又は複数段階に縮小処理することにより解像度の異なる複数種類の入力画像を得る。そして、縮小前の入力画像を含む各解像度の入力画像毎に、スケールσのガウス関数G(x,y,σ)と入力画像I(x,y)を畳み込んだ平滑化画像L(x,y,σ)を、異なる複数のスケールσについて次式により求める。
図4は、各解像度の入力画像に対し、スケールσを5段階に変化させて各段階毎の平滑化画像を得た例を示している。
次に、S220にて、S210で得られた平滑化画像の差分をとり、特徴点候補を求める。具体的には、スケールの異なる複数の平滑化画像に対してDoG(Difference of Gaussian)フィルタを適用し、そのDoGフィルタ出力画像(DoG画像)を得る。図4には、スケールの異なる平滑化画像間の差分処理(DoGフィルタ処理)により、各解像度毎に4枚のDoG画像が得られた例が示されている。なお、DoG画像D(x,y,σ)は、次式(3)により求められる。
そして、注目画素(図4中の×印)が26近傍領域において極値(極大値又は極小値)である場合に、その注目画素を特徴点候補とする。即ち、注目画素の周囲3×3領域の画素(計8画素)と、その注目画素を含むDoG画像(スケールσi)より一段下位のDoG画像(スケールσi-1)及び一段上位のDoG画像(スケールσi+1)における対応する領域(3×3領域)の画素(それぞれ計9画素)の、合わせて26画素に対し、注目画素が極値となるか否かを判断する。そして、極値である場合にその注目画素を特徴点候補とするのである。なお、このとき極値となるDoG画像のスケールは、その特徴点候補が正式に特徴点として抽出された場合であってその特徴量を抽出する際に用いる。
次に、S230にて、特徴点候補があるか否かを判断する。S220の処理にて特徴点候補が全く求められなかった場合はそのままこの特徴点抽出処理を終了するが、特徴点候補が1つでも求められたならば、S240に進む。
S240では、得られた特徴点候補1つ1つに対し、角(コーナー)に存在する点であるか否か(換言すれば、エッジ上に存在しない点であるか否か)を判断する。S220で求められた特徴点候補には、開口問題が発生しやすい点が含まれている可能性がある。そこで、本実施形態では、エッジ上に存在する可能性の高い特徴点候補を削除してより頑健な点のみを特徴点とするのである。つまり、S220にて得られた特徴点候補を更に絞り込んで、真に特徴点とすべき点を抽出するのである。
このS240の処理、即ち特徴点の絞り込みは、ハリスのコーナー検出法に類似した手法で行う。即ち、まず次式(4)で表される二次元ヘッセ行列を求める
そして、得られた二次元ヘッセ行列をもとに、次式(5)を満たす特徴点候補を正式な特徴点とする。つまり、得られた二次元ヘッセ行列の対角成分の和Tr(H)と行列式Det(H)を求め、その比率が所定の閾値Thより小さいものを特徴点として抽出するのである。
S240にて、コーナーに存在すると判断されなかった(つまりエッジ上に存在する可能性が高い)場合は、その特徴点候補を正式な特徴点とすることなくS260に進むが、コーナーに存在すると判断された(つまりエッジ上に存在する可能性が低い)場合は、s250に進み、その特徴点候補を正式に特徴点として抽出する。
そして、S260にて、全ての特徴点候補に対してS240の処理(コーナーに存在する場合はS250の処理も)を行ったか否かを判断し、全ての特徴点候補に対して上記処理が終了するまで、S240以下の処理が繰り返される。
なお、標準画像の特徴点については、既述の通り、登録されている各標準画像毎に、その特徴点が予め抽出されてメモリに登録されている。そして、この標準画像の特徴点抽出も、上記の入力画像の特徴点抽出と全く同様にして行われる。即ち、図3及び図4を用いて説明した方法と同じようにして、標準画像の特徴点も抽出されるのである。
ここで一旦、図2の画像認識処理に戻る。上記のようにS120の特徴点抽出処理(詳細は図3)が終了すると、S130に進み、特徴量算出処理を行う。即ち、S120の処理により抽出された特徴点の1つ1つに対し、特徴量を算出するものであり、その詳細は図5に示す通りである。
即ち、この特徴量算出処理が開始されると、まず、S310にて、ある1つの特徴点につき、その特徴点付近の方向ヒストグラムを生成する。具体的には、図6(a)に示すように、特徴点(keypoint)を中心とする基準領域(図中丸印で示した範囲)内の各画素につき、輝度勾配m(x,y)とその勾配方向θ(x,y)を次式により求める。なお、この基準領域の大きさは、特徴点が抽出されたDoG画像の平滑化スケールによって決定される。
そして、求めた輝度勾配の大きさmと勾配方向θから、36方向に分割した重み付き方向ヒストグラムを作成する。そして、作成した36方向のヒストグラムから、ピーク値をとる方向を、その特徴点の基準勾配方向として割り当てる。なお、本例(図6(a))では、ピーク値をとる方向をその特徴点の基準勾配方向としたが、別の方法として、ピーク値に近い方向(例えばピーク値の80%以上の方向)を全てその特徴点の基準勾配方向として設定してもよい。
このようにして、特徴点付近の方向ヒストグラムを作成することによりその特徴点の基準勾配方向を求めた後は、S320に進み、度数(回転方向)の正規化を行う。即ち、図6(b)に示すように、特徴点の周辺領域を、その特徴点の基準勾配方向に回転する。換言すれば、基準領域内(スケール内)の各画素の勾配方向を上記基準勾配方向の角度分だけマイナスする。このようにして度数の正規化を行うことで、回転に対する不変性を有する特徴量を得ることができるようになる。
そして、S330に進み、スケール不変特徴量を算出する。具体的には、図6(c)に示すように、ガウス窓を用いて中心付近が強くなるように重み付けをする。このガウス窓の大きさは、既述の通り、特徴点が抽出されたDoG画像の平滑化スケールによって決定される。そのため、画像サイズが例えば2倍であれば、スケールも2倍となり、構造的に同一の範囲における特徴量が得られることとなる。これにより、スケール変化に対する不変性を有する特徴量を得ることができるようになる。
そして、図6(c)に示すように、基準領域を4×4の16領域に分割し、それぞれに8方向のヒストグラムを作成する。この結果、128次元ベクトルのスケール不変特徴量が得られることとなる。
このようにして、ある特徴点の特徴量を算出したら、S340に進み、全ての特徴点に対して特徴量(スケール不変特徴量)の算出を行ったか否かを判断する。全ての特徴点について特徴量算出が終了するまでは、各特徴点毎にS310〜S330の処理を行ってスケール不変特徴量を算出するが、全ての特徴点について特徴量算出が終了したら、この特徴量算出処理を終了する。
一方、標準画像の特徴量については、既述の通り、登録されている各標準画像の特徴点毎に、予め算出し、メモリに格納されている。この標準画像の特徴量は、基本的には、上述の入力画像の特徴量と同様の手順で算出するが、本実施形態では更に、標準画像中の各特徴点の特徴量として、当該特徴点の位置情報を付加する。具体的には、図7に示すように、標準画像中の任意の一点を基準点として設定し、その基準点に対する当該特徴点の位置ベクトルを位置情報として当該特徴点の特徴量に含ませるのである。図7は、標準画像中の三つの特徴点について基準点に対する位置ベクトルを設定した例を示している。本実施形態では、各特徴点毎に、基準点に対する位置ベクトルを特徴量として含むようにしている。
標準画像の特徴量算出の具体的手順について、図8に基づいて説明する。図8は、標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。この処理が開始されると、まずS410にて、標準画像中にある1つの基準点を与える。その上で、S420以降、標準画像中の特徴点毎に特徴量を算出する。なお、S420〜S440の処理は、図5の特徴量算出処理におけるS310〜S330の処理と全く同様であるため、ここではこのS420〜S440の処理についての詳細説明を省略する。
S420〜S440の処理により標準画像中のある特徴点についてスケール不変特徴量を算出すると、S450に進み、S410で与えられた基準点の座標と特徴点の座標との差Δx,Δyをとる。これにより、基準点に対する特徴点の位置ベクトル(Δx,Δy)が得られることとなる。
そして、S460にて、S440で算出されたスケール不変特徴量と、S450で得られた位置ベクトル(Δx,Δy)を、当該特徴点に対する特徴量(位置情報を含む特徴量)として登録(メモリに格納)する。続くS470では、標準画像中の全ての特徴点に対して上記特徴量の算出(S460)を行ったか否かを判断し、全ての特徴点について上記特徴量(位置情報を含む特徴量)を算出するまでS420以下の処理を繰り返す。
ここで再び、図2の画像認識処理に戻る。上記のようにS130の特徴量算出処理(詳細は図5)が終了すると、S140に進み、特徴量比較処理(対応点探索)を行う。即ち、S130の処理により算出された各特徴点の特徴量と標準画像中の各特徴点の特徴量とを比較し、類似する特徴点同士を対応点として設定するものであり、その詳細は図9に示す通りである。
即ち、この特徴量比較処理が開始されると、まずS510にて、対応点探索処理を行う。この対応点探索処理は、詳細には図10に示す通りである。即ち、図10に示すように、まずS710にて、標準画像中のある特徴点(1点)に対する、入力画像中の全ての特徴点との、特徴量の類似度を算出する。
イメージとしては、図11に示すように、標準画像中のある特徴点と、入力画像中の全ての特徴点とを比較して、その特徴量の類似度を求める。より具体的には、図5のS330で算出された入力画像特徴点のスケール不変特徴量と図8のS440で算出された標準画像特徴点のスケール不変特徴量(いずれも図6(c)で説明した128次元の特徴量)の類似度が判断される。
即ち、例えば、標準画像から予めM個の特徴点が抽出され、入力画像からN個の特徴点が抽出されたとすると、標準画像中の各特徴点の特徴量Stempと入力画像中の各特徴点の特徴量Winputは、それぞれ次式(9),(10)で表される。
そして、標準画像中の特徴点(m番目)と、入力画像中の特徴点の、特徴量の類似度を、次式(11)により求める。
つまり、標準画像中の特徴点1点に対して、入力画像中の全ての特徴点との類似度を求めるのである。
そして、S720にて、求められた類似度の中で、一番近い類似度(即ち類似度の最も高いもの)と二番目に近い類似度(即ち類似度が二番目に高いもの)とを比較し、両者の差が所定の閾値以上であれば(S730:YES)、S740に進み、一番近い類似度の点同士を対応点として設定する。一方、両者の差が所定の閾値未満ならば(S730:NO)、その両者は対応する特徴点ではないと判断してそのままこの対応点探索処理を終了する。
図9に戻り、S510の対応点探索処理(詳細は図10)が終了したら、S520に進み、全ての組合せで比較を行ったか否かを判断する。即ち、標準画像の全ての特徴点について、入力画像中の全ての特徴点との特徴量類似度判断(S510の対応点探索処理)を行ったか否かを判断する。そして、全ての組合せで比較を行うと、この特徴量比較処理を終了する。この時点で、標準画像と入力画像における、特徴量の類似する特徴点の組合せ(対応点)が全て探索された状態となる。
ここで再び、図2の画像認識処理に戻る。上記のようにS140の特徴量比較処理(詳細は図9,図10)が終了すると、S150に進み、対象物判定処理を行う。即ち、S140の処理により探索された対応点に基づき、入力画像中に対象物(標準画像)が存在しているか否かを判定するものであり、その詳細は図12に示す通りである。
即ち、この対象物判定処理が開始されると、まずS610にて、入力画像中に対応点が存在するか否かを判断する。つまり、図10の対応点探索処理において対応点が1つでも設定されたか否かが判断される。ここで、いずれの特徴点も対応点として設定されていない場合はそのままこの対象物判定処理を終了するが、対応点が1つでも設定されていたら、S620の投票処理に進む。
S620の投票処理では、入力画像中、対応点として設定された特徴点毎に、その特徴点に対応した基準点(標準画像中の基準点に対応するもの)を求めて、入力画像平面座標上に投票する。
即ち、図13に示すように、まずS810にて、対応点として設定された入力画像中の特徴点毎に、その基準点を求める。図14を参照しつつ具体的に説明すると、まず、標準画像中における対応する特徴点と基準点との距離が次式(12)により得られる。なお、Δx,Δyはそれぞれ当該特徴点(標準画像中)の位置ベクトルの各成分である。
上記式(12)の距離に、入力画像と標準画像のスケール比σin/σtempを乗じることにより、入力画像中における特徴点と当該特徴点に対する基準点との距離が得られる(次式(13)。
そして、この基準点を、標準画像と入力画像の特徴点の回転差分だけ余分に回転させることにより、次式(14)〜(16)に示す通り、入力画像中における当該特徴点に対する基準点(X,Y)が求められる。なお、式(16)のθは位置ベクトルの角度を示すものである。
そして、S820にて、求められた基準点を、入力画像平面座標上に投票する。そして、図12に戻り、S630にて、入力画像中の全ての対応点(標準画像中の特徴点との対応がとれた特徴点)に対して投票処理(S620)を行ったか否かを判断し、全ての対応点に対して投票処理が終了するまでS620の処理を繰り返す。
そして、全ての対応点に対して投票処理が終了すると、S640にて、投票値がある閾値以上の基準点が存在するか否かを判断する。この状態においては、各対応点(特徴点)に対する基準点が入力画像平面座標上に投票されているわけだが、もし、入力画像中に対象物(標準画像)が存在していれば、入力画像平面座標上の同じ場所(ある狭い領域)内に基準点が多数投票されているはずである。そのため、例えば図15(a)に示すように、基準点が相互に近接した状態にある場合は、入力画像中に対象物が存在する可能性が高いといえる。
なお、S640における投票値の閾値は、全ての標準画像に共通した一定の値としてもよいが、各標準画像毎に個々に設定するようにしてもよい。後者の場合、例えば、特徴点の数が多いほど閾値も大きい値にするなど、標準画像から抽出される特徴点の数に応じて、投票値の閾値を設定することができる。
逆に、特徴量の類似する特徴点があるものの入力画像中に対象物が存在しているわけではない場合は、投票される基準点の位置関係は特徴点(対応点)毎にばらばらとなる(分散する)。そのため、図15(b)に示すように、基準点が座標上に分散した状態の場合は、入力画像中に対象物が存在する可能性は低いといえる。
そこで本実施形態では、図16に示すように、入力画像平面座標を予め複数の小領域に区切っておく。そして、その複数の小領域のうち、投票値がある閾値以上の領域が存在するか否かを判断する(S640)。
このS640の判断処理において、投票値が閾値以上の領域が存在していると判断されない場合はそのままこの対象物判定処理を終了するが、閾値以上の領域が存在していると判断された場合は、更にS650に進む。なお、図16は、上から3番目且つ左から3番目の小領域に複数(閾値以上)の基準点が投票されている例を示している。
S650では、標準画像と入力画像の特徴点(対応点)につき、そのスケール比及び回転差分がそれぞれ所定の閾値範囲内にあるか否かを判断する。そして、各対応点のスケール比及び回転差分がそれぞれ所定の閾値範囲内にある場合、S660に進み、その標準画像(対象物)が入力画像中に存在しているものと判定する。
以上説明したように、本実施形態の標識認識システム1では、予め標準画像から特徴点を抽出し、その特徴点の特徴量として、スケール不変特徴量にその特徴点の位置情報(ある1つの基準点に対する当該特徴点の位置ベクトル)を付加したものを算出しておく。そして、入力画像中から特徴点を抽出してその特徴量を算出し、標準画像における特徴量と類似する特徴点同士を、対応点として設定する。そして、入力画像における各対応点(特徴点)毎に、対応する標準画像の特徴点の特徴量(位置情報等含む)に基づいて基準点を算出し、入力画像平面に投票する。そして、ある小領域内に所定閾値以上の投票値があった場合に、入力画像中に対象物(標準画像)が存在していると判断する。
従って、入力画像から抽出できる特徴点(標準画像に対応した特徴点)の数が少ない場合であっても、特徴点の位置関係に基づいて標準画像の存在を判定できるため、認識対象物を確実に認識することができる。
しかも、本実施形態の特徴量は、画像の拡大、縮小、回転に対して不変性を有するものであるため、画像の大きさや回転位置に拘わらず、しかも抽出できる特徴点の数が少ない場合でも、対象物を確実に認識することができる。
[変形例]
以上、本発明の実施の形態について説明したが、本発明の実施の形態は、上記実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。
例えば、上記実施形態では、図8で説明したように、標準画像の特徴量に付加する位置情報として、標準画像中の基準点に対する各特徴点の位置ベクトルを用いたが、このように基準点に対する位置ベクトルを位置情報として用いるのはあくまでも一例であり、標準画像中における各特徴点の位置を直接的又は間接的に示す情報であれば種々のものを用いることができる。
一例として、上記実施形態のように基準点を設定せず、複数の特徴点の相互間の相対的位置関係(位置ベクトル)を位置情報として設定することができる。以下、具体的に説明する。
複数の特徴点相互間の位置ベクトルは、具体的には、図17に示すように設定できる。図17では、3つの特徴点A,B,Cを有する標準画像につき、各特徴点毎に、他の特徴点との間の位置ベクトルを設定している。即ち、特徴点Aについては、当該特徴点Aのスケール不変特徴量に対し、当該特徴点Aから特徴点Bを見た位置ベクトル及び当該特徴点Aから特徴点Cを見た位置ベクトルを位置情報として付加する。
特徴点Bについては、当該特徴点Bのスケール不変特徴量に対し、当該特徴点Bから特徴点Aを見た位置ベクトル及び当該特徴点Bから特徴点Cを見た位置ベクトルを位置情報として付加する。特徴点Cについては、当該特徴点Cのスケール不変特徴量に対し、当該特徴点Cから特徴点Aを見た位置ベクトル及び当該特徴点Cから特徴点Bを見た位置ベクトルを位置情報として付加する。なお、図17では、上記全ての位置ベクトルのうち一部については図示を省略している。
上記実施形態では、標準画像の特徴量算出を、図8に示す手順で行い、基準点に対する位置ベクトルを位置情報として特徴量に含ませるようにしたが、基準点を設定せずに特徴点の位置情報を上記のように設定する場合、標準画像の特徴量算出は、図18に示す手順で行う。
図18に示す標準画像特徴量算出処理において、S910〜S930の各処理は、図8に示した標準画像特徴量算出処理におけるS420〜S440の各処理と全く同じであるため、ここではS910〜S930の処理の説明を省略する。
そして、S940では、ある特徴点の座標(x,y)について、他の特徴点の座標(x’,y’)との差Δx,Δyをとる。これにより、当該特徴点から当該他の特徴点を見た位置ベクトル(Δx,Δy)が得られることとなる。
そして、S950にて、他の特徴点の全てに対して位置ベクトルを算出したか否かを判断し、他の特徴点全てに対する位置ベクトルを算出するまでS940の処理を続ける。これにより、ある1つの特徴点から他の特徴点を見た位置ベクトルが、当該他の特徴点毎に得られることとなる。
そして、S960にて、S930で算出されたスケール不変特徴量と、S940で得られた位置ベクトル(Δx,Δy)を、当該特徴点に対する特徴量(位置情報を含む特徴量)として登録(メモリに格納)する。続くS970では、標準画像中の全ての特徴点に対して上記特徴量の算出を行ったか否かを判断し、全ての特徴点に対して特徴量の算出が終了するまで、S910〜S960の処理を繰り返す。
また、上記のような位置情報を特徴量として付加する例においては、標準画像中に基準点を設定しないため、当然ながら上記実施形態の図12に示したような対象物判定処理(ひいては図13に示したような投票処理)は行わず、図19に示したような対象物判定処理を行う。
図19の対象物判定処理では、まず、S1010にて、入力画像中に対応点が存在するか否かを判断する。この判断は、図12のS610と同じである。ここで、いずれの特徴点も対応点として設定されていない場合はそのままこの対象物判定処理を終了するが、対応点が1つでも設定されていたら、S1020の相似度算出処理に進む。
S1020の相似度算出処理では、図20に示すように、標準画像中の任意の3つの特徴点を結ぶ三角形と、その3つの特徴点に対応した入力画像中の特徴点3つを結ぶ三角形を選択する。そして、選択した各画像中の三角形の相似度を、各画像中の3つの特徴点が有する位置情報(位置ベクトル)に基づいて算出する。
この三角形の種類(3つの特徴点の組合せ)は、特徴点の数が多いほど多くなり、例えば特徴点が4つある場合は、図22(a)〜(c)に示すような他種類の三角形(特徴点の組合せ)が考えられる。この組合せそれぞれについて、三角形の比較、即ち相似度の算出を行う。
S1020の相似度算出処理の詳細は図21に示す通りであり、まずS1110にて、標準画像中の特徴点を3点選択する。選択した各特徴点の位置情報は、例えば次式(17)のような位置ベクトルとして与えられている。
そして、S1120にて、上記選択した標準画像中の3つの特徴点に対応した入力画像中の特徴点(3点)の位置ベクトルを算出する。この位置ベクトルは、例えば次式(18)として算出される。
そして、S1130にて、得られた位置ベクトルに基づき、標準画像中における上記選択した3点で構成される三角形と、入力画像中における対応点(3点)で構成される三角形との相似度を算出する。相似度は、例えば次式(19)により得ることができる。
上記式(19)において、比較している三角形が全く同じ形ならば、相似度は0となる。つまり、上記式(19)の値が低いほど、相似具合が高いということになる。
このようにして相似度を算出したら、S1140にて、全ての特徴点の組合せ(任意の3点の組合せ)について三角形の相似度を算出したか否かを判断し、全ての組合せについて相似度を算出するまでS1110〜S1130の処理を繰り返す。
このようにして全ての三角形の組合せについて相似度を算出したら、S1030に進み、相似度がある閾値以内の特徴点の組合せ(対応点)が存在するか否かを判断する。このとき、閾値以内の相似度の組合せが全く存在しない場合はそのままこの対象物判定処理を終了するが、相似度が閾値以内の組合せが存在する場合は、S1040に進む。
このS1040の処理は、上記実施形態の図12におけるS650の処理と同じである。このS1040の処理において、スケール比及び回転差分がそれぞれ所定の閾値範囲内にあると判断された場合は、S1050に進み、その標準画像(対象物)が入力画像中に存在しているものと判定する。
上記説明したように、標準画像の特徴量として位置情報を付加する方法は、上記実施形態のように基準点を設定してそれに対する位置ベクトルを設定する方法に限らず、特徴点同士の相対的位置関係(位置ベクトル)を設定する方法でもよい。その場合、標準画像と入力画像の双方において3つの対応点からなる三角形の相似度を算出することで、対象物が入力画像中に存在しているか否かを判定することができる。
また、上記実施形態では、図11の投票処理において入力画像平面座標上に基準点を投票する際、図16に示したように、入力画像平面座標を予め複数の小領域に区切るようにしたが、このように入力画像座標平面を予め複数の小領域に区切る方法はあくまでも一例であり、例えば、投票する毎に、その投票した基準点を中心とする所定の小領域を設定するようにしてもよい。
図23を用いて具体的に説明すると、例えば、最初に基準点が投票されたときにその基準点を中心とする小領域P1を設定する。そして、次に基準点が投票されたとき、前回設定された小領域P1内に投票されたならば、新たな小領域は設定しないが、上記小領域P1の外部に投票された場合は、その投票された基準点を中心とする新たな小領域(例えばP2)を設定する。さらに次の基準点が投票されたとき、その基準点が既に設定されているP1又はP2のいずれかの小領域に投票されたならば、新たな小領域は設定しないが、上記各小領域P1,P2の外部に投票された場合は、その投票された基準点を中心とする新たな小領域(例えばP3)を設定する。
つまり、基準点を投票する毎に、その投票された位置が既に設定されている小領域の中であれば、その投票はその小領域における投票値として加算される。一方、投票された位置が既設の小領域の外部ならば、当該投票された位置を中心とする新たな小領域を設定する。このようにして、全ての基準点について投票を行っていき、投票数がある閾値以上の小領域があれば、対象物が入力画像中に存在していると判定できる。
また、上記実施形態では、図9の特徴量比較処理において探索された対応点の数(大小)に拘わらず、全ての対応点について図12の対象物判定処理(図13の投票処理)を行うようにしたが、多数の対応点(例えば標準画像中の特徴点の総数の80%以上の数の対応点)が探索された場合は、そのことをもって入力画像中に対象物が存在しているものと判定してもよい。つまり、対応点が多い場合は対象物が存在する可能性が高いため、投票処理までは行わない。逆に、対応点が少ない場合は、対象物が存在する可能性は低いのであるがその可能性は0ではない(既述のオクルージョン等による)ため、念のため投票処理を行って、対象物の有無を確実に判定する。但し、全体として対象物の有無判定の確実性を高めるためには、上記実施形態のように、対応点の数に拘わらず必ず投票処理を行うのが好ましい。
また、上記実施形態の対応点探索処理(図10)では、求められた類似度の中で、一番近い類似度(即ち類似度の最も高いもの)と二番目に近い類似度(即ち類似度が二番目に高いもの)とを比較し、両者の差が所定の閾値以上の場合に、一番近い類似度の点同士を対応点として設定したが、このようにして対応点を探索、設定する方法もあくまでも一例である。他の例としては、例えば、標準画像と入力画像の特徴量(スケール不変特徴量)を比較し、得られた特徴量が最も近い特徴点同士を対応点としてもよい。
また、上記実施形態では、本発明を車両の標識認識システム1に適用した例を示したが、車両への適用、或いは道路標識等を認識する標識認識システムへの適用はあくまでも一例である。本発明は、標準画像及び入力画像の特徴点を抽出すると共に各特徴点の特徴量を算出し、これに基づいて、予め登録された対象物(標準画像)が入力画像中に存在するか否かを判断(認識)するよう構成されたあらゆる画像認識装置に対して適用可能である。
本実施形態の標識認識システムの概略構成を示すブロック図である。 画像認識処理を表すフローチャートである。 図2の画像認識処理におけるS120の特徴点抽出処理を表すフローチャートである。 DoG画像作成により特徴点を抽出する処理を説明するための説明図である。 図2の画像認識処理におけるS130の特徴量算出処理を表すフローチャートである。 スケール不変特徴量を算出する過程を説明するための説明図である。 標準画像における基準点と各特徴点との位置関係を説明するための説明図である。 標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。 図2の画像認識処理におけるS140の特徴量比較処理を表すフローチャートである。 図9の特徴量比較処理におけるS510の対応点探索処理を表すフローチャートである。 標準画像中の特徴点(1点)と入力画像中の全特徴点との比較(相似度判断)を説明するための説明図である。 図2の画像認識処理におけるS150の対象物判定処理を表すフローチャートである。 図12の対象物判定処理におけるS620の投票処理を表すフローチャートである。 入力画像において特徴点毎に基準点を算出する方法を説明するための説明図である。 入力画像座標平面上に複数の基準点が投票された結果の一例を示す説明図である。 入力画像座標平面が複数の小領域に区切られていることを説明するための説明図である。 標準画像における各特徴点の相互間の位置関係を説明するための説明図である。 変形例としての、標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。 変形例としての、対象物判定処理を表すフローチャートである。 標準画像及び入力画像において対応する3つの特徴点により三角形が構成されることを説明するための説明図である。 図19の対象物判定処理におけるS1020の相似度算出処理を表すフローチャートである。 標準画像及び入力画像において対応する3つの特徴点の組合せ例を説明するための説明図である。 入力画像座標平面において投票された基準点の周囲に小領域が形成されることを説明するための説明図である。
符号の説明
1…標識認識システム、10…カラーカメラ、11…レンズ、12…撮像素子、20…ナビECU、21…画像処理部、22…特徴点抽出部、23…特徴量算出部、24…特徴量比較部、25…対象標識判定部、30…出力部、31…ディスプレイ、32…スピーカ、33…インジケータ、P1,P2,P3…小領域

Claims (3)

  1. 入力された入力画像から、認識対象物として予め登録されている標準画像を認識する画像認識装置であって、
    前記入力画像から特徴点を抽出する特徴点抽出手段と、
    前記特徴点抽出手段により抽出された特徴点の各々に対し、該特徴点の特徴的情報である特徴量として、前記入力画像の回転及びスケール変化に対して不変性を有するスケール不変特徴量を算出する特徴量算出手段と、
    を備え、
    前記標準画像に対し、予め、該標準画像から特徴点が抽出されると共に、該抽出された特徴点の各々に対し、該特徴点の特徴的情報である特徴量として、該標準画像の回転及びスケール変化に対して不変性を有するスケール不変特徴量が算出され、当該画像認識装置に設定されており、
    前記標準画像に対する前記特徴量には、該標準画像における対応する前記特徴点の位置を直接又は間接的に示す位置情報が含まれており、
    更に、
    前記特徴量算出手段により算出された前記入力画像の特徴点の特徴量と、前記設定されている前記標準画像の特徴点の特徴量とを比較し、該各画像間で特徴量が類似する特徴点同士を対応点として設定する特徴量比較手段と、
    前記入力画像中の前記特徴点のうち前記特徴量比較手段により対応点として設定された特徴点である対応特徴点の位置関係が、該各対応特徴点に対応した前記標準画像中の特徴点の位置関係と類似しているか否かを、前記入力画像中の前記対応特徴点の座標と前記標準画像中の各特徴点の特徴量に含まれている前記位置情報に基づいて直接又は間接的に判断し、類似していると判断した場合に、前記入力画像中に前記標準画像が存在していると判定する判定手段と、
    を備え、
    前記標準画像中の任意の1点に基準点が設定されており、
    前記位置情報は、前記標準画像における前記基準点に対する前記各特徴点の位置ベクトルであり、
    前記判定手段は、前記入力画像中の前記各対応特徴点毎に、該対応特徴点に対応する前記標準画像中の前記特徴点と前記基準点との距離である標準距離をその特徴点の前記位置ベクトルに基づいて算出し、該対応特徴点とその対応特徴点に対する基準点である対応基準点との距離を対応距離として、その対応距離と前記標準距離との比が前記入力画像のスケールと前記標準画像のスケールとの比であるスケール比に等しくなるように、前記標準距離及び前記スケール比を用いて前記対応距離を算出し、該対応特徴点の座標、前記対応距離、該対応特徴点に対応する前記標準画像中の前記特徴点の位置ベクトル、及び該特徴点と該対応特徴点との回転差分に基づいて、該対応特徴点に対する前記対応基準点を算出し、該算出した対応基準点を前記入力画像上に投票して、前記入力画像上の所定の小領域内に、予め設定された投票閾値以上の数の前記対応基準点が投票された場合に、前記入力画像中に前記標準画像が存在していると判定する
    ことを特徴とする画像認識装置。
  2. 請求項記載の画像認識装置であって、
    前記投票閾値は、前記標準画像において抽出されている前記特徴点の数に応じ、該標準画像毎に個別に設定されている
    ことを特徴とする画像認識装置。
  3. 請求項1又は請求項2に記載の画像認識装置であって、
    前記判定手段は、前記入力画像中における前記対応特徴点の数が、前記標準画像における前記特徴点の総数に対する所定の割合以上の場合は、そのまま前記入力画像中に前記標準画像が存在していると判定する
    ことを特徴とする画像認識装置。
JP2007102105A 2007-04-09 2007-04-09 画像認識装置 Expired - Fee Related JP4988408B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007102105A JP4988408B2 (ja) 2007-04-09 2007-04-09 画像認識装置
DE102008000758.7A DE102008000758B4 (de) 2007-04-09 2008-03-19 Vorrichtung zum Erkennen eines Objekts in einer Abbildung
FR0852220A FR2914761B1 (fr) 2007-04-09 2008-04-03 Dispositif pour reconnaitre un objet sur une image
US12/080,936 US8027514B2 (en) 2007-04-09 2008-04-07 Apparatus for recognizing object in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007102105A JP4988408B2 (ja) 2007-04-09 2007-04-09 画像認識装置

Publications (2)

Publication Number Publication Date
JP2008257649A JP2008257649A (ja) 2008-10-23
JP4988408B2 true JP4988408B2 (ja) 2012-08-01

Family

ID=39758699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007102105A Expired - Fee Related JP4988408B2 (ja) 2007-04-09 2007-04-09 画像認識装置

Country Status (4)

Country Link
US (1) US8027514B2 (ja)
JP (1) JP4988408B2 (ja)
DE (1) DE102008000758B4 (ja)
FR (1) FR2914761B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9249533B2 (en) 2014-05-27 2016-02-02 Brother Kogyo Kabushiki Kaisha Sewing machine
US10360471B2 (en) 2016-01-27 2019-07-23 Canon Kabushiki Kaisha Image retrieving device, image retrieving method, and recording medium

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster
JP5376906B2 (ja) * 2008-11-11 2013-12-25 パナソニック株式会社 特徴量抽出装置、物体識別装置及び特徴量抽出方法
US20100166303A1 (en) * 2008-12-31 2010-07-01 Ali Rahimi Object recognition using global similarity-based classifier
JP5075861B2 (ja) * 2009-03-16 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
JP5287392B2 (ja) * 2009-03-17 2013-09-11 トヨタ自動車株式会社 物体識別装置
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
US8953838B2 (en) * 2009-06-24 2015-02-10 Here Global B.V. Detecting ground geographic features in images based on invariant components
US8761435B2 (en) * 2009-06-24 2014-06-24 Navteq B.V. Detecting geographic features in images based on invariant components
DE102009027275A1 (de) * 2009-06-29 2010-12-30 Robert Bosch Gmbh Bildverarbeitungsverfahren für ein Fahrerassistenzsystem eines Kraftfahrzeugs zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements
JP5257274B2 (ja) * 2009-06-30 2013-08-07 住友電気工業株式会社 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP5468332B2 (ja) * 2009-08-20 2014-04-09 Juki株式会社 画像特徴点抽出方法
JP2011060058A (ja) * 2009-09-11 2011-03-24 Hitachi Kokusai Electric Inc 撮影装置および監視システム
WO2011088497A1 (en) * 2010-01-19 2011-07-28 Richard Bruce Baxter Object recognition method and computer system
JP5290227B2 (ja) * 2010-03-30 2013-09-18 セコム株式会社 対象物検知装置及びその学習装置
JP5411809B2 (ja) * 2010-05-31 2014-02-12 日本電信電話株式会社 画像特徴量比較装置、画像特徴量比較方法および画像特徴量比較プログラム
JP5578965B2 (ja) * 2010-07-02 2014-08-27 富士フイルム株式会社 オブジェクト推定装置および方法ならびにプログラム
US20120011119A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
JP5289412B2 (ja) * 2010-11-05 2013-09-11 株式会社デンソーアイティーラボラトリ 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法
US9146126B2 (en) * 2011-01-27 2015-09-29 Here Global B.V. Interactive geographic feature
KR101165357B1 (ko) * 2011-02-14 2012-07-18 (주)엔써즈 이미지 특징 데이터 생성 장치 및 방법
WO2012137621A1 (ja) * 2011-04-07 2012-10-11 富士フイルム株式会社 画像処理方法及び装置
JP5746550B2 (ja) 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
US8675997B2 (en) * 2011-07-29 2014-03-18 Hewlett-Packard Development Company, L.P. Feature based image registration
JP5906071B2 (ja) 2011-12-01 2016-04-20 キヤノン株式会社 情報処理方法、情報処理装置、および記憶媒体
JP5806606B2 (ja) 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
WO2013089146A1 (ja) 2011-12-16 2013-06-20 日本電気株式会社 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム
JP6153087B2 (ja) * 2011-12-16 2017-06-28 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
JP6131859B2 (ja) * 2012-01-30 2017-05-24 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
WO2013115202A1 (ja) * 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
JP6226187B2 (ja) * 2012-01-30 2017-11-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
ITVI20120041A1 (it) * 2012-02-22 2013-08-23 St Microelectronics Srl Rilevazione di caratteristiche di un'immagine
US8774508B2 (en) 2012-02-27 2014-07-08 Denso It Laboratory, Inc. Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point
JP5946315B2 (ja) * 2012-04-18 2016-07-06 説男 木村 画像検索システム
WO2014061258A1 (ja) * 2012-10-19 2014-04-24 コニカミノルタ株式会社 超音波診断装置、及び超音波診断方法
JP5962497B2 (ja) * 2012-12-25 2016-08-03 富士通株式会社 画像処理方法、画像処理装置および画像処理プログラム
US20140233859A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Electronic device and method of determining descriptor thereof
KR102127673B1 (ko) * 2013-02-15 2020-06-30 삼성전자주식회사 전자장치 및 전자장치의 디스크립터 결정방법
JP6128910B2 (ja) 2013-03-21 2017-05-17 キヤノン株式会社 学習装置、学習方法及びプログラム
RU2014109439A (ru) * 2014-03-12 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с сопоставлением положения руки, основываясь на признаках контура
DE102014110527A1 (de) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Verfahren zum Bestimmen von charakteristischen Bildpunkten für ein Kamerasystem eines Kraftfahrzeugs, Kamerasystem, Fahrassistenzsystem und Kraftfahrzeug
DE102014113174A1 (de) * 2014-09-12 2016-03-17 Connaught Electronics Ltd. Verfahren zum Bestimmen von charakteristischen Bildpunkten, Fahrerassistenzsystem und Kraftfahrzeug
US9576218B2 (en) * 2014-11-04 2017-02-21 Canon Kabushiki Kaisha Selecting features from image data
DE102014117074A1 (de) * 2014-11-21 2016-05-25 Adasens Automotive Gmbh Bildbasierte Objekterkennungstechnik
JP2016110215A (ja) * 2014-12-02 2016-06-20 トヨタ自動車株式会社 マーカ認識装置、マーカ認識方法及び認識プログラム
US9959661B2 (en) 2015-12-02 2018-05-01 Samsung Electronics Co., Ltd. Method and device for processing graphics data in graphics processing unit
JP6732517B2 (ja) * 2016-04-26 2020-07-29 蛇の目ミシン工業株式会社 縫製データ生成装置、縫製データ生成方法、プログラムおよび縫製システム
JP6770782B2 (ja) * 2016-04-28 2020-10-21 蛇の目ミシン工業株式会社 縫製データ生成装置、縫製データ生成方法、プログラムおよび縫製システム
JP6986333B2 (ja) * 2016-04-28 2021-12-22 株式会社ジャノメ 刺繍模様連結データ生成装置、刺繍模様連結データ生成方法、プログラムおよび縫製システム
JP6757203B2 (ja) * 2016-08-02 2020-09-16 キヤノン株式会社 画像検出装置とその制御方法、及びプログラム
JP7022076B2 (ja) 2016-12-19 2022-02-17 株式会社安川電機 産業機器用の画像認識プロセッサ及びコントローラ
WO2018143278A1 (ja) 2017-01-31 2018-08-09 株式会社エクォス・リサーチ 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
JP7072765B2 (ja) 2017-01-31 2022-05-23 株式会社アイシン 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN106980843B (zh) * 2017-04-05 2019-09-06 南京航空航天大学 目标跟踪的方法及装置
KR20220004460A (ko) * 2020-07-03 2022-01-11 삼성전자주식회사 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치
AU2021290436A1 (en) * 2021-12-10 2022-02-10 Sensetime International Pte. Ltd. Object recognition method, apparatus, device and storage medium
CN115191008A (zh) * 2021-12-10 2022-10-14 商汤国际私人有限公司 对象识别方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992002000A1 (en) 1990-07-17 1992-02-06 British Telecommunications Public Limited Company A method of processing an image
JPH04291472A (ja) * 1991-03-20 1992-10-15 N T T Data Tsushin Kk カラー画像同一性判定方法及びその実施装置
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
US6215914B1 (en) 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE10045360A1 (de) 2000-09-14 2002-03-28 Giesecke & Devrient Gmbh Verfahren zur Klassifizierung von Dokumenten
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4324417B2 (ja) * 2003-07-18 2009-09-02 富士重工業株式会社 画像処理装置および画像処理方法
JP4605445B2 (ja) 2004-08-24 2011-01-05 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2006133979A (ja) * 2004-11-04 2006-05-25 Nec Infrontia Corp 指紋照合装置および指紋照合方法
WO2006092957A1 (ja) 2005-03-01 2006-09-08 Osaka Prefecture University Public Corporation 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
JP5109564B2 (ja) * 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
US8144947B2 (en) * 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9249533B2 (en) 2014-05-27 2016-02-02 Brother Kogyo Kabushiki Kaisha Sewing machine
US10360471B2 (en) 2016-01-27 2019-07-23 Canon Kabushiki Kaisha Image retrieving device, image retrieving method, and recording medium

Also Published As

Publication number Publication date
JP2008257649A (ja) 2008-10-23
FR2914761B1 (fr) 2014-11-21
DE102008000758B4 (de) 2018-09-06
FR2914761A1 (fr) 2008-10-10
DE102008000758A1 (de) 2009-02-05
US8027514B2 (en) 2011-09-27
US20080247651A1 (en) 2008-10-09

Similar Documents

Publication Publication Date Title
JP4988408B2 (ja) 画像認識装置
US20240161265A1 (en) Information processing device, information processing method, and storage medium
US8059868B2 (en) License plate recognition apparatus, license plate recognition method, and computer-readable storage medium
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
US9430704B2 (en) Image processing system with layout analysis and method of operation thereof
Moranduzzo et al. Automatic car counting method for unmanned aerial vehicle images
US9171204B2 (en) Method of perspective correction for devanagari text
CN105303156B (zh) 字符检测装置、方法及程序
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
JP2006048322A (ja) オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法
EP3171295B1 (en) Method for processing image and computer-readable non-transitory recording medium storing program
US10762372B2 (en) Image processing apparatus and control method therefor
JP2011065643A (ja) 文字認識方法及び文字認識装置
US8306332B2 (en) Image search method and device
US10915772B2 (en) Apparatus and method for registering face pose for face recognition
CN112926463B (zh) 一种目标检测方法和装置
Upadhyay et al. Analysis and architecture for the deployment of dynamic license plate recognition using yolo darknet
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
JP6591257B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4919171B2 (ja) 文字読取り装置、文字読取り方法及び該文字読取り装置に用いられる文字読取り制御プログラム
JP5327241B2 (ja) 物体識別装置
JP2021096652A (ja) 画像識別装置、方法、及びプログラム
CN104463135B (zh) 一种车标识别方法和***
JPH08190690A (ja) ナンバープレート決定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120426

R150 Certificate of patent or registration of utility model

Ref document number: 4988408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees