JPH11306353A - 物体認識方法及び物体認識装置 - Google Patents
物体認識方法及び物体認識装置Info
- Publication number
- JPH11306353A JPH11306353A JP10110453A JP11045398A JPH11306353A JP H11306353 A JPH11306353 A JP H11306353A JP 10110453 A JP10110453 A JP 10110453A JP 11045398 A JP11045398 A JP 11045398A JP H11306353 A JPH11306353 A JP H11306353A
- Authority
- JP
- Japan
- Prior art keywords
- template
- input image
- image
- registered
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 データベース登録時を基準に、物体にいかな
る剛体的な変動が発生したとしても、その変化に影響さ
れずに物体を認識することを目的とする。 【解決手段】 予め登録してあるモデル画像群と入力画
像の対応する局所テンプレートとの照合に幾何学的な基
準に基づいて評価する幾何学的評価手段と、前記入力画
像内に予めデータベースに登録されている物体が存在す
るか否かを判定する認識手段とを備えることを特徴とす
るもので、物体の位置や向き（傾き）の変化の影響をう
けない実用的な物体認識が可能となる。
る剛体的な変動が発生したとしても、その変化に影響さ
れずに物体を認識することを目的とする。 【解決手段】 予め登録してあるモデル画像群と入力画
像の対応する局所テンプレートとの照合に幾何学的な基
準に基づいて評価する幾何学的評価手段と、前記入力画
像内に予めデータベースに登録されている物体が存在す
るか否かを判定する認識手段とを備えることを特徴とす
るもので、物体の位置や向き（傾き）の変化の影響をう
けない実用的な物体認識が可能となる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像の中に含まれ
ている３次元物体の同定（識別）と、その画像内での位
置（領域）、実空間での向きの推定を行なう物体認識方
法及び物体認識装置に関する。
ている３次元物体の同定（識別）と、その画像内での位
置（領域）、実空間での向きの推定を行なう物体認識方
法及び物体認識装置に関する。
【０００２】
【従来の技術】画像（２次元データ）を用いて実空間内
の３次元物体を認識する場合の最大の問題は、撮影系
（カメラ）と物体の間の相対的な位置関係や傾き（向
き）の変化に伴う画像のみかけの変動にどう対処するか
である。この困難な問題に対して従来評価の高い方法
は、文献； 大場光太郎、池内克史：''局所固有空間手
法による金属物体の安定認識''、電子情報通信学会論文
誌 D-II, Vol. J80-D-II No.,12 pp. 3147--3154,1997
年2月 に示されている。
の３次元物体を認識する場合の最大の問題は、撮影系
（カメラ）と物体の間の相対的な位置関係や傾き（向
き）の変化に伴う画像のみかけの変動にどう対処するか
である。この困難な問題に対して従来評価の高い方法
は、文献； 大場光太郎、池内克史：''局所固有空間手
法による金属物体の安定認識''、電子情報通信学会論文
誌 D-II, Vol. J80-D-II No.,12 pp. 3147--3154,1997
年2月 に示されている。
【０００３】この方法はデータベースに登録しているモ
デルと入力画像とのマッチングを行なうために、物体モ
デル画像及び入力画像ともに局所的なテンプレートの集
合によって表現し、テンプレートのマッチングによって
局所領域の対応を推定し、対応の多い物体モデルを認識
結果とするものである。この際、モデル画像取得時と入
力画像とでは物体は画像内で並行移動をしているという
仮定を設け、これをテンプレートの対応の正当性の検定
に用いており、実験室レベルでの結果ではあるものの非
常に有効な方法であることが知られている。
デルと入力画像とのマッチングを行なうために、物体モ
デル画像及び入力画像ともに局所的なテンプレートの集
合によって表現し、テンプレートのマッチングによって
局所領域の対応を推定し、対応の多い物体モデルを認識
結果とするものである。この際、モデル画像取得時と入
力画像とでは物体は画像内で並行移動をしているという
仮定を設け、これをテンプレートの対応の正当性の検定
に用いており、実験室レベルでの結果ではあるものの非
常に有効な方法であることが知られている。
【０００４】
【発明が解決しようとする課題】しかし、上記従来の方
法では、３次元空間内の物体の位置や向き（傾き）の変
化の影響をうけるという課題を有している。
法では、３次元空間内の物体の位置や向き（傾き）の変
化の影響をうけるという課題を有している。
【０００５】本発明は、従来法において設けた仮定、即
ち、「物体領域の変動は画像内の並行移動に限定され
る」を取り除き、物体が如何なる剛体運動を行なったと
しても認識できる方法を提供することを目的とする。
ち、「物体領域の変動は画像内の並行移動に限定され
る」を取り除き、物体が如何なる剛体運動を行なったと
しても認識できる方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、モデル画像達と入力画像の対応する局所
テンプレートの位置の間に、幾何学的関係がどの程度確
からしく成立しているかを評価する幾何学的評価手段
と、幾何学的評価手段の評価に基づいて、データベース
に登録されている何らかの物体が入力画像内に存在する
か否か、また存在する場合はその位置を推定する認識手
段を備えるものである。
に、本発明は、モデル画像達と入力画像の対応する局所
テンプレートの位置の間に、幾何学的関係がどの程度確
からしく成立しているかを評価する幾何学的評価手段
と、幾何学的評価手段の評価に基づいて、データベース
に登録されている何らかの物体が入力画像内に存在する
か否か、また存在する場合はその位置を推定する認識手
段を備えるものである。
【０００７】これにより、３次元空間内の物体の位置や
向き（傾き）の変化の影響をうけない物体の認識を行う
ものである。
向き（傾き）の変化の影響をうけない物体の認識を行う
ものである。
【０００８】
【発明の実施の形態】本発明の請求項１に記載の発明
は、予め登録してあるモデル画像群｛Ｐ_i｝と入力画像
の対応する局所テンプレートＴ_jとの照合に幾何学的な
基準に基づいて評価し、前記入力画像内に予めデータベ
ースに登録されている物体が存在するか否かを判定する
もので、物体の位置や向き（傾き）の変化の影響をうけ
ない物体の認識できるという作用を有する。
は、予め登録してあるモデル画像群｛Ｐ_i｝と入力画像
の対応する局所テンプレートＴ_jとの照合に幾何学的な
基準に基づいて評価し、前記入力画像内に予めデータベ
ースに登録されている物体が存在するか否かを判定する
もので、物体の位置や向き（傾き）の変化の影響をうけ
ない物体の認識できるという作用を有する。
【０００９】請求項２に記載の発明は、請求項１記載の
物体認識方法において、モデル画像群｛Ｐ_i｝は、入力
された画像を複数の小領域に分割し局所テンプレートと
し、この局所テンプレートから生成した特徴ベクトルと
入力画像に付与された特徴情報とをデータベースとして
登録するもので、物体の位置や向き（傾き）の変化の影
響をうけない物体の認識できるという作用を有する。
物体認識方法において、モデル画像群｛Ｐ_i｝は、入力
された画像を複数の小領域に分割し局所テンプレートと
し、この局所テンプレートから生成した特徴ベクトルと
入力画像に付与された特徴情報とをデータベースとして
登録するもので、物体の位置や向き（傾き）の変化の影
響をうけない物体の認識できるという作用を有する。
【００１０】請求項３に記載の発明は、請求項２記載の
物体認識方法において、モデル画像群｛Ｐ_i｝は、局所
テンプレートから生成した特徴ベクトルをそのもとの画
像インデックス、テンプレートの画像内における位置、
及び、テンプレートが含まれる領域の物体クラスと供に
タプルＰ_i = <画像インデックス s 、物体クラス、位
置(x_i,y_i)、特徴ベクトル> （ i はデータベースでの
このテンプレートのインデックス）の形式で保持するも
ので、物体の位置や向き（傾き）の変化の影響をうけな
い物体の認識できるという作用を有する。
物体認識方法において、モデル画像群｛Ｐ_i｝は、局所
テンプレートから生成した特徴ベクトルをそのもとの画
像インデックス、テンプレートの画像内における位置、
及び、テンプレートが含まれる領域の物体クラスと供に
タプルＰ_i = <画像インデックス s 、物体クラス、位
置(x_i,y_i)、特徴ベクトル> （ i はデータベースでの
このテンプレートのインデックス）の形式で保持するも
ので、物体の位置や向き（傾き）の変化の影響をうけな
い物体の認識できるという作用を有する。
【００１１】請求項４に記載の発明は、請求項２または
３記載の物体認識方法において、幾何学的な基準に基づ
いた評価は、入力画像の対応する局所テンプレートから
生成した特徴ベクトルと、モデル画像群の中から類似し
た特徴ベクトルを１つまたは複数の照合候補｛＜Ｔ_j、
｛Ｐ_i｝＞｝を選択し、照合候補のテンプレートＴ_jの
位置と、テンプレートＰ_iの位置との間の幾何学的な基
準に基づいて評価するするもので、物体の位置や向き
（傾き）の変化の影響をうけない物体の認識できるとい
う作用を有する。
３記載の物体認識方法において、幾何学的な基準に基づ
いた評価は、入力画像の対応する局所テンプレートから
生成した特徴ベクトルと、モデル画像群の中から類似し
た特徴ベクトルを１つまたは複数の照合候補｛＜Ｔ_j、
｛Ｐ_i｝＞｝を選択し、照合候補のテンプレートＴ_jの
位置と、テンプレートＰ_iの位置との間の幾何学的な基
準に基づいて評価するするもので、物体の位置や向き
（傾き）の変化の影響をうけない物体の認識できるとい
う作用を有する。
【００１２】請求項５に記載の発明は、予め登録してあ
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価する幾何学的
評価手段と、前記入力画像内に予めデータベースに登録
されている物体が存在するか否かを判定する認識手段と
を備えるもので、物体の位置や向き（傾き）の変化の影
響をうけない物体の認識できるという作用を有する。
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価する幾何学的
評価手段と、前記入力画像内に予めデータベースに登録
されている物体が存在するか否かを判定する認識手段と
を備えるもので、物体の位置や向き（傾き）の変化の影
響をうけない物体の認識できるという作用を有する。
【００１３】請求項６に記載の発明は、入力画像に付与
された特徴情報とを予め登録したデータベースと、入力
された画像を複数の小領域に分割し、局所テンプレート
Ｔを生成する局所テンプレート生成手段と、この局所テ
ンプレートＴから特徴ベクトルを生成する局所特徴抽出
手段と、前記テンプレートＴの特徴ベクトルと類似した
特徴ベクトルを、前記データベースに登録済みのものの
中から一つまたは複数を選択し、（テンプレートの集合
{T_j}として）保持する照合候補選択保持手段と、前記
照合候補選択保持手段に保持されている、一枚の入力画
像から得られたテンプレートの集合 {T_j}の全ての要素
に対応する照合候補 { < T_j, {P_i} >} の中でP_i の
物体クラスが同一である（このクラスを k とする）も
のの集合を S(k) = { < T_j(k), {P_i(k)} }、テンプレ
ート T_j のもとの画像内での位置を (x_j, y_j) とし
たとき、(x_j,y_j) と P_i の画像インデックス s を持
つテンプレート位置(x_i(j,k,s), y_i(j,k,s)) との間
を幾何学的な基準に基づいて評価する幾何学的評価手段
と、前記幾何学的評価手段の評価に基づいて、入力画像
内における物体クラス k の物体の存在と、その存在位
置を推定する認識手段を具備するもので、物体の位置や
向き（傾き）の変化の影響をうけない物体の認識できる
という作用を有する。
された特徴情報とを予め登録したデータベースと、入力
された画像を複数の小領域に分割し、局所テンプレート
Ｔを生成する局所テンプレート生成手段と、この局所テ
ンプレートＴから特徴ベクトルを生成する局所特徴抽出
手段と、前記テンプレートＴの特徴ベクトルと類似した
特徴ベクトルを、前記データベースに登録済みのものの
中から一つまたは複数を選択し、（テンプレートの集合
{T_j}として）保持する照合候補選択保持手段と、前記
照合候補選択保持手段に保持されている、一枚の入力画
像から得られたテンプレートの集合 {T_j}の全ての要素
に対応する照合候補 { < T_j, {P_i} >} の中でP_i の
物体クラスが同一である（このクラスを k とする）も
のの集合を S(k) = { < T_j(k), {P_i(k)} }、テンプレ
ート T_j のもとの画像内での位置を (x_j, y_j) とし
たとき、(x_j,y_j) と P_i の画像インデックス s を持
つテンプレート位置(x_i(j,k,s), y_i(j,k,s)) との間
を幾何学的な基準に基づいて評価する幾何学的評価手段
と、前記幾何学的評価手段の評価に基づいて、入力画像
内における物体クラス k の物体の存在と、その存在位
置を推定する認識手段を具備するもので、物体の位置や
向き（傾き）の変化の影響をうけない物体の認識できる
という作用を有する。
【００１４】請求項７に記載の発明は、コンピュータに
より物体認識を行うプログラムであって、予め登録して
あるモデル画像群｛Ｐ_i｝と入力画像の対応する局所テ
ンプレートＴ_jとの照合に幾何学的な基準に基づいて評
価し、前記入力画像内に予めデータベースに登録されて
いる物体が存在するか否かを判定する物体認識プログラ
ムを記録した記録媒体から、コンピュータに読み込み実
行することにより、、物体の位置や向き（傾き）の変化
の影響をうけない物体の認識できるという作用を有す
る。
より物体認識を行うプログラムであって、予め登録して
あるモデル画像群｛Ｐ_i｝と入力画像の対応する局所テ
ンプレートＴ_jとの照合に幾何学的な基準に基づいて評
価し、前記入力画像内に予めデータベースに登録されて
いる物体が存在するか否かを判定する物体認識プログラ
ムを記録した記録媒体から、コンピュータに読み込み実
行することにより、、物体の位置や向き（傾き）の変化
の影響をうけない物体の認識できるという作用を有す
る。
【００１５】以下に、本発明の実施の形態について、図
１から図５を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態の物体認
識装置のブロック図を示す。
１から図５を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態の物体認
識装置のブロック図を示す。
【００１６】図１において、１は物体を撮影するビデオ
カメラ、２はビデオカメラ１からの画像データを記憶す
る画像メモリ、３は局所テンプレートの情報を記憶した
タプルメモリ、４はＣＰＵ、５はメモリ、６は教示用画
像セットを記憶する高速アクセスハードディスク（Ｈ
Ｄ）、７はコンソール、８はコンピュータの内部バス、
９は認識結果を出力する出力デバイス、１０は記録媒体
から物体認識プログラムを読み込むＦＤユニット、１２
はビデオカメラの映像信号をデジタルデータに変換する
ＡＤ変換ユニット、１１、１３〜１６はＩ／Ｆユニッ
ト、２０は認識プログラムを実行するコンピュータであ
る。
カメラ、２はビデオカメラ１からの画像データを記憶す
る画像メモリ、３は局所テンプレートの情報を記憶した
タプルメモリ、４はＣＰＵ、５はメモリ、６は教示用画
像セットを記憶する高速アクセスハードディスク（Ｈ
Ｄ）、７はコンソール、８はコンピュータの内部バス、
９は認識結果を出力する出力デバイス、１０は記録媒体
から物体認識プログラムを読み込むＦＤユニット、１２
はビデオカメラの映像信号をデジタルデータに変換する
ＡＤ変換ユニット、１１、１３〜１６はＩ／Ｆユニッ
ト、２０は認識プログラムを実行するコンピュータであ
る。
【００１７】上記のように構成された物体認識装置の動
作は、オフラインによるデータベース構築モードと、オ
ンラインによる認識モードに大別できる。
作は、オフラインによるデータベース構築モードと、オ
ンラインによる認識モードに大別できる。
【００１８】まず、オフラインによるデータベース構築
について、図２に示す動作フローに従って説明する。
について、図２に示す動作フローに従って説明する。
【００１９】オフラインでは、まず、教示用画像をビデ
オカメラ１から入力し、Ａ／Ｄ変換器１２でデジタル画
像データに変換し、画像メモリ２に一旦記憶する。画像
メモリ２に記憶された教示用画像は、Ｉ／Ｆ１１を介し
て、高速アクセスＨＤ６に順次入力され、教示用画像セ
ットを構築する（Ｓ２０）。なお、教示用画像セット
は、図１には示していない、ネットワークや大容量の記
録媒体を介して、直接高速アクセスＨＤ６に入力しても
良い。図４（ａ）に教示用画像セットの一例を示すが、
各教示用画像には画像インデックスｓと物体クラスｋが
それぞれ付与される。
オカメラ１から入力し、Ａ／Ｄ変換器１２でデジタル画
像データに変換し、画像メモリ２に一旦記憶する。画像
メモリ２に記憶された教示用画像は、Ｉ／Ｆ１１を介し
て、高速アクセスＨＤ６に順次入力され、教示用画像セ
ットを構築する（Ｓ２０）。なお、教示用画像セット
は、図１には示していない、ネットワークや大容量の記
録媒体を介して、直接高速アクセスＨＤ６に入力しても
良い。図４（ａ）に教示用画像セットの一例を示すが、
各教示用画像には画像インデックスｓと物体クラスｋが
それぞれ付与される。
【００２０】局所テンプレート生成処理は、教示用画像
セットの画像の中で認識したい対象物体画像を取り込
み、図４（ｂ）に示すように対象教示用画像の領域を複
数の小領域に分割し、局所テンプレートの集合に変換さ
れる（Ｓ２１）。この小領域の画像を局所テンプレート
と呼ぶ。
セットの画像の中で認識したい対象物体画像を取り込
み、図４（ｂ）に示すように対象教示用画像の領域を複
数の小領域に分割し、局所テンプレートの集合に変換さ
れる（Ｓ２１）。この小領域の画像を局所テンプレート
と呼ぶ。
【００２１】局所特徴抽出処理は、各局所テンプレート
毎に特徴ベクトルを抽出する。局所ウインドウ（局所画
像ベクトル）から抽出される特徴量（特徴ベクトル）に
は、教示用画像から得られた全ての局所画像ベクトルを
サンプル空間とする分布の主成分の線形結合で近似した
もの、即ち、主成分が張る部分空間への直交射影を用い
る（Ｓ２２）。
毎に特徴ベクトルを抽出する。局所ウインドウ（局所画
像ベクトル）から抽出される特徴量（特徴ベクトル）に
は、教示用画像から得られた全ての局所画像ベクトルを
サンプル空間とする分布の主成分の線形結合で近似した
もの、即ち、主成分が張る部分空間への直交射影を用い
る（Ｓ２２）。
【００２２】モデル画像群｛Ｐ_i｝として、もとの画像
インデックスｓ、テンプレートの画像内における位置(x
_i,y_i)及びテンプレートが含まれる領域の物体クラス
ｋと供に、タプル（属性リスト）Ｐ_i = <画像インデッ
クスｓ、物体クラスｋ、位置(x_i,y_i)、特徴ベクトル>
（ i はデータベースでのこのテンプレートのインデッ
クス）の形式でタプルメモリ３に保存する（Ｓ２３）。
このとき、座標の表現(x_i(s1),y_i(s1))と(x_i(s2),y_
i(s2))（添字 i が共通）は、同一物体が異なった２つ
(以上)の画像 s1,s2 に含まれており、その物体から得
られた局所テンプレート位置が物体上の同一の点 i を
表しているということを示す。このような同一点を表す
という情報の入力は手動または、自動で行なう。また、
物体クラスｋの分け方には、類似したかたちの物体をひ
とつのクラスとする方法や、一つ一つの物体にそれぞれ
一つのクラスを割り当てる方法がある。
インデックスｓ、テンプレートの画像内における位置(x
_i,y_i)及びテンプレートが含まれる領域の物体クラス
ｋと供に、タプル（属性リスト）Ｐ_i = <画像インデッ
クスｓ、物体クラスｋ、位置(x_i,y_i)、特徴ベクトル>
（ i はデータベースでのこのテンプレートのインデッ
クス）の形式でタプルメモリ３に保存する（Ｓ２３）。
このとき、座標の表現(x_i(s1),y_i(s1))と(x_i(s2),y_
i(s2))（添字 i が共通）は、同一物体が異なった２つ
(以上)の画像 s1,s2 に含まれており、その物体から得
られた局所テンプレート位置が物体上の同一の点 i を
表しているということを示す。このような同一点を表す
という情報の入力は手動または、自動で行なう。また、
物体クラスｋの分け方には、類似したかたちの物体をひ
とつのクラスとする方法や、一つ一つの物体にそれぞれ
一つのクラスを割り当てる方法がある。
【００２３】対象となる教示用画像セットの教示用画像
が全て処理されたかどうかを判定し、Ｎなら（Ｓ２１）
へ、Ｙならオフライン処理を終了する。
が全て処理されたかどうかを判定し、Ｎなら（Ｓ２１）
へ、Ｙならオフライン処理を終了する。
【００２４】なお、タプルはさらに順次高速アクセスＨ
Ｄ６に転送・蓄積され、物体認識用のデータベース管理
が行なわれる。
Ｄ６に転送・蓄積され、物体認識用のデータベース管理
が行なわれる。
【００２５】次にオンライン処理について、図３に示す
動作フローに従って説明する。対象画像をビデオカメラ
１から入力し、Ａ／Ｄ変換器１２でデジタル画像データ
に変換し、画像メモリ２に一旦記憶する（Ｓ３０）。
動作フローに従って説明する。対象画像をビデオカメラ
１から入力し、Ａ／Ｄ変換器１２でデジタル画像データ
に変換し、画像メモリ２に一旦記憶する（Ｓ３０）。
【００２６】画像メモリ２に記憶された対象画像（図５
図（ａ））は、図５（ｂ）のように局所テンプレート生
成処理により、入力された画像を小領域に分割し、局所
テンプレートＴ_jを生成する（Ｓ３１）。
図（ａ））は、図５（ｂ）のように局所テンプレート生
成処理により、入力された画像を小領域に分割し、局所
テンプレートＴ_jを生成する（Ｓ３１）。
【００２７】局所特徴抽出処理は、各局所テンプレート
毎に特徴ベクトルを抽出する（Ｓ３２）。
毎に特徴ベクトルを抽出する（Ｓ３２）。
【００２８】照合候補選択保持処理は、この局所テンプ
レートＴ_j に対して、タプルメモリ３に登録されてい
るエントリの中から局所テンプレートＴ_j の特徴ベク
トルに類似した特徴ベクトルを有するエントリ Ｐ_iを
一つまたは複数を選択し、テンプレートＴ_j に対して
＜Ｔ_j、 ｛Ｐ_i｝＞ の形式で照合候補として保持する
（Ｓ３３）。
レートＴ_j に対して、タプルメモリ３に登録されてい
るエントリの中から局所テンプレートＴ_j の特徴ベク
トルに類似した特徴ベクトルを有するエントリ Ｐ_iを
一つまたは複数を選択し、テンプレートＴ_j に対して
＜Ｔ_j、 ｛Ｐ_i｝＞ の形式で照合候補として保持する
（Ｓ３３）。
【００２９】幾何学的評価処理は、テンプレートの照合
の正当性の評価を幾何学的な基準に基づいて行なうもの
で、一枚の入力画像から得られたテンプレートの集合
｛Ｔ_j｝の全ての要素に対応する照合候補｛＜Ｔ_j、
｛Ｐ_i｝＞｝(j=1,2,3...)の中でＰ_i の物体クラスが
同一である（このクラスをk とする）ものの集合をＳ
(k)＝｛＜Ｔ_j(k),｛Ｐ_i(k)｝ ｝、入力画像から得ら
れたテンプレートT_jのもとの画像内での位置を(x_j,y_
j)としたとき、(x_j,y_j)とデータベースの要素で画像
インデックス s1 を持つ P_i のテンプレート位置 (x_i
(j,k,s1),y_i(j,k,s1))、及び、インデックス s2 を持
つテンプレート位置 (x_i(j,k,s2),y_i(j,k,s2)) の間
に（数１）に示す幾何学的関係がどの程度確からしく成
立しているかを評価する（Ｓ３４）。
の正当性の評価を幾何学的な基準に基づいて行なうもの
で、一枚の入力画像から得られたテンプレートの集合
｛Ｔ_j｝の全ての要素に対応する照合候補｛＜Ｔ_j、
｛Ｐ_i｝＞｝(j=1,2,3...)の中でＰ_i の物体クラスが
同一である（このクラスをk とする）ものの集合をＳ
(k)＝｛＜Ｔ_j(k),｛Ｐ_i(k)｝ ｝、入力画像から得ら
れたテンプレートT_jのもとの画像内での位置を(x_j,y_
j)としたとき、(x_j,y_j)とデータベースの要素で画像
インデックス s1 を持つ P_i のテンプレート位置 (x_i
(j,k,s1),y_i(j,k,s1))、及び、インデックス s2 を持
つテンプレート位置 (x_i(j,k,s2),y_i(j,k,s2)) の間
に（数１）に示す幾何学的関係がどの程度確からしく成
立しているかを評価する（Ｓ３４）。
【００３０】
【数１】
【００３１】これは、例えば、i と l に関して最小２
乗法を適用し、パラメタα１、β１、γ１、α２、β
２、γ２を決定した後、その剰余の大きさで評価するこ
とができる。（数１）は、一つの剛体が様々な角度から
撮影された時に、剛体上の点の画像内での位置座標が満
足すべき関係を示したもので、任意の角度からとられた
画像での点の位置は、他の２つの角度からとられた画像
の対応する位置を使って表現されることを示している。
このことは、文献：''Shimon Ullman and RonenBasr
i：''Recognition by Linear Combination of Model
s'', IEEE Transactions on PAMI, VOL.13, NO.10, Oct
ober 1991、に詳しく証明されている。
乗法を適用し、パラメタα１、β１、γ１、α２、β
２、γ２を決定した後、その剰余の大きさで評価するこ
とができる。（数１）は、一つの剛体が様々な角度から
撮影された時に、剛体上の点の画像内での位置座標が満
足すべき関係を示したもので、任意の角度からとられた
画像での点の位置は、他の２つの角度からとられた画像
の対応する位置を使って表現されることを示している。
このことは、文献：''Shimon Ullman and RonenBasr
i：''Recognition by Linear Combination of Model
s'', IEEE Transactions on PAMI, VOL.13, NO.10, Oct
ober 1991、に詳しく証明されている。
【００３２】これは、言い替えれば、２つの画像 s1, s
2 の点(xi(j,k,s1),yi(j,k,s1)),(xi(j,k,s2),yi(j,k,s
2))と第３の画像である入力画像の点(xj,yj)の間にある
共通のパラメタセットα１、β１、γ１、α２、β２、
γ２を介して（数1）の関係があり、これが十分な数の
(j,i)の組に対して成立しているならば、(xi(j,k,s1),y
i(j,k,s1)),(xi(j,k,s2),yi(j,k,s2))と(xj,yj)は、一
つの物体上の同一の点を示しているといえる。ここで、
教示用の画像 s1, s2 の点(xi(j,k,s1),yi(j,k,s1)),(x
i(j,k,s2),yi(j,k,s2))は２つの位置が同一物体の同一
の点に対応することを表す。
2 の点(xi(j,k,s1),yi(j,k,s1)),(xi(j,k,s2),yi(j,k,s
2))と第３の画像である入力画像の点(xj,yj)の間にある
共通のパラメタセットα１、β１、γ１、α２、β２、
γ２を介して（数1）の関係があり、これが十分な数の
(j,i)の組に対して成立しているならば、(xi(j,k,s1),y
i(j,k,s1)),(xi(j,k,s2),yi(j,k,s2))と(xj,yj)は、一
つの物体上の同一の点を示しているといえる。ここで、
教示用の画像 s1, s2 の点(xi(j,k,s1),yi(j,k,s1)),(x
i(j,k,s2),yi(j,k,s2))は２つの位置が同一物体の同一
の点に対応することを表す。
【００３３】上記のことは、これらの点の３集合{(xi
(j,k,s1),yi(j,k,s1))}と{(xi(j,k,s2),yi(j,k,s2))}と
{(xj,yj)}は、は同一物体を示していることになり、物
体が認識されたことを示す。
(j,k,s1),yi(j,k,s1))}と{(xi(j,k,s2),yi(j,k,s2))}と
{(xj,yj)}は、は同一物体を示していることになり、物
体が認識されたことを示す。
【００３４】認識処理は、この評価結果に基づいて、入
力画像内におけるクラスｋの物体の存在有無と、その位
置を推定する（Ｓ３５）。
力画像内におけるクラスｋの物体の存在有無と、その位
置を推定する（Ｓ３５）。
【００３５】この評価結果に基づいて、入力画像内にお
けるクラス k の物体の存在有無とその位置が推定さ
れ、出力デバイス９に出力される。
けるクラス k の物体の存在有無とその位置が推定さ
れ、出力デバイス９に出力される。
【００３６】また、幾何学的関係がどの程度確からしく
成立しているかの評価は、（数２）、（数３）または
（数４）を用いても良い。
成立しているかの評価は、（数２）、（数３）または
（数４）を用いても良い。
【００３７】
【数２】
【００３８】
【数３】
【００３９】
【数４】
【００４０】
【発明の効果】以上のように本発明は、予め登録してあ
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価することによ
り、並行移動にとどまらず、物体がいかなる剛体運動を
経たとしても従来法に比べ格段に汎用性が高く、物体の
位置や向き（傾き）の変化の影響をうけない実用的な物
体認識が可能となり、その効果は非常に大きい。
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価することによ
り、並行移動にとどまらず、物体がいかなる剛体運動を
経たとしても従来法に比べ格段に汎用性が高く、物体の
位置や向き（傾き）の変化の影響をうけない実用的な物
体認識が可能となり、その効果は非常に大きい。
【図１】本発明の実施の形態１による物体認識装置のブ
ロック図
ロック図
【図２】データベース構築（オフライン処理）の動作フ
ローチャート
ローチャート
【図３】認識モード（オンライン処理）の動作フローチ
ャート
ャート
【図４】データベースの局所テンプレートを説明する図
【図５】認識モードの局所テンプレートを説明する図
１ ビデオカメラ ２ 画像メモリ ３ タプルメモリ ４ ＣＰＵ ５ メモリ ６ 高速ハードディスク ７ コンソール（ディスプレイ＋キーボード） ８ バス ９ 出力デバイス １０ ＦＤユニット １１、１３〜１６ Ｉ／Ｆユニット １２ Ａ／Ｄ変換器 ２０ コンピュータ
Claims (7)
- 【請求項１】 予め登録してあるモデル画像群｛Ｐ_i｝
と入力画像の対応する局所テンプレートＴ_jとの照合に
幾何学的な基準に基づいて評価し、前記入力画像内に予
めデータベースに登録されている物体が存在するか否か
を判定することを特徴とする物体認識方法。 - 【請求項２】 モデル画像群｛Ｐ_i｝は、入力された画
像を複数の小領域に分割し局所テンプレートとし、この
局所テンプレートから生成した特徴ベクトルと入力画像
に付与された特徴情報とをデータベースとして登録する
ことを特徴とする請求項１記載の物体認識方法。 - 【請求項３】 モデル画像群｛Ｐ_i｝は、局所テンプレ
ートから生成した特徴ベクトルをそのもとの画像インデ
ックス、テンプレートの画像内における位置、及び、テ
ンプレートが含まれる領域の物体クラスと供にタプルＰ
_i = <画像インデックス s 、物体クラス、位置(x_i,y_
i)、特徴ベクトル> （ i はデータベースでのこのテン
プレートのインデックス）の形式で保持することを特徴
とする請求項２記載の物体認識方法。 - 【請求項４】 幾何学的な基準に基づいた評価は、入力
画像の対応する局所テンプレートから生成した特徴ベク
トルと、モデル画像群の中から類似した特徴ベクトルを
１つまたは複数の照合候補｛＜Ｔ_j、｛Ｐ_i｝＞｝を選
択し、照合候補のテンプレートＴ_jの位置と、テンプレ
ートＰ_iの位置との間の幾何学的な基準に基づいて評価
することを特徴とする請求項２または請求項３記載の物
体認識方法。 - 【請求項５】 予め登録してあるモデル画像群と入力画
像の対応する局所テンプレートとの照合に幾何学的な基
準に基づいて評価する幾何学的評価手段と、前記入力画
像内に予めデータベースに登録されている物体が存在す
るか否かを判定する認識手段とを備えることを特徴とす
る物体認識装置。 - 【請求項６】 入力画像に付与された特徴情報とを予め
登録したデータベースと、入力された画像を複数の小領
域に分割し、局所テンプレートＴを生成する局所テンプ
レート生成手段と、この局所テンプレートＴから特徴ベ
クトルを生成する局所特徴抽出手段と、前記テンプレー
トＴの特徴ベクトルと類似した特徴ベクトルを、前記デ
ータベースに登録済みのものの中から一つまたは複数を
選択し、テンプレートの集合 {T_j}として保持する照合
候補選択保持手段と、前記照合候補選択保持手段に保持
されている、一枚の入力画像から得られたテンプレート
の集合 {T_j}の全ての要素に対応する照合候補 { < T_
j, {P_i} > } の中でP_i の物体クラスが同一である
（このクラスを k とする）ものの集合を S(k) = { < T
_j(k), {P_i(k)} }、テンプレート T_j のもとの画像内
での位置を (x_j, y_j)としたとき、(x_j,y_j) と P_i
の画像インデックス s を持つテンプレート位置(x_i(j,
k,s), y_i(j,k,s)) との間を幾何学的な基準に基づいて
評価する幾何学的評価手段と、前記幾何学的評価手段の
評価に基づいて、入力画像内における物体クラス k の
物体の存在と、その存在位置を推定する認識手段を具備
することを特徴とする物体認識装置。 - 【請求項７】 コンピュータにより物体認識を行うプロ
グラムであって、予め登録してあるモデル画像群｛Ｐ_
i｝と入力画像の対応する局所テンプレートＴ_jとの照
合に幾何学的な基準に基づいて評価し、前記入力画像内
に予めデータベースに登録されている物体が存在するか
否かを判定する物体認識プログラムを記録した記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11045398A JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11045398A JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11306353A true JPH11306353A (ja) | 1999-11-05 |
| JP3451925B2 JP3451925B2 (ja) | 2003-09-29 |
Family
ID=14536106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11045398A Expired - Lifetime JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3451925B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032766A (ja) * | 2000-07-18 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 画像認識装置及びその方法 |
| US7054489B2 (en) | 1999-09-30 | 2006-05-30 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image recognition |
-
1998
- 1998-04-21 JP JP11045398A patent/JP3451925B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7054489B2 (en) | 1999-09-30 | 2006-05-30 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image recognition |
| JP2002032766A (ja) * | 2000-07-18 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 画像認識装置及びその方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3451925B2 (ja) | 2003-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4560832B2 (ja) | ３次元物体モデルを用いた画像照合システム及び画像照合プログラム | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| US20110025834A1 (en) | Method and apparatus of identifying human body posture | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| US20200134377A1 (en) | Logo detection | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| JP2018523881A (ja) | データを位置合わせする方法及びシステム | |
| JP2007072620A (ja) | 画像認識装置及びその方法 | |
| WO2007038612A2 (en) | Apparatus and method for processing user-specified search image points | |
| JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
| CN111859002B (zh) | 兴趣点名称生成方法及装置、电子设备和介质 | |
| TWI514172B (zh) | An animation search device, an animation search method, a recording medium, and a program | |
| JP5439277B2 (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
| JP7287511B2 (ja) | 情報処理装置、容疑者情報生成方法及びプログラム | |
| CN108805056A (zh) | 一种基于3d人脸模型的摄像监控人脸样本扩充方法 | |
| WO2017120794A1 (zh) | 一种图像匹配方法和装置 | |
| JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
| Bayraktar et al. | Fast re-OBJ: Real-time object re-identification in rigid scenes | |
| JP3054682B2 (ja) | 画像処理方法 | |
| JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
| WO2024099068A1 (zh) | 基于图像的速度确定方法、装置、设备及存储介质 | |
| JP2017130049A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPH11250106A (ja) | 内容基盤の映像情報を利用した登録商標の自動検索方法 | |
| JP2016181181A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |