JP2001109894A - 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 - Google Patents
画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体Info
- Publication number
- JP2001109894A JP2001109894A JP28986199A JP28986199A JP2001109894A JP 2001109894 A JP2001109894 A JP 2001109894A JP 28986199 A JP28986199 A JP 28986199A JP 28986199 A JP28986199 A JP 28986199A JP 2001109894 A JP2001109894 A JP 2001109894A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- image
- distribution
- normal
- azimuth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】認識対象物体の表面属性や、照明環境といった
撮像条件に影響を受けることなく、認識対象の形状、3
次元的姿勢、および姿勢変化量を高速、かつ効率的に求
めることの可能な画像認識装置を提供する。 【解決手段】認識対象の距離画像から認識対象の輪郭情
報を検出する輪郭ストローク検出手段102 と、輪郭スト
ローク検出手段にて取得した輪郭ストロークを構成する
全ベクトルについて、そのベクトル方位に関し量子化を
行うベクトル方位量子化手段103 と、ベクトル方位量子
化手段により取得された輪郭ストロークを構成する全て
の量子化ベクトルにおいて各量子化ベクトルの頻度分布
を算出するベクトル方位分布正規化手段104 と、ベクト
ル方位分布正規化手段により取得されたベクトル方位正
規化分布情報を基に認識対象の3次元姿勢を検出する姿
勢情報検出手段105 とを具備する。
撮像条件に影響を受けることなく、認識対象の形状、3
次元的姿勢、および姿勢変化量を高速、かつ効率的に求
めることの可能な画像認識装置を提供する。 【解決手段】認識対象の距離画像から認識対象の輪郭情
報を検出する輪郭ストローク検出手段102 と、輪郭スト
ローク検出手段にて取得した輪郭ストロークを構成する
全ベクトルについて、そのベクトル方位に関し量子化を
行うベクトル方位量子化手段103 と、ベクトル方位量子
化手段により取得された輪郭ストロークを構成する全て
の量子化ベクトルにおいて各量子化ベクトルの頻度分布
を算出するベクトル方位分布正規化手段104 と、ベクト
ル方位分布正規化手段により取得されたベクトル方位正
規化分布情報を基に認識対象の3次元姿勢を検出する姿
勢情報検出手段105 とを具備する。
Description
【0001】
【発明の属する技術分野】本発明は、取得した距離画像
を基に輪郭情報を検出し、輪郭ストロークあるいは法線
を構成するベクトルの方位分布に関する統計情報から撮
像物体の形状認識、および姿勢認識を行う画像情報認識
装置および画像情報認識方法に関する。
を基に輪郭情報を検出し、輪郭ストロークあるいは法線
を構成するベクトルの方位分布に関する統計情報から撮
像物体の形状認識、および姿勢認識を行う画像情報認識
装置および画像情報認識方法に関する。
【0002】
【従来の技術】従来、ビデオカメラなどの撮像装置を用
いて、認識対象物の姿勢、および形状情報を検出しよう
とした場合、以下のような方法が取られていた。
いて、認識対象物の姿勢、および形状情報を検出しよう
とした場合、以下のような方法が取られていた。
【0003】まず一つ目は、撮像画像を対象としたパタ
ーンマッチングを用いる手法である。これは、予め決め
られた姿勢の撮像対象をテンプレート画像として撮像し
て、登録しておき、これと新たに撮像した認識対象画像
との間で適合度評価を行い、最も適合したテンプレート
画像から姿勢情報を検出するというものである。
ーンマッチングを用いる手法である。これは、予め決め
られた姿勢の撮像対象をテンプレート画像として撮像し
て、登録しておき、これと新たに撮像した認識対象画像
との間で適合度評価を行い、最も適合したテンプレート
画像から姿勢情報を検出するというものである。
【0004】この手法で姿勢情報を求めようとした場
合、事前にテンプレート画像における姿勢情報が登録さ
れている必要がある。
合、事前にテンプレート画像における姿勢情報が登録さ
れている必要がある。
【0005】3次元的な空間姿勢の検出には、モーショ
ンキャプチャと呼ばれる物理的な姿勢検出手段などを利
用することができる。この場合、テンプレートの数が認
識精度に直結するため、テンプレートを多数用意してお
く必要があり、適合度計算の回数が増えるため効率的と
は言えない。
ンキャプチャと呼ばれる物理的な姿勢検出手段などを利
用することができる。この場合、テンプレートの数が認
識精度に直結するため、テンプレートを多数用意してお
く必要があり、適合度計算の回数が増えるため効率的と
は言えない。
【0006】また、この手法を用いて撮像対象の形状を
認識しようとした場合、テンプレート画像の登録段階
で、撮像対象を背景から切り出しておく必要がある。こ
れは、テンプレートマッチングの認識精度にも大きく影
響するため、必ず必要な前処理である。
認識しようとした場合、テンプレート画像の登録段階
で、撮像対象を背景から切り出しておく必要がある。こ
れは、テンプレートマッチングの認識精度にも大きく影
響するため、必ず必要な前処理である。
【0007】さらに、テンプレート画像との画像レベル
でのマッチングには、以下のような問題点があった。つ
まり、撮像画像中の認識対象領域の大きさ、および濃度
が、撮像環境あるいは、撮像物体の表面属性やテクスチ
ャなどに大きく依存しており、実用的な認識精度を得る
ことができないということである。
でのマッチングには、以下のような問題点があった。つ
まり、撮像画像中の認識対象領域の大きさ、および濃度
が、撮像環境あるいは、撮像物体の表面属性やテクスチ
ャなどに大きく依存しており、実用的な認識精度を得る
ことができないということである。
【0008】別の手法としては、画像中の特徴点から3
次元的姿勢を検出するという手法もある。たとえば、手
の傾きを検出しようとした場合を考えてみる。この場
合、まず複数のカメラから撮像した手の取得画像から、
手先、および手のひらに相当する部分を特徴点として定
義し、その3次元位置情報を検出することが必要にな
る。
次元的姿勢を検出するという手法もある。たとえば、手
の傾きを検出しようとした場合を考えてみる。この場
合、まず複数のカメラから撮像した手の取得画像から、
手先、および手のひらに相当する部分を特徴点として定
義し、その3次元位置情報を検出することが必要にな
る。
【0009】そのためには、まず各カメラで同時期に取
得された画像から対応する特徴点(手先、および手のひ
ら)を検出し、そのスクリーン座標から3角測量の要領
で特徴点の3次元的な空間位置情報を求める。
得された画像から対応する特徴点(手先、および手のひ
ら)を検出し、そのスクリーン座標から3角測量の要領
で特徴点の3次元的な空間位置情報を求める。
【0010】ここで求められた特徴点(手先、および手
のひら)の空間位置座標から、特徴点で構成される面
(手全体)の姿勢を3次元的に検出することができるわ
けである。しかし、この手法では、事前に各カメラの各
種パラメータ調整に相当するキャリブレーションを行っ
た上で、特徴点の検出、対応づけといった煩雑な作業が
必要であり、汎用的に使える手法とは言えない。
のひら)の空間位置座標から、特徴点で構成される面
(手全体)の姿勢を3次元的に検出することができるわ
けである。しかし、この手法では、事前に各カメラの各
種パラメータ調整に相当するキャリブレーションを行っ
た上で、特徴点の検出、対応づけといった煩雑な作業が
必要であり、汎用的に使える手法とは言えない。
【0011】また、この手法を用いて撮像対象の形状を
認識しようとした場合、撮像対象の輪郭に沿って、その
輪郭形状を表現できる程度の特徴点を設定する必要があ
り、撮像対象の形状が複雑になればなるほど特徴点量が
増えるわけで、形状認識手法としては現実的な手法と言
えない。
認識しようとした場合、撮像対象の輪郭に沿って、その
輪郭形状を表現できる程度の特徴点を設定する必要があ
り、撮像対象の形状が複雑になればなるほど特徴点量が
増えるわけで、形状認識手法としては現実的な手法と言
えない。
【0012】また、動きを特徴づける関節などの部位に
あらかじめセンサを装着し、撮像した画像からセンサ部
位を抽出し、3次元的な姿勢を計測するモーションキャ
プチャと呼ばれる手法も存在する。この手法では、上記
で紹介した手法に比べ、特徴点の抽出や対応づけ処理は
軽くなるが、システム全体のコストが高くつき、システ
ムを稼動する上での制約も多い。さらに煩わしい特定の
センサデバイスを装着する必要があり、とても一般ユー
ザが使えるものにはなっていない。
あらかじめセンサを装着し、撮像した画像からセンサ部
位を抽出し、3次元的な姿勢を計測するモーションキャ
プチャと呼ばれる手法も存在する。この手法では、上記
で紹介した手法に比べ、特徴点の抽出や対応づけ処理は
軽くなるが、システム全体のコストが高くつき、システ
ムを稼動する上での制約も多い。さらに煩わしい特定の
センサデバイスを装着する必要があり、とても一般ユー
ザが使えるものにはなっていない。
【0013】以上のように、従来方法では、撮像画像か
ら3次元的な姿勢、および形状情報の抽出を行う方法に
は様々な問題点があった。
ら3次元的な姿勢、および形状情報の抽出を行う方法に
は様々な問題点があった。
【0014】
【発明の解決しようとする課題】このように、従来の手
法では、撮像画像から3次元的な姿勢、および形状情報
の抽出を行うに当たり、テンプレート画像との比較によ
る方法にあってはテンプレート画像とのマッチング処理
の際、撮像物体領域の位置やサイズ、あるいは濃淡パタ
ーンに依存して認識精度が低下する問題があった。
法では、撮像画像から3次元的な姿勢、および形状情報
の抽出を行うに当たり、テンプレート画像との比較によ
る方法にあってはテンプレート画像とのマッチング処理
の際、撮像物体領域の位置やサイズ、あるいは濃淡パタ
ーンに依存して認識精度が低下する問題があった。
【0015】また、ビデオカメラなどを用いて認識対象
物の3次元的な姿勢を取得しようとした場合には、3次
元物体の投影画像を対象に画像レベルのパターンマッチ
ングを行うしかなく、高精度に奥行き方向を含めた3次
元的姿勢情報の認識を行うことは不可能であった。
物の3次元的な姿勢を取得しようとした場合には、3次
元物体の投影画像を対象に画像レベルのパターンマッチ
ングを行うしかなく、高精度に奥行き方向を含めた3次
元的姿勢情報の認識を行うことは不可能であった。
【0016】そこで、この発明の目的とするところは、
高精度に奥行き方向を含めた3次元的姿勢の認識を行う
ことができるようにし、また、認識対象の形状や姿勢変
化量を認識できるようにした画像認識装置および画像認
識方法を提供することにある。
高精度に奥行き方向を含めた3次元的姿勢の認識を行う
ことができるようにし、また、認識対象の形状や姿勢変
化量を認識できるようにした画像認識装置および画像認
識方法を提供することにある。
【0017】
【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、 [1] 第1の発明における画像認識装置は、被写体像
を、その離間距離対応の濃度で撮像した距離画像として
取得する撮像手段を備えた画像取得手段と、前記画像取
得手段で取得された距離画像から被写体像の輪郭情報を
検出するための輪郭ストローク検出手段と、前記輪郭ス
トローク検出手段で検出した輪郭ストロークを構成する
全ベクトルに対し、そのベクトル方位に基づき量子化を
行うベクトル方位量子化手段と、前記ベクトル方位量子
化手段で量子化された、輪郭ストロークを構成する全ベ
クトルに関し、全量子化ベクトル方位に対する分布状況
の正規化を行うベクトル方位分布正規化手段と、前記ベ
クトル方位分布正規化手段で計算された正規化方位分布
に応じて前記被写体の姿勢を検出する姿勢情報検出手段
とを具備し、認識対象物の3次元的な姿勢情報の認識を
行うようにする。
め、本発明は次のように構成する。すなわち、 [1] 第1の発明における画像認識装置は、被写体像
を、その離間距離対応の濃度で撮像した距離画像として
取得する撮像手段を備えた画像取得手段と、前記画像取
得手段で取得された距離画像から被写体像の輪郭情報を
検出するための輪郭ストローク検出手段と、前記輪郭ス
トローク検出手段で検出した輪郭ストロークを構成する
全ベクトルに対し、そのベクトル方位に基づき量子化を
行うベクトル方位量子化手段と、前記ベクトル方位量子
化手段で量子化された、輪郭ストロークを構成する全ベ
クトルに関し、全量子化ベクトル方位に対する分布状況
の正規化を行うベクトル方位分布正規化手段と、前記ベ
クトル方位分布正規化手段で計算された正規化方位分布
に応じて前記被写体の姿勢を検出する姿勢情報検出手段
とを具備し、認識対象物の3次元的な姿勢情報の認識を
行うようにする。
【0018】この発明は、被写体画像を、その離間距離
対応の濃度で撮像して距離画像として出力する画像取得
手段にて撮像した所望被写体の距離画像から、その画像
の輪郭ストロークを抽出し、得られた輪郭ストロークか
ら当該輪郭ストロークを構成する全ベクトルに対して、
3次元的なベクトル方位を代表する量子化ベクトルで近
似し、その頻度分布に基づき、認識対象物体の三次元的
姿勢を検出する。
対応の濃度で撮像して距離画像として出力する画像取得
手段にて撮像した所望被写体の距離画像から、その画像
の輪郭ストロークを抽出し、得られた輪郭ストロークか
ら当該輪郭ストロークを構成する全ベクトルに対して、
3次元的なベクトル方位を代表する量子化ベクトルで近
似し、その頻度分布に基づき、認識対象物体の三次元的
姿勢を検出する。
【0019】そのため、本実施例によれば、被写体であ
る認識対象の物体の三次元的姿勢を定量的に評価できる
ようになり、高精度に奥行き方向を含めた3次元的姿勢
の認識を行うことができるようになる画像認識が実現で
きる。
る認識対象の物体の三次元的姿勢を定量的に評価できる
ようになり、高精度に奥行き方向を含めた3次元的姿勢
の認識を行うことができるようになる画像認識が実現で
きる。
【0020】[2] 第2の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から被写体像の輪郭を構成するス
トローク情報を検出するための輪郭ストローク検出手段
と、前記輪郭ストローク検出手段で検出した輪郭ストロ
ークを構成する全ベクトルに対し、そのベクトル方位に
基づき量子化を行うベクトル方位量子化手段と、前記ベ
クトル方位量子化手段で量子化された、輪郭ストローク
を構成する全ベクトルに関し、全量子化ベクトル方位に
対する分布状況の正規化を行うベクトル方位分布正規化
手段と、前記ベクトル方位分布正規化手段で計算された
ストロークのベクトル方位正規化分布情報を格納するた
めの、ベクトル方位分布パターン格納手段と、前記ベク
トル方位分布パターン格納手段に格納された正規化方位
分布情報と、前記ベクトル方位分布正規化手段で計算さ
れた正規化方位分布パターンとを比較することで、認識
対象物体の姿勢情報を検出する姿勢情報検出手段とを具
備し、被写体である認識対象物の3次元的な姿勢情報の
認識を行う構成とする。
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から被写体像の輪郭を構成するス
トローク情報を検出するための輪郭ストローク検出手段
と、前記輪郭ストローク検出手段で検出した輪郭ストロ
ークを構成する全ベクトルに対し、そのベクトル方位に
基づき量子化を行うベクトル方位量子化手段と、前記ベ
クトル方位量子化手段で量子化された、輪郭ストローク
を構成する全ベクトルに関し、全量子化ベクトル方位に
対する分布状況の正規化を行うベクトル方位分布正規化
手段と、前記ベクトル方位分布正規化手段で計算された
ストロークのベクトル方位正規化分布情報を格納するた
めの、ベクトル方位分布パターン格納手段と、前記ベク
トル方位分布パターン格納手段に格納された正規化方位
分布情報と、前記ベクトル方位分布正規化手段で計算さ
れた正規化方位分布パターンとを比較することで、認識
対象物体の姿勢情報を検出する姿勢情報検出手段とを具
備し、被写体である認識対象物の3次元的な姿勢情報の
認識を行う構成とする。
【0021】この構成により、テンプレートとして認識
したい対象の輪郭ストローク情報をベクトル方位分布と
して登録しておけるため、認識対象の物体の姿勢はもと
より、その形状パターンの認識、およびテンプレート物
体に対する姿勢変化量の認識と云った各種姿勢情報の認
識を行うことができるようになる。
したい対象の輪郭ストローク情報をベクトル方位分布と
して登録しておけるため、認識対象の物体の姿勢はもと
より、その形状パターンの認識、およびテンプレート物
体に対する姿勢変化量の認識と云った各種姿勢情報の認
識を行うことができるようになる。
【0022】この構成においては、あらかじめ認識させ
たい認識対象物体の様々な姿勢での距離画像(代表的姿
勢毎に最低限1枚)を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段には、被写体である認識対象の物体の
輪郭ストロークから得られるベクトル方位正規化分布の
情報をこのテンプレートおよびこのテンプレートから姿
勢変化計算により求めた新テンプレートである演算姿勢
変化テンプレートと比較させることにより、近いもの、
すなわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とする。
たい認識対象物体の様々な姿勢での距離画像(代表的姿
勢毎に最低限1枚)を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段には、被写体である認識対象の物体の
輪郭ストロークから得られるベクトル方位正規化分布の
情報をこのテンプレートおよびこのテンプレートから姿
勢変化計算により求めた新テンプレートである演算姿勢
変化テンプレートと比較させることにより、近いもの、
すなわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とする。
【0023】そのため、認識対象の物体の形状、姿勢、
および姿勢変化量の検出が容易に行えて、形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになる。
および姿勢変化量の検出が容易に行えて、形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになる。
【0024】また、[1]項における構成では、撮像対
象の三次元的姿勢を定量的に評価できるのに対して、こ
の[2]項の形態の発明においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、物体の3次元的姿勢、
形状パターンの認識、およびテンプレート物体に対する
姿勢変化量の認識ができる構成となる。
象の三次元的姿勢を定量的に評価できるのに対して、こ
の[2]項の形態の発明においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、物体の3次元的姿勢、
形状パターンの認識、およびテンプレート物体に対する
姿勢変化量の認識ができる構成となる。
【0025】[3] 第3の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する撮像手段を備えた画像取得手段
と、画像取得手段で取得された距離画像から撮像物体の
法線情報を検出するための法線検出手段と、前記法線検
出手段で検出した全法線ベクトルに対し、そのベクトル
方位に基づき量子化を行う法線ベクトル方位量子化手段
と、前記法線ベクトル方位量子化手段で量子化された、
全法線ベクトルに関し、全量子化ベクトル方位に対する
分布状況の正規化を行う法線ベクトル方位分布正規化手
段と、前記法線ベクトル方位分布正規化手段で計算され
た正規化方位分布に応じて撮像物体の姿勢情報を検出す
る姿勢情報検出手段と、を具備し、対象物の3次元的な
姿勢情報の認識を行う構成とする。
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する撮像手段を備えた画像取得手段
と、画像取得手段で取得された距離画像から撮像物体の
法線情報を検出するための法線検出手段と、前記法線検
出手段で検出した全法線ベクトルに対し、そのベクトル
方位に基づき量子化を行う法線ベクトル方位量子化手段
と、前記法線ベクトル方位量子化手段で量子化された、
全法線ベクトルに関し、全量子化ベクトル方位に対する
分布状況の正規化を行う法線ベクトル方位分布正規化手
段と、前記法線ベクトル方位分布正規化手段で計算され
た正規化方位分布に応じて撮像物体の姿勢情報を検出す
る姿勢情報検出手段と、を具備し、対象物の3次元的な
姿勢情報の認識を行う構成とする。
【0026】この構成においては、認識対象である撮像
物体の姿勢情報を検出するにあたり、認識対象の各部の
表面における法線に着目して、その認識対象の各部の傾
きを知ることにより、認識対象の姿勢情報(認識対象の
形状、3次元的姿勢、および姿勢変化量)を引き出す。
物体の姿勢情報を検出するにあたり、認識対象の各部の
表面における法線に着目して、その認識対象の各部の傾
きを知ることにより、認識対象の姿勢情報(認識対象の
形状、3次元的姿勢、および姿勢変化量)を引き出す。
【0027】すなわち、法線ベクトル方位頻度分布に基
づき、撮像物体の姿勢情報を検出する検出方式であり、
[1],[2]項の発明における構成での求めた量子化
ベクトル方位が、この[3]項の発明では撮像物体面を
代表する法線ベクトル成分に置き換わっている。
づき、撮像物体の姿勢情報を検出する検出方式であり、
[1],[2]項の発明における構成での求めた量子化
ベクトル方位が、この[3]項の発明では撮像物体面を
代表する法線ベクトル成分に置き換わっている。
【0028】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて取得することで、認識
対象の姿勢情報(認識対象の形状、3次元的姿勢、およ
び姿勢変化量)を引き出す。従って、法線情報に基づい
た認識対象の姿勢情報検出方式が実現できることにな
る。
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて取得することで、認識
対象の姿勢情報(認識対象の形状、3次元的姿勢、およ
び姿勢変化量)を引き出す。従って、法線情報に基づい
た認識対象の姿勢情報検出方式が実現できることにな
る。
【0029】[4] 第4の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から撮像物体の法線情報を検出す
る法線検出手段と、前記法線検出手段で検出した全法線
ベクトルに対し、そのベクトル方位に基づき量子化を行
う法線ベクトル方位量子化手段と、前記法線ベクトル方
位量子化手段で量子化された、全法線ベクトルに関し、
全量子化ベクトル方位に対する分布状況の正規化を行う
法線ベクトル方位分布正規化手段と、前記法線ベクトル
方位分布正規化手段で計算されたストロークのベクトル
方位正規化分布情報を格納する法線ベクトル方位分布パ
ターン格納手段と、前記法線ベクトル方位分布パターン
格納手段に格納された正規化方位分布情報と、前記法線
ベクトル方位分布正規化手段で計算された正規化方位分
布パターンとを比較することで、撮像物体の姿勢情報を
検出するための、姿勢情報検出手段とを具備し、対象物
の3次元的な姿勢情報の認識を行う構成とする。
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した距離画像から撮像物体の法線情報を検出す
る法線検出手段と、前記法線検出手段で検出した全法線
ベクトルに対し、そのベクトル方位に基づき量子化を行
う法線ベクトル方位量子化手段と、前記法線ベクトル方
位量子化手段で量子化された、全法線ベクトルに関し、
全量子化ベクトル方位に対する分布状況の正規化を行う
法線ベクトル方位分布正規化手段と、前記法線ベクトル
方位分布正規化手段で計算されたストロークのベクトル
方位正規化分布情報を格納する法線ベクトル方位分布パ
ターン格納手段と、前記法線ベクトル方位分布パターン
格納手段に格納された正規化方位分布情報と、前記法線
ベクトル方位分布正規化手段で計算された正規化方位分
布パターンとを比較することで、撮像物体の姿勢情報を
検出するための、姿勢情報検出手段とを具備し、対象物
の3次元的な姿勢情報の認識を行う構成とする。
【0030】この構成によれば、認識対象である撮像物
体の姿勢情報を、撮像物体面を代表する法線ベクトル成
分に基づいて検出するが、この構成においての[3]の
構成との相違点は、テンプレートを用いてそのテンプレ
ートとの類似度の高さに基づき、類似度の高いテンプレ
ートの持つ情報から求めるようにしているという点であ
る。
体の姿勢情報を、撮像物体面を代表する法線ベクトル成
分に基づいて検出するが、この構成においての[3]の
構成との相違点は、テンプレートを用いてそのテンプレ
ートとの類似度の高さに基づき、類似度の高いテンプレ
ートの持つ情報から求めるようにしているという点であ
る。
【0031】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
(評価式による評価値の大きさ)により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報や形状情報を以て認識対象の姿勢情報(認識対象の形
状、3次元的姿勢、および姿勢変化量)を認識できるよ
うにした認識対象の姿勢情報検出方式が実現できる。
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
(評価式による評価値の大きさ)により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報や形状情報を以て認識対象の姿勢情報(認識対象の形
状、3次元的姿勢、および姿勢変化量)を認識できるよ
うにした認識対象の姿勢情報検出方式が実現できる。
【0032】[5]第5の発明における画像認識装置
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した撮像画像から画像特徴量を検出する画像特
徴量検出手段と、前記画像特徴量検出手段で検出した画
像特徴量に基づき、撮像物体の姿勢情報を検出する姿勢
情報検出手段とを具備し、対象物の3次元的な姿勢情報
の認識を行う構成とする。
は、被写体像を、その離間距離対応の濃度で撮像した距
離画像として取得する画像取得手段と、前記画像取得手
段が取得した撮像画像から画像特徴量を検出する画像特
徴量検出手段と、前記画像特徴量検出手段で検出した画
像特徴量に基づき、撮像物体の姿勢情報を検出する姿勢
情報検出手段とを具備し、対象物の3次元的な姿勢情報
の認識を行う構成とする。
【0033】この構成によれば、画像特徴量としてモー
メント量を用いるようにしたことで、撮像物体表面のミ
クロな変位に依存することなく、撮像物体の3次元的姿
勢情報を精度良く求めることが可能となり、認識対象で
ある撮像物体表面にミクロな変位があっても、これの影
響を受けることなく、3次元的姿勢情報を精度良く求め
ることができるようになる。
メント量を用いるようにしたことで、撮像物体表面のミ
クロな変位に依存することなく、撮像物体の3次元的姿
勢情報を精度良く求めることが可能となり、認識対象で
ある撮像物体表面にミクロな変位があっても、これの影
響を受けることなく、3次元的姿勢情報を精度良く求め
ることができるようになる。
【0034】
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。 (第1の実施形態)この第1の実施形態においては、与
えられた距離画像から、その輪郭ストロークを抽出し、
得られた輪郭ストロークから当該輪郭ストロークを構成
する全ベクトルに対して、3次元的なベクトル方位を代
表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象の三次元的姿勢を検出する方式の実施例を
説明する。
実施の形態を説明する。 (第1の実施形態)この第1の実施形態においては、与
えられた距離画像から、その輪郭ストロークを抽出し、
得られた輪郭ストロークから当該輪郭ストロークを構成
する全ベクトルに対して、3次元的なベクトル方位を代
表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象の三次元的姿勢を検出する方式の実施例を
説明する。
【0035】図1は、本発明の第1の実施形態に係る画
像認識装置の全体構成図であって、101は画像取得手
段、102は輪郭ストローク検出手段、103はベクト
ル方位量子化手段、104はベクトル方位分布正規化手
段、105は姿勢情報検出手段である。
像認識装置の全体構成図であって、101は画像取得手
段、102は輪郭ストローク検出手段、103はベクト
ル方位量子化手段、104はベクトル方位分布正規化手
段、105は姿勢情報検出手段である。
【0036】これらのうち、画像取得手段101は認識
対象物体(例えば、人間の手、顔、全身など)を、その
3次元形状を反映した奥行き値を持つ画像(以下、距離
画像と呼ぶ)として所定時間毎(例えば1/30秒毎な
ど)に取得するものである。このような距離画像の取得
法としては、例えば、特開平PH10‐177449号
公報に開示されている画像取得方法などが知られてお
り、これらの技術を用いて実現することができる。
対象物体(例えば、人間の手、顔、全身など)を、その
3次元形状を反映した奥行き値を持つ画像(以下、距離
画像と呼ぶ)として所定時間毎(例えば1/30秒毎な
ど)に取得するものである。このような距離画像の取得
法としては、例えば、特開平PH10‐177449号
公報に開示されている画像取得方法などが知られてお
り、これらの技術を用いて実現することができる。
【0037】具体的には、この距離画像取得技術は、被
写体に近赤外線を照射し、その近赤外線反射光学像を撮
像手段にて撮像して得た被写体画像を利用するものであ
って、当該撮像して得られた近赤外線反射光学像は、例
えば、その被写体が手などのような一様に光を反射する
物体からの反射の場合、その反射光量は距離と密接な関
係を持つことを利用している。すなわち、物体からの反
射光は、物体までの距離の二乗に反比例して小さくな
る。そして、撮像手段で得た近赤外線反射像の画像の画
素値はその画素位置で受けた近赤外線光量に対応するの
で、被写体が手などのような一様に光を反射する物体か
らの反射の場合、その画像の各画素値(濃度値(階調
値))は距離に密接な関係を持つこととなり、距離が離
れるほど、濃度値が薄くなる。従って、2次元画像では
あるが、このようにして得た画像を用いることで、3次
元形状を反映した奥行き値を持つ画像である距離画像と
して利用できる。
写体に近赤外線を照射し、その近赤外線反射光学像を撮
像手段にて撮像して得た被写体画像を利用するものであ
って、当該撮像して得られた近赤外線反射光学像は、例
えば、その被写体が手などのような一様に光を反射する
物体からの反射の場合、その反射光量は距離と密接な関
係を持つことを利用している。すなわち、物体からの反
射光は、物体までの距離の二乗に反比例して小さくな
る。そして、撮像手段で得た近赤外線反射像の画像の画
素値はその画素位置で受けた近赤外線光量に対応するの
で、被写体が手などのような一様に光を反射する物体か
らの反射の場合、その画像の各画素値(濃度値(階調
値))は距離に密接な関係を持つこととなり、距離が離
れるほど、濃度値が薄くなる。従って、2次元画像では
あるが、このようにして得た画像を用いることで、3次
元形状を反映した奥行き値を持つ画像である距離画像と
して利用できる。
【0038】前記輪郭ストローク検出手段102は、前
記画像取得手段101により取得された距離画像から、
その輪郭を構成するストローク情報を検出するものであ
り、また、前記ベクトル方位量子化手段103は前記輪
郭ストローク検出手段102で検出した輪郭ストローク
を構成する全ベクトルに対し、そのベクトル方位成分に
基づき量子化を行う量子化手段である。
記画像取得手段101により取得された距離画像から、
その輪郭を構成するストローク情報を検出するものであ
り、また、前記ベクトル方位量子化手段103は前記輪
郭ストローク検出手段102で検出した輪郭ストローク
を構成する全ベクトルに対し、そのベクトル方位成分に
基づき量子化を行う量子化手段である。
【0039】また、前記ベクトル方位分布正規化手段1
04は、前記ベクトル方向量子化手段103で取得され
た輪郭ストロークを構成する全ベクトルに関し、全量子
化ベクトル方位に対する分布状況の正規化を行う正規化
手段であり、前記姿勢情報検出手段105は、前記ベク
トル方位分布正規化手段104で計算されたベクトル方
位正規化分布に応じて、撮像物体の姿勢を検出するもの
である。
04は、前記ベクトル方向量子化手段103で取得され
た輪郭ストロークを構成する全ベクトルに関し、全量子
化ベクトル方位に対する分布状況の正規化を行う正規化
手段であり、前記姿勢情報検出手段105は、前記ベク
トル方位分布正規化手段104で計算されたベクトル方
位正規化分布に応じて、撮像物体の姿勢を検出するもの
である。
【0040】このような構成の本システムにおいては、
画像取得手段101は、上述したように認識対象物体
(例えば、人間の手、顔、全身など)を、その3次元形
状を反映した奥行き値を持つ画像(距離画像)として所
定時間毎(例えば1/30秒毎など)に取得する。そし
て、この場合、所定時間毎に距離画像が取得されてゆく
ため、これらをメモリなどを用いて、当該画像取得手段
101の内部または外部で逐次保持することで、対象物
の距離画像による動画像(以降、距離画像ストリームと
呼ぶ)を得るようにしている。このとき、距離画像スト
リームは、距離画像の取得間隔をt秒としたとき、“最
新の距離画像”、“最新からt秒前(以降、1フレーム
前と呼ぶ)の距離画像”、“最新から2t秒前(2フレ
ーム前、以下同様)の距離画像”、…、といった複数フ
レームの距離画像の集合体として得られることになる。
画像取得手段101は、上述したように認識対象物体
(例えば、人間の手、顔、全身など)を、その3次元形
状を反映した奥行き値を持つ画像(距離画像)として所
定時間毎(例えば1/30秒毎など)に取得する。そし
て、この場合、所定時間毎に距離画像が取得されてゆく
ため、これらをメモリなどを用いて、当該画像取得手段
101の内部または外部で逐次保持することで、対象物
の距離画像による動画像(以降、距離画像ストリームと
呼ぶ)を得るようにしている。このとき、距離画像スト
リームは、距離画像の取得間隔をt秒としたとき、“最
新の距離画像”、“最新からt秒前(以降、1フレーム
前と呼ぶ)の距離画像”、“最新から2t秒前(2フレ
ーム前、以下同様)の距離画像”、…、といった複数フ
レームの距離画像の集合体として得られることになる。
【0041】ここで、距離画像の詳細について説明して
おく。
おく。
【0042】図2に、画像取得手段101により取得さ
れた手の距離画像の例を示す。距離画像は、1台の撮像
手段にて撮像した画像ではあるが、上述したように、距
離の二乗に反比例する濃度値を持つ画像であるため、奥
行き情報を有する3次元画像と云う意味合いを持つ画像
となっている。
れた手の距離画像の例を示す。距離画像は、1台の撮像
手段にて撮像した画像ではあるが、上述したように、距
離の二乗に反比例する濃度値を持つ画像であるため、奥
行き情報を有する3次元画像と云う意味合いを持つ画像
となっている。
【0043】この距離画像は、例えば、X軸(横)方向
64画素×Y軸(縦)方向64画素構成であり、濃度値
はZ軸(奥行き)方向の情報を持つもので、これは25
6階調で表現される画像となっている。図2は、距離画
像の距離値、すなわちz軸方向の階調をグレースケール
で表現したもので、この場合、色が黒に近いほど距離が
近く、白に近くなるほど距離が遠いことを示している。
また、色が完全に白のところは、画像がない、あるいは
あっても遠方で、実質的に画像が無いのと同じであるこ
とを示している。
64画素×Y軸(縦)方向64画素構成であり、濃度値
はZ軸(奥行き)方向の情報を持つもので、これは25
6階調で表現される画像となっている。図2は、距離画
像の距離値、すなわちz軸方向の階調をグレースケール
で表現したもので、この場合、色が黒に近いほど距離が
近く、白に近くなるほど距離が遠いことを示している。
また、色が完全に白のところは、画像がない、あるいは
あっても遠方で、実質的に画像が無いのと同じであるこ
とを示している。
【0044】このようにして画像取得手段101によっ
て取得された距離画像は、画像ストリームとして順次、
輪郭ストローク検出手段102に送られる。すると、輪
郭ストローク検出手段102は、前記画像取得手段10
1によって取得された距離画像ストリーム中に含まれる
距離画像から、撮像物体の輪郭を表すストローク情報を
検出する。
て取得された距離画像は、画像ストリームとして順次、
輪郭ストローク検出手段102に送られる。すると、輪
郭ストローク検出手段102は、前記画像取得手段10
1によって取得された距離画像ストリーム中に含まれる
距離画像から、撮像物体の輪郭を表すストローク情報を
検出する。
【0045】撮像物体を囲む輪郭線の抽出は、撮像画像
に対してあるしきい値以上の画素が存在する領域を探索
することで、求めることができる。具体的には、例え
ば、特開平10‐177449号公報に開示されている
画像取得方法などを用いれば、背景画像成分の画素値を
しきい値以下に落とすことで、撮像物体のみを切り出す
ことが可能である。
に対してあるしきい値以上の画素が存在する領域を探索
することで、求めることができる。具体的には、例え
ば、特開平10‐177449号公報に開示されている
画像取得方法などを用いれば、背景画像成分の画素値を
しきい値以下に落とすことで、撮像物体のみを切り出す
ことが可能である。
【0046】具体的に抽出処理を説明する。ここでの抽
出処理の流れを図3に示す。輪郭ストローク検出手段1
02は、まず、輪郭線検出の開始点を求める(図3のス
テップS301)。ここでは、画素値がしきい値以上の
画素のうち、最も左上にあるものを開始点として選ぶこ
とにする。
出処理の流れを図3に示す。輪郭ストローク検出手段1
02は、まず、輪郭線検出の開始点を求める(図3のス
テップS301)。ここでは、画素値がしきい値以上の
画素のうち、最も左上にあるものを開始点として選ぶこ
とにする。
【0047】次に輪郭ストローク検出手段102は、ス
テップS301で設定した開始点をもとに、時計回りに
ストローク構成点を探索していく。そして、あらかじめ
設定しておいた単位ベクトル長を超えるしきい値以上の
最も近い画素を、ストローク構成点の候補として登録す
る(図3のステップS302)。
テップS301で設定した開始点をもとに、時計回りに
ストローク構成点を探索していく。そして、あらかじめ
設定しておいた単位ベクトル長を超えるしきい値以上の
最も近い画素を、ストローク構成点の候補として登録す
る(図3のステップS302)。
【0048】ここで、単位ベクトル長を調整すること
で、輪郭ストロークを構成するベクトル数を調整するこ
とが可能である。単位ベクトル長を長くすれば、同じ輪
郭形状に対し、ベクトル数を少なくできるが、形状の再
現度は低くなり、逆に単位ベクトル長を数画素程度にす
れば、ベクトル数は増えるが、形状の再現度を高めるこ
とができる。
で、輪郭ストロークを構成するベクトル数を調整するこ
とが可能である。単位ベクトル長を長くすれば、同じ輪
郭形状に対し、ベクトル数を少なくできるが、形状の再
現度は低くなり、逆に単位ベクトル長を数画素程度にす
れば、ベクトル数は増えるが、形状の再現度を高めるこ
とができる。
【0049】次に、ステップS302で求めた輪郭候補
点と開始点との距離を評価し、その結果、単位ベクトル
長より短かい場合には輪郭を一巡したことになるため、
輪郭ストロークの探索を終了する。そうでない場合、候
補点を輪郭構成点として登録し、この構成点を基点とし
て次の輪郭候補点の探索を繰り返す(図3のステップS
303,S302)。
点と開始点との距離を評価し、その結果、単位ベクトル
長より短かい場合には輪郭を一巡したことになるため、
輪郭ストロークの探索を終了する。そうでない場合、候
補点を輪郭構成点として登録し、この構成点を基点とし
て次の輪郭候補点の探索を繰り返す(図3のステップS
303,S302)。
【0050】このようにして得られたストローク構成点
Pi(i=1,2,3,…N,…)の画素成分を、三次
元位置座標(画像ピクセル位置(画素位置)(X,Y)
と距離値(Z))と解釈すると、例えば、図4に示す如
きの点列情報として、輪郭ストロークStrokeは表現でき
る。ここでPi(i=1,2,3,…N,…)はストロ
ーク構成点、SV(k)(k=0,1,2,3,…N,
…)は構成ベクトルである。
Pi(i=1,2,3,…N,…)の画素成分を、三次
元位置座標(画像ピクセル位置(画素位置)(X,Y)
と距離値(Z))と解釈すると、例えば、図4に示す如
きの点列情報として、輪郭ストロークStrokeは表現でき
る。ここでPi(i=1,2,3,…N,…)はストロ
ーク構成点、SV(k)(k=0,1,2,3,…N,
…)は構成ベクトルである。
【0051】図5は切り出された輪郭ストロークを、撮
像画像と重ね合わせて表示したものである。ストローク
を構成する隣り合う2点間を結ぶベクトルは、画面表示
して操作者に呈示する場合には、端点(ストローク構成
点)の距離値(Z値)に応じて色付けすると良い。そし
て、手前に近づくほど(Z値が大きくなるほど)赤く、
奥に離れていくほど(Z値が小さくなるほど)青くなるよ
う表示設定して画面に表示すると、距離感が掴み易い表
示となる。
像画像と重ね合わせて表示したものである。ストローク
を構成する隣り合う2点間を結ぶベクトルは、画面表示
して操作者に呈示する場合には、端点(ストローク構成
点)の距離値(Z値)に応じて色付けすると良い。そし
て、手前に近づくほど(Z値が大きくなるほど)赤く、
奥に離れていくほど(Z値が小さくなるほど)青くなるよ
う表示設定して画面に表示すると、距離感が掴み易い表
示となる。
【0052】 このようにして、輪郭ストローク検出手段102が検出
した輪郭ストローク情報はベクトル方位量子化手段10
3に与えられる。すると、ベクトル方位量子化手段10
3は、この輪郭ストローク検出手段102で検出された
輪郭ストローク情報から、輪郭ストロークを構成する全
ベクトルに対して、そのベクトル方位に応じて量子化を
行う。ここでの量子化は、輪郭ストロークを構成する全
ベクトルに対し、全量子化ベクトルとの相関を計算し、
最も相関の高い量子化ベクトルに置き換えると云った処
理である。
した輪郭ストローク情報はベクトル方位量子化手段10
3に与えられる。すると、ベクトル方位量子化手段10
3は、この輪郭ストローク検出手段102で検出された
輪郭ストローク情報から、輪郭ストロークを構成する全
ベクトルに対して、そのベクトル方位に応じて量子化を
行う。ここでの量子化は、輪郭ストロークを構成する全
ベクトルに対し、全量子化ベクトルとの相関を計算し、
最も相関の高い量子化ベクトルに置き換えると云った処
理である。
【0053】ベクトル方位量子化手段103による輪郭
ストローク構成ベクトルの量子化ベクトルへの置換処理
の流れを図6に示す。
ストローク構成ベクトルの量子化ベクトルへの置換処理
の流れを図6に示す。
【0054】図6に示すように、ベクトル方位量子化手
段103は、まず、輪郭ストローク構成点列から輪郭ス
トロークを構成するベクトルを生成する(図6のステッ
プS601)。
段103は、まず、輪郭ストローク構成点列から輪郭ス
トロークを構成するベクトルを生成する(図6のステッ
プS601)。
【0055】輪郭ストロークの構成ベクトルSV(k)
はストローク点列 Stroke から以下のように求められる
(図3)。ただし、ストロークを構成する全ベクトル数
をNとする。
はストローク点列 Stroke から以下のように求められる
(図3)。ただし、ストロークを構成する全ベクトル数
をNとする。
【0056】 SV(k)=Pk+1−Pk …式(2) ただし、(k=0〜N−1) 次に、ベクトル方位量子化手段103は、ステップS6
01で求めた構成ベクトルSV(k)に対してそのベク
トル長に応じた正規化を行う(図6のステップS60
2)。そして、これにより正規化構成ベクトルSV′
(k)を得る。
01で求めた構成ベクトルSV(k)に対してそのベク
トル長に応じた正規化を行う(図6のステップS60
2)。そして、これにより正規化構成ベクトルSV′
(k)を得る。
【0057】この正規化した構成ベクトルSV′(k)
は、以下のように求めることができる。ただし、||V
||はベクトルVの長さを表すものとする。
は、以下のように求めることができる。ただし、||V
||はベクトルVの長さを表すものとする。
【0058】 SV′(k)=SV(k)/||SV(k)|| …式(3) (k=0〜N−1) なお、量子化ベクトルは、認識したい姿勢検出範囲で、
均質に三次元的ベクトル方位を表現できるものであれば
よい。ここでは、XY平面を基底とした正規化極座標を
考える(図7参照)。
均質に三次元的ベクトル方位を表現できるものであれば
よい。ここでは、XY平面を基底とした正規化極座標を
考える(図7参照)。
【0059】具体的には、XY平面内方位分割数をQx
y、そして、Z軸方向の方位分割数をQzとすると、当
該量子化ベクトルUV(i,j)は一般に以下のように
表現できる。
y、そして、Z軸方向の方位分割数をQzとすると、当
該量子化ベクトルUV(i,j)は一般に以下のように
表現できる。
【0060】 但し、(i=0〜Qxy−1,j=0〜Qz) 従って、Qxy=8,Qz =4の場合を例にとると、重複
するベクトルは一つの量子化ベクトルとして表現して表
現するため、全量子化ベクトルは以下の26種のベクト
ルとなる。
するベクトルは一つの量子化ベクトルとして表現して表
現するため、全量子化ベクトルは以下の26種のベクト
ルとなる。
【0061】UV(0〜7,0) = (0,0,1),UV(0,1) = (1,0,
√2), UV(1,1) = (1/2,1/2,√2),UV(2,1) = (0,1,√
2), UV(3,1) = (-1/2,1/2,√2),UV(4,1) = (-1,0,√
2), UV(5,1) = (-1/2,-1/2,√2),UV(6,1) = (0,-1,√
2), UV(7,1) = (1/2,-1/2,√2),UV(0,2) = (1,0,0),
UV(1,2) = (1/√2,1/√2,0),UV(2,2) = (0,1,0), UV
(3,2) = (-1/√2,1/√2,0),UV(4,2) = (-1,0,0), UV
(5,2) = (-1/√2,-1/√2,0),UV(6,2) = (0,-1,0), UV
(7,2) = (1/√2,-1/√2,0),UV(0,3) = (1,0,-√2), UV
(1,3) = (1/2,1/2,-√2),UV(2,3) = (0,1,-√2), UV
(3,3) = (-1/2,1/2,-√2),UV(4,3) = (-1,0,-√2), UV
(5,3) = (-1/2,-1/2,-√2),UV(6,3) = (0,-1,-√2), U
V(7,3) = (1/2,-1/2,-√2),UV(0〜7,4) = (0,0,-1) 一般に、量子化数は計算精度と計算量のトレードオフの
関係にあり、量子化数を増やすことで、検出精度の向上
が期待できるが、反面、計算量が増大する。また、量子
化ベクトルの次元は、姿勢検出の方向性も表しており、
QxyはZ軸周りの傾き具合、QzはZ軸方向の傾き具合
の検出精度に、それぞれ対応している。
√2), UV(1,1) = (1/2,1/2,√2),UV(2,1) = (0,1,√
2), UV(3,1) = (-1/2,1/2,√2),UV(4,1) = (-1,0,√
2), UV(5,1) = (-1/2,-1/2,√2),UV(6,1) = (0,-1,√
2), UV(7,1) = (1/2,-1/2,√2),UV(0,2) = (1,0,0),
UV(1,2) = (1/√2,1/√2,0),UV(2,2) = (0,1,0), UV
(3,2) = (-1/√2,1/√2,0),UV(4,2) = (-1,0,0), UV
(5,2) = (-1/√2,-1/√2,0),UV(6,2) = (0,-1,0), UV
(7,2) = (1/√2,-1/√2,0),UV(0,3) = (1,0,-√2), UV
(1,3) = (1/2,1/2,-√2),UV(2,3) = (0,1,-√2), UV
(3,3) = (-1/2,1/2,-√2),UV(4,3) = (-1,0,-√2), UV
(5,3) = (-1/2,-1/2,-√2),UV(6,3) = (0,-1,-√2), U
V(7,3) = (1/2,-1/2,-√2),UV(0〜7,4) = (0,0,-1) 一般に、量子化数は計算精度と計算量のトレードオフの
関係にあり、量子化数を増やすことで、検出精度の向上
が期待できるが、反面、計算量が増大する。また、量子
化ベクトルの次元は、姿勢検出の方向性も表しており、
QxyはZ軸周りの傾き具合、QzはZ軸方向の傾き具合
の検出精度に、それぞれ対応している。
【0062】ステップS603では、輪郭ストロークを
構成するベクトルに対して、全量子化ベクトルとの類似
度を計算することで、置換可能な量子化ベクトルを求め
る。
構成するベクトルに対して、全量子化ベクトルとの類似
度を計算することで、置換可能な量子化ベクトルを求め
る。
【0063】ステップS602で求めた正規化ストロー
ク構成ベクトルSV′(k)と、各量子化ベクトルUV
との相関計数 Corr(k,i,j)は、以下のようにベクトル
内積で求めることができる。
ク構成ベクトルSV′(k)と、各量子化ベクトルUV
との相関計数 Corr(k,i,j)は、以下のようにベクトル
内積で求めることができる。
【0064】 Corr(k, i, j) = SV′(k) * UV(i,j) …式(5) 但し、k=0〜 N-1, i = 0 〜 Qxy-1, j = 0 〜 Qz 相関が最大時の量子化ベクトル次元(i,j)を(ima
x,jmax)とすると、ストローク構成ベクトルSV′
(k)と量子化ベクトルUV(imax,jmax)を入れ替
えることで、ストローク構成ベクトルの量子化を行うこ
とができる(図6のステップS604)。
x,jmax)とすると、ストローク構成ベクトルSV′
(k)と量子化ベクトルUV(imax,jmax)を入れ替
えることで、ストローク構成ベクトルの量子化を行うこ
とができる(図6のステップS604)。
【0065】以上の処理を、全ストローク構成ベクトル
に関して施すことで、ストローク構成ベクトルの量子化
を終了する(図6のステップS605)。
に関して施すことで、ストローク構成ベクトルの量子化
を終了する(図6のステップS605)。
【0066】ベクトル方位量子化手段103によるこの
ような処理により、量子化されたストローク構成ベクト
ルは、ベクトル方位分布正規化手段104に与えられ
る。するとベクトル方位分布正規化手段104では、前
記ベクトル方位量子化手段103により量子化された輪
郭ストロークを構成する全ベクトルに亙って、そのベク
トル方位分布を正規化する。
ような処理により、量子化されたストローク構成ベクト
ルは、ベクトル方位分布正規化手段104に与えられ
る。するとベクトル方位分布正規化手段104では、前
記ベクトル方位量子化手段103により量子化された輪
郭ストロークを構成する全ベクトルに亙って、そのベク
トル方位分布を正規化する。
【0067】この処理は次のようにして行う。ここで
は、輪郭ストロークを構成する全ベクトル中、各量子化
ベクトルがどの程度含まれているかを計算する。量子化
ベクトルの構成割合R(i,j)は、その量子化ベクト
ルの総数N(i,j)と輪郭ストロークを構成する全ベ
クトル数Nとから、以下のように求めることができる
(図8参照)。
は、輪郭ストロークを構成する全ベクトル中、各量子化
ベクトルがどの程度含まれているかを計算する。量子化
ベクトルの構成割合R(i,j)は、その量子化ベクト
ルの総数N(i,j)と輪郭ストロークを構成する全ベ
クトル数Nとから、以下のように求めることができる
(図8参照)。
【0068】R(i,j)=N(i,j)/N …式(6) 一般に輪郭ストロークの長さは、同じ輪郭形状を持った
撮像対象であっても、画像中の撮像サイズに応じて異な
る。輪郭形状が等しいということは、輪郭ストロークを
構成する量子化ベクトル成分の割合が等しいと考えるこ
とができる。つまり、このベクトル方位分布正規化手段
104で量子化ベクトル方位分布の正規化を行うこと
で、後段の姿勢情報検出手段105は、撮像サイズに合
わせて認識対象の適正な姿勢検出が行えるようになるわ
けである。例えば、図8(a)の如き量子化ベクトル方
位分布は正規化されることにより図8(b)の如きにな
り、これによって、後段の姿勢情報検出手段105は、
撮像サイズに合わせて認識対象の適正な姿勢検出が行え
るようになるわけである。
撮像対象であっても、画像中の撮像サイズに応じて異な
る。輪郭形状が等しいということは、輪郭ストロークを
構成する量子化ベクトル成分の割合が等しいと考えるこ
とができる。つまり、このベクトル方位分布正規化手段
104で量子化ベクトル方位分布の正規化を行うこと
で、後段の姿勢情報検出手段105は、撮像サイズに合
わせて認識対象の適正な姿勢検出が行えるようになるわ
けである。例えば、図8(a)の如き量子化ベクトル方
位分布は正規化されることにより図8(b)の如きにな
り、これによって、後段の姿勢情報検出手段105は、
撮像サイズに合わせて認識対象の適正な姿勢検出が行え
るようになるわけである。
【0069】ベクトル方位分布正規化手段104で正規
化された量子化ベクトル方位分布の情報は姿勢情報検出
手段105に与えられる。そして、この姿勢情報検出手
段105は、前記ベクトル方位分布正規化手段104で
求めた輪郭ストロークを構成する全ベクトルの正規化方
位分布から、撮像対象(認識対象物)の姿勢を検出す
る。
化された量子化ベクトル方位分布の情報は姿勢情報検出
手段105に与えられる。そして、この姿勢情報検出手
段105は、前記ベクトル方位分布正規化手段104で
求めた輪郭ストロークを構成する全ベクトルの正規化方
位分布から、撮像対象(認識対象物)の姿勢を検出す
る。
【0070】この撮像対象の姿勢を検出は次のようにし
て行う。ここでは、前記ベクトル方位分布正規化手段1
04で求めたベクトル方位分布中、最大の分布を表す量
子化ベクトルをその認識対象の姿勢を代表する成分とみ
なすことにする。
て行う。ここでは、前記ベクトル方位分布正規化手段1
04で求めたベクトル方位分布中、最大の分布を表す量
子化ベクトルをその認識対象の姿勢を代表する成分とみ
なすことにする。
【0071】ここで、求められた量子化ベクトルを姿勢
代表ベクトルUV′(i,j)と表すとすると、そのi
成分がXY平面におけるZ軸(奥行き方向)を中心とし
た回転成分(2*π*i/Qxy [radian]の回転量)を表
し、また、j成分が奥行き方向の傾斜成分(π*j/Qz
[radian]の傾き量)を表わすことになる(図8)。
代表ベクトルUV′(i,j)と表すとすると、そのi
成分がXY平面におけるZ軸(奥行き方向)を中心とし
た回転成分(2*π*i/Qxy [radian]の回転量)を表
し、また、j成分が奥行き方向の傾斜成分(π*j/Qz
[radian]の傾き量)を表わすことになる(図8)。
【0072】ここでは、輪郭ストローク成分のみを計算
の対象にしており、輪郭ストローク内部、つまり撮像物
体の表面テクスチャや、照明条件に依存する濃淡画像情
報に依存しないため、安定して撮像物体の形状、および
姿勢を検出することが可能である。
の対象にしており、輪郭ストローク内部、つまり撮像物
体の表面テクスチャや、照明条件に依存する濃淡画像情
報に依存しないため、安定して撮像物体の形状、および
姿勢を検出することが可能である。
【0073】また、輪郭ストロークの構成ベクトルをそ
の3次元方位に応じて、量子化ベクトルで置換し、その
頻度分布をストローク長に応じて正規化することで、撮
像サイズなどに依存しない効率的な姿勢認識を行うこと
が可能となっている。
の3次元方位に応じて、量子化ベクトルで置換し、その
頻度分布をストローク長に応じて正規化することで、撮
像サイズなどに依存しない効率的な姿勢認識を行うこと
が可能となっている。
【0074】以上、この実施形態の発明は、被写体画像
を、その離間距離対応の濃度で撮像して距離画像として
出力する画像取得手段にて撮像した所望被写体の距離画
像から、その画像の輪郭ストロークを抽出し、得られた
輪郭ストロークから当該輪郭ストロークを構成する全ベ
クトルに対して、3次元的なベクトル方位を代表する量
子化ベクトルで近似し、その頻度分布に基づき、撮像対
象物体の三次元的姿勢や形状を検出するようにしたもの
である。
を、その離間距離対応の濃度で撮像して距離画像として
出力する画像取得手段にて撮像した所望被写体の距離画
像から、その画像の輪郭ストロークを抽出し、得られた
輪郭ストロークから当該輪郭ストロークを構成する全ベ
クトルに対して、3次元的なベクトル方位を代表する量
子化ベクトルで近似し、その頻度分布に基づき、撮像対
象物体の三次元的姿勢や形状を検出するようにしたもの
である。
【0075】そのため、本実施例によれば、撮像対象の
三次元的姿勢を定量的に評価できるようになり、高精度
に奥行き方向を含めた3次元的姿勢の認識を行うことが
できるようになる画像認識装置および画像認識方法が実
現できる。
三次元的姿勢を定量的に評価できるようになり、高精度
に奥行き方向を含めた3次元的姿勢の認識を行うことが
できるようになる画像認識装置および画像認識方法が実
現できる。
【0076】次に第2の実施形態について説明する。
【0077】第1の実施形態では、輪郭ストロークを構
成する全ベクトルに対して、3次元的なベクトル方位を
代表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象(認識対象)の三次元的姿勢や形状の検出
を行う方式について説明した。ところで、被写体に予め
様々な姿勢をとらせ、それを撮像して得た距離画像を元
にして輪郭ストロークのベクトル方位正規化分布情報を
得てこれをスタンダードモデルすなわち、テンプレート
として別途保存しておき、被写体の認識に当たっては、
取得した認識対象の被写体(撮像物体)の距離画像をも
とにしての輪郭ストロークから得られるベクトル方位正
規化分布情報を、前記スタンダードモデル(テンプレー
ト)としての輪郭ストロークのベクトル方位正規化分布
情報と比較照合することにより、当該被写体(撮像物
体)の形状認識、姿勢認識、および姿勢変化量の検出を
行うようにすれば、演算処理の負荷が軽減され、その
分、処理速度が向上して、リアルタイムに形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになるシステムの実現が期待できる。
この例を次に第2の実施形態として説明する。
成する全ベクトルに対して、3次元的なベクトル方位を
代表する量子化ベクトルで近似し、その頻度分布に基づ
き、撮像対象(認識対象)の三次元的姿勢や形状の検出
を行う方式について説明した。ところで、被写体に予め
様々な姿勢をとらせ、それを撮像して得た距離画像を元
にして輪郭ストロークのベクトル方位正規化分布情報を
得てこれをスタンダードモデルすなわち、テンプレート
として別途保存しておき、被写体の認識に当たっては、
取得した認識対象の被写体(撮像物体)の距離画像をも
とにしての輪郭ストロークから得られるベクトル方位正
規化分布情報を、前記スタンダードモデル(テンプレー
ト)としての輪郭ストロークのベクトル方位正規化分布
情報と比較照合することにより、当該被写体(撮像物
体)の形状認識、姿勢認識、および姿勢変化量の検出を
行うようにすれば、演算処理の負荷が軽減され、その
分、処理速度が向上して、リアルタイムに形状パターン
の認識、およびテンプレート物体に対する姿勢変化量の
認識ができるようになるシステムの実現が期待できる。
この例を次に第2の実施形態として説明する。
【0078】(第2の実施形態)第2の実施例では、基
準(テンプレート)として用意してある輪郭ストローク
のベクトル方位正規化分布と、認識対象の撮像物体の輪
郭ストロークから得られるベクトル方位正規化分布とか
ら、撮像物体の形状、姿勢、および姿勢変化量と云った
姿勢情報の検出を行うことにより、形状パターンの認
識、およびテンプレート物体に対する姿勢変化量の認識
ができるようにした例を説明する。
準(テンプレート)として用意してある輪郭ストローク
のベクトル方位正規化分布と、認識対象の撮像物体の輪
郭ストロークから得られるベクトル方位正規化分布とか
ら、撮像物体の形状、姿勢、および姿勢変化量と云った
姿勢情報の検出を行うことにより、形状パターンの認
識、およびテンプレート物体に対する姿勢変化量の認識
ができるようにした例を説明する。
【0079】図9は、本発明の第2の実施形態に係る画
像認識装置の全体構成図である。図9において、901
は画像取得手段であり、認識対象としての被写体の距離
画像を取得するための撮像手段を備えた画像取得手段で
ある。902は輪郭ストローク検出手段であり、画像取
得手段901で取得された距離画像から輪郭を構成する
ストローク情報を検出するためのものである。
像認識装置の全体構成図である。図9において、901
は画像取得手段であり、認識対象としての被写体の距離
画像を取得するための撮像手段を備えた画像取得手段で
ある。902は輪郭ストローク検出手段であり、画像取
得手段901で取得された距離画像から輪郭を構成する
ストローク情報を検出するためのものである。
【0080】また、903はベクトル方位量子化手段で
あり、当該ベクトル方位量子化手段903は前記輪郭ス
トローク検出手段902で検出した輪郭ストロークを構
成する全ベクトルに対し、そのベクトル方位成分に基づ
き量子化を行う量子化手段である。
あり、当該ベクトル方位量子化手段903は前記輪郭ス
トローク検出手段902で検出した輪郭ストロークを構
成する全ベクトルに対し、そのベクトル方位成分に基づ
き量子化を行う量子化手段である。
【0081】904はベクトル方位分布正規化手段であ
って、当該ベクトル方位分布正規化手段904は前記ベ
クトル方向量子化手段903で取得された輪郭ストロー
クを構成する全ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行うためのものであり、9
06はベクトル方位分布パターン格納手段であって、こ
のベクトル方位分布パターン格納手段906は前記ベク
トル方位分布正規化手段904で求めた輪郭ストローク
を構成する全ベクトルの正規化方位分布情報を格納する
ためのものである。このベクトル方位分布パターン格納
手段906には、被写体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た輪郭ストロー
クのベクトル方位正規化分布情報(ベクトル方位正規化
分布パターン)をスタンダードモデルすなわち、テンプ
レートとして保存しておくため等に用いる。
って、当該ベクトル方位分布正規化手段904は前記ベ
クトル方向量子化手段903で取得された輪郭ストロー
クを構成する全ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行うためのものであり、9
06はベクトル方位分布パターン格納手段であって、こ
のベクトル方位分布パターン格納手段906は前記ベク
トル方位分布正規化手段904で求めた輪郭ストローク
を構成する全ベクトルの正規化方位分布情報を格納する
ためのものである。このベクトル方位分布パターン格納
手段906には、被写体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た輪郭ストロー
クのベクトル方位正規化分布情報(ベクトル方位正規化
分布パターン)をスタンダードモデルすなわち、テンプ
レートとして保存しておくため等に用いる。
【0082】また、905は姿勢情報検出手段であっ
て、当該姿勢情報検出手段905は前記ベクトル方位分
布パターン格納手段906に格納されたテンプレートと
してのベクトル方位正規化分布パターンと、前記ベクト
ル方位分布正規化手段904で計算されたベクトル方位
正規化分布情報とを比較することで、撮像物体の姿勢情
報を検出するものである。
て、当該姿勢情報検出手段905は前記ベクトル方位分
布パターン格納手段906に格納されたテンプレートと
してのベクトル方位正規化分布パターンと、前記ベクト
ル方位分布正規化手段904で計算されたベクトル方位
正規化分布情報とを比較することで、撮像物体の姿勢情
報を検出するものである。
【0083】次にこのような構成の本装置の作用を説明
する。本実施形態において、第1の実施形態との違い
は、ベクトル方位分布パターン記憶手段906を新たに
設け、ベクトル方位分布正規化手段904で取得したベ
クトル方位正規化分布情報を、このベクトル方位分布パ
ターン記憶手段906に保存できるようにした点と、こ
のベクトル方位分布パターン記憶手段906に保存した
ベクトル方位正規化分布情報を、前記姿勢情報検出手段
905において姿勢情報の認識にパターン情報として利
用するようにした点である。
する。本実施形態において、第1の実施形態との違い
は、ベクトル方位分布パターン記憶手段906を新たに
設け、ベクトル方位分布正規化手段904で取得したベ
クトル方位正規化分布情報を、このベクトル方位分布パ
ターン記憶手段906に保存できるようにした点と、こ
のベクトル方位分布パターン記憶手段906に保存した
ベクトル方位正規化分布情報を、前記姿勢情報検出手段
905において姿勢情報の認識にパターン情報として利
用するようにした点である。
【0084】画像取得手段901、輪郭ストローク検出
手段902、ベクトル方位量子化手段903、およびベ
クトル方位分布正規化手段904、の作用、および働き
は、第1の実施形態における同名の構成要素である画像
取得手段101、輪郭ストローク検出手段102、ベク
トル方位量子化手段103、およびベクトル方位分布正
規化手段104と基本的に同じである。
手段902、ベクトル方位量子化手段903、およびベ
クトル方位分布正規化手段904、の作用、および働き
は、第1の実施形態における同名の構成要素である画像
取得手段101、輪郭ストローク検出手段102、ベク
トル方位量子化手段103、およびベクトル方位分布正
規化手段104と基本的に同じである。
【0085】すなわち、第1の実施形態の構成要素であ
る画像取得手段101と同様の機能を持つ画像取得手段
901により被写体である認識対象物体(例えば、人間
の手、顔、全身など)を、その3次元形状を反映した奥
行き値を持つ画像としての距離画像として所定時間毎
(例えば1/30秒毎など)に取得することで、距離画
像による動画像(距離画像ストリーム)を得、得られた
距離画像の画像ストリームは、第1の実施形態の構成要
素である輪郭ストローク検出手段102と同様の機能を
持つ輪郭ストローク検出手段902に順次送られて、こ
こで距離画像ストリーム中に含まれる距離画像から、撮
像物体の輪郭を表すストローク情報が検出される。撮像
物体を囲む輪郭線の抽出は、撮像画像に対してあるしき
い値以上の画素が存在する領域を探索することで、求め
ることができる。
る画像取得手段101と同様の機能を持つ画像取得手段
901により被写体である認識対象物体(例えば、人間
の手、顔、全身など)を、その3次元形状を反映した奥
行き値を持つ画像としての距離画像として所定時間毎
(例えば1/30秒毎など)に取得することで、距離画
像による動画像(距離画像ストリーム)を得、得られた
距離画像の画像ストリームは、第1の実施形態の構成要
素である輪郭ストローク検出手段102と同様の機能を
持つ輪郭ストローク検出手段902に順次送られて、こ
こで距離画像ストリーム中に含まれる距離画像から、撮
像物体の輪郭を表すストローク情報が検出される。撮像
物体を囲む輪郭線の抽出は、撮像画像に対してあるしき
い値以上の画素が存在する領域を探索することで、求め
ることができる。
【0086】輪郭ストローク検出手段902が検出した
輪郭ストローク情報は、第1の実施形態の構成要素であ
るベクトル方位量子化手段103と同様の機能を持つベ
クトル方位量子化手段903に与えられる。すると、ベ
クトル方位量子化手段903は、この輪郭ストローク検
出手段902で検出された輪郭ストローク情報から、輪
郭ストロークを構成する全ベクトルに対して、そのベク
トル方位に応じて量子化を行う。ここでの量子化は、輪
郭ストロークを構成する全ベクトルに対し、全量子化ベ
クトルとの相関を計算し、最も相関の高い量子化ベクト
ルに置き換えると云った処理である。
輪郭ストローク情報は、第1の実施形態の構成要素であ
るベクトル方位量子化手段103と同様の機能を持つベ
クトル方位量子化手段903に与えられる。すると、ベ
クトル方位量子化手段903は、この輪郭ストローク検
出手段902で検出された輪郭ストローク情報から、輪
郭ストロークを構成する全ベクトルに対して、そのベク
トル方位に応じて量子化を行う。ここでの量子化は、輪
郭ストロークを構成する全ベクトルに対し、全量子化ベ
クトルとの相関を計算し、最も相関の高い量子化ベクト
ルに置き換えると云った処理である。
【0087】ベクトル方位量子化手段903によるこの
ような処理により、量子化されたストローク構成ベクト
ルは、第1の実施形態の構成要素であるベクトル方位分
布正規化手段104と同様の機能を持つベクトル方位分
布正規化手段904に与えられる。
ような処理により、量子化されたストローク構成ベクト
ルは、第1の実施形態の構成要素であるベクトル方位分
布正規化手段104と同様の機能を持つベクトル方位分
布正規化手段904に与えられる。
【0088】するとベクトル方位分布正規化手段904
では、前記ベクトル方位量子化手段903により量子化
された輪郭ストロークを構成する全ベクトルに亙って、
そのベクトル方位分布を正規化する。そして、この正規
化された量子化ベクトル方位分布の情報は、第1の実施
形態の構成要素である姿勢情報検出手段105と同様の
機能を持つ姿勢情報検出手段905に与えられる。
では、前記ベクトル方位量子化手段903により量子化
された輪郭ストロークを構成する全ベクトルに亙って、
そのベクトル方位分布を正規化する。そして、この正規
化された量子化ベクトル方位分布の情報は、第1の実施
形態の構成要素である姿勢情報検出手段105と同様の
機能を持つ姿勢情報検出手段905に与えられる。
【0089】そして、この姿勢情報検出手段905は、
前記ベクトル方位分布正規化手段904で求めた輪郭ス
トロークを構成する全ベクトルの正規化方位分布を、ベ
クトル方位分布パターン記憶手段906の記憶情報と比
較照合することで、認識対象の形状、3次元的姿勢、お
よび姿勢変化量と云った撮像対象の姿勢情報を検出す
る。
前記ベクトル方位分布正規化手段904で求めた輪郭ス
トロークを構成する全ベクトルの正規化方位分布を、ベ
クトル方位分布パターン記憶手段906の記憶情報と比
較照合することで、認識対象の形状、3次元的姿勢、お
よび姿勢変化量と云った撮像対象の姿勢情報を検出す
る。
【0090】すなわち、本実施形態においては、ベクト
ル方位分布パターン記憶手段906には、前記ベクトル
方位分布正規化手段904で取得したベクトル方位正規
化分布情報を保存しておくが、この保存しておくベクト
ル方位正規化分布情報は認識させたい対象物体の撮像画
像から得た、輪郭ストロークを構成する全ベクトル方位
の正規化分布情報であり、予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別輪郭
ストロークのベクトル方位正規化分布情報(ベクトル方
位正規化分布パターン)をスタンダードモデルすなわ
ち、テンプレートとして保存したものである。
ル方位分布パターン記憶手段906には、前記ベクトル
方位分布正規化手段904で取得したベクトル方位正規
化分布情報を保存しておくが、この保存しておくベクト
ル方位正規化分布情報は認識させたい対象物体の撮像画
像から得た、輪郭ストロークを構成する全ベクトル方位
の正規化分布情報であり、予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別輪郭
ストロークのベクトル方位正規化分布情報(ベクトル方
位正規化分布パターン)をスタンダードモデルすなわ
ち、テンプレートとして保存したものである。
【0091】姿勢情報検出手段905では、ベクトル方
位分布パターン記憶手段906に保存してある各種テン
プレートとなるベクトル方位正規化分布を基に、撮像対
象の輪郭ストロークを構成するベクトルのベクトル方位
正規化分布とパターンマッチングを行うことで、形状パ
ターンの認識を行う。
位分布パターン記憶手段906に保存してある各種テン
プレートとなるベクトル方位正規化分布を基に、撮像対
象の輪郭ストロークを構成するベクトルのベクトル方位
正規化分布とパターンマッチングを行うことで、形状パ
ターンの認識を行う。
【0092】このように、本実施形態では、あらかじめ
ベクトル方位分布パターン記憶手段906には、認識さ
せたい対象物体に様々な姿勢をとらせ、それぞれの姿勢
での対象物体の撮像画像を用いて、輪郭ストロークを構
成する全ベクトル方位の正規化分布情報を得て、これを
各種姿勢別のテンプレートとして保存しておき、姿勢情
報検出手段905には、認識対象の撮像物体の輪郭スト
ロークから得られるベクトル方位正規化分布の情報をこ
のテンプレートと比較させることにより、撮像物体の形
状認識、姿勢認識、および姿勢変化量の検出を行わせ
て、形状パターンの認識、およびテンプレート物体に対
する姿勢変化量の認識ができるようにしている。しか
し、テンプレートとしては認識しようとする物体のとり
得る実際のあらゆる姿勢のものを用意すると云うのは現
実的でない。
ベクトル方位分布パターン記憶手段906には、認識さ
せたい対象物体に様々な姿勢をとらせ、それぞれの姿勢
での対象物体の撮像画像を用いて、輪郭ストロークを構
成する全ベクトル方位の正規化分布情報を得て、これを
各種姿勢別のテンプレートとして保存しておき、姿勢情
報検出手段905には、認識対象の撮像物体の輪郭スト
ロークから得られるベクトル方位正規化分布の情報をこ
のテンプレートと比較させることにより、撮像物体の形
状認識、姿勢認識、および姿勢変化量の検出を行わせ
て、形状パターンの認識、およびテンプレート物体に対
する姿勢変化量の認識ができるようにしている。しか
し、テンプレートとしては認識しようとする物体のとり
得る実際のあらゆる姿勢のものを用意すると云うのは現
実的でない。
【0093】そこで、本実施例では、例えば、手のポー
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低1つずつ用意して、これより、計算に
より各種姿勢のテンプレート(演算姿勢変化テンプレー
ト)を求め、これらの基本となるテンプレート並びに演
算姿勢変化テンプレートと認識対象とを比較すること
で、姿勢認識を行うようにする。
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低1つずつ用意して、これより、計算に
より各種姿勢のテンプレート(演算姿勢変化テンプレー
ト)を求め、これらの基本となるテンプレート並びに演
算姿勢変化テンプレートと認識対象とを比較すること
で、姿勢認識を行うようにする。
【0094】演算姿勢変化テンプレートは、前記の基本
となるテンプレートを用いてそれをX,Y,Zの軸回り
に姿勢を変化させた処理を行い、得られたテンプレート
を新たな演算姿勢変化テンプレートとすることで、テン
プレートのパターンを増やし、これらのテンプレートを
用いて認識対象を比較することで、姿勢認識を行う。テ
ンプレートと認識対象との比較による認識は、評価式
(評価値:Diff )を用いて行う。
となるテンプレートを用いてそれをX,Y,Zの軸回り
に姿勢を変化させた処理を行い、得られたテンプレート
を新たな演算姿勢変化テンプレートとすることで、テン
プレートのパターンを増やし、これらのテンプレートを
用いて認識対象を比較することで、姿勢認識を行う。テ
ンプレートと認識対象との比較による認識は、評価式
(評価値:Diff )を用いて行う。
【0095】前記ベクトル方位分布パターン記憶手段9
06に保存してあるテンプレート画像の輪郭ストローク
(テンプレート・ストローク)を構成するベクトル方位
正規化分布をRtemp(i,j)、演算処理により新
たに取得した撮像対象の輪郭ストローク(撮像ストロー
ク)を構成するベクトル方位正規化分布をRobj
(i,j)とすると、テンプレートマッチングにおける
評価式(評価値:Diff)は以下の式(7)ようにな
る。ただし、量子化次元数QxyおよびQz はテンプレー
ト・ストロークと撮像ストロークとで変わらないものと
する。
06に保存してあるテンプレート画像の輪郭ストローク
(テンプレート・ストローク)を構成するベクトル方位
正規化分布をRtemp(i,j)、演算処理により新
たに取得した撮像対象の輪郭ストローク(撮像ストロー
ク)を構成するベクトル方位正規化分布をRobj
(i,j)とすると、テンプレートマッチングにおける
評価式(評価値:Diff)は以下の式(7)ようにな
る。ただし、量子化次元数QxyおよびQz はテンプレー
ト・ストロークと撮像ストロークとで変わらないものと
する。
【0096】 姿勢情報検出手段905では、全テンプレートに対して
上記評価式による評価を行い、評価値Diff が最小とな
るパターンを持つテンプレートを、認識対象被写体であ
る撮像対象物体の像を最もよく表現する形状パターンと
して検出する。
上記評価式による評価を行い、評価値Diff が最小とな
るパターンを持つテンプレートを、認識対象被写体であ
る撮像対象物体の像を最もよく表現する形状パターンと
して検出する。
【0097】図10の如き例の場合、認識対象物体の画
像である図10(a)の撮像画像のRtemp(i,
j)‐Robj(i,j)特性(ベクトル方位正規化分
布‐撮像ストロークを構成するベクトル方位正規化分布
特性)が最もマッチングする評価値Diff となるテンプ
レートは、図10(b)の評価値Diff =0.004を
示すテンプレート#1であり、このテンプレート#1が
最も適合した撮像パターンとみなされる様子を示してい
る。
像である図10(a)の撮像画像のRtemp(i,
j)‐Robj(i,j)特性(ベクトル方位正規化分
布‐撮像ストロークを構成するベクトル方位正規化分布
特性)が最もマッチングする評価値Diff となるテンプ
レートは、図10(b)の評価値Diff =0.004を
示すテンプレート#1であり、このテンプレート#1が
最も適合した撮像パターンとみなされる様子を示してい
る。
【0098】すなわち、図10(c)のテンプレート#
2に対する評価値はDiff =0.045、そして、図1
0(d)のテンプレート#3に対する評価値はDiff =
0.026で、最小の値を示す評価値はDiff =0.0
04を示すテンプレート#1であるから、このテンプレ
ート#1が最も適合した撮像パターンであると決定でき
る。
2に対する評価値はDiff =0.045、そして、図1
0(d)のテンプレート#3に対する評価値はDiff =
0.026で、最小の値を示す評価値はDiff =0.0
04を示すテンプレート#1であるから、このテンプレ
ート#1が最も適合した撮像パターンであると決定でき
る。
【0099】なお、撮像対象が同じ形状である場合、前
記ベクトル方位分布パターン記憶手段906に保存され
たベクトル方位分布パターン(テンプレート・分布パタ
ーン)と、新たに取得した認識対象物体の像の輪郭スト
ロークを構成するベクトル方位正規化分布情報とから、
テンプレート・分布パターンに対する認識対象物体の像
の姿勢変化量を算出する方式とすることも可能である。
記ベクトル方位分布パターン記憶手段906に保存され
たベクトル方位分布パターン(テンプレート・分布パタ
ーン)と、新たに取得した認識対象物体の像の輪郭スト
ロークを構成するベクトル方位正規化分布情報とから、
テンプレート・分布パターンに対する認識対象物体の像
の姿勢変化量を算出する方式とすることも可能である。
【0100】この方式を採用する場合における前記姿勢
情報検出手段905における姿勢変化量検出処理の流れ
を図11に示す。
情報検出手段905における姿勢変化量検出処理の流れ
を図11に示す。
【0101】この方式の場合、前記姿勢情報検出手段9
05はまずはじめに、ベクトル方位分布パターン記憶手
段906に保存されたテンプレート(テンプレート・分
布パターン)を基にして、テンプレート画像の姿勢が変
化した際の、ベクトル方位分布パターンを演算により新
規に生成する(図11のステップS1101)。
05はまずはじめに、ベクトル方位分布パターン記憶手
段906に保存されたテンプレート(テンプレート・分
布パターン)を基にして、テンプレート画像の姿勢が変
化した際の、ベクトル方位分布パターンを演算により新
規に生成する(図11のステップS1101)。
【0102】ここでは、前記ベクトル方位分布パターン
記憶手段906に保存されたテンプレートとなる輪郭ス
トロークベクトルRtemp(i,j) を、iあるいはjの各次
元内において量子化ベクトルの頻度分布パターンを一定
量シフトさせる演算を施し、これによって得られたベク
トル分布パターン(求められた輪郭ストロークベクトル
R′temp(i,j) )を新たな生成テンプレート(演算姿勢
変化テンプレート)とする。
記憶手段906に保存されたテンプレートとなる輪郭ス
トロークベクトルRtemp(i,j) を、iあるいはjの各次
元内において量子化ベクトルの頻度分布パターンを一定
量シフトさせる演算を施し、これによって得られたベク
トル分布パターン(求められた輪郭ストロークベクトル
R′temp(i,j) )を新たな生成テンプレート(演算姿勢
変化テンプレート)とする。
【0103】例えば、i次元内でのシフト量deltaのテ
ンプレート(R′temp)は、以下のようなプログラムに
よる演算処理により、求めることができる。なお、mo
dはモジュラ演算子(剰余演算子)を示している。
ンプレート(R′temp)は、以下のようなプログラムに
よる演算処理により、求めることができる。なお、mo
dはモジュラ演算子(剰余演算子)を示している。
【0104】 (ただし、delta = 1 〜 Qxy-1 ) すなわち、テンプレートを用意するに当たって、あらゆ
る姿勢の距離画像を準備する必要はなく、認識対象に類
似の物体による少なくともある姿勢の1枚の距離画像か
ら得た基本のテンプレートがあれば、当該基本のテンプ
レートとなる輪郭ストロークベクトル Rtemp(i,j)を
i、あるいはj各次元内において、量子化ベクトルの頻
度分布パターンを一定量シフトさせたベクトル分布パタ
ーンを演算により求めることで、新たなテンプレート
(演算姿勢変化テンプレート)を生成することができ
る。
る姿勢の距離画像を準備する必要はなく、認識対象に類
似の物体による少なくともある姿勢の1枚の距離画像か
ら得た基本のテンプレートがあれば、当該基本のテンプ
レートとなる輪郭ストロークベクトル Rtemp(i,j)を
i、あるいはj各次元内において、量子化ベクトルの頻
度分布パターンを一定量シフトさせたベクトル分布パタ
ーンを演算により求めることで、新たなテンプレート
(演算姿勢変化テンプレート)を生成することができ
る。
【0105】ベクトル方位正規化分布の頻度分布パター
ンをシフトさせて求めたテンプレート(演算姿勢変化テ
ンプレート)は、テンプレート対象の撮像物体を仮想的
に回転処理を施した際に生成される輪郭ストロークから
求められるベクトル方位分布とみなすことができる。
ンをシフトさせて求めたテンプレート(演算姿勢変化テ
ンプレート)は、テンプレート対象の撮像物体を仮想的
に回転処理を施した際に生成される輪郭ストロークから
求められるベクトル方位分布とみなすことができる。
【0106】これは、輪郭ストロークの形状パターンを
表現する際に、そのストロークを構成するベクトルの相
対的な方位のみを扱っており、ストロークの位置は考慮
していないためである。
表現する際に、そのストロークを構成するベクトルの相
対的な方位のみを扱っており、ストロークの位置は考慮
していないためである。
【0107】次に、姿勢情報検出手段905はステップ
S1101で得られた複数の分布パターン候補に対し
て、前記ベクトル方位分布正規化手段で得られる撮像画
像のベクトル方位分布パターンとの類似度を計算し、最
も適合する分布パターンを求める(図11のステップS
1102)。
S1101で得られた複数の分布パターン候補に対し
て、前記ベクトル方位分布正規化手段で得られる撮像画
像のベクトル方位分布パターンとの類似度を計算し、最
も適合する分布パターンを求める(図11のステップS
1102)。
【0108】上の例では、Qxy-1個のテンプレート、お
よびにオリジナルのテンプレートに対して、式(7)記
載の評価式により、類似度の評価を行うことになる。
よびにオリジナルのテンプレートに対して、式(7)記
載の評価式により、類似度の評価を行うことになる。
【0109】最後に、ステップS1102で得られた適
合分布パターンから、姿勢変化量を算出する(図11の
ステップS1103)。
合分布パターンから、姿勢変化量を算出する(図11の
ステップS1103)。
【0110】シフトするベクトル成分i,j、およびシ
フト量は、それぞれ空間回転方向、および回転量に相当
している。上述した式(4)に記載の量子化ベクトルの
場合、i成分のシフトは、XY平面内のZ軸に対する姿
勢回転変化、j成分のシフトは、Z軸方向に対する傾き
変化とみなすことができる。さらに、変化量は、i,j
についての1シフト毎に、それぞれ2π/Qxy[radia
n],π/Qz [radian]と求めることが出来る。
フト量は、それぞれ空間回転方向、および回転量に相当
している。上述した式(4)に記載の量子化ベクトルの
場合、i成分のシフトは、XY平面内のZ軸に対する姿
勢回転変化、j成分のシフトは、Z軸方向に対する傾き
変化とみなすことができる。さらに、変化量は、i,j
についての1シフト毎に、それぞれ2π/Qxy[radia
n],π/Qz [radian]と求めることが出来る。
【0111】以上のことから、最も適合するテンプレー
ト・パターンのi次元内シフト量がdelta であった場
合、テンプレート画像に対するXY平面内のZ軸周りの
回転量RotZは、以下のように求めることができる。
ト・パターンのi次元内シフト量がdelta であった場
合、テンプレート画像に対するXY平面内のZ軸周りの
回転量RotZは、以下のように求めることができる。
【0112】 RotZ =2π*delta/Qxy [radian] …式(8) 図12は、認識対象が人差し指を1本突き出した状態の
手である場合においての姿勢情報検出手段905におけ
る姿勢情報検出の様子を示した図である。図12の
(a)が撮像画像とR(i,j)‐UV(i)特性図
(すなわち、テンプレート・パターン)であり、
(b),(c),(d),…が各テンプレートの姿勢画
像とR(i,j)‐UV(i)特性図(すなわち、テン
プレート・パターン)をそれぞれ示している。
手である場合においての姿勢情報検出手段905におけ
る姿勢情報検出の様子を示した図である。図12の
(a)が撮像画像とR(i,j)‐UV(i)特性図
(すなわち、テンプレート・パターン)であり、
(b),(c),(d),…が各テンプレートの姿勢画
像とR(i,j)‐UV(i)特性図(すなわち、テン
プレート・パターン)をそれぞれ示している。
【0113】図12(a)が撮像画像の場合、評価値D
iffは、用意されたテンプレートのの場合でDiff =
0.34(図12の(b)の例)、そして、このテンプ
レートをシフト量“1”だけシフトさせて求めた新テン
プレート(演算姿勢変化テンプレート)の場合でDiff
=0.09(図12の(c)の例)、そして、(b)の
テンプレートをシフト量“2”だけシフトさせて求めた
新テンプレート(演算姿勢変化テンプレート)の場合で
Diff=0.18(図12の(d)の例)、… と云う
具合になり、類似度評価のための評価式により求めた評
価値Diff が最低の値を示すものが適合するテンプレー
トであるから、図12の(c)に示したシフト量“1”
のテンプレート・パターンと適合することがわかる。そ
して、このテンプレートは元となる図12(b)のテン
プレート(オリジナルのテンプレート)について、Z軸
周りに2π/8=π/4 [radian]回転させたものであ
ることから、このことから認識対象は、元となるテンプ
レートをZ軸周りに2π/8=π/4 [radian]回転し
た姿勢と認識することができる。
iffは、用意されたテンプレートのの場合でDiff =
0.34(図12の(b)の例)、そして、このテンプ
レートをシフト量“1”だけシフトさせて求めた新テン
プレート(演算姿勢変化テンプレート)の場合でDiff
=0.09(図12の(c)の例)、そして、(b)の
テンプレートをシフト量“2”だけシフトさせて求めた
新テンプレート(演算姿勢変化テンプレート)の場合で
Diff=0.18(図12の(d)の例)、… と云う
具合になり、類似度評価のための評価式により求めた評
価値Diff が最低の値を示すものが適合するテンプレー
トであるから、図12の(c)に示したシフト量“1”
のテンプレート・パターンと適合することがわかる。そ
して、このテンプレートは元となる図12(b)のテン
プレート(オリジナルのテンプレート)について、Z軸
周りに2π/8=π/4 [radian]回転させたものであ
ることから、このことから認識対象は、元となるテンプ
レートをZ軸周りに2π/8=π/4 [radian]回転し
た姿勢と認識することができる。
【0114】このようにして、少ないテンプレートから
計算により、姿勢を変えた別の各種テンプレートを求
め、これらテンプレートと認識対象を、類似度評価のた
めの評価式により求めた評価値Diff による比較によっ
て適合するものを見つけ出すことで、認識対象の姿勢を
求めることができる。
計算により、姿勢を変えた別の各種テンプレートを求
め、これらテンプレートと認識対象を、類似度評価のた
めの評価式により求めた評価値Diff による比較によっ
て適合するものを見つけ出すことで、認識対象の姿勢を
求めることができる。
【0115】認識対象の姿勢を求める手法としては、こ
の他、前記ベクトル方位分布パターン記憶手段906に
保存されている正規化方位分布パターンにおける姿勢代
表ベクトル(最も分布量の多い量子化ベクトル)UV_
Vtemp と、新たに取得した認識対象の撮像画像から得
られる輪郭ストロークを構成するベクトル方位正規化分
布から求められる姿勢代表ベクトルUV_V とのベクト
ル差分から、直接、姿勢変化量を求めるようにすること
も可能である。この場合、回転軸をRotAxis 、そして、
回転量をRotAngleとすると、これら回転軸RotAxis およ
び回転量RotAngleは、以下のようにして求めることがで
きる。
の他、前記ベクトル方位分布パターン記憶手段906に
保存されている正規化方位分布パターンにおける姿勢代
表ベクトル(最も分布量の多い量子化ベクトル)UV_
Vtemp と、新たに取得した認識対象の撮像画像から得
られる輪郭ストロークを構成するベクトル方位正規化分
布から求められる姿勢代表ベクトルUV_V とのベクト
ル差分から、直接、姿勢変化量を求めるようにすること
も可能である。この場合、回転軸をRotAxis 、そして、
回転量をRotAngleとすると、これら回転軸RotAxis およ
び回転量RotAngleは、以下のようにして求めることがで
きる。
【0116】 RotAxis = UV_V ×UV_Vtemp (ベクトル外積) …式(9) RotAngle= arccos(UV_V・UV_Vtemp) (ベクトル内積) …式(10) 以上、この第2の実施形態においては、あらかじめ認識
させたい対象物体の様々な姿勢での撮像画像(代表的姿
勢別に最低限1枚)を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段905には、認識対象の物体の像の輪
郭ストロークから得られるベクトル方位正規化分布の情
報をこのテンプレートおよびこのテンプレートから姿勢
変化計算により求めた新テンプレートである演算姿勢変
化テンプレートと比較させることにより、近いもの、す
なわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とするようにしたから、認
識対象の物体の形状認識、姿勢認識、および姿勢変化量
の検出が容易に行えて、形状パターンの認識、およびテ
ンプレート物体に対する姿勢変化量の認識ができるよう
になる。
させたい対象物体の様々な姿勢での撮像画像(代表的姿
勢別に最低限1枚)を用いて、輪郭ストロークを構成す
る全ベクトル方位の正規化分布情報を得て、これを各種
姿勢別のオリジナルテンプレートとして保存しておき、
姿勢情報検出手段905には、認識対象の物体の像の輪
郭ストロークから得られるベクトル方位正規化分布の情
報をこのテンプレートおよびこのテンプレートから姿勢
変化計算により求めた新テンプレートである演算姿勢変
化テンプレートと比較させることにより、近いもの、す
なわち、類似度の高いものを以て認識対象の物体の形
状、姿勢、および姿勢変化量とするようにしたから、認
識対象の物体の形状認識、姿勢認識、および姿勢変化量
の検出が容易に行えて、形状パターンの認識、およびテ
ンプレート物体に対する姿勢変化量の認識ができるよう
になる。
【0117】また、第1の実施形態における構成では、
撮像対象の三次元的姿勢を定量的に評価できるのに対し
て、この第2の実施形態においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、形状パターンの認識、
およびテンプレート物体に対する姿勢変化量の認識がで
きる構成となる。
撮像対象の三次元的姿勢を定量的に評価できるのに対し
て、この第2の実施形態においては、テンプレートとし
て認識したい対象の輪郭ストローク情報をベクトル方位
分布として登録しておけるため、形状パターンの認識、
およびテンプレート物体に対する姿勢変化量の認識がで
きる構成となる。
【0118】なお、オリジナルテンプレートが豊富に用
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。
【0119】以上は、テンプレートを用いる認識の例で
あったが、認識対象の各部の表面における法線に着目す
ると、その認識対象の各部の傾きを知ることができ、認
識対象の姿勢情報を引き出すことが可能である。
あったが、認識対象の各部の表面における法線に着目す
ると、その認識対象の各部の傾きを知ることができ、認
識対象の姿勢情報を引き出すことが可能である。
【0120】従って、次に法線ベクトル方位頻度分布に
基づき、撮像物体の姿勢情報を検出する検出方式の例を
説明する。
基づき、撮像物体の姿勢情報を検出する検出方式の例を
説明する。
【0121】(第3の実施形態)図13は、本発明の第
3の実施形態に係る画像認識装置の全体構成図であっ
て、1301は画像取得手段、1302は法線検出手
段、1303は法線ベクトル方位量子化手段、1304
は法線ベクトル方位分布正規化手段、1305は姿勢情
報検出手段である。
3の実施形態に係る画像認識装置の全体構成図であっ
て、1301は画像取得手段、1302は法線検出手
段、1303は法線ベクトル方位量子化手段、1304
は法線ベクトル方位分布正規化手段、1305は姿勢情
報検出手段である。
【0122】これらのうち、画像取得手段1301は、
認識対象の物体の距離画像を取得するための撮像手段を
備えた構成であって、基本的には第1の実施形態で説明
した画像取得手段101と機能は同一である。また、法
線検出手段1302は画像取得手段1301で取得され
た距離画像から法線ベクトル情報を検出するためのもの
であり、法線ベクトル方位量子化手段1303は、前記
法線検出手段1302で検出した全法線ベクトルに対
し、そのベクトル方位成分に基づき量子化を行う量子化
手段である。
認識対象の物体の距離画像を取得するための撮像手段を
備えた構成であって、基本的には第1の実施形態で説明
した画像取得手段101と機能は同一である。また、法
線検出手段1302は画像取得手段1301で取得され
た距離画像から法線ベクトル情報を検出するためのもの
であり、法線ベクトル方位量子化手段1303は、前記
法線検出手段1302で検出した全法線ベクトルに対
し、そのベクトル方位成分に基づき量子化を行う量子化
手段である。
【0123】また、法線ベクトル方位分布正規化手段1
304は、前記法線ベクトル方向量子化手段1303で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であり、姿
勢情報検出手段1305は、前記法線ベクトル方位分布
正規化手段1304で計算された法線ベクトル方位正規
化分布に応じて、撮像物体の姿勢情報を検出するもので
ある。
304は、前記法線ベクトル方向量子化手段1303で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であり、姿
勢情報検出手段1305は、前記法線ベクトル方位分布
正規化手段1304で計算された法線ベクトル方位正規
化分布に応じて、撮像物体の姿勢情報を検出するもので
ある。
【0124】次に、このような構成の本装置の作用を説
明する。画像取得手段1301の作用、および働きは、
第1の実施形態と同じである。
明する。画像取得手段1301の作用、および働きは、
第1の実施形態と同じである。
【0125】すなわち、第1の実施形態の構成要素であ
る画像取得手段101と同様の機能を持つ画像取得手段
1301により、被写体である認識対象物体(例えば、
人間の手、顔、全身など)を、その3次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎(例えば1/30秒毎など)に取得することで、距離
画像による動画像(距離画像ストリーム)を得る。
る画像取得手段101と同様の機能を持つ画像取得手段
1301により、被写体である認識対象物体(例えば、
人間の手、顔、全身など)を、その3次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎(例えば1/30秒毎など)に取得することで、距離
画像による動画像(距離画像ストリーム)を得る。
【0126】そして、得られた距離画像の画像ストリー
ムは、法線検出手段1302に与えられ、当該法線検出
手段1302では、距離画像から撮像物体面で構成され
る法線を検出する。
ムは、法線検出手段1302に与えられ、当該法線検出
手段1302では、距離画像から撮像物体面で構成され
る法線を検出する。
【0127】法線検出処理は次のようにして行う。い
ま、距離画像における(x,y)なる座標位置の画素の
画素値(濃度値;距離情報に対応する)をV(x,y)
とし、3次元位置座標(x,y,V(x,y))で表現
される点とすると、X方向、Y方向に隣り合う画素間の
関係から、前記(x,y)なる座標位置の画素の法線ベ
クトルN(x,y)を3次元的に求めることができる。
ま、距離画像における(x,y)なる座標位置の画素の
画素値(濃度値;距離情報に対応する)をV(x,y)
とし、3次元位置座標(x,y,V(x,y))で表現
される点とすると、X方向、Y方向に隣り合う画素間の
関係から、前記(x,y)なる座標位置の画素の法線ベ
クトルN(x,y)を3次元的に求めることができる。
【0128】図14を参照して説明すると、座標位置
(i,j)の画素の法線ベクトルN(i,j)は、以下
のように求めることができる。すなわち、図14は3次
元空間における法線ベクトルN(i,j)を示してお
り、座標位置(i,j)の画素の画素値をV(i,
j)、隣接の画素(座標位置(i+1,j)およびV
(i,j+1))の画素値をV(i+1,j)、V
(i,j+1)とすると、 N(i,j)=(V(i+1,j)−V(i,j))×(V(i,j+1)−V(i,j)) (ベクトル外積) …式(11) と表せる。従って、これにより、前記(x,y)なる座
標位置の画素の法線ベクトルN(x,y)を3次元的に
求めることができる。
(i,j)の画素の法線ベクトルN(i,j)は、以下
のように求めることができる。すなわち、図14は3次
元空間における法線ベクトルN(i,j)を示してお
り、座標位置(i,j)の画素の画素値をV(i,
j)、隣接の画素(座標位置(i+1,j)およびV
(i,j+1))の画素値をV(i+1,j)、V
(i,j+1)とすると、 N(i,j)=(V(i+1,j)−V(i,j))×(V(i,j+1)−V(i,j)) (ベクトル外積) …式(11) と表せる。従って、これにより、前記(x,y)なる座
標位置の画素の法線ベクトルN(x,y)を3次元的に
求めることができる。
【0129】このような処理により法線検出手段130
2が求めた法線ベクトルは、法線ベクトル方位量子化手
段1303に与えられる。当該法線ベクトル方位量子化
手段1303では、第1の実施形態における構成要素で
あるベクトル方位量子化手段103で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段1304に
与える。
2が求めた法線ベクトルは、法線ベクトル方位量子化手
段1303に与えられる。当該法線ベクトル方位量子化
手段1303では、第1の実施形態における構成要素で
あるベクトル方位量子化手段103で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段1304に
与える。
【0130】法線ベクトル方位分布正規化手段1304
では、第1の実施形態における構成要素である前記ベク
トル方位分布正規化手段104の作用で述べた輪郭スト
ローク構成ベクトルに対する分布状況の正規化処理と同
様の処理により、前記法線ベクトル方位量子化手段13
03で求めた法線ベクトルに対し、そのベクトル方位に
基づく頻度分布を作成し、全法線ベクトル数に応じて頻
度分布の正規化処理を行う。
では、第1の実施形態における構成要素である前記ベク
トル方位分布正規化手段104の作用で述べた輪郭スト
ローク構成ベクトルに対する分布状況の正規化処理と同
様の処理により、前記法線ベクトル方位量子化手段13
03で求めた法線ベクトルに対し、そのベクトル方位に
基づく頻度分布を作成し、全法線ベクトル数に応じて頻
度分布の正規化処理を行う。
【0131】そして、姿勢情報検出手段1305では、
第1の実施形態における構成要素である前記姿勢情報検
出手段105における正規化ベクトル方位分布に対する
のと同様の処理により、前記法線ベクトル方位分布正規
化手段1304で求めた法線ベクトル方位頻度分布に基
づき、認識対象である撮像物体の姿勢情報(認識対象の
形状、3次元的姿勢、および姿勢変化量など)を検出す
る。
第1の実施形態における構成要素である前記姿勢情報検
出手段105における正規化ベクトル方位分布に対する
のと同様の処理により、前記法線ベクトル方位分布正規
化手段1304で求めた法線ベクトル方位頻度分布に基
づき、認識対象である撮像物体の姿勢情報(認識対象の
形状、3次元的姿勢、および姿勢変化量など)を検出す
る。
【0132】このようにして認識対象である撮像物体の
姿勢情報を検出するが、この第3の実施形態においての
第1の実施形態との相違点は、求めた量子化ベクトル方
位が、撮像物体面を代表する法線ベクトル成分であると
いう点である。
姿勢情報を検出するが、この第3の実施形態においての
第1の実施形態との相違点は、求めた量子化ベクトル方
位が、撮像物体面を代表する法線ベクトル成分であると
いう点である。
【0133】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができ、法線情報に基づいた認識対象の
姿勢情報検出方式が実現できる。
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができ、法線情報に基づいた認識対象の
姿勢情報検出方式が実現できる。
【0134】(第4の実施形態)図15は、本発明の第
4の実施形態に係る画像認識装置の全体構成図であっ
て、1501は画像取得手段、1502は法線検出手
段、1503は法線ベクトル方位量子化手段、1404
は法線ベクトル方位分布正規化手段、1505は姿勢情
報検出手段、1506は法線ベクトル方位分布パターン
格納手段である。
4の実施形態に係る画像認識装置の全体構成図であっ
て、1501は画像取得手段、1502は法線検出手
段、1503は法線ベクトル方位量子化手段、1404
は法線ベクトル方位分布正規化手段、1505は姿勢情
報検出手段、1506は法線ベクトル方位分布パターン
格納手段である。
【0135】これらのうち、画像取得手段1501は、
距離画像を取得するための撮像手段を備えた構成であっ
て、基本的には第1の実施形態で説明した画像取得手段
101と機能は同一である。また、法線検出手段150
2は画像取得手段1501で取得された距離画像から法
線ベクトル情報を検出するためのものであって、第3の
実施形態における構成要素である法線検出手段1302
と基本的に同じものである。
距離画像を取得するための撮像手段を備えた構成であっ
て、基本的には第1の実施形態で説明した画像取得手段
101と機能は同一である。また、法線検出手段150
2は画像取得手段1501で取得された距離画像から法
線ベクトル情報を検出するためのものであって、第3の
実施形態における構成要素である法線検出手段1302
と基本的に同じものである。
【0136】また、法線ベクトル方位量子化手段150
3は、前記法線検出手段1502で検出した全法線ベク
トルに対し、そのベクトル方位成分に基づき量子化を行
う量子化手段であって、第3の実施形態における構成要
素である法線ベクトル方位量子化手段1303と基本的
に同じものである。
3は、前記法線検出手段1502で検出した全法線ベク
トルに対し、そのベクトル方位成分に基づき量子化を行
う量子化手段であって、第3の実施形態における構成要
素である法線ベクトル方位量子化手段1303と基本的
に同じものである。
【0137】また、法線ベクトル方位分布正規化手段1
504は、前記法線ベクトル方向量子化手段1503で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であって、
第3の実施形態における構成要素である法線ベクトル方
位分布正規化手段1304と同じものであり、姿勢情報
検出手段1505は、前記法線ベクトル方位分布正規化
手段1304で計算された法線ベクトル方位正規化分布
に応じて、撮像物体の姿勢情報を検出するものであっ
て、これもまた第3の実施形態における構成要素である
姿勢情報検出手段1305と基本的には同じである。
504は、前記法線ベクトル方向量子化手段1503で
取得した全法線ベクトルに関し、全量子化ベクトル方位
に対する分布状況の正規化を行う正規化手段であって、
第3の実施形態における構成要素である法線ベクトル方
位分布正規化手段1304と同じものであり、姿勢情報
検出手段1505は、前記法線ベクトル方位分布正規化
手段1304で計算された法線ベクトル方位正規化分布
に応じて、撮像物体の姿勢情報を検出するものであっ
て、これもまた第3の実施形態における構成要素である
姿勢情報検出手段1305と基本的には同じである。
【0138】但し、本実施形態においては、前記法線ベ
クトル方位分布正規化手段1504で求めたる全法線ベ
クトルの正規化方位分布情報を格納するための、法線ベ
クトル方位分布パターン格納手段1506があり、姿勢
情報検出手段1505には前記法線ベクトル方位分布パ
ターン格納手段1506に格納された法線ベクトル方位
正規化分布パターンと、前記法線ベクトル方位分布正規
化手段1504で計算された法線ベクトル方位正規化分
布情報とを比較することで、認識対象である撮像物体の
姿勢情報(認識対象の形状、3次元的姿勢、および姿勢
変化量など)を検出する機能が設けられている構成とな
っている。
クトル方位分布正規化手段1504で求めたる全法線ベ
クトルの正規化方位分布情報を格納するための、法線ベ
クトル方位分布パターン格納手段1506があり、姿勢
情報検出手段1505には前記法線ベクトル方位分布パ
ターン格納手段1506に格納された法線ベクトル方位
正規化分布パターンと、前記法線ベクトル方位分布正規
化手段1504で計算された法線ベクトル方位正規化分
布情報とを比較することで、認識対象である撮像物体の
姿勢情報(認識対象の形状、3次元的姿勢、および姿勢
変化量など)を検出する機能が設けられている構成とな
っている。
【0139】ここで、本第4の実施形態と前述の第3の
実施形態との違いは、前記法線ベクトル方位分布正規化
手段1504で取得した法線ベクトル方位正規化分布情
報を、前記法線ベクトル方位分布パターン記憶手段15
06に保存しておき、前記姿勢情報検出手段1505
で、姿勢情報の認識に比較のためのパターン情報として
利用する点である。
実施形態との違いは、前記法線ベクトル方位分布正規化
手段1504で取得した法線ベクトル方位正規化分布情
報を、前記法線ベクトル方位分布パターン記憶手段15
06に保存しておき、前記姿勢情報検出手段1505
で、姿勢情報の認識に比較のためのパターン情報として
利用する点である。
【0140】次に、このような構成の本装置の作用を説
明する。画像取得手段1501、法線検出手段150
2、法線ベクトル方位量子化手段1503、および法線
ベクトル方位分布正規化手段1504の作用、および働
きは、第3の実施形態と同じである。
明する。画像取得手段1501、法線検出手段150
2、法線ベクトル方位量子化手段1503、および法線
ベクトル方位分布正規化手段1504の作用、および働
きは、第3の実施形態と同じである。
【0141】すなわち、第1の実施形態の構成要素であ
る画像取得手段101と同様の機能を持つ画像取得手段
1501により、被写体である認識対象物体(例えば、
人間の手、顔、全身など)を、その3次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎(例えば1/30秒毎など)に取得することで、距離
画像による動画像(距離画像ストリーム)を得る。
る画像取得手段101と同様の機能を持つ画像取得手段
1501により、被写体である認識対象物体(例えば、
人間の手、顔、全身など)を、その3次元形状を反映し
た奥行き値を持つ画像としての距離画像として所定時間
毎(例えば1/30秒毎など)に取得することで、距離
画像による動画像(距離画像ストリーム)を得る。
【0142】そして、得られた距離画像の画像ストリー
ムは、法線検出手段1502に与えられ、当該法線検出
手段1502では、第3の実施形態の構成要素である法
線検出手段1302と同様の手法により、距離画像から
撮像物体面で構成される法線を検出して法線ベクトルを
求める。
ムは、法線検出手段1502に与えられ、当該法線検出
手段1502では、第3の実施形態の構成要素である法
線検出手段1302と同様の手法により、距離画像から
撮像物体面で構成される法線を検出して法線ベクトルを
求める。
【0143】法線検出手段1502が求めた法線ベクト
ルは、法線ベクトル方位量子化手段1503に与えられ
る。当該法線ベクトル方位量子化手段1503では、第
1および第3の実施形態における構成要素であるベクト
ル方位量子化手段103,1303で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段1504に
与える。
ルは、法線ベクトル方位量子化手段1503に与えられ
る。当該法線ベクトル方位量子化手段1503では、第
1および第3の実施形態における構成要素であるベクト
ル方位量子化手段103,1303で述べた輪郭ストロ
ークを構成する全ベクトルに対するそのベクトル方位成
分についての分布状況の正規化処理と同様の処理によ
り、法線ベクトルをベクトル長に応じて正規化する処理
を行い、量子化ベクトルとの相関を計算することで、法
線ベクトルと量子化ベクトルとの置き換えを行う。そし
て、これを法線ベクトル方位分布正規化手段1504に
与える。
【0144】法線ベクトル方位分布正規化手段1504
では、第1および第3の実施形態における構成要素であ
る前記ベクトル方位分布正規化手段104,1304の
作用で述べた輪郭ストローク構成ベクトルに対する分布
状況の正規化処理と同様の処理により、前記法線ベクト
ル方位量子化手段1503で求めた法線ベクトルに対
し、そのベクトル方位に基づく頻度分布を作成し、全法
線ベクトル数に応じて頻度分布の正規化処理を行う。
では、第1および第3の実施形態における構成要素であ
る前記ベクトル方位分布正規化手段104,1304の
作用で述べた輪郭ストローク構成ベクトルに対する分布
状況の正規化処理と同様の処理により、前記法線ベクト
ル方位量子化手段1503で求めた法線ベクトルに対
し、そのベクトル方位に基づく頻度分布を作成し、全法
線ベクトル数に応じて頻度分布の正規化処理を行う。
【0145】一方、法線ベクトル方位分布パターン記憶
手段1505は、前記法線ベクトル方位分布正規化手段
1504で取得した法線ベクトル方位正規化分布情報を
保存しておく。この場合、保存しておく法線ベクトル方
位正規化分布情報はテンプレートとしての利用に供する
ものであり、対象の物体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別法線
ベクトル方位正規化分布情報(ベクトル方位正規化分布
パターン)である。
手段1505は、前記法線ベクトル方位分布正規化手段
1504で取得した法線ベクトル方位正規化分布情報を
保存しておく。この場合、保存しておく法線ベクトル方
位正規化分布情報はテンプレートとしての利用に供する
ものであり、対象の物体に予め様々な姿勢をとらせ、そ
れを撮像して得た距離画像を元にして得た各姿勢別法線
ベクトル方位正規化分布情報(ベクトル方位正規化分布
パターン)である。
【0146】この各姿勢別法線ベクトル方位正規化分布
情報をスタンダードモデルすなわち、テンプレートとし
て保存するが、テンプレートとしては認識しようとする
物体のとり得る実際のあらゆる姿勢のものを用意すると
云うのは現実的でないので、第2の実施形態と同様に、
基本的な姿勢別に少なくとも1つづつ、用意する。もち
ろん、テンプレートとしての利用を考えた場合、可能な
限り、多くを保存しておいても構わない。
情報をスタンダードモデルすなわち、テンプレートとし
て保存するが、テンプレートとしては認識しようとする
物体のとり得る実際のあらゆる姿勢のものを用意すると
云うのは現実的でないので、第2の実施形態と同様に、
基本的な姿勢別に少なくとも1つづつ、用意する。もち
ろん、テンプレートとしての利用を考えた場合、可能な
限り、多くを保存しておいても構わない。
【0147】しかし、テンプレートとしては認識しよう
とする物体のとり得る実際のあらゆる姿勢のものを用意
すると云うのは現実的でない。
とする物体のとり得る実際のあらゆる姿勢のものを用意
すると云うのは現実的でない。
【0148】そこで、本実施例では、例えば、手のポー
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低1つずつ用意して、これより、計算に
より各種姿勢のテンプレート(演算姿勢変化テンプレー
ト)を求め、これらの基本となるテンプレートおよび演
算姿勢変化テンプレートと認識対象とを姿勢情報検出手
段1506で比較することで、姿勢認識を行う。演算姿
勢変化テンプレートの作成は、前記の基本となるテンプ
レートを用いてX,Y,Zの軸回りに姿勢を変化させる
演算を施し、作成する。この演算による新たなテンプレ
ート作成により、テンプレートのパターンを増やし、こ
れらのテンプレートと認識対象とを比較することで、よ
り精密な姿勢認識を行うことができるようにするすなわ
ち、姿勢情報検出手段1506では、第2の実施形態に
おける前記姿勢情報検出手段905における、輪郭スト
ロークを構成するベクトル方位正規化分布に対する処理
と同様にして、前記法線ベクトル方位分布パターン記憶
手段1505に保存してあるスタンダードとしてのテン
プレートである法線ベクトル方位正規化分布パターン
と、これを元に演算により得たテンプレートを用い、認
識対象である物体の距離画像から新たに取得した前記法
線ベクトル方位分布正規化手段1504の法線ベクトル
方位正規化分布情報とを評価式による評価値を用いて比
較し、適合する分布パターンを検出することで、その分
布パターンを持つテンプレートの情報から撮像物体の3
次元的姿勢情報を認識する。
ズの認識を対象とする場合には、手の仕草の典型例とし
ての“グー”のポーズ、“チョキ”のポーズ、“パー”
のポーズ、“人差し指の一本指し”のポーズと云った代
表的なものを最低1つずつ用意して、これより、計算に
より各種姿勢のテンプレート(演算姿勢変化テンプレー
ト)を求め、これらの基本となるテンプレートおよび演
算姿勢変化テンプレートと認識対象とを姿勢情報検出手
段1506で比較することで、姿勢認識を行う。演算姿
勢変化テンプレートの作成は、前記の基本となるテンプ
レートを用いてX,Y,Zの軸回りに姿勢を変化させる
演算を施し、作成する。この演算による新たなテンプレ
ート作成により、テンプレートのパターンを増やし、こ
れらのテンプレートと認識対象とを比較することで、よ
り精密な姿勢認識を行うことができるようにするすなわ
ち、姿勢情報検出手段1506では、第2の実施形態に
おける前記姿勢情報検出手段905における、輪郭スト
ロークを構成するベクトル方位正規化分布に対する処理
と同様にして、前記法線ベクトル方位分布パターン記憶
手段1505に保存してあるスタンダードとしてのテン
プレートである法線ベクトル方位正規化分布パターン
と、これを元に演算により得たテンプレートを用い、認
識対象である物体の距離画像から新たに取得した前記法
線ベクトル方位分布正規化手段1504の法線ベクトル
方位正規化分布情報とを評価式による評価値を用いて比
較し、適合する分布パターンを検出することで、その分
布パターンを持つテンプレートの情報から撮像物体の3
次元的姿勢情報を認識する。
【0149】また、第2の実施形態での構成要素である
前記姿勢情報検出手段905における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段1505に保存してある法線
ベクトル方位分布パターンを量子化単位に変位させるこ
とで、新たに生成される法線ベクトル方位分布パターン
と、前記法線ベクトル方位分布正規化手段1504で取
得される法線ベクトル方位正規化分布情報とから、撮像
物体の姿勢変化量を検出することも出来る。
前記姿勢情報検出手段905における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段1505に保存してある法線
ベクトル方位分布パターンを量子化単位に変位させるこ
とで、新たに生成される法線ベクトル方位分布パターン
と、前記法線ベクトル方位分布正規化手段1504で取
得される法線ベクトル方位正規化分布情報とから、撮像
物体の姿勢変化量を検出することも出来る。
【0150】さらに、第2の実施形態の構成要素である
前記姿勢情報検出手段905における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段1505に保存してある法線
ベクトル方位分布パターンから求められる姿勢代表ベク
トルと、前記法線ベクトル方位分布正規化手段1504
で取得される法線ベクトル方位分布情報から得られる姿
勢代表ベクトルとから、姿勢変化量を直接検出すること
も出来る。
前記姿勢情報検出手段905における、ベクトル方位正
規化分布に対する処理と同様にして、前記法線ベクトル
方位分布パターン記憶手段1505に保存してある法線
ベクトル方位分布パターンから求められる姿勢代表ベク
トルと、前記法線ベクトル方位分布正規化手段1504
で取得される法線ベクトル方位分布情報から得られる姿
勢代表ベクトルとから、姿勢変化量を直接検出すること
も出来る。
【0151】このようにして認識対象である撮像物体の
姿勢情報を、撮像物体面を代表する法線ベクトル成分に
基づいて検出するが、この第4の実施形態においての第
3の実施形態との相違点は、スタンダードとしてのテン
プレートを用意し、さらにこのテンプレートから演算に
より求めた各種状態を変化させたテンプレートを用意す
ると共に、これらのテンプレートと認識対象とを比較す
ることにより、得られる類似度の高さにの度合いに基づ
き、類似度の高いテンプレートの持つ情報から求めるよ
うにしているという点である。
姿勢情報を、撮像物体面を代表する法線ベクトル成分に
基づいて検出するが、この第4の実施形態においての第
3の実施形態との相違点は、スタンダードとしてのテン
プレートを用意し、さらにこのテンプレートから演算に
より求めた各種状態を変化させたテンプレートを用意す
ると共に、これらのテンプレートと認識対象とを比較す
ることにより、得られる類似度の高さにの度合いに基づ
き、類似度の高いテンプレートの持つ情報から求めるよ
うにしているという点である。
【0152】つまり、認識対象の各部の表面における法
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
(評価式による評価値の大きさ)により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報を以て認識対象の姿勢を認識できるようにした認識対
象物体の姿勢情報検出方式が実現できる。
線に着目することで、その認識対象の各部の傾きを法線
ベクトル方位頻度分布に基づいて、認識対象の姿勢情報
を引き出すことができるが、その法線ベクトル方位頻度
分布を姿勢別に用意したテンプレートとの類似度の比較
(評価式による評価値の大きさ)により、適合度の高い
ものを見つけてそのテンプレートの本来的に持つ姿勢情
報を以て認識対象の姿勢を認識できるようにした認識対
象物体の姿勢情報検出方式が実現できる。
【0153】なお、オリジナルテンプレートが豊富に用
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。
意できている場合には、オリジナルテンプレートのみを
使用して比較させることにより、近いもの、すなわち、
類似度の高いものを以て認識対象の物体の形状、姿勢、
および姿勢変化量とすることができ、また、演算姿勢変
化テンプレートが豊富に用意できている場合には、演算
姿勢変化テンプレートのみを使用して比較させることに
より、近いもの、すなわち、類似度の高いものを以て認
識対象の物体の形状、姿勢、および姿勢変化量とするこ
とができ、これにより、認識対象の物体の形状認識、姿
勢認識、および姿勢変化量の検出うこともできる。
【0154】ところで、撮像物体表面にミクロな変位が
あると撮像物体の3次元的姿勢情報もこれの影響を受け
てしまう心配がある。そこで、これを解消して撮像物体
の3次元的姿勢情報を精度良く求めることができる例を
次に第5の実施形態として説明する。
あると撮像物体の3次元的姿勢情報もこれの影響を受け
てしまう心配がある。そこで、これを解消して撮像物体
の3次元的姿勢情報を精度良く求めることができる例を
次に第5の実施形態として説明する。
【0155】(第5の実施形態)画像特徴量としてモー
メント量を用いるようにし、これによって、撮像物体表
面のミクロな変位に依存することなく、撮像物体の3次
元的姿勢情報を精度良く求めることが可能となる例を次
に第5の実施形態として説明する。
メント量を用いるようにし、これによって、撮像物体表
面のミクロな変位に依存することなく、撮像物体の3次
元的姿勢情報を精度良く求めることが可能となる例を次
に第5の実施形態として説明する。
【0156】図16は、本発明の第5の実施形態に係る
画像認識装置の全体構成図であって、1601は距離画
像を取得するための撮像手段を備えた画像取得手段であ
り、1602はこの画像取得手段1601で取得された
撮像画像から画像特徴量を検出するための画像特徴量検
出手段である。また、1603は、前記画像特徴量検出
手段1602によって検出された画像特徴量に基づき、
撮像物体の姿勢情報を検出するための姿勢情報検出手段
である。
画像認識装置の全体構成図であって、1601は距離画
像を取得するための撮像手段を備えた画像取得手段であ
り、1602はこの画像取得手段1601で取得された
撮像画像から画像特徴量を検出するための画像特徴量検
出手段である。また、1603は、前記画像特徴量検出
手段1602によって検出された画像特徴量に基づき、
撮像物体の姿勢情報を検出するための姿勢情報検出手段
である。
【0157】次に、このような構成の本システムの作用
を説明する。画像取得手段1601の作用、および働き
は、第1の実施形態での画像取得装置101と基本的に
は同じである。画像取得手段1601で得られた距離画
像は、画像特徴量検出手段1602に与えられる。この
画像特徴量検出手段1602では、前記画像取得手段1
601から与えられた距離画像から、画像特徴量を検出
する。
を説明する。画像取得手段1601の作用、および働き
は、第1の実施形態での画像取得装置101と基本的に
は同じである。画像取得手段1601で得られた距離画
像は、画像特徴量検出手段1602に与えられる。この
画像特徴量検出手段1602では、前記画像取得手段1
601から与えられた距離画像から、画像特徴量を検出
する。
【0158】ここで画像特徴量検出手段1602の求め
る画像特徴量として、3次元モーメント量とすると、こ
の画像特徴量検出手段1602は次のようにして画像特
徴量としての3次元モーメント量を求めることになる。
る画像特徴量として、3次元モーメント量とすると、こ
の画像特徴量検出手段1602は次のようにして画像特
徴量としての3次元モーメント量を求めることになる。
【0159】今、画素(x,y)の距離画素値をV
(x,y)とすると、距離画像の各画素値は3次元空間
中の点(x,y,V(x,y))として表現することが
できる。そこで、距離画像中のすべての画素で構成され
る3次元点群に対して、3次元モーメント量の計算を行
う。
(x,y)とすると、距離画像の各画素値は3次元空間
中の点(x,y,V(x,y))として表現することが
できる。そこで、距離画像中のすべての画素で構成され
る3次元点群に対して、3次元モーメント量の計算を行
う。
【0160】距離画像における各画素の2次までの3次
元モーメント量Mxyzは以下のように、求めることがで
きる(図17参照)。なお、Mに付属する3桁の添え字
としての数字は“0”が0次、“1”が1次、“2”が
2次を示しており、M000はx,y,zが全て0次、M
110はx,yが1次、そして、zが0次であることを示
し、M200はxが2次、そして、yとzが0次であるこ
とを示す、と云った具合である。
元モーメント量Mxyzは以下のように、求めることがで
きる(図17参照)。なお、Mに付属する3桁の添え字
としての数字は“0”が0次、“1”が1次、“2”が
2次を示しており、M000はx,y,zが全て0次、M
110はx,yが1次、そして、zが0次であることを示
し、M200はxが2次、そして、yとzが0次であるこ
とを示す、と云った具合である。
【0161】 姿勢情報検出手段1603では、前記画像特徴量検出手
段1602で検出された画像特徴量(3次元モーメント
量Mxyz)をもとに、撮像物体の姿勢情報を検出するも
のである。
段1602で検出された画像特徴量(3次元モーメント
量Mxyz)をもとに、撮像物体の姿勢情報を検出するも
のである。
【0162】前記画像特徴量検出手段1602で取得し
た3次元モーメント量Mxyzを用いることで、X,Y,
Z各軸(X軸は横軸方向、Y軸は縦軸方向、Z軸は濃度
で画像取得手段の撮像位置に対する距離を反映する)に
対する撮像物体の構成する面の姿勢回転量を検出するこ
とができる。すなわち、X,Y,Z各軸周りの回転量を
それぞれ、θxy,θxz,θyzとし、また、a,
b,c,d,e,fを下式で示す変数とすると、以下の
ように求めることができる。
た3次元モーメント量Mxyzを用いることで、X,Y,
Z各軸(X軸は横軸方向、Y軸は縦軸方向、Z軸は濃度
で画像取得手段の撮像位置に対する距離を反映する)に
対する撮像物体の構成する面の姿勢回転量を検出するこ
とができる。すなわち、X,Y,Z各軸周りの回転量を
それぞれ、θxy,θxz,θyzとし、また、a,
b,c,d,e,fを下式で示す変数とすると、以下の
ように求めることができる。
【0163】撮像物体の姿勢は図17のような関係にあ
るとすると、 θxy=arctan(d,(a−b))/2 …式(22) θxz=arctan(e,(a−c))/2 …式(23) θyz=arctan(f,(b−c))/2 …式(24) ただし、 xc=M100/M000 …式(25) yc=M010/M000 …式(26) zc=M001/M000 …式(27) a=(M200/M000)−xc 2 …式(28) b=(M020/M000)−yc 2 …式(29) c=(M002/M000)−zc 2 …式(30) d=2((M110/M000)−xcyc) …式(31) e=2((M101/M000)−xczc) …式(32) f=2((M011/M000)−yczc) …式(33) で求めることができる。そして、姿勢情報検出手段16
03は画像特徴量検出手段1602の求めた画像特徴量
としての3次元モーメント量から姿勢情報を求める。
るとすると、 θxy=arctan(d,(a−b))/2 …式(22) θxz=arctan(e,(a−c))/2 …式(23) θyz=arctan(f,(b−c))/2 …式(24) ただし、 xc=M100/M000 …式(25) yc=M010/M000 …式(26) zc=M001/M000 …式(27) a=(M200/M000)−xc 2 …式(28) b=(M020/M000)−yc 2 …式(29) c=(M002/M000)−zc 2 …式(30) d=2((M110/M000)−xcyc) …式(31) e=2((M101/M000)−xczc) …式(32) f=2((M011/M000)−yczc) …式(33) で求めることができる。そして、姿勢情報検出手段16
03は画像特徴量検出手段1602の求めた画像特徴量
としての3次元モーメント量から姿勢情報を求める。
【0164】このように、第5の実施形態では、画像特
徴量としてモーメント量を用いるようにしたことで、撮
像物体表面のミクロな変位に依存することなく、撮像物
体の3次元的姿勢情報を精度良く求めることが可能とな
り、認識対象である撮像物体表面にミクロな変位があっ
ても、これの影響を受けることなく、3次元的姿勢情報
を精度良く求めることができるようになる。
徴量としてモーメント量を用いるようにしたことで、撮
像物体表面のミクロな変位に依存することなく、撮像物
体の3次元的姿勢情報を精度良く求めることが可能とな
り、認識対象である撮像物体表面にミクロな変位があっ
ても、これの影響を受けることなく、3次元的姿勢情報
を精度良く求めることができるようになる。
【0165】以上、種々の実施例を説明したが、本発明
は上述した実施例に限定することなく、種々変形して実
施可能である。また、第1ないし第5の実施形態に記載
した手法は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク(フロッピー(登録商
標)ディスク、ハードディスクなど)、光ディスク(C
D−ROM、DVDなど)、半導体メモリなどの記録媒
体に格納して頒布することもできる。
は上述した実施例に限定することなく、種々変形して実
施可能である。また、第1ないし第5の実施形態に記載
した手法は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク(フロッピー(登録商
標)ディスク、ハードディスクなど)、光ディスク(C
D−ROM、DVDなど)、半導体メモリなどの記録媒
体に格納して頒布することもできる。
【0166】
【発明の効果】以上、詳述したように、本発明によれ
ば、対象物体を撮像した距離画像から、撮像対象の3次
元的姿勢、形状、およびに姿勢変化量を高速、かつ安定
して検出することができる画像認識装置および画像認識
方法を提供できる。
ば、対象物体を撮像した距離画像から、撮像対象の3次
元的姿勢、形状、およびに姿勢変化量を高速、かつ安定
して検出することができる画像認識装置および画像認識
方法を提供できる。
【図1】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置の構成例を概略的に
示す図である。
第1の実施形態に係る画像認識装置の構成例を概略的に
示す図である。
【図2】本発明を説明するための図であって、本発明で
用いる距離画像について説明するための図である。
用いる距離画像について説明するための図である。
【図3】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置の輪郭ストローク検
出手段における、輪郭ストローク検出処理の流れを説明
するための図である。
第1の実施形態に係る画像認識装置の輪郭ストローク検
出手段における、輪郭ストローク検出処理の流れを説明
するための図である。
【図4】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置の輪郭ストローク検
出処理におけるストローク構成点列と点列間を結ぶベク
トルとの関係を説明するための図である。
第1の実施形態に係る画像認識装置の輪郭ストローク検
出処理におけるストローク構成点列と点列間を結ぶベク
トルとの関係を説明するための図である。
【図5】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置での検出した輪郭ス
トロークと撮像画像との関係を説明するための図であ
る。
第1の実施形態に係る画像認識装置での検出した輪郭ス
トロークと撮像画像との関係を説明するための図であ
る。
【図6】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置でのベクトル方位量
子化手段における、輪郭ストロークを構成するベクトル
方位の量子化を行う処理の流れを説明するための図であ
る。
第1の実施形態に係る画像認識装置でのベクトル方位量
子化手段における、輪郭ストロークを構成するベクトル
方位の量子化を行う処理の流れを説明するための図であ
る。
【図7】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置でのベクトル方位の
量子化に用いる量子化ベクトルを説明するための図であ
る。
第1の実施形態に係る画像認識装置でのベクトル方位の
量子化に用いる量子化ベクトルを説明するための図であ
る。
【図8】本発明を説明するための図であって、本発明の
第1の実施形態に係る画像認識装置での ベクトル方位
分布正規化手段におけるベクトル頻度分布の正規化処理
と、姿勢情報検出手段における姿勢代表ベクトルの検出
を説明するための図である。
第1の実施形態に係る画像認識装置での ベクトル方位
分布正規化手段におけるベクトル頻度分布の正規化処理
と、姿勢情報検出手段における姿勢代表ベクトルの検出
を説明するための図である。
【図9】本発明を説明するための図であって、本発明の
第2の実施形態に係る画像認識装置の構成例を概略的に
示す図である。
第2の実施形態に係る画像認識装置の構成例を概略的に
示す図である。
【図10】本発明を説明するための図であって、本発明
の第2の実施形態における姿勢情報検出手段において、
姿勢パターン検出の様子を説明するための図である。
の第2の実施形態における姿勢情報検出手段において、
姿勢パターン検出の様子を説明するための図である。
【図11】本発明を説明するための図であって、本発明
の第2の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出処理の流
れを説明するための図である。
の第2の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出処理の流
れを説明するための図である。
【図12】本発明を説明するための図であって、本発明
の第2の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出の様子を
説明するための図である。
の第2の実施形態における姿勢情報検出手段における、
分布パターンの自動生成による姿勢変化量検出の様子を
説明するための図である。
【図13】本発明を説明するための図であって、本発明
の第3の実施形態に係る画像認識装置の構成例を概略的
に示す図である。
の第3の実施形態に係る画像認識装置の構成例を概略的
に示す図である。
【図14】本発明を説明するための図であって、本発明
の第3の実施形態における法線検出手段において、法線
検出の様子を説明するための図である。
の第3の実施形態における法線検出手段において、法線
検出の様子を説明するための図である。
【図15】本発明を説明するための図であって、本発明
の第4の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。
の第4の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。
【図16】本発明を説明するための図であって、本発明
の第5の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。
の第5の実施形態に係る画像認識装置の構成例を概略的
に示すブロック構成図である。
【図17】本発明を説明するための図であって、本発明
の第5の実施形態を説明するための図である。
の第5の実施形態を説明するための図である。
101,901,1301,1501,1601…画像
取得手段 102,902…輪郭ストローク検出手段 103,903…ベクトル方位量子化手段 104,904…ベクトル方位分布正規化手段 105,905,1305,1505,1603…姿勢
情報検出手段 906…ベクトル方位分布パターン格納手段 1302,1502…法線検出手段 1303,1503…法線ベクトル方位量子化手段 1304,1504…法線ベクトル方位分布正規化手段 1506…法線ベクトル方位分布パターン格納手段 1602…画像特徴量検出手段。
取得手段 102,902…輪郭ストローク検出手段 103,903…ベクトル方位量子化手段 104,904…ベクトル方位分布正規化手段 105,905,1305,1505,1603…姿勢
情報検出手段 906…ベクトル方位分布パターン格納手段 1302,1502…法線検出手段 1303,1503…法線ベクトル方位量子化手段 1304,1504…法線ベクトル方位分布正規化手段 1506…法線ベクトル方位分布パターン格納手段 1602…画像特徴量検出手段。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 9/20 G06F 15/70 335Z Fターム(参考) 2F065 AA04 AA06 AA31 AA37 AA39 AA51 BB05 CC16 DD06 FF04 FF42 FF61 GG21 JJ03 JJ26 QQ00 QQ03 QQ24 QQ25 QQ28 QQ38 QQ41 QQ42 5B057 CA08 CA12 CA16 CB13 CB17 CG06 DA17 DB03 DC07 DC08 DC09 DC17 5L096 AA09 EA18 EA23 FA06 FA13 FA66 FA67 GA47 JA09
Claims (18)
- 【請求項1】被写体の像を、その離間距離対応の濃度で
撮像した距離画像として出力する画像取得手段と、 この画像取得手段にて取得した距離画像から前記被写体
の姿勢情報を検出する姿勢情報検出手段と、を具備する
ことを特徴とする画像情報認識装置。 - 【請求項2】被写体の像を、その離間距離対応の濃度で
撮像した距離画像として出力する画像取得手段と、 前記画像取得手段が取得した距離画像から被写体像の輪
郭を構成するストローク情報を検出する輪郭ストローク
検出手段と、 前記輪郭ストローク検出手段で検出した輪郭ストローク
を構成する全ベクトルに対し、そのベクトル方位に基づ
き量子化を行うベクトル方位量子化手段と、 前記ベクトル方位量子化手段で取得された各量子化ベク
トル方位から、輪郭ストロークを構成する全ベクトルの
方位分布を正規化するベクトル方位分布正規化手段と、 前記ベクトル方位分布正規化手段で正規化されたベクト
ル方位分布に応じて前記被写体の姿勢情報を検出する姿
勢情報検出手段と、を具備することを特徴とする画像情
報認識装置。 - 【請求項3】被写体の像を、その離間距離対応の濃度で
撮像した距離画像として出力する画像取得手段と、 前記画像取得手段が取得した距離画像から被写体像の輪
郭を構成するストローク情報を検出する輪郭ストローク
検出手段と、 前記輪郭ストローク検出手段で検出した輪郭ストローク
を構成する全ベクトルに対し、そのベクトル方位に基づ
き量子化処理するベクトル方位量子化手段と、 前記ベクトル方位量子化手段で量子化されて取得された
各量子化ベクトル方位から、輪郭ストロークを構成する
全ベクトルの方位分布を正規化するベクトル方位分布正
規化手段と、 前記ベクトル方位分布正規化手段で正規化されて得られ
た輪郭ストロークの正規化方位分布情報を格納するベク
トル方位分布パターン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
前記ベクトル方位分布正規化手段により得た正規化方位
分布と前記ベクトル方位分布パターン格納手段に格納さ
れた正規化方位分布情報とを比較することにより、当該
姿勢認識対象被写体の姿勢情報を検出する姿勢情報検出
手段と、を具備することを特徴とする画像情報認識装
置。 - 【請求項4】前記姿勢情報検出手段は、 被写体の姿勢認識時にその被写体の距離画像を用いて前
記前記ベクトル方位分布正規化手段で得た正規化方位分
布と、前記ベクトル方位分布パターン格納手段に格納さ
れた正規化方位分布情報での正規化方位分布パターンお
よび当該ベクトル方位分布パターン格納手段に格納され
た正規化方位分布情報を量子化単位に変位させることで
新たに生成される正規化方位分布パターンのうちの少な
くとも一方とを比較することにより、姿勢認識対象の被
写体の姿勢変化量を検出する構成とすることを特徴とす
る請求項2に記載の画像情報認識装置。 - 【請求項5】被写体の像を、その離間距離対応の濃度で
撮像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から前記被写体の
姿勢を構成する法線情報を検出する法線検出手段と、 前記法線検出手段で検出した全法線ベクトルに対し、そ
のベクトル方位に基づき量子化を行う法線ベクトル方位
量子化手段と、 前記法線ベクトル方位量子化手段で取得された各量子化
法線ベクトル方位から、全法線ベクトルの方位分布を正
規化する法線ベクトル方位分布正規化手段と、 前記法線ベクトル方位分布正規化手段で正規化された法
線ベクトル方位分布に応じて前記被写体の姿勢情報を検
出する姿勢情報検出手段と、を具備することを特徴とす
る画像情報認識装置。 - 【請求項6】被写体の像を、その離間距離対応の濃度で
撮像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から前記被写体の
姿勢を構成する法線情報を検出する法線検出手段と、 前記法線検出手段で検出した全法線ベクトルに対し、そ
のベクトル方位に基づき量子化処理する法線ベクトル方
位量子化手段と、 前記法線ベクトル方位量子化手段で取得された各量子化
法線ベクトル方位から、全法線ベクトルの方位分布を正
規化する法線ベクトル方位分布正規化手段と、 前記法線ベクトル方位分布正規化手段で求めた法線の正
規化方位分布情報を格納する法線ベクトル方位分布パタ
ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
の前記法線ベクトル方位分布正規化手段で得た正規化法
線方位分布と、前記法線ベクトル方位分布パターン格納
手段に格納された正規化法線方位分布情報とを比較する
ことにより、当該姿勢認識対象の被写体の姿勢情報を検
出する姿勢情報検出手段と、を具備することを特徴とす
る画像情報認識装置。 - 【請求項7】前記姿勢情報検出手段は、 被写体の姿勢認識時でのその被写体の距離画像を用いて
の前記法線ベクトル方位分布正規化手段で得た正規化法
線方位分布と、前記法線ベクトル方位分布パターン格納
手段に格納された正規化法線方位分布情報による正規化
法線方位分布パターンおよび前記法線ベクトル方位分布
パターン格納手段に格納された正規化法線方位分布情報
を量子化単位に変位させることで新たに生成される正規
化法線方位分布パターンのうちの少なくとも一方とを比
較することにより、当該姿勢認識対象の被写体の姿勢情
報を検出する構成とすることを特徴とする請求項6に記
載の画像情報認識装置。 - 【請求項8】被写体像を、その離間距離対応の濃度で撮
像した距離画像として取得する画像取得手段と、 前記画像取得手段が取得した距離画像から画像特徴量を
検出するための画像特徴量検出手段と、 前記画像特徴量検出手段から検出された画像特徴量から
被写体の姿勢を検出する姿勢情報検出手段と、を具備す
ることを特徴とする画像情報認識装置。 - 【請求項9】前記画像特徴量検出手段は、距離画像から
得られるモーメント量を検出する構成とすると共に、前
記姿勢情報検出手段は前記画像特徴量検出手段で検出さ
れたモーメント量を基に、姿勢認識対象の被写体の姿勢
情報を検出する構成とすることを特徴とする請求項8に
記載の画像情報認識装置。 - 【請求項10】被写体を、その離間距離対応の濃度で撮
像した距離画像から前記被写体像の輪郭を構成するスト
ローク情報を検出する輪郭ストローク検出ステップと、 この検出した輪郭ストロークを構成する全ベクトルに対
し、そのベクトル方位に基づき量子化するベクトル方位
量子化ステップと、 前記ベクトル方位量子化ステップにて取得した各量子化
ベクトル方位から、輪郭ストロークを構成する全ベクト
ルの方位分布を正規化するベクトル方位分布正規化ステ
ップと、 前記ベクトル方位分布正規化ステップで正規化されたベ
クトル方位分布に応じて前記被写体の姿勢情報を検出す
る姿勢情報検出ステップと、を具備することを特徴とす
る画像情報認識方法。 - 【請求項11】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体像の輪郭を構成するストロー
ク情報を検出する輪郭ストローク検出ステップと、 前記輪郭ストローク検出ステップで検出した輪郭ストロ
ークを構成する全ベクトルに対し、そのベクトル方位に
基づき量子化処理するベクトル方位量子化ステップと、 前記ベクトル方位量子化ステップで得た各量子化ベクト
ル方位から、輪郭ストロークを構成する全ベクトルの方
位分布を正規化するベクトル方位分布正規化ステップ
と、 前記ベクトル方位分布正規化ステップで得た輪郭ストロ
ークの正規化方位分布情報を格納するベクトル方位分布
パターン格納ステップと、 被写体の姿勢認識時でのその被写体の距離画像を用いて
前記ベクトル方位分布正規化ステップにて得た正規化方
位分布と前記ベクトル方位分布パターン格納ステップで
格納した正規化方位分布情報とを比較することにより、
当該姿勢認識対象被写体の姿勢情報を検出する姿勢情報
検出ステップと、を具備することを特徴とする画像情報
認識方法。 - 【請求項12】被写体を、その離間距離対応の濃度で撮
像した距離画像から当該被写体像の姿勢を構成する法線
情報を検出する法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
し、そのベクトル方位に基づき量子化する法線ベクトル
方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
線ベクトル方位から、全法線ベクトルの方位分布を正規
化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化ステップで正規化され
た法線ベクトル方位分布に応じて前記被写体の姿勢情報
を検出する姿勢情報検出ステップと、を具備することを
特徴とする画像情報認識方法。 - 【請求項13】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体像の姿勢を構成する法線情報
を検出する法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
し、そのベクトル方位に基づき量子化処理する法線ベク
トル方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
線ベクトル方位から、全法線ベクトルの方位分布を正規
化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化手段で求めた法線の正
規化方位分布情報を格納する法線ベクトル方位分布パタ
ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
の前記法線ベクトル方位分布正規化手段で得た正規化法
線方位分布と、前記法線ベクトル方位分布パターン格納
手段に格納された正規化法線方位分布情報とを比較する
ことにより、当該姿勢認識対象の被写体の姿勢情報を検
出する姿勢情報検出手段と、を具備することを特徴とす
る画像情報認識方法。 - 【請求項14】認識をする対象の物体の距離画像から輪
郭を構成するストローク構成ベクトル分布を求め、スト
ローク構成ベクトル分布単体、あるいは、別途登録され
たストローク構成ベクトル分布との比較を実施し、その
比較結果から前記認識対象の物体の姿勢、あるいは形状
情報を認識させることを特徴とするコンピュータで読取
り可能で、かつ、実行可能な画像情報認識プログラムを
記録した記録媒体。 - 【請求項15】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体像の輪郭を構成するストロー
ク情報を検出する輪郭ストローク検出ステップと、 この検出した輪郭ストロークを構成する全ベクトルに対
し、そのベクトル方位に基づき量子化するベクトル方位
量子化ステップと、 前記ベクトル方位量子化ステップにて取得した各量子化
ベクトル方位から、輪郭ストロークを構成する全ベクト
ルの方位分布を正規化するベクトル方位分布正規化ステ
ップと、 前記ベクトル方位分布正規化ステップで正規化されたベ
クトル方位分布に応じて前記被写体の姿勢情報を検出す
る姿勢情報検出ステップと、を具備することを特徴とす
るコンピュータで読取り可能で、かつ、実行可能な画像
情報認識プログラムを記録した記録媒体。 - 【請求項16】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体像の輪郭を構成するストロー
ク情報を検出する輪郭ストローク検出ステップと、 前記輪郭ストローク検出ステップで検出した輪郭ストロ
ークを構成する全ベクトルに対し、そのベクトル方位に
基づき量子化処理するベクトル方位量子化ステップと、 前記ベクトル方位量子化ステップで得た各量子化ベクト
ル方位から、輪郭ストロークを構成する全ベクトルの方
位分布を正規化するベクトル方位分布正規化ステップ
と、 前記ベクトル方位分布正規化ステップで得た輪郭ストロ
ークの正規化方位分布情報を格納するベクトル方位分布
パターン格納ステップと、 被写体の姿勢認識時でのその被写体の距離画像を用いて
前記ベクトル方位分布正規化ステップにて得た正規化方
位分布と前記ベクトル方位分布パターン格納ステップで
格納した正規化方位分布情報とを比較することにより、
当該姿勢認識対象被写体の姿勢情報を検出する姿勢情報
検出ステップと、を具備することを特徴とするコンピュ
ータで読取り可能で、かつ、実行可能な画像情報認識プ
ログラムを記録した記録媒体。 - 【請求項17】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体の表面の法線情報を検出する
法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
し、そのベクトル方位に基づき量子化する法線ベクトル
方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
線ベクトル方位から、全法線ベクトルの方位分布を正規
化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化ステップで正規化され
た法線ベクトル方位分布に応じて前記被写体の姿勢情報
を検出する姿勢情報検出ステップと、を具備することを
特徴とするコンピュータで読取り可能で、かつ、実行可
能な画像情報認識プログラムを記録した記録媒体。 - 【請求項18】被写体を、その離間距離対応の濃度で撮
像した距離画像から被写体の表面の法線情報を検出する
法線検出ステップと、 前記法線検出ステップで検出した全法線ベクトルに対
し、そのベクトル方位に基づき量子化処理する法線ベク
トル方位量子化ステップと、 前記法線ベクトル方位量子化ステップで得た各量子化法
線ベクトル方位から、全法線ベクトルの方位分布を正規
化する法線ベクトル方位分布正規化ステップと、 前記法線ベクトル方位分布正規化手段で求めた法線の正
規化方位分布情報を格納する法線ベクトル方位分布パタ
ーン格納手段と、 被写体の姿勢認識時でのその被写体の距離画像を用いて
の前記法線ベクトル方位分布正規化手段で得た正規化法
線方位分布と、前記法線ベクトル方位分布パターン格納
手段に格納された正規化法線方位分布情報とを比較する
ことにより、当該姿勢認識対象の被写体の姿勢情報を検
出する姿勢情報検出手段と、を具備することを特徴とす
るコンピュータで読取り可能で、かつ、実行可能な画像
情報認識プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28986199A JP2001109894A (ja) | 1999-10-12 | 1999-10-12 | 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28986199A JP2001109894A (ja) | 1999-10-12 | 1999-10-12 | 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001109894A true JP2001109894A (ja) | 2001-04-20 |
Family
ID=17748719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28986199A Pending JP2001109894A (ja) | 1999-10-12 | 1999-10-12 | 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001109894A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211561A (ja) * | 2008-03-05 | 2009-09-17 | Ntt Comware Corp | 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム |
JP2011529576A (ja) * | 2008-07-29 | 2011-12-08 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | 撮像システム |
US9700788B2 (en) | 2011-04-22 | 2017-07-11 | Samsung Electronics Co., Ltd. | Video object detecting apparatus, video object deforming apparatus, and methods thereof |
JP2018041277A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および対象物認識方法 |
-
1999
- 1999-10-12 JP JP28986199A patent/JP2001109894A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211561A (ja) * | 2008-03-05 | 2009-09-17 | Ntt Comware Corp | 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム |
JP2011529576A (ja) * | 2008-07-29 | 2011-12-08 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | 撮像システム |
US8890952B2 (en) | 2008-07-29 | 2014-11-18 | Microsoft Corporation | Imaging system |
US9700788B2 (en) | 2011-04-22 | 2017-07-11 | Samsung Electronics Co., Ltd. | Video object detecting apparatus, video object deforming apparatus, and methods thereof |
KR101804848B1 (ko) * | 2011-04-22 | 2017-12-06 | 삼성전자주식회사 | 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 |
JP2018041277A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および対象物認識方法 |
WO2018047705A1 (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および対象物認識方法 |
US11048912B2 (en) | 2016-09-07 | 2021-06-29 | Sony Interactive Entertainment Inc. | Information processing apparatus and target object recognition method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8467596B2 (en) | Method and apparatus for object pose estimation | |
JP5677798B2 (ja) | 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法 | |
KR101007276B1 (ko) | 3차원 안면 인식 | |
US7929728B2 (en) | Method and apparatus for tracking a movable object | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
JP5290864B2 (ja) | 位置姿勢推定装置及び方法 | |
Jain et al. | Analysis and interpretation of range images | |
JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
JP2020514876A (ja) | 3dデータセットのアライメントのための装置、方法、及びシステム | |
JP2014081347A (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
WO2023024766A1 (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别*** | |
KR100930722B1 (ko) | 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 | |
US6931145B1 (en) | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model | |
WO2021250808A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2021229751A1 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP2001109894A (ja) | 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体 | |
WO2021255846A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022009279A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022009327A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
CN114641794A (zh) | 图像处理装置、图像处理方法以及存储图像处理程序的非暂时性计算机可读介质 | |
WO2021250809A1 (ja) | 画像処理装置、画像処理方法、及びプログラム |