JPH0247506A - 物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、画像処理技術に関し、特に、３次元物体の
形状認忠および位置計測に関する。

［従来の技術および発明が解決しようとする課題］従来
、画像処理による物体の認識または計測は以下の３つに
大別することができる。

（１）　光または音波などの投射による能動的針ｎ１法 （２）　投影幾何の拘束による計測法 （３）　ステレオによる計測法 （１）は、レーザ光や超音波などを物体に投射すること
によって、その反射の応答時間や反射パターンから画素
ごとに距離を得て、物体を計測する方法である。この方
法には、使用環境による制約や、光などの照射による悪
影響の発生の可能性や、精度不足などの課題がある。

（２）は、観測対象が人工物体などのように曲面を持た
ないものに適用され、観測される面、稜線の方向、およ
び位置情報から投影条件による幾何拘束を利用して観測
対象の形状と位置を画像から推定する方法である。この
方法は、物体の面および稜線が明確に観１Ｎ）Ｉされる
人工的な物体にのみ適用可能で、曲面を持った物体や形
状が変化するような物体には適用できないという課題が
ある。

（３）は、本発明と同じく複眼視による方法であるが、
物体上の対応点を画素単位で探索するのが難しいという
課題がある。

この発明は、上記のような課題を解決するためになされ
たもので、物体上の対応点の探索を行なうことなく、曲
面を有する物体をも認識することができる３次元物体の
物体認識装置を得ることを目的とする。

［課題を解決するための手段］ この発明に係る物体認識装置は、２つの異なった方向か
ら物体の画像を得る撮像手段と、その画像から物体の輪
郭線を抽出する輪郭線抽出手段と、物体の輪郭線を複数
の直線に近似する直線近似手段と、近似された複数の直
線の中から予め定められた範囲内の平行性を有する直線
対を抽出する平行線対抽出手段と、平行性を有する直線
対の線対称となる対称軸を検出する対称軸検出手段と、
２つの異なった方向に基づいて得られた２つの対称軸か
ら３次元空間中の直線を導出する直線導出手段とを含む
。

また、直線近似手段として、好ましくはその近似精度を
階層的に設定できる階層別直線近似手段が含まれる。

さらに、２つの異なった方向は、好ましくは互いに直交
する方向が含まれる。

［作用］ この発明における物体認識装置では、２つの異なった方
向から物体の画像を得て、それに基づいて輪郭線が抽出
され、その輪郭線が複数の直線に近似される。それらの
直線の中から、所定の範囲内の平行性を合する直線対が
抽出され、その対称軸が得られる。２つの異なった方向
から得られた対称軸に基づいて、物体の中心軸を示す３
次元空間中の直線が導出される。これらの動作は物体の
形状に限定されず、曲面を有する物体にも適用できる。

また、直線近似精度が階層的に設定されることにより、
近似精度に基づいて輪郭線が階層的に直線に近似される
。これにより、階層的に物体の認識を行なうことができ
、認識の効率化が図れる。

さらに、直交する２つの方向から物体の画像を得ること
により、計算処理が簡略化され、かつ、高い計算精度が
得られる。

［発明の実施例］ 第１図は、この発明の一実施例を示す、物体認識装置の
ブロック図である。第１図を参照して、この物体認識装
置は、異なった方向から３次元の物体を撮像し画像信号
を得る撮像装置１および２と、画像信号から物体の輪郭
像データを抽出する輪郭像抽出部３および４と、輪郭像
データから物体の輪郭を階層的に直線近似し、直線リス
トを出力する直線近似部５および６と、直線リストの中
から平行性を有する線分の対を抽出する平行線分対抽出
部７および８と、平行線分対からその線対称となる対称
軸を演算する対称軸演算部９および１０と、２つの異な
った方向に基づいて得られた対称軸から物体の中心軸の
直線を演算する直線演算部１１とを含む。

撮像装置１および２を除き、各部３ないし１１は演算処
理装置２０内に設けられる。直線演算部１１から出力さ
れる直線データに基づいて、物体の形状および計測など
物体の認識が行なわれる。

第２図は、第１図に示された物体認識の原理を説明する
ための観ｎ１座標系を示す図である。

この発明は物体の持つ軸対称性に着目している。

第２図に示されるように、観測対象である物体は、底面
を有する円錐体（台）の集合にモデル化することができ
る。図中の円錐体は、たとえば、人間の身体において、
大きな部位では頭、上肢、胴体、下肢に相当し、小さな
部位では指、腕などに相当する。

物体を撮像し、その輪郭線を直線に近似することにより
このような円錐体２１および２２が得られる。この円錐
体を互いに直交する投影面ＡおよびＢ上に投影すると、
その輪郭像の中から平行性を有する２つの平行線分対２
３および２４が観測される。この線分対から各々の投影
面上で、各々の線分対の対称軸２５および２６が求めら
れ、それらの対称軸２５および２６から３次元空間中の
直線（物体の中心軸２７）を決定することかできる。以
下、この原理に基づいて第１図に示された物体認識装置
の動作について説明する。

第３図は、第１図に示された物体認識装置において使用
される直線演算部１１の動作原理を説明する、３次元空
間を示す図である。第３図を参照して、この３次元空間
は直交するＸ軸、Ｙ軸、およびＺ軸により表現される。

２つの撮像装置１および２は、各々Ｘ軸およびＹ軸上に
原点からの距離Ｒの位置に置かれる。この位置を視点Ｐ
ｘおよびＰｚと呼ぶ。視点Ｐｚに対してＸ−Ｙ平面か投
影面となり、視点Ｐｘに対してＹ−Ｚ平面が投影面とな
る。すなわち、視点Ｐｚから観測されるすべての３次元
の位置Ｐ　（ｘ、ｙ、ｚ）は、視点Ｐ２から点Ｐを結ぶ
直線がＸ−Ｙ平面と交わる位置に投影されることになる
。また、視点Ｐｘについても同様のことが言える。

３次元空間中に直線りを仮定し、その直線り上の任意の
異なる２点について各々の視点ＰｘおよびＰｚから投影
面に投影する。これにより、視点Ｐｚからの投影により
Ｘ−Ｙ平面上に投影点Ｐ０（ｘＯ，ｙＯ，０）およびＰ
Ｌ　（ｘｌ、ｙｌ、０）か得られる。また、視点Ｐｘか
らの投影によりＹ−２面上に投影点Ｐ２　（０，ｙ２．
ｚ２）およびＰ３　（０，ｙ３．ｚ３）が得られる。こ
のように、３次元空間中の線分りは、各投影面上におい
て線分ＰＯ−Ｐｉ、線分Ｐ２−Ｐ３として表現される。

これら４つの点ＰＯないしＰ３の座標は画像信号から求
まるものである。

３次元空間中にある直線りを示すベクトルＰ［は、方向
ベクトルＤと位置ベクトルＰｃによって以下のように得
られる。

Ｐｕ−Ｐｃ＋ｓ−Ｄ、ｓ５Ｒ（実数）　　−（１）ここ
で方向ベクトルＤは、Ｘをベクトルの外積として、 Ｄ　−（ＰＯｚＸＰｌｚ）Ｘ　　（Ｐ２ｘＸＰ３ｘ）・
・・　（２） Ｐ　Ｏｚ　−Ｐ　Ｏ−Ｐ　ｚ　　　　　　　　　　　　
　　−（３）Ｐ　１　ｚ−ＰＩ−Ｐｚ　　　　　　　　
　　　　　　−（４）Ｐ２ｘ−Ｐ２−Ｐｘ　　　　　　
　　　　　　　・・・　（５）Ｐ３ｘ−Ｐ３−Ｐｘ　　
　　　　　　　　　　　・・・　（６）なお、ＰＯｌＰ
ｌ、Ｐ２、およびＰ３は各々の投影点を示す位置ベクト
ルであり、また、ＰｚおよびＰｘは各々の視点を示す位
置ベクトルである。

さらに、位置ベクトルＰｃは、一方の視点から２つの投
影点を結ぶベクトルによって形成される平面と、他方の
視点から２つのうちいずれか一方の投影点を結ぶ直線と
の交点の位置ベクトルとして求めることができる。

ここで、３次元空間中の直線が式（１）により得られる
条件として、式（３）ないしく６）により得られるベク
トルが１次独立である必要がある。

次に、直線演算部１１に与えるべきデータの導出につい
て、主なデータ処理部についてその説明を行なう。

まず、２つの視点上に各々置かれた撮像装置１および２
により、画像信号が得られる。輪郭像抽出部３および４
は、この信号をＡ／Ｄ変換した後、物体の画像からその
物体の輪郭像を各々抽出し、輪郭像データを直線近似部
５および６に出力する。

第４Ａ図および第４Ｂ図は、直線近似部５および６の直
線近似アルゴリズムを説明する図である。

既に述べたように、この実施例では、人間の身体か持つ
階層性に着目して、輪郭像を階層的に直線近似する。人
間の身体が持つ階層性とは、人間の身体の構成要素に上
肢があり、上肢の構成要素として前腕、上腕、手があり
、さらに、手の構成要素として指および掌があるという
性質を意味する。

直線近似部５および６は最初に輪郭像の外縁を探索し、
それを初期リストとする。

第４Ａ図は、直線近似の様子を示す図である。

第４Ａ図に示される点ａないしｆを結ぶ線が輪郭像抽出
部３または４により得られた輪郭像に対応する。これを
初期リストとする。今、ここで点ａおよびｆを直接結ぶ
線分を引くと、その線分は最も粗い近似の直線リストａ
−ｆとなる。このとき、点ａ　−、ｂ　ｓ　Ｃｓ　ｄ　
％　ｅ　ｓおよびｆを結ぶ線分はａｆに属していると表
現される。

直線近似部５および６では、直線近似の度合を制御する
ために、画素数（ｐｉｘｅｌ）を単位としたしきい値Ｓ
１、Ｓ２、・・・を用いる。たとえば、ｓｌ＞ｓ２を満
たすしきい値Ｓ１およびＳ２が最初に設定され、まず、
初期リストの各要素ａないしｆと直線ａ−ｆからの距離
を計算し、しきい値ｓ１を越える最も遠い点で直線ａ−
ｆを分割する。

第４Ａ図に示された場合では、点すで分割される。

次に、直線ａ−ｂおよび直線ｂ−ｆの各々に属する初期
リストについて距離を計算し、しきい値Ｓ１について同
様の処理を再帰的に行なう。この場合、直線ｂ−ｆにつ
いて新たな分割点Ｃが得られ、しきい値ｓ１についての
アルゴリズムが停止する。

以上の結果に対して、同様の処理をしきい値Ｓ２につい
ても行なう。これにより、直線ｃ−ｆがさらに３つの直
線ｃ−ｄ、ｄ−ｅ、およびｅ−ｆに分割される。

第４Ｂ図は、このようにして得られた階層的な直線近似
リストを示す図である。

第５図は、人間の上肢ついて、直線近似部５および６の
出力例を示す図である。図中のｄｌはしきい値の大きさ
を示し、ここではしきい値ｄ１を４０．２０および５ｐ
ｉｘｅｌに設定した場合（ａ）ないしくＣ）が示される
。このように、しきい値を適当に設定することにより、
上肢の階層性に対応して直線近似リストを得ることがで
きる。

なお、この画像サイズは、縦、横各々５１２画素である
。

第６図は、平行線分対抽出部７および８の動作原理を示
す図である。第６図を参照して、平行線分対の抽出は向
かい合った線分について、それらの長さＱ、１およびｆ
Ｌ２、距離ｄ１および角度θをパラメータとした評価関
数によって行なう。与えられた直線リスト構造の上位の
階層から、順次、評価関数ｆと所定のしきい値により判
定する。２つの直線の平行性の評価は、同じ階層にある
直線リストによって行なわれる。

第７図は、平行線分対の抽出例を示す図である。

この図は、第５図に示された直線近似部５および６の出
力例から得られたものである。ここで、評価関数ｆは一
例として、以下の式を用いている。

計算値が小さいほど２つの直線がより平行していること
を示す。

ｆ　（旦１．　α２．　θ、ｄ） −（θ・ｄ−迂２）／（ｕｌ　・Ｑ、ｌ）。

（［２≧ｍｌ）　　　　　　　　　　　　　　・・・　
（７）なお、・はスカラー積を示す。

第７図では、ｄ１≦４０ｐ　ｉ　ｘｅ　ｌにおいて、前
腕と上腕の分離が行なわれ、ｄ１≦２０ｐｉｘｅｌにお
いて、指先と掌の分離が行なわれることを示している。

このように、この実施例では、階層構造を持つ直線リス
トに基づいて平行性を有する線分対の抽出がなされるの
で、その抽出のための探索の範囲を絞ることができ、処
理が効率化される。

第８図は、対称軸演算部９および１０の動作原理を示す
図である。第８図を参照して、平行線分対抽出部７およ
び８によって対をなす２つの平行線分子Ｌ１０および辻
１１が得られる。対称軸演算部９および１０では、この
２つの線分立１０および区１１がなす角を２等分する線
分上の正射影に対応する線分を対称軸止１２として出力
する（もし、２つの線分が完全に平行の場合、２つの線
分に等距離の直線が２等分線となる。）。

直線演算部１１では、得られた投影面上の２つの対称軸
に基づいて３次元空間中の直線を決定する。この時点で
、円錐体の中心軸の空間配置は決定された直線上に拘束
される。第２図に示すように、円錐体１および２の中心
軸の交点を求めることにより、円錐体中心軸まわりの１
自由度を除いて、物体の正確な空間位置を知ることがで
きる。

残る回転に関する１自由度は、他の円錐体との接続関係
による拘束から決定可能であり、また、底面の楕円の縦
横比が大きな円錐体の場合、平行線分対の間隔による拘
束から決定可能である。

したがって、この実施例によれば、濃淡情報の影響を受
けない安定な画像情報である輪郭像から、従来困難であ
った人間の身体等の認識と位置計測が可能となる。加え
て、その位置計測の原理は、異なる視点からの２つの対
称軸の対応により可能であり、従来のステレオ法などで
行なわれていた画素単位または画素ブロック単位で対応
箇所の探索を行なう必要がない。

また、この実施例によれば、輪郭像を階層的な直線リス
ト構造として持つことにより、平行線分対の抽出を効率
良く行なうことができる。

さらに、この実施例では、撮像装置の位置は第３図に示
されたように演算の便宜上、直交する座標軸上に設けた
が、これに限らず、式（３）ないしく６）が１次独立で
ある条件を満たすならば、いずれの位置に設けることも
可能である。

この発明では、観測対象の中心軸に関する軸対称性を利
用しているが、これは、一般に人工物または自然物のい
ずれにかかわらず、構成要素における局所的な軸対称性
は多くの物体に見られる。

すなわち、この発明の適用範囲は広い。

［発明の効果］ 以上のように、この発明によれば、物体上の対応点の探
索を行なうことなく、曲面を有する物体をも認識するこ
とが可能な３次元物体の物体認識装置が得られた。また
、階層的な近似精度に基づいて物体の認識が行なわれる
ので、認識のための処理を効率的に行なうことができる
。さらに、互いに直交する方向から撮像して得られた画
像信号を処理することにより、計算処理が簡略化され、
高い計算精度が得られる。

【図面の簡単な説明】

第１図は、この発明の一実施例を示す物体認識装置のブ
ロック図である。第２図は、第１図に示された物体認識
装置の原理を示す図である。第３図は、第１図に示され
た物体認識装置で使用される直線演算部の動作原理を示
す図である。第４Ａ図および第４Ｂ図は、第１図に示さ
れた物体認識装置で使用される直線近似部の直線近似ア
ルゴリズムを示す図である。第５図は、人間の上肢につ
いて直線近似部の出力例を示す図である。第６図は、第
１図に示された物体認識装置で使用される平行線分対抽
出部の動作原理を示す図である。第７図は、平行線分対
の抽出例を示す図である。第８図は、第１図に示された
物体認識装置で使用される対称軸演算部の動作原理を示
す図である。 図において、１および２は撮像装置、３および４は輪郭
像抽出部、うおよび６は直線近似部、７および８は平行
線分対抽出部、９および１０は対称軸演算部、１１は直
線演算部、２０は演算処理装置である。 特許出願人　株式会社エイ・ティ・アール通信システム
研究所 第 図 乍１停４葱言代（形状・計１′ｊ耳） 第４Ａ 図 第４Ｂ図 第 図 ｔＩｆ価関牧ｆ （ｉｌ、１２．　Ｏ，ｄ） 第 図 ２　や自 第 図

Claims (3)

【特許請求の範囲】
1. （１）３次元空間に存在する物体を認識する物体認識装
   置であって、 ２つの異なった方向から前記物体を撮像し、各々の画像
   信号を出力する撮像手段と、 前記撮像手段から出力された画像信号に応答して、前記
   物体の輪郭線を抽出し、輪郭線信号を出力する輪郭線抽
   出手段と、 前記輪郭線抽出手段から出力された輪郭線信号に応答し
   て、前記物体の輪郭線を複数の直線に近似し、近似直線
   信号を出力する直線近似手段と、前記直線近似手段から
   出力された近似直線信号に応答して、前記近似された複
   数の直線の中から予め定められた範囲内の平行性を有す
   る直線対を抽出し、直線対信号を出力する平行線対抽出
   手段と、 前記平行線対抽出手段から出力された直線対信号に応答
   して、前記直線対が線対称となる対称軸を検出し、対称
   軸信号を出力する対称軸検出手段と、 前記対称軸検出手段から出力された前記２つの異なった
   方向に基づく２つの対称軸信号に応答して、３次元空間
   中の直線を導出する直線導出手段とを含む、物体認識装
   置。
2. （２）前記直線近似手段は、その近似精度を階層的に設
   定でき、階層別に前記物体の輪郭線を複数の直線に近似
   し、近似直線信号を出力する階層別直線近似手段を含む
   、請求項（１）記載の物体認識装置。
3. （３）前記２つの異なった方向は、互いに直交する方向
   である請求項（１）記載の物体認識装置。