JP2532985B2 - ３次元画像評価装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、テレビカメラやイメージスキャナなどから
得られた画像情報に基づいて、３次元物体の認識を行う
ために使用される３次元画像評価装置に関する。

従来の技術 従来より、例えば「画像と言語の認識工学」（長尾真
著、1989年コロナ社発行、p.142−p.149）に示されてい
るように、２次元の被写体を撮像して得られる画像情報
と、あらかじめ記憶されているモデルの画像情報とを比
較することにより、被写体の認識を行う手法が知られ、
この種の手法を適用した画像評価装置が用いられてい
る。

また同様に、複数の撮像手段から得られた被写体の画
像情報と、あらかじめ記憶されているモデルの３次元デ
ータとに基づいて、３次元物体の認識を行う３次元画像
評価装置も用いられている。

上記認識は、先ず、２つの撮像手段から得られた画像
情報に基づいて、３次元空間における被写体の位置情報
及び姿勢情報を算出し、算出した位置情報及び姿勢情報
を認識結果として出力する。次に位置情報及び姿勢情報
と、モデルの３次元データとを比較し、両者の一致の度
合を算出して、算出された度合を、認識の精度として出
力する。

発明が解決しようとする課題 しかしながら、上記の認識処理では、低い値の一致度
合が算出されるため、正しい姿勢情報、移動情報が得ら
れても、認識精度は、低精度になるという問題点があっ
た。

何故なら、一般的な被写体は複雑な形状を有してお
り、一方からでは見えないような線分及び頂点が存在す
ることが多く（被写体の、一方からでは見えないような
線分及び頂点からなる部分を隠れ部分と呼ぶ）、これら
は、画像からの情報では、取得できない場合が多い。

これに対し、モデルの３次元データは、隠れ部分を含
む、被写体の全てについての情報を有している。

このように、画像から得られた移動情報、姿勢情報
と、モデルの３次元データとを比較しても、これらには
隠れ部分の有無の違いがあるため、上記一致の度合は低
いものとなり、認識精度は低精度として出力される。

そのため、たとえ正しい位置及び姿勢情報が求められ
ていても、上記一致度合の低さにより当該位置情報及び
姿勢情報が低精度となってしまう。

本発明は、上記の点に鑑み、３次元物体の認識を高い
精度で、かつ迅速に行うことができる３次元画像評価装
置の提供を目的としている。

課題を解決するための手段 上記目的を達成するため、本発明は、被写体を２以上
の方向から撮像する２以上の撮像部からなる撮像手段
と、被写体に対応したモデルの３次元データを記憶する
モデル情報記憶部と、モデルの３次元データと撮像され
た画像との対応を調べ、撮像された画像から被写体の３
次元空間における位置を示す位置情報及び姿勢を示す姿
勢情報を算出する位置・姿勢情報算出手段と、３次元空
間における当該位置情報及び姿勢情報に相当する位置に
モデルを生成し、生成したモデルを、各撮像部の撮像面
に投影する投影手段と、各撮像部毎にモデルから投影さ
れた画像の総辺長と、被写体から撮像された画像の総辺
長との比較を行い、一致の度合を算出する一致度算出手
段とを備えることを特徴としている。

作用 被写体は、２以上の撮像部によって、２以上の方向か
ら撮像され、当該被写体に対応したモデルの３次元デー
タが、モデル情報記憶部に記憶されている。位置・姿勢
情報算出手段によってモデルの３次元データと撮像され
た画像との対応が調べられ、撮像された画像から被写体
の３次元空間における位置情報及び姿勢情報が算出され
る。撮影手段によって、３次元空間における当該位置増
俸及び姿勢情報に相当する位置にモデルが生成され、生
成されたモデルが、各撮像部の撮像面に投影される。各
撮像部毎に投影された画像の総辺長と撮像された画像の
総辺長との比較が行われ、一致の度合を示す一致度が一
致度算出手段によって算出される。

実 施 例 第１図は本発明の一実施例における３次元画像評価装
置の構成を示すブロック図である。

第１図において、11〜13は撮像手段としてのテレビカ
メラ、14はテレビカメラ11〜13と共に撮像部を構成する
画像前処理部、15は３次元位置・姿勢推定部、16はデー
タ入力装置、17はモデル情報記憶部、18は予測画像情報
生成部、19は画像情報比較部、20は評価部、21は評価結
果出力部である。

上記モデル情報記憶部17には、あらかじめ、例えば第
２図に示すようなモデルＭにおける各項点や辺の３次元
空間内の位置等を示すデータがデータ入力装置16を介し
て入力され、例えば各頂点、および前記頂点に連結され
ている辺に関するデータを関連づけたデータ構造で記憶
されるようになっている。

テレビカメラ11〜13は、それぞれ、第３図に示すよう
に、対象物Ｈを互いに異なる方向から撮像するように所
定の位置に配置されている。これらのテレビカメラ11〜
13で撮像される画像H11〜H13は、それぞれ撮像面11a〜1
3aに投影されるようになっている。ここで撮像面11a〜1
3aは、実際には撮像レンズの後方に位置しているが、説
明の便宜上、光軸上で反転させてレンズの前方に位置す
るように図示して説明する。

上記画像H11〜H13は、より具体的には、例えば第４図
（ａ）〜（ｃ）に示すように、濃淡画像として得られ
る。なお、同図において、濃淡の別はハッチング線の種
別によって示している。

画像前処理部14は、上記濃淡画像H11〜H13に基づい
て、第５図（ａ）〜（ｃ）に示すような頂点および辺の
画像情報H11′〜H13′の抽出を行うようになっている。
ここで、上記画像情報H11′〜H13′の抽出とは、より具
体的には、例えば「画像のＢ−REPのためのアルゴリズ
ム」（富田、高橋著、電子通信学会パターン認識理解研
究会PRU86−87（1987））に示される手法などによっ
て、各頂点および辺の位置や方向などを示すデータを求
めることで、第５図（ａ）〜（ｃ）は、得られたデータ
に基づいて再現した画像の例を示している。

なお、上記画像情報H11′〜H13′は、例えば３次元空
間内の所定の絶対座標系内のデータとして得ることがで
きるが、これに限らず、各テレビカメラ11〜13や撮像面
11a〜13aに固有の座標系内のデータとして求めるなどし
てもよい。

３次元位置・姿勢推定部15は、上記画像情報H11′〜H
13′、およびモデル情報記憶部17から出力されるモデル
Ｍのデータに基づいて、対象物Ｈの位置および姿勢を推
定するようになっている。

より具体的には、例えば、まず整数の画像情報H11′
…に基づいて対象物Ｈにおける何れかの頂点の３次元空
間内の座標、およびその頂点に連結されている２辺のな
す角度を求める。次に、上記角度に等しい角度をなすモ
デルM2の２辺、およびその２辺が連結される頂点を探索
する。そして、モデルＭの頂点および２辺が、上記対象
物Ｈの頂点および２辺に重なるように、モデルＭを移
動、回転させる移動行列、および回転行列を求める。

なお、対象物Ｈの位置および姿勢の推定は、上記のよ
うに複数の画像情報H11′…に基づいて求めることによ
り、誤って推定される移動行列等の数を少なくし、後述
する予測画像情報生成部18等における処理の負荷を軽減
することができるが、これに限らず、例えば「Random S
ample Consensus:A Paradigm for Model Fitting with
Applications to Image Analysis and Automated Carto
graphy」（Martin A.Fischler and Robert C.Bolles
著、Graphics and Image Processing,Communications o
f the ACM 24−6 P.381−395（1981））に開示されてい
るように、単一画面内の対象物Ｈの画像情報における任
意の３点または３線分と、モデルにおける任意の３点ま
たは３線分とが対応していると仮定して、対象物Ｈの３
次元空間内の位置、および姿勢を推定してもよい。

予測画像情報生成部18は、上記移動行列、および回転
行列に基づいて、モデルＭにおける各頂点および辺の位
置を示す座標の座標変換や遠近法に従った変形、陰線処
理等を行い、第６図（ａ）〜（ｃ）に示すように、各テ
レビカメラ11〜13で撮像したときに得られるであろう頂
点および辺の画像情報H11″〜H13″を予測するようにな
っている。

ここで、上記画像情報H11″…の予測は、一旦、モデ
ルＭのデータに基づいて、線画の画像パターンや、さら
には、第７図（ａ）〜（ｃ）に示すように証明状態や光
の反射、屈折等を考慮してレイトレーシング等の処理を
行った濃淡画像パターンH11″ａ〜H13″ａを生成し、こ
れに前記画像前処理部14と同様の処理を施すことによ
り、行うようにしてもよい。

すなわち、このような処理を行えば、例えば画像前処
理部14の特性等に応じて検出されにくい辺がある場合な
どでも、同様の画像情報H11″が得られるので、後述す
る評価部20での評価がより正確に行われる。また、証明
状態や光の反射、屈折等に応じて生じる影などに対して
も、同様の処理が行われるので、上記影などに基づく画
像情報H11′…をも評価の対象とすることができる一
方、濃度が同程度の領域の境界となる辺であるために、
画像情報H11′…が得られにくい辺などは、評価の対象
から除外することができる。

画像情報比較部19は、上記モデルＭの画像情報H11″
…と、対象物Ｈの画像情報H11′…との比較を行い、こ
れらの一致程度を求めるようになっている。

例えば画像情報H11′・H11″を比較すると、第８図に
実線で示す辺が一致していることが検出される。ここ
で、同図において、破線で示す辺は上記陰線処理によっ
て、撮像されないことが予測されているを示し、２点鎖
線で示す辺Ｐは撮像されると予測されるが、画像情報H1
1′には含まれていない辺であることを示している。

また、同様に、画像情報H12′・H12″およびH13′・H
13″の比較を行うと、第９図および第10図に示すよう
に、画像情報H12″・H13″に含まれてはいるが、画像情
報H12′・H13′には含まれていない辺Ｑ・Ｒ・Ｓが検出
される。

なお、画像情報H11′…等の比較は、上記のように辺
に対して行うものに限らず、例えば頂点や面の位置、お
よび面の濃度など、テレビカメラ11…およびモデルのＭ
データから得られるものであれば種々のものに対して行
うことができる。

評価部20は、上記比較結果に基づいて、前記３次元位
置・姿勢推定部15で行われた対象物Ｈの位置および姿勢
の推定が正しいかどうかを評価し、評価結果出力部21を
介して評価結果等を出力するようになっている。

例えば上記の例では、いずれの辺も、その辺が含まれ
るべき画像情報H11′…のうちのいずれかに含まれてい
るので、第８図ないし第10図に記号Ｌで示す長さを単位
長さとして、実際に撮像された辺の長さの総和と撮像さ
れるべき辺の長さの総和との比をとると、29.0L/29.0L
＝1.0という評価値が得られる。この評価値は、値が大
きいほど、画像情報H11′…とH11″…とが一致している
ことになるので、撮像された対象物Ｈは、推定した位置
および姿勢にあるモデルＭに等しいと認識される。

ここで、例えば上記のようにずれかの画像情報H11′
…に含まれていれば、その辺は撮像されていると判定す
るようにすることにより、照明状態等の影響やテレビカ
メラ11〜13の位置によっては抽出されにくい辺がある場
合などでも、比較的適正な評価値が得られる。しかも、
テレビカメラの台数を増やすことによって、評価精度の
向上を図れることも容易にできる。また、撮像されるべ
き辺を基準とし、陰になっている辺等を評価の対象から
除外することにより、やはり評価値の精度が向上する。

また、上記評価値の算出は、一組の画像情報の比較結
果、例えば画像情報H11′・H11″だけに基づいても求め
ることができる。すなわち、この場合には、実際に撮像
された辺の長さの総和14.5L、撮像されるべき辺の長さ
の総和は15.5Lであるから、14.5L/15.5L＝0.935という
評価値が得られる。このように、１台のテレビカメラ11
だけで対象物を撮像した場合などでも、位置および姿勢
の推定が正しいかどうかを判定することができる。

このように、モデルＭを撮像したときに得られるであ
ろう画像情報の予測を行うことによって、画像情報H1
1′〜H13′に含まれるすべての情報が評価に用いられる
ので、精度の高い３次元物体の認識が行われる。特に、
テレビカメラ11…から遠いところにあるために縮小され
て撮像されているために３次元空間内での位置の予測が
困難な対象物や、１台のテレビカメラだけに撮像されて
いる部分がある場合などでも、画像前処理部14から出力
された画像情報H11′…のまま評価に用いられるので、
高精度な認識を行うことができる。

しかも、複数の対象物が撮像されている場合でも、陰
線処理等により、それぞれの対象物の前後関係に応じた
画像情報が生成されるので、やはり確実にそれぞれの対
象物を認識することができる。

なお、本実施例においては、対象物ＨやモデルＭにお
ける頂点や辺を示すデータを画像情報H11′…として比
較する例を説明したが、これに限らず、濃淡画像や線画
像などの画像パターンを示すデータを比較するようにし
てもよい。この場合には、公知のパターンマッチング手
法などが適用でき、頂点や辺などの対応関係は認識され
ないが、全体として、一致程度の評価を行うことができ
る。

発明の効果 以上説明したように、算出された位置情報、姿勢情報
の精度判定のための一致度の算出が投影されたモデルの
画像と撮像された画像との間で総辺長を比較することで
行われるため、撮像部から見えない部分は比較の対象外
となる。このように、撮像部から見えない部分に係る辺
を対象外とすることで、位置情報及び姿勢情報の精度が
確実にかつ簡易に判定される。そのため、認識精度の向
上及び効率化を図ることができる。

【図面の簡単な説明】

第１図は本発明の一実施例における３次元画像評価装置
の構成を示すブロック図、第２図はモデルの形状の例を
示す斜視図、第３図は対象物をテレビカメラで撮像する
状態を示す斜視図、第４図（ａ）〜（ｃ）は撮像された
濃淡画像の例を示す説明図、第５図（ａ）〜（ｃ）は頂
点および辺が抽出された画像情報の例を示す説明図、第
６図（ａ）〜（ｃ）および第７図（ａ）〜（ｃ）は予測
された画像情報の例を示す説明図、第８図〜第10図は画
像情報の比較結果の例を示す説明図である。 11〜13……テレビカメラ、14……画像前処理部、15……
３次元位置・姿勢推定部、16……データ入力装置、17…
…モデル情報記憶部、18……予測画像情報生成部、19…
…画像情報比較部、20……評価部、21……評価結果出力
部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 寺崎 肇 大阪府守口市京阪本通２丁目18番地 三 洋電機株式会社内 審査官 張谷 雅人 (56)参考文献 特開 平２−51008（ＪＰ，Ａ) 特開 昭59−182077（ＪＰ，Ａ) 情報処理学会第39回（平成元年後期) 全国大会講演論文集Ｐ．434−435

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】被写体を２以上の方向から撮像する２以上
   の撮像部からなる撮像手段と、 被写体に対応したモデルの３次元データを記憶するモデ
   ル情報記憶部と、 モデルの３次元データと撮像された画像との対応を調
   べ、撮像された画像から被写体の３次元空間における位
   置を示す位置情報及び姿勢を示す姿勢情報を算出する位
   置・姿勢情報算出手段と、 ３次元空間における当該位置情報及び姿勢情報に相当す
   る位置にモデルを生成し、生成したモデルを、各撮像部
   の撮像面に投影する投影手段と、 各撮像部毎にモデルから投影された画像の総辺長と、被
   写体から撮像された画像の総辺長との比較を行い、一致
   の度合を算出する一致度算出手段と を備えることを特徴とする３次元画像評価装置。