JPH04130587A

JPH04130587A - ３次元画像評価装置

Info

Publication number: JPH04130587A
Application number: JP2253160A
Authority: JP
Inventors: Fumiaki Tomita; 文明富田; Hironobu Takahashi; 裕信高橋; Hajime Terasaki; 肇寺崎
Original assignee: Agency of Industrial Science and Technology; Sanyo Electric Co Ltd
Current assignee: National Institute of Advanced Industrial Science and Technology AIST; Sanyo Electric Co Ltd
Priority date: 1990-09-20
Filing date: 1990-09-20
Publication date: 1992-05-01
Anticipated expiration: 2011-09-11
Also published as: JP2532985B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産１ユＪ１旧１走国本発明は、テレビカメラやイメージスキャナなどから得
られた画像情報に基づいて、３次元物体の認識を行うた
めに使用される３次元画像評価装置に関する。

盗】四月支舌従来より、例えば「画像と言語の認識工学」　（長尾真
著、１９８９年コロナ社発行、ｐ、　１４２−ｐ、　１
４９）に示されているように、２次元の被写体を撮像し
て得られる画像情報と、あらかじめ記憶されているモデ
ルの画像情報とを比較することにより、被写体の認識を
行う手法が知られ、この種の手法を適用した画像評価装
置が用いられている。

また同様に、複数の撮像手段から得られた被写体の画像
情報と、あらかじめ記憶されているモデルの３次元デー
タとに基づいて、３次元物体の認識を行う３次元画像評
価装置も用いられている。

この種の３次元画像評価装置では、例えば２つの撮像手
段から得られた画像情報に基づいて、被写体の各部にお
ける３次元空間内の位置、および姿勢を３次元データと
して求め、この３次元データと、モデルの３次元データ
とを比較することによって、３次元物体の認識を行うよ
うになっている。

が　　しよ°と　るしかしながら、被写体の３次元データは、双方の撮像手
段から画像情報が得られた場合にのみ、求めることがで
き、少なくともいずれかの撮像装置において被写体の背
面に隠れている線分や頂点等の部分は、３次元データを
求めることができない。一方、モデルの３次元データは
、そのモデルを構成するすべての部分に関しての情報を
有している。

それゆえ、被写体とモデルとの３次元データとを比較し
ても、データの一致程度が低く、したがって、３次元物
体の認識精度を高くすることは困難であるという課題を
有していた。

特に、複数の被写体を撮像して認識を行う場合には、他
の被写体に隠れて撮像されない部分が生じ得るので、−
層、認識精度が低下しがちである。

さらに、上記のように撮像手段から得られた画像情報に
基づいて３次元データを求める演算は複雑であるため、
認識結果を迅速に得ることが困難であるという課題をも
有していた。

本発明は、上記の点に鑑み、３次元物体の認識を高い精
度で、かつ迅速に行うことができる３次元画像評価装置
の提供を目的としている。

着　　　”るための上記目的を達成するため、本発明は、被写体を撮像して
画像情報を出力する撮像手段を含む撮像部と、被写体の
モデルにおける３次元データを記憶するモデル情報記憶
部と、前記画像情報と、モデルの３次元データとに基づ
いて、被写体の位１および姿勢を推定する３次元位置・
姿勢推定部と、前記推定された位！および姿勢にあるモ
デルを撮像したときに得られるであろう画像情報を予測
する予測画像情報生成部と、前記撮像部がら出力された
画像情報と、予測画像情報生成部から出力された画像情
報とを比較して、一致程度を求める画像情報比較部とを
備えたことを特徴としている。

立−一一朋予測画像情報生成部は、３次元位置・姿勢推定部によっ
て推定された位置および姿勢にあるモデルを撮像したと
きに得られるであろう画像情報を予測し、画像情報比較
部は、撮像部から出力された画像情報と、予測画像情報
生成部から出力された画像情報とを比較して、一致程度
を求める。

裏−隻一田第１図は本発明の一実施例における３次元画像評価装置
の構成を示すブロック図である。

第１図において、１１〜１３は撮像手段としてのテレビ
カメラ、１４はテレビカメラ１１〜１３と共に撮像部を
構成する画像前処理部、１５は３次元位置・姿勢推定部
、１６はデータ入力装置、１７はモデル情報記憶部、１
８は予測画像情報生成部、１９は画像情報比較部、２０
は評価部、２１は評価結果出力部である。

上記モデル情報記憶部１７には、あらかじめ、例えば第
２図に示すようなモデルＭにおける各頂点や辺の３次元
空間内の位置等を示すデータがデータ入力装置１６を介
して入力され、例えば各頂点、および前記頂゛点に連結
されている辺に関するデータを関連づけたデータ構造で
記憶されるようになっている。

テレビカメラ１１〜１３は、それぞれ、第３図に示すよ
うに、対象物Ｈを互いに異なる方向がら撮像するように
所定の位置に配置されている。これらのテレビカメラ１
１〜１３で撮像される画像Ｈ１ｌ　〜Ｈ１３は、それぞ
れ撮像面１１ａ〜１３ａに投影されるようになっている
。ここで撮像面１１ａ〜１３ａは、実際には撮像レンズ
の後方に位置しているが、説明の便宜上、光軸上で反転
させてレンズの前方に位置するように図示して説明する
。

上記画像Ｈ１ｌ〜Ｈ１３は、より具体的には、例えば第
４図（ａ）〜（ｃ）に示すように、濃淡画像として得ら
れる。なお、同図において、濃淡の別はハンチング線の
種別によって示している。

画像前処理部１４は、上記濃淡画像Ｈ１ｌ〜Ｈ１３に基
づいて、第５図（ａ）〜（Ｃ）に示すような頂点および
辺の画像情報Ｈ１ｌ”〜Ｈ１３′の抽出を行うようにな
っている。ここで、上記画像情報Ｈ１，１″〜Ｈ１３′
の抽出とは、より具体的には、例えば「画像のＢ−ＲＥ
Ｐのためのアルゴリズム」　（冨田、高橋著、電子通信
学会パターン認識理解研究会ＰＲＵ８６−８７　（１９
８７））に示される手法などによって、各頂点および辺
の位置や方向などを示すデータを求めることで、第５図
（ａ）〜（Ｃ）は、得られたデータに基づいて再現した
画像の例を示している。

なお、上記画像情報Ｈ１ｌ“〜Ｈ１３゛は、例えば３次
元空間内の所定の絶対座標系内のデータとして得ること
ができるが、これに限らず、各テレビカメラ１１〜１３
や撮像面１１ａ〜１３ａに固有の座標系内のデータとし
て求めるなどしてもよい。

３次元位置・姿勢推定部１５は、上記画像情報Ｈ１１゛
〜Ｈ１３’、およびモデル情報記憶部１７から出力され
るモデルＭのデータに基づいて、対象物Ｈの位置および
姿勢を推定するようになっている。

より具体的には、゛例えば、まず複数の画像情報Ｈ１ｌ
°・・・に基づいて対象物Ｈにおける何れかの頂点の３
次元空間内の座標、およびその頂点に連結されている２
辺のなす角度を求める。次に、上記角度に等しい角度を
なすモデルＭの２辺、およびその２辺が連結される頂点
を探索する。そして、モデルＭの頂点および２辺が、上
記対象物Ｈの頂点および２辺に重なるように、モデルＭ
を移動、回転させる移動行列、および回転行列を求める
。

なお、対象物Ｈの位置および姿勢の推定は、上記のよう
に複数の画像情報Ｈ１ｌ”・・・に基づいて求めること
により、誤って推定される移動行列等の数を少なくし、
後述する予測画像情報生成部１８等における処理の負荷
を軽減することができるが、これに限らず、例えばｒＲ
ａｎｄｏｍ　Ｓａｍｐｌｅ　Ｃｏｎ５ｅｎｓｕｓ：Ａ　
Ｐａｒａｄｉｇｎ＋　ｆｏｒ　Ｍｏｄｅｌ　Ｆｉｔｔｉ
ｎｇ　ｅｖｉｔｈ　Ａｐ−ｐｌｉｃａｔｉｏｎｓ　ｔｏ
　Ｉｍａｇｅ　Ａｎａｌｙｓｔｓ　ａｎｄ　Ａｕｔｏｍ
ａｔｅｄＣａｒｔｏｇｒａｐｈｙ　Ｊ　　（Ｍａｒｔｉ
ｎ　Ａ、Ｆｉｓｃｈｌｅｒ　ａｎｄ　ＲｏｂｅｒｔＣ，
Ｂｏｌｌｅｓ著、Ｇｒａｐｈｔｃｓ　ａｎｄ　Ｉｍａｇ
ｅ　Ｐｒｏｃｅｓｓｉｎｇ。

Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ
　２４−６　Ｐ、３８１−３９５（１９８１））に開示
されているように、単一画面内の対象物Ｈの画像情報に
おける任意の３点または３線分と、モデルにおける任意
の３点または３線分とが対応していると仮定して、対象
物Ｈの３次元空間内の位置、および姿勢を推定してもよ
い。

予測画像情報生成部１８は、上記移動行列、および回転
行列に基づいて、モデルＭにおける各頂点および辺の位
置を示す座標の座標変換や遠近法に従った変形、陰線処
理等を行い、第６図（ａ）〜（Ｃ）に示すように、各テ
レビカメラ１１−１３で撮像したときに得られるであろ
う頂点および辺の画像情報Ｈ１１”〜Ｈ１３”を予測す
るようになっている。

ここで、上記画像情報Ｈ１１”・・・の予測は、−旦、
モデルＭのデータに基づいて、線画の画像パターンや、
さらには、第７図（ａ）〜（Ｃ）に示すように照明状態
や光の反射、屈折等を考慮してレイトレーシング等の処
理を行った濃淡画像パターンＨ１ｌ”ａ−Ｈ２Ｓ”ａを
生成し、これに前記画像前処理部１４と同様の処理を施
すことにより、行うようにしてもよい。

すなわち、このような処理を行えば、例えば画像前処理
部１４の特性等に応じて検出されにくい辺がある場合な
どでも、同様の画像情報Ｈ１ｌ”が得られるので、後述
する評価部２０での評価がより正確に行われる。また、
照明状態や光の反射、屈折等に応じて生じる影などに対
しても、同様の処理が行われるので、上記形などに基づ
く画像情報Ｈ１ｌ”・・・をも評価の対象とすることが
できる一方、濃度が同程度の領域の境界となる辺である
ために、画像情報Ｈ１１’　・・・が得られにくい辺な
どは、評価の対象から除外することができる。

画像情報比較部１９は、上記モデルＭの画像情報Ｈ１ｌ
”・・・と、対象物Ｈの画像情報Ｈ１ｌ”・・・との比
較を行い、これらの一致程度を求めるようになっている
。

例えば画像情報Ｈ１１゛　・Ｈ１ｌ″を比較すると、第
８図に実線で示す辺が一致していることが検出される。

ここで、同図において、破線で示す辺は上記陰線処理に
よって、撮像されないことが予測されている辺を示し、
２点鎖線で示す辺Ｐは、撮像されると予測されるが、画
像情報Ｈ１ｌ“には含まれていない辺であることを示し
ている。

また、同様に、画像情報Ｈ１２′　・ＨＩ３”′および
ＨＩ３゛　・ＨＩ３”の比較を行うと、第９図および第
１０図に示すように、画像情報Ｈ１２′”・ＨＩ　３　
”に含まれてはいるが、画像情報Ｈ１２゛・ＨＩ３゛に
は含まれていない辺Ｑ−Ｒ−３が検出される。

なお、画像情報Ｈ１ｌ″・・・等の比較は、上記のよう
に辺に対して行うものに限らず、例えば頂点や面の位置
、および面の濃度など、テレビカメラ１１・・・および
モデルＭのデータから得られるものであれば種々のもの
に対して行うことができる。

評価部２０は、上記比較結果に基づいて、前記３次元位
置・姿勢推定部１５で行われた対象物Ｈの位置および姿
勢の推定が正しいかどうかを評価し、評価結果出力部２
１を介して評価結果等を出力するようになっている。

例えば上記の例では、いずれの辺も、その辺が含まれる
べき画像情報Ｈ１１゛・・・のうちのいずれかに含まれ
ているので、第８図ないし第１０図に記号りで示す長さ
を単位長さとして、実際に撮像された辺の長さの総和と
撮像されるべき辺の長さの総和との比をとると、２９．
ＯＬ／２９．０Ｌ＝１．０という評価値が得られる。こ
の評価値は、値が大きいほど、画像情報Ｈ１ｌ′・・・
とＨＩ１゛”・・・とが一致していることになるので、
撮像された対象物Ｈは、推定した位置および姿勢にある
モデルＭに等しいと認識される。

ここで、例えば上記のようにいずれかの画像情報Ｈ１１
′・・・に含まれていれば、その辺は撮像されていると
判定するようにすることにより、照明状態等の影響やテ
レビカメラ１１〜１３の位置によっては抽出されにくい
辺がある場合などでも、比較的適正な評価値が得られる
。しかも、テレビカメラの台数を増やすことによって、
評価精度の向上を図ることも容易にできる。また、撮像
されるべき辺を基準とし、陰になっている辺等を評価の
対象から除外することにより、やはり評価値の精度が向
上する。

また、上記評価値の算出は、−組の画像情報の比較結果
、例えば画像情報Ｈ１ｌ“　・Ｈｌｌ”だけに基づいて
も求めることができる。すなわち、この場合には、実際
に撮像された辺の長さの総和は１４．５Ｌ、撮像される
べき辺の長さの総和は１５．５Ｌであるから、１４．５
Ｌ／１５．ＳＬ−〇、９３５という評価値が得られる。

このように、１台のテレビカメラ１１だけで対象物を撮
像した場合などでも、位置および姿勢の推定が正しいか
どうかを判定することができる。

このように、モデルＭを撮像したときに得られるであろ
う画像情報の予測を行うことによって、画像情報Ｈ１ｌ
′〜Ｈ１３°に含まれるすべての情報が評価に用いられ
るので、精度の高い３次元物体の認識が行われる。特に
、テレビカメラ１１・・・から遠いところにあるために
縮小されて撮像”されているために３次元空間内での位
置の予測が困難な対象物や、１台のテレビカメラだけに
撮像されている部分がある場合などでも、画像前処理部
１４から出力された画像情報Ｈ１１゛・・・のまま評価
に用いられるので、高精度な認識を行うことができる。

しかも、複数の対象物が撮像されている場合でも、陰線
処理等により、それぞれの対象物の前後関係に応した画
像情報が生成されるので、やは乞確実にそれぞれの対象
物を認識することができイなお、本実施例においては、
対象物ＨやモデルＭにおける頂点や辺を示すデータを画
像情報Ｈ１１′・・・とじて比較する例を説明したが、
これに囲らず、濃淡画像や線画像などの画像パターンを
牙すデータを比較するようにしてもよい。この場合には
、公知のパターンマツチング手法などが適用でき、頂点
や辺などの対応関係は認識されない力（全体として、一
致程度の評価を行うことができる主玉皇処果以上説明したように、本発明によれば、推定した位置お
よび姿勢にあるモデルをＩ最像したときに得られるであ
ろう画像情報と、撮像部から出力された画像情報との一
致程度を比較することにより撮像部からの画像情報を有
効に利用でき、また、陰になる部分などは、比較対象が
ら除外されるので、３次元物体の認識を高い精度で、か
つ迅速に行うことができるという効果を奏する。

さらに、モデルの一部もしくは全てが、か（れ４゜等によりカメラによって直接撮像できなくとも、モデル
により生成されると予測される影もしくは反射、屈折等
を画像情報と比較し、認識精度を高めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例における３次元画像評価装置
の構成を示すブロック図、第２図はモデルの形状の例を
示す斜視図、第３図は対象物をテレビカメラで撮像する
状態を示す斜視図、第４図（ａ）〜（ｂ）は撮像された
濃淡画像の例を示す説明図、第５図（ａ）〜（ｃ）は頂
点および辺が抽出された画像情報の例を示す説明図、第
６図（ａ）〜（ｃ）および第７図（ａ）〜（Ｃ）は予測
された画像情報の例を示す説明図、第８図〜第１０図は
画像情報の比較結果の例を示す説明図である。１１−１３・・・テレビカメラ、１４・・・画像前処理
部、１５・・・３次元位置・姿勢推定部、１６・・・デ
ータ入力装置、１７・・・モデル情報記憶部、１８・・
・予測画像情報生成部、１９・・・画像情報比較部、２
０・・・評価部、 ■・・・評価結果出力部特許出願人工業技術院長杉浦賢外１名復代理人並びに代理人

Claims

【特許請求の範囲】

（１）被写体を撮像して画像情報を出力する撮像手段を
含む撮像部と、被写体のモデルにおける３次元データを記憶するモデル
情報記憶部と、前記画像情報と、モデルの３次元データとに基づいて、
被写体の位置および姿勢を推定する３次元位置・姿勢推
定部と、前記推定された位置および姿勢にあるモデルを撮像した
ときに得られるであろう画像情報を予測する予測画像情
報生成部と、前記撮像部から出力された画像情報と、予測画像情報生
成部から出力された画像情報とを比較して、一致程度を
求める画像情報比較部とを備えたことを特徴とする３次元画像評価装置。
（２）請求項第１項記載の３次元画像評価装置であって
、前記撮像部は、被写体における頂点及び／又は辺及び／
又は面を示すデータを画像情報として出力し、予測画像情報生成部は、３次元位置・姿勢推定部によっ
て推定された位置および姿勢にあるモデルを撮像したと
きに得られるモデルの頂点及び／又は辺及び／又は面を
示すデータを画像情報として予測する一方、画像情報比較部は、撮像部から出力された画像情報と、
予測画像情報生成部から出力された画像情報とにおける
各頂点及び／又は辺及び／又は面の一致程度を求めるよ
うに構成されていることを特徴とする３次元画像評価装
置。