JP2004094825A - 三次元物体認識装置 - Google Patents

Abstract

【課題】処理負荷を低減可能な三次元物体認識装置を提供する。
【解決手段】基本図形適合部１５は、投影画像作成部１４において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が１つである場合、投影画像は１つであるため、この二次元基本図形の情報を仮想平面設定部１３に伝達する。なお、仮想平面の初期値は複数とすることもできる。１つの二次元基本図形が設定された後、仮想平面設定部１３は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部１４は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。単純立体図形決定部１６は、基本図形適合部１５において決定された複数の二次元基本図形に基づいて、立体プリミティブを決定する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元物体認識装置に関する。
【０００２】
【従来の技術】
従来の三次元物体認識装置は、特開平１０−２３２９３６号公報に記載されている。ステレオ視を用いて得られた距離画像を仮想平面上に投影し、この投影画像と、対象物の三次元モデルから得られる投影画像との相違度を、三次元モデルの投影画像を回転させながら計算し、最もよく合致する向きを求める。その向きに平行又は垂直な面を、対象物の方向に投影した三次元モデルの像の合致度が、所定閾値を超えた場合、対象物が三次元モデルと同一のものと判断している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の処理では対象物と一致可能な三次元モデルが必要であり、三次元モデルが対象物程度に精密でなければならないところ、処理負荷が大きいという問題がある。
【０００４】
本発明は、このような問題に鑑みてなされたものであり、画像処理の負荷を低減可能な三次元物体認識装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述の課題を解決するため、第１の三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像を複数の仮想平面上に投影してなる複数の投影画像のそれぞれに、二次元基本図形を当てはめる基本図形適合手段と、前記基本図形適合手段によって当てはめられる複数の前記二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段とを備えることを特徴とする。
【０００６】
なお、「二次元基本図形」とは楕円形や多角形等の図形である。
【０００７】
また、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル（例えば、車両）よりも単純な立体図形である。
【０００８】
本発明の認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【０００９】
第２の三次元物体認識装置は、前記三次元物体を異なる視点から撮影する複数のカメラを更に備えることを特徴とする。これにより、視差を有する複数の元画像を得ることができるので、元画像に含まれる三次元物体の各点までの距離を求めることができる。
【００１０】
第３の三次元物体認識装置は、異なる視点から撮影され前記三次元物体を含む複数の元画像に基づいて、前記三次元物体画像を形成する画像合成手段を更に備えることを特徴とする。すなわち、画像合成手段を用いれば、視差を有する複数の元画像から仮想空間内における三次元物体画像を得ることができる。
【００１１】
第４の三次元物体認識装置は、前記元画像を表示する表示器を更に備えることを特徴とする。この場合、ユーザーは表示器によって元画像を確認できる。
【００１２】
第５の三次元物体認識装置は、前記単純立体図形決定手段によって決定された単純立体図形を、前記表示器上に表示される前記三次元物体の位置に表示させる表示制御手段を更に備えることを特徴とする。表示器上に単純立体図形を表示すれば、ユーザーは物体の存在を確認することができる。
【００１３】
第６の三次元物体認識装置は、前記三次元物体の数が複数である場合、特定の前記単純立体図形の割合に応じて、この単純立体図形に対応する三次元物体を推定する推定手段を備えることを特徴とする。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【００１４】
第７の三次元物体認識装置は、前記三次元物体の数が複数である場合、前記三次元物体の認識が正確に行える可能性の大きさ順に前記三次元物体の順番を決定する優先度決定手段と、前記優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段とを備えることを特徴とする。この場合、認識可能性が高いものから順番に認識を行うので、認識初期段階における認識率が向上する。
【００１５】
第８の三次元物体認識装置は、仮想空間内における前記単純立体図形内に前記三次元物体画像を配置し、前記単純立体図形を構成する面上に前記三次元物体画像を投影し、この投影画像を用いて前記三次元物体の認識を行う認識手段を更に備えることを特徴とする。この場合、予め面方位が決定されている単純立体図形に投影することで、三次元物体の識別が容易となる。
【００１６】
第９の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を１つの仮想平面上に投影し、この投影画像に当てはめられた二次元基本図形に基づいて、残りの仮想平面を設定して残りの投影画像にも二次元基本図形を当てはめることを特徴とする。すなわち、初期値として最初の仮想平面を設定しておき、この仮想平面上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は残りの仮想平面を与えることができる。例えば、これが長方形である場合には、各辺から初期値の仮想平面に対して垂直な面を規定すれば、これを残りの仮想平面とすることができる。
【００１７】
第１０の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を１つの仮想平面上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の１番目と３番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめることを特徴とする。この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、２番目に長い辺は１番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対象性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するためには、対向傾向のある２番目ではなく、３番目に長い辺を用いた方が好ましい。
【００１８】
第１１の三次元物体認識装置の前記基本図形適合手段は、前記投影画像の重心位置回りの回転角度毎の前記投影画像内画素の最大離隔距離を求め、前記回転角と前記最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形とこの二次元基本図形の回転位置を決定することを特徴とする。すなわち、投影画像を重心位置回りに回転させると、重心位置からの最大離隔距離によって、投影画像の回転位置とパターンを判別することができる。
【００１９】
第１２の三次元物体認識装置の前記基本図形適合手段は、直交座標系における前記投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置を決定することを特徴とする。
すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【００２０】
上述のようにして三次元物体認識装置の基本図形適合手段が投影画像の位置とパターンを判別できた場合、投影画像にどのような二次元基本図形を当てはめるかを考える。
【００２１】
第１３の三次元物体認識装置の前記基本図形適合手段は、前記投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめることを特徴とする。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【００２２】
一致度が比較的高くなる別の手法も考えられる。
【００２３】
第１４の三次元物体認識装置の前記基本図形適合手段は、前記投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【００２４】
第１５の三次元物体認識装置の前記基本図形適合手段は、前記二次元基本図形を構成する各辺の長さに有意差がない場合には、前記二次元基本図形を円又は楕円形と見なすことを特徴とする。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【００２５】
第１６の三次元物体認識装置の前記基本図形適合手段は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定することを特徴とする。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。したがって、傾斜角度の分布は投影画像のパターンを反映できる。
【００２６】
第１７の三次元物体認識装置は、前記三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求めることを特徴とする。この場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【００２７】
【発明の実施の形態】
以下、実施の形態に係る三次元物体認識装置について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【００２８】
図１は三次元物体認識装置が搭載された車両の斜視図である。本例では、三次元物体認識装置が車両に搭載されるが、車両交通量監視システム等に適用することもできる。車両ＡＭには複数台のＴＶカメラ１，２が取り付けられており、車両前方の景色を異なる視点から観察している。なお、ＴＶカメラ１，２を用いることで、走行環境を認識する。
【００２９】
図２は三次元物体認識装置ＩＰのブロック図である。
【００３０】
複数台のＴＶカメラ１，２から出力された映像信号は、物体画像抽出部１１に入力される。物体画像抽出部１１は、映像信号内に含まれる物体の画像を抽出する。映像信号の１フレーム内における物体の画像の数は一般には複数であるが、ここでは簡単のため、１つであるとする。映像信号を与えるＴＶカメラの数は複数であるのだから、これらの映像信号からは複数枚の二次元物体画像（元画像）が得られる。
【００３１】
それぞれのＴＶカメラ１，２から同時に得られる複数枚の元画像は三次元物体画像合成部（三次元物体画像合成手段）１２に入力される。三次元物体画像合成部１２では、視差を有する複数の元画像を利用して、仮想空間内で三次元物体を構成する画素の位置を決定する。すなわち、三次元物体画像合成部１２は、複数枚の元画像から三次元物体画像（距離画像）を作り上げる。この画像合成には、ステレオマッチングを用いる。
【００３２】
仮想平面設定部１３は、三次元物体画像が投影される仮想平面を設定する。本例では、仮想平面の初期値は予め決定されているものとする。
【００３３】
投影画像作成部１４は、仮想平面設定部１３において設定された仮想平面上に、三次元物体画像合成部１２で合成された三次元物体画像を投影し、三次元物体画像の投影画像を作成する。
【００３４】
基本図形適合部（基本図形適合手段）１５は、投影画像作成部１４において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が１つである場合、投影画像は１つであるため、この二次元基本図形の情報を仮想平面設定部１３に伝達する。なお、仮想平面の初期値は複数とすることもできる。
【００３５】
「二次元基本図形」とは楕円形や多角形等の図形である。
【００３６】
１つの二次元基本図形が設定された後、仮想平面設定部１３は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部１４は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。
【００３７】
単純立体図形決定部（単純立体図形決定手段）１６は、基本図形適合部１５において決定された複数の二次元基本図形に基づいて、三次元物体を端的に示す直方体等の単純立体図形（立体プリミティブ）を決定する。
【００３８】
なお、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル（例えば、車両）よりも単純な立体図形である。
【００３９】
単純立体図形決定部１６において決定された単純立体図形は、表示制御部１７を介して表示器ＤＰ上に表示される。すなわち、対象物である三次元物体が車両であって、この三次元物体から決定された単純立体図形が直方体である場合、直方体が表示器ＤＰ上に表示されることとなる。なお、表示器ＤＰには元画像を表示することもでき、したがって、ユーザーは図示しない入力装置を介して表示制御部１７を制御することにより、表示器ＤＰによって元画像を確認することができる。
【００４０】
表示制御部１７は、表示器ＤＰ上に表示される三次元物体の位置に単純立体図形決定部１６によって決定された単純立体図形を表示させることができる。表示器ＤＰ上に単純立体図形を表示すれば、ユーザーは実際の三次元物体の画像の代わりに単純立体図形によって、その存在を確認することができる。
【００４１】
表示制御部１７には、ＴＶカメラ１，２からの映像信号も入力されており、表示制御部１７は、これらの映像信号のいずれかを選択して、或いは加工して、表示器ＤＰ上に表示させることができる。映像信号は、１フレーム内において三次元物体の重心位置を含んでいる。
【００４２】
したがって、物体画像抽出部１１において抽出された画像の重心位置は、表示制御部１７に伝達される。表示制御部１７は、伝達された重心位置、或いは移動位置推定部１９によって推定された画像の重心位置に、この重心位置を与えた三次元物体に対応する単純立体図形を表示する。
【００４３】
なお、移動位置推定部１９は、Ｎ−１番目のフレームにおける物体の画像の重心位置と、Ｎ番目のフレームにおける物体の画像の重心位置との間の実空間における距離とフレーム時間間隔から、Ｎ＋１番目のフレームにおけ物体の画像の重心位置を推定することができる（推定位置）。二次元画像の重心位置でもよいし、三次元画像の重心位置でもよい。
【００４４】
移動位置推定部１９から、推定位置が表示制御部１７に伝達されると、表示器ＤＰ上には、単純立体図形が表示されることになるが、画像処理の負荷を軽減するため、Ｎ＋１番目における画像の推定位置に対応する位置においては、予めＴＶカメラ１，２から物体画像抽出部１１に入力される画像を削除しておくことが望ましい。このような削除が実行された元画像を元に、物体画像抽出を行えば、抽出に必要な処理負荷が低減されるので、高速の処理が可能となる。
【００４５】
表示器ＤＰ上には単純立体図形が表示されるので、１つにはユーザーの単純立体図形の認識度が高くなる。また、単純立体図形は、画像処理負荷が実際の画像よりも低いので、この単純立体図形を用いた所定時間経過後の対象物位置推定や、各種現象解析の演算を行うことが簡単となる。
【００４６】
三次元物体推定部１８は、単純立体図形決定部１６において決定された複数の立体図形を用いて、三次元物体の種類を推定する。すなわち、単純立体図形決定部１６において決定された立体図形が直方体である場合、直方体を構成する非対向三面上に、三次元物体画像合成部１２において合成された三次元物体画像を投影し、これにより得られた３枚の投影画像を、データベース内に蓄積された参照画像とそれぞれ比較する。
【００４７】
この参照画像は、三次元物体の投影方向と等価な方向から撮影した参照物体の画像である。三次元物体推定部１８は、投影画像と参照画像とが所定の一致度以上で一致した場合には、投影画像を与えた三次元物体が、参照画像を与えた参照物体と同種類であるものと判断する。なお、このようなパターンマッチングの手法は数多く知られている。
【００４８】
また、三次元物体推定部１８の代わりに認識部ＲＧを設けることもできる。認識部ＲＧは、仮想平面設定部１３において設定された複数の仮想平面への三次元物体画像の投影画像に基づいて、三次元物体の種類を判定する。すなわち、これらの投影画像と、認識部ＲＧにおけるデータベースに蓄積された参照画像とを、三次元物体推定部１８と同様に判定し、三次元物体の種類を判定する。
【００４９】
すなわち、本三次元物体認識装置は、仮想空間内における単純立体図形内に三次元物体画像を配置し、単純立体図形を構成する面上に三次元物体画像を投影し、この投影画像を用いて三次元物体の認識を行う認識手段（１６，１８又はＲＧ）を備えている。この場合、予め面方位が決定されている単純立体図形に三次元物体画像を投影することで、三次元物体の識別が容易となる。
【００５０】
以下、上述の三次元物体認識装置による画像処理ついて詳説する。
【００５１】
図３は、ＴＶカメラ１によって得られる二次元画像を示す図である。以下の説明では、図２を適宜参照する。画像内には、車両１ａ，１ｂ，１ｃ、電柱２及び道路標識３が表示されている。ＴＶカメラ２からは、ＴＶカメラ１から得られる画像に対して、視差を有する画像を得ることができる。これら複数の元画像は、輝度情報、色情報と共に、距離情報を有している。なお、以下の説明では、距離情報に着目する。
【００５２】
すなわち、画像内の１つの画素が与える物体の実空間における要素位置は、測量の原理にしたがって求めることができる。本例では、２つのＴＶカメラ１，２を示しているが、物体を構成する要素の三次元位置を確定するためには、ＴＶカメラは３つ以上であることが好ましい。
【００５３】
物体画像抽出部１１は、２値化処理、エッジ処理やテクスチャー（画像の輝度パターン）等を用いて、車両１ａの表示された領域を元画像から切り出す。三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求める場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【００５４】
エッジによる画像の復元においては画像間でエッジ（線）を対応させて比較する。なお、テクスチャとは画像内の模様のことであり、テクスチャを用いた画像の復元においては画像間で輝度分布の類似度の対応をとることができる。
【００５５】
三次元物体画像合成部１２は、複数の二次元元画像から、物体の三次元画像を仮想空間内において作り出す。本例では、ステレオマッチングを用いる。
【００５６】
図４は、三次元物体認識装置ＩＰの仮想空間内で作成された車両１ａの三次元物体画像１Ａの斜視図である。三次元物体画像１Ａは、ＸＹＺ直交座標系において表示されている。地面をＸＹ平面に設定する。すなわち、仮想平面設定部１３において設定される初期値としての仮想平面はＸＹ平面である。この地面は、カメラキャリブレーションや、２つの白線の無限遠点を使って、従来技術で推定することができる。
【００５７】
図５は、三次元物体画像１ＡのＸＹ平面への投影画像を示す図である。ＸＹ平面への投影画像１Ａｓは、車両立体像である三次元物体画像１Ａを上方から観察した図である。元画像には死角があるため、対象物体の全ての部位が三次元化されるわけではない。投影画像作成部１４によって作成された投影画像には、基本図形適合部１５によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、短辺がＸ’軸に対してθ度傾いており、長辺はＹ’軸を構成している。
【００５８】
Ｘ’軸を基準として、仮想平面としてのＸ’Ｚ平面を仮想平面設定部１３において設定する。また、Ｙ’軸を基準として、仮想平面としてのＹ’Ｚ平面を仮想平面設定部１３において設定する。
【００５９】
図６は、Ｘ’Ｚ平面への三次元物体画像１Ａの投影画像１Ａｓ’を示す図である。Ｘ’Ｚ平面への投影画像１Ａｓ’は、車両１Ａを後方から観察した図である。投影画像作成部１４によって作成された投影画像には、基本図形適合部１５によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がＸ’軸に平行であり、短辺がＺ軸に平行である。
【００６０】
図７は、Ｙ’Ｚ平面への三次元物体画像１Ａの投影画像１Ａｓ”を示す図である。Ｙ’Ｚ平面への投影画像１Ａｓ”は、車両１Ａを後方から観察した図である。投影画像作成部１４によって作成された投影画像１Ａｓ”には、基本図形適合部１５によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がＹ’軸に平行であり、短辺がＺ軸に平行である。
【００６１】
図８は、上述の二次元基本図形から決定される単純立体図形の斜視図である。
単純立体図形決定部１６においては、上記３つの二次元基本図形に基づいて直方体Ｃ１を決定している。すなわち、一台の車両の三次元物体画像１Ａは、直方体Ｃ１に置換されたことになる。この直方体Ｃ１は、三次元物体画像１Ａに比較するとデータ量も小さい。
【００６２】
図９は、三次元物体推定部１８又は認識部ＲＧにおける物体推定を説明するための図である。二次元投影画像１Ａｓ’，１Ａｓ”，１Ａｓは、三次元物体推定部１８又は認識部ＲＧに入力される。二次元投影画像１Ａｓ’は車の後面とそれ以外の物体を認識する識別器１８ａに入力され、二次元投影画像１Ａｓ”は車の後面とそれ以外の物体を認識する識別器１８ｂに入力され、二次元投影画像１Ａｓは車の後面とそれ以外の物体を認識する識別器１８ｃに入力される。
【００６３】
それぞれの識別器１８ａ，１８ｂ，１８ｃは、入力画像と参照画像とのパターンの一致度を判定する。パターンの一致度が所定値を超えた場合にはＹｅｓ（Ｈ）を、超えない場合にはＮｏ（Ｌ）を出力する。これらの論理和（ＯＲ）が、Ｈの場合には、入力画像が、参照画像を与える物体の種類であると判定する。論理積（ＡＮＤ）を用いることもできる。
【００６４】
本例では、２つ以上の方向の投影画像を用いるので、認識率が高くなる。また、代表的な方向の投影画像を用いるため、識別器を学習させることもできる。また、いずれの方向の投影画像でも識別できない場合には、そのパターンの一致度に基づいて、立体図形の当てはめのやり直しを行う指針を得ることもできる。
【００６５】
図１０は、図３に示した画像における車両１ａ，１ｂ，１ｃ及び電柱２を単純立体図形によって表示した画像を示す図である。表示制御部１７は、ＴＶカメラ１からの映像信号に単純立体図形を重畳させて表示器ＤＰ上に表示させる。ユーザーが入力装置を介して表示制御部１７を操作することにより、表示器ＤＰ上に対象物を表示することができる。このような表示情報は運転者が容易に認識することができるので、運転操作をアシストすることとなる。例えば、左前方に障害物がある等の警告表示を行うことができる。
【００６６】
図１１は、図３に示した画像（Ｎ番目）の次の画像（Ｎ＋１番目）を示す図であり、このフレームにおける車両１ａ，１ｃ及び電柱２は単純立体図形によって表示されている。車両１ｂは、移動位置推定部１９から表示制御部１７に伝達された推定位置に単純立体図形として表示される。すなわち、車両１ｂの重心位置Ｇから、実空間において推定距離だけ離隔した位置に推定位置を設定し、この推定位置近傍に対応する元画像の画素群を切り取って、この切り取り画素群上に車両１ｂを代表する単純立体図形を重畳する。
【００６７】
この画素群の切り取り操作によって、本来、この領域に存在する車両１ｂの抽出や三次元化、単純立体図形化が不要となり、画像処理負荷が軽くなる。表示制御部１７は、ＴＶカメラ１からの映像信号からなる画像或いは画素群の切り取りが行われた画像に単純立体図形を重畳させて表示器ＤＰ上に表示させる。ユーザーが表示器ＤＰを確認する場合には、単純立体図形を確認するのみで、対象物の位置を確認することができる。
【００６８】
次に、上述の画像認識装置における制御について、対向車が現れた場合について説明する。
【００６９】
図１２は、三次元物体認識装置ＩＰにおける制御を説明するためのフローチャートである。この処理の流れを、リアルタイム（通常３０フレーム／秒）で行う。
【００７０】
ＴＶカメラ１，２からそれぞれ元画像が入力されると（Ｓ１）、元画像から前回認識された立体プリミティブの今回の推定位置に対応する部分が削除される（Ｓ２）。この操作は物体画像抽出部１１において行う。
【００７１】
さらに、周囲の車の認識結果から推定される立体プリミティブ部分を削除する（Ｓ３）。
【００７２】
しかる後、三次元物体画像合成部１２において、三次元物体画像（距離画像）を計算する（Ｓ４）。
【００７３】
仮想平面設定部１３において、道路面（第１投影面）を規定し（Ｓ５）、投影画像作成部１４において、距離画像の道路面への投影画像（第１投影画像）を生成する（Ｓ６）。
【００７４】
続いて、基本図形適合部１５において、二次元基本図形（単純図形）を当てはめる（Ｓ７）。
【００７５】
更に、当てはめられた二次元基本図形に基づいて、第２、第３投影面を決定し（Ｓ８）、続いて、これらの第２、第３投影面に対する第２、第３投影画像を作成する（Ｓ９）。
【００７６】
次に、基本図形適合部１５において、第２、第３投影画像にも二次元基本図形（単純図形）を当てはめる（Ｓ１０）。
【００７７】
そして、単純立体図形決定部１６において、立体プリミティブを決定し（Ｓ１１）、元画像から立体プリミティブ部分の抽出を行う（Ｓ１２）。
【００７８】
更に、元画像に含まれる対象となる車両の第１、第２、第３投影画像の生成を行う（Ｓ１３）。これらの投影画像における投影面は非平行である。
【００７９】
次に、三次元物体推定部１８としての識別器に投影画像を入力する（Ｓ１５）。上述の如く、３つの投影画像の識別結果の論理和をとり（Ｓ１６）、識別が成功したかどうかを判定する（Ｓ１７）。この論理和がＨレベルの場合には、識別が成功したものとする。論理積でもよい。識別が成功しない場合には、立体プリミティブの位置・形状・速度などをもとに、知識データベースを使って最も確からしい物体を選択する（Ｓ１８）。識別が成功した場合には、ステップＳ１に戻って以降の処理を繰り返す。
【００８０】
知識データベースにおいては、立体プリミティブの決定の後（Ｓ１１）、この立体プリミティブの実空間での位置・形状・速度を記録し（Ｓ１９）、更に物体の種類を記録し（Ｓ２０）、画像領域毎に物体の移動速度を求め、各物体の出現確率を計算する（Ｓ２１）。
【００８１】
すなわち、三次元物体推定部１８は、三次元物体の数が複数である場合、特定の立体プリミティブの割合に応じて、この立体プリミティブに対応する三次元物体を推定する。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【００８２】
例えば、トラックであれば、大きな形状の直方体として示され、他の車両よりも低速である傾向があると思われる。また、出現確率は時間帯によっても異なる。１フレーム内から抽出した画像が周囲の環境において予想される物体とは異なるものであるとすると、この識別に成功する可能性は低い。例えば、出現頻度が高い車両は、車両であると認識できる確率が高いが、出現頻度が低い車両は、例えば、特殊な不法改造車は、その形状がデータベースに蓄積されていないため、車両であると認識できる確率が低い。
【００８３】
したがって、このような一般則に当てはまらない画像データの識別優先順位は低くしておくことが好ましい。
【００８４】
例えば、高速道路の走行中であれば、出現頻度の高い立体プリミティブは容易に認識できるが、出現頻度の小さい立体プリミティブは認識できる可能性が高くはないので、予めデータベースに蓄積された固有の立体プリミティブの出現頻度に応じて識別の優先順位を設定しておく。
【００８５】
すなわち、この三次元物体認識装置は、三次元物体の数が複数である場合、三次元物体の認識が正確に行える可能性の大きさ順に三次元物体の順番を決定する優先度決定手段（Ｓ１４）と、優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段（Ｓ１５）とを備えている。この場合、認識可能性が高いものから順番に認識を行う（Ｓ１５）ので、認識初期段階における認識率が向上する。
【００８６】
また、識別が成功した後（Ｓ１７）、各物体の出現確率を判断材料に加え、ステップＳ１８において、最も確度の高い物体の種類を選択することもできる。このように、知識データベースを用いれば、立体プリミティブの位置、形状、速度、出現確率と、データベース内において参照される立体プリミティブの位置、形状、速度、出現確率とを比較し、比較結果に適合するものをもとに、最も確率の高い物体の種類を選択することができる（Ｓ１８）。対象の物体が車種Ａである確率と、車種Ｂである確率が等しい場合、出現確率が高い方を対象物体の種類として判断する。
【００８７】
また、知識データベースにおいて、立体プリミティブの形状、大きさ、速度を記録し、時間と共に変化するこれらのデータを記録、蓄積し、このデータに基づいて、各物体の出現確率を計算することもでき、また、識別の可能性の高い順番に物体識別器への入力順序を設定し、この識別器で判定できない場合には、立体の形状と出現確率に基づいて、物体の種類を類推することもできる。
【００８８】
この場合、識別できる可能性の高い物体識別器を選択できるので、識別速度が向上する。また、識別できない場合には、立体の形状から類推することもできる。
【００８９】
また、物体の種類を記録した後（Ｓ２０）、ステップＳ３に戻って、既に記録された周囲の車の種類から推定される画像の立体プリミティブ部分を削除することもできる。これにより、処理負荷が低減する。また、周囲の車が、本装置と同様の装置を備えている場合、車両間通信によって、個々の車両の持つ画像データ等を統合することにより、精密な空間情報を復元することができ、また、データ交換には全画像情報ではなく、立体プリミティブ情報を対象として交換することにより、その通信時間を短縮することができる。
【００９０】
以上、説明したように、上記三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像１Ａを、複数の仮想平面（ＸＹ平面，Ｘ’Ｚ平面，Ｙ’Ｚ平面）上に投影してなる複数の投影画像のそれぞれに二次元基本図形を当てはめる基本図形適合手段１５と、基本図形適合手段１５によって当てはめられる複数の二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段１６とを備えている。
【００９１】
図１３は、直交座標系における仮想平面（ＸＹ平面，Ｘ’Ｚ平面，Ｙ’Ｚ平面）上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。球、円柱、円錐、三角錐及び四角柱が描かれている。
【００９２】
本認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【００９３】
三次元物体画像を得るための方法は様々であるが、上記では、異なる視点から撮影され三次元物体を含む複数の元画像に基づいて、すなわち、元画像を切り取って、三次元物体画像合成部（画像合成手段）１２によって三次元物体画像を形成している。三次元物体画像合成部１２を用いれば、視差を有する複数の元画像から、ステレオマッチングにより、仮想空間内における三次元物体画像を得ることができる。
【００９４】
上述の基本図形適合部１５は、三次元物体画像１Ａを１つの仮想平面（ＸＹ平面）上に投影し、この投影画像１Ａｓに当てはめられた二次元基本図形に基づいて、残りの仮想平面（Ｘ’Ｚ平面、Ｙ’Ｚ平面）を設定し、残りの投影画像１Ａｓ’，１Ａｓ”にも二次元基本図形を当てはめるものであった。すなわち、初期値として最初の仮想平面（ＸＹ平面）を設定しておき、この仮想平面（ＸＹ平面）上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は、残りの仮想平面を与えた。上記では、この外形線は長方形を構成しており、この長方形の各辺から初期値の仮想平面に対して垂直な面を残りの仮想平面としたものであった。
【００９５】
次に、別の手法で二次元基本図形を当てはめる基本図形適合部１５の処理について説明する。
【００９６】
図１４は、二次元基本図形を当てはめる手順を示すフローチャートであり、図１５（ａ）、図１５（ｂ）、図１５（ｃ）は当該手順を説明するためのグラフである。
【００９７】
まず、ＸＹ平面内における画素群からなる投影画像の重心を求める（Ｓ１：図１５（ａ））。重心を通る直線を設定する。直線のＸ軸に対する回転角をθとする。この直線を重心回りに回転させながら、この直線と交差する画素と重心との間の距離を計算し、各回転角θにおける当該距離の最大値を求める。すなわち、重心から最も離れた画素までの距離を計算する（Ｓ２）。
【００９８】
ここで、回転角θと最大距離との関係を二次元基本図形の参照データとして記憶装置内に格納しておく。対象となる投影画像から求めた回転角θに対する最大距離のグラフと、参照データにおける回転角θと最大距離のグラフとを比較し、これらのグラフの一致度を判定する。この一致度は各種パターン認識法を用いて判定することができ、また、最も高い一致度が与えられるように、グラフを回転角の軸に沿って移動させ、最も高い一致度を与える回転角を物体の回転位置として決定する。
【００９９】
高い一致度を与える二次元基本図形を、対象となる投影図形の二次元基本図形として、その回転位置と共に決定する（Ｓ３：図１５（ｂ））。図１５（ａ）における、点Ａ，点Ｂ，点Ｃに対応する点を、図１５（ｂ）においても示す。投影画像が円である場合には、重心からの最大離隔距離は一定値となる。また、図１５（ｃ）は、投影画像が円の場合のグラフを示す。このような処理は、輪郭がはっきりしている投影画像に適用でき、また、アルゴリズムが単純であるため、高速な処理が可能となる。
【０１００】
以上、本基本図形適合部１５では、投影画像の重心位置回りの回転角度毎の投影画像内画素の最大離隔距離を求め、回転角と最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の回転位置を決定している。
【０１０１】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部１５について説明する。
【０１０２】
図１６は、二次元基本図形を当てはめる手順を示すフローチャートであり、図１７（ａ）〜図１７（ｃ）（四角形の場合）、図１７（ｄ）〜図１７（ｆ）（三角形の場合）は、当該手順を説明するためのグラフである。
【０１０３】
まず、投影画像における画素を全てを含む二次元図形（四角形、三角形、円）を標準的な向きで当てはめる（円の場合はここで終了：Ｓ１）。図１７（ａ）、図１７（ｄ）参照。
【０１０４】
次に、画素を全て含みながら、二次元図形を微小変形（伸縮・回転）させていく。微小変形は、当てはめた二次元図形の重心を中心に微小角度ｄθ回転させ、その角度を保ったまま、画素全てを含むように伸縮させる（Ｓ２）。図１７（ｂ）、図１７（ｅ）参照。
【０１０５】
全ての角度の四角形、三角形、円のうち、面積が最小となるものを二次元基本図形として採用し、この時の回転位置を記録する（Ｓ３）。図１７（ｃ）、図１７（ｆ）参照。
【０１０６】
このような処理は、輪郭がはっきりしている投影画像に適用でき、また、三角形の当てはめも可能となる。更に、重心を求める必要がないため、内部の画素が均一でない投影画像にも適用することができる。
【０１０７】
以上のように、本三次元物体認識装置の基本図形適合部１５は、投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめている。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【０１０８】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部１５について説明する。
【０１０９】
図１８は、二次元基本図形を当てはめる手順を示すフローチャートである。
【０１１０】
まず、直交する軸に対して、投影画像を構成する画素のヒストグラムを計算する（Ｓ１）。次に、ヒストグラムの形状から図形（四角形、三角形、円）を判別する（Ｓ２）。すなわち、対象となるヒストグラムと、参照データとしてのヒストグラムの一致度をパターン認識によって求め、一方のヒストグラムを各軸に沿って移動させ、この一致度が最も高くなる二次元図形を決定し、そのヒストグラムの位置を記録する。
【０１１１】
すなわち、本例の三次元物体認識装置の基本図形適合手段は、直交座標系における投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置とを決定している。すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【０１１２】
この方法は、輪郭が多少かけている投影画像に対しても適用することができ、直立した三角形の当てはめにも用いることができる。
【０１１３】
なお、図１９（ａ）は二次元基本図形が円の場合、図１９（ｂ）は二次元基本図形が三角形の場合、図１９（ｃ）は二次元基本図形が四角形の場合の投影画像とヒストグラムを示すグラフである。
【０１１４】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部１５について説明する。
【０１１５】
図２０は、二次元基本図形を当てはめる手順を示すフローチャートであり、図２１（ａ）、図２１（ｂ）、図２１（ｃ）、図２１（ｄ）は当該手順を説明するためのグラフである。
【０１１６】
まず、直線Ｙ＝ａ（変数）を設定し、ＸＹ平面において分布する画素群に対して、いずれかの画素（エッジ点）に接するまで直線Ｙ＝ａを移動させる（Ｓ１：図２１（ａ））。次に、エッジ点との設定を中心として、この直線を折り曲げる、すなわち、本例の場合はエッジ点を始点として、いずれかの画素に接するまで線分を回転させる（Ｓ２：図２１（ｂ））。
【０１１７】
これらの工程を、最初の線分とクロスするまで、或いは最初の始点画素とクロスするまで続け、多角形を構成し、これによって二次元基本図形を構成する（Ｓ３：図２１（ｃ））。最後に、１番目と３番目に長い２つの辺を含み、且つ、ＸＹ平面に垂直な仮想平面を設定する（Ｓ４：図２１（ｄ））。
【０１１８】
すなわち、この基本図形適合部１５は、三次元物体画像を１つの仮想平面（ＸＹ平面）上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の１番目と３番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめる。
【０１１９】
この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、２番目に長い辺は１番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対称性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するため、対向傾向のある２番目ではなく、３番目に長い辺を用いる。
【０１２０】
なお、ステップＳ４において、二次元基本図形を構成する各辺の長さに有意差がない場合には、二次元基本図形を円又は楕円形と見なす。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【０１２１】
なお、「有意差」とは平均値±３０％であることと定義する。
【０１２２】
基本図形適合部１５は、投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【０１２３】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部１５について説明する。
【０１２４】
図２２は二次元基本図形を当てはめる手順を示すフローチャートであり、図２３（ａ）、図２３（ｂ）、図２３（ｃ）、図２３（ｄ）は当該手順を説明するためのグラフである。
【０１２５】
まず、各画素を線分化、すなわち投影画像で同一線分上にある画素を一まとまりにする（Ｓ１：図２３（ａ））。次に、各線分の傾き毎に、線分の総延長のヒストグラムを計算する（Ｓ２）。なお、長い線分は特徴的であるので、重み付けをする。ヒストグラムのピークの角度をもとに四角形、三角形、円を当てはめる（Ｓ３）。すなわち、傾きθに対する対象となる投影画像の線分の長さの総和のヒストグラムと、二次元基本図形を与える参照データのヒストグラムとを比較し、これらのパターン一致度が最大となる図形を二次元基本図形として決定し、そのときの回転位置を記録する。
【０１２６】
なお、図２３（ｂ）は投影図形が四角形の場合の傾きθと線分の長さの総和との関係を示し、図２３（ｃ）は投影図形が三角形の場合の傾きθと線分の長さの総和との関係を示し、図２３（ｄ）は投影図形が円の場合の傾きθと線分の長さの総和との関係を示す。
【０１２７】
また、仮想平面の設定に関し、ヒストグラムのピークの数が０、２、３以外の場合は、幾つかのピークの中で、大きな傾きを与えるものの方向に投影面を設定する（Ｓ４）。
【０１２８】
以上、本例の基本図形適合部１５は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定している。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。
また、上述の単純立体図形の適用法を用いれば、画像にノイズが含まれる場合や、対象物の一部が遮蔽されている場合においても、情報の補間や不要な情報の削除を行うことも可能となる。
【０１２９】
【発明の効果】
以上、説明したように、本発明の三次元物体認識装置によれば、画像処理の負荷を低減させることができる。
【図面の簡単な説明】
【図１】三次元物体認識装置が搭載された車両の斜視図である。
【図２】三次元物体認識装置ＩＰのブロック図である。
【図３】ＴＶカメラ１によって得られる二次元画像を示す図である。
【図４】三次元物体認識装置ＩＰの仮想空間内で作成された車両１ａの三次元物体画像１Ａの斜視図である。
【図５】三次元物体画像１ＡのＸＹ平面への投影画像を示す図である。
【図６】Ｘ’Ｚ平面への三次元物体画像１Ａの投影画像１Ａｓ’を示す図である。
【図７】Ｙ’Ｚ平面への三次元物体画像１Ａの投影画像１Ａｓ”を示す図である。
【図８】上述の二次元基本図形から決定される単純立体図形の斜視図である。
【図９】三次元物体推定部１８又は認識部ＲＧにおける物体推定を説明するための図である。
【図１０】図３に示した画像における車両１ａ，１ｂ，１ｃ及び電柱２を単純立体図形によって表示した画像を示す図である。
【図１１】図３に示した画像（Ｎ番目）の次の画像（Ｎ＋１番目）を示す図である。
【図１２】三次元物体認識装置ＩＰにおける制御を説明するためのフローチャートである。
【図１３】直交座標系における仮想平面上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。
【図１４】二次元基本図形を当てはめる手順を示すフローチャートである。
【図１５】図１４の手順を説明するためのグラフである。
【図１６】二次元基本図形を当てはめる手順を示すフローチャートである。
【図１７】図１６の手順を説明するためのグラフである。
【図１８】二次元基本図形を当てはめる手順を示すフローチャートである。
【図１９】二次元基本図形が円の場合の投影画像とヒストグラムを示すグラフである。
【図２０】二次元基本図形を当てはめる手順を示すフローチャートである。
【図２１】図２０の手順を説明するためのグラフである。
【図２２】二次元基本図形を当てはめる手順を示すフローチャートである。
【図２３】図２２の手順を説明するためのグラフである。
【符号の説明】
１，２…ＴＶカメラ、１Ａ…三次元物体画像、１ａ，１ｂ，１ｃ…車両、２…電柱、３…道路標識、１１…物体画像抽出部、１２…三次元物体画像合成部、１３…仮想平面設定部、１４…投影画像作成部、１５…基本図形適合部、１６…単純立体図形決定部、１７…表示制御部、１８…三次元物体推定部、１８ａ，１８ｂ，１８ｃ…識別器、１９…移動位置推定部、ＡＭ…車両、Ｃ１…直方体、ＤＰ…表示器、ＩＰ…三次元物体認識装置、ＲＧ…認識部。

Claims (17)

1. 複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像を複数の仮想平面上に投影してなる複数の投影画像のそれぞれに、二次元基本図形を当てはめる基本図形適合手段と、
   前記基本図形適合手段によって当てはめられる複数の前記二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段と、
   を備えることを特徴とする三次元物体認識装置。
2. 前記三次元物体を異なる視点から撮影する複数のカメラを更に備えることを特徴とする請求項１に記載の三次元物体認識装置。
3. 異なる視点から撮影され前記三次元物体を含む複数の元画像に基づいて、前記三次元物体画像を形成する画像合成手段を更に備えることを特徴とする請求項１に記載の三次元物体認識装置。
4. 前記元画像を表示する表示器を更に備えることを特徴とする請求項３に記載の三次元物体認識装置。
5. 前記単純立体図形決定手段によって決定された単純立体図形を、前記表示器上に表示される前記三次元物体の位置に表示させる表示制御手段を更に備えることを特徴とする請求項４に記載の三次元物体認識装置。
6. 前記三次元物体の数が複数である場合、特定の前記単純立体図形の割合に応じて、この単純立体図形に対応する三次元物体を推定する推定手段を備えることを特徴とする請求項１に記載の三次元物体認識装置。
7. 前記三次元物体の数が複数である場合、前記三次元物体の認識が正確に行える可能性の大きさ順に前記三次元物体の順番を決定する優先度決定手段と、前記優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段とを備えることを特徴とする請求項１に記載の三次元物体認識装置。
8. 仮想空間内における前記単純立体図形内に前記三次元物体画像を配置し、前記単純立体図形を構成する面上に前記三次元物体画像を投影し、この投影画像を用いて前記三次元物体の認識を行う認識手段を更に備えることを特徴とする請求項１に記載の三次元物体認識装置。
9. 前記基本図形適合手段は、
   前記三次元物体画像を１つの仮想平面上に投影し、この投影画像に当てはめられた二次元基本図形に基づいて、残りの仮想平面を設定して残りの投影画像にも二次元基本図形を当てはめることを特徴とする請求項１に記載の三次元物体認識装置。
10. 前記基本図形適合手段は、
    前記三次元物体画像を１つの仮想平面上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の１番目と３番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめることを特徴とする請求項１に記載の三次元物体認識装置。
11. 前記基本図形適合手段は、
    前記投影画像の重心位置回りの回転角度毎の前記投影画像内画素の最大離隔距離を求め、前記回転角と前記最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形とこの二次元基本図形の回転位置を決定することを特徴とする請求項１に記載の三次元物体認識装置。
12. 前記基本図形適合手段は、
    直交座標系における前記投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置を決定することを特徴とする請求項１に記載の三次元物体認識装置。
13. 前記基本図形適合手段は、
    前記投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめることを特徴とする請求項１に記載の三次元物体認識装置。
14. 前記基本図形適合手段は、
    前記投影画像を囲む多角形からなり、その折れ曲がり位置が前記投影画像内の画素位置となる図形を前記二次元基本図形として決定することを特徴とする請求項１に記載の三次元物体認識装置。
15. 前記基本図形適合手段は、
    前記二次元基本図形を構成する各辺の長さに有意差がない場合には、前記二次元基本図形を円又は楕円形と見なすことを特徴とする請求項１４に記載の三次元物体認識装置。
16. 前記基本図形適合手段は、
    前記投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて前記二次元基本図形を決定することを特徴とする請求項１に記載の三次元物体認識装置。
17. 前記三次元物体を含む元画像のテクスチャーを用いて、前記三次元物体画像を求めることを特徴とする請求項１に記載の三次元物体認識装置。

Images