JP2004094825A - 三次元物体認識装置 - Google Patents
三次元物体認識装置 Download PDFInfo
- Publication number
- JP2004094825A JP2004094825A JP2002258174A JP2002258174A JP2004094825A JP 2004094825 A JP2004094825 A JP 2004094825A JP 2002258174 A JP2002258174 A JP 2002258174A JP 2002258174 A JP2002258174 A JP 2002258174A JP 2004094825 A JP2004094825 A JP 2004094825A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- basic
- image
- dimensional object
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】処理負荷を低減可能な三次元物体認識装置を提供する。
【解決手段】基本図形適合部15は、投影画像作成部14において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が1つである場合、投影画像は1つであるため、この二次元基本図形の情報を仮想平面設定部13に伝達する。なお、仮想平面の初期値は複数とすることもできる。1つの二次元基本図形が設定された後、仮想平面設定部13は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部14は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。単純立体図形決定部16は、基本図形適合部15において決定された複数の二次元基本図形に基づいて、立体プリミティブを決定する。
【選択図】 図1
【解決手段】基本図形適合部15は、投影画像作成部14において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が1つである場合、投影画像は1つであるため、この二次元基本図形の情報を仮想平面設定部13に伝達する。なお、仮想平面の初期値は複数とすることもできる。1つの二次元基本図形が設定された後、仮想平面設定部13は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部14は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。単純立体図形決定部16は、基本図形適合部15において決定された複数の二次元基本図形に基づいて、立体プリミティブを決定する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、三次元物体認識装置に関する。
【0002】
【従来の技術】
従来の三次元物体認識装置は、特開平10−232936号公報に記載されている。ステレオ視を用いて得られた距離画像を仮想平面上に投影し、この投影画像と、対象物の三次元モデルから得られる投影画像との相違度を、三次元モデルの投影画像を回転させながら計算し、最もよく合致する向きを求める。その向きに平行又は垂直な面を、対象物の方向に投影した三次元モデルの像の合致度が、所定閾値を超えた場合、対象物が三次元モデルと同一のものと判断している。
【0003】
【発明が解決しようとする課題】
しかしながら、上述の処理では対象物と一致可能な三次元モデルが必要であり、三次元モデルが対象物程度に精密でなければならないところ、処理負荷が大きいという問題がある。
【0004】
本発明は、このような問題に鑑みてなされたものであり、画像処理の負荷を低減可能な三次元物体認識装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
上述の課題を解決するため、第1の三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像を複数の仮想平面上に投影してなる複数の投影画像のそれぞれに、二次元基本図形を当てはめる基本図形適合手段と、前記基本図形適合手段によって当てはめられる複数の前記二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段とを備えることを特徴とする。
【0006】
なお、「二次元基本図形」とは楕円形や多角形等の図形である。
【0007】
また、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル(例えば、車両)よりも単純な立体図形である。
【0008】
本発明の認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【0009】
第2の三次元物体認識装置は、前記三次元物体を異なる視点から撮影する複数のカメラを更に備えることを特徴とする。これにより、視差を有する複数の元画像を得ることができるので、元画像に含まれる三次元物体の各点までの距離を求めることができる。
【0010】
第3の三次元物体認識装置は、異なる視点から撮影され前記三次元物体を含む複数の元画像に基づいて、前記三次元物体画像を形成する画像合成手段を更に備えることを特徴とする。すなわち、画像合成手段を用いれば、視差を有する複数の元画像から仮想空間内における三次元物体画像を得ることができる。
【0011】
第4の三次元物体認識装置は、前記元画像を表示する表示器を更に備えることを特徴とする。この場合、ユーザーは表示器によって元画像を確認できる。
【0012】
第5の三次元物体認識装置は、前記単純立体図形決定手段によって決定された単純立体図形を、前記表示器上に表示される前記三次元物体の位置に表示させる表示制御手段を更に備えることを特徴とする。表示器上に単純立体図形を表示すれば、ユーザーは物体の存在を確認することができる。
【0013】
第6の三次元物体認識装置は、前記三次元物体の数が複数である場合、特定の前記単純立体図形の割合に応じて、この単純立体図形に対応する三次元物体を推定する推定手段を備えることを特徴とする。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【0014】
第7の三次元物体認識装置は、前記三次元物体の数が複数である場合、前記三次元物体の認識が正確に行える可能性の大きさ順に前記三次元物体の順番を決定する優先度決定手段と、前記優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段とを備えることを特徴とする。この場合、認識可能性が高いものから順番に認識を行うので、認識初期段階における認識率が向上する。
【0015】
第8の三次元物体認識装置は、仮想空間内における前記単純立体図形内に前記三次元物体画像を配置し、前記単純立体図形を構成する面上に前記三次元物体画像を投影し、この投影画像を用いて前記三次元物体の認識を行う認識手段を更に備えることを特徴とする。この場合、予め面方位が決定されている単純立体図形に投影することで、三次元物体の識別が容易となる。
【0016】
第9の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた二次元基本図形に基づいて、残りの仮想平面を設定して残りの投影画像にも二次元基本図形を当てはめることを特徴とする。すなわち、初期値として最初の仮想平面を設定しておき、この仮想平面上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は残りの仮想平面を与えることができる。例えば、これが長方形である場合には、各辺から初期値の仮想平面に対して垂直な面を規定すれば、これを残りの仮想平面とすることができる。
【0017】
第10の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の1番目と3番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめることを特徴とする。この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、2番目に長い辺は1番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対象性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するためには、対向傾向のある2番目ではなく、3番目に長い辺を用いた方が好ましい。
【0018】
第11の三次元物体認識装置の前記基本図形適合手段は、前記投影画像の重心位置回りの回転角度毎の前記投影画像内画素の最大離隔距離を求め、前記回転角と前記最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形とこの二次元基本図形の回転位置を決定することを特徴とする。すなわち、投影画像を重心位置回りに回転させると、重心位置からの最大離隔距離によって、投影画像の回転位置とパターンを判別することができる。
【0019】
第12の三次元物体認識装置の前記基本図形適合手段は、直交座標系における前記投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置を決定することを特徴とする。
すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【0020】
上述のようにして三次元物体認識装置の基本図形適合手段が投影画像の位置とパターンを判別できた場合、投影画像にどのような二次元基本図形を当てはめるかを考える。
【0021】
第13の三次元物体認識装置の前記基本図形適合手段は、前記投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめることを特徴とする。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0022】
一致度が比較的高くなる別の手法も考えられる。
【0023】
第14の三次元物体認識装置の前記基本図形適合手段は、前記投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0024】
第15の三次元物体認識装置の前記基本図形適合手段は、前記二次元基本図形を構成する各辺の長さに有意差がない場合には、前記二次元基本図形を円又は楕円形と見なすことを特徴とする。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【0025】
第16の三次元物体認識装置の前記基本図形適合手段は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定することを特徴とする。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。したがって、傾斜角度の分布は投影画像のパターンを反映できる。
【0026】
第17の三次元物体認識装置は、前記三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求めることを特徴とする。この場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【0027】
【発明の実施の形態】
以下、実施の形態に係る三次元物体認識装置について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【0028】
図1は三次元物体認識装置が搭載された車両の斜視図である。本例では、三次元物体認識装置が車両に搭載されるが、車両交通量監視システム等に適用することもできる。車両AMには複数台のTVカメラ1,2が取り付けられており、車両前方の景色を異なる視点から観察している。なお、TVカメラ1,2を用いることで、走行環境を認識する。
【0029】
図2は三次元物体認識装置IPのブロック図である。
【0030】
複数台のTVカメラ1,2から出力された映像信号は、物体画像抽出部11に入力される。物体画像抽出部11は、映像信号内に含まれる物体の画像を抽出する。映像信号の1フレーム内における物体の画像の数は一般には複数であるが、ここでは簡単のため、1つであるとする。映像信号を与えるTVカメラの数は複数であるのだから、これらの映像信号からは複数枚の二次元物体画像(元画像)が得られる。
【0031】
それぞれのTVカメラ1,2から同時に得られる複数枚の元画像は三次元物体画像合成部(三次元物体画像合成手段)12に入力される。三次元物体画像合成部12では、視差を有する複数の元画像を利用して、仮想空間内で三次元物体を構成する画素の位置を決定する。すなわち、三次元物体画像合成部12は、複数枚の元画像から三次元物体画像(距離画像)を作り上げる。この画像合成には、ステレオマッチングを用いる。
【0032】
仮想平面設定部13は、三次元物体画像が投影される仮想平面を設定する。本例では、仮想平面の初期値は予め決定されているものとする。
【0033】
投影画像作成部14は、仮想平面設定部13において設定された仮想平面上に、三次元物体画像合成部12で合成された三次元物体画像を投影し、三次元物体画像の投影画像を作成する。
【0034】
基本図形適合部(基本図形適合手段)15は、投影画像作成部14において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が1つである場合、投影画像は1つであるため、この二次元基本図形の情報を仮想平面設定部13に伝達する。なお、仮想平面の初期値は複数とすることもできる。
【0035】
「二次元基本図形」とは楕円形や多角形等の図形である。
【0036】
1つの二次元基本図形が設定された後、仮想平面設定部13は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部14は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。
【0037】
単純立体図形決定部(単純立体図形決定手段)16は、基本図形適合部15において決定された複数の二次元基本図形に基づいて、三次元物体を端的に示す直方体等の単純立体図形(立体プリミティブ)を決定する。
【0038】
なお、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル(例えば、車両)よりも単純な立体図形である。
【0039】
単純立体図形決定部16において決定された単純立体図形は、表示制御部17を介して表示器DP上に表示される。すなわち、対象物である三次元物体が車両であって、この三次元物体から決定された単純立体図形が直方体である場合、直方体が表示器DP上に表示されることとなる。なお、表示器DPには元画像を表示することもでき、したがって、ユーザーは図示しない入力装置を介して表示制御部17を制御することにより、表示器DPによって元画像を確認することができる。
【0040】
表示制御部17は、表示器DP上に表示される三次元物体の位置に単純立体図形決定部16によって決定された単純立体図形を表示させることができる。表示器DP上に単純立体図形を表示すれば、ユーザーは実際の三次元物体の画像の代わりに単純立体図形によって、その存在を確認することができる。
【0041】
表示制御部17には、TVカメラ1,2からの映像信号も入力されており、表示制御部17は、これらの映像信号のいずれかを選択して、或いは加工して、表示器DP上に表示させることができる。映像信号は、1フレーム内において三次元物体の重心位置を含んでいる。
【0042】
したがって、物体画像抽出部11において抽出された画像の重心位置は、表示制御部17に伝達される。表示制御部17は、伝達された重心位置、或いは移動位置推定部19によって推定された画像の重心位置に、この重心位置を与えた三次元物体に対応する単純立体図形を表示する。
【0043】
なお、移動位置推定部19は、N−1番目のフレームにおける物体の画像の重心位置と、N番目のフレームにおける物体の画像の重心位置との間の実空間における距離とフレーム時間間隔から、N+1番目のフレームにおけ物体の画像の重心位置を推定することができる(推定位置)。二次元画像の重心位置でもよいし、三次元画像の重心位置でもよい。
【0044】
移動位置推定部19から、推定位置が表示制御部17に伝達されると、表示器DP上には、単純立体図形が表示されることになるが、画像処理の負荷を軽減するため、N+1番目における画像の推定位置に対応する位置においては、予めTVカメラ1,2から物体画像抽出部11に入力される画像を削除しておくことが望ましい。このような削除が実行された元画像を元に、物体画像抽出を行えば、抽出に必要な処理負荷が低減されるので、高速の処理が可能となる。
【0045】
表示器DP上には単純立体図形が表示されるので、1つにはユーザーの単純立体図形の認識度が高くなる。また、単純立体図形は、画像処理負荷が実際の画像よりも低いので、この単純立体図形を用いた所定時間経過後の対象物位置推定や、各種現象解析の演算を行うことが簡単となる。
【0046】
三次元物体推定部18は、単純立体図形決定部16において決定された複数の立体図形を用いて、三次元物体の種類を推定する。すなわち、単純立体図形決定部16において決定された立体図形が直方体である場合、直方体を構成する非対向三面上に、三次元物体画像合成部12において合成された三次元物体画像を投影し、これにより得られた3枚の投影画像を、データベース内に蓄積された参照画像とそれぞれ比較する。
【0047】
この参照画像は、三次元物体の投影方向と等価な方向から撮影した参照物体の画像である。三次元物体推定部18は、投影画像と参照画像とが所定の一致度以上で一致した場合には、投影画像を与えた三次元物体が、参照画像を与えた参照物体と同種類であるものと判断する。なお、このようなパターンマッチングの手法は数多く知られている。
【0048】
また、三次元物体推定部18の代わりに認識部RGを設けることもできる。認識部RGは、仮想平面設定部13において設定された複数の仮想平面への三次元物体画像の投影画像に基づいて、三次元物体の種類を判定する。すなわち、これらの投影画像と、認識部RGにおけるデータベースに蓄積された参照画像とを、三次元物体推定部18と同様に判定し、三次元物体の種類を判定する。
【0049】
すなわち、本三次元物体認識装置は、仮想空間内における単純立体図形内に三次元物体画像を配置し、単純立体図形を構成する面上に三次元物体画像を投影し、この投影画像を用いて三次元物体の認識を行う認識手段(16,18又はRG)を備えている。この場合、予め面方位が決定されている単純立体図形に三次元物体画像を投影することで、三次元物体の識別が容易となる。
【0050】
以下、上述の三次元物体認識装置による画像処理ついて詳説する。
【0051】
図3は、TVカメラ1によって得られる二次元画像を示す図である。以下の説明では、図2を適宜参照する。画像内には、車両1a,1b,1c、電柱2及び道路標識3が表示されている。TVカメラ2からは、TVカメラ1から得られる画像に対して、視差を有する画像を得ることができる。これら複数の元画像は、輝度情報、色情報と共に、距離情報を有している。なお、以下の説明では、距離情報に着目する。
【0052】
すなわち、画像内の1つの画素が与える物体の実空間における要素位置は、測量の原理にしたがって求めることができる。本例では、2つのTVカメラ1,2を示しているが、物体を構成する要素の三次元位置を確定するためには、TVカメラは3つ以上であることが好ましい。
【0053】
物体画像抽出部11は、2値化処理、エッジ処理やテクスチャー(画像の輝度パターン)等を用いて、車両1aの表示された領域を元画像から切り出す。三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求める場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【0054】
エッジによる画像の復元においては画像間でエッジ(線)を対応させて比較する。なお、テクスチャとは画像内の模様のことであり、テクスチャを用いた画像の復元においては画像間で輝度分布の類似度の対応をとることができる。
【0055】
三次元物体画像合成部12は、複数の二次元元画像から、物体の三次元画像を仮想空間内において作り出す。本例では、ステレオマッチングを用いる。
【0056】
図4は、三次元物体認識装置IPの仮想空間内で作成された車両1aの三次元物体画像1Aの斜視図である。三次元物体画像1Aは、XYZ直交座標系において表示されている。地面をXY平面に設定する。すなわち、仮想平面設定部13において設定される初期値としての仮想平面はXY平面である。この地面は、カメラキャリブレーションや、2つの白線の無限遠点を使って、従来技術で推定することができる。
【0057】
図5は、三次元物体画像1AのXY平面への投影画像を示す図である。XY平面への投影画像1Asは、車両立体像である三次元物体画像1Aを上方から観察した図である。元画像には死角があるため、対象物体の全ての部位が三次元化されるわけではない。投影画像作成部14によって作成された投影画像には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、短辺がX’軸に対してθ度傾いており、長辺はY’軸を構成している。
【0058】
X’軸を基準として、仮想平面としてのX’Z平面を仮想平面設定部13において設定する。また、Y’軸を基準として、仮想平面としてのY’Z平面を仮想平面設定部13において設定する。
【0059】
図6は、X’Z平面への三次元物体画像1Aの投影画像1As’を示す図である。X’Z平面への投影画像1As’は、車両1Aを後方から観察した図である。投影画像作成部14によって作成された投影画像には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がX’軸に平行であり、短辺がZ軸に平行である。
【0060】
図7は、Y’Z平面への三次元物体画像1Aの投影画像1As”を示す図である。Y’Z平面への投影画像1As”は、車両1Aを後方から観察した図である。投影画像作成部14によって作成された投影画像1As”には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がY’軸に平行であり、短辺がZ軸に平行である。
【0061】
図8は、上述の二次元基本図形から決定される単純立体図形の斜視図である。
単純立体図形決定部16においては、上記3つの二次元基本図形に基づいて直方体C1を決定している。すなわち、一台の車両の三次元物体画像1Aは、直方体C1に置換されたことになる。この直方体C1は、三次元物体画像1Aに比較するとデータ量も小さい。
【0062】
図9は、三次元物体推定部18又は認識部RGにおける物体推定を説明するための図である。二次元投影画像1As’,1As”,1Asは、三次元物体推定部18又は認識部RGに入力される。二次元投影画像1As’は車の後面とそれ以外の物体を認識する識別器18aに入力され、二次元投影画像1As”は車の後面とそれ以外の物体を認識する識別器18bに入力され、二次元投影画像1Asは車の後面とそれ以外の物体を認識する識別器18cに入力される。
【0063】
それぞれの識別器18a,18b,18cは、入力画像と参照画像とのパターンの一致度を判定する。パターンの一致度が所定値を超えた場合にはYes(H)を、超えない場合にはNo(L)を出力する。これらの論理和(OR)が、Hの場合には、入力画像が、参照画像を与える物体の種類であると判定する。論理積(AND)を用いることもできる。
【0064】
本例では、2つ以上の方向の投影画像を用いるので、認識率が高くなる。また、代表的な方向の投影画像を用いるため、識別器を学習させることもできる。また、いずれの方向の投影画像でも識別できない場合には、そのパターンの一致度に基づいて、立体図形の当てはめのやり直しを行う指針を得ることもできる。
【0065】
図10は、図3に示した画像における車両1a,1b,1c及び電柱2を単純立体図形によって表示した画像を示す図である。表示制御部17は、TVカメラ1からの映像信号に単純立体図形を重畳させて表示器DP上に表示させる。ユーザーが入力装置を介して表示制御部17を操作することにより、表示器DP上に対象物を表示することができる。このような表示情報は運転者が容易に認識することができるので、運転操作をアシストすることとなる。例えば、左前方に障害物がある等の警告表示を行うことができる。
【0066】
図11は、図3に示した画像(N番目)の次の画像(N+1番目)を示す図であり、このフレームにおける車両1a,1c及び電柱2は単純立体図形によって表示されている。車両1bは、移動位置推定部19から表示制御部17に伝達された推定位置に単純立体図形として表示される。すなわち、車両1bの重心位置Gから、実空間において推定距離だけ離隔した位置に推定位置を設定し、この推定位置近傍に対応する元画像の画素群を切り取って、この切り取り画素群上に車両1bを代表する単純立体図形を重畳する。
【0067】
この画素群の切り取り操作によって、本来、この領域に存在する車両1bの抽出や三次元化、単純立体図形化が不要となり、画像処理負荷が軽くなる。表示制御部17は、TVカメラ1からの映像信号からなる画像或いは画素群の切り取りが行われた画像に単純立体図形を重畳させて表示器DP上に表示させる。ユーザーが表示器DPを確認する場合には、単純立体図形を確認するのみで、対象物の位置を確認することができる。
【0068】
次に、上述の画像認識装置における制御について、対向車が現れた場合について説明する。
【0069】
図12は、三次元物体認識装置IPにおける制御を説明するためのフローチャートである。この処理の流れを、リアルタイム(通常30フレーム/秒)で行う。
【0070】
TVカメラ1,2からそれぞれ元画像が入力されると(S1)、元画像から前回認識された立体プリミティブの今回の推定位置に対応する部分が削除される(S2)。この操作は物体画像抽出部11において行う。
【0071】
さらに、周囲の車の認識結果から推定される立体プリミティブ部分を削除する(S3)。
【0072】
しかる後、三次元物体画像合成部12において、三次元物体画像(距離画像)を計算する(S4)。
【0073】
仮想平面設定部13において、道路面(第1投影面)を規定し(S5)、投影画像作成部14において、距離画像の道路面への投影画像(第1投影画像)を生成する(S6)。
【0074】
続いて、基本図形適合部15において、二次元基本図形(単純図形)を当てはめる(S7)。
【0075】
更に、当てはめられた二次元基本図形に基づいて、第2、第3投影面を決定し(S8)、続いて、これらの第2、第3投影面に対する第2、第3投影画像を作成する(S9)。
【0076】
次に、基本図形適合部15において、第2、第3投影画像にも二次元基本図形(単純図形)を当てはめる(S10)。
【0077】
そして、単純立体図形決定部16において、立体プリミティブを決定し(S11)、元画像から立体プリミティブ部分の抽出を行う(S12)。
【0078】
更に、元画像に含まれる対象となる車両の第1、第2、第3投影画像の生成を行う(S13)。これらの投影画像における投影面は非平行である。
【0079】
次に、三次元物体推定部18としての識別器に投影画像を入力する(S15)。上述の如く、3つの投影画像の識別結果の論理和をとり(S16)、識別が成功したかどうかを判定する(S17)。この論理和がHレベルの場合には、識別が成功したものとする。論理積でもよい。識別が成功しない場合には、立体プリミティブの位置・形状・速度などをもとに、知識データベースを使って最も確からしい物体を選択する(S18)。識別が成功した場合には、ステップS1に戻って以降の処理を繰り返す。
【0080】
知識データベースにおいては、立体プリミティブの決定の後(S11)、この立体プリミティブの実空間での位置・形状・速度を記録し(S19)、更に物体の種類を記録し(S20)、画像領域毎に物体の移動速度を求め、各物体の出現確率を計算する(S21)。
【0081】
すなわち、三次元物体推定部18は、三次元物体の数が複数である場合、特定の立体プリミティブの割合に応じて、この立体プリミティブに対応する三次元物体を推定する。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【0082】
例えば、トラックであれば、大きな形状の直方体として示され、他の車両よりも低速である傾向があると思われる。また、出現確率は時間帯によっても異なる。1フレーム内から抽出した画像が周囲の環境において予想される物体とは異なるものであるとすると、この識別に成功する可能性は低い。例えば、出現頻度が高い車両は、車両であると認識できる確率が高いが、出現頻度が低い車両は、例えば、特殊な不法改造車は、その形状がデータベースに蓄積されていないため、車両であると認識できる確率が低い。
【0083】
したがって、このような一般則に当てはまらない画像データの識別優先順位は低くしておくことが好ましい。
【0084】
例えば、高速道路の走行中であれば、出現頻度の高い立体プリミティブは容易に認識できるが、出現頻度の小さい立体プリミティブは認識できる可能性が高くはないので、予めデータベースに蓄積された固有の立体プリミティブの出現頻度に応じて識別の優先順位を設定しておく。
【0085】
すなわち、この三次元物体認識装置は、三次元物体の数が複数である場合、三次元物体の認識が正確に行える可能性の大きさ順に三次元物体の順番を決定する優先度決定手段(S14)と、優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段(S15)とを備えている。この場合、認識可能性が高いものから順番に認識を行う(S15)ので、認識初期段階における認識率が向上する。
【0086】
また、識別が成功した後(S17)、各物体の出現確率を判断材料に加え、ステップS18において、最も確度の高い物体の種類を選択することもできる。このように、知識データベースを用いれば、立体プリミティブの位置、形状、速度、出現確率と、データベース内において参照される立体プリミティブの位置、形状、速度、出現確率とを比較し、比較結果に適合するものをもとに、最も確率の高い物体の種類を選択することができる(S18)。対象の物体が車種Aである確率と、車種Bである確率が等しい場合、出現確率が高い方を対象物体の種類として判断する。
【0087】
また、知識データベースにおいて、立体プリミティブの形状、大きさ、速度を記録し、時間と共に変化するこれらのデータを記録、蓄積し、このデータに基づいて、各物体の出現確率を計算することもでき、また、識別の可能性の高い順番に物体識別器への入力順序を設定し、この識別器で判定できない場合には、立体の形状と出現確率に基づいて、物体の種類を類推することもできる。
【0088】
この場合、識別できる可能性の高い物体識別器を選択できるので、識別速度が向上する。また、識別できない場合には、立体の形状から類推することもできる。
【0089】
また、物体の種類を記録した後(S20)、ステップS3に戻って、既に記録された周囲の車の種類から推定される画像の立体プリミティブ部分を削除することもできる。これにより、処理負荷が低減する。また、周囲の車が、本装置と同様の装置を備えている場合、車両間通信によって、個々の車両の持つ画像データ等を統合することにより、精密な空間情報を復元することができ、また、データ交換には全画像情報ではなく、立体プリミティブ情報を対象として交換することにより、その通信時間を短縮することができる。
【0090】
以上、説明したように、上記三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像1Aを、複数の仮想平面(XY平面,X’Z平面,Y’Z平面)上に投影してなる複数の投影画像のそれぞれに二次元基本図形を当てはめる基本図形適合手段15と、基本図形適合手段15によって当てはめられる複数の二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段16とを備えている。
【0091】
図13は、直交座標系における仮想平面(XY平面,X’Z平面,Y’Z平面)上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。球、円柱、円錐、三角錐及び四角柱が描かれている。
【0092】
本認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【0093】
三次元物体画像を得るための方法は様々であるが、上記では、異なる視点から撮影され三次元物体を含む複数の元画像に基づいて、すなわち、元画像を切り取って、三次元物体画像合成部(画像合成手段)12によって三次元物体画像を形成している。三次元物体画像合成部12を用いれば、視差を有する複数の元画像から、ステレオマッチングにより、仮想空間内における三次元物体画像を得ることができる。
【0094】
上述の基本図形適合部15は、三次元物体画像1Aを1つの仮想平面(XY平面)上に投影し、この投影画像1Asに当てはめられた二次元基本図形に基づいて、残りの仮想平面(X’Z平面、Y’Z平面)を設定し、残りの投影画像1As’,1As”にも二次元基本図形を当てはめるものであった。すなわち、初期値として最初の仮想平面(XY平面)を設定しておき、この仮想平面(XY平面)上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は、残りの仮想平面を与えた。上記では、この外形線は長方形を構成しており、この長方形の各辺から初期値の仮想平面に対して垂直な面を残りの仮想平面としたものであった。
【0095】
次に、別の手法で二次元基本図形を当てはめる基本図形適合部15の処理について説明する。
【0096】
図14は、二次元基本図形を当てはめる手順を示すフローチャートであり、図15(a)、図15(b)、図15(c)は当該手順を説明するためのグラフである。
【0097】
まず、XY平面内における画素群からなる投影画像の重心を求める(S1:図15(a))。重心を通る直線を設定する。直線のX軸に対する回転角をθとする。この直線を重心回りに回転させながら、この直線と交差する画素と重心との間の距離を計算し、各回転角θにおける当該距離の最大値を求める。すなわち、重心から最も離れた画素までの距離を計算する(S2)。
【0098】
ここで、回転角θと最大距離との関係を二次元基本図形の参照データとして記憶装置内に格納しておく。対象となる投影画像から求めた回転角θに対する最大距離のグラフと、参照データにおける回転角θと最大距離のグラフとを比較し、これらのグラフの一致度を判定する。この一致度は各種パターン認識法を用いて判定することができ、また、最も高い一致度が与えられるように、グラフを回転角の軸に沿って移動させ、最も高い一致度を与える回転角を物体の回転位置として決定する。
【0099】
高い一致度を与える二次元基本図形を、対象となる投影図形の二次元基本図形として、その回転位置と共に決定する(S3:図15(b))。図15(a)における、点A,点B,点Cに対応する点を、図15(b)においても示す。投影画像が円である場合には、重心からの最大離隔距離は一定値となる。また、図15(c)は、投影画像が円の場合のグラフを示す。このような処理は、輪郭がはっきりしている投影画像に適用でき、また、アルゴリズムが単純であるため、高速な処理が可能となる。
【0100】
以上、本基本図形適合部15では、投影画像の重心位置回りの回転角度毎の投影画像内画素の最大離隔距離を求め、回転角と最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の回転位置を決定している。
【0101】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0102】
図16は、二次元基本図形を当てはめる手順を示すフローチャートであり、図17(a)〜図17(c)(四角形の場合)、図17(d)〜図17(f)(三角形の場合)は、当該手順を説明するためのグラフである。
【0103】
まず、投影画像における画素を全てを含む二次元図形(四角形、三角形、円)を標準的な向きで当てはめる(円の場合はここで終了:S1)。図17(a)、図17(d)参照。
【0104】
次に、画素を全て含みながら、二次元図形を微小変形(伸縮・回転)させていく。微小変形は、当てはめた二次元図形の重心を中心に微小角度dθ回転させ、その角度を保ったまま、画素全てを含むように伸縮させる(S2)。図17(b)、図17(e)参照。
【0105】
全ての角度の四角形、三角形、円のうち、面積が最小となるものを二次元基本図形として採用し、この時の回転位置を記録する(S3)。図17(c)、図17(f)参照。
【0106】
このような処理は、輪郭がはっきりしている投影画像に適用でき、また、三角形の当てはめも可能となる。更に、重心を求める必要がないため、内部の画素が均一でない投影画像にも適用することができる。
【0107】
以上のように、本三次元物体認識装置の基本図形適合部15は、投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめている。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0108】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0109】
図18は、二次元基本図形を当てはめる手順を示すフローチャートである。
【0110】
まず、直交する軸に対して、投影画像を構成する画素のヒストグラムを計算する(S1)。次に、ヒストグラムの形状から図形(四角形、三角形、円)を判別する(S2)。すなわち、対象となるヒストグラムと、参照データとしてのヒストグラムの一致度をパターン認識によって求め、一方のヒストグラムを各軸に沿って移動させ、この一致度が最も高くなる二次元図形を決定し、そのヒストグラムの位置を記録する。
【0111】
すなわち、本例の三次元物体認識装置の基本図形適合手段は、直交座標系における投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置とを決定している。すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【0112】
この方法は、輪郭が多少かけている投影画像に対しても適用することができ、直立した三角形の当てはめにも用いることができる。
【0113】
なお、図19(a)は二次元基本図形が円の場合、図19(b)は二次元基本図形が三角形の場合、図19(c)は二次元基本図形が四角形の場合の投影画像とヒストグラムを示すグラフである。
【0114】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0115】
図20は、二次元基本図形を当てはめる手順を示すフローチャートであり、図21(a)、図21(b)、図21(c)、図21(d)は当該手順を説明するためのグラフである。
【0116】
まず、直線Y=a(変数)を設定し、XY平面において分布する画素群に対して、いずれかの画素(エッジ点)に接するまで直線Y=aを移動させる(S1:図21(a))。次に、エッジ点との設定を中心として、この直線を折り曲げる、すなわち、本例の場合はエッジ点を始点として、いずれかの画素に接するまで線分を回転させる(S2:図21(b))。
【0117】
これらの工程を、最初の線分とクロスするまで、或いは最初の始点画素とクロスするまで続け、多角形を構成し、これによって二次元基本図形を構成する(S3:図21(c))。最後に、1番目と3番目に長い2つの辺を含み、且つ、XY平面に垂直な仮想平面を設定する(S4:図21(d))。
【0118】
すなわち、この基本図形適合部15は、三次元物体画像を1つの仮想平面(XY平面)上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の1番目と3番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめる。
【0119】
この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、2番目に長い辺は1番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対称性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するため、対向傾向のある2番目ではなく、3番目に長い辺を用いる。
【0120】
なお、ステップS4において、二次元基本図形を構成する各辺の長さに有意差がない場合には、二次元基本図形を円又は楕円形と見なす。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【0121】
なお、「有意差」とは平均値±30%であることと定義する。
【0122】
基本図形適合部15は、投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0123】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0124】
図22は二次元基本図形を当てはめる手順を示すフローチャートであり、図23(a)、図23(b)、図23(c)、図23(d)は当該手順を説明するためのグラフである。
【0125】
まず、各画素を線分化、すなわち投影画像で同一線分上にある画素を一まとまりにする(S1:図23(a))。次に、各線分の傾き毎に、線分の総延長のヒストグラムを計算する(S2)。なお、長い線分は特徴的であるので、重み付けをする。ヒストグラムのピークの角度をもとに四角形、三角形、円を当てはめる(S3)。すなわち、傾きθに対する対象となる投影画像の線分の長さの総和のヒストグラムと、二次元基本図形を与える参照データのヒストグラムとを比較し、これらのパターン一致度が最大となる図形を二次元基本図形として決定し、そのときの回転位置を記録する。
【0126】
なお、図23(b)は投影図形が四角形の場合の傾きθと線分の長さの総和との関係を示し、図23(c)は投影図形が三角形の場合の傾きθと線分の長さの総和との関係を示し、図23(d)は投影図形が円の場合の傾きθと線分の長さの総和との関係を示す。
【0127】
また、仮想平面の設定に関し、ヒストグラムのピークの数が0、2、3以外の場合は、幾つかのピークの中で、大きな傾きを与えるものの方向に投影面を設定する(S4)。
【0128】
以上、本例の基本図形適合部15は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定している。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。
また、上述の単純立体図形の適用法を用いれば、画像にノイズが含まれる場合や、対象物の一部が遮蔽されている場合においても、情報の補間や不要な情報の削除を行うことも可能となる。
【0129】
【発明の効果】
以上、説明したように、本発明の三次元物体認識装置によれば、画像処理の負荷を低減させることができる。
【図面の簡単な説明】
【図1】三次元物体認識装置が搭載された車両の斜視図である。
【図2】三次元物体認識装置IPのブロック図である。
【図3】TVカメラ1によって得られる二次元画像を示す図である。
【図4】三次元物体認識装置IPの仮想空間内で作成された車両1aの三次元物体画像1Aの斜視図である。
【図5】三次元物体画像1AのXY平面への投影画像を示す図である。
【図6】X’Z平面への三次元物体画像1Aの投影画像1As’を示す図である。
【図7】Y’Z平面への三次元物体画像1Aの投影画像1As”を示す図である。
【図8】上述の二次元基本図形から決定される単純立体図形の斜視図である。
【図9】三次元物体推定部18又は認識部RGにおける物体推定を説明するための図である。
【図10】図3に示した画像における車両1a,1b,1c及び電柱2を単純立体図形によって表示した画像を示す図である。
【図11】図3に示した画像(N番目)の次の画像(N+1番目)を示す図である。
【図12】三次元物体認識装置IPにおける制御を説明するためのフローチャートである。
【図13】直交座標系における仮想平面上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。
【図14】二次元基本図形を当てはめる手順を示すフローチャートである。
【図15】図14の手順を説明するためのグラフである。
【図16】二次元基本図形を当てはめる手順を示すフローチャートである。
【図17】図16の手順を説明するためのグラフである。
【図18】二次元基本図形を当てはめる手順を示すフローチャートである。
【図19】二次元基本図形が円の場合の投影画像とヒストグラムを示すグラフである。
【図20】二次元基本図形を当てはめる手順を示すフローチャートである。
【図21】図20の手順を説明するためのグラフである。
【図22】二次元基本図形を当てはめる手順を示すフローチャートである。
【図23】図22の手順を説明するためのグラフである。
【符号の説明】
1,2…TVカメラ、1A…三次元物体画像、1a,1b,1c…車両、2…電柱、3…道路標識、11…物体画像抽出部、12…三次元物体画像合成部、13…仮想平面設定部、14…投影画像作成部、15…基本図形適合部、16…単純立体図形決定部、17…表示制御部、18…三次元物体推定部、18a,18b,18c…識別器、19…移動位置推定部、AM…車両、C1…直方体、DP…表示器、IP…三次元物体認識装置、RG…認識部。
【発明の属する技術分野】
本発明は、三次元物体認識装置に関する。
【0002】
【従来の技術】
従来の三次元物体認識装置は、特開平10−232936号公報に記載されている。ステレオ視を用いて得られた距離画像を仮想平面上に投影し、この投影画像と、対象物の三次元モデルから得られる投影画像との相違度を、三次元モデルの投影画像を回転させながら計算し、最もよく合致する向きを求める。その向きに平行又は垂直な面を、対象物の方向に投影した三次元モデルの像の合致度が、所定閾値を超えた場合、対象物が三次元モデルと同一のものと判断している。
【0003】
【発明が解決しようとする課題】
しかしながら、上述の処理では対象物と一致可能な三次元モデルが必要であり、三次元モデルが対象物程度に精密でなければならないところ、処理負荷が大きいという問題がある。
【0004】
本発明は、このような問題に鑑みてなされたものであり、画像処理の負荷を低減可能な三次元物体認識装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
上述の課題を解決するため、第1の三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像を複数の仮想平面上に投影してなる複数の投影画像のそれぞれに、二次元基本図形を当てはめる基本図形適合手段と、前記基本図形適合手段によって当てはめられる複数の前記二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段とを備えることを特徴とする。
【0006】
なお、「二次元基本図形」とは楕円形や多角形等の図形である。
【0007】
また、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル(例えば、車両)よりも単純な立体図形である。
【0008】
本発明の認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【0009】
第2の三次元物体認識装置は、前記三次元物体を異なる視点から撮影する複数のカメラを更に備えることを特徴とする。これにより、視差を有する複数の元画像を得ることができるので、元画像に含まれる三次元物体の各点までの距離を求めることができる。
【0010】
第3の三次元物体認識装置は、異なる視点から撮影され前記三次元物体を含む複数の元画像に基づいて、前記三次元物体画像を形成する画像合成手段を更に備えることを特徴とする。すなわち、画像合成手段を用いれば、視差を有する複数の元画像から仮想空間内における三次元物体画像を得ることができる。
【0011】
第4の三次元物体認識装置は、前記元画像を表示する表示器を更に備えることを特徴とする。この場合、ユーザーは表示器によって元画像を確認できる。
【0012】
第5の三次元物体認識装置は、前記単純立体図形決定手段によって決定された単純立体図形を、前記表示器上に表示される前記三次元物体の位置に表示させる表示制御手段を更に備えることを特徴とする。表示器上に単純立体図形を表示すれば、ユーザーは物体の存在を確認することができる。
【0013】
第6の三次元物体認識装置は、前記三次元物体の数が複数である場合、特定の前記単純立体図形の割合に応じて、この単純立体図形に対応する三次元物体を推定する推定手段を備えることを特徴とする。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【0014】
第7の三次元物体認識装置は、前記三次元物体の数が複数である場合、前記三次元物体の認識が正確に行える可能性の大きさ順に前記三次元物体の順番を決定する優先度決定手段と、前記優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段とを備えることを特徴とする。この場合、認識可能性が高いものから順番に認識を行うので、認識初期段階における認識率が向上する。
【0015】
第8の三次元物体認識装置は、仮想空間内における前記単純立体図形内に前記三次元物体画像を配置し、前記単純立体図形を構成する面上に前記三次元物体画像を投影し、この投影画像を用いて前記三次元物体の認識を行う認識手段を更に備えることを特徴とする。この場合、予め面方位が決定されている単純立体図形に投影することで、三次元物体の識別が容易となる。
【0016】
第9の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた二次元基本図形に基づいて、残りの仮想平面を設定して残りの投影画像にも二次元基本図形を当てはめることを特徴とする。すなわち、初期値として最初の仮想平面を設定しておき、この仮想平面上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は残りの仮想平面を与えることができる。例えば、これが長方形である場合には、各辺から初期値の仮想平面に対して垂直な面を規定すれば、これを残りの仮想平面とすることができる。
【0017】
第10の三次元物体認識装置の前記基本図形適合手段は、前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の1番目と3番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめることを特徴とする。この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、2番目に長い辺は1番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対象性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するためには、対向傾向のある2番目ではなく、3番目に長い辺を用いた方が好ましい。
【0018】
第11の三次元物体認識装置の前記基本図形適合手段は、前記投影画像の重心位置回りの回転角度毎の前記投影画像内画素の最大離隔距離を求め、前記回転角と前記最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形とこの二次元基本図形の回転位置を決定することを特徴とする。すなわち、投影画像を重心位置回りに回転させると、重心位置からの最大離隔距離によって、投影画像の回転位置とパターンを判別することができる。
【0019】
第12の三次元物体認識装置の前記基本図形適合手段は、直交座標系における前記投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置を決定することを特徴とする。
すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【0020】
上述のようにして三次元物体認識装置の基本図形適合手段が投影画像の位置とパターンを判別できた場合、投影画像にどのような二次元基本図形を当てはめるかを考える。
【0021】
第13の三次元物体認識装置の前記基本図形適合手段は、前記投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめることを特徴とする。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0022】
一致度が比較的高くなる別の手法も考えられる。
【0023】
第14の三次元物体認識装置の前記基本図形適合手段は、前記投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0024】
第15の三次元物体認識装置の前記基本図形適合手段は、前記二次元基本図形を構成する各辺の長さに有意差がない場合には、前記二次元基本図形を円又は楕円形と見なすことを特徴とする。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【0025】
第16の三次元物体認識装置の前記基本図形適合手段は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定することを特徴とする。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。したがって、傾斜角度の分布は投影画像のパターンを反映できる。
【0026】
第17の三次元物体認識装置は、前記三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求めることを特徴とする。この場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【0027】
【発明の実施の形態】
以下、実施の形態に係る三次元物体認識装置について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【0028】
図1は三次元物体認識装置が搭載された車両の斜視図である。本例では、三次元物体認識装置が車両に搭載されるが、車両交通量監視システム等に適用することもできる。車両AMには複数台のTVカメラ1,2が取り付けられており、車両前方の景色を異なる視点から観察している。なお、TVカメラ1,2を用いることで、走行環境を認識する。
【0029】
図2は三次元物体認識装置IPのブロック図である。
【0030】
複数台のTVカメラ1,2から出力された映像信号は、物体画像抽出部11に入力される。物体画像抽出部11は、映像信号内に含まれる物体の画像を抽出する。映像信号の1フレーム内における物体の画像の数は一般には複数であるが、ここでは簡単のため、1つであるとする。映像信号を与えるTVカメラの数は複数であるのだから、これらの映像信号からは複数枚の二次元物体画像(元画像)が得られる。
【0031】
それぞれのTVカメラ1,2から同時に得られる複数枚の元画像は三次元物体画像合成部(三次元物体画像合成手段)12に入力される。三次元物体画像合成部12では、視差を有する複数の元画像を利用して、仮想空間内で三次元物体を構成する画素の位置を決定する。すなわち、三次元物体画像合成部12は、複数枚の元画像から三次元物体画像(距離画像)を作り上げる。この画像合成には、ステレオマッチングを用いる。
【0032】
仮想平面設定部13は、三次元物体画像が投影される仮想平面を設定する。本例では、仮想平面の初期値は予め決定されているものとする。
【0033】
投影画像作成部14は、仮想平面設定部13において設定された仮想平面上に、三次元物体画像合成部12で合成された三次元物体画像を投影し、三次元物体画像の投影画像を作成する。
【0034】
基本図形適合部(基本図形適合手段)15は、投影画像作成部14において作成された投影画像に当てはめられる二次元基本図形を決定する。仮想平面の初期値が1つである場合、投影画像は1つであるため、この二次元基本図形の情報を仮想平面設定部13に伝達する。なお、仮想平面の初期値は複数とすることもできる。
【0035】
「二次元基本図形」とは楕円形や多角形等の図形である。
【0036】
1つの二次元基本図形が設定された後、仮想平面設定部13は、この二次元基本図形に基づいて、既に決定された仮想平面とは別の仮想平面を設定する。この場合、投影画像作成部14は、別の仮想平面に基づいて投影画像を作成することとなる。このようにして、複数の仮想平面上に投影された複数の投影画像が決定される。
【0037】
単純立体図形決定部(単純立体図形決定手段)16は、基本図形適合部15において決定された複数の二次元基本図形に基づいて、三次元物体を端的に示す直方体等の単純立体図形(立体プリミティブ)を決定する。
【0038】
なお、「単純立体図形」とは四角柱等の多角形柱、多角錐、多角錐台、楕円柱、楕円錐、楕円錐台等の単純な立体図形であり、実際の三次元物体の三次元モデル(例えば、車両)よりも単純な立体図形である。
【0039】
単純立体図形決定部16において決定された単純立体図形は、表示制御部17を介して表示器DP上に表示される。すなわち、対象物である三次元物体が車両であって、この三次元物体から決定された単純立体図形が直方体である場合、直方体が表示器DP上に表示されることとなる。なお、表示器DPには元画像を表示することもでき、したがって、ユーザーは図示しない入力装置を介して表示制御部17を制御することにより、表示器DPによって元画像を確認することができる。
【0040】
表示制御部17は、表示器DP上に表示される三次元物体の位置に単純立体図形決定部16によって決定された単純立体図形を表示させることができる。表示器DP上に単純立体図形を表示すれば、ユーザーは実際の三次元物体の画像の代わりに単純立体図形によって、その存在を確認することができる。
【0041】
表示制御部17には、TVカメラ1,2からの映像信号も入力されており、表示制御部17は、これらの映像信号のいずれかを選択して、或いは加工して、表示器DP上に表示させることができる。映像信号は、1フレーム内において三次元物体の重心位置を含んでいる。
【0042】
したがって、物体画像抽出部11において抽出された画像の重心位置は、表示制御部17に伝達される。表示制御部17は、伝達された重心位置、或いは移動位置推定部19によって推定された画像の重心位置に、この重心位置を与えた三次元物体に対応する単純立体図形を表示する。
【0043】
なお、移動位置推定部19は、N−1番目のフレームにおける物体の画像の重心位置と、N番目のフレームにおける物体の画像の重心位置との間の実空間における距離とフレーム時間間隔から、N+1番目のフレームにおけ物体の画像の重心位置を推定することができる(推定位置)。二次元画像の重心位置でもよいし、三次元画像の重心位置でもよい。
【0044】
移動位置推定部19から、推定位置が表示制御部17に伝達されると、表示器DP上には、単純立体図形が表示されることになるが、画像処理の負荷を軽減するため、N+1番目における画像の推定位置に対応する位置においては、予めTVカメラ1,2から物体画像抽出部11に入力される画像を削除しておくことが望ましい。このような削除が実行された元画像を元に、物体画像抽出を行えば、抽出に必要な処理負荷が低減されるので、高速の処理が可能となる。
【0045】
表示器DP上には単純立体図形が表示されるので、1つにはユーザーの単純立体図形の認識度が高くなる。また、単純立体図形は、画像処理負荷が実際の画像よりも低いので、この単純立体図形を用いた所定時間経過後の対象物位置推定や、各種現象解析の演算を行うことが簡単となる。
【0046】
三次元物体推定部18は、単純立体図形決定部16において決定された複数の立体図形を用いて、三次元物体の種類を推定する。すなわち、単純立体図形決定部16において決定された立体図形が直方体である場合、直方体を構成する非対向三面上に、三次元物体画像合成部12において合成された三次元物体画像を投影し、これにより得られた3枚の投影画像を、データベース内に蓄積された参照画像とそれぞれ比較する。
【0047】
この参照画像は、三次元物体の投影方向と等価な方向から撮影した参照物体の画像である。三次元物体推定部18は、投影画像と参照画像とが所定の一致度以上で一致した場合には、投影画像を与えた三次元物体が、参照画像を与えた参照物体と同種類であるものと判断する。なお、このようなパターンマッチングの手法は数多く知られている。
【0048】
また、三次元物体推定部18の代わりに認識部RGを設けることもできる。認識部RGは、仮想平面設定部13において設定された複数の仮想平面への三次元物体画像の投影画像に基づいて、三次元物体の種類を判定する。すなわち、これらの投影画像と、認識部RGにおけるデータベースに蓄積された参照画像とを、三次元物体推定部18と同様に判定し、三次元物体の種類を判定する。
【0049】
すなわち、本三次元物体認識装置は、仮想空間内における単純立体図形内に三次元物体画像を配置し、単純立体図形を構成する面上に三次元物体画像を投影し、この投影画像を用いて三次元物体の認識を行う認識手段(16,18又はRG)を備えている。この場合、予め面方位が決定されている単純立体図形に三次元物体画像を投影することで、三次元物体の識別が容易となる。
【0050】
以下、上述の三次元物体認識装置による画像処理ついて詳説する。
【0051】
図3は、TVカメラ1によって得られる二次元画像を示す図である。以下の説明では、図2を適宜参照する。画像内には、車両1a,1b,1c、電柱2及び道路標識3が表示されている。TVカメラ2からは、TVカメラ1から得られる画像に対して、視差を有する画像を得ることができる。これら複数の元画像は、輝度情報、色情報と共に、距離情報を有している。なお、以下の説明では、距離情報に着目する。
【0052】
すなわち、画像内の1つの画素が与える物体の実空間における要素位置は、測量の原理にしたがって求めることができる。本例では、2つのTVカメラ1,2を示しているが、物体を構成する要素の三次元位置を確定するためには、TVカメラは3つ以上であることが好ましい。
【0053】
物体画像抽出部11は、2値化処理、エッジ処理やテクスチャー(画像の輝度パターン)等を用いて、車両1aの表示された領域を元画像から切り出す。三次元物体を含む元画像のテクスチャーを用いて、三次元物体画像を求める場合、元画像のテクスチャーから三次元物体画像の抽出が可能であり、曲面等のエッジ抽出が難しい物体の抽出を行うことができる。
【0054】
エッジによる画像の復元においては画像間でエッジ(線)を対応させて比較する。なお、テクスチャとは画像内の模様のことであり、テクスチャを用いた画像の復元においては画像間で輝度分布の類似度の対応をとることができる。
【0055】
三次元物体画像合成部12は、複数の二次元元画像から、物体の三次元画像を仮想空間内において作り出す。本例では、ステレオマッチングを用いる。
【0056】
図4は、三次元物体認識装置IPの仮想空間内で作成された車両1aの三次元物体画像1Aの斜視図である。三次元物体画像1Aは、XYZ直交座標系において表示されている。地面をXY平面に設定する。すなわち、仮想平面設定部13において設定される初期値としての仮想平面はXY平面である。この地面は、カメラキャリブレーションや、2つの白線の無限遠点を使って、従来技術で推定することができる。
【0057】
図5は、三次元物体画像1AのXY平面への投影画像を示す図である。XY平面への投影画像1Asは、車両立体像である三次元物体画像1Aを上方から観察した図である。元画像には死角があるため、対象物体の全ての部位が三次元化されるわけではない。投影画像作成部14によって作成された投影画像には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、短辺がX’軸に対してθ度傾いており、長辺はY’軸を構成している。
【0058】
X’軸を基準として、仮想平面としてのX’Z平面を仮想平面設定部13において設定する。また、Y’軸を基準として、仮想平面としてのY’Z平面を仮想平面設定部13において設定する。
【0059】
図6は、X’Z平面への三次元物体画像1Aの投影画像1As’を示す図である。X’Z平面への投影画像1As’は、車両1Aを後方から観察した図である。投影画像作成部14によって作成された投影画像には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がX’軸に平行であり、短辺がZ軸に平行である。
【0060】
図7は、Y’Z平面への三次元物体画像1Aの投影画像1As”を示す図である。Y’Z平面への投影画像1As”は、車両1Aを後方から観察した図である。投影画像作成部14によって作成された投影画像1As”には、基本図形適合部15によって適当な二次元基本図形が当てはめられる。本例の場合、二次元基本図形は長方形であり、長辺がY’軸に平行であり、短辺がZ軸に平行である。
【0061】
図8は、上述の二次元基本図形から決定される単純立体図形の斜視図である。
単純立体図形決定部16においては、上記3つの二次元基本図形に基づいて直方体C1を決定している。すなわち、一台の車両の三次元物体画像1Aは、直方体C1に置換されたことになる。この直方体C1は、三次元物体画像1Aに比較するとデータ量も小さい。
【0062】
図9は、三次元物体推定部18又は認識部RGにおける物体推定を説明するための図である。二次元投影画像1As’,1As”,1Asは、三次元物体推定部18又は認識部RGに入力される。二次元投影画像1As’は車の後面とそれ以外の物体を認識する識別器18aに入力され、二次元投影画像1As”は車の後面とそれ以外の物体を認識する識別器18bに入力され、二次元投影画像1Asは車の後面とそれ以外の物体を認識する識別器18cに入力される。
【0063】
それぞれの識別器18a,18b,18cは、入力画像と参照画像とのパターンの一致度を判定する。パターンの一致度が所定値を超えた場合にはYes(H)を、超えない場合にはNo(L)を出力する。これらの論理和(OR)が、Hの場合には、入力画像が、参照画像を与える物体の種類であると判定する。論理積(AND)を用いることもできる。
【0064】
本例では、2つ以上の方向の投影画像を用いるので、認識率が高くなる。また、代表的な方向の投影画像を用いるため、識別器を学習させることもできる。また、いずれの方向の投影画像でも識別できない場合には、そのパターンの一致度に基づいて、立体図形の当てはめのやり直しを行う指針を得ることもできる。
【0065】
図10は、図3に示した画像における車両1a,1b,1c及び電柱2を単純立体図形によって表示した画像を示す図である。表示制御部17は、TVカメラ1からの映像信号に単純立体図形を重畳させて表示器DP上に表示させる。ユーザーが入力装置を介して表示制御部17を操作することにより、表示器DP上に対象物を表示することができる。このような表示情報は運転者が容易に認識することができるので、運転操作をアシストすることとなる。例えば、左前方に障害物がある等の警告表示を行うことができる。
【0066】
図11は、図3に示した画像(N番目)の次の画像(N+1番目)を示す図であり、このフレームにおける車両1a,1c及び電柱2は単純立体図形によって表示されている。車両1bは、移動位置推定部19から表示制御部17に伝達された推定位置に単純立体図形として表示される。すなわち、車両1bの重心位置Gから、実空間において推定距離だけ離隔した位置に推定位置を設定し、この推定位置近傍に対応する元画像の画素群を切り取って、この切り取り画素群上に車両1bを代表する単純立体図形を重畳する。
【0067】
この画素群の切り取り操作によって、本来、この領域に存在する車両1bの抽出や三次元化、単純立体図形化が不要となり、画像処理負荷が軽くなる。表示制御部17は、TVカメラ1からの映像信号からなる画像或いは画素群の切り取りが行われた画像に単純立体図形を重畳させて表示器DP上に表示させる。ユーザーが表示器DPを確認する場合には、単純立体図形を確認するのみで、対象物の位置を確認することができる。
【0068】
次に、上述の画像認識装置における制御について、対向車が現れた場合について説明する。
【0069】
図12は、三次元物体認識装置IPにおける制御を説明するためのフローチャートである。この処理の流れを、リアルタイム(通常30フレーム/秒)で行う。
【0070】
TVカメラ1,2からそれぞれ元画像が入力されると(S1)、元画像から前回認識された立体プリミティブの今回の推定位置に対応する部分が削除される(S2)。この操作は物体画像抽出部11において行う。
【0071】
さらに、周囲の車の認識結果から推定される立体プリミティブ部分を削除する(S3)。
【0072】
しかる後、三次元物体画像合成部12において、三次元物体画像(距離画像)を計算する(S4)。
【0073】
仮想平面設定部13において、道路面(第1投影面)を規定し(S5)、投影画像作成部14において、距離画像の道路面への投影画像(第1投影画像)を生成する(S6)。
【0074】
続いて、基本図形適合部15において、二次元基本図形(単純図形)を当てはめる(S7)。
【0075】
更に、当てはめられた二次元基本図形に基づいて、第2、第3投影面を決定し(S8)、続いて、これらの第2、第3投影面に対する第2、第3投影画像を作成する(S9)。
【0076】
次に、基本図形適合部15において、第2、第3投影画像にも二次元基本図形(単純図形)を当てはめる(S10)。
【0077】
そして、単純立体図形決定部16において、立体プリミティブを決定し(S11)、元画像から立体プリミティブ部分の抽出を行う(S12)。
【0078】
更に、元画像に含まれる対象となる車両の第1、第2、第3投影画像の生成を行う(S13)。これらの投影画像における投影面は非平行である。
【0079】
次に、三次元物体推定部18としての識別器に投影画像を入力する(S15)。上述の如く、3つの投影画像の識別結果の論理和をとり(S16)、識別が成功したかどうかを判定する(S17)。この論理和がHレベルの場合には、識別が成功したものとする。論理積でもよい。識別が成功しない場合には、立体プリミティブの位置・形状・速度などをもとに、知識データベースを使って最も確からしい物体を選択する(S18)。識別が成功した場合には、ステップS1に戻って以降の処理を繰り返す。
【0080】
知識データベースにおいては、立体プリミティブの決定の後(S11)、この立体プリミティブの実空間での位置・形状・速度を記録し(S19)、更に物体の種類を記録し(S20)、画像領域毎に物体の移動速度を求め、各物体の出現確率を計算する(S21)。
【0081】
すなわち、三次元物体推定部18は、三次元物体の数が複数である場合、特定の立体プリミティブの割合に応じて、この立体プリミティブに対応する三次元物体を推定する。画像認識が適用される種類の三次元物体の特定環境での発現率は予め予想できるので、この単純立体図形の数の割合と発現率とを対応づける等することにより、この単純立体図形が示す三次元物体を推定することができる。
【0082】
例えば、トラックであれば、大きな形状の直方体として示され、他の車両よりも低速である傾向があると思われる。また、出現確率は時間帯によっても異なる。1フレーム内から抽出した画像が周囲の環境において予想される物体とは異なるものであるとすると、この識別に成功する可能性は低い。例えば、出現頻度が高い車両は、車両であると認識できる確率が高いが、出現頻度が低い車両は、例えば、特殊な不法改造車は、その形状がデータベースに蓄積されていないため、車両であると認識できる確率が低い。
【0083】
したがって、このような一般則に当てはまらない画像データの識別優先順位は低くしておくことが好ましい。
【0084】
例えば、高速道路の走行中であれば、出現頻度の高い立体プリミティブは容易に認識できるが、出現頻度の小さい立体プリミティブは認識できる可能性が高くはないので、予めデータベースに蓄積された固有の立体プリミティブの出現頻度に応じて識別の優先順位を設定しておく。
【0085】
すなわち、この三次元物体認識装置は、三次元物体の数が複数である場合、三次元物体の認識が正確に行える可能性の大きさ順に三次元物体の順番を決定する優先度決定手段(S14)と、優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段(S15)とを備えている。この場合、認識可能性が高いものから順番に認識を行う(S15)ので、認識初期段階における認識率が向上する。
【0086】
また、識別が成功した後(S17)、各物体の出現確率を判断材料に加え、ステップS18において、最も確度の高い物体の種類を選択することもできる。このように、知識データベースを用いれば、立体プリミティブの位置、形状、速度、出現確率と、データベース内において参照される立体プリミティブの位置、形状、速度、出現確率とを比較し、比較結果に適合するものをもとに、最も確率の高い物体の種類を選択することができる(S18)。対象の物体が車種Aである確率と、車種Bである確率が等しい場合、出現確率が高い方を対象物体の種類として判断する。
【0087】
また、知識データベースにおいて、立体プリミティブの形状、大きさ、速度を記録し、時間と共に変化するこれらのデータを記録、蓄積し、このデータに基づいて、各物体の出現確率を計算することもでき、また、識別の可能性の高い順番に物体識別器への入力順序を設定し、この識別器で判定できない場合には、立体の形状と出現確率に基づいて、物体の種類を類推することもできる。
【0088】
この場合、識別できる可能性の高い物体識別器を選択できるので、識別速度が向上する。また、識別できない場合には、立体の形状から類推することもできる。
【0089】
また、物体の種類を記録した後(S20)、ステップS3に戻って、既に記録された周囲の車の種類から推定される画像の立体プリミティブ部分を削除することもできる。これにより、処理負荷が低減する。また、周囲の車が、本装置と同様の装置を備えている場合、車両間通信によって、個々の車両の持つ画像データ等を統合することにより、精密な空間情報を復元することができ、また、データ交換には全画像情報ではなく、立体プリミティブ情報を対象として交換することにより、その通信時間を短縮することができる。
【0090】
以上、説明したように、上記三次元物体認識装置は、複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像1Aを、複数の仮想平面(XY平面,X’Z平面,Y’Z平面)上に投影してなる複数の投影画像のそれぞれに二次元基本図形を当てはめる基本図形適合手段15と、基本図形適合手段15によって当てはめられる複数の二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段16とを備えている。
【0091】
図13は、直交座標系における仮想平面(XY平面,X’Z平面,Y’Z平面)上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。球、円柱、円錐、三角錐及び四角柱が描かれている。
【0092】
本認識装置によれば、仮想平面上への投影画像に当てはめられる複数の二次元基本図形から単純立体図形を決定するので、従来よりも処理に必要な情報量が少なくなり、処理負荷を低減することができる。換言すれば、従来よりも情報量が圧縮されることとなる。
【0093】
三次元物体画像を得るための方法は様々であるが、上記では、異なる視点から撮影され三次元物体を含む複数の元画像に基づいて、すなわち、元画像を切り取って、三次元物体画像合成部(画像合成手段)12によって三次元物体画像を形成している。三次元物体画像合成部12を用いれば、視差を有する複数の元画像から、ステレオマッチングにより、仮想空間内における三次元物体画像を得ることができる。
【0094】
上述の基本図形適合部15は、三次元物体画像1Aを1つの仮想平面(XY平面)上に投影し、この投影画像1Asに当てはめられた二次元基本図形に基づいて、残りの仮想平面(X’Z平面、Y’Z平面)を設定し、残りの投影画像1As’,1As”にも二次元基本図形を当てはめるものであった。すなわち、初期値として最初の仮想平面(XY平面)を設定しておき、この仮想平面(XY平面)上への投影画像に二次元基本図形を与えた場合、この二次元基本図形を構成する外形線は、残りの仮想平面を与えた。上記では、この外形線は長方形を構成しており、この長方形の各辺から初期値の仮想平面に対して垂直な面を残りの仮想平面としたものであった。
【0095】
次に、別の手法で二次元基本図形を当てはめる基本図形適合部15の処理について説明する。
【0096】
図14は、二次元基本図形を当てはめる手順を示すフローチャートであり、図15(a)、図15(b)、図15(c)は当該手順を説明するためのグラフである。
【0097】
まず、XY平面内における画素群からなる投影画像の重心を求める(S1:図15(a))。重心を通る直線を設定する。直線のX軸に対する回転角をθとする。この直線を重心回りに回転させながら、この直線と交差する画素と重心との間の距離を計算し、各回転角θにおける当該距離の最大値を求める。すなわち、重心から最も離れた画素までの距離を計算する(S2)。
【0098】
ここで、回転角θと最大距離との関係を二次元基本図形の参照データとして記憶装置内に格納しておく。対象となる投影画像から求めた回転角θに対する最大距離のグラフと、参照データにおける回転角θと最大距離のグラフとを比較し、これらのグラフの一致度を判定する。この一致度は各種パターン認識法を用いて判定することができ、また、最も高い一致度が与えられるように、グラフを回転角の軸に沿って移動させ、最も高い一致度を与える回転角を物体の回転位置として決定する。
【0099】
高い一致度を与える二次元基本図形を、対象となる投影図形の二次元基本図形として、その回転位置と共に決定する(S3:図15(b))。図15(a)における、点A,点B,点Cに対応する点を、図15(b)においても示す。投影画像が円である場合には、重心からの最大離隔距離は一定値となる。また、図15(c)は、投影画像が円の場合のグラフを示す。このような処理は、輪郭がはっきりしている投影画像に適用でき、また、アルゴリズムが単純であるため、高速な処理が可能となる。
【0100】
以上、本基本図形適合部15では、投影画像の重心位置回りの回転角度毎の投影画像内画素の最大離隔距離を求め、回転角と最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の回転位置を決定している。
【0101】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0102】
図16は、二次元基本図形を当てはめる手順を示すフローチャートであり、図17(a)〜図17(c)(四角形の場合)、図17(d)〜図17(f)(三角形の場合)は、当該手順を説明するためのグラフである。
【0103】
まず、投影画像における画素を全てを含む二次元図形(四角形、三角形、円)を標準的な向きで当てはめる(円の場合はここで終了:S1)。図17(a)、図17(d)参照。
【0104】
次に、画素を全て含みながら、二次元図形を微小変形(伸縮・回転)させていく。微小変形は、当てはめた二次元図形の重心を中心に微小角度dθ回転させ、その角度を保ったまま、画素全てを含むように伸縮させる(S2)。図17(b)、図17(e)参照。
【0105】
全ての角度の四角形、三角形、円のうち、面積が最小となるものを二次元基本図形として採用し、この時の回転位置を記録する(S3)。図17(c)、図17(f)参照。
【0106】
このような処理は、輪郭がはっきりしている投影画像に適用でき、また、三角形の当てはめも可能となる。更に、重心を求める必要がないため、内部の画素が均一でない投影画像にも適用することができる。
【0107】
以上のように、本三次元物体認識装置の基本図形適合部15は、投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめている。すなわち、投影画像と二次元基本図形の一致度が高いため、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0108】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0109】
図18は、二次元基本図形を当てはめる手順を示すフローチャートである。
【0110】
まず、直交する軸に対して、投影画像を構成する画素のヒストグラムを計算する(S1)。次に、ヒストグラムの形状から図形(四角形、三角形、円)を判別する(S2)。すなわち、対象となるヒストグラムと、参照データとしてのヒストグラムの一致度をパターン認識によって求め、一方のヒストグラムを各軸に沿って移動させ、この一致度が最も高くなる二次元図形を決定し、そのヒストグラムの位置を記録する。
【0111】
すなわち、本例の三次元物体認識装置の基本図形適合手段は、直交座標系における投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置とを決定している。すなわち、回転座標系を用いない場合においても、直交座標系の投影画像の画素数分布に基づいて、投影画像の位置とパターンを判別することができる。
【0112】
この方法は、輪郭が多少かけている投影画像に対しても適用することができ、直立した三角形の当てはめにも用いることができる。
【0113】
なお、図19(a)は二次元基本図形が円の場合、図19(b)は二次元基本図形が三角形の場合、図19(c)は二次元基本図形が四角形の場合の投影画像とヒストグラムを示すグラフである。
【0114】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0115】
図20は、二次元基本図形を当てはめる手順を示すフローチャートであり、図21(a)、図21(b)、図21(c)、図21(d)は当該手順を説明するためのグラフである。
【0116】
まず、直線Y=a(変数)を設定し、XY平面において分布する画素群に対して、いずれかの画素(エッジ点)に接するまで直線Y=aを移動させる(S1:図21(a))。次に、エッジ点との設定を中心として、この直線を折り曲げる、すなわち、本例の場合はエッジ点を始点として、いずれかの画素に接するまで線分を回転させる(S2:図21(b))。
【0117】
これらの工程を、最初の線分とクロスするまで、或いは最初の始点画素とクロスするまで続け、多角形を構成し、これによって二次元基本図形を構成する(S3:図21(c))。最後に、1番目と3番目に長い2つの辺を含み、且つ、XY平面に垂直な仮想平面を設定する(S4:図21(d))。
【0118】
すなわち、この基本図形適合部15は、三次元物体画像を1つの仮想平面(XY平面)上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の1番目と3番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめる。
【0119】
この場合、最も長い辺は主要な仮想平面を規定するために用いられるが、2番目に長い辺は1番目に長い辺に対して対向する傾向があり、また、自然界の一般的な物体は対称性を有する傾向があるため、三次元物体の特徴を異なる観点から評価するため、対向傾向のある2番目ではなく、3番目に長い辺を用いる。
【0120】
なお、ステップS4において、二次元基本図形を構成する各辺の長さに有意差がない場合には、二次元基本図形を円又は楕円形と見なす。すなわち、円は中心点からの距離が等しい点の集合であり、また、楕円形はこれに類するものであり、このような図形においては各辺が長さに有意差が無くなる。すなわち、上述の手法により求められる二次元基本図形が多角形であっても、各辺の長さに有意差が無い場合には、これを円形又は楕円形と見なすことができる。
【0121】
なお、「有意差」とは平均値±30%であることと定義する。
【0122】
基本図形適合部15は、投影画像を囲む多角形からなり、その折れ曲がり位置が投影画像内の画素位置となる図形を二次元基本図形として決定することを特徴とする。この場合、投影画像と二次元基本図形の一致度を比較的高くすることができ、この二次元基本図形が投影画像の特徴を比較的的確に反映することとなる。
【0123】
次に、更に別の手法で二次元基本図形を当てはめる基本図形適合部15について説明する。
【0124】
図22は二次元基本図形を当てはめる手順を示すフローチャートであり、図23(a)、図23(b)、図23(c)、図23(d)は当該手順を説明するためのグラフである。
【0125】
まず、各画素を線分化、すなわち投影画像で同一線分上にある画素を一まとまりにする(S1:図23(a))。次に、各線分の傾き毎に、線分の総延長のヒストグラムを計算する(S2)。なお、長い線分は特徴的であるので、重み付けをする。ヒストグラムのピークの角度をもとに四角形、三角形、円を当てはめる(S3)。すなわち、傾きθに対する対象となる投影画像の線分の長さの総和のヒストグラムと、二次元基本図形を与える参照データのヒストグラムとを比較し、これらのパターン一致度が最大となる図形を二次元基本図形として決定し、そのときの回転位置を記録する。
【0126】
なお、図23(b)は投影図形が四角形の場合の傾きθと線分の長さの総和との関係を示し、図23(c)は投影図形が三角形の場合の傾きθと線分の長さの総和との関係を示し、図23(d)は投影図形が円の場合の傾きθと線分の長さの総和との関係を示す。
【0127】
また、仮想平面の設定に関し、ヒストグラムのピークの数が0、2、3以外の場合は、幾つかのピークの中で、大きな傾きを与えるものの方向に投影面を設定する(S4)。
【0128】
以上、本例の基本図形適合部15は、投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて二次元基本図形を決定している。この場合、傾斜角度の分布は投影画像のパターンを反映することとなる。
また、上述の単純立体図形の適用法を用いれば、画像にノイズが含まれる場合や、対象物の一部が遮蔽されている場合においても、情報の補間や不要な情報の削除を行うことも可能となる。
【0129】
【発明の効果】
以上、説明したように、本発明の三次元物体認識装置によれば、画像処理の負荷を低減させることができる。
【図面の簡単な説明】
【図1】三次元物体認識装置が搭載された車両の斜視図である。
【図2】三次元物体認識装置IPのブロック図である。
【図3】TVカメラ1によって得られる二次元画像を示す図である。
【図4】三次元物体認識装置IPの仮想空間内で作成された車両1aの三次元物体画像1Aの斜視図である。
【図5】三次元物体画像1AのXY平面への投影画像を示す図である。
【図6】X’Z平面への三次元物体画像1Aの投影画像1As’を示す図である。
【図7】Y’Z平面への三次元物体画像1Aの投影画像1As”を示す図である。
【図8】上述の二次元基本図形から決定される単純立体図形の斜視図である。
【図9】三次元物体推定部18又は認識部RGにおける物体推定を説明するための図である。
【図10】図3に示した画像における車両1a,1b,1c及び電柱2を単純立体図形によって表示した画像を示す図である。
【図11】図3に示した画像(N番目)の次の画像(N+1番目)を示す図である。
【図12】三次元物体認識装置IPにおける制御を説明するためのフローチャートである。
【図13】直交座標系における仮想平面上に投影させた二次元基本図形と、これらの二次元基本図形に対応する単純立体図形との関係を示す表である。
【図14】二次元基本図形を当てはめる手順を示すフローチャートである。
【図15】図14の手順を説明するためのグラフである。
【図16】二次元基本図形を当てはめる手順を示すフローチャートである。
【図17】図16の手順を説明するためのグラフである。
【図18】二次元基本図形を当てはめる手順を示すフローチャートである。
【図19】二次元基本図形が円の場合の投影画像とヒストグラムを示すグラフである。
【図20】二次元基本図形を当てはめる手順を示すフローチャートである。
【図21】図20の手順を説明するためのグラフである。
【図22】二次元基本図形を当てはめる手順を示すフローチャートである。
【図23】図22の手順を説明するためのグラフである。
【符号の説明】
1,2…TVカメラ、1A…三次元物体画像、1a,1b,1c…車両、2…電柱、3…道路標識、11…物体画像抽出部、12…三次元物体画像合成部、13…仮想平面設定部、14…投影画像作成部、15…基本図形適合部、16…単純立体図形決定部、17…表示制御部、18…三次元物体推定部、18a,18b,18c…識別器、19…移動位置推定部、AM…車両、C1…直方体、DP…表示器、IP…三次元物体認識装置、RG…認識部。
Claims (17)
- 複数の画素を位置に関連づけてなる仮想空間内における三次元物体画像を複数の仮想平面上に投影してなる複数の投影画像のそれぞれに、二次元基本図形を当てはめる基本図形適合手段と、
前記基本図形適合手段によって当てはめられる複数の前記二次元基本図形に基づいて単純立体図形を決定する単純立体図形決定手段と、
を備えることを特徴とする三次元物体認識装置。 - 前記三次元物体を異なる視点から撮影する複数のカメラを更に備えることを特徴とする請求項1に記載の三次元物体認識装置。
- 異なる視点から撮影され前記三次元物体を含む複数の元画像に基づいて、前記三次元物体画像を形成する画像合成手段を更に備えることを特徴とする請求項1に記載の三次元物体認識装置。
- 前記元画像を表示する表示器を更に備えることを特徴とする請求項3に記載の三次元物体認識装置。
- 前記単純立体図形決定手段によって決定された単純立体図形を、前記表示器上に表示される前記三次元物体の位置に表示させる表示制御手段を更に備えることを特徴とする請求項4に記載の三次元物体認識装置。
- 前記三次元物体の数が複数である場合、特定の前記単純立体図形の割合に応じて、この単純立体図形に対応する三次元物体を推定する推定手段を備えることを特徴とする請求項1に記載の三次元物体認識装置。
- 前記三次元物体の数が複数である場合、前記三次元物体の認識が正確に行える可能性の大きさ順に前記三次元物体の順番を決定する優先度決定手段と、前記優先度決定手段によって決定された順番にしたがって、前記投影画像を用いて前記三次元物体の認識を行う認識手段とを備えることを特徴とする請求項1に記載の三次元物体認識装置。
- 仮想空間内における前記単純立体図形内に前記三次元物体画像を配置し、前記単純立体図形を構成する面上に前記三次元物体画像を投影し、この投影画像を用いて前記三次元物体の認識を行う認識手段を更に備えることを特徴とする請求項1に記載の三次元物体認識装置。
- 前記基本図形適合手段は、
前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた二次元基本図形に基づいて、残りの仮想平面を設定して残りの投影画像にも二次元基本図形を当てはめることを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記三次元物体画像を1つの仮想平面上に投影し、この投影画像に当てはめられた多角形からなる二次元基本図形の1番目と3番目に長い辺を含む仮想平面を残りの仮想平面として設定し、これらの残りの仮想平面上にも二次元基本図形を当てはめることを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記投影画像の重心位置回りの回転角度毎の前記投影画像内画素の最大離隔距離を求め、前記回転角と前記最大離隔距離との関係に基づいて、この投影画像に当てはめられる二次元基本図形とこの二次元基本図形の回転位置を決定することを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
直交座標系における前記投影画像に含まれる画素数の分布に基づいて、この投影画像に当てはめられる二次元基本図形と、この二次元基本図形の位置を決定することを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記投影画像内の画素を全て含み、且つ、面積が最小となる図形を二次元基本図形として当てはめることを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記投影画像を囲む多角形からなり、その折れ曲がり位置が前記投影画像内の画素位置となる図形を前記二次元基本図形として決定することを特徴とする請求項1に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記二次元基本図形を構成する各辺の長さに有意差がない場合には、前記二次元基本図形を円又は楕円形と見なすことを特徴とする請求項14に記載の三次元物体認識装置。 - 前記基本図形適合手段は、
前記投影画像に含まれる複数の画素群を通る線分を複数規定し、この線分の傾斜角度の分布に基づいて前記二次元基本図形を決定することを特徴とする請求項1に記載の三次元物体認識装置。 - 前記三次元物体を含む元画像のテクスチャーを用いて、前記三次元物体画像を求めることを特徴とする請求項1に記載の三次元物体認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258174A JP2004094825A (ja) | 2002-09-03 | 2002-09-03 | 三次元物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258174A JP2004094825A (ja) | 2002-09-03 | 2002-09-03 | 三次元物体認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004094825A true JP2004094825A (ja) | 2004-03-25 |
Family
ID=32062905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002258174A Withdrawn JP2004094825A (ja) | 2002-09-03 | 2002-09-03 | 三次元物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004094825A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164549A (ja) * | 2005-12-15 | 2007-06-28 | Hitachi Ltd | 撮像装置、映像信号の選択装置、運転支援装置、自動車 |
JP2007272412A (ja) * | 2006-03-30 | 2007-10-18 | Honda Motor Co Ltd | 車両の走行安全装置 |
JP2008305042A (ja) * | 2007-06-06 | 2008-12-18 | Hitachi Ltd | カーナビゲーション装置、道路標識認識方法およびプログラム |
JP2012198207A (ja) * | 2011-03-18 | 2012-10-18 | Enii Kk | 画像処理装置および方法、ならびに移動体衝突防止装置 |
JP2013020405A (ja) * | 2011-07-11 | 2013-01-31 | Optex Co Ltd | 通行監視装置 |
JP2013542505A (ja) * | 2010-09-29 | 2013-11-21 | アルカテル−ルーセント | 画像内のコンテンツの検閲処理を行うための方法および装置 |
CN108961785A (zh) * | 2018-07-10 | 2018-12-07 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的***及方法 |
WO2020008684A1 (ja) * | 2018-07-04 | 2020-01-09 | オムロン株式会社 | 物体認識装置、物体認識システム、及びプログラム |
WO2021108299A1 (en) | 2019-11-27 | 2021-06-03 | Zoox, Inc. | Updating map data |
CN113313745A (zh) * | 2020-08-05 | 2021-08-27 | 湖南长天自控工程有限公司 | 一种用于原料场的料堆识别***及方法 |
-
2002
- 2002-09-03 JP JP2002258174A patent/JP2004094825A/ja not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164549A (ja) * | 2005-12-15 | 2007-06-28 | Hitachi Ltd | 撮像装置、映像信号の選択装置、運転支援装置、自動車 |
JP2007272412A (ja) * | 2006-03-30 | 2007-10-18 | Honda Motor Co Ltd | 車両の走行安全装置 |
US8010280B2 (en) | 2006-03-30 | 2011-08-30 | Honda Motor Co., Ltd. | Vehicle travel safety device |
JP2008305042A (ja) * | 2007-06-06 | 2008-12-18 | Hitachi Ltd | カーナビゲーション装置、道路標識認識方法およびプログラム |
JP2013542505A (ja) * | 2010-09-29 | 2013-11-21 | アルカテル−ルーセント | 画像内のコンテンツの検閲処理を行うための方法および装置 |
JP2012198207A (ja) * | 2011-03-18 | 2012-10-18 | Enii Kk | 画像処理装置および方法、ならびに移動体衝突防止装置 |
JP2013020405A (ja) * | 2011-07-11 | 2013-01-31 | Optex Co Ltd | 通行監視装置 |
US8873804B2 (en) | 2011-07-11 | 2014-10-28 | Optex Co., Ltd. | Traffic monitoring device |
JPWO2020008684A1 (ja) * | 2018-07-04 | 2021-07-08 | オムロン株式会社 | 物体認識装置、物体認識システム、及びプログラム |
WO2020008684A1 (ja) * | 2018-07-04 | 2020-01-09 | オムロン株式会社 | 物体認識装置、物体認識システム、及びプログラム |
JP7131612B2 (ja) | 2018-07-04 | 2022-09-06 | オムロン株式会社 | 物体認識装置、物体認識システム、及びプログラム |
CN108961785B (zh) * | 2018-07-10 | 2020-10-02 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的***及方法 |
CN108961785A (zh) * | 2018-07-10 | 2018-12-07 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的***及方法 |
WO2021108299A1 (en) | 2019-11-27 | 2021-06-03 | Zoox, Inc. | Updating map data |
EP4066158A4 (en) * | 2019-11-27 | 2024-01-03 | Zoox, Inc. | UPDATING MAP DATA |
CN113313745A (zh) * | 2020-08-05 | 2021-08-27 | 湖南长天自控工程有限公司 | 一种用于原料场的料堆识别***及方法 |
CN113313745B (zh) * | 2020-08-05 | 2022-08-26 | 湖南长天自控工程有限公司 | 一种用于原料场的料堆识别***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10665025B2 (en) | Method and apparatus for representing a virtual object in a real environment | |
US10366538B2 (en) | Method and device for illustrating a virtual object in a real environment | |
KR101359660B1 (ko) | 헤드업 디스플레이를 위한 증강현실 시스템 | |
US8086071B2 (en) | System and method for revealing occluded objects in an image dataset | |
CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和*** | |
US20080278487A1 (en) | Method and Device for Three-Dimensional Rendering | |
JP2003189293A (ja) | 車両周囲状況表示装置および映像提示システム | |
WO2020258286A1 (zh) | 图像处理方法、装置、拍摄装置和可移动平台 | |
JP2004094825A (ja) | 三次元物体認識装置 | |
US20030146922A1 (en) | System and method for diminished reality | |
CN111016787B (zh) | 驾驶中防止视觉疲劳的方法、装置、存储介质及电子设备 | |
CN115119045A (zh) | 基于车载多摄像头的视频生成方法、装置及车载设备 | |
Strigel et al. | Vehicle detection and tracking at intersections by fusing multiple camera views | |
US9906769B1 (en) | Methods and apparatus for collaborative multi-view augmented reality video | |
CN116935281A (zh) | 基于雷达和视频的机动车道异常行为在线监测方法及设备 | |
CA2652522A1 (en) | Multi-tracking of video objects | |
Muller et al. | 3-D reconstruction of a dynamic environment with a fully calibrated background for traffic scenes | |
CN113724335B (zh) | 一种基于单目相机的三维目标定位方法及*** | |
KR101998027B1 (ko) | 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템 | |
CN108564654B (zh) | 三维大场景的画面进入方式 | |
Roessing et al. | Intuitive visualization of vehicle distance, velocity and risk potential in rear-view camera applications | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
EP4170582A1 (en) | Method for removing objects from texture | |
JP7505596B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7328942B2 (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050405 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061220 |