JP2004046574A - 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 - Google Patents
全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004046574A JP2004046574A JP2002203798A JP2002203798A JP2004046574A JP 2004046574 A JP2004046574 A JP 2004046574A JP 2002203798 A JP2002203798 A JP 2002203798A JP 2002203798 A JP2002203798 A JP 2002203798A JP 2004046574 A JP2004046574 A JP 2004046574A
- Authority
- JP
- Japan
- Prior art keywords
- omnidirectional
- image
- information acquisition
- spatial information
- space information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、市街地などの交通渋滞が多い場所での全方位カメラを画像入力装置として使った屋外撮影において、多視点の時系列画像データを効率的に取得し、その取得した時系列画像から外界に関する高精度の空間情報を獲得できるようにする新たな全周囲空間情報獲得技術の提供を目的とする。
【解決手段】全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、全周囲に渡る外界の空間情報を獲得、復元するように処理する。これにより、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させることなく、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【選択図】 図1
【解決手段】全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、全周囲に渡る外界の空間情報を獲得、復元するように処理する。これにより、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させることなく、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、多視点の全方位画像を使って空間情報を獲得する全周囲空間情報獲得方法及びその装置と、その全周囲空間情報獲得方法の実現に用いられる全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体とに関する。
【0002】
海上からの屋外映像や車両からの車載映像などから屋外の空間的構造を測定できるようになると、新たな応用分野が開かれることが期待される。これから、そのような測定技術の構築が叫ばれている。
【0003】
【従来の技術】
これまで、複数のカメラを使用した多眼計測(文献1)や、単眼カメラで撮影した各々の時系列画像などの多視点画像からの物体形状認識、物体形状獲得、物体形状復元が提案されてきた(文献2)。
【0004】
文献1:奥富正敏、金出武雄; “複数の基線長を利用したステレオマッチング”,電子情報通信学会論文誌D−II Vol.J75−DII No.8, 1992−8.
文献2:C.Tomasi and T.Kanade;”Shape and Motion from Image Streams Under Orthography: A Factorization Method”, International Journal of Computer Vision, Vol.9, No.2, 1992.
これらの手法の多くは、時間的冗長性を生かした「動きからの形状取得(Shape from Motion)」の原理に基づいており、従来のステレオ視や三角測量を用いた計測方法と同等の精度で物体形状を獲得、復元する性能があり、オペレータ介在を必要としない自動型の空間情報獲得システムに適している。
【0005】
【発明が解決しようとする課題】
しかしながら、従来技術では有限画角のカメラを用いており、これから、従来技術に従っていると、大局的な映像シーンを使った空間情報の獲得処理を実現できないという問題がある。
【0006】
一方、全方位カメラは、一度に360 度の景観を撮影可能であり、マシン・ナビゲーション、自動走行や運動制御を目的とした視覚センサとして応用が行われてきた。全方位カメラは、大局的な映像シーンを取得する手段として有効であり、特に、屋外撮影においては多様な建物を撮影することができる。
【0007】
しかし、全方位カメラを使うと、360 度の景観をイメージサークルの内部へ投影することから、全方位画像の中心から遠ざかるに従い、空間解像度として不均一な画素量子化により幾何情報が潰れるといった問題がある。
【0008】
こうした問題に対して、全方位画像へ Shape from Motion原理を利用することで、従来のコンピュータビジョン的アプローチにより空間情報を獲得、復元するという方法も試みられているが、屋外で使用した場合の画像計測時の雑音の影響は大きく、空間情報の獲得、復元の精度は悪い。
【0009】
また、一般道路を走行しながら様々な建物の映像を取得する撮影環境では、市街地特有の混雑のために撮影に適した環境が必ずしも存在するわけではなく、これから、従来技術に従っていると、空間情報獲得のための最低限の時系列画像から、外界の空間形状、空間構造を獲得、復元しなければならないという制約がある。
【0010】
本発明は、このような従来技術の持つ問題を背景にしてなされたものであり、市街地などの交通渋滞が多い場所での全方位カメラを画像入力装置として使った屋外撮影において、多視点の時系列画像データを効率的に取得し、その取得した時系列画像から外界に関する高精度の空間情報を獲得できるようにする新たな全周囲空間情報獲得技術の提供を目的とする。
【0011】
【課題を解決するための手段】
本発明の全周囲空間情報獲得装置は、画像入力装置により取得した多視点の全方位画像から空間情報を獲得する処理を行うものであって、▲1▼画像入力装置を移動させる移動手段と、▲2▼移動手段を制御することにより画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する取得手段と、▲3▼取得手段の取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する検出手段と、▲4▼取得手段の取得した視点位置の位置情報と、検出手段の検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する獲得手段とを備えるように構成する。
【0012】
このように構成される本発明の全周囲空間情報獲得装置が動作することで実現される本発明の全周囲空間情報獲得方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【0013】
本発明の全周囲空間情報獲得装置では、画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する。
【0014】
例えば、▲1▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲2▼基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲3▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定し、さらに、その基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得するのである。
【0015】
このとき、1台の画像入力装置を複数の基準位置に移動させることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したり、複数の基準位置に対応付けて複数台数の画像入力装置を備えることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したりすることなどにより、基準位置を複数設定して、それらの基準位置ごとに複数の視点位置を設定するように処理することがある。
【0016】
このようにして、各視点位置での全方位画像と、各視点位置の位置情報とを取得すると、本発明の全周囲空間情報獲得装置では、その取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定して、その特徴点の動き情報を検出し、そして、その取得した視点位置の位置情報と、その検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する。
【0017】
このように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【0018】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【0019】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0020】
本発明は、全方位カメラから取得した多視点の全方位画像をデータ蓄積部へ格納しつつ、その蓄積した時系列の全方位画像での特徴点の時間的変動と、その全方位画像を取得したときの全方位カメラの位置情報とを使い、多視点のステレオ視を応用した方法でもって、外界の物体の形状や構造などの空間情報を獲得する処理を行う。
【0021】
図1に、本発明の一実施形態例を図示する。
【0022】
この図に示す実施形態例では、本発明の全周囲空間情報獲得装置10を自動車1に搭載することを想定しており、この自動車1には、▲1▼魚眼レンズなどで構成される全方位カメラ2と、▲2▼回転体5の先端に全方位カメラ2を取り付けて、設定される基準位置を回転中心として全方位カメラ2を回転させるとともに、自動車1のルーフ部分に設けられる2次元移動用レール6を移動することで、その基準位置を変更する移動回転機構3と、▲3▼移動回転機構3に対応付けて設けられて、移動回転機構3の回転中心となる基準位置を検出するとともに、移動回転機構3の回転角度を検出する位置回転検出センサ4とを備える。
【0023】
この自動車1に搭載される全方位カメラ2/移動回転機構3/位置回転検出センサ4を受けて、本発明の全周囲空間情報獲得装置10は、図2に示すように、全方位画像取得部20と、移動回転制御部21と、全方位カメラ位置取得部22と、全体制御部23と、データベース部24と、特徴点探索部25と、空間情報獲得部26とを備える。
【0024】
この全方位画像取得部20は、全体制御部23からの取得指示を受けて、全方位カメラ2の撮影する全方位画像を取得することで、多視点の全方位画像を取得する。
【0025】
移動回転制御部21は、全体制御部23からの回転指示を受けて、移動回転機構3を回転させることで基準位置を回転中心として全方位カメラ2を反時計周りに回転させ、また、全体制御部23からの移動指示を受けて、移動回転機構3を2次元移動用レール6上を移動させることで、回転中心となる基準位置を変更する。
【0026】
全方位カメラ位置取得部22は、全体制御部23からの取得指示を受けて、位置回転検出センサ4の検出値に従って、全方位カメラ2の回転中心となる基準位置を取得するとともに、全方位カメラ2の回転角度を取得し、それに基づいて、全方位画像が取得されたときの全方位カメラ2の位置情報を取得する。
【0027】
全体制御部23は、全方位画像の取得処理と、全方位カメラ2の回転処理と、全方位カメラ2の回転中心となる基準位置の設定処理と、全方位カメラ2の位置情報の取得処理とを制御する。
【0028】
データベース部24は、全方位画像取得部20により取得された全方位画像と、全方位カメラ位置取得部22により取得された全方位画像が取得されたときの全方位カメラの位置情報とを蓄積する。
【0029】
特徴点探索部25は、データベース部24に蓄積される画像データの持つ特徴点を時間的に追跡(探索)することで、その特徴点の時間的変動を取得する。
【0030】
空間情報獲得部26は、特徴点探索部25により取得された特徴点の時間的変動と、データベース部24に蓄積される全方位カメラの位置情報とから、外界の物体の形状や構造などの空間情報を獲得する。
【0031】
図3に、このように構成される本発明の全周囲空間情報獲得装置10の実行する処理フローの一実施形態例を図示する。
【0032】
ここで、以下の説明では、魚眼レンズなどを利用して、等距離投影(光軸からの入射角に比例した投影)の光学系を組み込んだ全方位カメラ2を利用した場合について説明する。なお、本発明は、他の全方位カメラ2で取得した時系列画像に対しても適用可能であることは言うまでもない。
【0033】
図3の処理フローの説明に入る前に、図4及び図5を使って、全方位カメラ2と外界の物体との幾何的位置関係、および本発明で用いているカメラパラメータについて説明しておく。
【0034】
図4に、XY平面での外界の物体と全方位カメラ2の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【0035】
図4に示すように、空間中に設定したXYZ座標系を基準座標系として、この座標系における外界の物体上の点の空間情報を(Xj,Yj,Zj )と表すならば、本発明の全周囲空間情報獲得装置10は、この物体上の点の空間情報(Xj,Yj,Zj )を獲得する処理を行う。
【0036】
前述したように、本発明では、このXYZ座標系において、時間とともに全方位カメラ2の視点が移動することになる。
【0037】
このとき、図4に示すように、全方位カメラ2に設定した座標系X0 Y0 が、XY平面において、全方位カメラ2の視点の光軸と平行なZ軸の周りで回転した角(X0 軸とX軸とのなす角)をθ0iとし、視点の位置を(Txi, Tyi)として移動するものとする。
【0038】
本発明の全周囲空間情報獲得装置10は、本発明に従って外界の物体の空間情報(Xj,Yj,Zj )を獲得するために、このXY平面の位置(Txi, Tyi)の時間的変化と、方位角θ0iの時間的変化とを獲得することになる。
【0039】
なお、説明の便宜上、初期状態においては、全方位カメラ2の視点に設定したX0 Y0 座標系の方向と基準座標系のXY座標系の方向とは一致しているものとする。すなわち、初期状態においては、「θ0i=0」であるとする。
【0040】
また、全方位カメラ2の視点のZ軸方向の並進運動、すなわち、光学中心(Txi, Tyi)のZ軸方向の並進運動はないものとし、方位角θ0i以外の角の時間的変化、すなわち、X0 軸周りの回転の時間的変化やY0 軸周りの回転の時間的変化はないものとする。
【0041】
また、全方位カメラ2の視点である光学中心(Txi, Tyi)と外界の物体上の点(Xj,Yj,Zj )とを結んだ直線をXY平面に投影した直線、すなわち、(Txi, Tyi)と(Xj,Yj,0)とを結んだ直線と、X0 軸とのなす角をρijとする。
【0042】
一方、図5に、YZ平面での外界の物体と全方位カメラ2の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【0043】
全方位カメラ2の視点である光学中心(Txi, Tyi)と外界の物体上の点(Xj,Yj,Zj )とを結んだ直線と、XY平面とのなす角φijとする。
【0044】
加えて、魚眼レンズの光学的性質として、図6に示すように、図5で説明した外界の物体上の点(Xj,Yj,Zj )と全方位カメラの視点である光学中心(Txi, Tyi)とを結んだ場合の入射角をφijとすると、光軸に入射した光(φij=90度)が画像上の画像中心(Cx,Cy )に投影され、XY平面で入射した光(φij=0度)がイメージサークル(全方位画像として映る画像での限界)上に投影される。
【0045】
また、魚眼レンズは光学的に等距離投影で設計されており、入射角をφijとした場合、その角度に比例して画像中心(Cx,Cy ) からの距離Rijに投影されることになる。ここで、焦点距離をfとし、Qを比例定数(1画素あたりの重み付け)とすると、等距離投影では、
Q×Rij=f×[(π/2)−φij]
Rij:画像中心(Cx,Cy ) と投影点との間の距離
が成立する。
【0046】
また、投影点の画像座標値を(xij, yij)とした場合、
Q×[(xij−Cx )2+(yij−Cy )2]1/2=f×[(π/2)−φij]
φij=(π/2)−(Q/f)[(xij−Cx )2+(yij−Cy )2]1/2
というように表現できる。
【0047】
一方、外界の物体の点は、この全方位カメラ2の光学的性質により、全方位画像上において、図7に示すように、W×Hの画像サイズ(全方位カメラ2の仕様により定められる)で、H/2の半径のイメージサークルより内側の点(xij, yij)に投影される。なお、この図では、「W>H」を想定している。
【0048】
ここで、X0 軸およびY0 軸がそれぞれ全方位画像上のx0 軸およびy0 軸に投影されるとすると、(Txi, Tyi)と(Xj,Yj,0)とを結んだ直線とX0 軸とのなす角をρijは、光学的性質から、
ρij=tan((yij−Cy )/(xij−Cx ))
で表現できる。
【0049】
以上に説明した、外界の物体と全方位カメラ2の視点の位置の幾何学的配置、全方位カメラ2の光学的性質、およびカメラパラメータを前提として、図3に示す処理フローに従って、本発明の全周囲空間情報獲得装置10により実行される空間情報の獲得処理について説明する。
【0050】
なお、説明の便宜上、前述したように、X0 軸およびY0 軸周りの全方位カメラ2本体の回転はないものとする。
【0051】
本発明の全周囲空間情報獲得装置10は、図3の処理フローに示すように、前述したような外界の物体と全方位カメラ2の視点位置において、先ず最初に、初期状態とする全方位カメラ2の位置での全方位画像と、その位置情報(後述することから分かるように、位置回転検出センサ4の検出する前述した基準位置で特定されることになる)とを取得する。このときの位置を初期位置とする。
【0052】
ここで、初期状態のときでない場合(基準位置が新たなものに変更となる場合以外の状態)には、位置回転検出センサ4の検出する初期位置からの全方位カメラ2の回転角度を取得し、その取得した回転角度に基づいて、全方位カメラ2の位置情報を取得することになる。
【0053】
すなわち、全方位カメラ2は、移動回転制御部21により基準位置を回転中心として回転することになるので、全方位カメラ2の位置情報については、位置回転検出センサ4の検出する初期位置からの全方位カメラ2の回転角度により取得することが可能である。
【0054】
図1に示す構成から分かるように、この実施形態例の場合には、全方位カメラ2は、図8に示すように、基準位置を回転中心とした半径Lの円周上を反時計周りに回転しながら移動することになる。
【0055】
この図8において、Xt 軸を基準の軸とし、全方位カメラ2が回転移動したときについて説明する。
【0056】
移動回転機構3により回転する回転体5の中心、すなわち、基準位置(Xs,Ys,Zs )が予め規定されているので、この点を原点とする座標系Xt Yt を設定し、全方位カメラ2を移動させる前の初期位置として、Xt 軸に沿った距離Lのところを移動開始位置とする。この初期位置での全方位カメラ2の座標は(Xs +L,Ys,Zs )となり、この初期位置についての絶対的な位置情報については、初期状態のときに取得する基準位置(Xs,Ys,Zs )と予め規定されている半径Lとを加算することで取得する。
【0057】
一方、初期位置以外の全方位カメラ2の絶対的な位置情報(Txi, Tyi,Tzi)については、全方位カメラ2の回転角度θi を使い、図9に示す算出式に従って求める。
【0058】
このようにして、本発明の全周囲空間情報獲得装置10は、移動回転制御部21により全方位カメラ2を回転させながら、各々の位置での全方位画像を取得し、それと同時に、そのときの位置情報を、基準位置(Xs,Ys,Zs )と回転角θi と半径Lとにより図9に示す算出式に従って逐次算出する。
【0059】
図10に、この状況での外界物体と全方位カメラ2との関係を図示する。
【0060】
この図10では、F個の視点での全方位画像を取得したときの状況を例にしており、位置1、位置2、・・・、位置Fの各位置で取得した全方位画像と、それらの各位置の位置情報とに基づいて、外界の物体上の点(Xj,Yj,Zj )を獲得する例について説明する。
【0061】
外界の物体上の点(Xj,Yj,Zj )が位置1で全方位カメラ2に撮影されたときに投影される画像座標値を(x1j,y1j)とし、その物体上の点(Xj,Yj,Zj )が位置2で全方位カメラ2に撮影されたときに投影される画像座標値を(x2j,y2j)とし、以下同様にして、その物体上の点(Xj,Yj,Zj )が位置Fで全方位カメラ2に撮影されたときに投影される画像座標値を(xFj,yFj)とする。
【0062】
図10に示す例は、Z軸方向(全方位カメラ2の光軸方向)の移動がない場合、すなわち、「Tz1=Tz2=‥‥=TzF」の場合を想定している。
【0063】
このようにして取得した多視点の全方位画像から、特徴点(j=1,2,…,P;合計でP個)ごとに、画像座標値(xij,yij)を計測して、この計測した画像座標値(xij,yij)と、前述した
φij=(π/2)−(Q/f)[(xij−Cx )2+(yij−Cy )2]1/2
ρij=tan((yij−Cy )/(xij−Cx ))
とにより、画像上の位相角ρijと仰角φijとを求める。
【0064】
なお、特徴点を抽出するアルゴリズムについては、公知の画像処理技術(エッジ検出、ハフ変換、交点検出など)を用いることが可能である。
【0065】
さらに、各々の視点の位置を図9に示す算出式を使って求め、続いて、それらの各視点位置の方位角θi ( 図10に示すもの)から、図11及び図12に示す計算式を使って、特徴点(j=1,2,…,P)ごとに、空間情報(Xj,Yj,Zj )を獲得する。
【0066】
ここで、図11に示す計算式において、λijは、第i番目の全方位カメラ視点位置(Txi, Tyi,Tzi)から空間点(Xj,Yj,Zj )までの距離を示している。
【0067】
この方法により基準位置を固定して、全方位カメラ2を回転させ、次々と空間情報を獲得し、それが終了すると、次の位置に基準位置を移動させて、さらに、全方位カメラ2を同様の方法に従って回転させることにより、空間情報(空間の構造や形状を示している)を全周囲的に獲得することができるようになる。
【0068】
以上に説明した実施形態例では、基準位置を回転中心として全方位カメラ2を回転させることで全方位画像の時系列画像を取得し、その回転により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いたが、図13に示すように、基準位置を基準にして全方位カメラ2を光軸方向(Z軸方向)に移動させることで全方位画像の時系列画像を取得し、その移動により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いることも可能である。
【0069】
この場合には、基準位置を(Xs,Ys,Zs )としたときに、各々の位置での全方位カメラ2の座標(Txi, Tyi,Tzi)は、
Txi=Xs
Tyi=Ys
Tzi=Zs +ΔZi
但し、i=1,2,‥‥,N
となる。
【0070】
ここで、ΔZi については、等間隔であってもよいし、ランダムな間隔であってもよい。
【0071】
このとき、対象とする空間点の画像座標値(xij,yij)と、基準位置(Xs,Ys,Zs )と、Z軸方向に移動させたときの各々の全方位カメラ2の視点位置(Txi, Tyi,Tzi)とを、図14及び図15に示す計算式に代入して、その空間点の空間情報を獲得する。
【0072】
ここで、この実施形態例では、 [P] において、「θ1 =θ2 =‥‥=θN =θ」、「ρ1j=ρ2j=‥‥=ρNj」である。
【0073】
また、全方位カメラ2を回転させながら取得した全方位画像と、全方位カメラ2を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いることも可能である。
【0074】
この場合には、基準位置を(Xs,Ys,Zs )としたときに、各々の位置での全方位カメラ2の座標(Txi, Tyi,Tzi)は、
Txi=Xs +ΔXi
Tyi=Ys +ΔYi
Tzi=Zs +ΔZi
但し、i=1,2,‥‥,M
となる。
【0075】
ここで、ΔXi,ΔYi については、図9に示す算出式に従って求められる。また、ΔZi については、等間隔であってもよいし、ランダムな間隔であってもよい。
【0076】
このとき、図16及び図17に示す計算式に代入して、対象とする空間点の空間情報を獲得する。
【0077】
このように、全方位カメラ2を回転させながら取得した全方位画像と、全方位カメラ2を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いると、様々な視点から見た全方位画像が得られることから、対象とする空間点の空間情報を高精度に獲得できるようになる。
【0078】
図に示した実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、全方位カメラ2を1台用意する構成を採って、それを各々の基準位置まで移動させて、そこで、基準位置を回転中心として全方位カメラ2を回転させるという構成を一例として示したが、基準位置に対応付けて複数の全方位カメラ2を複数台用意する構成を採って、それぞれの全方位カメラ2を対応付けられる基準位置を回転中心として回転させるという構成を用いることでもよい。
【0079】
また、実施形態例では、自動車1を停止させて空間情報を獲得することで説明したが、GPSなどを使って自動車1の移動位置を取得して、それに基づいて全方位カメラ2の位置を補正するようにすれば、自動車1が走行中であっても空間情報を獲得できるようになることは言うまでもない。
【0080】
【発明の効果】
以上説明したように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【0081】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態例である。
【図2】本発明の一実施形態例である。
【図3】本発明の実行する処理フローの一実施形態例である。
【図4】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図5】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図6】魚眼レンズの等距離投影による光学射影の説明図である。
【図7】全方位画像上の座標値の説明図である。
【図8】全方位カメラの視点の動きの一例である。
【図9】全方位カメラの位置情報の算出式の説明図である。
【図10】空間情報の獲得処理の説明図である。
【図11】空間情報の算出式の説明図である。
【図12】空間情報の算出式の説明図である。
【図13】空間情報の獲得処理の説明図である。
【図14】空間情報の算出式の説明図である。
【図15】空間情報の算出式の説明図である。
【図16】空間情報の算出式の説明図である。
【図17】空間情報の算出式の説明図である。
【符号の説明】
1 自動車
2 全方位カメラ
3 移動回転機構
4 位置回転検出センサ
5 回転体
6 2次元移動用レール
10 全周囲空間情報獲得装置
20 全方位画像取得部
21 移動回転制御部
22 全方位カメラ位置取得部
23 全体制御部
24 データベース部
25 特徴点探索部
26 空間情報獲得部
【発明の属する技術分野】
本発明は、多視点の全方位画像を使って空間情報を獲得する全周囲空間情報獲得方法及びその装置と、その全周囲空間情報獲得方法の実現に用いられる全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体とに関する。
【0002】
海上からの屋外映像や車両からの車載映像などから屋外の空間的構造を測定できるようになると、新たな応用分野が開かれることが期待される。これから、そのような測定技術の構築が叫ばれている。
【0003】
【従来の技術】
これまで、複数のカメラを使用した多眼計測(文献1)や、単眼カメラで撮影した各々の時系列画像などの多視点画像からの物体形状認識、物体形状獲得、物体形状復元が提案されてきた(文献2)。
【0004】
文献1:奥富正敏、金出武雄; “複数の基線長を利用したステレオマッチング”,電子情報通信学会論文誌D−II Vol.J75−DII No.8, 1992−8.
文献2:C.Tomasi and T.Kanade;”Shape and Motion from Image Streams Under Orthography: A Factorization Method”, International Journal of Computer Vision, Vol.9, No.2, 1992.
これらの手法の多くは、時間的冗長性を生かした「動きからの形状取得(Shape from Motion)」の原理に基づいており、従来のステレオ視や三角測量を用いた計測方法と同等の精度で物体形状を獲得、復元する性能があり、オペレータ介在を必要としない自動型の空間情報獲得システムに適している。
【0005】
【発明が解決しようとする課題】
しかしながら、従来技術では有限画角のカメラを用いており、これから、従来技術に従っていると、大局的な映像シーンを使った空間情報の獲得処理を実現できないという問題がある。
【0006】
一方、全方位カメラは、一度に360 度の景観を撮影可能であり、マシン・ナビゲーション、自動走行や運動制御を目的とした視覚センサとして応用が行われてきた。全方位カメラは、大局的な映像シーンを取得する手段として有効であり、特に、屋外撮影においては多様な建物を撮影することができる。
【0007】
しかし、全方位カメラを使うと、360 度の景観をイメージサークルの内部へ投影することから、全方位画像の中心から遠ざかるに従い、空間解像度として不均一な画素量子化により幾何情報が潰れるといった問題がある。
【0008】
こうした問題に対して、全方位画像へ Shape from Motion原理を利用することで、従来のコンピュータビジョン的アプローチにより空間情報を獲得、復元するという方法も試みられているが、屋外で使用した場合の画像計測時の雑音の影響は大きく、空間情報の獲得、復元の精度は悪い。
【0009】
また、一般道路を走行しながら様々な建物の映像を取得する撮影環境では、市街地特有の混雑のために撮影に適した環境が必ずしも存在するわけではなく、これから、従来技術に従っていると、空間情報獲得のための最低限の時系列画像から、外界の空間形状、空間構造を獲得、復元しなければならないという制約がある。
【0010】
本発明は、このような従来技術の持つ問題を背景にしてなされたものであり、市街地などの交通渋滞が多い場所での全方位カメラを画像入力装置として使った屋外撮影において、多視点の時系列画像データを効率的に取得し、その取得した時系列画像から外界に関する高精度の空間情報を獲得できるようにする新たな全周囲空間情報獲得技術の提供を目的とする。
【0011】
【課題を解決するための手段】
本発明の全周囲空間情報獲得装置は、画像入力装置により取得した多視点の全方位画像から空間情報を獲得する処理を行うものであって、▲1▼画像入力装置を移動させる移動手段と、▲2▼移動手段を制御することにより画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する取得手段と、▲3▼取得手段の取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する検出手段と、▲4▼取得手段の取得した視点位置の位置情報と、検出手段の検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する獲得手段とを備えるように構成する。
【0012】
このように構成される本発明の全周囲空間情報獲得装置が動作することで実現される本発明の全周囲空間情報獲得方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【0013】
本発明の全周囲空間情報獲得装置では、画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する。
【0014】
例えば、▲1▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲2▼基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲3▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定し、さらに、その基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得するのである。
【0015】
このとき、1台の画像入力装置を複数の基準位置に移動させることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したり、複数の基準位置に対応付けて複数台数の画像入力装置を備えることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したりすることなどにより、基準位置を複数設定して、それらの基準位置ごとに複数の視点位置を設定するように処理することがある。
【0016】
このようにして、各視点位置での全方位画像と、各視点位置の位置情報とを取得すると、本発明の全周囲空間情報獲得装置では、その取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定して、その特徴点の動き情報を検出し、そして、その取得した視点位置の位置情報と、その検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する。
【0017】
このように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【0018】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【0019】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0020】
本発明は、全方位カメラから取得した多視点の全方位画像をデータ蓄積部へ格納しつつ、その蓄積した時系列の全方位画像での特徴点の時間的変動と、その全方位画像を取得したときの全方位カメラの位置情報とを使い、多視点のステレオ視を応用した方法でもって、外界の物体の形状や構造などの空間情報を獲得する処理を行う。
【0021】
図1に、本発明の一実施形態例を図示する。
【0022】
この図に示す実施形態例では、本発明の全周囲空間情報獲得装置10を自動車1に搭載することを想定しており、この自動車1には、▲1▼魚眼レンズなどで構成される全方位カメラ2と、▲2▼回転体5の先端に全方位カメラ2を取り付けて、設定される基準位置を回転中心として全方位カメラ2を回転させるとともに、自動車1のルーフ部分に設けられる2次元移動用レール6を移動することで、その基準位置を変更する移動回転機構3と、▲3▼移動回転機構3に対応付けて設けられて、移動回転機構3の回転中心となる基準位置を検出するとともに、移動回転機構3の回転角度を検出する位置回転検出センサ4とを備える。
【0023】
この自動車1に搭載される全方位カメラ2/移動回転機構3/位置回転検出センサ4を受けて、本発明の全周囲空間情報獲得装置10は、図2に示すように、全方位画像取得部20と、移動回転制御部21と、全方位カメラ位置取得部22と、全体制御部23と、データベース部24と、特徴点探索部25と、空間情報獲得部26とを備える。
【0024】
この全方位画像取得部20は、全体制御部23からの取得指示を受けて、全方位カメラ2の撮影する全方位画像を取得することで、多視点の全方位画像を取得する。
【0025】
移動回転制御部21は、全体制御部23からの回転指示を受けて、移動回転機構3を回転させることで基準位置を回転中心として全方位カメラ2を反時計周りに回転させ、また、全体制御部23からの移動指示を受けて、移動回転機構3を2次元移動用レール6上を移動させることで、回転中心となる基準位置を変更する。
【0026】
全方位カメラ位置取得部22は、全体制御部23からの取得指示を受けて、位置回転検出センサ4の検出値に従って、全方位カメラ2の回転中心となる基準位置を取得するとともに、全方位カメラ2の回転角度を取得し、それに基づいて、全方位画像が取得されたときの全方位カメラ2の位置情報を取得する。
【0027】
全体制御部23は、全方位画像の取得処理と、全方位カメラ2の回転処理と、全方位カメラ2の回転中心となる基準位置の設定処理と、全方位カメラ2の位置情報の取得処理とを制御する。
【0028】
データベース部24は、全方位画像取得部20により取得された全方位画像と、全方位カメラ位置取得部22により取得された全方位画像が取得されたときの全方位カメラの位置情報とを蓄積する。
【0029】
特徴点探索部25は、データベース部24に蓄積される画像データの持つ特徴点を時間的に追跡(探索)することで、その特徴点の時間的変動を取得する。
【0030】
空間情報獲得部26は、特徴点探索部25により取得された特徴点の時間的変動と、データベース部24に蓄積される全方位カメラの位置情報とから、外界の物体の形状や構造などの空間情報を獲得する。
【0031】
図3に、このように構成される本発明の全周囲空間情報獲得装置10の実行する処理フローの一実施形態例を図示する。
【0032】
ここで、以下の説明では、魚眼レンズなどを利用して、等距離投影(光軸からの入射角に比例した投影)の光学系を組み込んだ全方位カメラ2を利用した場合について説明する。なお、本発明は、他の全方位カメラ2で取得した時系列画像に対しても適用可能であることは言うまでもない。
【0033】
図3の処理フローの説明に入る前に、図4及び図5を使って、全方位カメラ2と外界の物体との幾何的位置関係、および本発明で用いているカメラパラメータについて説明しておく。
【0034】
図4に、XY平面での外界の物体と全方位カメラ2の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【0035】
図4に示すように、空間中に設定したXYZ座標系を基準座標系として、この座標系における外界の物体上の点の空間情報を(Xj,Yj,Zj )と表すならば、本発明の全周囲空間情報獲得装置10は、この物体上の点の空間情報(Xj,Yj,Zj )を獲得する処理を行う。
【0036】
前述したように、本発明では、このXYZ座標系において、時間とともに全方位カメラ2の視点が移動することになる。
【0037】
このとき、図4に示すように、全方位カメラ2に設定した座標系X0 Y0 が、XY平面において、全方位カメラ2の視点の光軸と平行なZ軸の周りで回転した角(X0 軸とX軸とのなす角)をθ0iとし、視点の位置を(Txi, Tyi)として移動するものとする。
【0038】
本発明の全周囲空間情報獲得装置10は、本発明に従って外界の物体の空間情報(Xj,Yj,Zj )を獲得するために、このXY平面の位置(Txi, Tyi)の時間的変化と、方位角θ0iの時間的変化とを獲得することになる。
【0039】
なお、説明の便宜上、初期状態においては、全方位カメラ2の視点に設定したX0 Y0 座標系の方向と基準座標系のXY座標系の方向とは一致しているものとする。すなわち、初期状態においては、「θ0i=0」であるとする。
【0040】
また、全方位カメラ2の視点のZ軸方向の並進運動、すなわち、光学中心(Txi, Tyi)のZ軸方向の並進運動はないものとし、方位角θ0i以外の角の時間的変化、すなわち、X0 軸周りの回転の時間的変化やY0 軸周りの回転の時間的変化はないものとする。
【0041】
また、全方位カメラ2の視点である光学中心(Txi, Tyi)と外界の物体上の点(Xj,Yj,Zj )とを結んだ直線をXY平面に投影した直線、すなわち、(Txi, Tyi)と(Xj,Yj,0)とを結んだ直線と、X0 軸とのなす角をρijとする。
【0042】
一方、図5に、YZ平面での外界の物体と全方位カメラ2の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【0043】
全方位カメラ2の視点である光学中心(Txi, Tyi)と外界の物体上の点(Xj,Yj,Zj )とを結んだ直線と、XY平面とのなす角φijとする。
【0044】
加えて、魚眼レンズの光学的性質として、図6に示すように、図5で説明した外界の物体上の点(Xj,Yj,Zj )と全方位カメラの視点である光学中心(Txi, Tyi)とを結んだ場合の入射角をφijとすると、光軸に入射した光(φij=90度)が画像上の画像中心(Cx,Cy )に投影され、XY平面で入射した光(φij=0度)がイメージサークル(全方位画像として映る画像での限界)上に投影される。
【0045】
また、魚眼レンズは光学的に等距離投影で設計されており、入射角をφijとした場合、その角度に比例して画像中心(Cx,Cy ) からの距離Rijに投影されることになる。ここで、焦点距離をfとし、Qを比例定数(1画素あたりの重み付け)とすると、等距離投影では、
Q×Rij=f×[(π/2)−φij]
Rij:画像中心(Cx,Cy ) と投影点との間の距離
が成立する。
【0046】
また、投影点の画像座標値を(xij, yij)とした場合、
Q×[(xij−Cx )2+(yij−Cy )2]1/2=f×[(π/2)−φij]
φij=(π/2)−(Q/f)[(xij−Cx )2+(yij−Cy )2]1/2
というように表現できる。
【0047】
一方、外界の物体の点は、この全方位カメラ2の光学的性質により、全方位画像上において、図7に示すように、W×Hの画像サイズ(全方位カメラ2の仕様により定められる)で、H/2の半径のイメージサークルより内側の点(xij, yij)に投影される。なお、この図では、「W>H」を想定している。
【0048】
ここで、X0 軸およびY0 軸がそれぞれ全方位画像上のx0 軸およびy0 軸に投影されるとすると、(Txi, Tyi)と(Xj,Yj,0)とを結んだ直線とX0 軸とのなす角をρijは、光学的性質から、
ρij=tan((yij−Cy )/(xij−Cx ))
で表現できる。
【0049】
以上に説明した、外界の物体と全方位カメラ2の視点の位置の幾何学的配置、全方位カメラ2の光学的性質、およびカメラパラメータを前提として、図3に示す処理フローに従って、本発明の全周囲空間情報獲得装置10により実行される空間情報の獲得処理について説明する。
【0050】
なお、説明の便宜上、前述したように、X0 軸およびY0 軸周りの全方位カメラ2本体の回転はないものとする。
【0051】
本発明の全周囲空間情報獲得装置10は、図3の処理フローに示すように、前述したような外界の物体と全方位カメラ2の視点位置において、先ず最初に、初期状態とする全方位カメラ2の位置での全方位画像と、その位置情報(後述することから分かるように、位置回転検出センサ4の検出する前述した基準位置で特定されることになる)とを取得する。このときの位置を初期位置とする。
【0052】
ここで、初期状態のときでない場合(基準位置が新たなものに変更となる場合以外の状態)には、位置回転検出センサ4の検出する初期位置からの全方位カメラ2の回転角度を取得し、その取得した回転角度に基づいて、全方位カメラ2の位置情報を取得することになる。
【0053】
すなわち、全方位カメラ2は、移動回転制御部21により基準位置を回転中心として回転することになるので、全方位カメラ2の位置情報については、位置回転検出センサ4の検出する初期位置からの全方位カメラ2の回転角度により取得することが可能である。
【0054】
図1に示す構成から分かるように、この実施形態例の場合には、全方位カメラ2は、図8に示すように、基準位置を回転中心とした半径Lの円周上を反時計周りに回転しながら移動することになる。
【0055】
この図8において、Xt 軸を基準の軸とし、全方位カメラ2が回転移動したときについて説明する。
【0056】
移動回転機構3により回転する回転体5の中心、すなわち、基準位置(Xs,Ys,Zs )が予め規定されているので、この点を原点とする座標系Xt Yt を設定し、全方位カメラ2を移動させる前の初期位置として、Xt 軸に沿った距離Lのところを移動開始位置とする。この初期位置での全方位カメラ2の座標は(Xs +L,Ys,Zs )となり、この初期位置についての絶対的な位置情報については、初期状態のときに取得する基準位置(Xs,Ys,Zs )と予め規定されている半径Lとを加算することで取得する。
【0057】
一方、初期位置以外の全方位カメラ2の絶対的な位置情報(Txi, Tyi,Tzi)については、全方位カメラ2の回転角度θi を使い、図9に示す算出式に従って求める。
【0058】
このようにして、本発明の全周囲空間情報獲得装置10は、移動回転制御部21により全方位カメラ2を回転させながら、各々の位置での全方位画像を取得し、それと同時に、そのときの位置情報を、基準位置(Xs,Ys,Zs )と回転角θi と半径Lとにより図9に示す算出式に従って逐次算出する。
【0059】
図10に、この状況での外界物体と全方位カメラ2との関係を図示する。
【0060】
この図10では、F個の視点での全方位画像を取得したときの状況を例にしており、位置1、位置2、・・・、位置Fの各位置で取得した全方位画像と、それらの各位置の位置情報とに基づいて、外界の物体上の点(Xj,Yj,Zj )を獲得する例について説明する。
【0061】
外界の物体上の点(Xj,Yj,Zj )が位置1で全方位カメラ2に撮影されたときに投影される画像座標値を(x1j,y1j)とし、その物体上の点(Xj,Yj,Zj )が位置2で全方位カメラ2に撮影されたときに投影される画像座標値を(x2j,y2j)とし、以下同様にして、その物体上の点(Xj,Yj,Zj )が位置Fで全方位カメラ2に撮影されたときに投影される画像座標値を(xFj,yFj)とする。
【0062】
図10に示す例は、Z軸方向(全方位カメラ2の光軸方向)の移動がない場合、すなわち、「Tz1=Tz2=‥‥=TzF」の場合を想定している。
【0063】
このようにして取得した多視点の全方位画像から、特徴点(j=1,2,…,P;合計でP個)ごとに、画像座標値(xij,yij)を計測して、この計測した画像座標値(xij,yij)と、前述した
φij=(π/2)−(Q/f)[(xij−Cx )2+(yij−Cy )2]1/2
ρij=tan((yij−Cy )/(xij−Cx ))
とにより、画像上の位相角ρijと仰角φijとを求める。
【0064】
なお、特徴点を抽出するアルゴリズムについては、公知の画像処理技術(エッジ検出、ハフ変換、交点検出など)を用いることが可能である。
【0065】
さらに、各々の視点の位置を図9に示す算出式を使って求め、続いて、それらの各視点位置の方位角θi ( 図10に示すもの)から、図11及び図12に示す計算式を使って、特徴点(j=1,2,…,P)ごとに、空間情報(Xj,Yj,Zj )を獲得する。
【0066】
ここで、図11に示す計算式において、λijは、第i番目の全方位カメラ視点位置(Txi, Tyi,Tzi)から空間点(Xj,Yj,Zj )までの距離を示している。
【0067】
この方法により基準位置を固定して、全方位カメラ2を回転させ、次々と空間情報を獲得し、それが終了すると、次の位置に基準位置を移動させて、さらに、全方位カメラ2を同様の方法に従って回転させることにより、空間情報(空間の構造や形状を示している)を全周囲的に獲得することができるようになる。
【0068】
以上に説明した実施形態例では、基準位置を回転中心として全方位カメラ2を回転させることで全方位画像の時系列画像を取得し、その回転により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いたが、図13に示すように、基準位置を基準にして全方位カメラ2を光軸方向(Z軸方向)に移動させることで全方位画像の時系列画像を取得し、その移動により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いることも可能である。
【0069】
この場合には、基準位置を(Xs,Ys,Zs )としたときに、各々の位置での全方位カメラ2の座標(Txi, Tyi,Tzi)は、
Txi=Xs
Tyi=Ys
Tzi=Zs +ΔZi
但し、i=1,2,‥‥,N
となる。
【0070】
ここで、ΔZi については、等間隔であってもよいし、ランダムな間隔であってもよい。
【0071】
このとき、対象とする空間点の画像座標値(xij,yij)と、基準位置(Xs,Ys,Zs )と、Z軸方向に移動させたときの各々の全方位カメラ2の視点位置(Txi, Tyi,Tzi)とを、図14及び図15に示す計算式に代入して、その空間点の空間情報を獲得する。
【0072】
ここで、この実施形態例では、 [P] において、「θ1 =θ2 =‥‥=θN =θ」、「ρ1j=ρ2j=‥‥=ρNj」である。
【0073】
また、全方位カメラ2を回転させながら取得した全方位画像と、全方位カメラ2を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いることも可能である。
【0074】
この場合には、基準位置を(Xs,Ys,Zs )としたときに、各々の位置での全方位カメラ2の座標(Txi, Tyi,Tzi)は、
Txi=Xs +ΔXi
Tyi=Ys +ΔYi
Tzi=Zs +ΔZi
但し、i=1,2,‥‥,M
となる。
【0075】
ここで、ΔXi,ΔYi については、図9に示す算出式に従って求められる。また、ΔZi については、等間隔であってもよいし、ランダムな間隔であってもよい。
【0076】
このとき、図16及び図17に示す計算式に代入して、対象とする空間点の空間情報を獲得する。
【0077】
このように、全方位カメラ2を回転させながら取得した全方位画像と、全方位カメラ2を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いると、様々な視点から見た全方位画像が得られることから、対象とする空間点の空間情報を高精度に獲得できるようになる。
【0078】
図に示した実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、全方位カメラ2を1台用意する構成を採って、それを各々の基準位置まで移動させて、そこで、基準位置を回転中心として全方位カメラ2を回転させるという構成を一例として示したが、基準位置に対応付けて複数の全方位カメラ2を複数台用意する構成を採って、それぞれの全方位カメラ2を対応付けられる基準位置を回転中心として回転させるという構成を用いることでもよい。
【0079】
また、実施形態例では、自動車1を停止させて空間情報を獲得することで説明したが、GPSなどを使って自動車1の移動位置を取得して、それに基づいて全方位カメラ2の位置を補正するようにすれば、自動車1が走行中であっても空間情報を獲得できるようになることは言うまでもない。
【0080】
【発明の効果】
以上説明したように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【0081】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態例である。
【図2】本発明の一実施形態例である。
【図3】本発明の実行する処理フローの一実施形態例である。
【図4】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図5】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図6】魚眼レンズの等距離投影による光学射影の説明図である。
【図7】全方位画像上の座標値の説明図である。
【図8】全方位カメラの視点の動きの一例である。
【図9】全方位カメラの位置情報の算出式の説明図である。
【図10】空間情報の獲得処理の説明図である。
【図11】空間情報の算出式の説明図である。
【図12】空間情報の算出式の説明図である。
【図13】空間情報の獲得処理の説明図である。
【図14】空間情報の算出式の説明図である。
【図15】空間情報の算出式の説明図である。
【図16】空間情報の算出式の説明図である。
【図17】空間情報の算出式の説明図である。
【符号の説明】
1 自動車
2 全方位カメラ
3 移動回転機構
4 位置回転検出センサ
5 回転体
6 2次元移動用レール
10 全周囲空間情報獲得装置
20 全方位画像取得部
21 移動回転制御部
22 全方位カメラ位置取得部
23 全体制御部
24 データベース部
25 特徴点探索部
26 空間情報獲得部
Claims (13)
- 画像入力装置により取得した多視点の全方位画像から空間情報を獲得する全周囲空間情報獲得方法であって、
画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する第1のステップと、
上記取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する第2のステップと、
上記取得した視点位置の位置情報と、上記検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する第3のステップとを備えることを、
特徴とする全周囲空間情報獲得方法。 - 請求項1記載の全周囲空間情報獲得方法において、
上記第1のステップで、基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定することを、
特徴とする全周囲空間情報獲得方法。 - 請求項1記載の全周囲空間情報獲得方法において、
上記第1のステップで、基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定することを、
特徴とする全周囲空間情報獲得方法。 - 請求項1記載の全周囲空間情報獲得方法において、
上記第1のステップで、基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定し、さらに、その基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定することを、
特徴とする全周囲空間情報獲得方法。 - 請求項2ないし4のいずれか1項に記載の全周囲空間情報獲得方法において、
上記第1のステップで、基準位置を複数設定して、それらの基準位置ごとに複数の視点位置を設定することを、
特徴とする全周囲空間情報獲得方法。 - 画像入力装置により取得した多視点の全方位画像から空間情報を獲得する全周囲空間情報獲得装置であって、
画像入力装置を移動させる移動手段と、
上記移動手段を制御することにより画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する取得手段と、
上記取得した全方位画像から1つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する検出手段と、
上記取得した視点位置の位置情報と、上記検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する獲得手段とを備えることを、
特徴とする全周囲空間情報獲得装置。 - 請求項6記載の全周囲空間情報獲得装置において、
上記移動手段は、基準位置を中心として画像入力装置を水平方向に回転させることを、
特徴とする全周囲空間情報獲得装置。 - 請求項6記載の全周囲空間情報獲得装置において、
上記移動手段は、基準位置を基準にして画像入力装置を垂直方向に移動させることを、
特徴とする全周囲空間情報獲得装置。 - 請求項6記載の全周囲空間情報獲得装置において、
上記移動手段は、基準位置を中心として画像入力装置を水平方向に回転させるとともに、基準位置を基準にして画像入力装置を垂直方向に移動させることを、
特徴とする全周囲空間情報獲得装置。 - 請求項7ないし9のいずれか1項に記載の全周囲空間情報獲得装置において、
1台の画像入力装置が複数設定される基準位置に応じて移動することで、複数の基準位置が設定されるように構成されることを、
特徴とする全周囲空間情報獲得装置。 - 請求項7ないし9のいずれか1項に記載の全周囲空間情報獲得装置において、
画像入力装置が複数設定される基準位置に対応付けて複数台数用意されることで、複数の基準位置が設定されるように構成されることを、
特徴とする全周囲空間情報獲得装置。 - 請求項1ないし5のいずれか1項に記載の全周囲空間情報獲得方法の実現に用いられる処理をコンピュータに実行させるための全周囲空間情報獲得プログラム。
- 請求項1ないし5のいずれか1項に記載の全周囲空間情報獲得方法の実現に用いられる処理をコンピュータに実行させるための全周囲空間情報獲得プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002203798A JP2004046574A (ja) | 2002-07-12 | 2002-07-12 | 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002203798A JP2004046574A (ja) | 2002-07-12 | 2002-07-12 | 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004046574A true JP2004046574A (ja) | 2004-02-12 |
Family
ID=31709571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002203798A Pending JP2004046574A (ja) | 2002-07-12 | 2002-07-12 | 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004046574A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006010376A (ja) * | 2004-06-23 | 2006-01-12 | Topcon Corp | ステレオ画像の関連付け方法及び3次元データ作成装置 |
CN101858744A (zh) * | 2010-06-03 | 2010-10-13 | 唐粮 | 一种全景数码成像*** |
JP2012122917A (ja) * | 2010-12-10 | 2012-06-28 | Fujitsu Ltd | 3次元位置計測システム、3次元位置計測装置および3次元位置計測方法 |
CN104180995A (zh) * | 2013-05-24 | 2014-12-03 | 上海汽车集团股份有限公司 | 一种扫描车辆整车视野的装置以及方法 |
-
2002
- 2002-07-12 JP JP2002203798A patent/JP2004046574A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006010376A (ja) * | 2004-06-23 | 2006-01-12 | Topcon Corp | ステレオ画像の関連付け方法及び3次元データ作成装置 |
JP4488804B2 (ja) * | 2004-06-23 | 2010-06-23 | 株式会社トプコン | ステレオ画像の関連付け方法及び3次元データ作成装置 |
CN101858744A (zh) * | 2010-06-03 | 2010-10-13 | 唐粮 | 一种全景数码成像*** |
JP2012122917A (ja) * | 2010-12-10 | 2012-06-28 | Fujitsu Ltd | 3次元位置計測システム、3次元位置計測装置および3次元位置計測方法 |
CN104180995A (zh) * | 2013-05-24 | 2014-12-03 | 上海汽车集团股份有限公司 | 一种扫描车辆整车视野的装置以及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
US20190012804A1 (en) | Methods and apparatuses for panoramic image processing | |
US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
WO2018163898A1 (ja) | 自由視点移動表示装置 | |
Del Bimbo et al. | Exploiting distinctive visual landmark maps in pan–tilt–zoom camera networks | |
JP5011528B2 (ja) | 3次元距離計測センサおよび3次元距離計測方法 | |
JP2009188980A (ja) | 360度の視野をもつステレオカメラ | |
Li et al. | Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space | |
JP2007024647A (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
CN111445528B (zh) | 一种在3d建模中多相机共同标定方法 | |
JP2015518211A (ja) | 立体補正方法 | |
Dang et al. | Self-calibration for active automotive stereo vision | |
Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
JP2004046574A (ja) | 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 | |
Lu et al. | Image-based system for measuring objects on an oblique plane and its applications in 2-D localization | |
Lin et al. | Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras | |
WO2019100216A1 (zh) | 3d建模方法、电子设备、存储介质及程序产品 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
Iguchi et al. | Omni-directional 3D measurement using double fish-eye stereo vision | |
JP2005252482A (ja) | 画像生成装置及び3次元距離情報取得装置 | |
GB2560301A (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
Havlena et al. | Structure from Omnidirectional Stereo Rig Motion for City Modeling. | |
Esparza et al. | Wide base stereo with fisheye optics: A robust approach for 3d reconstruction in driving assistance | |
Huang et al. | Wide-angle vision for road views | |
Kudinov et al. | The algorithm for a video panorama construction and its software implementation using CUDA technology |