JP3691401B2 - Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed - Google Patents
Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed Download PDFInfo
- Publication number
- JP3691401B2 JP3691401B2 JP2001050753A JP2001050753A JP3691401B2 JP 3691401 B2 JP3691401 B2 JP 3691401B2 JP 2001050753 A JP2001050753 A JP 2001050753A JP 2001050753 A JP2001050753 A JP 2001050753A JP 3691401 B2 JP3691401 B2 JP 3691401B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- time
- dimensional
- image
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物表面の3次元座標値を求め、撮影対象物の表面、外観に関するモデルを自動獲得・復元する方法及び装置に関し、特に、標高データを計測する測量分野に適用して有効な技術に関係するものである。
【0002】
【従来の技術】
従来、標高データは、衛星等を利用した宇宙測量により対象物の50メートルメッシュの間隔(10メートルメッシュの標高データ等は、50メートルメッシュ間隔のサンプル点から計算により算出したもの)で、各サンプル点の3次元座標値として測量されている。
【0003】
【発明が解決しようとする課題】
しかし、図12に示すように、サンプル点が荒く、街区レベルでの標高を正確に測量することは不可能である。
【0004】
また、近年のリモートセンシング技術の発展により、飛行機にレーザ測定器を搭載し、宇宙測量よりも精度よく標高データを測定することが可能となった。
【0005】
しかし、図13に示すように、樹木や、車等の遮断物もレーザ計測してしまうため、道路や街区周辺の標高データを厳密に測定することは困難であった。
【0006】
そこで、道路を撮影した映像から、道路上の幾何情報を利用し、画像処理的アプローチから、道路面を自動生成する研究が行われている。
【0007】
しかし、道路面の起伏や***状態を正確に獲得するには至っておらず、道路を構成する両端の幾何情報(センターライン、歩道と道路との境界等)に依存している。このような画像処理を主体とした獲得・復元方法においては、光学情報獲得・復元を併用した精度の高い道路モデルを構築する方法は確立されていない。
【0008】
また、対象物、特に都市空間の道路などは、コンピュータグラフィックスのエディタツール、またはクリエータにより創作されており、実写の映像とかけはなれた非現実的な地面や道路を作るのが現状である。
【0009】
本発明の目的は、宇宙測量あるいは航空測量あるいは復元した対象物の3次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することが可能な技術を提供することにある。
【0010】
本発明の他の目的は、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することが可能な技術を提供することにある。
【0011】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0012】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、下記のとおりである。
第1の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する3次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元方法であって、各々の撮影対象物画像と、それと同期した各々の3次元のカメラ視点位置を取得する過程と、対象物を撮影した時刻tにおいて、時刻tの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、前記時刻tにおける、前記傾斜角θ、並びにカメラ視点位置Xを利用して、該時刻tのときの、カメラ視点位置Xからの前記対象物の表面(車両通行面)への垂線との交点を3次元の表面位置Yとして、逐次求める過程と、それぞれの時刻のときに求められる前記表面位置Yを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された1つ以上の表面位置Yを代表する3次元の代表値Zを逐次獲得する過程と、前記獲得した代表値Z、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、対象物の表面形状を獲得・復元する過程とを具備するものである。
【0013】
第2の発明は、前記第1の発明の撮影対象物表面の自動獲得・復元方法において、獲得した対象物表面の3次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する2次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、前記光学情報、あるいはテクスチャー情報を獲得したときの3次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、前記の3次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の3次元モデルを獲得・復元する過程とを具備するものである。
【0014】
第3の発明は、前記第1または第2の発明の撮影対象物表面の自動獲得・復元方法において、前記対象物は、地面もしくは道路面である。
【0015】
第4の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する3次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元装置であって、各々の撮影対象物画像と、それと同期した各々の3次元のカメラ視点位置を取得する位置情報取得手段と、対象物を撮影した時刻tにおいて、時刻tの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、前記時刻tにおける、前記傾斜角θ、並びにカメラ視点位置Xを利用して、該時刻tのときの、カメラ視点位置Xからの前記対象物の表面(車両通行面)への垂線との交点を3次元の表面位置Yとして、逐次求める手段と、それぞれの時刻のときに求められる前記表面位置Yを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された1つ以上の表面位置Yを代表する3次元の代表値Zを逐次獲得する手段と、前記獲得した代表値Z、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、対象物の表面形状を獲得・復元する獲得・復元手段とを具備するものである。
【0016】
第5の発明は、前記第4の発明の撮影対象物表面の自動獲得・復元装置において、対象物表面形状として獲得した個々の多角形な3次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される2次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、前記光学情報、あるいはテクスチャー情報を獲得したときの3次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、前記3次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の3次元モデルを獲得・復元する3次元モデル獲得・復元手段とを具備するものである。
【0017】
第6の発明は、前記第4または第5の発明の撮影対象物表面の自動獲得・復元装置において、前記対象物が、地面もしくは道路面である。
【0018】
本発明のポイントは、例えば、画像入力装置を移動しながら地面、または、道路を撮影して取得した時系列画像と、前記時系列画像と、それと同期して計測する位置センサ情報を用いて、画像入力装置で撮影した地面、または、道路の3次元的形状を獲得し、同時に、地面または道路面上のテクスチャーデータを高品質に逐次獲得することにより、地面、または、道路モデルを復元することを特徴とする。
【0019】
本発明の方法を利用することにより、宇宙測量もしくは航空測量からの標高データと比較して、地面もしくは標高面、または、道路面の形状を、簡易的、かつ、精度よく獲得・復元することが可能となる。また、コンピュータグラフィックスに利用できるような実写に近い地面、または、道路モデルとして利用することが可能である。
【0020】
以下、本発明について、本発明による実施形態(実施例)とともに図面を参照して詳細に説明する。
【0021】
なお、実施形態(実施例)を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【0022】
【発明の実施の形態】
(実施例1)
図1は、本発明の実施例1の道路面の獲得・復元装置の概略構成を示すブロック図、図2は本実施例1のカメラ、移動手段及び座標系の設定の概要構成を示す模式図、図3は本実施例1の道路面の獲得・復元装置の処理手順を示すフローチャートである。
【0023】
以下では、カメラ(画像入力装置)11を車両(移動手段)12に搭載して車載撮影(図2)しながら、各時刻iでのカメラ視点位置(Xi,Yi,Zi)で映している画像の画像中心に該当する道路面(地面)10の3次元的面(または形状:図2においては(Xj,Yj,Zj−Hc)での画像中心に投影される地面点)を獲得・復元する実施例について説明する。
【0024】
ここで、カメラ11の視点位置は、センシング位置と等価であることを前提としている。図2において、P1は時刻iでのカメラ11の視点位置(Xi,Yi,Zi)、P2は時刻jでのカメラ11の視点位置(Xj,Yj,Zj)、Hcは車高である。
【0025】
本実施例1の道路面の獲得・復元装置は、図1に示すように、センシング部1、データ蓄積部2、傾斜情報取得部3、地面情報取得部4、幾何情報獲得部5、方位取得部6、モデル構築部7、及びモデル出力部8で構成されている。
【0026】
本実施例1の道路面の獲得・復元装置の処理動作手順について説明する。
【0027】
前記センシング部1では、逐次、カメラ視点の位置情報を取得する。このセンシングデータは、データ蓄積部2において、ある一定量の時系列のセンシングデータ分が蓄積もしくは記憶される。この蓄積されたデータは、傾斜情報取得部3、地面情報取得部4、方位取得部6へ伝達される。傾斜情報取得部3では、各々のセンシング位置での地面の傾斜を計算し、地面情報取得部4では、これらの傾斜情報とカメラ視点位置情報から地面の位置情報に変換する。また、方位取得部6では、センシング点での方位角が計算され、地面のスリット面生成に使用される。ー方、幾何情報獲得部5では、蓄積された地面点として変換されたデータを、あるカメラ視点位置での画像面に投影し、これら時系列の投影データの中から、その画像の中心に位置する地面(中心面)の3次元座標値を獲得する。この処理をセンシングしたカメラ視点位置情報に対して実行され、モデル構築部7で、地面もしくは道路面モデルを構築し、要求するモデル形式に従ったデータ形式をモデル出力部8から出力される。
【0028】
次に、図3を用いて本実施例1の動作処理手順を説明する。
【0029】
図3に示すように、センシング入力データ101として、そのときのカメラ視点情報、すなわち、位置情報(Xi,Yi,Zi)が時系列に取得される(図2)。これらのデ−タは、センシングデータ蓄積部103において、適宜データ蓄積を行っている。以下の処理は、図2に示すように、位置情報(Xi,Yi,Zi)が取得されてから、ある量分だけ蓄積したセンシング入力データ101の中から、地面の3次元座標値(Xj,Yj,Zj−Hc)として獲得する。
【0030】
前記図2は説明のため地面が平坦の場合としているが、以下の処理は、一般的な説明をするため、傾斜している場合について記載する。また、説明を簡単にするために、主軸をY(車両の進行方向)とした場合について説明する。通常は、移動手段(車両等)12は、定義上設定した座標系(例えば、国家座標系)X−Y平面を移動するが、各々の時間での移動手段12の進行方向をY軸としても、一般性を失わない。このY軸を設定することで、方位取得部6(図1)では、Y軸からの方位が計算されている。
【0031】
まず、時刻iのときのカメラ視点に関する位置情報(Xi,Yi,Zi)を取得し、カメラ視点(Xi,Yi,Zi)として設定する。このとき、この視点における仰角、すなわち、カメラ11が水平面と為す角θi(X軸周りの回転)が計算され、透視投影計算時のカメラパラメータとして利用される。同時に、そのときの方位φiも取得され、スリット面のモデル化のときに利用される。次に、センシングデータの蓄積部103から、逐次、時刻i以外の時刻jのときのカメラ視点の位置情報(Xj,Yj,Zj)をロードする(105)。このとき、図4に示すように、時刻jを前後する時刻j−1と時刻j+1での位置情報(P3,P4)の差分計算(P4−P3)から、そのときの傾斜角θj、並びに地面点への変換量(Yjd,Zjd)=(Hc×sinθj,−Hc×cosθj)を計算する(106)。カメラ視点の位置が(Xj,Yj,Zj)のとき、地面の位置情報は、(Xjg,Yjg,Zjg)=(Xj,Yj+Yjd,Zj+Zjd)となる(107)。ここで、Hcは平坦部における地面からカメラ視点位置までの高さ、すなわち、車高である。
【0032】
図5に示すように、地面位置へ変換された位置情報(Xjg,Yjg,Zjg)は、カメラ11の水平面に対する仰角θiを考慮したカメラパラメータにより、時刻iのときのカメラ視点における画像面へ透視投影される(108)。投影された点(xj,yj)の中で、画像中心の座標値(Cx,Cy)との誤差が、ある許容誤差ε以内になる点を集計し(109)、集計した中から、それらの平均値を算出し、3次元座標値を獲得する。この点は、時刻iのときのカメラ視点に関する位置情報で操影したときの画像における画像中心に相当する点の3次元座標値である(111)。このように、逐次、地面上の3次元座標値を獲得していく。
【0033】
地面を形成する面は、図6に示すように、個々のスリット面で近似して、逐次復元していき、地面の3次元形状をモデル化する。そのとき、地面の幅に指定があった場合は、その幅に設定し(112)、指定がない場合は、デフォルトで幅を与えて、スリット面幅を設定する。さらに、獲得した3次元座標値間の中間点から、スリット面の(進行方向に沿った)長さを設定する。このときのスリット面は、X′−Y′での矩形面であるため、X−Yでのスリット面とするのに、方位情報取得部において出力されると、それからの相対的方位を加味した獲得時の方位φj(104)を使って座標変換する(113)。これを、図6の右の図にて説明する。図6において、スリット面の中心を、Qj(Xjg,Yjg)とする。尚、Z軸は、ここでは関係が無い。そのとき、地面幅がLとRで与えられ、Qと前後して獲得したスリット面中心の座標値を(Xj−1g,Yj−1g)、(Xj+1g,Yj+1g)とする。スリット面の四隅の座標値Pj1'、Pj2'、Pj3'、Pj4'は、数1の式となる。
【0034】
【数1】
Pj1'(XjuR',YjuR')=(Xjg+R,Yjg+(Yj+1g−Yjg)/2)
Pj2'(XjdR',YjdR')=(Xjg+R,Yjg−(Yj−1g−Yjg)/2)
Pj3'(XjdL',YjdL')=(Xjg−L,Yjg−(Yj−1g−Yjg)/2)
Pj4'(XjuL',YjuL')=(Xjg−L,Yjg+(Yj+1g−Yjg)/2)
さらに、このスリット面の方位角φjであることにより、スリット面の四隅の3次元座標値は、それぞれ数2の式となる。
【0035】
【数2】
Pj1(XjuR,YjuR)=(XjuR'×cosφj−YjuR'×sinφj,XjuR'×sinφj+YjuR'×cosφj)
Pj2(XjdR,YjdR)=(XjdR'×cosφj−YjdR'×sinφj,XjdR'×sinφj+YjdR'×cosφj)
Pj3(XjdL,YjdL)=(XjdL'×cosφj−YjdL'×sinφj,XjdL'×sinφj+YjdL'×cosφj)
Pj4(XjuL,YjuL)=(XjuL'×cosφj−YjuL'×sinφj,XjuL'×sinφj+YjuL'×cosφj)
なお、Pj1とPj4は、次のスリット面(Qj+1(Xj+1g,Y+1g))のPj+12,Pj+13と等価とし、Pj2とPj3は、1つ前のスリット面(Qj−1(Xj+1g,Y+1g))のPj−11,Pj−14と等価にする。
【0036】
このように、スリット面の中心の座標値(Xjg,Yjg)が獲得されると、その前後の中心座標値(Xj−1g,Yj−1g)、(Xj+1g,Yj+1g)と地面幅LとR、並びに方位角φjにより、逐次、スリット面を四隅の座標値Pjl、Pj2、Pj3、Pj4によりポリゴン表現し、3次元モデル形式に従って、道路をモデル化し(114)、3次元モデル化した地面モデルデータを出力する(115)。
【0037】
(実施例2)
画像入力装置(カメラ)を車両に搭載して車載撮影(図2)しながら、各時刻iでのカメラ視点(Xi,Yi,Zi)で映している道路面上の対象部分の3次元的構造、または形状(図2において、(Xj,Yj,Zj−Hc))、並びに地面(道路面)の光学情報、またはテクスチャー情報を獲得、復元する例について説明する。本実施例2では、前記実施例1で獲得した地面の形状に加えて、地面の光学情報、またはテクスチャー情報を同時に獲得し、より現実に近い地面としてモデル復元するものである。なお、以下では、前記実施例1と異なる部分のみに限定して説明する。
【0038】
図7は、本発明の実施例2の道路面のモデル自動獲得・復元装置の概略構成を示すブロック図、図8は本実施例2の全体処理動作の手順を示すフローチャート、図9は本実施例2のテクスチャー獲得処理手順を示すフローチャートである。
【0039】
本実施例2の道路面のモデル自動獲得・復元装置は、図7に示すように、画像入力部21では、時系列に画像を取り込み、後処理等の用途に応じて蓄積する。光学情報取得部22では、獲得した幾何情報から形成されるスリット面を使い、その中の光学情報を、時系列画像中から探索し、最適と判断した時点で獲得する手段を有している。こうして獲得された光学情報は、パノラマ画像生成部23でパノラマ画像として変形、変換され、テクスチャーマッピング用の画像として蓄積される。モデル構築部7では、3次元ビューワに合わせて、幾何情報と光学情報を合成、加工し、モデル出力部8から地面、道路モデルが出力される。
【0040】
本実施例2の道路面のモデル自動獲得・復元装置装置の処理動作において、前記実施例1と同じ処理動作手順の説明は、ここでは省略する。
【0041】
図8及び図9に示すように、地面を形成するスリット面が逐次獲得された場合、そのスリット面の形状を用いて、時刻kでの光学情報を獲得する。すなわち、スリット面を獲得した時刻jで光学情報を獲得するのではなく、できるだけカメラ視点に近く、地面のテクスチャーが最も高品質であるような場所に、スリット面が移動した時刻kで、光学情報を獲得する(304)。
【0042】
光学情報獲得には、図9に示すように、時刻kでのカメラ視点(Xk,Yk,Zk)と、スリット面の幾何情報を入力とする(304,306)。また、センシングデータと同期して撮影された画像データも入力データである(301,302,303)。
【0043】
時刻jで獲得したスリット面の幾何情報は、時刻kでのカメラ視点(Xk,Yk,Zk)でのカメラパラメータにより、画像面へ投影される(305)。このとき、スリット面は、画像面においてある領域を占めている。ここで、この占有領域が、フレームアウトせず、かつ、最大の領域かどうかの判定を行う(307)。もし、次の時刻k+1において(308)、フレームアウトせず、かつ、占有領域が大きければ、そのときの投影により変形したスリット面形状を記憶する(303)。時刻kを逐次更新し、フレームアウトせず、最大の占有領域をもつ変形したスリット面を獲得する(図10)。
【0044】
さらに、この変形形状から、元の矩形形状へ変形するための正射影変換係数を算出し(309)、この変換係数を使って、テクスチャーを切り出して(310)、光学情報を獲得する。この獲得した光情報をテクスチャー正射影変換し(311)、テクスチャーデータ蓄積部(テクスチャーデータベース)に格納される(312)。これにより、画像中心付近での光学情報に比較して、遅延して獲得した光学情報は、高品質となる。こうして、スリット面が獲得されるたびに、前述したように、その面に対応する光学情報を獲得する。得られた正射影型スリット画像は、逐次、テクスチャーデータ蓄積部(テクスチャーデータベース)に、逐次格納される。
【0045】
図11に、パノラマ画像での各スリット面の2次元座標値設定、並びに幾何情報へのテクスチャーマッピングを示す。図11の左図は、生成したパノラマ画像において、スリット面の四隅の2次元座標値を設定していることを示す図である。スリット面は連続して獲得され、図11のような座標系で設定される。
【0046】
また、図11の右図では、スリット面の幾何情報、すなわち、スリット面の四隅の3次元座標値と、2次元座標値との間の関係を示すものである。このように、幾何情報に、光学情報を組み合わせて地面または道路のモデルを出力する(図8の214,215)。
【0047】
以上説明したように、本実施例2によれば、幾何情報に、光学情報を組み合わせることにより、現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【0048】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。例えば、道路面以外の地面、水面等の表面を有する全てのものにも適用できることはいうまでもない。
【0049】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明すれば、下記のとおりである。
【0050】
本発明によれば、宇宙測量あるいは航空測量あるいは復元した対象物の3次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することができる。
【0051】
また、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【図面の簡単な説明】
【図1】本発明の実施例1の地面、道路面の獲得・復元装置の概略構成を示すブロック図である。
【図2】本実施例1のカメラ、移動手段及び座標系の設定の概要構成を示す模式図である。
【図3】本実施例1の地面、または道路面の獲得・復元装置の処理動作の手順を示すフローチャートである。
【図4】本実施例1の各々のカメラ位置と地面の勾配を考慮した地面点の算出を説明するための図である。
【図5】本実施例1の各々の地面点の画像面への透視投影と3次元座標値としての獲得を説明するための図である。
【図6】本実施例1のスリット面としての地面生成を説明するための図である。
【図7】本発明の実施例2の地面、または道路面の獲得・復元装置の概略構成を示すブロック図である。
【図8】本実施例2の道路面の獲得・復元装置の全体処理動作の手順を示すフローチャートである。
【図9】本実施例2のテクスチャー獲得処理手順を示すフローチャートである。
【図10】本実施例2の遅延させた光学情報獲得処理を説明するための図である。
【図11】本実施例2のパノラマ画像生成とテクスチャーマッピングを説明するための図である。
【図12】従来の市販されている装置による標高データの例を示す図である。
【図13】従来の航空測量におけるレーザ計測を説明するための図である。
【符号の説明】
1…センシング部 2…データ蓄積部
3…傾斜情報取得部 4…地面情報取得部
5…幾何情報獲得部 6…方位取得部
7…モデル構築部 8…モデル出力部
10…道路面(地面) 11…カメラ(画像入力装置)
12…車両(移動手段)
P1…時刻iでのカメラ11の視点位置(Xi,Yi,Zi)
P2…時刻jでのカメラ11の視点位置(Xj,Yj,Zj)
Hc…車高 21…画像入力部
22…光学情報取得部 23…パノラマ画像生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for obtaining a three-dimensional coordinate value of a surface of an object from time-series image data acquired by an image input device or the like, and automatically acquiring and restoring a model relating to the surface and appearance of a photographing object. It relates to technology that is effective when applied to surveying fields that measure elevation data.
[0002]
[Prior art]
Conventionally, altitude data is a 50-meter mesh interval of the object by space survey using satellites etc. (10-meter mesh altitude data etc. is calculated from sample points at 50 meter mesh intervals) Surveyed as a three-dimensional coordinate value of a point.
[0003]
[Problems to be solved by the invention]
However, as shown in FIG. 12, the sample points are rough, and it is impossible to accurately measure the altitude at the block level.
[0004]
In addition, recent developments in remote sensing technology have made it possible to mount altitude data with higher accuracy than space surveying by mounting a laser measuring instrument on an airplane.
[0005]
However, as shown in FIG. 13, it is difficult to precisely measure altitude data around roads and blocks because lasers are also used to measure trees and obstacles such as cars.
[0006]
In view of this, research has been conducted to automatically generate a road surface from an image processing approach by using geometric information on the road from an image of the road.
[0007]
However, it has not yet been able to accurately acquire the road surface undulation and uplift state, and it depends on geometric information (center line, boundary between sidewalk and road, etc.) at both ends constituting the road. In such an acquisition / restoration method mainly based on image processing, a method for constructing a highly accurate road model using optical information acquisition / restoration has not been established.
[0008]
In addition, objects such as roads in urban spaces have been created by computer graphics editor tools or creators, and the current situation is to create unrealistic ground and roads that are different from live-action images.
[0009]
It is an object of the present invention to automatically obtain more accurate elevation data around a block and road elevation data with high accuracy with respect to elevation data based on space survey, aerial survey, or restored three-dimensional coordinate values of an object. -To provide technology that can be restored.
[0010]
Another object of the present invention is to provide a technique capable of automatically and quickly acquiring and restoring a model close to the real world composed of geometric information and optical information.
[0011]
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
[0012]
[Means for Solving the Problems]
The outline of the invention disclosed in the present application will be briefly described as follows.
A first aspect of the present invention is automatically taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, three-dimensional shape geometric information to model the object, or the surface shape information an automatic acquisition and restoring the shooting target surface to acquire and restore, and the process of acquiring the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized were taken of the object at time t, the steps of measuring the inclination angle theta of the camera viewpoint position placed et the object before and after the time t, at the time t, the tilt angle theta, and by using the camera viewpoint X, of the time t The process of successively obtaining the intersection of the camera viewpoint position X and the normal to the surface of the object (vehicle traffic surface) as a three-dimensional surface position Y, and the surface position obtained at each time Y at a certain time A process of sequentially obtaining a three-dimensional representative value Z representative of one or more surface positions Y projected from the captured object image plane to the vicinity of the center of the image, and the acquired representative value Z In addition, a process of sequentially forming a polygonal surface forming the object from the width information and the orientation information of the object, and a process of acquiring and restoring the surface shape of the object are provided.
[0013]
According to a second aspect of the invention, in the automatic acquisition / restoration method of the imaging target surface of the first aspect of the invention, polygonal geometric information formed by projecting the acquired three-dimensional surface of the target surface onto a time-series image From the process of acquiring the optical information or texture information of the area surrounded by the polygon, and the time at which the object surface shape was acquired or delayed from the position at which the object shape was acquired, When acquiring optical information or texture information in a region surrounded by a polygon on a two-dimensional image formed by perspective projection of a polygon on a road surface, and when acquiring the optical information or texture information Using the geometric information of the projected shape of the three-dimensional surface, sequentially generating orthographic panoramic images with corrected perspective projection distortion and aspect ratio, the three-dimensional geometric information, and the optical Distribution, or in combination with the texture information is for and a process of obtaining and restored the three-dimensional model of sequential object.
[0014]
According to a third aspect of the present invention, in the automatic acquisition / restoration method of the imaging object surface of the first or second aspect of the invention, the object is a ground surface or a road surface.
[0015]
A fourth invention is automatically taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, three-dimensional shape geometric information to model the object, or the surface shape information an automatic acquisition and reconstruction apparatus for imaging the object surface to acquire and restore, position information acquisition means for acquiring the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized, the object at time t obtained by photographing, use and object tilt measuring means for measuring the inclination angle theta of the camera viewpoint position placed et the object before and after the time t, at the time t, the tilt angle theta, and a camera viewpoint X Then, means for sequentially obtaining, as a three-dimensional surface position Y, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t , Before sometimes asked The serial surface position Y, perspectively projected onto the object image plane taken at a certain time, sequentially acquiring three-dimensional representative value Z representing one or more surface position Y projected into the image near the center among its hand stage you, the surface shape of the acquired representative value Z, the width information of the object, and the orientation information, the object and the polygonal surface constituting means for sequentially constituting the surface of the polygon forming the object Acquisition / restoration means for acquiring / restoring the data.
[0016]
According to a fifth aspect of the present invention, in the automatic acquisition / restoration device for a photographing object surface according to the fourth aspect of the invention, the geometric information of each polygonal three-dimensional surface acquired as the object surface shape is delayed from the acquired time. Or delay to acquire optical information or texture information in a region surrounded by polygons on a two-dimensional image formed as a result of perspective projection on a time-series image at a position different from the position where the object shape was acquired An orthogonal projection panorama image corrected for perspective projection distortion and aspect ratio using the optical information acquisition means and the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired. A sequential panoramic image generation means, the three-dimensional geometric information, and the optical information or texture information are combined to acquire and restore a three-dimensional model of the target object sequentially. It is intended to and a 3D model acquisition and restoration means for.
[0017]
According to a sixth aspect of the present invention, in the automatic acquisition / restoration device for a photographing object surface according to the fourth or fifth aspect, the object is a ground surface or a road surface.
[0018]
The point of the present invention is, for example, using a time series image obtained by photographing the ground or a road while moving an image input device, the time series image, and position sensor information measured in synchronization therewith, Retrieving the ground or road model by acquiring the three-dimensional shape of the ground or road taken with the image input device and simultaneously acquiring texture data on the ground or road surface in high quality at the same time. It is characterized by.
[0019]
By using the method of the present invention, it is possible to easily and accurately acquire / restore the shape of the ground surface, elevation surface, or road surface as compared to elevation data from space survey or aerial survey. It becomes possible. Further, it can be used as a ground surface that can be used for computer graphics or as a road model.
[0020]
Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the present invention.
[0021]
In all the drawings for explaining the embodiments (examples), parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
(Example 1)
FIG. 1 is a block diagram illustrating a schematic configuration of a road surface acquisition / restoration apparatus according to a first embodiment of the present invention, and FIG. 2 is a schematic diagram illustrating a schematic configuration of a camera, a moving unit, and a coordinate system according to the first embodiment. FIG. 3 is a flowchart showing the processing procedure of the road surface acquisition / restoration apparatus of the first embodiment.
[0023]
In the following, the camera (image input device) 11 is mounted on the vehicle (moving means) 12 and is imaged on the vehicle (FIG. 2), and the image is shown at the camera viewpoint position (Xi, Yi, Zi) at each time i. A three-dimensional plane (or shape: ground point projected on the image center at (Xj, Yj, Zj-Hc) in FIG. 2) of the road surface (ground) 10 corresponding to the image center is acquired and restored. Examples will be described.
[0024]
Here, it is assumed that the viewpoint position of the
[0025]
As shown in FIG. 1, the road surface acquisition / restoration apparatus according to the first embodiment includes a
[0026]
A processing operation procedure of the road surface acquisition / restoration apparatus according to the first embodiment will be described.
[0027]
The
[0028]
Next, the operation processing procedure of the first embodiment will be described with reference to FIG.
[0029]
As shown in FIG. 3, camera viewpoint information at that time, that is, position information (Xi, Yi, Zi) is acquired in time series as sensing input data 101 (FIG. 2). These data are appropriately stored in the sensing
[0030]
Although FIG. 2 assumes that the ground is flat for the sake of explanation, the following processing will be described for the case where the ground is inclined for general explanation. Further, in order to simplify the description, a case where the main shaft is Y (vehicle traveling direction) will be described. Normally, the moving means (vehicle or the like) 12 moves on a coordinate system (for example, a national coordinate system) XY plane set by definition, but the traveling direction of the moving means 12 at each time may be the Y axis. , Not lose generality. By setting the Y axis, the azimuth from the Y axis is calculated in the azimuth acquisition unit 6 (FIG. 1).
[0031]
First, position information (Xi, Yi, Zi) relating to the camera viewpoint at time i is acquired and set as the camera viewpoint (Xi, Yi, Zi). At this time, the elevation angle at this viewpoint, that is, the angle θi (rotation around the X axis) formed by the
[0032]
As shown in FIG. 5, the position information (Xjg, Yjg, Zjg) converted into the ground position is seen through to the image plane at the camera viewpoint at time i by the camera parameter considering the elevation angle θi with respect to the horizontal plane of the
[0033]
As shown in FIG. 6, the surface forming the ground is approximated by individual slit surfaces and sequentially restored to model the three-dimensional shape of the ground. At that time, if the width of the ground is designated, the width is set (112), and if not designated, the width is given by default to set the slit surface width. Further, the length (along the traveling direction) of the slit surface is set from the intermediate point between the acquired three-dimensional coordinate values. Since the slit surface at this time is a rectangular surface at X′-Y ′, when it is output from the orientation information acquisition unit to take the slit surface at XY, the relative orientation from that is taken into account. Coordinate conversion is performed using the azimuth φj (104) at the time of acquisition (113). This will be described with reference to the right side of FIG. In FIG. 6, the center of the slit surface is defined as Qj (Xjg, Yjg). The Z axis is not relevant here. At this time, the ground width is given by L and R, and the coordinate values of the slit surface center acquired before and after Q are (Xj-1g, Yj-1g) and (Xj + 1g, Yj + 1g). The coordinate values Pj1 ′, Pj2 ′, Pj3 ′, and Pj4 ′ at the four corners of the slit surface are expressed by
[0034]
[Expression 1]
Pj1 '(XjuR', YjuR ') = (Xjg + R, Yjg + (Yj + 1g-Yjg) / 2)
Pj2 '(XjdR', YjdR ') = (Xjg + R, Yjg- (Yj-1g-Yjg) / 2)
Pj3 '(XjdL', YjdL ') = (Xjg-L, Yjg- (Yj-1g-Yjg) / 2)
Pj4 '(XjuL', YjuL ') = (Xjg-L, Yjg + (Yj + 1g-Yjg) / 2)
Furthermore, by using the azimuth angle φj of the slit surface, the three-dimensional coordinate values of the four corners of the slit surface are expressed by the following equation (2).
[0035]
[Expression 2]
Pj1 (XjuR, YjuR) = (XjuR ′ × cosφj−YjuR ′ × sinφj, XjuR ′ × sinφj + YjuR ′ × cosφj)
Pj2 (XjdR, YjdR) = (XjdR ′ × cosφj−YjdR ′ × sinφj, XjdR ′ × sinφj + YjdR ′ × cosφj)
Pj3 (XjdL, YjdL) = (XjdL ′ × cosφj−YjdL ′ × sinφj, XjdL ′ × sinφj + YjdL ′ × cosφj)
Pj4 (XjuL, YjuL) = (XjuL '× cosφj−YjuL ′ × sinφj, XjuL ′ × sinφj + YjuL ′ × cosφj)
Pj1 and Pj4 are equivalent to Pj + 12, Pj + 13 of the next slit surface (Qj + 1 (Xj + 1g, Y + 1g)), and Pj2 and Pj3 are Pj of the previous slit surface (Qj-1 (Xj + 1g, Y + 1g)). -11 and Pj-14.
[0036]
Thus, when the coordinate values (Xjg, Yjg) of the center of the slit surface are obtained, the center coordinate values (Xj-1g, Yj-1g) and (Xj + 1g, Yj + 1g) and the ground widths L and R before and after the slit surface are obtained. In addition, the slit surface is successively represented by polygons by the coordinate values Pjl, Pj2, Pj3, and Pj4 of the four corners according to the azimuth angle φj, the road is modeled according to the three-dimensional model format (114), and the three-dimensional model ground model data Output (115).
[0037]
(Example 2)
Three-dimensional structure of the target part on the road surface that is projected from the camera viewpoint (Xi, Yi, Zi) at each time i while the image input device (camera) is mounted on the vehicle and photographed in-vehicle (Fig. 2) An example of acquiring and restoring the shape ((Xj, Yj, Zj-Hc) in FIG. 2) and optical information or texture information of the ground (road surface) will be described. In the second embodiment, in addition to the shape of the ground acquired in the first embodiment, optical information or texture information of the ground is simultaneously acquired, and the model is restored as a more realistic ground. In the following description, the description will be limited to only parts different from the first embodiment.
[0038]
FIG. 7 is a block diagram showing a schematic configuration of the road surface model automatic acquisition / restoration device according to the second embodiment of the present invention, FIG. 8 is a flowchart showing the procedure of the overall processing operation of the second embodiment, and FIG. 9 shows the present embodiment. 10 is a flowchart showing a texture acquisition processing procedure of Example 2.
[0039]
As shown in FIG. 7, the road surface model automatic acquisition / restoration device according to the second embodiment captures images in time series in the
[0040]
In the processing operation of the road surface model automatic acquisition / restoration device of the second embodiment, the description of the same processing operation procedure as that of the first embodiment is omitted here.
[0041]
As shown in FIGS. 8 and 9, when the slit surface forming the ground is sequentially acquired, the optical information at time k is acquired using the shape of the slit surface. That is, optical information is not acquired at time j when the slit surface is acquired, but optical information is acquired at time k when the slit surface moves to a place where the texture of the ground is the highest quality as close as possible to the camera viewpoint. (304).
[0042]
For optical information acquisition, as shown in FIG. 9, the camera viewpoint (Xk, Yk, Zk) at time k and the geometric information of the slit surface are input (304, 306). Further, image data photographed in synchronization with the sensing data is also input data (301, 302, 303).
[0043]
The slit plane geometric information acquired at time j is projected onto the image plane according to the camera parameters at the camera viewpoint (Xk, Yk, Zk) at time k (305). At this time, the slit surface occupies a certain region on the image surface. Here, a determination is made as to whether this occupied area is the largest area without frame-out (307). If the frame is not out at the next time k + 1 (308) and the occupied area is large, the slit surface shape deformed by the projection at that time is stored (303). The time k is sequentially updated, and a deformed slit surface having the largest occupied area is acquired without being out of frame (FIG. 10).
[0044]
Further, an orthographic transformation coefficient for transforming from the deformed shape to the original rectangular shape is calculated (309), and the texture is cut out using the transform coefficient (310) to obtain optical information. The acquired light information is subjected to texture orthographic transformation (311) and stored in the texture data storage unit (texture database) (312). Thereby, the optical information acquired with a delay compared to the optical information near the center of the image is of high quality. Thus, every time a slit surface is acquired, optical information corresponding to that surface is acquired as described above. The obtained orthographic slit images are sequentially stored in the texture data storage unit (texture database).
[0045]
FIG. 11 shows the two-dimensional coordinate value setting of each slit surface in the panoramic image and the texture mapping to the geometric information. The left figure of FIG. 11 is a figure which shows having set the two-dimensional coordinate value of the four corners of a slit surface in the produced | generated panoramic image. Slit surfaces are acquired continuously and set in a coordinate system as shown in FIG.
[0046]
The right diagram of FIG. 11 shows the geometrical information of the slit surface, that is, the relationship between the three-dimensional coordinate values and the two-dimensional coordinate values of the four corners of the slit surface. In this way, the ground information or road model is output by combining the geometric information with the optical information (214 and 215 in FIG. 8).
[0047]
As described above, according to the second embodiment, a model close to the real world can be automatically and efficiently acquired and restored by combining optical information with geometric information.
[0048]
As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Of course. For example, it goes without saying that the present invention can also be applied to all objects having surfaces other than the road surface, such as the ground and water.
[0049]
【The invention's effect】
The effects obtained by the invention disclosed in the present application will be briefly described as follows.
[0050]
According to the present invention, more accurate elevation data around a city block and elevation data of roads can be automatically acquired with high accuracy with respect to elevation data based on space survey, aerial survey, or three-dimensional coordinate values of the restored object.・ Can be restored.
[0051]
In addition, a model close to the real world consisting of geometric information and optical information can be automatically acquired and restored at high speed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a ground / road surface acquisition / restoration device according to a first embodiment of the present invention;
FIG. 2 is a schematic diagram illustrating a schematic configuration of setting of a camera, a moving unit, and a coordinate system according to the first embodiment.
FIG. 3 is a flowchart illustrating a procedure of processing operations of the ground or road surface acquisition / restoration device according to the first embodiment;
FIG. 4 is a diagram for explaining ground point calculation in consideration of each camera position and ground gradient according to the first embodiment;
FIG. 5 is a diagram for explaining perspective projection of each ground point on an image plane and acquisition as a three-dimensional coordinate value according to the first embodiment;
FIG. 6 is a diagram for explaining generation of a ground surface as a slit surface according to the first embodiment.
FIG. 7 is a block diagram illustrating a schematic configuration of a ground or road surface acquisition / restoration device according to a second embodiment of the present invention.
FIG. 8 is a flowchart illustrating a procedure of overall processing operation of the road surface acquisition / restoration device according to the second embodiment;
FIG. 9 is a flowchart illustrating a texture acquisition processing procedure according to the second embodiment.
FIG. 10 is a diagram for explaining delayed optical information acquisition processing according to the second embodiment;
FIG. 11 is a diagram for explaining panoramic image generation and texture mapping according to the second embodiment.
FIG. 12 is a diagram showing an example of elevation data obtained by a conventional commercially available apparatus.
FIG. 13 is a diagram for explaining laser measurement in conventional aerial surveying.
[Explanation of symbols]
DESCRIPTION OF
12 ... Vehicle (moving means)
P1: viewpoint position of
P2: viewpoint position (Xj, Yj, Zj) of the
Hc ...
Claims (6)
各々の撮影対象物画像と、それと同期した各々の3次元のカメラ視点位置を取得する過程と、
対象物を撮影した時刻tにおいて、時刻tの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、
前記時刻tにおける、前記傾斜角θ、並びにカメラ視点位置Xを利用して、該時刻tのときの、カメラ視点位置Xからの前記対象物の表面(車両通行面)への垂線との交点を3次元の表面位置Yとして、逐次求める過程と、
それぞれの時刻のときに求められる前記表面位置Yを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された1つ以上の表面位置Yを代表する3次元の代表値Zを逐次獲得する過程と、
前記獲得した代表値Z、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、
対象物の表面形状を獲得・復元する過程と
を具備することを特徴とする撮影対象物表面の自動獲得・復元方法。 It was taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, automatic acquisition and restoration capturing three-dimensional shape geometric information to model the object, or the surface shape information A method for automatically acquiring and restoring an object surface,
A step of obtaining the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized,
At time t obtained by photographing the object, the steps of measuring the inclination angle θ of the camera viewpoint position placed et the object before and after the time t,
Using the tilt angle θ and the camera viewpoint position X at the time t, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t is obtained. As a three-dimensional surface position Y, a process of obtaining sequentially ,
The surface position Y obtained at each time is perspective-projected on the object image surface photographed at a certain time, and the three-dimensional representing one or more surface positions Y projected from the inside to the vicinity of the image center Sequentially obtaining a representative value Z of
A process of sequentially constructing polygonal surfaces forming the object from the acquired representative value Z , the width information of the object, and the orientation information;
A method for automatically acquiring / restoring the surface of an object to be photographed, comprising the step of acquiring / restoring the surface shape of the object.
獲得した対象物表面の3次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、
対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する2次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、
前記光学情報、あるいはテクスチャー情報を獲得したときの3次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、
前記の3次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の3次元モデルを獲得・復元する過程と
を具備することを特徴とする撮影対象物の自動獲得・復元方法。In the automatic acquisition / restoration method of the photographing object surface according to claim 1,
A process of acquiring optical information or texture information of a region surrounded by a polygon from geometric information of the polygon formed by projecting the acquired three-dimensional surface of the object surface onto a time-series image;
The object surface shape is delayed from the acquisition time, or the polygon on the individual road surface at a position shifted from the position where the object shape is acquired is surrounded by a polygon on a two-dimensional image formed by perspective projection. The process of acquiring optical information or texture information in the selected area,
Using the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired, sequentially generating an orthographic panoramic image with corrected perspective projection distortion and aspect ratio;
An automatic acquisition / restoration of a photographing object, comprising: a step of sequentially acquiring / restoring a three-dimensional model of an object by combining the three-dimensional geometric information and the optical information or texture information. Method.
各々の撮影対象物画像と、それと同期した各々の3次元のカメラ視点位置を取得する位置情報取得手段と、
対象物を撮影した時刻tにおいて、時刻tの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、
前記時刻tにおける、前記傾斜角θ、並びにカメラ視点位置Xを利用して、該時刻tのときの、カメラ視点位置Xからの前記対象物の表面(車両通行面)への垂線との交点を3次元の表面位置Yとして、逐次求める手段と、
それぞれの時刻のときに求められる前記表面位置Yを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された1つ以上の表面位置Yを代表する3次元の代表値Zを逐次獲得する手段と、
前記獲得した代表値Z、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、
対象物の表面形状を獲得・復元する獲得・復元手段と
を具備することを特徴とする撮影対象物表面の自動獲得・復元装置。 It was taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, automatic acquisition and restoration capturing three-dimensional shape geometric information to model the object, or the surface shape information A device for automatically acquiring and restoring the surface of an object,
And each of the photographed object image, the same position information acquisition means for acquiring a camera viewpoint position location of the three-dimensional of each synchronized,
At time t obtained by photographing the object, and the object tilt measuring means for measuring the inclination angle θ of the camera viewpoint position placed et the object before and after the time t,
Using the tilt angle θ and the camera viewpoint position X at the time t, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t is obtained. Means for sequentially obtaining the three-dimensional surface position Y ;
The surface position Y obtained at respective times, perspectively projected onto the object image plane taken at a certain time, representing one or more surface position Y projected into the image near the center among its 3 and hand-stage acquire a representative value Z dimension sequential,
Polygonal surface construction means for successively constructing a polygonal surface forming the object from the acquired representative value Z , the width information of the object , and the orientation information;
An apparatus for automatically acquiring / restoring a surface of an object to be photographed, comprising acquisition / restoration means for acquiring / restoring the surface shape of the object.
対象物表面形状として獲得した個々の多角形な3次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される2次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、
前記光学情報、あるいはテクスチャー情報を獲得したときの3次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、
前記3次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の3次元モデルを獲得・復元する3次元モデル獲得・復元手段と
を具備することを特徴とする撮影対象物の自動獲得・復元装置。In the automatic acquisition / restoration device of the photographing object surface according to claim 4,
Formed as a result of perspective projection of the geometric information of each polygonal three-dimensional surface acquired as the object surface shape from the acquired time, or by perspective projection at a position different from the position where the object shape was acquired Optical information acquisition means for acquiring optical information in a region surrounded by a polygon on a two-dimensional image to be obtained, or texture information;
Panorama image generation means for successively generating orthographic panorama images corrected for perspective projection distortion and aspect ratio using the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired; ,
A photographing object comprising: a three-dimensional model acquisition / restoration unit that sequentially acquires / restores a three-dimensional model of an object by combining the three-dimensional geometric information and the optical information or texture information. Automatic acquisition and restoration device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001050753A JP3691401B2 (en) | 2001-02-26 | 2001-02-26 | Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001050753A JP3691401B2 (en) | 2001-02-26 | 2001-02-26 | Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002259952A JP2002259952A (en) | 2002-09-13 |
JP3691401B2 true JP3691401B2 (en) | 2005-09-07 |
Family
ID=18911665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001050753A Expired - Fee Related JP3691401B2 (en) | 2001-02-26 | 2001-02-26 | Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3691401B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4327062B2 (en) * | 2004-10-25 | 2009-09-09 | 三菱電機株式会社 | Navigation device |
JP2008042235A (en) * | 2006-08-01 | 2008-02-21 | Honda Motor Co Ltd | Display device for vehicle |
CN105069842A (en) | 2015-08-03 | 2015-11-18 | 百度在线网络技术(北京)有限公司 | Modeling method and device for three-dimensional model of road |
-
2001
- 2001-02-26 JP JP2001050753A patent/JP3691401B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002259952A (en) | 2002-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316325B (en) | Airborne laser point cloud and image registration fusion method based on image registration | |
KR101314120B1 (en) | Three-dimensional urban modeling apparatus and three-dimensional urban modeling method | |
KR100912715B1 (en) | Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors | |
US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
US20170310892A1 (en) | Method of 3d panoramic mosaicing of a scene | |
WO2021140886A1 (en) | Three-dimensional model generation method, information processing device, and program | |
JP5047515B2 (en) | Road image creation system, road image creation method, and road image composition apparatus | |
JP3776787B2 (en) | 3D database generation system | |
US20050271264A1 (en) | Three-dimensional image measuring apparatus and method | |
JPH0554128A (en) | Formation of automatic video image database using photograph ic measurement | |
KR20040004684A (en) | Three-dimensional electronic map data creation method | |
CA2489364A1 (en) | System for generating three-dimensional electronic models of objects | |
CA2582971A1 (en) | Computational solution of and building of three dimensional virtual models from aerial photographs | |
JP4058293B2 (en) | Generation method of high-precision city model using laser scanner data and aerial photograph image, generation system of high-precision city model, and program for generation of high-precision city model | |
JP3618649B2 (en) | An extended image matching method between images using an indefinite window | |
JP4152698B2 (en) | 3D building model data generator | |
KR102159134B1 (en) | Method and system for generating real-time high resolution orthogonal map for non-survey using unmanned aerial vehicle | |
JP3691401B2 (en) | Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed | |
Gruen et al. | 3D city modeling with TLS (Three Line Scanner) data | |
KR102107465B1 (en) | System and method for generating epipolar images by using direction cosine | |
Hsu | Geocoded terrestrial mosaics using pose sensors and video registration | |
Firdaus et al. | Accuracy analysis of three-dimensional model reconstructed by spherical video images | |
JP2004046777A (en) | Image processor, image processing method used therefor, and its program | |
JP2003346144A (en) | Method and system for extracting outline of building |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050615 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |