JP3691401B2 - Method and apparatus for automatically acquiring and restoring the surface of an object to be photographed - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物表面の３次元座標値を求め、撮影対象物の表面、外観に関するモデルを自動獲得・復元する方法及び装置に関し、特に、標高データを計測する測量分野に適用して有効な技術に関係するものである。
【０００２】
【従来の技術】
従来、標高データは、衛星等を利用した宇宙測量により対象物の５０メートルメッシュの間隔(１０メートルメッシュの標高データ等は、５０メートルメッシュ間隔のサンプル点から計算により算出したもの)で、各サンプル点の３次元座標値として測量されている。
【０００３】
【発明が解決しようとする課題】
しかし、図１２に示すように、サンプル点が荒く、街区レベルでの標高を正確に測量することは不可能である。
【０００４】
また、近年のリモートセンシング技術の発展により、飛行機にレーザ測定器を搭載し、宇宙測量よりも精度よく標高データを測定することが可能となった。
【０００５】
しかし、図１３に示すように、樹木や、車等の遮断物もレーザ計測してしまうため、道路や街区周辺の標高データを厳密に測定することは困難であった。
【０００６】
そこで、道路を撮影した映像から、道路上の幾何情報を利用し、画像処理的アプローチから、道路面を自動生成する研究が行われている。
【０００７】
しかし、道路面の起伏や***状態を正確に獲得するには至っておらず、道路を構成する両端の幾何情報(センターライン、歩道と道路との境界等)に依存している。このような画像処理を主体とした獲得・復元方法においては、光学情報獲得・復元を併用した精度の高い道路モデルを構築する方法は確立されていない。
【０００８】
また、対象物、特に都市空間の道路などは、コンピュータグラフィックスのエディタツール、またはクリエータにより創作されており、実写の映像とかけはなれた非現実的な地面や道路を作るのが現状である。
【０００９】
本発明の目的は、宇宙測量あるいは航空測量あるいは復元した対象物の３次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することが可能な技術を提供することにある。
【００１０】
本発明の他の目的は、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することが可能な技術を提供することにある。
【００１１】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【００１２】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、下記のとおりである。
第１の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元方法であって、各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する過程と、対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める過程と、それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する過程と、前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、対象物の表面形状を獲得・復元する過程とを具備するものである。
【００１３】
第２の発明は、前記第１の発明の撮影対象物表面の自動獲得・復元方法において、獲得した対象物表面の３次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、前記の３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する過程とを具備するものである。
【００１４】
第３の発明は、前記第１または第２の発明の撮影対象物表面の自動獲得・復元方法において、前記対象物は、地面もしくは道路面である。
【００１５】
第４の発明は、車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元装置であって、各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する位置情報取得手段と、対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める手段と、それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する手段と、前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、対象物の表面形状を獲得・復元する獲得・復元手段とを具備するものである。
【００１６】
第５の発明は、前記第４の発明の撮影対象物表面の自動獲得・復元装置において、対象物表面形状として獲得した個々の多角形な３次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、前記３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する３次元モデル獲得・復元手段とを具備するものである。
【００１７】
第６の発明は、前記第４または第５の発明の撮影対象物表面の自動獲得・復元装置において、前記対象物が、地面もしくは道路面である。
【００１８】
本発明のポイントは、例えば、画像入力装置を移動しながら地面、または、道路を撮影して取得した時系列画像と、前記時系列画像と、それと同期して計測する位置センサ情報を用いて、画像入力装置で撮影した地面、または、道路の３次元的形状を獲得し、同時に、地面または道路面上のテクスチャーデータを高品質に逐次獲得することにより、地面、または、道路モデルを復元することを特徴とする。
【００１９】
本発明の方法を利用することにより、宇宙測量もしくは航空測量からの標高データと比較して、地面もしくは標高面、または、道路面の形状を、簡易的、かつ、精度よく獲得・復元することが可能となる。また、コンピュータグラフィックスに利用できるような実写に近い地面、または、道路モデルとして利用することが可能である。
【００２０】
以下、本発明について、本発明による実施形態(実施例)とともに図面を参照して詳細に説明する。
【００２１】
なお、実施形態(実施例)を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２２】
【発明の実施の形態】
(実施例１)
図１は、本発明の実施例１の道路面の獲得・復元装置の概略構成を示すブロック図、図２は本実施例１のカメラ、移動手段及び座標系の設定の概要構成を示す模式図、図３は本実施例１の道路面の獲得・復元装置の処理手順を示すフローチャートである。
【００２３】
以下では、カメラ(画像入力装置)１１を車両(移動手段)１２に搭載して車載撮影(図２)しながら、各時刻ｉでのカメラ視点位置(Ｘi，Ｙi，Ｚi)で映している画像の画像中心に該当する道路面(地面)１０の３次元的面(または形状：図２においては(Ｘj，Ｙj，Ｚj−Ｈｃ)での画像中心に投影される地面点)を獲得・復元する実施例について説明する。
【００２４】
ここで、カメラ１１の視点位置は、センシング位置と等価であることを前提としている。図２において、Ｐ１は時刻ｉでのカメラ１１の視点位置(Ｘi，Ｙi，Ｚi)、Ｐ２は時刻ｊでのカメラ１１の視点位置(Ｘj，Ｙj，Ｚj)、Ｈｃは車高である。
【００２５】
本実施例１の道路面の獲得・復元装置は、図１に示すように、センシング部１、データ蓄積部２、傾斜情報取得部３、地面情報取得部４、幾何情報獲得部５、方位取得部６、モデル構築部７、及びモデル出力部８で構成されている。
【００２６】
本実施例１の道路面の獲得・復元装置の処理動作手順について説明する。
【００２７】
前記センシング部１では、逐次、カメラ視点の位置情報を取得する。このセンシングデータは、データ蓄積部２において、ある一定量の時系列のセンシングデータ分が蓄積もしくは記憶される。この蓄積されたデータは、傾斜情報取得部３、地面情報取得部４、方位取得部６へ伝達される。傾斜情報取得部３では、各々のセンシング位置での地面の傾斜を計算し、地面情報取得部４では、これらの傾斜情報とカメラ視点位置情報から地面の位置情報に変換する。また、方位取得部６では、センシング点での方位角が計算され、地面のスリット面生成に使用される。ー方、幾何情報獲得部５では、蓄積された地面点として変換されたデータを、あるカメラ視点位置での画像面に投影し、これら時系列の投影データの中から、その画像の中心に位置する地面(中心面)の３次元座標値を獲得する。この処理をセンシングしたカメラ視点位置情報に対して実行され、モデル構築部７で、地面もしくは道路面モデルを構築し、要求するモデル形式に従ったデータ形式をモデル出力部８から出力される。
【００２８】
次に、図３を用いて本実施例１の動作処理手順を説明する。
【００２９】
図３に示すように、センシング入力データ１０１として、そのときのカメラ視点情報、すなわち、位置情報(Ｘｉ，Ｙｉ，Ｚｉ)が時系列に取得される(図２)。これらのデ−タは、センシングデータ蓄積部１０３において、適宜データ蓄積を行っている。以下の処理は、図２に示すように、位置情報(Ｘi，Ｙi，Ｚi)が取得されてから、ある量分だけ蓄積したセンシング入力データ１０１の中から、地面の３次元座標値(Ｘj，Ｙj，Ｚj−Ｈｃ)として獲得する。
【００３０】
前記図２は説明のため地面が平坦の場合としているが、以下の処理は、一般的な説明をするため、傾斜している場合について記載する。また、説明を簡単にするために、主軸をＹ（車両の進行方向）とした場合について説明する。通常は、移動手段(車両等)１２は、定義上設定した座標系(例えば、国家座標系)Ｘ−Ｙ平面を移動するが、各々の時間での移動手段１２の進行方向をＹ軸としても、一般性を失わない。このＹ軸を設定することで、方位取得部６(図１)では、Ｙ軸からの方位が計算されている。
【００３１】
まず、時刻ｉのときのカメラ視点に関する位置情報(Ｘi，Ｙi，Ｚi)を取得し、カメラ視点(Ｘi，Ｙi，Ｚi)として設定する。このとき、この視点における仰角、すなわち、カメラ１１が水平面と為す角θi(Ｘ軸周りの回転)が計算され、透視投影計算時のカメラパラメータとして利用される。同時に、そのときの方位φiも取得され、スリット面のモデル化のときに利用される。次に、センシングデータの蓄積部１０３から、逐次、時刻ｉ以外の時刻ｊのときのカメラ視点の位置情報(Ｘj，Ｙj，Ｚj)をロードする（１０５）。このとき、図４に示すように、時刻ｊを前後する時刻ｊ−１と時刻ｊ＋１での位置情報(Ｐ３，Ｐ４)の差分計算(Ｐ４−Ｐ３)から、そのときの傾斜角θj、並びに地面点への変換量(Ｙjd，Ｚjd)＝(Ｈｃ×sinθj，−Ｈｃ×cosθj)を計算する（１０６）。カメラ視点の位置が(Ｘj，Ｙj，Ｚj)のとき、地面の位置情報は、(Ｘjg，Ｙjg，Ｚjg)＝(Ｘj，Ｙj＋Ｙjd，Ｚj＋Ｚjd)となる（１０７）。ここで、Ｈｃは平坦部における地面からカメラ視点位置までの高さ、すなわち、車高である。
【００３２】
図５に示すように、地面位置へ変換された位置情報(Ｘjg，Ｙjg，Ｚjg)は、カメラ１１の水平面に対する仰角θiを考慮したカメラパラメータにより、時刻ｉのときのカメラ視点における画像面へ透視投影される（１０８）。投影された点(ｘj，ｙj)の中で、画像中心の座標値(Ｃx，Ｃy)との誤差が、ある許容誤差ε以内になる点を集計し（１０９）、集計した中から、それらの平均値を算出し、３次元座標値を獲得する。この点は、時刻ｉのときのカメラ視点に関する位置情報で操影したときの画像における画像中心に相当する点の３次元座標値である（１１１）。このように、逐次、地面上の３次元座標値を獲得していく。
【００３３】
地面を形成する面は、図６に示すように、個々のスリット面で近似して、逐次復元していき、地面の３次元形状をモデル化する。そのとき、地面の幅に指定があった場合は、その幅に設定し（１１２）、指定がない場合は、デフォルトで幅を与えて、スリット面幅を設定する。さらに、獲得した３次元座標値間の中間点から、スリット面の(進行方向に沿った)長さを設定する。このときのスリット面は、Ｘ′−Ｙ′での矩形面であるため、Ｘ−Ｙでのスリット面とするのに、方位情報取得部において出力されると、それからの相対的方位を加味した獲得時の方位φｊ（１０４）を使って座標変換する（１１３）。これを、図６の右の図にて説明する。図６において、スリット面の中心を、Ｑｊ(Ｘｊｇ，Ｙｊｇ)とする。尚、Ｚ軸は、ここでは関係が無い。そのとき、地面幅がＬとＲで与えられ、Ｑと前後して獲得したスリット面中心の座標値を(Ｘj−１g，Ｙj−１g)、(Ｘj＋１g，Ｙj＋１g)とする。スリット面の四隅の座標値Ｐj1'、Ｐj2'、Ｐj3'、Ｐj4'は、数１の式となる。
【００３４】
【数１】
Ｐj1'(ＸjuＲ',ＹjuＲ')＝(Ｘjg＋Ｒ,Ｙjg＋(Ｙj＋１g−Ｙjg)／２)
Ｐj2'(ＸjdＲ',ＹjdＲ')＝(Ｘjg＋Ｒ,Ｙjg−(Ｙj−１g−Ｙjg)／２)
Ｐj3'(ＸjdＬ',ＹjdＬ')＝(Ｘjg−Ｌ,Ｙjg−(Ｙj−１g−Ｙjg)／２)
Ｐj4'(ＸjuＬ',ＹjuＬ')＝(Ｘjg−Ｌ,Ｙjg＋(Ｙj＋１g−Ｙjg)／２)
さらに、このスリット面の方位角φjであることにより、スリット面の四隅の３次元座標値は、それぞれ数２の式となる。
【００３５】
【数２】
Ｐj1(ＸjuＲ,ＹjuＲ)＝(ＸjuＲ'×cosφj−ＹjuＲ'×sinφj,ＸjuＲ'×sinφj＋ＹjuＲ'×cosφj)
Ｐj2(ＸjdＲ,ＹjdＲ)＝(ＸjdＲ'×cosφj−ＹjdＲ'×sinφj,ＸjdＲ'×sinφj＋ＹjdＲ'×cosφj)
Ｐj3(ＸjdＬ,ＹjdＬ)＝(ＸjdＬ'×cosφj−ＹjdＬ'×sinφj,ＸjdＬ'×sinφj＋ＹjdＬ'×cosφj)
Ｐj4(ＸjuＬ,ＹjuＬ)＝(ＸjuＬ'×cosφj−ＹjuＬ'×sinφj,ＸjuＬ'×sinφj＋ＹjuＬ'×cosφj)
なお、Ｐj1とＰj4は、次のスリット面(Ｑj＋１(Ｘj＋１g,Ｙ＋１g))のＰj＋１2，Ｐj＋１3と等価とし、Ｐj2とＰj3は、１つ前のスリット面(Ｑj−１(Ｘj＋１g，Ｙ＋１g))のＰj−１1，Ｐj−１4と等価にする。
【００３６】
このように、スリット面の中心の座標値(Ｘjg,Ｙjg)が獲得されると、その前後の中心座標値(Ｘj−１g,Ｙj−１g)、(Ｘj＋１g,Ｙj＋１g)と地面幅ＬとＲ、並びに方位角φｊにより、逐次、スリット面を四隅の座標値Ｐjl、Ｐj2、Ｐj3、Ｐj4によりポリゴン表現し、３次元モデル形式に従って、道路をモデル化し（１１４）、３次元モデル化した地面モデルデータを出力する（１１５）。
【００３７】
(実施例２)
画像入力装置(カメラ)を車両に搭載して車載撮影(図２)しながら、各時刻ｉでのカメラ視点(Ｘi,Ｙi,Ｚi)で映している道路面上の対象部分の３次元的構造、または形状(図２において、(Ｘj,Ｙj,Ｚj−Ｈｃ))、並びに地面(道路面)の光学情報、またはテクスチャー情報を獲得、復元する例について説明する。本実施例２では、前記実施例１で獲得した地面の形状に加えて、地面の光学情報、またはテクスチャー情報を同時に獲得し、より現実に近い地面としてモデル復元するものである。なお、以下では、前記実施例１と異なる部分のみに限定して説明する。
【００３８】
図７は、本発明の実施例２の道路面のモデル自動獲得・復元装置の概略構成を示すブロック図、図８は本実施例２の全体処理動作の手順を示すフローチャート、図９は本実施例２のテクスチャー獲得処理手順を示すフローチャートである。
【００３９】
本実施例２の道路面のモデル自動獲得・復元装置は、図７に示すように、画像入力部２１では、時系列に画像を取り込み、後処理等の用途に応じて蓄積する。光学情報取得部２２では、獲得した幾何情報から形成されるスリット面を使い、その中の光学情報を、時系列画像中から探索し、最適と判断した時点で獲得する手段を有している。こうして獲得された光学情報は、パノラマ画像生成部２３でパノラマ画像として変形、変換され、テクスチャーマッピング用の画像として蓄積される。モデル構築部７では、３次元ビューワに合わせて、幾何情報と光学情報を合成、加工し、モデル出力部８から地面、道路モデルが出力される。
【００４０】
本実施例２の道路面のモデル自動獲得・復元装置装置の処理動作において、前記実施例１と同じ処理動作手順の説明は、ここでは省略する。
【００４１】
図８及び図９に示すように、地面を形成するスリット面が逐次獲得された場合、そのスリット面の形状を用いて、時刻ｋでの光学情報を獲得する。すなわち、スリット面を獲得した時刻ｊで光学情報を獲得するのではなく、できるだけカメラ視点に近く、地面のテクスチャーが最も高品質であるような場所に、スリット面が移動した時刻ｋで、光学情報を獲得する(３０４)。
【００４２】
光学情報獲得には、図９に示すように、時刻ｋでのカメラ視点(Ｘk,Ｙk,Ｚk)と、スリット面の幾何情報を入力とする（３０４，３０６）。また、センシングデータと同期して撮影された画像データも入力データである(３０１，３０２，３０３)。
【００４３】
時刻ｊで獲得したスリット面の幾何情報は、時刻ｋでのカメラ視点(Ｘk,Ｙk,Ｚk)でのカメラパラメータにより、画像面へ投影される(３０５)。このとき、スリット面は、画像面においてある領域を占めている。ここで、この占有領域が、フレームアウトせず、かつ、最大の領域かどうかの判定を行う(３０７）。もし、次の時刻ｋ＋１において(３０８)、フレームアウトせず、かつ、占有領域が大きければ、そのときの投影により変形したスリット面形状を記憶する(３０３)。時刻ｋを逐次更新し、フレームアウトせず、最大の占有領域をもつ変形したスリット面を獲得する(図１０)。
【００４４】
さらに、この変形形状から、元の矩形形状へ変形するための正射影変換係数を算出し(３０９)、この変換係数を使って、テクスチャーを切り出して（３１０）、光学情報を獲得する。この獲得した光情報をテクスチャー正射影変換し（３１１）、テクスチャーデータ蓄積部（テクスチャーデータベース）に格納される（３１２）。これにより、画像中心付近での光学情報に比較して、遅延して獲得した光学情報は、高品質となる。こうして、スリット面が獲得されるたびに、前述したように、その面に対応する光学情報を獲得する。得られた正射影型スリット画像は、逐次、テクスチャーデータ蓄積部(テクスチャーデータベース)に、逐次格納される。
【００４５】
図１１に、パノラマ画像での各スリット面の２次元座標値設定、並びに幾何情報へのテクスチャーマッピングを示す。図１１の左図は、生成したパノラマ画像において、スリット面の四隅の２次元座標値を設定していることを示す図である。スリット面は連続して獲得され、図１１のような座標系で設定される。
【００４６】
また、図１１の右図では、スリット面の幾何情報、すなわち、スリット面の四隅の３次元座標値と、２次元座標値との間の関係を示すものである。このように、幾何情報に、光学情報を組み合わせて地面または道路のモデルを出力する（図８の２１４,２１５）。
【００４７】
以上説明したように、本実施例２によれば、幾何情報に、光学情報を組み合わせることにより、現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【００４８】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。例えば、道路面以外の地面、水面等の表面を有する全てのものにも適用できることはいうまでもない。
【００４９】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明すれば、下記のとおりである。
【００５０】
本発明によれば、宇宙測量あるいは航空測量あるいは復元した対象物の３次元的座標値による標高データに対して、より正確な街区周辺の標高データ及び道路の標高データを高精度に自動的に獲得・復元することができる。
【００５１】
また、幾何情報と光学情報からなる現実世界に近いモデルを自動的に高速かつ効率的に獲得・復元することができる。
【図面の簡単な説明】
【図１】本発明の実施例１の地面、道路面の獲得・復元装置の概略構成を示すブロック図である。
【図２】本実施例１のカメラ、移動手段及び座標系の設定の概要構成を示す模式図である。
【図３】本実施例１の地面、または道路面の獲得・復元装置の処理動作の手順を示すフローチャートである。
【図４】本実施例１の各々のカメラ位置と地面の勾配を考慮した地面点の算出を説明するための図である。
【図５】本実施例１の各々の地面点の画像面への透視投影と３次元座標値としての獲得を説明するための図である。
【図６】本実施例１のスリット面としての地面生成を説明するための図である。
【図７】本発明の実施例２の地面、または道路面の獲得・復元装置の概略構成を示すブロック図である。
【図８】本実施例２の道路面の獲得・復元装置の全体処理動作の手順を示すフローチャートである。
【図９】本実施例２のテクスチャー獲得処理手順を示すフローチャートである。
【図１０】本実施例２の遅延させた光学情報獲得処理を説明するための図である。
【図１１】本実施例２のパノラマ画像生成とテクスチャーマッピングを説明するための図である。
【図１２】従来の市販されている装置による標高データの例を示す図である。
【図１３】従来の航空測量におけるレーザ計測を説明するための図である。
【符号の説明】
１…センシング部 ２…データ蓄積部
３…傾斜情報取得部 ４…地面情報取得部
５…幾何情報獲得部 ６…方位取得部
７…モデル構築部 ８…モデル出力部
１０…道路面(地面) １１…カメラ(画像入力装置)
１２…車両(移動手段)
Ｐ１…時刻ｉでのカメラ１１の視点位置(Ｘi，Ｙi，Ｚi)
Ｐ２…時刻ｊでのカメラ１１の視点位置(Ｘj，Ｙj，Ｚj)
Ｈｃ…車高 ２１…画像入力部
２２…光学情報取得部 ２３…パノラマ画像生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for obtaining a three-dimensional coordinate value of a surface of an object from time-series image data acquired by an image input device or the like, and automatically acquiring and restoring a model relating to the surface and appearance of a photographing object. It relates to technology that is effective when applied to surveying fields that measure elevation data.
[0002]
[Prior art]
Conventionally, altitude data is a 50-meter mesh interval of the object by space survey using satellites etc. (10-meter mesh altitude data etc. is calculated from sample points at 50 meter mesh intervals) Surveyed as a three-dimensional coordinate value of a point.
[0003]
[Problems to be solved by the invention]
However, as shown in FIG. 12, the sample points are rough, and it is impossible to accurately measure the altitude at the block level.
[0004]
In addition, recent developments in remote sensing technology have made it possible to mount altitude data with higher accuracy than space surveying by mounting a laser measuring instrument on an airplane.
[0005]
However, as shown in FIG. 13, it is difficult to precisely measure altitude data around roads and blocks because lasers are also used to measure trees and obstacles such as cars.
[0006]
In view of this, research has been conducted to automatically generate a road surface from an image processing approach by using geometric information on the road from an image of the road.
[0007]
However, it has not yet been able to accurately acquire the road surface undulation and uplift state, and it depends on geometric information (center line, boundary between sidewalk and road, etc.) at both ends constituting the road. In such an acquisition / restoration method mainly based on image processing, a method for constructing a highly accurate road model using optical information acquisition / restoration has not been established.
[0008]
In addition, objects such as roads in urban spaces have been created by computer graphics editor tools or creators, and the current situation is to create unrealistic ground and roads that are different from live-action images.
[0009]
It is an object of the present invention to automatically obtain more accurate elevation data around a block and road elevation data with high accuracy with respect to elevation data based on space survey, aerial survey, or restored three-dimensional coordinate values of an object. -To provide technology that can be restored.
[0010]
Another object of the present invention is to provide a technique capable of automatically and quickly acquiring and restoring a model close to the real world composed of geometric information and optical information.
[0011]
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
[0012]
[Means for Solving the Problems]
The outline of the invention disclosed in the present application will be briefly described as follows.
A first aspect of the present invention is automatically taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, three-dimensional shape geometric information to model the object, or the surface shape information an automatic acquisition and restoring the shooting target surface to acquire and restore, and the process of acquiring the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized were taken of the object at time t, the steps of measuring the inclination angle theta of the camera viewpoint position placed et the object before and after the time t, at the time t, the tilt angle theta, and by using the camera viewpoint X, of the time t The process of successively obtaining the intersection of the camera viewpoint position X and the normal to the surface of the object (vehicle traffic surface) as a three-dimensional surface position Y, and the surface position obtained at each time Y at a certain time A process of sequentially obtaining a three-dimensional representative value Z representative of one or more surface positions Y projected from the captured object image plane to the vicinity of the center of the image, and the acquired representative value Z In addition, a process of sequentially forming a polygonal surface forming the object from the width information and the orientation information of the object, and a process of acquiring and restoring the surface shape of the object are provided.
[0013]
According to a second aspect of the invention, in the automatic acquisition / restoration method of the imaging target surface of the first aspect of the invention, polygonal geometric information formed by projecting the acquired three-dimensional surface of the target surface onto a time-series image From the process of acquiring the optical information or texture information of the area surrounded by the polygon, and the time at which the object surface shape was acquired or delayed from the position at which the object shape was acquired, When acquiring optical information or texture information in a region surrounded by a polygon on a two-dimensional image formed by perspective projection of a polygon on a road surface, and when acquiring the optical information or texture information Using the geometric information of the projected shape of the three-dimensional surface, sequentially generating orthographic panoramic images with corrected perspective projection distortion and aspect ratio, the three-dimensional geometric information, and the optical Distribution, or in combination with the texture information is for and a process of obtaining and restored the three-dimensional model of sequential object.
[0014]
According to a third aspect of the present invention, in the automatic acquisition / restoration method of the imaging object surface of the first or second aspect of the invention, the object is a ground surface or a road surface.
[0015]
A fourth invention is automatically taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, three-dimensional shape geometric information to model the object, or the surface shape information an automatic acquisition and reconstruction apparatus for imaging the object surface to acquire and restore, position information acquisition means for acquiring the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized, the object at time t obtained by photographing, use and object tilt measuring means for measuring the inclination angle theta of the camera viewpoint position placed et the object before and after the time t, at the time t, the tilt angle theta, and a camera viewpoint X Then, means for sequentially obtaining, as a three-dimensional surface position Y, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t , Before sometimes asked The serial surface position Y, perspectively projected onto the object image plane taken at a certain time, sequentially acquiring three-dimensional representative value Z representing one or more surface position Y projected into the image near the center among its hand stage you, the surface shape of the acquired representative value Z, the width information of the object, and the orientation information, the object and the polygonal surface constituting means for sequentially constituting the surface of the polygon forming the object Acquisition / restoration means for acquiring / restoring the data.
[0016]
According to a fifth aspect of the present invention, in the automatic acquisition / restoration device for a photographing object surface according to the fourth aspect of the invention, the geometric information of each polygonal three-dimensional surface acquired as the object surface shape is delayed from the acquired time. Or delay to acquire optical information or texture information in a region surrounded by polygons on a two-dimensional image formed as a result of perspective projection on a time-series image at a position different from the position where the object shape was acquired An orthogonal projection panorama image corrected for perspective projection distortion and aspect ratio using the optical information acquisition means and the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired. A sequential panoramic image generation means, the three-dimensional geometric information, and the optical information or texture information are combined to acquire and restore a three-dimensional model of the target object sequentially. It is intended to and a 3D model acquisition and restoration means for.
[0017]
According to a sixth aspect of the present invention, in the automatic acquisition / restoration device for a photographing object surface according to the fourth or fifth aspect, the object is a ground surface or a road surface.
[0018]
The point of the present invention is, for example, using a time series image obtained by photographing the ground or a road while moving an image input device, the time series image, and position sensor information measured in synchronization therewith, Retrieving the ground or road model by acquiring the three-dimensional shape of the ground or road taken with the image input device and simultaneously acquiring texture data on the ground or road surface in high quality at the same time. It is characterized by.
[0019]
By using the method of the present invention, it is possible to easily and accurately acquire / restore the shape of the ground surface, elevation surface, or road surface as compared to elevation data from space survey or aerial survey. It becomes possible. Further, it can be used as a ground surface that can be used for computer graphics or as a road model.
[0020]
Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the present invention.
[0021]
In all the drawings for explaining the embodiments (examples), parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
(Example 1)
FIG. 1 is a block diagram illustrating a schematic configuration of a road surface acquisition / restoration apparatus according to a first embodiment of the present invention, and FIG. 2 is a schematic diagram illustrating a schematic configuration of a camera, a moving unit, and a coordinate system according to the first embodiment. FIG. 3 is a flowchart showing the processing procedure of the road surface acquisition / restoration apparatus of the first embodiment.
[0023]
In the following, the camera (image input device) 11 is mounted on the vehicle (moving means) 12 and is imaged on the vehicle (FIG. 2), and the image is shown at the camera viewpoint position (Xi, Yi, Zi) at each time i. A three-dimensional plane (or shape: ground point projected on the image center at (Xj, Yj, Zj-Hc) in FIG. 2) of the road surface (ground) 10 corresponding to the image center is acquired and restored. Examples will be described.
[0024]
Here, it is assumed that the viewpoint position of the camera 11 is equivalent to the sensing position. In FIG. 2, P1 is the viewpoint position (Xi, Yi, Zi) of the camera 11 at time i, P2 is the viewpoint position (Xj, Yj, Zj) of the camera 11 at time j, and Hc is the vehicle height.
[0025]
As shown in FIG. 1, the road surface acquisition / restoration apparatus according to the first embodiment includes a sensing unit 1, a data storage unit 2, a slope information acquisition unit 3, a ground information acquisition unit 4, a geometric information acquisition unit 5, and a direction acquisition. Unit 6, model construction unit 7, and model output unit 8.
[0026]
A processing operation procedure of the road surface acquisition / restoration apparatus according to the first embodiment will be described.
[0027]
The sensing unit 1 sequentially acquires camera viewpoint position information. As for this sensing data, a certain amount of time-series sensing data is stored or stored in the data storage unit 2. The accumulated data is transmitted to the inclination information acquisition unit 3, the ground information acquisition unit 4, and the direction acquisition unit 6. The inclination information acquisition unit 3 calculates the inclination of the ground at each sensing position, and the ground information acquisition unit 4 converts the inclination information and camera viewpoint position information into ground position information. In the azimuth acquisition unit 6, the azimuth angle at the sensing point is calculated and used to generate a slit surface on the ground. On the other hand, the geometric information acquisition unit 5 projects the data converted as the accumulated ground point onto the image plane at a certain camera viewpoint position, and positions it at the center of the image from these time-series projection data. The three-dimensional coordinate value of the ground (center plane) to be acquired is acquired. This process is executed on the sensed camera viewpoint position information, the model construction unit 7 constructs a ground or road surface model, and a data format according to the requested model format is output from the model output unit 8.
[0028]
Next, the operation processing procedure of the first embodiment will be described with reference to FIG.
[0029]
As shown in FIG. 3, camera viewpoint information at that time, that is, position information (Xi, Yi, Zi) is acquired in time series as sensing input data 101 (FIG. 2). These data are appropriately stored in the sensing data storage unit 103. As shown in FIG. 2, the following processing is performed from the sensing input data 101 accumulated for a certain amount after the position information (Xi, Yi, Zi) is acquired, and the three-dimensional coordinate values (Xj, Yj, Zj-Hc).
[0030]
Although FIG. 2 assumes that the ground is flat for the sake of explanation, the following processing will be described for the case where the ground is inclined for general explanation. Further, in order to simplify the description, a case where the main shaft is Y (vehicle traveling direction) will be described. Normally, the moving means (vehicle or the like) 12 moves on a coordinate system (for example, a national coordinate system) XY plane set by definition, but the traveling direction of the moving means 12 at each time may be the Y axis. , Not lose generality. By setting the Y axis, the azimuth from the Y axis is calculated in the azimuth acquisition unit 6 (FIG. 1).
[0031]
First, position information (Xi, Yi, Zi) relating to the camera viewpoint at time i is acquired and set as the camera viewpoint (Xi, Yi, Zi). At this time, the elevation angle at this viewpoint, that is, the angle θi (rotation around the X axis) formed by the camera 11 with the horizontal plane is calculated and used as a camera parameter at the time of perspective projection calculation. At the same time, the azimuth φi at that time is also acquired and used when modeling the slit surface. Next, the camera viewpoint position information (Xj, Yj, Zj) at time j other than time i is sequentially loaded from the sensing data storage unit 103 (105). At this time, as shown in FIG. 4, from the difference calculation (P4-P3) of the position information (P3, P4) at the time j−1 and the time j + 1 around the time j, the inclination angle θj at that time and the ground A conversion amount to points (Yjd, Zjd) = (Hc × sin θj, −Hc × cos θj) is calculated (106). When the camera viewpoint position is (Xj, Yj, Zj), the ground position information is (Xjg, Yjg, Zjg) = (Xj, Yj + Yjd, Zj + Zjd) (107). Here, Hc is the height from the ground to the camera viewpoint position in the flat part, that is, the vehicle height.
[0032]
As shown in FIG. 5, the position information (Xjg, Yjg, Zjg) converted into the ground position is seen through to the image plane at the camera viewpoint at time i by the camera parameter considering the elevation angle θi with respect to the horizontal plane of the camera 11. Projected (108). Among the projected points (xj, yj), the points whose error from the coordinate value (Cx, Cy) of the image center is within a certain allowable error ε are totaled (109), An average value is calculated and a three-dimensional coordinate value is obtained. This point is a three-dimensional coordinate value of the point corresponding to the image center in the image when the image is manipulated with the position information related to the camera viewpoint at time i (111). In this way, the three-dimensional coordinate values on the ground are sequentially acquired.
[0033]
As shown in FIG. 6, the surface forming the ground is approximated by individual slit surfaces and sequentially restored to model the three-dimensional shape of the ground. At that time, if the width of the ground is designated, the width is set (112), and if not designated, the width is given by default to set the slit surface width. Further, the length (along the traveling direction) of the slit surface is set from the intermediate point between the acquired three-dimensional coordinate values. Since the slit surface at this time is a rectangular surface at X′-Y ′, when it is output from the orientation information acquisition unit to take the slit surface at XY, the relative orientation from that is taken into account. Coordinate conversion is performed using the azimuth φj (104) at the time of acquisition (113). This will be described with reference to the right side of FIG. In FIG. 6, the center of the slit surface is defined as Qj (Xjg, Yjg). The Z axis is not relevant here. At this time, the ground width is given by L and R, and the coordinate values of the slit surface center acquired before and after Q are (Xj-1g, Yj-1g) and (Xj + 1g, Yj + 1g). The coordinate values Pj1 ′, Pj2 ′, Pj3 ′, and Pj4 ′ at the four corners of the slit surface are expressed by Equation 1.
[0034]
[Expression 1]
Pj1 '(XjuR', YjuR ') = (Xjg + R, Yjg + (Yj + 1g-Yjg) / 2)
Pj2 '(XjdR', YjdR ') = (Xjg + R, Yjg- (Yj-1g-Yjg) / 2)
Pj3 '(XjdL', YjdL ') = (Xjg-L, Yjg- (Yj-1g-Yjg) / 2)
Pj4 '(XjuL', YjuL ') = (Xjg-L, Yjg + (Yj + 1g-Yjg) / 2)
Furthermore, by using the azimuth angle φj of the slit surface, the three-dimensional coordinate values of the four corners of the slit surface are expressed by the following equation (2).
[0035]
[Expression 2]
Pj1 (XjuR, YjuR) = (XjuR ′ × cosφj−YjuR ′ × sinφj, XjuR ′ × sinφj + YjuR ′ × cosφj)
Pj2 (XjdR, YjdR) = (XjdR ′ × cosφj−YjdR ′ × sinφj, XjdR ′ × sinφj + YjdR ′ × cosφj)
Pj3 (XjdL, YjdL) = (XjdL ′ × cosφj−YjdL ′ × sinφj, XjdL ′ × sinφj + YjdL ′ × cosφj)
Pj4 (XjuL, YjuL) = (XjuL '× cosφj−YjuL ′ × sinφj, XjuL ′ × sinφj + YjuL ′ × cosφj)
Pj1 and Pj4 are equivalent to Pj + 12, Pj + 13 of the next slit surface (Qj + 1 (Xj + 1g, Y + 1g)), and Pj2 and Pj3 are Pj of the previous slit surface (Qj-1 (Xj + 1g, Y + 1g)). -11 and Pj-14.
[0036]
Thus, when the coordinate values (Xjg, Yjg) of the center of the slit surface are obtained, the center coordinate values (Xj-1g, Yj-1g) and (Xj + 1g, Yj + 1g) and the ground widths L and R before and after the slit surface are obtained. In addition, the slit surface is successively represented by polygons by the coordinate values Pjl, Pj2, Pj3, and Pj4 of the four corners according to the azimuth angle φj, the road is modeled according to the three-dimensional model format (114), and the three-dimensional model ground model data Output (115).
[0037]
(Example 2)
Three-dimensional structure of the target part on the road surface that is projected from the camera viewpoint (Xi, Yi, Zi) at each time i while the image input device (camera) is mounted on the vehicle and photographed in-vehicle (Fig. 2) An example of acquiring and restoring the shape ((Xj, Yj, Zj-Hc) in FIG. 2) and optical information or texture information of the ground (road surface) will be described. In the second embodiment, in addition to the shape of the ground acquired in the first embodiment, optical information or texture information of the ground is simultaneously acquired, and the model is restored as a more realistic ground. In the following description, the description will be limited to only parts different from the first embodiment.
[0038]
FIG. 7 is a block diagram showing a schematic configuration of the road surface model automatic acquisition / restoration device according to the second embodiment of the present invention, FIG. 8 is a flowchart showing the procedure of the overall processing operation of the second embodiment, and FIG. 9 shows the present embodiment. 10 is a flowchart showing a texture acquisition processing procedure of Example 2.
[0039]
As shown in FIG. 7, the road surface model automatic acquisition / restoration device according to the second embodiment captures images in time series in the image input unit 21 and stores them in accordance with uses such as post-processing. The optical information acquisition unit 22 has means for using the slit surface formed from the acquired geometric information, searching for the optical information in the slit information from the time-series image, and acquiring it when it is determined to be optimal. The optical information acquired in this way is transformed and converted as a panoramic image by the panoramic image generation unit 23 and stored as an image for texture mapping. In the model construction unit 7, geometric information and optical information are synthesized and processed in accordance with the three-dimensional viewer, and the ground / road model is output from the model output unit 8.
[0040]
In the processing operation of the road surface model automatic acquisition / restoration device of the second embodiment, the description of the same processing operation procedure as that of the first embodiment is omitted here.
[0041]
As shown in FIGS. 8 and 9, when the slit surface forming the ground is sequentially acquired, the optical information at time k is acquired using the shape of the slit surface. That is, optical information is not acquired at time j when the slit surface is acquired, but optical information is acquired at time k when the slit surface moves to a place where the texture of the ground is the highest quality as close as possible to the camera viewpoint. (304).
[0042]
For optical information acquisition, as shown in FIG. 9, the camera viewpoint (Xk, Yk, Zk) at time k and the geometric information of the slit surface are input (304, 306). Further, image data photographed in synchronization with the sensing data is also input data (301, 302, 303).
[0043]
The slit plane geometric information acquired at time j is projected onto the image plane according to the camera parameters at the camera viewpoint (Xk, Yk, Zk) at time k (305). At this time, the slit surface occupies a certain region on the image surface. Here, a determination is made as to whether this occupied area is the largest area without frame-out (307). If the frame is not out at the next time k + 1 (308) and the occupied area is large, the slit surface shape deformed by the projection at that time is stored (303). The time k is sequentially updated, and a deformed slit surface having the largest occupied area is acquired without being out of frame (FIG. 10).
[0044]
Further, an orthographic transformation coefficient for transforming from the deformed shape to the original rectangular shape is calculated (309), and the texture is cut out using the transform coefficient (310) to obtain optical information. The acquired light information is subjected to texture orthographic transformation (311) and stored in the texture data storage unit (texture database) (312). Thereby, the optical information acquired with a delay compared to the optical information near the center of the image is of high quality. Thus, every time a slit surface is acquired, optical information corresponding to that surface is acquired as described above. The obtained orthographic slit images are sequentially stored in the texture data storage unit (texture database).
[0045]
FIG. 11 shows the two-dimensional coordinate value setting of each slit surface in the panoramic image and the texture mapping to the geometric information. The left figure of FIG. 11 is a figure which shows having set the two-dimensional coordinate value of the four corners of a slit surface in the produced | generated panoramic image. Slit surfaces are acquired continuously and set in a coordinate system as shown in FIG.
[0046]
The right diagram of FIG. 11 shows the geometrical information of the slit surface, that is, the relationship between the three-dimensional coordinate values and the two-dimensional coordinate values of the four corners of the slit surface. In this way, the ground information or road model is output by combining the geometric information with the optical information (214 and 215 in FIG. 8).
[0047]
As described above, according to the second embodiment, a model close to the real world can be automatically and efficiently acquired and restored by combining optical information with geometric information.
[0048]
As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Of course. For example, it goes without saying that the present invention can also be applied to all objects having surfaces other than the road surface, such as the ground and water.
[0049]
【The invention's effect】
The effects obtained by the invention disclosed in the present application will be briefly described as follows.
[0050]
According to the present invention, more accurate elevation data around a city block and elevation data of roads can be automatically acquired with high accuracy with respect to elevation data based on space survey, aerial survey, or three-dimensional coordinate values of the restored object.・ Can be restored.
[0051]
In addition, a model close to the real world consisting of geometric information and optical information can be automatically acquired and restored at high speed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a ground / road surface acquisition / restoration device according to a first embodiment of the present invention;
FIG. 2 is a schematic diagram illustrating a schematic configuration of setting of a camera, a moving unit, and a coordinate system according to the first embodiment.
FIG. 3 is a flowchart illustrating a procedure of processing operations of the ground or road surface acquisition / restoration device according to the first embodiment;
FIG. 4 is a diagram for explaining ground point calculation in consideration of each camera position and ground gradient according to the first embodiment;
FIG. 5 is a diagram for explaining perspective projection of each ground point on an image plane and acquisition as a three-dimensional coordinate value according to the first embodiment;
FIG. 6 is a diagram for explaining generation of a ground surface as a slit surface according to the first embodiment.
FIG. 7 is a block diagram illustrating a schematic configuration of a ground or road surface acquisition / restoration device according to a second embodiment of the present invention.
FIG. 8 is a flowchart illustrating a procedure of overall processing operation of the road surface acquisition / restoration device according to the second embodiment;
FIG. 9 is a flowchart illustrating a texture acquisition processing procedure according to the second embodiment.
FIG. 10 is a diagram for explaining delayed optical information acquisition processing according to the second embodiment;
FIG. 11 is a diagram for explaining panoramic image generation and texture mapping according to the second embodiment.
FIG. 12 is a diagram showing an example of elevation data obtained by a conventional commercially available apparatus.
FIG. 13 is a diagram for explaining laser measurement in conventional aerial surveying.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Sensing part 2 ... Data storage part 3 ... Inclination information acquisition part 4 ... Ground information acquisition part 5 ... Geometric information acquisition part 6 ... Direction acquisition part 7 ... Model construction part 8 ... Model output part 10 ... Road surface (ground) 11 ... Camera (image input device)
12 ... Vehicle (moving means)
P1: viewpoint position of camera 11 at time i (Xi, Yi, Zi)
P2: viewpoint position (Xj, Yj, Zj) of the camera 11 at time j
Hc ... Vehicle height 21 ... Image input unit 22 ... Optical information acquisition unit 23 ... Panorama image generation unit

Claims (6)

車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元方法であって、
各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する過程と、
対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する過程と、
前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める過程と、
それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する過程と、
前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する過程と、
対象物の表面形状を獲得・復元する過程と
を具備することを特徴とする撮影対象物表面の自動獲得・復元方法。 It was taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, automatic acquisition and restoration capturing three-dimensional shape geometric information to model the object, or the surface shape information A method for automatically acquiring and restoring an object surface,
A step of obtaining the respective shooting target image, the same camera viewpoint position location of the three-dimensional of each synchronized,
At time t obtained by photographing the object, the steps of measuring the inclination angle θ of the camera viewpoint position placed et the object before and after the time t,
Using the tilt angle θ and the camera viewpoint position X at the time t, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t is obtained. As a three-dimensional surface position Y, a process of obtaining sequentially ,
The surface position Y obtained at each time is perspective-projected on the object image surface photographed at a certain time, and the three-dimensional representing one or more surface positions Y projected from the inside to the vicinity of the image center Sequentially obtaining a representative value Z of
A process of sequentially constructing polygonal surfaces forming the object from the acquired representative value Z , the width information of the object, and the orientation information;
A method for automatically acquiring / restoring the surface of an object to be photographed, comprising the step of acquiring / restoring the surface shape of the object. 請求項１記載の撮影対象物表面の自動獲得・復元方法において、
獲得した対象物表面の３次元面を、時系列画像に投影して形成される多角形の幾何情報から、その多角形で囲まれる領域の光学情報、あるいはテクスチャー情報を獲得する過程と、
対象物表面形状を獲得した時間から遅延させるかあるいは対象物形状を獲得した位置からずらした位置での個々の道路面上の多角形を透視投影して形成する２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する過程と、
前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成する過程と、
前記の３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する過程と
を具備することを特徴とする撮影対象物の自動獲得・復元方法。In the automatic acquisition / restoration method of the photographing object surface according to claim 1,
A process of acquiring optical information or texture information of a region surrounded by a polygon from geometric information of the polygon formed by projecting the acquired three-dimensional surface of the object surface onto a time-series image;
The object surface shape is delayed from the acquisition time, or the polygon on the individual road surface at a position shifted from the position where the object shape is acquired is surrounded by a polygon on a two-dimensional image formed by perspective projection. The process of acquiring optical information or texture information in the selected area,
Using the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired, sequentially generating an orthographic panoramic image with corrected perspective projection distortion and aspect ratio;
An automatic acquisition / restoration of a photographing object, comprising: a step of sequentially acquiring / restoring a three-dimensional model of an object by combining the three-dimensional geometric information and the optical information or texture information. Method. 前記対象物は、地面もしくは道路面であることを特徴とする請求項１または２に記載の撮影対象物表面の自動獲得・復元方法。  The method according to claim 1 or 2, wherein the object is a ground surface or a road surface. 車両に搭載のカメラによって撮影された、車両が通行する対象物の時系列画像から、該対象物をモデル化する３次元形状幾何情報、あるいは表面形状情報を自動的に獲得・復元する撮影対象物表面の自動獲得・復元装置であって、
各々の撮影対象物画像と、それと同期した各々の３次元のカメラ視点位置を取得する位置情報取得手段と、
対象物を撮影した時刻ｔにおいて、時刻ｔの前後におけるカメラ視点位置から対象物の傾斜角θを計測する対象物傾斜計測手段と、
前記時刻ｔにおける、前記傾斜角θ、並びにカメラ視点位置Ｘを利用して、該時刻ｔのときの、カメラ視点位置Ｘからの前記対象物の表面（車両通行面）への垂線との交点を３次元の表面位置Ｙとして、逐次求める手段と、
それぞれの時刻のときに求められる前記表面位置Ｙを、ある時刻に撮影した対象物画像面に透視投影し、その中から画像中心付近へ投影された１つ以上の表面位置Ｙを代表する３次元の代表値Ｚを逐次獲得する手段と、
前記獲得した代表値Ｚ、対象物の幅情報、及び方位情報から、対象物を形成する多角形の面を逐次構成する多角形の面構成手段と、
対象物の表面形状を獲得・復元する獲得・復元手段と
を具備することを特徴とする撮影対象物表面の自動獲得・復元装置。 It was taken by mounted camera on the vehicle, the time-series image picture or these object vehicle traffic, automatic acquisition and restoration capturing three-dimensional shape geometric information to model the object, or the surface shape information A device for automatically acquiring and restoring the surface of an object,
And each of the photographed object image, the same position information acquisition means for acquiring a camera viewpoint position location of the three-dimensional of each synchronized,
At time t obtained by photographing the object, and the object tilt measuring means for measuring the inclination angle θ of the camera viewpoint position placed et the object before and after the time t,
Using the tilt angle θ and the camera viewpoint position X at the time t, an intersection point with a perpendicular line from the camera viewpoint position X to the surface of the object (vehicle traffic surface) at the time t is obtained. Means for sequentially obtaining the three-dimensional surface position Y ;
The surface position Y obtained at respective times, perspectively projected onto the object image plane taken at a certain time, representing one or more surface position Y projected into the image near the center among its 3 and hand-stage acquire a representative value Z dimension sequential,
Polygonal surface construction means for successively constructing a polygonal surface forming the object from the acquired representative value Z , the width information of the object , and the orientation information;
An apparatus for automatically acquiring / restoring a surface of an object to be photographed, comprising acquisition / restoration means for acquiring / restoring the surface shape of the object. 請求項４記載の撮影対象物表面の自動獲得・復元装置において、
対象物表面形状として獲得した個々の多角形な３次元面の幾何情報を、獲得した時間から遅延させるか、あるいは対象物形状を獲得した位置と異なる位置において、時系列画像に透視投影した結果形成される２次元画像上の多角形で囲まれた領域中の光学情報、あるいはテクスチャー情報を獲得する遅延時の光学情報獲得手段と、
前記光学情報、あるいはテクスチャー情報を獲得したときの３次元面の投影形状の幾何情報を利用して、透視投影歪みや縦横比を補正した正射影型のパノラマ画像を逐次生成するパノラマ画像生成手段と、
前記３次元幾何情報と、前記光学情報、あるいはテクスチャー情報とを組み合わせて、逐次対象物の３次元モデルを獲得・復元する３次元モデル獲得・復元手段と
を具備することを特徴とする撮影対象物の自動獲得・復元装置。In the automatic acquisition / restoration device of the photographing object surface according to claim 4,
Formed as a result of perspective projection of the geometric information of each polygonal three-dimensional surface acquired as the object surface shape from the acquired time, or by perspective projection at a position different from the position where the object shape was acquired Optical information acquisition means for acquiring optical information in a region surrounded by a polygon on a two-dimensional image to be obtained, or texture information;
Panorama image generation means for successively generating orthographic panorama images corrected for perspective projection distortion and aspect ratio using the geometric information of the projection shape of the three-dimensional surface when the optical information or texture information is acquired; ,
A photographing object comprising: a three-dimensional model acquisition / restoration unit that sequentially acquires / restores a three-dimensional model of an object by combining the three-dimensional geometric information and the optical information or texture information. Automatic acquisition and restoration device. 前記対象物は、地面もしくは道路面であることを特徴とする請求項４または５記載の撮影対象物表面の自動獲得・復元装置。  6. The automatic acquisition / restoration device for a photographing object surface according to claim 4, wherein the object is a ground surface or a road surface.

Images