JP2005275789A - 三次元構造抽出方法 - Google Patents

Abstract

【課題】周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供すること。
【解決手段】 周囲３６０度にわたる撮影対象１０が球体１の表面２に投影され第１の座標系２１で表示される第１の球面画像２０を形成し、第１の球面画像と異なる位置から撮影対象を撮影して第２の座標系３１で表示される第２の球面画像３０を形成する。次に、第１から第２の座標系に変換する並進ベクトルｔ及び回転行列Ｒを、第１及び第２の球面画像夫々において互いに対応する複数の物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉ、及び、エピポーラ拘束条件に基づいて算出する 次に、互いに対応する複数の物点像の位置ベクトル、回転行列及び並進ベクトルに基づいて、上記複数の物点像夫々に対応する撮影対象の各物点までの第１の座標系の原点からの距離ρ_１ｉを算出することによって撮影対象の三次元構造を抽出する。
【選択図】図４

Description

本発明は、球体の表面に周囲３６０度にわたる撮影対象が投影されている球面画像から三次元構造を抽出する方法に関するものである。

撮影対象の三次元構造を抽出する技術として、例えば、特許文献１に開示されている技術が知られている。この技術では、カメラの位置を変えることによって撮影対象を異なる位置から撮影する。その各撮影で得られた平面画像から撮影対象の部分的な三次元構造を抽出する。そして、それらの複数の部分的三次元構造を合成して撮影対象の三次元構造を得ている。
特開２００３−１４４２１号公報

しかしながら、上記従来技術のように、多数枚の部分視野画像（平面画像）から撮影対象の部分的な三次元構造をそれぞれ計算して一つに融合すると、計算処理などの作業が煩雑になる。また、三次元構造を抽出する際には、撮影したカメラの姿勢などを示す各種パラメータの推定などを行う必要があるが、撮影画像ごとにパラメータを推定しなければならない。そのため、精度の低下の恐れがある。

そこで、本発明は、周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供することを目的とする。

上記課題を解決するために、本発明に係る三次元構造抽出方法は、周囲３６０度にわたる撮影対象が球体の表面に投影されており第１の座標系で表示される第１の球面画像を形成する工程と、第１の球面画像と異なる位置から撮影対象を撮影して得られる第２の球面画像であって、撮影対象が球体の表面に投影されており第２の座標系で表示される第２の球面画像を形成する工程と、第１の座標系から第２の座標系に変換するための並進ベクトル及び回転行列を、第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、及び、エピポーラ拘束条件に基づいて算出する工程と、第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、回転行列及び並進ベクトルに基づいて、複数の物点像それぞれに対応する撮影対象の各物点までの第１の座標系の原点からの距離を算出することによって撮影対象の三次元構造を抽出する工程とを備えることを特徴とする。

上記方法では、まず、周囲３６０度にわたる撮影対象を異なる位置で撮影して第１及び第２の球面画像を形成する。これにより、同じ撮影対象が投影された第１及び第２の球面画像が得られる。そして、上述した第１の座標系を第２の座標系に変換するための並進ベクトル及び回転行列を、（１）撮影対象に含まれている複数の物点が投影された各物点像であって第１及び第２の球面画像それぞれにおける互いに対応する複数の物点像の位置ベクトルと（２）エピポーラ拘束条件とに基づいて算出する。そして、その算出された並進ベクトル及び回転行列、並びに、前記第１及び第２の球面画像それぞれにおいて互いに対応する各物点像に基づいて、第１の座標系の原点から各物点までの距離を算出する。

第１及び第２の球面画像は、周囲３６０度にわたる撮影対象が投影されたものである。そして、第１及び第２の球面画像を用いることによって、撮影対象に含まれる複数の各物点までの距離が算出される。したがって、複数の平面画像ごとに三次元構造を抽出し、それらを合成する場合に比べれば、容易に周囲３６０度にわたる撮影対象の三次元構造を抽出することができる。

また、本発明に係る三次元構造抽出方法においては、第１の球面画像は、１８０度以上の画角を有する魚眼レンズを備えた撮像装置を所定の位置に設置し、周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換し、それらの半球面画像を結合することによって形成されており、第２の球面画像は、撮像装置を上記所定の位置と異なる位置に設置し、周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換して、それらの半球面画像を結合して形成されていることが好ましい。

この場合、魚眼レンズの視野が１８０度以上であるため、周囲３６０度の撮影対象のうち少なくとも周囲１８０度の領域が投影された平面画像及び残りの領域が投影された平面画像それぞれを得ることができる。そのため、撮影対象の画像情報を多くて２回の撮影で取得することが可能である。そして、そのようにして得られた平面画像から第１又は第２の球面画像が形成されるので、精度のより高い球面画像を取得することが可能である。

本発明によれば、周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供することができる。

以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。

まず、本実施形態において撮影対象の三次元構造を抽出するための球面画像について説明する。本実施形態における球面画像とは、系外の全天周（周囲３６０度）に位置する撮影対象が球体の表面に投影されたものである。図１を参照してより具体的に説明する。

図１は、球面画像を説明する図である。図１に示すように、空間上に単位半径の球体１を考え、その中心Ｏを原点として互いに直交するＸ軸、Ｙ軸、Ｚ軸を設定する。空間上の任意の点Ｐ_ｉ（ｉは任意の整数）と球の中心Ｏとを結ぶ球体の表面２上の点をｐ_ｉとする。

上記点Ｐ_ｉの位置ベクトルＭ_ｉは、次のように表される。

また、点ｐ_ｉと原点Ｏとを結ぶ直線のＺ軸からの仰角をθ_ｉとし、Ｘ軸からの方位角をφ_ｉとすると、点ｐ_ｉの位置ベクトルｍ_ｉは、次のように表される。

上記点ｐ_ｉは点Ｐ_ｉが球体の表面へ投影された点に相当する。すなわち、点Ｐ_ｉからの光が中心Ｏに向かって進んでいるときに球体１の表面２と交わる点がｐ_ｉであり、点ｐ_ｉは点Ｐ_ｉからの光が担う画像を形成するために必要な情報（画像情報）を有している。

また、点Ｐ_ｉと球の中心Ｏとを結ぶ球体１の表面２上の点がｐ_ｉであるので、

が成り立つ。ここで、ρ_iは原点Ｏから点Ｐ_ｉまでの距離であって、

で定義される。

（式３）において、１／ρ_ｉは、スケール因子として機能している。また、（式３）及び（式４）より、１／ρ_ｉを別にすれば（原点ＯからＰ_iが十分遠くに位置していることに相当）、位置ベクトルｍ_ｉ，Ｍ_ｉとは一致する。これは、球体１の表面２には、中心Ｏから見ることができる、系外の周囲３６０度に位置する撮影対象を投影することができることを示している。このように画像情報を有している球体１の表面２が球面画像に相当する。なお、以下では、点Ｐ_ｉを物点とも称し、点ｐ_ｉを物点Ｐ_ｉが投影された点として物点像とも称す。

次に、図２及び図３を参照して上記球面画像を形成する方法について説明する。この球面画像は、画角１８５度を有する魚眼レンズによって結像された２つの平面画像を利用して形成される。

図２は、撮影対象の撮影方法を説明する図である。図２では、図中に示している円で撮影対象１０を模式的に表しており、画角ｗが１８５度の魚眼レンズが円の中心に位置するものとする。周囲３６０度にわたる撮影対象１０のうち、魚眼レンズの視野に含まれる１８５度の撮影領域１１を、その魚眼レンズによって結像して平面画像を取得する。次に、撮影対象１０のうち残りの領域を含む撮影領域１２を魚眼レンズによって結像して平面画像を取得する。これらの平面画像を半球面画像に変換した後に結合して球面画像を形成する。

図３を参照して、平面画像（被写体像）を半球面画像に変換するための原理について説明する。

図３（ａ）は魚眼レンズの結像特性を説明するための図である。図３（ａ）は、魚眼レンズが中心Ｏに位置しており、魚眼レンズの視野内の物点Ｐ_ｉ（図１のＰ_ｉに相当）からの外光が魚眼レンズに入射している状態を示している。なお、ここでは、説明を簡便化するため図３に記載の魚眼レンズの画角は１８０度としている。

図３（ｂ）は、魚眼レンズの像面３を示す図である。等距離射影方式の魚眼レンズでは、図３（ａ）に示す物点Ｐ_ｉは、図３（ｂ）の像面３において、位置座標（ｒ_i，φ_ｉ）で表される点ｑ_ｉに投影される。すなわち、物点Ｐ_ｉは、方位角φ_ｉは変わらず、画像中心Ｏ_Ｉからの距離ｒ_ｉが次の式で表される点ｑ_ｉに投影される。

ここで、ｆは、魚眼レンズの焦点距離である。（式５）より、仰角θ_ｉは、以下の式から算出される。

（式６）を（式２）に代入すると、以下の式が得られる。

図３に示す点ｑ_ｉは、図１の物点Ｐ_ｉの平面上への投影点であって、図１において物点Ｐ_ｉを球体１の表面２上に投影した点ｐ_ｉに対応している。ところで、点ｐ_iと点ｑ_iとで方位角φ_iは一致している。したがって、（式７）は、点ｑ_ｉの位置座標から点ｐ_iの位置座標を得ることができることを示している。

魚眼レンズで得られる平面画像は点ｑ_ｉの集まりである。したがって、平面画像を構成している各画素（すなわち、点ｑ_ｉ）の位置座標を特定することによって平面画像を半球面画像に変換することができる。

上述したように、球面画像は、まず、図２に示す撮影対象１０に含まれる撮影領域１１，１２それぞれが結像された平面画像を取得し、続いて、それらの平面画像を上記原理に基づいて半球面画像に変換し、２つの半球面画像を結合して形成される。

半球面画像を結合する場合には、半球面画像の画像中心、魚眼レンズの焦点距離、及び、２つの半球面画像を表示する座標系の相対姿勢が校正されていることが好ましい。本実施形態では、次に説明する校正方法で校正を実施されているものとする。本実施形態では、画角が１８５度の魚眼レンズを用いていることを利用して校正する。

まず、画像中心を、魚眼レンズによって結像されて得られる平面画像に含まれる消失点対の交点として求める。消失点は、互いに略平行な直線群の無限遠での仮想的な交点である。魚眼レンズは、画角ｗが１８５度であるため、撮影対象に含まれる平行線群の一対の消失点が、平面画像中に現れる。そのため、異なる消失点対の交点として画像中心を校正する。

また、魚眼レンズの焦点距離を、一対の消失点間の距離ｒ_πをπで割ったものとして算出する。次に、上記のようにして求められた画像中心及び焦点距離に基づいて、２つの平面画像それぞれを半球面画像に変換する。そして、各半球面画像に含まれている、水平線に略平行な直線群に対する消失点と、水平線に直交する直線に略平行な直線群の消失点とに基づいて、２つの半球面画像を表示する座標系間の変換行列を算出する。この変換行列が、２つの半球面画像を表示する座標系間の相対姿勢に相当する。

次に、魚眼レンズの画角ｗが１８５度であることから、２つの半球面画像に重複している画像領域があることを利用して、上述のようにして算出された焦点距離及び変換行列を更に校正する。

以上のようにして、校正された画像中心、焦点距離及び２つの半球面画像間の相対姿勢に基づいて、２つの半球面画像を形成すると共に、それらを結合して１つの球面画像を得る。

ところで、球面画像は、周囲３６０度にわたる撮影対象１０が投影されているため、全天周の撮影対象１０の画像情報を有している。しかしながら、撮影対象１０は、球体１の表面２に投影されているので、三次元構造（原点Ｏから物点Ｐ_ｉまでの距離）は得られていない。

本実施形態の三次元構造抽出方法は、異なる位置で同一の撮影対象１０が撮影されその撮影対象１０が投影されている２つの球面画像を用いて撮影対象１０の三次元構造を抽出することを特徴としている。

まず、２つの球面画像から三次元構造を抽出する原理を説明する。

図４は、２つの球面画像から撮影対象の三次元構造の抽出方法を説明する図である。図４には、異なる位置で同一の撮影対象１０を撮影して得られる第１の球面画像２０及び第２の球面画像３０を示している。第１の球面画像２０を表示する第１の座標系２１をＸ_１軸、Ｙ_１軸、Ｚ_１軸で表し、第２の球面画像３０を表示する第２の座標系３１をＸ_２軸、Ｙ_２軸、Ｚ_２軸で表す。

第１及び第２の球面画像２０，３０には、同じ撮影対象１０が投影されている。したがって、撮影対象１０に含まれる物点Ｐ_ｉは、第１及び第２の球面画像２０，３０に物点像ｐ_１ｉ，ｐ_２ｉとして現れている。

ここで、物点Ｐ_ｉの第１の座標系２１における位置ベクトルをＭ_１ｉとし、物点Ｐ_ｉの第２の座標系３１における位置ベクトルをＭ_２ｉとする。また、第２の座標系３１から第１の座標系２１へ変換するための回転行列をＲとする。更に、第１の座標系２１から第２の座標系３１へ変換するための並進ベクトルを

とする。なお、回転行列Ｒ及び並進ベクトルｔは、第１の座標系２１と第２の座標系３１との間の相対姿勢情報に相当する。

第１及び第２の球面画像２０，３０は、同じ撮影対象１０を異なる位置で撮影しているので、上記ベクトルＭ_２ｉ，ｔ，（ＲＭ_１i+ｔ）は同一平面上にある（エピポーラ拘束条件）。したがって、

が成り立つ。

ここで、並進ベクトルｔの各並進成分（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を用いて表される歪対称行列Ｔを、

とすると、（式９）は、

と表される。

（式３）より、位置ベクトルＭ_１ｉと位置ベクトルｍ_１ｉは、スケール因子（１／ρ_１ｉ）を別とすれば等しい（すなわち、ベクトルの方向は同じ）。また、同様に、位置ベクトルＭ_２ｉと位置ベクトルｍ_２ｉは、スケール因子以外は等しい。

そのため、（式９）は、

となる。

（式１２）は、第１及び第２の球面画像２０，３０それぞれにおいて、互いに対応する複数の物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_ｌｉ，ｍ_２ｉがわかれば、回転行列Ｒ及び並進ベクトルｔを算出することができることを示している。

言い換えれば、位置ベクトルｍ_ｌｉ，ｍ_２ｉ及びエピポーラ拘束条件（すなわち、ベクトルｍ_２ｉ、ｔ、（Ｒｍ_１i＋ｔ）が同一平面上にあるという条件）に基づいて、回転行列Ｒ及び並進ベクトルｔを算出することができる。この際、回転行列Ｒ及び並進ベクトルｔを算出するために必要な物点像ｐ_１ｉ（ｐ_２ｉ）の数は、（式１２）の解き方において相違するが、例えば、線形解法を用いる場合には８個以上である。

次に、上記のようにして回転行列Ｒ及び並進ベクトルｔが算出された場合に、第１の座標系２１における原点Ｏ_１から物点Ｐ_ｉまでの距離の算出方法について説明する。

第１及び第２の座標系２１，３１それぞれにおいて、物点Ｐ_ｉまでの距離をρ_１ｉ，ρ_２ｉとすると、

が成立する。

（式１３）の両辺に位置ベクトルｍ_２ｉをかける、すなわち、両辺の各項とｍ_２ｉの外積をとると、第１の座標系２１における原点Ｏ_Ｉから物点Ｐ_ｉまでの距離ρ_１ｉは、

と表される。

したがって、撮影対象１０に含まれる物点Ｐ_ｉに対応する第１及び第２の球面画像２０，３０での物点像ｐ_１ｉｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉ、回転行列Ｒ及び並進ベクトルｔが既知ならば、（式１４）によって、距離ρ_１ｉが算出される。また、第１の球面画像２０には、周囲３６０度にわたる撮影対象１０が投影されている。したがって、第１の球面画像２０から撮影対象１０の三次元構造を抽出することができる。

次に、上記原理を適用して撮影対象１０の三次元構造を抽出するための撮影システム４０について説明する。

図５は、撮影システム４０の構成を示すブロック図である。撮影システム４０は、撮像装置４１と、撮像装置４１で得られた画像を解析する解析装置４２とを備える。

撮像装置４１は、画角が１８５度の魚眼レンズ４１Ａと撮像素子４１Ｂとを含んで構成される。魚眼レンズ４１Ａの射影方式は等距離射影方式である。魚眼レンズ４１Ａは、必ずしも１枚のレンズを意味するものではなく、魚眼レンズ特性を有するレンズ系も含む意味である。撮像素子４１Ｂは、フォトダイオードなどからなるセル（画素）が２次元的に配列された受光面を有し、魚眼レンズ４１Ａで結像された撮影対象１０の像（被写体像）を撮像して電気信号（画像データ）として出力する。撮像素子４１Ｂは、例えば、ＣＣＤ撮像素子である。撮像素子４１Ｂからの電気信号は、解析装置４２に入力される。

撮像装置４１は、撮像装置４１の周囲３６０度のうち、図中に示すＡ方向に魚眼レンズ４１Ａを向けて撮影して得られる平面画像と、撮像装置４１を約１８０度反転させて、図中に示すＢ方向に魚眼レンズ４１Ａを向けて撮影対象１０を撮影して得られる平面画像の画像データを解析装置４２に入力する。

解析装置４２は、マイクロコンピュータのハードウェアおよびソフトウェアを利用して構成される。この解析装置４２は、球面画像形成部４２Ａ、相対姿勢算出部４２Ｂ及び三次元構造抽出部４２Ｃを含んで構成される。

球面画像形成部４２Ａは、撮像装置４１から入力された２つの平面画像それぞれに対応する画像データを用いて、上述した原理に基づいて球面画像を形成する。球面画像形成部４２Ａは、撮影を実施すべき位置（所定の位置）において撮影対象１０が撮影された平面画像に基づいて第１の球面画像２０を形成する。また、球面画像形成部４２Ａは、上記所定の位置とは異なる位置で撮影対象１０が撮影された平面画像に基づいて第２の球面画像３０を形成する。なお、第１及び第２の球面画像２０，３０の形成とは、平面画像の画像データを、球面画像による表示が可能な画像データに変換することを意味している。

第１の座標系２１の原点Ｏ_１、及び、第２の座標系３１の原点Ｏ_２は、それぞれの撮影位置における撮像装置４１によって形成される座標系（いわゆるカメラ座標系）の原点に対応する。

相対姿勢算出部４２Ｂは、図４に示す第１の座標系２１から第２の座標系３１に変換するための並進ベクトルｔ及び回転行列Ｒを、（式１２）に基づいて算出する。並進ベクトルｔと回転行列Ｒとを算出する場合に用いる複数の物点像ｐ_１ｉ，ｐ_２ｉは、第１及び第２の球面画像２０，３０から自動的に抽出するようにしてもよいが、例えば、作業者がディスプレイなどに表示される画像に基づいて手動で抽出してもよい。

ここで、第１及び第２の球面画像２０，３０から物点像を抽出するとは、必ずしも第１及び第２の球面画像２０，３０から直接抽出する場合に限られない。第１及び第２の球面画像２０，３０を形成するために用いた各平面画像において物点像を抽出しておき、それらを球面画像の物点像に変換した（球面画像表示用の画像データに変換した）場合も含む。

三次元構造抽出部４２Ｃは、上記物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉ、並進ベクトルｔ及び回転行列Ｒを用いて、（式１４）より、各物点像ｐ_１ｉに対応する撮影対象１０の物点Ｐ_ｉまでの距離ρ_１ｉを算出する。

解析装置４２は、撮像素子から入力される画像データ等を一時記憶するＲＡＭ（Random Access Memory）、上記球面画像形成部４２Ａ、相対姿勢算出部４２Ｂ及び三次元構造抽出部４２Ｃで実施される各処理のためのプログラムやデータが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行することにより、ＲＯＭおよびＲＡＭに記憶されたデータに基づいて各種の演算処理を行うＣＰＵ（Central Processing Unit）などの図示しないハードウェアを備えている。

上記撮影システム４０を用いて三次元構造抽出方法について説明する。

図６は、第１及び第２の球面画像２０，３０を取得するための撮影対象１０に対する撮像装置４１の撮影位置を示すものである。撮像装置４１の周囲３６０度の風景が撮影対象１０であるが、例えば、図６では、１つの部屋を撮影対象１０としている。

まず、第１の撮影点５１（所定の位置）に撮像装置４１を配置し、図６中のＡ_１方向に魚眼レンズ４１Ａを向けて魚眼レンズ４１Ａの視野に含まれる撮影対象１０の撮影領域を撮影する。そして、撮影によって得られた平面画像の画像データを解析装置４２に入力する。また、撮像装置４１を、魚眼レンズ４１Ａの焦点を通る軸に沿って回転し、図中のＢ_１方向に魚眼レンズ４１Ａを向けて撮影対象１０の残りの領域を含む撮影領域を撮影する。そして、その撮影によって得られた平面画像の画像データを解析装置４２に入力する。説明の便宜のために、Ａ_１方向、Ａ_２方向に分けているが、これらは実質的に同じ方向を示している。Ｂ_１方向及びＢ_２方向の関係も同様である。

解析装置４２の球面画像形成部４２Ａは、撮影装置４１の周囲３６０度の撮影対象１０が投影され第１の座標系２１で表示される第１の球面画像２０を形成する。

次に、撮影対象１０である部屋において、第１の撮影点５１と異なる第２の撮影点５２に撮像装置４１を移動させ、第１の撮影点５１の場合と同様にして、第２の球面画像３０を形成する。第２の球面画像３０には、撮影装置４１の周囲３６０度の撮影対象１０が投影されている。また、第２の球面画像３０は、第２の座標系３１で表示されている。

第１及び第２の球面画像２０，３０は、周囲３６０度にわたる撮影対象１０が球体１（図１参照）の表面２に投影されたものであるため、第１及び第２の球面画像２０，３０には、同じ撮影対象１０が投影されている。

次に、解析装置４２の相対姿勢算出部４２Ｂは、第１の球面画像２０及び第２の球面画像３０それぞれにおいて、互いに対応する物点像ｐ_１ｉ，ｐ_２ｉを抽出する。これは、作業者が抽出した点を受けつけても良い。解析装置４２の相対姿勢算出部４２Ｂは、物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉを（式１２）に代入して、並進ベクトルｔ及び回転行列Ｒを算出する。

続いて、三次元構造抽出部４２Ｃが、互いに対応する物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉ、並びに、相対姿勢算出部４２Ｂによって算出された並進ベクトルｔ及び回転行列Ｒを用いて（式１４）より、各物点像ｐ_１ｉに対応する撮影対象１０の物点Ｐ_ｉまでの距離ρ_１ｉを算出する。

第１の球面画像２０には、撮影対象１０が投影されている。そして、上記工程によって第１の座標系２１における物点Ｐ_ｉまでの距離ρ_１ｉが算出される。すなわち、撮影対象１０の三次元構造が抽出される。なお、最終的な周囲の三次元構造の融合は、球面画像に含まれる特徴点（物点像）を合致させて実現する。

また、三次元構造の抽出は次のようにしてもよい。図７は、三次元構造抽出方法を示すフローチャートである。

まず、第１及び第２の球面画像２０，３０（図４参照）を形成するために第１及び第２の撮影点５１，５２（図６参照）それぞれで撮影された平面画像において、互いに対応する特徴点（すなわち、上記物点像ｍ_１ｉ，ｍ_２ｉの平面画像に対応する点）を探索する（Ｓ１０）。ここでは、説明のため、例えば、８個の特徴点を抽出する。なお、この探索は、ソフトウェアとして構成されており平面画像の画像データに基づいて特徴点を抽出する特徴点探索フィルターを用いてもよい。また、例えば、ディスプレイで確認しつつ作業者が特徴点を抽出してもよい。

次に、Ｓ１０で得られた特徴点に対応する第１及び第２の球面画像２０，３０上の特徴点（物点像ｍ_１１〜ｍ_１８，ｍ_２１〜ｍ_２８）の位置ベクトルを（式１２）に代入して、並進ベクトルｔ及び回転行列Ｒを算出する（Ｓ１１）。

続いて、並進ベクトルｔ及び回転行列Ｒを用いて、第１及び第２の球面画像２０，３０において互いに対応する他の特徴点ｍ_{１（８＋ｔ）}，ｍ_{２（８＋ｔ）}（ｔは、任意の整数）を探索し抽出する（Ｓ１２）。ここで、この他の特徴点の探索は、エピポーラ線に基づいて実施する。

次に、特徴点ｍ_１ｎ，ｍ_２ｎ（ｎは、１〜（８＋ｔ）の任意の整数）の位置ベクトルを（式１４）に代入して、特徴点ｍ_１ｎに対応する物点Ｐ_１ｎの三次元位置の計算を実施する。（Ｓ１３）。すなわち、物点Ｐ_１ｎの第１の座標系２１における原点Ｏ_１からの距離ρ_１ｎを算出する。

また、上記ステップＳ１３を実施する一方、第１の球面画像２０における特徴点ｍ_１ｎを平面画像に射影し、それらの射影された特徴点に基づいてドロネー三角形を計算する（Ｓ１４）。そして、更に、そのドロネー三角形に対応する第１の球面画像２０の画像情報（テクスチャ）をドロネー三角形上に貼り付ける。すなわち、第１の球面画像２０の対応する領域の画像を平面画像に変換してテクスチャ画像を生成する（Ｓ１５）。

そして、各特徴点ｍ_１ｎに対応する物点Ｐ_１ｎの距離ρ_１ｎに応じてＳ１５で生成したテクスチャ画像をマッピング（テクスチャマッピング）して三次元構造を表示する平面画像を形成する（Ｓ１６）。

次に、本実施形態に係る三次元構造抽出方法に基づいてシミュレーションを実施した結果について説明する。

第１及び第２の座標系２１，３１の並進ベクトルｔの並進成分(t_x, t_y, t_z)、及び回転行列Ｒを特定する各回転角（Roll, Pitch, Yaw）を表１のように設定した（「True Value」の行を参照）。なお、ここで、回転角Roll, Pitch, Yawは、互いに直交する各座標軸の回転角である。

次に、シミュレーションのために設定している第１の球面画像２０において、表２に示す１１点の物点像ｐ_１ｊ（ｊは、１〜１１の整数）を設定した。

そして、表２に示す１１点の物点像ｐ_１ｊ、及び、その物点像に対応する第２の球面画像３０の物点像に基づいて、（式１２）より並進ベクトルｔ及び回転行列Ｒを算出した。

算出した並進ベクトルｔの各成分、回転行列Ｒを特定するための回転角（Roll, Pitch, Yaw）は、表１のとおりである（「Estimation」の行を参照）。表１より、算出した各成分間の比は、設定した各成分間の比にほぼ一致している。すなわち、（式１２）を用いて、並進ベクトルｔ及び回転行列Ｒを算出することによって、第１及び第２の座標系２１，３１の相対姿勢情報を得ることができている。

また、第１の球面画像２０の原点Ｏ_１から表２に示す１１点の物点像に対応する各物点までの距離ρ_１ｊの、（式１４）による算出結果は、表３のとおりである。なお、算出にあたって、並進ベクトルｔのスケール因子は適宜設定した。

表３の結果より、実際に設定している値（True Value）と、（式１４）に基づいて算出した値（Estimation）とはほぼ一致している。

次に、実際に撮影して得られた球面画像を用いた実験結果について説明する。

球面画像を形成するために、使用した魚眼レンズ４１Ａは、１８５度の画角を有するＦＣＯＮ−０２（オリンパス株式会社製）である。図６の場合と同様に、１つの部屋を撮影対象１０とし、撮像装置４１を第１の撮影点５１で撮影し、その後、撮像装置４１を平行移動して第２の撮影点５２での撮影を実施した。

図８は、撮像装置４１を第１の撮影点５１に設置して撮影して得られた平面画像の図である。図８（ａ）は、第１の撮影点５１で図中に示すＡ_１方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。図８（ｂ）は撮像装置４１を反転させて図中に示すＢ_１方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。

図９は、撮像装置４１を第２の撮影点５２に設置して撮影して得られた平面画像の図である。図９（ａ）は、第２の撮影点５２で図中に示すＡ_２方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。図９（ｂ）は撮像装置４１を反転させて図中に示すＢ_２方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。

図８及び図９を比較すると、同じ方向の画像が撮影できていることがわかる。すなわち、図８（ａ）及び図９（ａ）には、部屋の窓側が撮影されており、図８（ｂ）及び図９（ｂ）には、部屋のドア側が撮影されている。

また、図１０は、図８に示す２つの平面画像から形成された第１の球面画像２０の一部を示す図である。また、図１１は、図９に示す２つの平面画像から形成された第２の球面画像３０の一部を示す図である。

図１２は、図８の平面画像において複数の物点像を抽出した図である。図１２中の丸点は抽出した物点像の位置を示すものである。物点像は、１０２点抽出した。この物点像に対応する物点像を図９に示す平面画像においても抽出する。

これらの抽出された１０２点の物点像に対応する第１及び第２の球面画像２０，３０における物点像の位置ベクトルと、（式１２）とに基づいて、第１の座標系２１から第２の座標系３１に変換するための並進ベクトルｔ及び回転行列Ｒを求めた。そして、図１２に示す複数の物点像に対応する撮影対象１０の各物点までの距離ρ_１ｉを（式１４）に基づいて算出した。

図１３は、上記のようにして算出された撮影対象１０までの距離に基づいて再構成された撮影対象１０の三次元構造を示す図である。図１３（ａ）は、窓側（図６中のＡ_１又はＡ_２方向）の三次元構造が抽出されており、図１３（ｂ）では、ドア側（図６中のＢ_１又はＢ_２方向）の三次元構造が抽出されている。また、図１３（ｃ）では、図６中のＣ方向に位置する撮影対象１０の三次元構造が抽出されており、図１３（ｄ）では、図６中のＤ方向に位置する撮影対象１０の三次元構造が抽出されている。図１３（ｃ），（ｄ）に示すように、撮影対象１０において撮影方向と異なる方向の三次元構造も第１及び第２の球面画像２０，３０から抽出できている。

上述したように、第１及び第２の球面画像２０，３０は、周囲３６０度にわたる撮影対象１０が投影されたものである。そして、第１及び第２の球面画像２０，３０を用いることによって、撮影対象１０に含まれる複数の各物点Ｐ_ｉまでの距離が算出される。したがって、複数の平面画像ごとに三次元構造を抽出し、それらを合成する場合に比べれば、簡易であってより精度よく周囲３６０度にわたる撮影対象１０の三次元構造を抽出することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、上記撮像装置４１は、魚眼レンズ４１Ａが１つであるため、撮像装置４１を回転させて撮影対象１０を撮影しているが、図５において、Ａ方向を撮影可能な魚眼レンズとＢ方向を撮影可能な魚眼レンズを備えていても良い。この場合には、撮影が１回でよい。また、魚眼レンズ４１は、画角１８５度としているが、画角１８０度以上（すなわち、視野が１８０度以上）あればよい。

また、上記実施形態では、並進ベクトルｔ及び回転行列Ｒを算出するために用いた物点像ｐ_１ｉ，ｐ_２ｉの位置ベクトルｍ_１ｉ，ｍ_２ｉを、距離ρ_１ｉを算出するために用いている。しかし、例えば、距離ρ_１ｉを算出するために、第１及び第２の球面画像２０，３０夫々において互いに対応する物点像を抽出してもよい。

本発明による三次元構造抽出方法は、監視装置や視覚シミュレータなどに用いることができる。

球面画像を説明する図である。 撮影対象の撮影方法を説明する図である。 図３（ａ）は魚眼レンズの結像特性を説明するための図である。図３（ｂ）は、魚眼レンズの像面を示す図である。 ２つの球面画像から撮影対象の三次元構造の抽出方法を説明する図である。 撮影システム４０の構成を示すブロック図である。 撮影対象１０に対する撮像装置４１の撮影位置を示す図である 三次元構造の抽出方法を示すフローチャートである。 第１の撮影点５１で撮影された平面画像の図である。 第２の撮影点５２で撮影された平面画像の図である。 実際に形成した第１の球面画像２０の一部を示す図である。 実際に形成した第２の球面画像３０の一部を示す図である。 複数の物点像を抽出する工程を示す図である。 撮影対象１０の三次元構造を示す図である

符号の説明

１…球体、２…表面、１０…撮影対象、２０…第１の球面画像、３０…第２の球面画像、２１…第１の座標系、３１…第２の座標系、４１Ａ…魚眼レンズ、ｔ…並進ベクトル。

Claims (2)

1. 周囲３６０度にわたる撮影対象が球体の表面に投影されており第１の座標系で表示される第１の球面画像を形成する工程と、
   前記第１の球面画像と異なる位置から前記撮影対象を撮影して得られる第２の球面画像であって、前記撮影対象が球体の表面に投影されており第２の座標系で表示される第２の球面画像を形成する工程と、
   前記第１の座標系から前記第２の座標系に変換するための並進ベクトル及び回転行列を、前記第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、及び、エピポーラ拘束条件に基づいて算出する工程と、
   前記第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、前記回転行列及び前記並進ベクトルに基づいて、前記複数の物点像それぞれに対応する前記撮影対象の各物点までの前記第１の座標系の原点からの距離を算出することによって前記撮影対象の三次元構造を抽出する工程と
   を備えることを特徴とする三次元構造抽出方法。
2. 前記第１の球面画像は、１８０度以上の画角を有する魚眼レンズを備えた撮像装置を所定の位置に設置し、前記周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換し、それらの半球面画像を結合することによって形成されており、
   前記第２の球面画像は、撮像装置を前記所定の位置と異なる位置に設置し、前記周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換して、それらの半球面画像を結合して形成されていることを特徴とする請求項１に記載の三次元構造抽出方法。
   
   

Images