JP2022516298A - 対象物を３ｄ再構築するための方法 - Google Patents

Abstract

本発明は、対象物を３Ｄ再構築するための方法に関する。方法は、以下のステップ、すなわち、少なくとも１つのカメラを用いて、対象物の複数の画像を生成するステップと、複数の画像から対象物の特徴を抽出するステップと、対象物を表す３次元モデルに配置された３次元点群を生成するステップと、特徴のサブセットのうちの少なくとも１つの特徴を含む画像を各々特定するステップと、特徴のサブセットに対応する第１セットの３次元点および第２セットの３次元点を決定するステップと、第１セットの３次元点および第２セットの３次元点を用いて、対象物の構築ブロックとしての所定の３次元幾何学的構造に対応する数学方程式を決定するステップと、少なくとも所定の３次元幾何学的構造を用いて、対象物の３次元モデルをレンダリングするステップとを含む。

Description

本開示は、対象物を３Ｄ再構築するための方法、当該方法を実行するための手段を含むデータ処理システム、コンピュータに当該方法を実行させる命令を含むコンピュータプログラム、およびコンピュータに当該方法を実行させる命令を含むコンピュータ可読媒体に関する。

コンピュータビジョンおよびコンピュータグラフィックスの場合、３Ｄ再構築は、実際の対象物の形状および外観を再現する。この目的を達成するために、様々な技術を用いて、実際の対象物の３Ｄデジタルモデルを作成する。これらの技術の１つとして、最新の写真測量技術が広く使用されている。写真測量技術は、実際の対象物の表面点の正確な位置を復元するために、写真から測定値を取得する。

実際の対象物を再構築するための典型的な写真測量法は、以下のステップを含むことができる。

まず、１つ以上のカメラを用いて、カメラの位置および向きの組み合わせである異なるカメラ姿勢から、同じまたは異なる撮影時間で再構築対象物の複数の写真を撮影する。

次に、スケール不変特徴変換（ＳＩＦＴ：Scale-Invariant Feature Transform）または高速ロバスト特徴（ＳＵＲＦ：Speeded-Up Robust Features）型特徴検出器を用いて、既知の方法で写真から各写真の特徴点を検出し、抽出する。

撮影写真上の特徴は、この写真の「関心のある」部分、例えば、この写真の角点（複数の方向に勾配を有するエッジ）、斑点または隆線である。

その後、既知の方法で、例えばLukas-Kanade追跡法で、全ての写真から検出された特徴をマッチングすることによって、写真間の幾何学的関係を検出する。

その後、ＳｆＭ（Structure from Motion）という広く実装されるアルゴリズムを用いて、写真から特徴を抽出し、カメラの向きおよび再構築される対象物の特徴点の位置を計算する。現在では、様々なＳｆＭソフトウェアが市販されている。市販のＳｆＭソフトウェアの出力は、撮影写真から検出された２次元特徴に対応する３次元点群である。

３次元点群を用いて、対象物モデルの表面を再構築することができる。対象物モデルの品質は、とりわけ、３次元点群の局所密度に依存する。３次元点群の局所密度は、３次元点に対応する最適面の面積または最適体積に対する領域内に位置する３次元点の量の比として定義される。３次元点群の局所密度が高いほど、対象物モデルの品質が良くなる。

最後のステップでは、対象物モデルをテクスチャ化することによって、実際の外観を取得する。

３次元点群を用いて対象物モデルを再構築するステップにおいて、まず、対象物モデルの構築ブロックとしての幾何学的構造、例えば平面、曲面または多面体は、再構築されてもよい。

しかしながら、従来では、高い計算コストによって、幾何学的構造を再構築するための速度が非常に低い。例えば、幾何学的構造を再構築すべき領域内の３次元点群の低い局所密度によって、再構築結果の品質が満足できない場合がある。

したがって、本開示の目的は、対象物の迅速且つより正確な３Ｄ再構築を提供することである。

この目的は、添付の独立請求項によって達成される。従属請求項は、好ましい実施形態を参照する。

本開示は、対象物を３Ｄ再構築するための方法に関する。この方法は、以下のステップ、すなわち、
Ａ）少なくとも１つのカメラを用いて、特に異なるカメラ角度および位置から、対象物の複数の画像を生成するステップと、
Ｂ）複数の画像から対象物の特徴を抽出するステップと、
Ｃ）対象物を表す３次元モデルに配置された３次元点群を生成するステップとを含み、３次元点の各々は、複数の画像のうちの少なくとも２つの画像から抽出可能な１つの特徴に対応し、
Ｄ）複数の画像のうちの１つの画像から、対象物の構築ブロックとしての所定の３次元幾何学的構造の少なくとも一部の投影を含む領域を選択するステップとを含み、
所定の３次元幾何学的構造は、複数の未知係数を含む数学方程式によって表現可能であり、
各々が３次元点のうちの１つの３次元点に対応する対象物の特徴のサブセットは、領域に含まれ、特徴のサブセット内の特徴の数は、数学方程式の未知係数の数の以上であり、
Ｅ）特徴のサブセットのうちの少なくとも１つの特徴を含む画像を各々特定するステップと、
Ｆ）ステップＤで選択された特徴のサブセットに対応する第１セットの３次元点と、特徴のサブセットに含まれないが、ステップＥで特定された画像のうちの少なくとも２つの画像から抽出可能な少なくとも１つの特徴に対応する少なくとも１つの３次元点を含む第２セットの３次元点とを決定するステップと、
Ｇ）第１セットの３次元点および第２セットの３次元点を用いて、所定の３次元幾何学的構造に対応する数学方程式を決定するステップと、
Ｈ）少なくとも所定の３次元幾何学的構造を用いて、対象物の３次元モデルをレンダリングするステップとを含む。

様々な実施形態は、以下の特徴を好適に実装することができる。
特に好ましくは、上記のステップＤ～Ｇによって、再構築される対象物の構築ブロックとして必要とされる幾何学的構造を再構築する時間が著しく短縮される。さらに、３次元点群の比較的低い局所密度にもかかわらず、全体的な再構築品質がかなり改善される。

ステップＣで再構築される対象物を表す３次元点群を生成した後、以下の２つの前提条件を満す撮影画像が選択され、選択された画像から領域を選択することができる。

第１に、例えばＭ個の未知係数を有する数学方程式によって表現可能であり、再構築される対象物の構築ブロックとしての所定の３次元幾何学的構造の少なくとも一部が、選択された画像のこの領域に投影される。

第２に、この領域において、特徴点が検出可能である。特徴点の数をＮで表す場合、Ｎは、Ｍ以上である。

撮影画像から領域の選択は、実際の対象物を再構築するためのソフトウェアを操作するユーザによって実行されてもよい。代替的には、選択動作は、上記の２つの前提条件を予め定義し、既知の方法で格納するコンピュータプログラムによって実行されてもよい。

選択処理の後、ステップＥで他の関連画像を特定する。関連画像は、撮影画像のサブセットであり、ステップＤで選択された画像の選択領域から抽出可能なＮ個の特徴点のうちの少なくとも１つの特徴点を含む画像として定義される。

ステップＣで生成された３次元点群内の各３次元点が少なくとも２つの撮影画像から抽出可能な２次元特徴（点）に対応するため、ステップＤで生成されたＮ個の特徴点に従って、Ｎ個の３次元点を含む第１セットを好適に決定する。

例えば、Ｘ個の３次元点を含む第２セットを決定する。これらのＸ個の３次元点は、Ｎ個の特徴点に含まれるＸ個の特徴点ではないが、少なくとも２つの関連画像、すなわち、撮影画像のサブセットから抽出され得る他の特徴点である。

次に、第１セットの３次元点のおよび第２セットの３次元点を用いて、所定の３次元幾何学的構造に対応する数学方程式を決定することができる。

この数学方程式がＭ個の未知係数を含み且つ第１セット内の３次元点の数Ｎが未知係数の数Ｍ以上であるため、第１セット内のＮ個の３次元点のみを用いて、数学方程式を決定または評価することができ、すなわち、Ｍ個の未知係数を求めることができる。

次いで、Ｘ個の３次元点を含む第２セットを用いて、Ｎ個の３次元点を含む第１セットによって決定された数学方程式を評価する。例えば、数学方程式が依然として成立しているか否かを検査するために、第２セット内のＸ個の３次元点の各々の相対座標を決定された数学方程式に入れる。

ステップＥで特定された画像のサブセットとステップＤで選択された画像とは所定の３次元幾何学的構造の少なくとも一部の投影を含む選択領域内の少なくとも１つの特徴点を共有し、関連するため、ステップＦで決定された画像のサブセット内のＸ個の特徴は、所定の３次元幾何学的構造の表面上の少なくとも１つの３次元点に対応する可能性が高い。

換言すれば、Ｘ個の３次元点を含む第２セットは、所定の３次元幾何学的構造の表面上の少なくとも１つの３次元点を含む可能性がある。

上記の方程式の成立検査を行う時に、数学方程式に適合するまたは近似的に適合する第２セット内の３次元点が多くなるほど、方程式が正しく決定される可能性または所定の３次元幾何学的構造を表す最適式である可能性が高くなる。

逆に、数学方程式に適合するまたは近似的に適合する第２セット内の３次元点が少なくなるほど、方程式が正しく決定される可能性または予め定義された３次元幾何学的構造を表す最適の工程式である可能性が低くなる。

例えば、第２セット内の３次元点の１／３のみが方程式に適合するまたは近似的に適合するため、方程式が成立検査の結果が満足できない場合、検査結果がユーザを満足させるまたは既知の方法で所定の閾値を達成するまで、ステップＤの選択処理および後続のステップＥ～Ｇを繰り返すことができる。

したがって、本発明によれば、レンダリングされる３次元対象物モデルの非常に重要な基本要素であり、Ｍ個の未知係数を含む数学方程式で構築ブロックとして表現可能な所定の３次元幾何構造を、できる限り正確に決定することができる。

また、特に有利なことは、本発明によれば、所定の幾何学的構造の３次元点群の局所密度が比較的低い場合であっても、所定の幾何学的構造は、高いレベルの精度で決定されることがである。

さらに、本発明の選択ステップＤによって、所定の３次元幾何学的構造の決定速度、したがってその後の対象物の３次元モデルのレンダリング速度は、従来よりも大幅に改善される。

さらに、第２セットの３次元点を用いた評価ステップの導入によって、所定の３次元幾何学的構造の決定は、ステップＤの領域選択に対して過度に敏感ではなくなる。

好ましい実施形態において、幾何学的構造は、平面、球体、円柱、円錐、ドーナツ状構造または類似の３次元正面体である。

平面を一例とする。平面は、３つの変数ｘ、ｙ、ｚおよび４つの未知係数ａ、ｂ、ｃ、ｄを含む数学方程式ａｘ＋ｂｙ＋ｃｚ＝ｄによって記述されてもよい。選択された画像の選択領域において、特徴のサブセット内の特徴の数が３以上である限り、４つの未知係数ａ、ｂ、ｃ、ｄは、特徴のサブセットに対応する第１セット内の３次元点による計算によって求めることができる。数学方程式の全ての未知係数を計算するために、３次元点の数が十分であることは必須である。

その後、上記で既に詳細に説明されたように、決定された第２セットの３次元点を用いて、３つの決定された係数を含む決定された数学方程式が所定の平面に対して最適であるか否かを評価する。

以下、別の例を説明する。球体は、３つの変数ｘ、ｙ、ｚおよび４つの未知係数ａ、ｂ、ｃ、ｒを含む数学方程式（ｘ－ａ）^２＋（ｙ－ｂ）^２＋（ｚ－ｃ）^２＝ｒ^２によって記述されてもよい。選択された画像の選択領域において、特徴のサブセットの特徴の数が４以上である限り、４つの未知係数ａ、ｂ、ｃ、ｒは、特徴のサブセットに対応する第１セットの３次元点による計算によって求めることができる。

その後、上記で既に詳細に説明されたように、決定された第２セットの３次元点を用いて、４つの決定された係数を含む決定された数学方程式が所定の球体に対して最適であるか否かを評価する。

別の好ましい実施形態において、対象物を３Ｄ再構築するための方法は、以下のステップ、すなわち、
Ｉ）複数の画像の消失点を各々特定するステップと、
Ｊ）少なくとも１つの消失点を用いて、所定の３次元幾何学的構造を限定するステップとをさらに含む。

なお、ステップＩおよびＪは、ステップＨの後ではなく、ステップＨの前に実行されてもよい。好ましくは、ステップＩおよびＪは、ステップＢとステップＨとの間に実行される。より好ましくは、ステップＪは、ステップＦとステップＨとの間に実行される。

ステップＩにおいて、複数の画像の消失点は、ガウス球などの既知の方法で特定され、抽出される。消失点は、３次元空間において互いに平行な線の２次元透視投影（または図形）が収束するように見える透視図の像面上の点である。

消失点が３次元幾何学的構造の平面（存在する場合）の法線方向を制約するため、これらの消失点を用いて、予め定義された３次元幾何学的構造を限定するまたは決定することができる。これによって、所定の３次元幾何学的構造をより正確に決定することができる。

別の好ましい実施形態において、消失点は、複数の画像内の収束線を解析することによって特定される。画像は、水平画像軸および垂直画像軸によって記述されてもよく、または水平画像軸および垂直画像軸を含んでもよい。したがって、水平画像軸に近い収束線を用いて、少なくとも水平シーン線の消失点を特定することができ、垂直画像軸に近い収束線を用いて、少なくとも垂直シーン線の消失点を特定することができる。

別の好ましい実施形態において、３次元幾何学的構造は、複数の画像のうちの１つの画像の少なくとも一部によってテクスチャ化され、この画像の一部は、３次元点群内の３次元点によって特定および選択される。これによって、３次元幾何学的構造のテクスチャリングは、迅速かつ比較的正確に達成される。

別の好ましい実施形態において、レンダリングされた３次元モデルは、複数の画像をモデル上に投影し、複数の画像とモデルとの間の一致度を計算することによって評価される。適合度がユーザを満足させない場合、ステップＤの選択処理および／または上述したテクスチャリング処理を再び実行してもよい。

別の好ましい実施形態では、計算された一致度を用いて、決定された係数の値を変更しながら、局所の最大一致度を求めることによって、決定された少なくとも１つの未知係数を最適化する。

モデルのテクスチャと複数の画像との一致度は、測光誤差によって記述することができる。測光誤差を用いて、数学方程式の少なくとも１つの係数を最適化することができる。このことは、係数の値を反復的に変更しながら、測光誤差の極小値を求めることによって達成される。この目的のために、任意の公知の非線形最適化アルゴリズム、例えばLevenberg-Marquardtアルゴリズムを使用することができる。

ＲＡＮＳＡＣなどの既知の点適合アルゴリズムに比べて、本発明の方法の実施形態が複数の画像から得られた数百万のピクセルの情報を使用するため、レンダリングされた３次元モデルは、より正確であり、サブピクセルレベルの精度に達することができる。

別の好ましい実施形態において、複数の画像から抽出された対象物の特徴を用いて、特徴がレンダリングされた３次元モデルから抽出可能であるか否かを判断することによって、一致度を計算する。複数の画像から抽出された特徴のうち、５０％を超える特徴、特に７０％を超える特徴がレンダリングされた３次元モデルからも抽出可能である場合、高い一致度が達成される。これによって、３次元モデルのレンダリング品質の評価が完全に自動化され、好ましい。

なお、用語「写真」、「画像」、「肖像」、または他の変形は、本特許出願において交換可能である。

さらなる有利な詳細および特徴は、図面に関連して本発明の例示的な実施形態の以下の説明から理解され得る。

対象物を３Ｄ再構築するための本発明の方法の一実施形態を示す概略図である。

図１によれば、左側の７つのカメラアイコン１～７は、３次元再構築対象物１００の７つの画像１～７を表す。これらの画像は、１つのカメラから、異なるカメラ角度で撮影される。

なお、これらの画像１～７は、異なるカメラ姿勢の複数のカメラから、同じまたは異なる撮影時間で撮影されてもよい。図１は、説明を容易にするためにより少ない画像が適切であるという理由から、７つの画像のみを示しているが、本発明の方法を実施するためにより多くの画像を撮影して使用することができることを排除するものではない。

その後、画像１～７上の「関心のある」部分、例えば対象物１００の角点および隆線、すなわち、対象物１００の特徴点が、画像１７から抽出される。対象物１００の２次元特徴点または特徴は、図１に示されていない。

その後、対象物１００を表す３次元モデルに配置された３次元点群を生成する。各３次元点は、画像１～７のうち、少なくとも２つの画像から抽出可能な特徴のうちの１つに対応する。これらの３次元点は、図１において、数字１２、１４、１６、１８、２０、２２、２４および２６によって示されている。

続いて、画像４から領域４０を選択する。この領域は、対象物１００の構築ブロックとしての所定の球体１０の一部３０の投影を含む。説明の利便性のために、図１では、所定の球体１０および３次元点１２～２６は、目的に応じて拡大され、再構築される対象物１００は、具体的な形態／境界で示されていない。

所定の球体１０は、３つの変数ｘ、ｙ、ｚおよび４つの未知係数ａ、ｂ、ｃ、ｒを含む数学方程式（ｘ－ａ）^２＋（ｙ－ｂ）^２＋（ｚ－ｃ）^２＝ｒ^２によって表現可能である。

３次元点１６、１８、２０、２２のうちの１つに各々対応する対象物１００の特徴のサブセットは、領域４０に含まれ、この特徴のサブセット内の特徴の数は、数学方程式の未知係数ａ、ｂ、ｃ、ｒの数に等しい４である。

なお、撮影画像１～７からの画像の選択およびその後の選択画像からの領域の選択は、実際の対象物を再構築するためのソフトウェアを操作するユーザによって実行されてもよい。代替的には、画像の選択および領域の選択は、コンピュータプログラムによって実行されてもよい。

その後、各々が３次元点１６～２２に対応する特徴のうちの少なくとも１つの特徴を含む画像３～６を特定する。

次に、第１セットの３次元点１６～２２を決定する。また、１つの３次元点２４を含む第２セットの３次元点を決定する。この３次元点２４に対応する特徴は、３次元点１６～２２に対応する特徴に含まれていないが、上述したように特定された画像３～６のうち、２つの画像５、６から抽出可能である。

その後、第１セットの３次元点および第２セットの３次元点を用いて、所定の球体１０に対応する数学方程式（ｘ－ａ）^２＋（ｙ－ｂ）^２＋（ｚ－ｃ）^２＝ｒ^２を決定する。

この数学方程式が４つの未知係数ａ、ｂ、ｃ、ｒを含み且つ第１セット内の３次元点１６～２２の数が未知係数ａ、ｂ、ｃ、ｒの数に等しいため、数学方程式を決定または評価することができる。すなわち、第１セット内の４つの３次元点１６～２２のみを用いて、未知係数ａ、ｂ、ｃ、ｒを求めることができる。

特定された画像３～６は、所定の球体１０の一部３０が投影される選択領域４０内の少なくとも１つの特徴点を共有することにより、選択画像４に関連するため、画像５から抽出可能であり且つ３次元点２４に対応する追加の特徴は、所定の球体１０の表面上の１つの３次元点に対応する可能性が高い。

換言すれば、第２セットは、所定の球体１０の表面上の１つの３次元点を含む可能性がある。

従って、３次元点２４を含む第２セットを用いて、第１セットによって決定された数学方程式を評価する。数学方程式が依然として成立しているか否かを検査するために、第２セット内の３次元点２４の各々の相対座標を決定された数学方程式に入れる。

検査結果に従って、方程式が依然として成立するまたはほぼ成立する場合、決定された数学方程式は、所定の球体１０を表すための最適式として見なされてもよい。

検査結果に従って、方程式が成立していない場合、決定された数学方程式は、所定の球体１０を表すのに適していないと見なされてもよい。従って、決定された数学方程式が評価検査に合格するまで、上述の選択処理を繰り返す必要がある。

最後のステップでは、少なくとも最適と判断された球体１０を用いて、対象物１００の３次元モデルをレンダリングする。

Claims (11)

1. 対象物を３Ｄ再構築するための方法であって、以下のステップ、すなわち、
   Ａ）少なくとも１つのカメラを用いて、特に異なるカメラ角度および位置から、対象物の複数の画像を生成するステップと、
   Ｂ）前記複数の画像から前記対象物の特徴を抽出するステップと、
   Ｃ）前記対象物を表す３次元モデルに配置された３次元点群を生成するステップとを含み、前記３次元点の各々は、前記複数の画像のうちの少なくとも２つの画像から抽出可能な１つの前記特徴に対応し、
   Ｄ）前記複数の画像のうちの１つの画像から、前記対象物の構築ブロックとしての所定の３次元幾何学的構造の少なくとも一部の投影を含む領域を選択するステップとを含み、
   前記所定の３次元幾何学的構造は、複数の未知係数を含む数学方程式によって表現可能であり、
   各々が前記３次元点のうちの１つの３次元点に対応する前記対象物の前記特徴のサブセットは、前記領域に含まれ、前記特徴の前記サブセット内の前記特徴の数は、前記数学方程式の前記未知係数の数の以上であり、
   Ｅ）前記特徴の前記サブセット内のの少なくとも１つの前記特徴を含む画像を各々特定するステップと、
   Ｆ）ステップＤで選択された前記特徴の前記サブセットに対応する第１セットの３次元点と、前記特徴の前記サブセットに含まれないが、ステップＥで特定された前記画像のうちの少なくとも２つの画像から抽出可能な少なくとも１つの特徴に対応する少なくとも１つの３次元点を含む第２セットの３次元点とを決定するステップと、
   Ｇ）前記第１セットの前記３次元点および前記第２セットの前記３次元点を用いて、前記所定の３次元幾何学的構造に対応する前記数学方程式を決定するステップと、
   Ｈ）少なくとも前記所定の３次元幾何学的構造を用いて、前記対象物の３次元モデルをレンダリングするステップとを含む、方法。
2. 前記幾何学的構造は、平面、球体、円柱、円錐、またはドーナツ状構造である、請求項１に記載の方法。
3. 前記方法は、
   Ｉ）前記複数の画像の消失点を各々特定するステップと、
   Ｊ）少なくとも１つの前記消失点を用いて、前記所定の３次元幾何学的構造を限定するステップとをさらに含む、請求項１または２に記載の方法。
4. 前記消失点は、前記複数の画像内の収束線を解析することによって特定される、請求項３に記載の方法。
5. 前記３次元幾何学的構造は、前記複数の画像のうちの１つの画像の少なくとも一部によってテクスチャ化され、
   前記画像の前記一部は、前記３次元点群内の前記３次元点によって特定および選択される、先行する請求項のいずれか一項に記載の方法。
6. 前記レンダリングされた３次元モデルは、前記複数の画像を前記モデル上に投影し、前記複数の画像と前記モデルとの間の一致度を計算することによって評価される、先行する請求項のいずれか一項に記載の方法。
7. 前記計算された一致度を用いて、前記決定された係数の値を変更しながら、局所の最大一致度を求めることによって、前記決定された未知係数のうちの少なくとも１つの未知係数を最適化する、請求項６に記載の方法。
8. 前記複数の画像から抽出された前記対象物の前記特徴を用いて、前記特徴が前記レンダリングされた３次元モデルから抽出可能であるか否かを判断することによって、前記一致度を計算する、請求項６または７に記載の方法。
9. 請求項１から８のいずれか一項に記載された方法を実行するための手段を備えるデータ処理システム。
10. コンピュータによって実行されると、請求項１から８のいずれか一項に記載された方法を前記コンピュータに実行させる命令を含むコンピュータプログラム。
11. コンピュータによって実行されると、前記コンピュータに請求項１から８のいずれか一項に記載された方法を実行させる命令を含むコンピュータ可読媒体。

Images