JP2018072316A - ジオアーク(geoarc)を使用したビークルの二次元位置の特定 - Google Patents

ジオアーク(geoarc)を使用したビークルの二次元位置の特定 Download PDF

Info

Publication number
JP2018072316A
JP2018072316A JP2017131832A JP2017131832A JP2018072316A JP 2018072316 A JP2018072316 A JP 2018072316A JP 2017131832 A JP2017131832 A JP 2017131832A JP 2017131832 A JP2017131832 A JP 2017131832A JP 2018072316 A JP2018072316 A JP 2018072316A
Authority
JP
Japan
Prior art keywords
geoarc
voxel
vehicle
features
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017131832A
Other languages
English (en)
Other versions
JP7057632B2 (ja
Inventor
ユリ オウェッコ,
Owechko Yuri
ユリ オウェッコ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2018072316A publication Critical patent/JP2018072316A/ja
Application granted granted Critical
Publication of JP7057632B2 publication Critical patent/JP7057632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】撮像された表面構成に対して、ビークルの位置を特定する画像測定装置を提供する。【解決手段】表面構成の基準表現内の対応する識別された地物のペア102、104を有する。ビークル116によって支持されたセンサ112、114から取得された画像内の地物のペアを選択することを含みうる。センサの画角θと、基準表現内の選択された地物のペアに基づいて、三次元ジオアークが生成されうる。物理的表面構成106の一部からビークルの既知の距離だけ離間して配置されたジオアークの選択部分が決定されうる。選択された地物のペアに対するジオアークの選択部分が重複する位置が識別されうる。基準表現は体積要素(ボクセル)の三次元空間において定義することができ、最も数多いジオアーク内に含まれるボクセルが決定されうる。【選択図】図1

Description

相互参照
全ての目的において、以下の関連特許:「Image Registration of Multimodal Data Using 3D−Geoarcs」に対し2014年10月7日にYuri Owechko氏に発行された米国特許第8855442号明細書全体が本書に組み込まれる。
本開示は、ビークルの位置を特定する方法、システム、及び物品に関する。更に具体的には、本開示の実施形態は、物理的表面構成のセンサ画像を物理的表面構成の基準表現に関連付けするジオアークを使用してビークルの位置を特定するシステム及び方法に関する。
全地球測位システム(GPS)対応装置が、その装置の利用可能な領域内で、その装置の位置を探すことはよくあることである。GPSに対応していない装置、あるいはGPSが利用可能でない位置にある装置に対しては、デバイスの位置を探す別の方法が必要である。GPSを使わずに位置を特定する既存の方法では、様々な検知機構が使用される。例えば、誘導ミサイルから携帯電話までのプラットフォームに慣性計測装置(IMU)が実装されてきた。慣性計測装置は、固有の位置予測誤差の増加に起因して、比較的短期間の位置の特定が要求される用途に好適である。能動的な検知システムは、位置を特定するために、シーンにおいてRFエミッタと、RF環境の空間マップを使用する。上記方法は屋内での使用に好適であるが、上記の能動的なエミッタのパターンをマッピングすることは屋外では実際的ではなく、本質的に変換不能である。
受動的なカメラベースの方法では、画像データを処理することによってカメラの位置特定を実施する。自己位置通知及びマッピング(SLAM)システムは、環境の三次元(3D)モデルを作成して、カメラの動きを活用することによってモデルに対するカメラの位置を推定する。SLAMでは絶対位置情報は得られず、三次元マップにモデルを登録する別の手段が要求される。この方法は特に二次元(2D)位置情報のみが要求されるときに、他の方法に比べて計算も複雑である。
シーンマッチング方法では、大規模データベースにおいてカメラの画像をジオタグ付きの画像とマッチさせ、次にカメラの位置と姿勢を推測する。画像マッチングは、カメラの画像と、候補のマップ画像との間の地物の一致を見つけることによって行われる。上記方法は、多数の別々の地物とマッチさせる必要があるために計算が複雑で、誤差が起きやすく、マッチング誤差に敏感である。相関に基づく方法は、回転、スケール、視点、及び照明の変化に敏感であり、飛行経路からの大きな変動を補正することができない。意味論(semantic)位置特定方法では、カメラ画像の物体を認識し、意味論的な推理を使用してマップデータベース内でシーンを物体とマッチさせる。これらの方法は、これまで、異なるデータセットおよび環境の変化全体がうまく一般化されない認識方法の精度によって限定され、特に三次元における空間精度に限界がある。
幾つかの実施形態では、空間的位置を特定する方法は、物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得することと、取得した画像内の地物を識別することとを含む。本方法は更に、取得した画像内の識別された地物を、物理的表面構成の一部の、例えば基準マップ等の三次元基準表現内の識別された地物と関連づけることを含み、三次元基準表現は体積要素(ボクセル)の三次元空間において定義される。本方法は更に、基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することを含む。取得された画像内の各選択された地物のペアに対して、本方法は更に、センサからの地物のペア間の画角を決定することと、決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、生成されたジオアークに含まれるボクセルを識別することとを含む。本方法はまた、ボクセルが含まれる生成されたジオアークの数を、各識別されたボクセルに対して集計することと、識別された一または複数のどのボクセルが最も数多いジオアークに含まれるかを決定することとをも含む。
幾つかの実施形態では、ビークルは、物理的表面構成から離隔した位置から物理的表面構成の一部の画像を生成するように構成されたセンサと、センサに通信可能に接続されたデータ処理システムとを含む。データ処理システムは、物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得し、取得した画像内の地物を識別するように構成されている。データ処理システムは更に、取得された画像内の識別された地物を、物理的表面構成の一部の三次元基準表現内の識別された地物に関連付けするように構成され、三次元基準表現は体積要素(ボクセル)の三次元空間において定義される。データ処理システムは、基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択するように構成されている。取得された画像内の各選択された地物のペアに対して、データ処理システムは、センサからの地物のペア間の画角を決定し、決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、生成されたジオアーク内に含まれるボクセルを識別するように構成されている。データ処理システムはまた、ボクセルが含まれる生成されたジオアークの数を、各識別されたボクセルに対して集計し、識別された一または複数のどのボクセルが最も数多いジオアークに含まれるかを決定するようにも構成されている。
幾つかの実施形態では、コンピュータプログラム製品は、コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を含む。コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得し、取得した画像内の地物を識別するように構成する。コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを更に、取得された画像内の識別された地物を、物理的表面構成の一部の三次元基準表現内の識別された地物に関連付けするように構成し、三次元基準表現は体積要素(ボクセル)の三次元空間において定義される。コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを更に、基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択するように構成する。取得された画像内の各選択された地物のペアに対して、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを更に、センサからの地物のペア間の画角を決定し、決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、生成されたジオアーク内に含まれるボクセルを識別するように構成する。コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、ボクセルが含まれる生成されたジオアークの数を各識別されたボクセルに対して集計し、識別された一または複数のどのボクセルが最も数多いジオアークに含まれるかを決定するようにも構成する。
特徴、機能、及び利点は、本開示の様々な実施形態で個別に実現されうるか、又は、後述の説明及び図面を参照してさらなる詳細が理解可能である、さらに別の実施形態において組み合わされうる。
物理的表面構成の表現の2つの地物に基づく、三次元ジオアークの一例である。 基面とセンサ平面に対する三次元ジオアークの一例である。 物理的表面構成の画像の一例と、センサの画角の図である。 物理的表面構成の基準表現に対する、基面における、また平行移動したセンサ平面におけるジオアークの一部の一例である。 図4と同様であるが、基準表現に対して平行移動したセンサ平面における3つのジオアークの一部を示す図である。 画像センサを有するビークルの位置を探すために、一実施形態によって実施される工程を示す図である。 画像センサを有するビークルの位置を探すために、一実施形態によって実施される工程を示す図である。 セクションに分かれた基準表現を示す図である。 図8に示すセクションのジオアークの一部を示す図である。 画像センサを有するビークルの位置を探すために、一実施形態によって実施される工程を示す図である。 三次元ジオアークと、関連づけられた変換された座標原点との一例を示す図である。 ジオアークの特徴を示すジオアークの二次元スライスを示す図である。 地物の基準マップを生成するために、一実施形態によって実施される工程を示す図である。 画像センサを有するビークルの位置を探すために、一実施形態によって実施される工程を示す図である。 例示的なデータ処理システムの様々な構成要素の概略図である。 例示的なコンピュータネットワークシステムの概略図である。 位置を取得しているビークルに対してビークルの位置を探すための一実施形態を示すブロック図である。 画像センサを有するビークルの位置を探すために、一実施形態によって実施される工程を示す図である。
概要
物理的表面構成のセンサ画像と、物理的表面構成の基準表現とを関連付けするジオアークを使用して、画像センサを有するビークルの位置を探す、または位置を特定するためのシステム及び方法の様々な実施形態を以下に説明し、関連の図面に示す。特別の定めのない限り、ビークル位置特定システム、及び/又はその様々な構成要素は、本書で説明され、例示され、かつ/又は本書に組み込まれた、構造体、構成要素、機能、及び/又は変形例のうちの少なくとも1つを包含しうるが、それらを包含することが必要な訳ではない。さらに、本教示に関連して本書に記載され、例示され、及び/または組み込まれた、構造体、構成要素、機能、及び/または変形例は、他のビークル位置探索システムに含まれ得るが、それらに含まれることが必要というわけではない。様々な実施形態の下記の説明は、本質的に単なる例示であり、本開示、その応用または用途を限定することを意図するものではない。加えて、実施形態によって提供される利点は、後述のように、本質的に例示的であり、すべての実施形態が同じ利点または同程度の利点を提供するわけではない。
空間的位置特定システムは、接続されているか否かにかかわらず、一又は複数の物理的表面または物理的表面要素または地物の群を含む物理的表面構成が、センサが物理的表面構成の画像を生成した位置から離隔している環境において、使用されうる。空間的位置特定の実施例は、屋内環境、地球又は他の惑星の表面近くの屋外環境、地球大気における位置、及び宇宙における位置を含む。例えば、宇宙ステーションに近づく宇宙船は、空間的位置特定システムを使用しうる。したがって、空間的位置特定システムはまた、GPS信号が遮断、妨害、又は偽装されたときにGPS地理位置情報を補充する又は差し替える、受動的な地理位置情報の方法が必要とされる空中ステーションにも応用可能である。空間的位置特定システムはまた、無人航空機(UAV)、ミサイル、及び軍需物資のロイター飛行を含む自律空中ステーションにも使用可能である。空間的位置特定システムはまた、屋内ナビゲーションにも使用され、陸上、水上、空中及び宇宙でのビークルの位置特定に応用されうる。
幾つかの実施例では、空間的位置特定システムは特に、GPSを使わない条件下で航空カメラを使用する受動的な地理位置情報のためのジオアークの空中位置特定システム(GALS)として使用されるときに有益でありうる。GALSは、地上の画像内の地物を検出し、カメラを使用して地物間に見られる角度を測定することによって、位置特定を実施する。測定された角度値をマップ内のマッピングされた地物のペアに割り当てることによって、例えば直交座標系のx、y、z次元等の三次元内のカメラの可能な位置をその表面に制約する三次元マップ空間にトーラスを描くことができる。他の種類の座標系も使用可能であり、直交座標系と同等にみなされる。例えば、空中カメラの地面より上の高さが周知である場合、カメラの位置は更に、カメラの高さの平面が地面と平行するトーラス表面の交わる部分に限定されうる。この交わる部分を地面に投影することによって、二次元ジオアークの図面をマップに描くことができる。角度測定の誤差に起因する位置特定の不確実性は、非ゼロの厚さの二次元ジオアークを使用することによって表すことができる。単純な集計を使用して複数の二次元ジオアークからの追加の制約を蓄積することによって、カメラの位置及び姿勢をより高い精度で推定することができる。
GALSにおけるジオアークの蓄積は、マップ上の角度と地物のペアの不一致に起因する誤差の影響を拡大させる一方で、より多くの角度が測定され、マップの地物のペアに割り当てられるにつれ本当の位置に信号が構築される、「マッチング位置特定フィルタ」のように機能する。これにより、GALSは地物マッチングの誤差に対して非常に強固になり、可能性のある全ての角度と地物のペアの割り当てを包括的に検索する必要が回避される。GALSはまた、位置特定の精度及び信頼度も継続的に更新されうる。正確な画像とマップ上の地物が一致する割合が低くても、高い精度の位置特定が得られうる。更に、スケール不変性地物変換(SIFT)又は速力増加ロバスト性地物(SURF)等の従来のスケール及び回転不変性の地物を使用することによって、GALS位置特定プロセスはスケール及び回転不変性でもあり、ロバスト性と処理速度も高まる。
GALSフレームワークは、例えば携帯電話及びタブレット用に開発されたもの等のマルチコアグラフィックスチップを使用して、小規模のサイズ、重量、及び動力で実行されうるグラフィック工程を使用しうる。マップをタイルに分割し、各タイルを別々のコアに割り当てることによって、各マップのタイルを他のタイルとは関係なく処理することができるため、(例えば前の位置の知識なしの)「暫定的な(dropped in)」位置特定の速力増加は、コアの数において直線状になる。
幾つかの実施例では、三次元空間的位置特定システムを使用して、カメラから見た物体の地物間で測定された角度を使用して、三次元空間内のカメラの位置及び姿勢を三次元物体に対して決定することができる。視覚的地物は三次元空間内の任意の位置にあってよく、平面に限られる必要はない。測定された角度値をマップ内のマッピングされた地物のペアに割り当てることによって、x、y、z座標空間内のカメラの可能な位置をその表面に制約するスピンドルトーラスを三次元マップ空間に描くことができる。角度測定の誤差に起因する位置特定の不確実性は、三次元ジオアークの非ゼロの厚さで表されうる。各々が地物のペアと関連づけられた、複数の三次元ジオアークからの追加の制約を蓄積することによって、三次元内のカメラの位置と姿勢をより高い精度で推定することができる。三次元空間をボクセルに分割し、個体数関数を使用して三次元ジオアークの重複を表すことによって、カメラの位置及び姿勢を効率的に決定することができる。この解決策は特に、画像センサを有するビークルの高度が未知のときに有用である。
三次元ジオアークを蓄積することにより、三次元空間にわたる角度と地物のペアの不一致に起因する誤差の影響を拡大させる一方で、より多くの角度が測定されて物体の地物のペアに割り当てられるにつれ、カメラの位置に信号が構築される、いわゆる三次元位置マッチングフィルタが実行される。これにより、三次元ジオアークは地物マッチングの誤差に対して非常に強固になり、可能性のある全ての角度と地物のペアの割り当てを包括的に検索する必要が回避される。三次元ジオアークを使用することで、位置特定の精度及び信頼度も継続的に更新されうる。更に、SIFT又はSURF等のスケール及び回転不変性の地物を使用することによって、完全な三次元位置特定プロセスはスケール及び回転不変性となり、ロバスト性と処理速度も高まる。
三次元空間的位置特定システムは、三次元の点が三次元ジオアークの内部にあるか、外部にあるかを決定することを含み、この決定は、例えば携帯電話及びタブレット用に開発されたもの等のマルチコアグラフィックスチップを同時に使用して、小規模のサイズ、重量、及び動力で実行されうる。上記空間的位置特定システムは、空間内の三次元物体周囲でドッキングさせる、あるいは操縦する必要がある空中ステーション、及び三次元物体周囲、及びGPSが利用可能でないか、十分精度が高くない環境において操縦することが要求されるUAV、ミサイル、軍需物資のロイター飛行を含む自律空中ステーションに使用されうる。三次元空間的位置特定システムは、例えば携帯電話を使用した屋内又は屋外ナビ向けにも使用可能である。
空間的位置特定システムの態様は、コンピュータの方法、コンピュータシステム、又はコンピュータプログラム製品として具現化されうる。従って、空間的位置特定システムの態様は、専らハードウェアの実施形態、専らソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は、ソフトウェア及びハードウェアの態様を組み合わせる実施形態の形態をとりうるが、本書ではそれらはすべて一般的に、「回路」、「モジュール」、又は「システム」と称されうる。更に、空間的位置特定システムの態様は、コンピュータ可読プログラムコード/命令を具現化する一又は複数のコンピュータ可読媒体において具現化される、コンピュータプログラム製品の形態をとりうる。
コンピュータ可読媒体の任意の組み合わせが利用されうる。コンピュータ可読媒体は、コンピュータ可読信号媒体及び/又はコンピュータ可読記憶媒体でありうる。コンピュータ可読記憶媒体は、電気的、磁気的、光学の、電磁的、赤外線の、及び/又は半導体の、システム、装置、又はデバイス、或いは、それらの任意の好適な組み合わせを含みうる。コンピュータ可読記憶媒体のより具体的な実施例は、一又は複数の電線を有する電気接続、持ち運び可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、消去可能プログラマブル読出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、持ち運び可能なコンパクトディスク読出し専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、及び/又は、それらの任意の好適な組み合わせ、及び/又はそれらの同類を、含みうる。この開示の文脈において、コンピュータ可読記憶媒体は、命令を実行するシステム、装置又はデバイスによって使用するための、又はそれと接続しているプログラムを、包含又は記憶することが可能な、任意の好適な有形媒体を含みうる。
コンピュータ可読信号媒体は、例えば、ベースバンドにおいて又は搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝播データ信号を含んでもよい。かかる被伝播信号は、電磁的形態、光学形態、及び/又は、それらの任意の好適な組み合わせを含むがそれらに限定されない、多種多様な形態のうちの任意の形態をとりうる。コンピュータ可読信号媒体は、命令を実行するシステム、装置、又はデバイスによって使用するための、又はそれと接続しているプログラムを、通信、伝播、又は伝送することが可能な、コンピュータ可読記憶媒体ではない任意のコンピュータ可読媒体を含みうる。
コンピュータ可読媒体で具現化されたプログラムコードは、無線、有線、光ファイバケーブル、RF、及び/又はそれらの同類、及び/又は、それらの任意の好適な組み合わせを含むがそれらに限定されない、任意の適切な媒体を使用して伝送されうる。
空間的位置特定システムの態様向けの動作を実施するためのコンピュータプログラムコードは、Java、Smalltalk、C++、及び/又はそれらの同類といったオブジェクト指向型プログラミング言語、及び、Cプログラミング言語のような、従来的な手続き型プログラミング言語を含む、1つのプログラミング言語、又はプログラミング言語の任意の組み合わせで書かれうる。プログラムコードは、専らユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、独立型のソフトウェアパッケージとして、部分的にユーザのコンピュータ上でかつ部分的に遠隔コンピュータ上で、或いは、専ら遠隔コンピュータ又はサーバ上で、実行を行いうる。後半の想定では、遠隔コンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてよく、かつ/又は、(例えばインターネットサービスプロバイダを使用して、インターネットを通じて)外部コンピュータへの接続が行われうる。
空間的位置特定システムの態様は、方法、装置、システム及び/又はコンピュータプログラム製品のフロー図及び/またはブロック図を参照して、以下に記載される。フロー図及び/又はブロック図における各ブロック及び/又はブロックの組み合わせは、コンピュータプログラム命令によって実装されうる。コンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フロー図及び/又はブロック図の一又は複数のブロック内で特定されている機能/作用を実装するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ、又は、機器を作製するための他のプログラマブルデータ処理装置のプロセッサに、提供されうる。
これらのコンピュータプログラム命令は、コンピュータ可読媒体であって、コンピュータ可読媒体に記憶された命令が、製造品を作製するような特定の様態で機能するよう、コンピュータ、他のプログラマブルデータ処理装置、及び/又は他のデバイスに指示しうる、コンピュータ可読媒体に記憶されることも可能であり、そのコンピュータプログラム命令は、フロー図及び/又はブロック図の一又は複数のブロック内で特定されている機能/作用を実装する命令を含む。
コンピュータプログラム命令は、コンピュータ又は他のプログラマブル装置で実行される命令が、フロー図及び/又はブロック図の一又は複数のブロック内に特定された機能/作用を実装するためのプロセスを提供するように、デバイス上で一連の動作ステップを実行してコンピュータ実装プロセスを行わせるために、コンピュータ、他のプログラマブルデータ処理装置、及び/又は、他のデバイスに、読み込まれることも可能である。
図面内のいかなるフロー図及び/又はブロック図も、空間的位置特定システムの態様に係るシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び/又は動作を示すことを意図している。これに関して、各ブロックは、特定の論理機能(複数可)を実装するための一又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部分を表わしうる。幾つかの実装では、ブロックに記載された機能が、図中に記載された順序から逸脱して現われることがある。例えば、関連する機能性に応じて、連続して示された2つのブロックが実際にはほぼ同時に実行されること、又は、それらのブロックが時には逆順で実行されることがある。各ブロック及び/又はブロックの組み合わせは、特定の機能又は作用を実行する、特殊用途ハードウェアに基づくシステム(又は、特殊用途のハードウェアとコンピュータ命令との組み合わせ)によって実装されうる。
定義
本書で使用するジオアークは、物理的表面構成が地理的な性質のものであるか否かに関わらず、決定された画角と、物理的表面構成の基準表現内の選択された地物のペアを関連付けする数学モデルを指すものである。本書で使用される例示のジオアークは、空間内の2つの点を共通の画角または画角範囲で見た点の軌跡を表す、表面又は体積を有する自己交差またはスピンドルトーラスである。
実施例、構成要素及び代替手段
下記の節では、例示的な空間的位置特定システム及び/又は方法の選択された態様が記載される。これらの節の実施例は、例示を目的としており、本開示の範囲全体を限定するものと解釈すべきではない。各節は、1つ以上の個々の発明、及び/または、状況から得られるあるいは関連する情報、機能、及び/または構造体を含み得る。
実施例1:
ジオアーク位置特定システム(GALS)において具現化されうる空間的な位置特定を行う方法のこの実施例1では、画像を使用して、画像内の検出された地物間に見られる角度を使用して、たとえばカメラ等の画像センサを有するビークルの位置を見つけることができる。この角度は、たとえば画像内の地物の位置に対する視野等のカメラのパラメータで決定する。画像内の2つの地物間の距離は、2つの地物間に見られる角度と直接の関係がある。マッピングされた地物のペアに測定された角度を割り当てることで、ワールド座標系内の可能性のあるカメラの(x、y、z)座標位置が、図1に示すように、自己交差、またはスピンドルトーラス100の表面に限定される。トーラス100は、物理的表面構成106の少なくとも一部の基準表現内の識別された2つの識別された地物102、104の位置から生成される。基準表現は、物理的表面構成の記憶された基準マップまたはモデル、あるいは物理的表面構成の一部に記憶されうる、又は基準表現は、物理的表面構成、又は物理的表面構成の一部の記憶された基準画像でありうる。この実施例では、基準表現に含まれる物理的表面構成106の一部、及び物理的表面構成106の一部のセンサ画像は、第1の地物102を形成する角を有する建築物108を含む。建築物108は、第2の地物104を有する例えば別の建築物又は広い土地等の構造体110に支持される。上記物理的構造体は、共通の物理的構造体の構成要素であってもなくてもよい。
物理的表面構成106から離隔したビークル116によって支持されるカメラ112又は他の画像センサ114は、物理的表面構成106のセンサ画像を生成する。物理的表面構成106の基準表現は、x、y、及びz軸を有する一般座標原点118に対する地物の座標を含む、基準表現内の識別された物理的表面構成106の物理的地物とともに、システムメモリに記憶される。地物のペアを形成する物理的地物102、104の位置はそれぞれ、(x、y、z)、及び(z、y、z)として識別される。地物102、104の間に延びる線の中心点は、(x、y、z)として識別される。
カメラ112は、視野120を有する。カメラ112によって生成されたセンサ画像において、物理的地物102、104は画角θだけ離れていてよい。当然ながらトーラス100は、図1において点線によって示す連続的な表面122を有する。トーラス表面122の各点は同じ画角θを有し、これにより物理的表面構成106にかかわらず、カメラ112およびビークル116の可能性のあるすべての位置を形成する。
実施例2:
図2に、スピンドルトーラスの形態のジオアーク200の第2の実施例を示す。ジオアーク200は、センサ画像、及び基面208に配置された、たとえば地球の表面等の物理的表面構成206の少なくとも一部の基準表現内の識別された2つの地物202、204の位置から生成される。この状況は、空中プラットフォーム、または基面208から周知の高さHだけ上にある他のビークル211に配置されたカメラ210に対応する。ジオアーク200は、地物202、204の間の線の中心点に基点212を有する座標系によって画定される。このトーラスベースの座標系では、x´軸は地物202、204の間の線上にあり、y´軸は基面208において水平にx´軸に対して垂直に延び、z´軸は基面から垂直に離間して延びる。
カメラとビークルの位置はしたがって、ジオアーク200を有する、高さz´=Hに配置されたセンサ平面214の交わる部分にあるように限定される。センサ平面214は、基面に平行し、カメラとビークルの高さにある。高さH=0において、センサ平面214は基面208と同じ平面である。この交点はスピリック(spiric)曲線216である。スピリック曲線216はジオアーク200の一部であり、物理的表面構成206の基準表現における地物202、204の位置、及びカメラ210から見た地物202、204間の画角θに基づいて解析的に表現される。カメラ210及びビークル211の位置の決定はしたがって、スピリック曲線216上の位置に限定される。
図3〜5に、プロセスを図式的に示す。図3は、センサ画像300のランドマークから識別された地物302、304を示すセンサ画像300の図である。センサ画像300は、基面の高さH上のところでビークルのカメラ306によって見た画角θを示している。
図4に、図3のセンサ画像300として結像された物理的表面構成の基準表現400を示す。この実施例では、基準表現400は、センサ画像300においても示された地物を示す基準マップ402である。基準マップ402は、図3に示す地物302、304に対応する地物404、406を有する。図の平面に基準マップ402によって提示される基面410に、地物404、406を含む基面の二次元ジオアーク408が配置されている。ジオアーク408は、カメラ412を支持しているビークル411が基面410の物理的表面構成に配置され、カメラ412が画角θを有した場合のジオアークを表す。
しかしながら、ビークル411とカメラ412が高さHに配置されると、基面410上に平行移動したカメラの位置は必ずしも、ジオアーク408にあるわけではない。図2のトーラス200を参照しながら説明したように、センサ平面のスピリック曲線414を基面410上に投影することによって、基面410にセンサ平面の二次元ジオアーク416が形成される。ジオアーク416の形状、サイズ、及び向きは、基準マップ402上の地物のペア404、406の位置、地面の上のカメラの高さH、及び地物404、406の間に見られる角度θによって決定される。基面410上のスピリック曲線414の投影は、(基面410上の)(x´、y´)における可能性のある一連のカメラの位置であり、これにより、基準マップ402上のセンサ平面の二次元ジオアーク416が画定される。二次元表現は本当の画角θを正確に表現するものではないため、画角θはジオアーク416における画角θ´として示される。角度測定における誤差に起因する位置特定の不確実性は、二次元ジオアーク408、416の非ゼロの厚さによって表される。
図5に、平行移動したセンサ平面のジオアーク416、及び識別されていない他の地物のペアに基づいて生成された2つの追加の平行移動したセンサ平面のジオアーク418、420を有する基準マップ402を示す。複数のジオアークの合計により、図2に示すように、ビークル及びカメラの位置が決定される。追加の平行移動した二次元ジオアークを蓄積することによって、平行移動したカメラ/ビークルの位置422をさらに高い精度および信頼度で決定することができる。つまり、図示した3つのジオアークすべては、位置422においてのみ同時に重複している。したがって、最も数多いジオアーク内に存在する3つのジオアーク416、418、420の位置を決定することによって、平行移動したカメラ/ビークルの位置422が識別される。本当のカメラの位置は、平行移動したカメラ/ビークルの位置422から高さHだけ上のところである。
したがって、それぞれの地物のペアの角度を複数のマップ地物のペアに割り当てることによって、カメラ/ビークルの位置422が複数のトーラスの交わる部分に限定される。各トーラスは、角度測定及びマップ地物の位置における不確実性のために、非ゼロの表面厚さを有し、このため、交わる部分は実際には小さい二次元体積である。全ての角度がマップ地物のペアと正確にマッチした場合、カメラの位置を特定するのに、3つの地物から形成された3つの地物のペアで十分である。しかしながら、地物の位置および角度はかなり変動する可能性があるため、より多くの地物のペアを使用することによって、位置特定の精度が改善される。複数のトーラスの三次元の交わる部分を見つけることは、現代のグラフィックプロセッサで効率的に実施されうるが、たとえば高度計またはレーザ測距器等の別のセンサを使用して、地面の上のカメラの高さHを測定することにより高さまたはz寸法をなくすことによって計算負荷が大幅に削減されうる。そして、三次元ではなく二次元で処理が実施される。
各ジオアーク416、418、420内の基準表現400のすべてのピクセルに例えば1の値等の固定値を割り当てた後に、ジオアーク416、418、420によって寄与される値を加算することによって、位置信号のピークがカメラ/ビークルの位置422において高まる。例えばジオアークの位置424等の位置の「ノイズ」を発生させる予期しない重複も起こるが、このような重複の可能性は、重複値とともに急速に減少する。各ジオアークは、可能性のある一連のカメラ/ビークルの位置についての証拠を提供し、重複度は位置に対する信頼度である。
実施例3
例えばセンサ114又はカメラ112、210、306又は412等の画像センサを有するビークル116等のビークルの空間的位置を決定する方法600の一例を図6に示す。図6は、例示的な方法における空間的位置特定システムの一実施形態によって実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法600の様々なステップを後述し、図6に示すが、ステップは必ずしもすべて実行する必要はなく、場合によっては、図示した順序とは異なる順序で実行されることもある。本方法600は、特に、ビークルの位置を特定する他の技術が利用可能でないときに有用である。
方法600は、既知の距離Hだけ物理的表面構成106、206から離隔した位置422から、物理的表面構成106、206の一部の画像300を、たとえばカメラ112、210、306、又は412等のセンサ114から取得するステップ602を含む。ステップ604において、取得した画像300内の地物302が識別される。本方法は更に、取得した画像300内の識別された地物302、304を、物理的表面構成106,206の一部の基準表現400、402内の識別された地物404、406に関連付けするステップ606を含む。ステップ608において、基準表現内の対応する識別された地物のペア404、406を有する、取得した画像300内の複数の地物のペア302、304が選択される。ステップ610において、最初の地物のペアが選択される。取得した画像300内の各選択された地物のペアに対し、本方法は、ステップ612においてセンサ(カメラ306)からの地物のペア302、304間の画角θを決定することと、ステップ614において、決定された画角θと、基準表現400内の選択された地物のペア404、406とを関連付けする三次元ジオアーク408を生成することと、ステップ616において、物理的表面構成(106、206)の一部から既知の距離Hだけ離間して配置された、ジオアーク200のスピリック曲線216又はセンサ平面のジオアーク416、418、420等の選択部分を決定することとを含む。ステップ618において、別の選択された地物のペアがあるか否かが決定される。それがある場合、ステップ610、612、614、及び616が繰り返される。本方法はまた、ステップ620において、選択された地物のペアに対するジオアーク416、418、420の選択部分が重複する位置422、424を識別することを含む。
各ピクセルに対して集計されたジオアーク値のピーク値に位置するピーク値によって表す位置特定信号Slocは、
loc=N=m(m−1)/2
の値を有し、Nは、基準表現のピクセルにおいて重複するジオアークの数であり、mは、カメラ画像300内の検出された有効な地物302、304の数であり、例えば基準マップ402にあり、正確に割り当てられた測定された地物のペアの角度θを有する地物のペアの1つである地物404、406である。ランダムな位置424においてNジオアークが偶然重複する確率は、ジオアークの面積の分数の積である。
Figure 2018072316
上記式において、LはL×Lマップの面積であり、Aはジオアークnの面積である。Pは、Nとともに急速に減少し、位置特定信号SlocはNとともに直線的に、また有効な地物の数とともに二次的に増加する。
シミュレーションが実施され、カメラ画像内のランダムに分布した50個の地物が検出され、次にマップの地物と正確にマッチングし、正確に割り当てられた角度測定を有する地物のペアの1つであった地物の数mが変更された。50個の地物のうち12個のみが正確に割り当てられていても、SnoiseよりもSlocの方が大きく、結果的な信号対ノイズ比が高いことがわかった。方法600はしたがって、地物の検出、マッチング、及び角度の割り当てにおいて大幅な誤差があるときに、信頼性の高い結果を生む。したがって、ほんのわずかのジオアークが有効である場合、上記誤差に起因して、位置特定信号Slocがノイズ信号Snoiseを上回るため、許容範囲である。
実施例4:
幾つかの実施例では、マップ地物データベースを区分にセグメント化することにより、計算負荷が削減され、マルチコアプロセッサを使用することにより効率的な平行化が可能になる。図7に、例えばカメラ306、412等の画像センサを有する、例えばビークル116、411等のビークルの空間的な位置特定を行う、全体的に600で示す空間的な位置特定を行う方法600の一例として、GALS方法700の一例を示す。図7は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法700の様々なステップが後述され、図7に示されているが、ステップは必ずしもすべて実行される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実行されることもある。方法600と同様に、ビークルの位置を特定する他の技術が利用可能でないときに、方法700が有用である。
方法700は、ステップ702において、物理的表面構成の一部のカメラ画像300を取得することを含む。例えば、カメラ112、306、412は、例えば有人又は無人航空機(UAV)、ドローン、又は他のタイプの航空機等のプラットフォームの下の地面のセンサ画像300を生成する空中カメラであってよく、地面より上のカメラ112、306、412の高さを決定するために高度計又は能動的レンジファインダが使用される。他の実施例では、カメラ112、306、412は、例えばボート、船、又は他の水上船等の他の種類のビークル、又は車、トラック、オールテラインビークル(ATV)等、又は他の陸上車に装着されたカメラでありうる。
方法700はまた、カメラ画像300内の地物302、304をステップ704において検出すること、又は識別すること、及び例えばステップ706において、地物のペアの画角θを、測定すること等によって決定することも含む。地物をマッチングしているときに、検索を関連次元に限定しやすくするために、地物がスケール及び回転不変であることが好ましい。上述したSIFT地物等の、上記の地物を検出する方法が幾つか開発されている。
カメラ画像300に結像された物理的表面構成の一部を含む、物理的表面構成の基準マップ402は区分に分割され、これはタイルとも称される。幾つかの実施例では、区分は、カメラ306の視野よりも狭い面積に対応する。基準マップ802の一部800を分割した例を、図8に示す。この実施例では、マップ部分800は9つの区分又はタイル804に分割されている。タイル804は図示したように、タイル804A〜804Iを含む。
タイル804が重複する、あるいは隙間を作らずにマッピングされた面積800をカバーすることが好ましい。各タイルに含まれる地物のリストが、それぞれのタイル804A〜804Iに関連付けられて記憶される。複数のプロセッサコアの各プロセッサコアを使用して、それぞれの割り当てられたタイルに処理を実施することができる。例えば基準マップ802が記憶されたデータベースから、マップのタイル804Eがステップ708において選択される。選択されたタイル804E、及びタイル804Eの面積を越えて広がる拡大面積806に存在する地物の関連リストも、ステップ710においてデータベースから選択される。図8内の点線で表す外側境界を有する拡大エリア806は、例えばカメラ306、412の視野に対応しうる。各拡大面積806は、面積804Eの上のカメラから見える地物を含有することが好ましい。この実施例では、拡大面積806は、タイル804E、及びタイル804A〜804Dと804F〜804Iの一部を含む。他のタイルの面積と重複して拡大エリア806を形成するタイル804Eの面積は、基準マップ802の地物の地形及び分布によって変化しうる。
次に、ステップ712において、マップの地物のペアが、カメラ画像300内の識別された地物のペアとマッチングされる、あるいはそうでなければ関連付けられる。次に、ステップ714において処理する地物のペアが選択される。それぞれのプロセッサコアは、識別された地物に対して測定された地物のペアの画角θを受信する。良好な位置特定が得られなさそうな地物のペアと角度の組み合わせが、フィルタリング除去される。フィルタリングは、ジオアークの不確実性が基準マップ402の地物のペアの角度値と位置に依存するため、これらの値を使用して実施されうる。
残ったマップの地物のペアの位置と角度、そしてカメラの高さを次にステップ716で使用して、マップタイル804E内の例えばジオアーク416、418、420等のジオアークが計算される。次にステップ718において、各ピクセルが含まれるジオアークの数が決定され、その後ジオアークの数が最も多い一または複数のピクセルが決定される。カメラとビークルの位置は、ジオアークが最大限に重複する位置によって得られる。図9に、図8のタイル804A〜804Iに対応する各区分904A〜904Iに対して生成されたジオアークのセグメント900の一例を示す。最大数のジオアークの重複は、マップの位置906にあり、これは、基準マップ802上の平行移動したカメラとビークルの位置に対応する。
タイルを同時に、また個別に処理することができるため、プロセッサの数に逆比例する複数のプロセッサを使用して、GALS処理時間が大幅に削減される。GALS処理フローの実演では、オハイオ州立大学で引き継がれたCSUAV広域結像データセットからのフレームをカメラ画像として使用した。カメラ画像は、23.9度の視野で690×460メートルの面積をカバーする668×1001ピクセルからなり、1630mの高さから記録された。回転及びスケール不変のSIFTアルゴリズムを使用して地物が検出され、カメラのパラメータを使用して地物のペア間の角度が測定された。合計で116個のSIFT地物が検出された。基準マップとして、グーグルアースの同じエリアからの画像が使用された。基準マップ画像は、カメラ画像とは異なるカメラで異なる日の時間帯に、異なる向きで記録されたものである。加えて、画像が異なる時に撮影されたため、幾つかの建築物が異なっていた。次に、基準マップからSIFT地物が抽出され、カメラの地物とマッチングされた。カメラ画像と基準マップの両方の地物に対して、同じSIFTアルゴリズムとパラメータが使用された。116個のカメラの地物のうち、20個がマップの地物に割り当てられたが、正確に割り当てられたのは12個のみだった。したがって、地物の割り当てのうち約10%のみが有効であった。
カメラがまっすぐに下を向いていることにより、画像の中央がカメラの位置に対応すると仮定すると、位置特定のピークは16×66mの面積であり、位置誤差は140mであった。位置特定信号のピーク値12は、正確に地物を割り当てる割合が低いにもかかわらず、他の重複値よりも大幅に高かった。間違った位置に対応する他の8個のタイルの最大ノイズ信号は、低い偽位置特定速度である3であった。デスクトップコンピュータのMatlabでは、実行時間は3.9秒であった。マッチした地物の数が少なく、ジオアークの数が減ったため、マッチしていないタイルの処理時間は短かった(1.9秒)。実際のGALSシステムには必要とされない、コンピュータスクリーン上にジオアークを描くのに要する時間が実行時間を大幅に占めた。Matlabはまた、埋め込まれた実装よりもかなり遅いものである。埋め込まれた実装により、かなり速くなることが期待される。
実施例5:
この実施例は、体積要素(ボクセル)の三次元空間において定義される基準表現を使用する例示的な空間的位置特定システム及び方法である(図1及び10参照)。図10は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1000の様々なステップを後述し、図10に示したが、ステップは必ずしもすべて実施される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実施されることもある。GPS又は他の位置特定システムが利用可能でないときに、この方法及び対応する空間的位置特定システムを使用することができる。
この実施例では、上述したシステム及び方法とともに、三次元空間的な位置特定を行う方法1000は、ステップ1002において、物理的表面構成106から離隔した位置から、ビークル116によって支持される例えばカメラ112等のセンサ114から物理的表面構成106の一部のセンサ画像を取得する。ステップ1004において、取得した画像内の地物が識別される。ステップ1006において、取得した画像内の識別された地物が、物理的表面構成の一部の三次元基準表現内の識別された地物に関連付けられる。三次元基準表現は、体積要素(ボクセル)の三次元空間において定義される。図1では、カメラ112と関係がなくてよい位置に座標原点118を有する直交座標によって、三次元空間が定義される。基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアがステップ1008で選択される。
次に、取得した画像内の各選択された地物のペアに対して、一連のステップが実施される。ステップ1010において、最初の、又は次の地物のペアが選択される。ステップ1012において、センサからの地物のペア間の画角が決定される。ステップ1014において、決定された画角と、基準表現内の選択された地物のペアとを関連づける三次元ジオアークが生成される。上述したように、トーラス100は三次元ジオアークの一例である。ステップ1016において、生成されたジオアークに含まれるボクセルが識別される。
ステップ1018において、ステップ1010、1012、1014、及び1016がまだ実施されていない、追加の地物のペアが存在するかが決定される。存在する場合、次に追加の地物のペアが選択され、これらのステップが実施される。
処理する追加の地物のペアがない場合、次にステップ1020において、本方法は、各識別されたボクセルに対して、ボクセルが含まれる生成されたジオアークの数を集計することを含む。ステップ1022において、識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかが決定される。
実施例6:
この実施例は、体積要素(ボクセル)の三次元空間で定義される基準表現と、プロセスにおける不確実性を表す厚さを有するジオアークとを使用する、例示的な空間的位置特定システム及び方法である(図1、10、11及び12参照)。
図10の方法1000、また上記の他の図面を参照しながら説明したように、この空間的位置特定の実施例はカメラ画像を使用し、方法1000のステップ1002、1004、1006、及び1008を参照しながら説明したように、カメラ画像内で検出され、物理的表面構成106の三次元基準表現内の識別された地物とマッチした地物102、104間のカメラ112からの画角θを使用して、カメラ112の位置、そしてそれによってビークル116の位置を見つける。上記方法は、例えばGPS等の外部技術ベースの位置特定システムが利用可能でないときに特に有益である。
記述したように、センサ画像内の2つの地物間の距離が2つの地物間に見られる角度と直接的関係を有するため、画角θはカメラのパラメータから決定される。マッピングされた地物のペアに測定された画角θを割り当てることにより、三次元座標内の可能なカメラの(x、y、z)位置が、図1に示すように、自己交差トーラス、またはスピンドルトーラス100の表面に限定される。地物のペアの画角が複数のマップの地物のペアの各々に割り当てられた場合、カメラの位置は、複数のトーラスの交わる部分に限定され、このプロセスは、図10を参照しながら説明した方法1000に含まれる。
この実施例では、ステップ1014で生成された各ジオアークは、画角の測定と、マップの地物の位置との不確実性のために、非ゼロの表面厚さを有する。特定の画角に基づくトーラスは、厚さを有さない表面である。厚さはしたがって、不確実性レベルに対応する画角の範囲によって定義されうる。厚さを有するジオアークはしたがって、最大又は最高の画角を使用して生成された内側トーラスと、最小又は最低の画角を使用して生成された外側トーラスとの間の空間によって定義されうる。これは、予期される画角値と、予期される画角からの範囲内の点を使用して生成されたジオアークと同等にみなされる。2つのジオアークの交わる部分はしたがって、小さな三次元体積である。全ての角度がマップの地物のペアと正確にマッチすれば、カメラの位置を特定するのに3つの地物から形成された3つの地物のペアで十分である。しかしながら、地物の位置と角度が不確実なときは、より多くの地物のペアを使用して位置特定の精度を改善する。
二次元ジオアークについて上述した方法と同様に図式的に示したが、スピンドルトーラスとして定義される複数のジオアークの三次元の交わる部分を見つけることは、三次元ジオアークを使用し、ピクセルに対してではなく、各ボクセルに対する重複が決定される。しかしながら、可変解像度で三次元マップ空間をボクセルに分割し、個体数関数を使用して三次元ジオアークが重複する三次元空間内の領域の空間分布を表すことによって、計算負荷が削減されうる。
図1のトーラス100の「極」又は軸における地物102、104によって示される、任意の三次元位置にある地物を有する三次元マップにおいては、三次元スピンドルトーラス100は、地物102、104の画角θを有する、カメラ112の(x、y、z)空間内の可能な位置を表す表面122を有する三次元ジオアークを形成する。二次元ジオアークを、図1に示すように三次元スピンドルトーラスに一般化することができる。
図11に、物理的表面構成の少なくとも一部の基準表現内の識別された2つの地物1106、1108に対するジオアーク1104を表す表面1102を有する三次元トーラス1100を示す。トーラス1100は、地物1106、1108の位置間のz´軸の中心に位置する座標原点1110を有する、トーラス中心(x´、y´、z´)座標において定義される。トーラス1100及びジオアーク1104は、カメラの画角θにおける地物1106、1108に対する可能な位置を表す。
説明したように、既定のカメラの位置に対する複数の三次元ジオアークは、三次元グラフィックオブジェクトとして扱われ、ともに加えられうる。位置特定信号Sloc(集計したジオアークのピーク値に位置する)は、
loc=N=m(m−1)/2
の値を有することになり、上記式において、mは、カメラ画像内の有効な検出された地物の数、例えば、三次元マップ内にあり、正確に割り当てられた測定された地物のペアの角度を有する地物のペアの1つである地物の数である。ランダムな位置においてN三次元ジオアークが偶然重複する確率は、三次元ジオアークの体積の分数の積である。
Figure 2018072316
上記式において、LはL×L×L基準マップの体積であり、Vは三次元ジオアークnの体積である。Pは、Nとともに急速に減少し、位置特定信号SlocはNとともに直線的に、また有効な地物の数とともに二次的に増加する。三次元ジオアークシステム及び方法はしたがって、地物の検出、マッチング、及び角度の割り当てにおいて大幅な誤差があるときに、信頼性の高い結果を生む。したがって、ほんのわずかの三次元ジオアークが有効である場合、上記誤差に起因して、位置特定信号Slocがノイズ信号Snoiseを上回るため、許容範囲である。
位置特定信号のピークを見つける1つの方法は、三次元ジオアークの図を図式的に加えた後に、二次元ジオアークの位置特定について上記したように、三次元マップの重複が最も多いところを探すことである。この方法では、三次元空間をボクセルに分割する。次に、三次元ジオアークを加える代わりに、各ボクセルをテストして、図12に示すように、不確実性を表す厚さを有する三次元ジオアーク1200の断面を使用して、中心点が三次元ジオアークの内側にあるか外側にあるかを決定する。
既定の画角θ/地物のペアに対する可能なカメラ位置の体積は、地物1206、1208の測定された画角θの可能な最大値及び最小値によって定義される、2つのスピンドルトーラス1202、1204の体積間の差によって与えられる。可能なカメラの位置は図12の領域に制限され、図12の領域は、外側トーラス1202の内側及び内側トーラス1204の外側の両方である三次元の点からなる。これを本書では「内外試験」と呼ぶ。
外側トーラス1202は、画角θ=θ−△θを表し、断面半径Rを有する。内側トーラス1204は、画角θ=θ+△θを表し、断面半径Rを有し、曲率中心は、地物1206、1208の相対位置を通過するz´軸からの距離rである。画角θは、画角θより小さい。基準マップの地物1206、1208間の距離cと、測定不確実性△θとともに観察された角度θを仮定して、ボクセルが三次元ジオアークによってカバーされているかを決定するために、図12に表される単純な内外試験が実施される。カバーされている場合、ボクセル位置に対する個体数関数の値は1ずつ増加する。
外側トーラス1202の内側にあるべき既定の座標(x´、y´、z´)の内点試験は
Figure 2018072316
であり、内側トーラス1204の外側にあるべき既定の座標の内点試験は
Figure 2018072316
ここで、
Figure 2018072316
及び
Figure 2018072316
が成り立つ。
三次元ジオアークとボクセル全てにわたって繰り返した後に、ボクセルの最大の個体数関数によってカメラの三次元位置が与えられる。
図12の内外試験では、地物を分離する線がz軸と合致し、座標原点の中心にあると仮定する。トーラスに関係がない座標原点によって定義された三次元空間内の任意の位置(x、y、z)における地物を扱うために、図11及び12に示すように内外試験用に、地物の座標に座標変換を適用し、各三次元ジオアークを標準位置及び姿勢に平行移動して配向させる。つまり、遠隔座標原点118に基づく図1のトーラス100の座標(x、y、z)が、座標原点1110に基づくトーラス1100の座標(x´、y´、z)に変換されるということである。
これは、(x、y、z)座標系を最初にT=−[x、y、z]によって平行移動させることによって行うことができ、図1のトーラス100について示すように、(x、y、z)は地物の位置間の線の中心点である。次に、トーラスをz軸周囲でαによって回転させ、またy軸周囲でβによって回転させ、下記式が成り立つ。
Figure 2018072316
回転行列は、以下の通りである。
Figure 2018072316
次に、結果として得られた(x´、y´、z´)座標系の点に適用される内外試験を適用することができる。
幾つかの実施形態では、陥凹形成又は空間的に変動する三次元解像度を使用して、物理的表面構成を含有するシーンに適合された空間的ボクセルサンプリングを使用して、個体数関数の計算が削減される。例えば、最初は大きい角度不確実性、及び粗いサンプル間隔を適用することができる。これは、例えば大きいボクセルサイズを使用することによって達成可能である。角度不確実性及びサンプル間隔を2回目の繰り返しにおいて縮小させ、最初の計算の微調整をすることができる。この繰り返しを、高い個体数関数値を有する対象の領域又は他の部分に限定することができる。したがって、ボクセルサイズは少なくとも一部において、各ボクセルに対し、ボクセルが含まれるジオアークが生成された数の合計に基づくものであってよい。
加えて、同時に異なる領域を計算するために、処理を分割して、複数の並列プロセッサにわたって空間的に及び効率的に配分することができる。例えば、三次元基準マップを三次元区分に分割することができる。したがって、タイルは、図8に示す二次元基準マップ802について説明した二次元(x、y)タイル804の代わりに、z方向に非ゼロの次元も有する空間の三次元(x、y、z)領域に拡大される。次に、複数の個別部分の複数の各々に対し、各々の個別部分それぞれのボクセルが、生成されたジオアーク内に含まれるかを識別することによって、プロセスが同時に繰り返される。
実施例7:
この実施例は、物理的表面構成の基準表現の一例である地物基準マップを生成する工程の一例である(図13参照)。図13は、例示的な方法の空間的位置特定システムの一実施形態で実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1300の様々なステップが後述され、図13に示されているが、ステップは必ずしもすべて実行される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実施されることもある。
この実施例では、基準表現を生成する方法1300は、物理的表面構成を含むシーンの三次元モデルを取得するステップ1302を含む。ステップ1304において、モデルから離隔した位置からの複数のモデルの視点の各視点に対し、最初の又は次のモデルの視点が選択される。ステップ1306において三次元モデルの画像が記録され、ステップ1308において二次元画像の地物が検出される。ステップ1310において、二次元画像内の検出された地物がシーンの三次元モデル内の地物とマッチされ、次に三次元モデル内のマッチした地物に再度投影されて、マッチした地物の三次元位置が決定される。ステップ1312において、追加の選択された視点が存在するかが決定される。存在する場合、処理はステップ1304に戻る。そうでなければ、ステップ1314において、物理的表面構成に対してビークルの空間的な位置特定を行うのに使用するために、三次元モデル、地物、及び位置が記憶される。
実施例8:
この実施例は、三次元座標空間に位置する物理的表面構成に対して、ビークルの空間的な位置特定を行うための例示の方法である(図14参照)。図14は、例示的な方法の空間的位置特定システムの一実施形態で実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1400の様々なステップが後述され、図14に示されているが、ステップは必ずしも全て実行する必要がある訳ではなく、場合によっては、図示された順序とは異なる順序で実施することもある。
この実施例では、空間的な位置特定を行う方法1400は、方法1300において生成された三次元モデルの三次元マップ空間を、任意選択的な陥凹形成及び/又はサブサンプリングでゼロの値のボクセルに分割するステップ1402を含む。サブサンプリングの例には、同時に平行して処理するために三次元マップ空間を区分又は領域に分割すること、及び/又はボクセル位置におけるジオアークの重複に基づくボクセルサイズの増分修正が含まれうる。ステップ1404において、例えばカメラ等のセンサによる画像が記録される、あるいは他の方法で取得される。ステップ1406において、取得された画像内の地物が識別され、ステップ1408において、取得された画像内の識別された地物が、方法1300において取得された三次元基準マップの地物の二次元画像とマッチされる。地物は、例えばSIFT又はSURF地物等の回転及びスケール不変の地物であることが好ましく、ステップ1410において、マッチした地物のペアのペア角度分離(画角θ)が測定される。
各三次元マップの地物のペア、関連の測定された画角θ、及び関連の角度測定の不確実性に対し、及び既定のボクセルサイズに対し、下記のステップが実施される。ステップ1412において、最初の又は次の地物のペアが選択される。ステップ1414において、選択された地物のペア、及び関連の画角に基づいて、ジオアーク100が生成される。カメラ位置の不確実性は、三次元ジオアークの非ゼロの厚さとして表されうる。ステップ1416において、選択されたボクセルの座標は、ジオアーク1100、1200等について説明したように、地物のペア及び測定された画角θに対する三次元ジオアークと整合する座標系に変換される。
ジオアーク1200について説明したように、ステップ1418において、全ての選択されたボクセルに対して内外試験が実施され、各ボクセルの中心点が例えば外側トーラス1204等の最小角度のトーラスの中にあり、例えば内側トーラス1202等の最大角度のトーラスの外にあるかが決定される。そうである場合、ボクセル値は1ずつ増加する。
ステップ1420において、処理すべき別の地物のペアが存在するかが決定される。存在する場合、処理はステップ1412に戻る。存在しない場合、ステップ1422において、選択されたボクセルに対して変更されたボクセルサイズを使用して処理を繰り返すべきかが決定される。例えば、ボクセルの個体数関数により、多数のジオアークを有するボクセルが識別されると、ボクセルサイズが限定された三次元空間に縮小され、大きいボクセルが占める空間に対して小さいボクセル面積を使用して再決定がなされうる。画角の不確実性レベルに対し、同様のプロセスが実施されうる。より詳細のプロセスが選択された場合、次にステップ1424において例えば小さいボクセルサイズ等の異なるボクセルサイズが選択され、最初の地物のペアを選択するために処理はステップ1412に戻る。
ステップ1422において、ボクセルサイズを変更しないことが決定された場合、次にステップ1426において、三次元基準マップ内の最大のボクセル値を見つけることによってカメラの位置が決定される。オプションとして、ステップ1428において、最大のカメラ位置信号に寄与する地物のペアに属する地物のカメラ画像内の位置から、カメラの姿勢も決定されうる。したがって、GPSの場合と同様に、外部技術に頼らずに、カメラと、カメラを支持するビークルの位置特定情報が決定される。
実施例9:
図15に示すように、この実施例は、本開示の態様に係るデータ処理システム1500である。この実施例では、データ処理システム1500は、空間的位置特定システム1501及び関連方法の態様を実装するのに適切な例示的なデータ処理システムである。より具体的には、幾つかの実施例では、データ処理システム(例えば、スマートフォン、タブレット、パーソナルコンピュータ)の実施形態であるデバイスは、上述の方法の幾つか、あるいは全てを実施しうる。例えば、ビークルは、常駐カメラ112によって取得された画像を使用して、ビークルの位置を決定するための常駐データ処理システムを有しうる。
この実施例では、データ処理システム1500は通信フレームワーク1502を含む。通信フレームワーク1502は、プロセッサユニット1504、メモリ1506、固定記憶装置1508、通信ユニット1510、入出力(I/O)ユニット1512、及びディスプレイ1514の間の通信を提供する。メモリ1506、固定記憶装置1508、通信ユニット1510、入出力(I/O)ユニット1512、及び例えばカメラ112等のセンサ1514は、通信フレームワーク1502を介してプロセッサユニット1504がアクセス可能なリソースの実施例である。空間的位置特定システム1501は、センサ1514を含みうる。
プロセッサユニット1504は、メモリ1506に読み込まれうる命令を実行する役割を果たす。プロセッサユニット1504は、特定の実装に応じて、幾つかのプロセッサ、マルチプロセッサコア、又は他の何らかのタイプのプロセッサであってよい。更に、プロセッサユニット1504は、単一チップ上でメインプロセッサが二次プロセッサと共存する幾つかの異種プロセッサシステムを使用して実装されうる。別の実施例として、プロセッサユニット1504は、同じタイプのプロセッサを複数個含む対称型マルチプロセッサシステムであってもよい。
メモリ1506及び固定記憶装置1508は、記憶デバイス1516の一例である。記憶デバイスは、一時的にもしくは恒久的に情報を記憶することが可能な任意のハードウェアであり、この情報は、例えば 非限定的な例として、データ、機能的形態のプログラムコード、及び、他の好適な情報などである。
記憶デバイス1516は、これらの実施例では、コンピュータ可読記憶デバイスとも称される。これらの実施例では、メモリ1506は、例えば、ランダムアクセスメモリ、或いは、任意の他の適切な揮発性又は不揮発性の記憶デバイスであってもよい。固定記憶装置1508は、特定の実行態様に応じて様々な形態をとってもよい。
例えば、固定記憶装置1508は、一又は複数の構成要素又はデバイスを含んでもよい。例えば、固定記憶装置1508は、ハードドライブ、フラッシュメモリ、書換え型光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであってもよい。固定記憶装置1508によって使用される媒体はまた、着脱可能なものであってもよい。例えば、着脱可能なハードドライブが、固定記憶装置1508に使用され得る。
通信ユニット1510は、これらの実施例では、他のデータ処理システム又はデバイスとの通信を提供する。これらの例では、通信ユニット1510は、ネットワークインターフェースカードである。通信ユニット1510は、物理的通信リンク及び無線通信リンクのいずれか又はそれら両方を使用することによって、通信を提供しうる。
入出力(I/O)ユニット1512により、データ処理システム1500に接続されうる他のデバイスとのデータの入出力が可能になる。例えば、入出力(I/O)ユニット1512は、キーボード、マウス、及び/又は他の何らかの好適な入力デバイスを通じて、ユーザ入力のための接続を提供しうる。更に、入出力(I/O)ユニット1512は、プリンタに出力を送信しうる。ディスプレイは、ユーザに情報を表示する機構を提供し、タッチスクリーンである場合は入力デバイスとして機能する。
例えば基準マップ402等の基準表現400、及び関連の地物、位置及び関連データは、固定記憶装置1508の一部として基準データベースに記憶されうる。あるいは、基準データベースは、プログラムコード1518を実行しうるデータプロセッサに対して離れて位置する記憶デバイスに記憶されうる。プロセッサユニット1504はまた、カメラ又はセンサ1514とも通信することができ、センサは一または複数の目的画像(例えば本書で説明した一または複数の方法によって使用されるべきセンサの視野内のシーン)をキャプチャすることが可能でありうる。センサ1514は、データ処理システム1500内の通信フレームワーク1502に直接連結されうる、あるいは、点線で示すように、通信ユニット1510を介して間接的に接続されうる。センサ1514は、例えばビークルに常駐していてよく、データ処理システム1500は、地上設置の、遠隔の、又は他のステーションに常駐し、この場合センサ画像は遠隔データ処理システムに伝送される。
オペレーティングシステム、アプリケーション、及び/又はプログラムに対する命令は、通信フレームワーク1502を介してプロセッサユニット1504と通信する記憶デバイス1516内に配置されうる。これらの実施例では、命令は、固定記憶装置1508上で機能的形態をとる。これらの命令は、プロセッサユニット1504による実行のためにメモリ1506に読み込まれてもよい。種々の実施形態のプロセスは、メモリ1506などのメモリに配置されうる命令を実装したコンピュータを使用して、プロセッサユニット1504によって実施することができる。
これらの命令は、プログラム命令、プログラムコード、コンピュータ可用プログラムコード、又はコンピュータ可読プログラムコードと呼ばれ、プロセッサユニット1504内のプロセッサによって読み込まれて実行される。種々の実施形態のプログラムコードは、メモリ1506又は固定記憶装置1508などの種々の物理的な又はコンピュータ可読の記憶媒体上に具現化されうる。
プログラムコード1518は、選択的に着脱可能であるコンピュータ可読媒体1520に機能的形態で置かれ、プロセッサユニット1504によって実行するためにデータ処理システム1500に読み込ませたり、転送したりしてもよい。これらの実施例では、プログラムコード1518及びコンピュータ可読媒体1520は、コンピュータプログラム製品1522を形成する。一実施例では、コンピュータ可読媒体1520は、コンピュータ可読記憶媒体1524又はコンピュータ可読信号媒体1526になりうる。
コンピュータ可読記憶媒体1524は、例えば、固定記憶装置1508のパーツであるハードドライブなどのように、記憶デバイス上に転送するための固定記憶装置1508のパーツであるドライブ又は他のデバイスに挿入又は配置される光ディスク又は磁気ディスクなどを含みうる。コンピュータ可読記憶媒体1524はまた、データ処理システム1500に接続された固定記憶装置(例えば、ハードドライブ、サムドライブ、又はフラッシュメモリ)の形態をとりうる。ある場合には、コンピュータ可読記憶媒体1524は、データ処理システム1500から着脱可能でなくてもよい。
これらの実施例では、コンピュータ可読記憶媒体1524は、プログラムコード1518を伝搬又は転送する媒体ではなく、プログラムコード1518を記憶するために使用される物理的な又は有形の記憶デバイスである。コンピュータ可読記憶媒体1524は、コンピュータ可読有形記憶デバイス又はコンピュータ可読物理記憶デバイスと呼ばれることもある。つまり、コンピュータ可読記憶媒体1524は非一過性である。
あるいは、プログラムコード1518は、コンピュータ可読信号媒体1526を使用して、データ処理システム1500に転送されうる。コンピュータ可読信号媒体1526は、例えば、プログラムコード1518を包含する伝播されたデータ信号であってもよい。例えば、コンピュータ可読信号媒体1526は、電磁信号、光信号、及び/又は他の任意の適切な種類の信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線などの通信リンク、及び/又は他の任意の適切な種類の通信リンクによって伝送されうる。すなわち、実施例では、通信リンク及び/又は接続は、物理的なもの又は無線によるものになりうる。
幾つかの例示的な実施形態では、プログラムコード1518は、データ処理システム1500内で使用するため、コンピュータ可読信号媒体1526を通して、別のデバイス又はデータ処理システムからネットワークを介して固定記憶装置1508へダウンロードされうる。例えば、サーバデータ処理システム内のコンピュータ可読記憶媒体に記憶されているプログラムコードは、ネットワークを介してサーバからデータ処理システム1500にダウンロードされうる。プログラムコード1518を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコード1518を記憶及び伝送できるその他なんらかのデバイスとすることができる。
データ処理システム1500に関して図示した種々の構成要素は、種々の実施形態が実行され得る態様に対して構造的制限を設けることを意図していない。種々の例示的な実施形態は、データ処理システム1500に関して例示されている構成要素の、追加的な、及び/又は代替的な構成要素を含むデータ処理システム内に実装されうる。図15に示した他の構成要素は、図示した実施例とは異なる可能性がある。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを用いて実行されうる。一実施例として、データ処理システム1500は、無機構成要素と統合された有機構成要素を含むことができる、及び/又は人間を除く有機構成要素全体からなるとしてもよい。例えば、記憶デバイスは有機半導体で構成されうる。
別の実施例では、プロセッサユニット1504は、特定用途のために製造又は構成された回路を有するハードウェア装置の形態をとってもよい。この種のハードウェアは、プログラムコードを記憶デバイスからメモリに読み込んで工程を実行するように構成する必要なく、工程を実行しうる。
例えば、プロセッサユニット1504がハードウェアユニットの形態をとる場合、プロセッサユニット1504は、回路システム、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス、又は幾つかの工程を実行するように構成された他の何らかの適切な種類のハードウェアであり得る。プログラマブル論理デバイスにより、デバイスは任意の数の工程を実行するように構成されている。デバイスは後で再構成することができるか、又は幾つかの工程を実施するように恒久的に構成することができる。プログラマブル論理デバイスの例には、例えば、プログラマブル論理アレイ、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスが含まれる。この種の実装態様の場合、種々の実施形態のためのプロセスがハードウェアユニット内で実行されることから、プログラムコード1518は省略されうる。
更に別の実施例では、プロセッサユニット1504は、コンピュータ及びハードウェアユニットに含まれるプロセッサの組み合わせを使用して実行されうる。プロセッサユニット1504は、プログラムコード1518を実行するように構成された幾つかのハードウェアユニット及び幾つかのプロセッサを有していてもよい。図示した実施例の場合、幾つかのハードウェアユニットにおいて幾つかのプロセスを実行することができ、幾つかのプロセッサにおいてその他のプロセスを実行することができる。
別の実施例では、バスシステムは、通信フレームワーク1502を実装するために使用されてもよく、システムバス又は入出力バスといった一又は複数のバスから成りうる。当然ながら、バスシステムは、バスシステムに取り付けられた種々の構成要素又はデバイスの間でのデータ転送を行う任意の適切なタイプのアーキテクチャを使用して実装されることがある。
加えて、通信ユニット1510は、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含みうる。通信ユニット1510は、例えば、モデム又はネットワークアダプタ、2個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。更に、メモリは、例えば、メモリ1506、又は、通信フレームワーク1502の中に存在しうるインターフェース及びメモリコントローラハブ内に見出されるようなキャッシュでありうる。
本書で説明するフロー図及びブロック図は、様々な例示的実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実行態様のアーキテクチャ、機能性、及び工程を示す。これに関して、フロー図又はブロック図の各ブロックは、一又は複数の特定の論理的機能を実行するための一又は複数の実行可能な命令を含む、コードのモジュール、セグメント、又は部分を表わしうる。いくつかの代替的な実行態様では、ブロック内に記載された機能を、図面に記載された順序を逸脱して行うことができることに、留意すべきである。例えば、関連する機能性に応じて、連続して示す2つのブロックの機能が実質的に同時に実行されうるか、又は、それらのブロックの機能は、時に逆の順序で実行されうる。
実施例10:
図16に示したように、この実施例はネットワーク、コンピュータネットワーク、ネットワークシステム、分散ネットワークとも称される、一般的なネットワークデータ処理システム1600であり、この実施例の態様は、空間的位置特定システムの一または複数の例示的な実施形態に含まれうる。例えば、上述したように、サーバデータ処理システム内のコンピュータ可読記憶媒体に記憶されているプログラムコードは、ネットワークを介してサーバからデータ処理システム1600にダウンロードされうる。あるいは、データ処理システム1600´は、画像センサを有するビークルに常駐しうる。図16は1つの実行態様の例示として提供されるものであり、異なる実施形態が実行される環境について、いかなる限定をも示唆することを意図していないことを理解されたい。図示されている環境に多数の修正を行うことが可能である。
ネットワークデータ処理システム1600はコンピュータのネットワークであり、その各々はデータ処理システム1500、及び他の構成要素の実施例である。ネットワークデータ処理システム1600は、サーバ1602、クライアントデバイス1604、記憶デバイス1606、例えばUAV又は他の種類の航空機、又は陸上ビークル、水上ビークル、又は宇宙ビークル等のビークル1608、及びネットワーク1610を含みうる。ビークル1608は、クライアントデバイス1606の一例であってよく、又は常駐データ処理システム1600´を有する独立型システムであってよい。ビークル1608はまた、図15を参照しながら説明したように、ネットワーク1610又は常駐データ処理システム1600´に接続されうるカメラ1614又は他の撮像デバイスも含む。ネットワーク1610は、ネットワークデータ処理システム1600内で互いに接続された様々なデバイスとコンピュータとの間に通信リンクを提供するように構成された媒体である。ネットワーク1610は、有線通信リンク、又はネットワーク1610とビークル1608との間の無線リンク1612等の無線通信リンク、光ファイバケーブル、及び/又は、ネットワークデバイス間でデータ送信及び/又はデータ通信に適した他のいずれかの媒体、或いはこれらの任意の組み合わせなどの接続を含みうる。
示される実施例では、電子記憶デバイス1606と同様に、サーバ1602、クライアント1604、及びビークル1608は、ネットワーク1610に接続されている。ネットワークデバイス1602、1604及び1608は各々、上述のように、データ処理システム1500の例である。例示した実施例では、デバイス1602はサーバコンピュータとして示されている。しかしながら、ネットワークデバイスは、限定するものではないが、一又は複数のパーソナルコンピュータ、パーソナルデジタルアシスタント(PDA)、タブレット及びスマートフォンなどのモバイルコンピューティングデバイス、ハンドヘルドゲーム機、ウェアラブルデバイス、タブレットコンピュータ、ルータ、スイッチ、ヴォイスゲート、サーバ、電子記憶デバイス、撮像デバイス、及び/又は機械的な機能や他の機能を実施しうる他のネットワーク対応ツールなどを含みうる。これらのネットワークデバイスは、有線、無線、光、及び他の適切な通信リンクを介して相互接続されうる。
加えて、クライアントコンピュータ1604などのクライアント電子デバイス、及びビークル1608は、ネットワーク1610に接続されうる。これらのデバイスの各々は、図15に関して上述されたデータ処理システム1500の実施例である。幾つかの実施例では、一又は複数のビークル1608の通信可能なデータ処理システムは、ネットワーク1610に接続されうる。クライアント電子デバイス1604は、例えば、一又は複数のパーソナルコンピュータ、ネットワークコンピュータ、及び/又はパーソナルデジタルアシスタント(PDA)などのモバイルコンピューティングデバイス、スマートフォン、ハンドヘルドゲーム機、ウェアラブルデバイス、及び/又はタブレットコンピュータなどを含みうる。図示した実施例では、サーバ1602は、ブートファイル、オペレーティングシステム画像、及びアプリケーション等の情報を、一又は複数のクライアント電子デバイス1604及び1608に提供する。クライアント電子デバイス1604、1608は、サーバコンピュータ1602などのサーバに対して、「クライアント」と称されることがある。ネットワークデータ処理システム1600は、ここに示していない他のデバイスと同様に、より多くの又はより少ないサーバとクライアントを含むこと、或いはサーバとクライアントをまったく含まないこともありうる。
システム1600に配置されるプログラムコードは、図8の固定記憶装置1508などのコンピュータで記録可能な記憶媒体に記憶され得、使用時にデータ処理システム又は他のデバイスにダウンロードされうる。例えば、プログラムコードは、サーバコンピュータ1602のコンピュータで記録可能な記憶媒体上に記憶され、使用時にネットワーク1610を介してクライアント1604、1608にダウンロードされうる。
ネットワークデータ処理システム1600は、一又は複数の異なるタイプのネットワークとして実装されうる。例えば、システム1600は、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、又はパーソナルエリアネットワーク(PAN)を含みうる。幾つかの実施例では、ネットワークデータ処理システム1600は、インターネットを含み、ネットワーク1610は相互通信のための一式のプロトコルであるTCP/IP(transmission control protocol/Internet protocol)を使用するネットワーク及びゲートウェイの世界的な集合体を表わしている。インターネットの心臓部には、主要なノード又はホストコンピュータ間の高速データ通信ラインのバックボーンがある。データとメッセージをルーティングするため、数千もの商用、政府機関、教育機関、及びその他のコンピュータシステムが利用可能である。図16は実施例として意図されたもので、いかなる例示的な実施形態の構造的な限界をも意図しているわけではない。
実施例11:
図17は、位置を取得しているビークル1704に対する、一又は複数の位置を探しているビークル1702の位置を特定するためのビークル群位置特定システム1700の一実施形態を示すブロック図である。位置を取得しているビークル1704は、空間的位置特定システム1706を含む。空間的位置特定システム1706は、上述した方法論を使用する空間的位置特定システム1501、1601の一例であってよく、この場合、空間的位置特定システム1706は、画像センサ1710から物理的表面構成1708の画像を受信するように構成されている。物理的表面構成は例えば、これも上述した物理的表面1712であってよい。任意選択的に、ビークル1704の位置を特定する他の技術、例えばGPSを使用することも可能である。
図17に、ビークル1704によって取得された位置情報が一または複数の位置を探しているビークル1702と共有されうる様々な状況を示す。位置を探しているビークル1702は各々、位置を取得しているビークル1704と既知と推定される又は知り得る、例えば定義された相対構成の一部である、ビークルの人間の乗員によって、又は例えばレーダーあるいはライダー等の技術的手段によって視覚的に判定される等の相対的空間関係を有する。また、それぞれのビークルは、位置を取得しているビークル1704と直接通信する、又は別の位置を探しているビークル1702を含む、あるいは一または複数の通信中継1714の任意の組み合わせを含む通信経路を通して間接的に通信する能力を有すると推定される。
例えば、ビークル1718、1720、1722等の位置を探しているビークル1702の群1716は、位置を取得しているビークル1704によって取得された位置に基づいてそれ自体の位置を決定しうる。上記群1716は、例えば構成を維持しながら移動する、又は群1716内の位置を探しているビークル1702の位置が位置を取得しているビークル1704の位置と実際上同じと考えられるほど十分に、位置を取得しているビークル1704に近接近して移動するようなつながりを有しうる。位置を取得しているビークル1704から位置を探しているビークル1718、1720、1722への通信は、直接放送によるものでありうる、又はそうでなければ、一般信号1724によって表されるように、2以上の位置を探しているビークル1702に同時に送信されうる、あるいは、個々のビークルに対して単一信号1726によって表されるような直接送信でありうる。
位置を取得しているビークル1704は、単一の直接送信信号1726を使用して、単一の位置を探しているビークル1728と直接通信しうる。位置を探しているビークル1728は、他のいかなるビークルにも位置を中継しない場合がある、あるいは、直接に、又は通信中継1714等の中間設備を介して、別の位置を探しているビークル1730に位置情報を伝送しうる。
位置を取得しているビークル1704はまた、最初は通信中継1714と通信することができ、そして次に通信中継1714は別の通信中継1714と、あるいは例えば位置を探しているビークル1730及び1732等の一または複数の位置を探しているビークル1702と通信することができる。位置を探しているビークル1702は、受信した位置情報を使用することができ、位置情報を例えば位置を探しているビークル1734等の別の位置を探しているビークルに伝送しうる、又はしない場合もある。
当然ながら、図17に示す例は、位置を取得しているビークル1704から一または複数の位置を探しているビークル1702に位置情報を伝送することが可能でありうる多数の異なる通信経路のほんの一部である。位置を探しているビークル1702はこれにより、位置を取得しているビークル1704の空間的位置特定システム1706の工程を通して、位置を取得しているビークル1704によって取得された位置特定情報を間接的に受信する。
実施例12:
この実施例は、物理的表面構成に対するビークルの空間的位置を特定する例示的な方法である(図18参照)。図18は、例示的な方法の空間的位置特定システムの一実施形態で実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1800の様々なステップが後述され、図18に示されているが、ステップは必ずしもすべて実施される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実施されることもある。
この実施例では、空間的位置を特定する方法1800は、位置を特定する工程を初期化するステップ1802を含む。ステップ1804において、例えば位置を取得しているビークル1704等のビークル及び支持された画像センサ1710の、物理的表面構成1708からの高度、又はより一般的には距離が既知であるかが決定される。それが既知である場合、ステップ1806においてセンサ/ビークルの高度が取得される。次にステップ1808において、二次元の空間的位置を特定する工程が実施される。上記空間的位置を特定する工程の例には、上述した方法600及び700が含まれる。高度が既知ではない、又は利用可能でない場合、次に三次元の空間的位置を特定する工程がステップ1810において実施される。上記空間的位置を特定する工程の例は、上述した方法1000及び1400が含まれる。
ステップ1808又は1810においてセンサ及び関連のビークルの空間的位置が決定された後に、ステップ1812において位置情報が記憶される。次にステップ1814において、位置情報が送信されるべき他のビークルがあるかが決定される。他のビークルがある場合、次にステップ1816において、図17を参照しながらビークル群位置特定システム1700に関して説明したように、必要に応じて位置情報がそれらのビークルに伝送される。プロセスは次にステップ1814に戻り、位置情報を送信すべきビークルがなくなるまで情報が再度伝送される。次に処理は必要に応じて、関連の位置を取得しているビークルが物理的表面構造に対して移動した場合に新たな位置特定情報を決定するためにステップ1802に戻る。方法1800及びビークル群位置特定システム1700はしたがって、位置特定情報を複数のビークルに提供し、方法1800又は方法1800に関連する方法のうちの1つを実施すること等によって、少なくとも1つのビークルがそれ自体の位置を決定することができる限り利用可能である。
実施例13:
この節では、方法、システム、及び装置のさらなる態様及び特徴を説明するが、これらは、限定されずに一連の段落として提示され、一連の段落の一部または全部は、明確性及び効率性のために英数字で指定され得る。これらの段落の各々は、一又は複数の他の段落と、及び/又は任意の適した方法における、関連出願参照により組み込まれる資料を含む本出願の他の部分からの開示と、組み合わせることができる。以下の段落の幾つかは、明確に他の段落に言及し、更に他の段落を限定することにより、非限定的に、好適な組み合わせの幾つかの例を提供するものである。
A1.空間的位置を特定する方法であって、
物理的表面構成から既知の距離だけ離隔した位置からの前記物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
前記取得された画像内の地物を識別することと、
前記取得された画像内の識別された地物を、前記物理的表面構成の一部の基準表現内の識別された地物と関連づけすることと、
前記基準表現内の対応する識別された地物のペアを有する前記取得された画像内の複数の地物のペアを選択することと、
前記取得された画像内の各選択された地物のペアに対して、
前記センサからの前記地物のペア間の画角を決定することと、
前記決定された画角と、前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
前記物理的表面構成の一部から前記既知の距離だけ離間して配置された前記ジオアークの選択部分を決定することと、
前記選択された地物のペアに対する前記ジオアークの選択部分が重複する位置を識別することとを含む方法。
A2.基準表現は基面に沿って広がる二次元表現であり、ジオアークの選択部分を決定することは、基面から既知の距離だけ上のセンサ平面を決定することと、センサ平面とジオアークとの交わる部分を識別することとを含む、段落A1に記載の方法。
A3.各選択された地物のペアに対して、センサ平面とジオアークとの交わる部分を基面上に平行移動させることと、ジオアークの選択部分が重複する識別された位置を基準表現における対応する位置に関連付けすることをさらに含む、段落A2に記載の方法。
A4.ジオアークの選択部分が最も重複するところに対応する基準表現における位置を、センサ平面におけるジオアーク内のビークルの位置に対応する基準表現における位置として選択することをさらに含む、段落A3に記載の方法。
A5.選択された地物のペアに対して、ジオアークの選択部分を基準表現上に平行移動させることと、ジオアークの選択部分が重複する識別された位置を、基準表現における対応する位置に関連付けすることとを更に含む、段落A1〜A4のいずれかに記載の方法。
A6.選択された地物のペアに対するジオアークの選択部分が重複する位置を識別することは、物理的表面構成の一部の基準表現の面積を複数の区分に分割することと、選択された地物のペアに対するジオアークの選択部分が重複するところを、それぞれの区分内の各区分位置に対して個別に識別することとを含む、段落A1〜A5のいずれかに記載の方法。
A7.選択された地物のペアに対するジオアークの選択部分が重複するところを、それぞれの区分内の各区分位置に対して個別に識別することは、選択された地物のペアに対するジオアークの選択部分が重複するそれぞれの区分内の位置を、複数の区分の複数に対して同時に識別することを含む、段落A6に記載の方法。
A8.センサは既知の視野を有し、物理的表面構成の一部の基準表現の面積を複数の区分に分割することは、物理的表面構成の一部の基準表現の面積を、各々が既知の視野よりも小さい面積を有する複数の区分に分割することを含む、段落A7に記載の方法。
A9.基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することは、区分を含む、取得された画像の既知の視野内の複数の地物のペアを、各区分に対して選択することを含む、段落A8に記載の方法。
B10.ビークルであって、
物理的表面構成から既知の距離だけ離隔した位置から、物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムとを備え、データ処理システムは、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物を記憶し、
取得された画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択し、
取得された画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成されている、ビークル。
B11.基準表現は、基面に沿って広がる二次元表現であり、データ処理システムは更に、基面から既知の距離だけ上のセンサ表面を決定し、センサ平面とジオアークとの交わる部分を識別するように構成されている、段落B10に記載のビークル。
B12.データ処理システムは更に、各選択された地物のペアに対して、センサ平面の交わる部分を基面上に平行移動させ、ジオアークの選択部分が重複する識別された位置を基準表現における対応する位置に関連付けするように構成されている、段落B11に記載のビークル。
B13.データ処理システムは更に、ジオアークの選択部分が最も重複するところに対応する基準表現における位置を、センサ平面におけるジオアーク内のビークルの位置に対応する基準表現における位置として選択するように構成されている、段落B12に記載のビークル。
B14.データ処理システムは更に、各選択された地物のペアに対して、ジオアークの選択された部分を基面上に平行移動させ、ジオアークの選択部分が重複する識別された位置を、基準表現における対応する位置に関連付けするように構成されている、段落B10〜B13のいずれかに記載のビークル。
B15.データ処理システムは更に、物理的表面構成の一部の基準表現の面積を複数の区分に分割し、選択された地物のペアに対するジオアークの選択部分が重複するところを、それぞれの区分内の各区分位置に対して個別に識別するように構成されている、段落B10〜B14のいずれかに記載のビークル。
B16.データ処理システムは更に、選択された地物のペアに対するジオアークの選択部分が重複するそれぞれの区画内の位置を、複数の区画の複数に対して同時に識別するように構成されている、段落B15に記載のビークル。
B17.センサは既知の視野を有し、データ処理システムは更に、物理的表面構成の一部の基準表現の面積を、各々が既知の視野よりも小さい面積を有する複数の区分に分割するように構成されている、段落B16に記載のビークル。
B18.データ処理システムがさらに、区分を含む、取得された画像の既知の視野内の複数の地物のペアを、各区分に対して選択するように構成されている、段落B17に記載のビークル。
C19.コンピュータプログラム製品であって、
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物とを記憶し、
物理的表面構成から既知の距離だけ離隔した位置から、ビークルによって支持されたセンサによって生成された、物理的表面構成の一部の画像を受信して記憶し、
受信した画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物に関連付けし、
基準表現内の対応する識別された地物のペアを有する受信した画像内の複数の地物のペアを選択し、
受信した画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成する、コンピュータプログラム製品。
C20.基準表現は、基面に沿って広がる二次元表現であり、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、基面から既知の距離だけ上のセンサ表面を決定し、センサ平面とジオアークとの交わる部分を識別するように更に構成する、段落C19に記載のコンピュータプログラム製品。
C21.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、各選択された地物のペアに対して、センサ平面の交わる部分を基面上に平行移動させ、ジオアークの選択部分が重複する識別された位置を基準表現における対応する位置に関連付けするように更に構成する、段落C20に記載のコンピュータプログラム製品。
C22.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、ジオアークの選択部分が最も重複するところに対応する基準表現における位置を、センサ平面におけるジオアーク内のビークルの位置に対応する基準表現における位置として選択するように更に構成する、段落C21に記載のコンピュータプログラム製品。
C23.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、各選択された地物のペアに対して、ジオアークの選択部分を基準表現上に平行移動させ、ジオアークの選択部分が重複する識別された位置を、基準表現における対応する位置に関連付けするように更に構成する、段落C19〜C22のいずれかに記載のコンピュータプログラム製品。
C24.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、物理的表面構成の一部の基準表現の面積を複数の区分に分割し、選択された地物のペアに対するジオアークの選択部分が重複するところを、それぞれの区分内の各区分位置に対して個別に識別するように更に構成する、段落C19〜C23のいずれかに記載のコンピュータプログラム製品。
C25.センサは既知の画角を有し、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、選択された地物のペアに対するジオアークの選択部分が重複するそれぞれの区画内の位置を、複数の区画の複数に対して同時に識別するように更に構成する、段落C24に記載のコンピュータプログラム製品。
C26.センサは既知の視野を有し、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、物理的表面構成の一部の基準表現の面積を、各々が既知の視野よりも小さい面積を有する複数の区画に分割するように更に構成する、段落C25に記載のコンピュータプログラム製品。
C27.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、区分を含む、受信された画像の既知の視野内の複数の地物のペアを、各区分に対して選択するように更に構成する、段落C26に記載のコンピュータプログラム製品。
D1.空間的位置を特定する方法であって、
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
取得された画像内の地物を識別することと、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけることと、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することと、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定することと、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
生成されたジオアークに含まれるボクセルを識別することと、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計することと、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定することとを含む方法。
D2.センサからの地物のペア間の画角を決定することは、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定することを含み、三次元ジオアークを生成することは、高画角に基づいて内側ジオアーク表面を生成することと、低画角に基づいて外側ジオアーク表面を生成することとを含む、段落D1に記載の方法。
D3.生成されたジオアークに含まれるボクセルを識別することは、外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にどのボクセルがあるかを決定することを含む、段落D2に記載の方法。
D4.外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積にどのボクセルがあるかを決定することは、考察中のボクセル内の代表点が外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを、各考察中のボクセルに対して決定することを含む、段落D3に記載の方法。
D5.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することは、第1の座標系に三次元ジオアークを生成することを含み、生成されたジオアークに含まれるボクセルを識別することは、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換することとを含む、段落D1〜D4のいずれかに記載の方法。
D6.ジオアークの座標をそれぞれの座標系に変換することは、関連の識別された地物のペア間の中間点の座標値だけ、ジオアークの座標を平行移動させることと、それぞれの座標系の軸が第1の座標軸と整合するようにジオアークを回転させることとを含む、段落D5に記載の方法。
D7.生成されたジオアークに含まれるボクセルを識別することは、各変換されたボクセルが、変換された内側ジオアーク表面の半径と変換された外側ジオアーク表面の半径との間にあるそれぞれの座標原点からある距離に配置されているかを決定することを含む、段落D6に記載の方法。
D8.生成されたジオアークに含まれるボクセルを識別することは、三次元空間の一部を選択することと、ボクセルが生成されたジオアーク内に含まれるかを、三次元空間の選択部分内の各ボクセルに対して決定することとを含む、段落D1〜D7のいずれかに記載の方法。
D9.三次元空間の一部を選択することは、各地物のペアに対してボクセルが含まれる生成されたジオアークの数を、各ボクセルに対して集計することと、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、三次元空間の選択部分のサイズを修正することとを含む、段落D8に記載の方法。
D10.生成されたジオアークにボクセルが含まれるかを各ボクセルに対して決定することは、三次元空間のボクセルに対してボクセルサイズを選択することと、ボクセルが生成されたジオアークに含まれるかを、選択されたボクセルサイズの各ボクセルに対して決定することとを含む、段落D1〜D9のいずれかに記載の方法。
D11.三次元空間の一部を選択することは、各地物のペアに対してボクセルが含まれる生成されたジオアークの数を、各ボクセルに対して集計することと、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、ボクセルサイズを修正することとを含む、段落D10に記載の方法。
D12.生成されたジオアークにボクセルが含まれるかを各ボクセルに対して決定することは、三次元空間を複数の個別部分に分割することと、それぞれの個別部分のボクセルが生成されたジオアークに含まれるかを、複数の個別部分の複数の各々に対して同時に識別することとを含む、段落D1〜D11のいずれかに記載の方法。
E1.ビークルであって、
物理的表面構成から離隔した位置から物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムと
を備え、前記データ処理システムは、
既知の距離だけ物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得し、
取得した画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間内に定義された三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアを選択するように構成され、
取得した画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアーク内に含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成されている、ビークル。
E2.データ処理システムは更に、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定し、高画角に基づいて内側ジオアーク表面を生成し、また低画角に基づいて外側ジオアーク表面を生成するように構成されている、段落E1に記載のビークル。
E3.データ処理システムは更に、どのボクセルが外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを決定するように構成されている、段落E2に記載のビークル。
E4.データ処理システムは更に、考察中のボクセル内の代表点が外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを、各考察中のボクセルに対して決定するように構成されている、段落E3に記載のビークル。
E5.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、データ処理システムは更に、第1の座標系に三次元ジオアークを生成し、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換するように構成されている、段落E1〜E4のいずれかに記載のビークル。
E6.データ処理システムは更に、関連の識別された地物のペア間の中間点の座標値だけ、ジオアークの座標を平行移動させ、それぞれの座標系の軸が第1の座標軸と整合するようにジオアークを回転させるように構成されている、段落E5に記載のビークル。
E7.データ処理システムは更に、各変換されたボクセルが、変換された内側ジオアーク表面の半径と、変換された外側ジオアーク表面の変形との間にあるそれぞれの座標原点からある距離に配置されているかを決定するように構成されている、段落E6に記載のビークル。
E8.データ処理システムは更に、三次元空間の一部を選択し、生成されたジオアークにボクセルが含まれるかを、三次元空間の選択部分内の各ボクセルに対して決定するように構成されている、段落E1〜E7のいずれかに記載のビークル。
E9.データ処理システムは更に、各地物のペアに対して、ボクセルが含まれる生成されたジオアークの数を各ボクセルに対して集計し、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、三次元空間の選択部分のサイズを修正するように構成されている、段落E8に記載のビークル。
E10.データ処理システムは更に、三次元空間のボクセルに対して、ボクセルサイズを選択し、ボクセルが生成されたジオアークに含まれるかを、選択されたサイズの各ボクセルに対して決定するように構成されている、段落E1〜E9のいずれかに記載のビークル。
E11.データ処理システムは更に、各地物のペアに対して、ボクセルが含まれる生成されたジオアークの数を各ボクセルに対して集計し、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、ボクセルサイズを修正するように構成されている、段落E10に記載のビークル。
E12.データ処理システムは更に、三次元空間を複数の選択部分に分割し、それぞれの個別部分内のボクセルが生成されたジオアーク内に含まれるかを、複数の個別部分の複数の各々に対して同時に識別するように構成されている、段落E1〜E11のいずれかに記載のビークル。
F1.コンピュータプログラム製品であって、
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得し、
取得された画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択し、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアークに含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成する、コンピュータプログラム製品。
F2.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定し、高画角に基づいて内側ジオアーク表面を生成し、また低画角に基づいて外側ジオアーク表面を生成するように更に構成する、段落F1に記載のコンピュータプログラム製品。
F3.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、どのボクセルが外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを決定するように更に構成する、段落F2に記載のコンピュータプログラム製品。
F4.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、考察中のボクセル内の代表点が外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを、各考察中のボクセルに対して決定するように更に構成する、段落F3に記載のコンピュータプログラム製品。
F5.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、第1の座標系に三次元ジオアークを生成し、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換するように更に構成する、段落F1〜F4のいずれかに記載のコンピュータプログラム製品。
F6.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、関連の識別された地物のペア間の中間点の座標値だけ、ジオアークの座標を平行移動させ、それぞれの座標系の軸が第1の座標軸と整合するようにジオアークを回転させるように更に構成する、段落F5に記載のコンピュータプログラム製品。
F7.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、各変換されたボクセルが、変換された内側ジオアーク表面の半径と変換された外側ジオアーク表面の半径との間にあるそれぞれの座標原点からある距離に配置されているかを決定するように更に構成する、段落F6に記載のコンピュータプログラム製品。
F8.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、三次元空間の一部を選択し、生成されたジオアークにボクセルが含まれるかを、三次元空間の選択部分内の各ボクセルに対して決定するように更に構成する、段落F1〜F7のいずれかに記載のコンピュータプログラム製品。
F9.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、各地物のペアに対して、ボクセルが含まれる生成されたジオアークの数を各ボクセルに対して集計し、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、三次元空間の選択部分のサイズを修正するように更に構成する、段落F8に記載のコンピュータプログラム製品。
F10.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、三次元空間のボクセルに対してボクセルサイズを選択し、ボクセルが生成されたジオアークに含まれるかを、選択されたサイズの各ボクセルに対して決定するように更に構成する、段落F1〜F9のいずれかに記載のコンピュータプログラム製品。
F11.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、各地物のペアに対して、ボクセルが含まれる生成されたジオアークの数を各ボクセルに対して集計し、少なくとも一部においてボクセルが含まれる生成されたジオアークの数の各ボクセルに対する集計に基づいて、ボクセルサイズを修正するように更に構成する、段落F10に記載のコンピュータプログラム製品。
F12.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、三次元空間を複数の個別部分に分割し、それぞれの個別部分内のボクセルが生成されたジオアーク内に含まれるかを、複数の個別部分の複数の各々に対して同時に識別するように更に構成する、段落F1〜F11のいずれかに記載のコンピュータプログラム製品。
更に、本開示は、下記の条項による実施形態を含む。
条項1.空間的位置を特定する方法であって、
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークル上に支持されたセンサから取得することと、
取得された画像内の地物を識別することと、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけることと、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することと、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定することと、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
生成されたジオアークに含まれるボクセルを識別することと、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計することと、
識別された一又は複数のどのボクセルが最も数多いジオアーク内に含まれるかを決定することとを含む方法。
条項2.センサからの地物のペア間の画角を決定することは、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定することを含み、三次元ジオアークを生成することは、高画角に基づいて内側ジオアーク表面を生成することと、低画角に基づいて外側ジオアーク表面を生成することとを含む、条項1に記載の方法。
条項3.生成されたジオアークに含まれるボクセルを識別することは、どのボクセルが外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを決定することを含む、条項2に記載の方法。
条項4.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することは、第1の座標系に三次元ジオアークを生成することを含み、生成されたジオアークに含まれるボクセルを識別することは、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換することとを含む、条項1〜3のいずれか一項に記載の方法。
条項5.生成されたジオアークに含まれるボクセルを識別することは、各変換されたボクセルが、変換された内側ジオアーク表面の半径と変換された外側ジオアーク表面の半径との間にあるそれぞれの座標原点からある距離に配置されているかを決定することを含む、条項4に記載の方法。
条項6.生成されたジオアークに含まれるボクセルを識別することは、三次元空間の一部を選択することと、ボクセルが生成されたジオアーク内に含まれるかを、三次元空間の選択部分内の各ボクセルに対して決定することとを含む、条項1〜5のいずれか一項に記載の方法。
条項7.生成されたジオアークにボクセルが含まれるかを各ボクセルに対して決定することは、三次元空間のボクセルに対してボクセルサイズを選択することと、ボクセルが生成されたジオアークに含まれるかを、選択されたボクセルサイズの各ボクセルに対して決定することとを含む、条項1〜6のいずれか一項に記載の方法。
条項8. 生成されたジオアークにボクセルが含まれるかを各ボクセルに対して決定することは、三次元空間を複数の個別部分に分割することと、それぞれの個別部分のボクセルが生成されたジオアークに含まれるかを、複数の個別部分の複数の各々に対して同時に識別することとを含む、条項1〜7のいずれか一項に記載の方法。
条項9.ビークルであって、
物理的表面構成から離隔した位置から物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムと
を備え、前記データ処理システムは、
既知の距離だけ物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得し、
取得した画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間内に定義された三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアを選択するように構成され、
取得した画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアーク内に含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成されている、ビークル。
条項10.データ処理システムは更に、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定し、高画角に基づいて内側ジオアーク表面を生成し、また低画角に基づいて外側ジオアーク表面を生成するように構成されている、条項9に記載のビークル。
条項11.データ処理システムは更に、どのボクセルが外側ジオアーク表面及び内側ジオアーク表面によって囲まれた空間の体積内にあるかを決定するように構成されている、条項10に記載のビークル。
条項12.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、データ処理システムは更に、第1の座標系に三次元ジオアークを生成し、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換するように構成されている、条項9〜11のいずれか一項に記載のビークル。
条項13.データ処理システムは更に、各変換されたボクセルが、変換された内側ジオアーク表面の半径と、変換された外側ジオアーク表面の半径との間にあるそれぞれの座標原点からある距離に配置されているかを決定するように構成されている、条項12に記載のビークル。
条項14.データ処理システムは更に、三次元空間の一部を選択し、生成されたジオアークにボクセルが含まれるかを、三次元空間の選択部分内の各ボクセルに対して決定するように構成されている、条項9〜13のいずれか一項に記載のビークル。
条項15.データ処理システムは更に、三次元空間のボクセルに対して、ボクセルサイズを選択し、ボクセルが生成されたジオアークに含まれるかを、選択されたサイズの各ボクセルに対して決定するように構成されている、条項9〜14のいずれか一項に記載のビークル。
条項16.データ処理システムは更に、三次元空間を複数の選択部分に分割し、それぞれの個別部分内のボクセルが生成されたジオアーク内に含まれるかを、複数の個別部分の複数の各々に対して同時に識別するように構成されている、条項9〜15のいずれか一項に記載のビークル。
条項17:コンピュータプログラム製品であって、
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサに、
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得し、
取得された画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択し、
取得された画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアークに含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成する、コンピュータプログラム製品。
条項18.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、センサからの地物のペア間の画角の範囲であって、高画角と低画角との間に広がる画角の範囲を決定し、高画角に基づいて内側ジオアーク表面を生成し、また低画角に基づいて外側ジオアーク表面を生成するように更に構成する、条項17に記載のコンピュータプログラム製品。
条項19.三次元空間は、第1の座標原点を有する第1の座標系によって定義され、コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、第1の座標系に三次元ジオアークを生成し、ジオアークの座標を、関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、ボクセルの座標をそれぞれの座標系に変換するように更に構成する、条項17又は18に記載のコンピュータプログラム製品。
条項20.コンピュータ可読プログラム命令は、プロセッサによって読み取られたときに、プロセッサを、三次元空間のボクセルに対してボクセルサイズを選択し、ボクセルが生成されたジオアークに含まれるかを、選択されたサイズの各ボクセルに対して決定するように更に構成する、条項17〜19のいずれか一項に記載のコンピュータプログラム製品。
利点、特徴、便益
本書に記載された空間的位置特定システム、方法、及び装置の種々の実施形態は、画像センサと支持しているビークルの位置を特定するための周知の解決法よりも優れた幾つかの利点を提供するものである。本書に記載された空間的位置特定システム、方法、及び装置の実施形態は、受動的なカメラベースの方法を使用しているが、既存の受動的なカメラの方法とは異なり、三次元モデルの推定、一連の地物に対する高い精度の一致の検索、画像のゆがみ、又はシーン内のオブジェクトの認識を必要としない。代わりに、例えば画像内のエッジ、角、ピーク等の単純な地物間の相対角度のみが測定され、検出された地物のうちの小さい部分集合を、例えば二次元又は三次元オブジェクト又はシーン等の物理的表面構成に対して、正確な二次元又は三次元空間的及び地球の位置特定のためのマッピングされた地物のデータベースとマッチさせる必要があるだけである。空間的位置特定システム、方法、及び装置の特性により、画像又は一連の地物をマップとマッチさせようと試みる既存の画像ベースの方法よりもさらに正確で強固、及び効率的なものとなる。したがって、本書に記載される例示的な実施形態は、GPSに対応していないデバイス、あるいはGPSが利用可能でない位置にあるデバイスに特に有用である。しかしながら、本書で説明されているすべての実施形態が、同じ利点または同一程度の利点を提供する訳ではない。
結論
上述の開示は、個別の有用性を備えた複数の個々の発明を包括しうる。これらの発明の各々は、その好適な形態(複数可)で開示されているが、本書で開示され例示されているそれらの具体的な実施形態は、数多くの変形例が可能であることから、限定的な意味で捉えるべきものではない。本書で使用されている限り、セクション見出しは構成上の目的のものに過ぎず、なんら本発明の請求の範囲を特徴付けるものではない。本発明の主題は、本書で開示されている様々な要素、特徴、機能、及び/または特性の、新規かつ非自明な組み合わせ及び部分的組み合わせのすべてを含む。下記の特許請求の範囲は、新規かつ非自明と見なされる、ある組み合わせ及び部分的組み合わせを特に指し示すものである。特徴、機能、要素、及び/または特性のその他の組み合わせ及び部分的組み合わせにおいて具現化される発明は、この出願または関連出願からの優先権を主張する出願において特許請求され得る。こうした特許請求の範囲はまた、異なる発明を対象とするか、または同一の発明を対象とするかに関わらず、且つ、出願当初の特許請求の範囲よりも広いか、狭いか、等しいか、またはそれと異なるかに関わらず、本開示の発明の主題の中に含まれると見なされる。

Claims (15)

  1. 空間的位置を特定する方法であって、
    物理的表面構成から離隔した位置からの前記物理的表面構成の一部の画像を、ビークル上に支持されたセンサから取得することと、
    前記取得された画像内の地物を識別することと、
    前記取得された画像内の識別された地物を、前記物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけすることと、
    前記基準表現内の対応する識別された地物のペアを有する、前記取得された画像内の複数の地物のペアを選択することと、
    前記取得された画像内の各選択された地物のペアに対して、
    前記センサからの前記地物のペア間の画角を決定することと、
    前記決定された画角と、前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
    前記生成されたジオアークに含まれるボクセルを識別することと、
    各識別されたボクセルに対し、前記ボクセルが含まれる前記生成されたジオアークの数を集計することと、
    識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定することとを含む方法。
  2. 前記センサからの前記地物のペア間の画角を決定することは、前記センサからの前記地物のペア間の画角の範囲であって、高画角と低画角との間に広がる前記画角の範囲を決定することを含み、三次元ジオアークを生成することは、高画角に基づいて内側ジオアーク表面を生成することと、低画角に基づいて外側ジオアーク表面を生成することとを含む、請求項1に記載の方法。
  3. 前記生成されたジオアークに含まれるボクセルを識別することは、どのボクセルが、前記外側ジオアーク表面及び前記内側ジオアーク表面によって囲まれた空間の体積内にあるかを決定することを含む、請求項2に記載の方法。
  4. 前記三次元空間は、第1の座標原点を有する第1の座標系によって定義され、前記決定された画角と前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成することは、前記第1の座標系に前記三次元ジオアークを生成することを含み、前記生成されたジオアークに含まれるボクセルを識別することは、前記ジオアークの座標を、前記関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換することと、前記ボクセルの座標を前記それぞれの座標系に変換することとを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記生成されたジオアークに含まれるボクセルを識別することは、各変換されたボクセルが、前記変換された内側ジオアーク表面の半径と前記変換された外側ジオアーク表面の半径との間にある前記それぞれの座標原点からある距離に配置されているかを決定することを含む、請求項4に記載の方法。
  6. 前記生成されたジオアークに含まれるボクセルを識別することは、前記三次元空間の一部を選択することと、前記ボクセルが前記生成されたジオアーク内に含まれるかを、前記三次元空間の選択部分内の各ボクセルに対して決定することとを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記生成されたジオアークに前記ボクセルが含まれるかを各ボクセルに対して決定することは、前記三次元空間の前記ボクセルに対してボクセルサイズを選択することと、前記ボクセルが前記生成されたジオアークに含まれるかを、前記選択されたボクセルサイズの各ボクセルに対して決定することとを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記生成されたジオアークに前記ボクセルが含まれるかを各ボクセルに対して決定することは、前記三次元空間を複数の個別部分に分割することと、前記それぞれの個別部分内の前記ボクセルが前記生成されたジオアークに含まれるかを、前記複数の個別部分の複数の各々に対して同時に識別することとを含む、請求項1から7のいずれか一項に記載の方法。
  9. ビークルであって、
    物理的表面構成から離隔した位置から前記物理的表面構成の一部の画像を生成するように構成されたセンサと、
    前記センサに通信可能に接続されたデータ処理システムと
    を備え、前記データ処理システムは、
    物理的表面構成から離隔した位置からの前記物理的表面構成の一部の画像を、前記センサから取得し、
    前記取得された画像内の地物を識別し、
    前記取得された画像内の識別された地物を、前記物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義された三次元基準表現内の識別された地物と関連づけし、
    前記基準表現内の対応する識別された地物のペアを有する、前記取得された画像内の複数の地物のペアを選択するように構成され、
    前記取得された画像内の各選択された地物のペアに対し、
    前記センサからの前記地物のペア間の画角を決定し、
    前記決定された画角と前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成し、
    前記生成されたジオアーク内に含まれるボクセルを識別し、
    各識別されたボクセルに対し、前記ボクセルが含まれる前記生成されたジオアークの数を集計し、
    識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成されている、ビークル。
  10. 前記データ処理システムは更に、前記センサからの前記地物のペア間の画角の範囲であって、高画角と低画角との間に広がる前記画角の範囲を決定し、前記高画角に基づいて内側ジオアーク表面を生成し、また前記低画角に基づいて外側ジオアーク表面を生成するように構成されている、請求項9に記載のビークル。
  11. 前記データ処理システムは更に、どのボクセルが前記外側ジオアーク表面及び前記内側ジオアーク表面によって囲まれた前記空間の体積内にあるかを決定するように構成されている、請求項10に記載のビークル。
  12. 前記三次元空間は、第1の座標原点を有する第1の座標系によって定義され、前記データ処理システムは更に、前記第1の座標系に前記三次元ジオアークを生成し、前記ジオアークの座標を、前記関連の識別された地物のペア間の中心にあるそれぞれの座標原点を有するそれぞれの座標系に変換し、前記ボクセルの座標を前記それぞれの座標系に変換するように構成され、任意選択的に、前記データ処理システムは更に、各変換されたボクセルが、前記変換された内側ジオアーク表面の半径と前記変換された外側ジオアーク表面の半径との間にある前記それぞれの座標原点からある距離に配置されているかを決定するように構成されている、請求項9から11のいずれか一項に記載のビークル。
  13. 前記データ処理システムは更に、前記三次元空間の一部を選択し、前記ボクセルが前記生成されたジオアークに含まれるかを、前記三次元空間の選択部分内の各ボクセルに対して決定するように構成されている、請求項9から12のいずれか一項に記載のビークル。
  14. 前記データ処理システムは更に、前記三次元空間の前記ボクセルに対してボクセルサイズを選択し、前記ボクセルが前記生成されたジオアークに含まれるかを、前記選択されたサイズの各ボクセルに対して決定するように構成されている、請求項9から13のいずれか一項に記載のビークル。
  15. 前記データ処理システムは更に、前記三次元空間を複数の個別部分に分割し、前記それぞれの個別部分内の前記ボクセルが前記生成されたジオアーク内に含まれるかを、前記複数の個別部分の複数の各々に対して同時に識別するように構成されている、請求項9から14のいずれか一項に記載のビークル。
JP2017131832A 2016-08-30 2017-07-05 ジオアーク(geoarc)を使用したビークルの二次元位置の特定 Active JP7057632B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/252,145 2016-08-30
US15/252,145 US10013798B2 (en) 2016-08-30 2016-08-30 3D vehicle localizing using geoarcs

Publications (2)

Publication Number Publication Date
JP2018072316A true JP2018072316A (ja) 2018-05-10
JP7057632B2 JP7057632B2 (ja) 2022-04-20

Family

ID=59337420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017131832A Active JP7057632B2 (ja) 2016-08-30 2017-07-05 ジオアーク(geoarc)を使用したビークルの二次元位置の特定

Country Status (6)

Country Link
US (2) US10013798B2 (ja)
EP (1) EP3291178B1 (ja)
JP (1) JP7057632B2 (ja)
KR (1) KR102387679B1 (ja)
CN (2) CN116485854A (ja)
HK (1) HK1251339A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072311B1 (ja) * 2021-07-21 2022-05-20 株式会社センシンロボティクス 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107276B2 (en) * 2017-03-23 2021-08-31 Sony Interactive Entertainment Inc. Scaling voxels in a virtual space
CN110138519A (zh) * 2018-02-02 2019-08-16 索尼公司 无线通信***中的装置和方法、计算机可读存储介质
US10832045B2 (en) 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
CN110717935B (zh) * 2019-08-26 2022-05-17 北京中科慧眼科技有限公司 一种基于图像特征信息的图像匹配方法,装置与***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000337887A (ja) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2006234683A (ja) * 2005-02-25 2006-09-07 National Univ Corp Shizuoka Univ 測位システム
JP2008020225A (ja) * 2006-07-11 2008-01-31 Fujitsu Ltd 自己位置推定プログラム、自己位置推定方法および自己位置推定装置
US20080026733A1 (en) * 2006-07-27 2008-01-31 Jussi Jaatinen Method and system for improving positioning accuracy in cellular networks
JP2013040932A (ja) * 2011-08-09 2013-02-28 Boeing Co:The 画像ベースの位置決定
JP2013232195A (ja) * 2012-04-30 2013-11-14 Boeing Co:The 3DGeoArcを用いた多モードデータの画像登録

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL120136A0 (en) 1997-02-03 1997-06-10 Yissum Res Dev Co Synthesizing virtual two dimensional images of three dimensional space from a collection of real two dimensional images
EP0928460B1 (en) 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
JPH11205648A (ja) 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
AU4311901A (en) 1999-12-10 2001-06-18 Michael I. Miller Method and apparatus for cross modality image registration
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
JP4492036B2 (ja) 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
CN100410622C (zh) * 2004-05-14 2008-08-13 佳能株式会社 用于获得目标物体的位置和方位的信息处理方法和设备
US7580591B2 (en) 2005-07-01 2009-08-25 The Boeing Company Method for generating a synthetic perspective image
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9123159B2 (en) 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
US8191828B2 (en) 2008-05-13 2012-06-05 The Boeing Company Methods and apparatus for aerial recovery of flying apparatus
US20090295791A1 (en) 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
US8224071B2 (en) * 2009-06-30 2012-07-17 Mitsubishi Electric Research Laboratories, Inc. Method for registering 3D points with 3D planes
US8249302B2 (en) * 2009-06-30 2012-08-21 Mitsubishi Electric Research Laboratories, Inc. Method for determining a location from images acquired of an environment with an omni-directional camera
US8511614B2 (en) * 2010-03-22 2013-08-20 Raytheon Company Satellite system providing optimal space situational awareness
US20120019522A1 (en) 2010-07-25 2012-01-26 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
JPWO2012086821A1 (ja) 2010-12-20 2014-06-05 日本電気株式会社 測位装置、測位方法
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9319172B2 (en) * 2011-10-14 2016-04-19 Qualcomm Incorporated Interference mitigation techniques for air to ground systems
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
FR2999303B1 (fr) * 2012-12-12 2018-03-30 Thales Procede de geo localisation precise d'un capteur d'images embarque a bord d'un aeronef
CA2902040C (en) 2013-02-22 2019-07-23 Ohio University Reduction of sensor captured data streamed to an operator
US9802693B2 (en) * 2013-06-14 2017-10-31 The Boeing Company Control surface calibration system
US9679227B2 (en) 2013-08-02 2017-06-13 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US9704291B2 (en) * 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
JP6248647B2 (ja) 2014-01-22 2017-12-20 富士通株式会社 画像照合方法、画像処理システム、及びプログラム
KR102016551B1 (ko) * 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
US9327406B1 (en) 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
CN104463968B (zh) * 2014-12-22 2017-09-05 山东鲁能软件技术有限公司 基于电网gis三维平台的遥感影像双目立体视觉匹配及三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000337887A (ja) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2006234683A (ja) * 2005-02-25 2006-09-07 National Univ Corp Shizuoka Univ 測位システム
JP2008020225A (ja) * 2006-07-11 2008-01-31 Fujitsu Ltd 自己位置推定プログラム、自己位置推定方法および自己位置推定装置
US20080026733A1 (en) * 2006-07-27 2008-01-31 Jussi Jaatinen Method and system for improving positioning accuracy in cellular networks
JP2013040932A (ja) * 2011-08-09 2013-02-28 Boeing Co:The 画像ベースの位置決定
JP2013232195A (ja) * 2012-04-30 2013-11-14 Boeing Co:The 3DGeoArcを用いた多モードデータの画像登録

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072311B1 (ja) * 2021-07-21 2022-05-20 株式会社センシンロボティクス 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2023002615A1 (ja) * 2021-07-21 2023-01-26 株式会社センシンロボティクス 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム

Also Published As

Publication number Publication date
US10013798B2 (en) 2018-07-03
EP3291178A1 (en) 2018-03-07
CN116485854A (zh) 2023-07-25
US10706617B2 (en) 2020-07-07
CN107798695B (zh) 2023-05-16
KR102387679B1 (ko) 2022-04-15
EP3291178B1 (en) 2020-05-20
US20180061123A1 (en) 2018-03-01
KR20180025186A (ko) 2018-03-08
CN107798695A (zh) 2018-03-13
US20180330541A1 (en) 2018-11-15
JP7057632B2 (ja) 2022-04-20
HK1251339A1 (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
KR102526542B1 (ko) 지오아크를 이용한 2차원 운송수단 국소화
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
JP7057632B2 (ja) ジオアーク(geoarc)を使用したビークルの二次元位置の特定
Chen et al. Probabilistic graphical fusion of LiDAR, GPS, and 3D building maps for urban UAV navigation
US10241214B2 (en) Acceleration of real time computer vision processing on UAVs through GPS attitude estimation
CN115685060A (zh) 一种室内指纹地图的构建方法及相关装置
Shetty GPS-LiDAR sensor fusion aided by 3D city models for UAVs
CN109003295B (zh) 一种无人机航空影像快速匹配方法
Sulaj et al. Examples of real-time UAV data processing with cloud computing
Liu et al. Absolute orientation and localization estimation from an omnidirectional image
Mirisola et al. Exploiting Attitude Sensing in Vision‐Based Navigation for an Airship

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220408

R150 Certificate of patent or registration of utility model

Ref document number: 7057632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150