JP2018522345A - リアルタイムのマッピングと位置確認のための方法及び装置 - Google Patents

リアルタイムのマッピングと位置確認のための方法及び装置 Download PDF

Info

Publication number
JP2018522345A
JP2018522345A JP2017567094A JP2017567094A JP2018522345A JP 2018522345 A JP2018522345 A JP 2018522345A JP 2017567094 A JP2017567094 A JP 2017567094A JP 2017567094 A JP2017567094 A JP 2017567094A JP 2018522345 A JP2018522345 A JP 2018522345A
Authority
JP
Japan
Prior art keywords
map
scanner
data
real
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017567094A
Other languages
English (en)
Other versions
JP2018522345A5 (ja
JP7270338B2 (ja
Inventor
セケイラ,ヴィトール
ワォルファート,エリック
タッデイ,ピエールルイジ
セリアニ,シモネ
サンチェス−ベレンゲル,カルロス
アルコリザ,デイビッド プイグ
アルコリザ,デイビッド プイグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
European Atomic Energy Community Euratom
Original Assignee
European Atomic Energy Community Euratom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=52823552&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2018522345(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by European Atomic Energy Community Euratom filed Critical European Atomic Energy Community Euratom
Publication of JP2018522345A publication Critical patent/JP2018522345A/ja
Publication of JP2018522345A5 publication Critical patent/JP2018522345A5/ja
Priority to JP2021085516A priority Critical patent/JP2021152662A/ja
Application granted granted Critical
Publication of JP7270338B2 publication Critical patent/JP7270338B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

リアルタイムマッピング解析、位置確認解析、および変化解析において使用可能な3D参照マップを構築する方法であって、3D参照マップは、モバイルレーザーレンジスキャナーに基づく3D SLAM(同時の位置確認及びマッピング)フレームワークを使用して作成される。特にGPS使用不能環境においてリアルタイムマッピング解析、位置確認解析および変化解析を行う方法が提供され、前記方法を実現するためのモバイルレーザースキャニング装置も提供される。【選択図】図1

Description

本発明は全体として、GPSが繋がらない環境、特に屋内での位置確認とマッピングに関する。
位置確認又はマッピングなどの目的のための環境を獲得するために、異なる解決策が説明され、又は商業的に利用可能となっている。異なる方法は異なる解決策をもたらした。
これらの中で、多くの商用及び原型の屋内ナビゲーションシステムは、慣性センサー(例えば、DLRのFootSLAM、Chirange Geospatial Indoor Tracking)をベースとするものである。これらは小さく且つ低コストなものであるが、位置決め精度は低く、経時的に著しくドリフトしてしまう。更に、慣性システムはマップ情報を生成しない。それ故これらは、マップの生成ではなく、位置決めとナビゲーションの目的にのみ適切なものである。
他の屋内位置決めシステムは、屋外環境におけるGPS信号と同様に、無線信号の送信をベースとする。幾つかのシステムは、既存のインフラストラクチャー(例えば空港のWiFiネットワーク、Navizon)を使用するものであり、その他のものは、専用のインフラストラクチャー(例えばNextNav、SenionLab)の設置を必要とする。このシステムには事実上、センサーのコストがかからない(クライアントアプリケーションは、専用のソフトウェアアプリケーションを備えたスマートフォンを使用する)が、これらは無線信号を発するネットワークインフラを必要とする。更に、このシステムはマップ情報を生成しない。それ故これらは、マップの生成ではなく、位置決めとナビゲーションの目的にのみ適切なものである。
更に興味深い製品は3Dスキャニングを使用する。ZEB1は、高速(屋内)マッピングのために3Dレーザースキャニングを使用する製品である。レーザーはスプリングに取り付けられ、手により振動動作をもたらす必要がある。こにより、屋内環境の正確な3Dモデルが生成される。しかしこのシステムは、オフラインでデータ処理が実行されると、ユーザーに即時のフィードバックを提供しない。従って、このシステムは、リアルタイムの位置確認ではなくマッピングに適切なものである。
また更なる解決策は、UC Berkleyで開発されたレーザーバックパック(laser backpack)である。これは、屋内環境の3Dモデルを生成するために使用される様々な2Dラインスキャナーを備えたバックパックを提案する、R&D計画である。再度、これはオンラインでの視覚化を提供しない。
最後の解決策は、LOAM(Lidar Odometry and Mapping)と称されるものであり、リアルタイムの位置確認とマッピングのためにレーザースキャニングとビデオ画像を組み合わせた、関連するアルゴリズムを伴う持ち運び可能なセンサーから成る。
このような解決策の略全ては、リアルタイム/オンラインの視覚化を欠いており、更に重要なことに、これらは、獲得及び処理の工程後に任意の直接ユーザー相互作用を可能にしない。
技術的問題
本発明の目的は、特にGPSが繋がらない環境でのリアルタイムの獲得、マッピング、及び位置確認を可能にするだけでなく、リアルタイムの視覚化とユーザー相互作用の可能性も提供する、システム、装置、及び方法を提供することである。更に、本発明は、現行の獲得データと以前に獲得したマップとのリアルタイムの比較の提供も、可能にする。これにより、最後のマッピングから生じた差又は変化を識別することが可能となる。変化又は差の、そのようなオンラインでの識別は、セキュリティ検査、土木(civil construction)、更には緊急事態又は災害管理などの用途において、多大な利益をもたらす場合もある。
この目的を達成するために、本発明は、第1の態様において、リアルタイムのマッピング、位置確認、及び/又は変化の分析(のための方法)に使用可能な、環境の3D参照マップを構築する方法を提供し、前記方法は以下の工程を含む:
(a)1秒につき少なくとも5つのフレーム(即ち5つのポイントクラウド)の速度、好ましくは1秒につき少なくとも10フレームの速度で、モバイルリアルタイムレーザーレンジスキャナーにより環境の(3D)スキャナーデータを獲得する工程、
(b)各々がスキャナーデータにより画定される関連するポイントクラウドを持つ、レーザーレンジスキャナーの複数の姿勢の各々に関する(3D)スキャナーデータを使用して、マップ表示を構築する工程であって、マップ表示は、大きな領域にわたる一定時間の高速な最近傍探索及びスケーラビリティにおける、データ構造へのランダムサンプルアクセスのために構成されるデータ構造を持つ、工程、及び
(c)マップ表示を使用して、3Dの同時の位置確認及びマッピング(3D SLAM)のフレームワークを用いる環境のための3D参照マップを構築する工程を含み、前記構築する工程は、以下を含む:
(i)オドメーターモジュールを使用して、ローカルマップ表示への(最後の)ポイントクラウドの登録に基づいて、各ポイントクラウドに関するレーザーレンジスキャナーの現行の姿勢を推定すること、
(ii)ローカルマップ表示におけるドリフトを最小化するために、ポイントクラウドの(サブ)セットの軌道を精密化する、ローカル軌道最適化モジュールを使用すること、及び
(iii)ループが閉じたものを利用する(又は考慮に入れる)環境の全体のマップを(好ましくはポイントクラウドの全セットの使用により)再構築することによりオフラインの大域的な軌道の最適化を行い、それにより前記3D参照マップを形成すること。
本発明は更に、そのような方法に関するものであり、ここで、ローカル軌道最適化モジュールは、最後の登録されたセットに構築されたマップに関して、1セットの姿勢、及びそれらの関連するポイントクラウドにより構成された軌道のフラグメントを最適化する、ローカルウィンドウ機構を含み、ここで、ポイントは好ましくは、
のグループにおける姿勢の補間を使用して世界座標において変換され、及び、Iterative Closest Pointの方法の一般化は好ましくは、マップに対して全てのポイントをより良く位置合わせする軌道を見つけるために使用され;ここで、ローカルウィンドウ機構は、リストにおける第1の姿勢と最後の姿勢との距離が閾値よりも大きい時に、クラウドの姿勢が最適化され、且つ新しいリストが精密化された姿勢及び入力クラウドにより生成されるように、作動する。
特に好ましい実施形態において、データ構造は、生得的に3Dポイントを取り扱うように設定され、且つ、マップ表示における(圧縮された密な)特徴のリストにインデックスを付けるために使用されるスパースボクセル化構造により構成されるハイブリッド構造に基づいており、探索された空間にわたるスケーラビリティでデータのマップサイズ及び効果的な保管とは別にボクセル座標における一定時間のランダムアクセスを可能にする。
また更に好ましい実施形態において、データ構造は、保存されたデータの5つの異なる表示を維持し、それにより、各マップの更新後に内部データ表示の間の一致を認め、5つの異なる表示は以下の通りである:
(i)(圧縮された密な)特徴のリストL、及び最後の要素に対する指標Llastであり、ここで、各要素
は、世界座標の位置及び通常の単位ベクトルなどの、マップ中の特徴に関連した全ての情報、及び好ましくは追加情報を含んでいる。
(ii)(圧縮された密な)有効性マスクMであって、各要素
は、その対応するサンプル
が有効か否かを示し、mi=0,i>Llastを確かにする、ブール値である。
(iii)ホールのリストHであって、各要素
は、
が有効ではないため
となることを示している。
(iv)パラメーター化可能なセルサイズで構築され、各セル
に、Lにおけるその対応する特徴の指標を保存する、スパースボクセル表示Vであって、Lにおける特徴及びVにおけるセルは、lの位置及びVのセルサイズに基づいて、1対1の様式で関連付けられる。及び
(v)マップ上で最近傍探索を行なうように使用される、且つ、そのメモリフットプリントを低く維持するために密なリストのみに参照を保存する、kd木K。
本方法は更に、中心の位置及び半径により表わされた関心領域を与えられると、内部特徴が、Lに保存された要素上をループすることにより選択され、且つ最近傍探索のための高速機構としてkd木が再構築される工程を含む場合もある。
第2の態様において、本発明は、特にGPSが繋がらない環境における、即ち、上述されるような本発明の第1の態様に従う方法から、又は、本発明の以前の実行を介して既に更新又は修飾されているそのような3D参照マップから利用可能な環境の3D参照マップに関する、環境のリアルタイムのマッピング、位置確認、及び変化の分析のための方法に関し、前記方法は好ましくは以下の工程を含む:
(a)1秒につき少なくとも5つのフレーム(ポイントクラウド)の速度で、リアルタイムレーザー範囲スキャナーにより環境の(3D)スキャナーデータを獲得する工程、
(b)場所の認識中、場所認識中のスキャナー姿勢の予備知識無しに、場面内の減少された探索空間を用いてレーザーレンジスキャナーによって獲得された場面の単純且つ圧縮された記述子を事前に計算することなく、既知の環境内部(即ち、3D参照マップ内)のレーザーレンジスキャナーの現行の場所を識別する工程;又は、リアルタイムでスキャナーを自己位置同定するために、潜在的なスキャナー姿勢にて3D参照マップの予め計算された圧縮された記述子を使用してリアルタイムでスキャナーを自己位置同定するために事前に計算された記述子空間を利用する3D参照マップ内のレーザーレンジスキャナーの現行の場所を識別する工程、
(c)既知の環境における(即ち、3D参照マップ内の)スキャナーの位置確認の決定後、最近傍情報を含むデータを利用する標準のIterative Closest Point方法を使用して、3D参照マップ内部の現行のスキャナーデータを登録することにより、スキャナー姿勢を追跡する工程、
(d)現行のスキャナーデータにおける各スキャンポイントと3D参照マップにおける最も近いポイントとの距離を計算する工程であって、ここで、変化の分析が、この距離に閾値を適用することにより実行される(それにより、閾値よりも遠くにある参照モデルにおいて対応する近傍を持つ現行のスキャナーデータにおける各ポイントは、変化と考慮される)、工程、及び
(e)リアルタイムユーザーインターフェース上で3D参照マップ及び現行の(3D)スキャナーデータに関する情報を表示する工程であって、前記情報は好ましくは、情報の変化あり/変化無しといった分類に従い色分けされる、工程。
好ましくは、工程(b)は、工程(a)のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程(b)は以下のサブ工程を更に含む:
(b1)最後のスキャナーデータに基づいて、関連する記述子qを計算して、候補の場所
のセットを再生する工程であって、候補の場所はqと同様の記述子を有しており、即ち、記述子空間の距離は閾値半径rよりも小さく、候補の場所
のセットは、記述子空間に閾値半径を与えられたT上で放射状捜索を行なうことにより回復され得、範囲の値を水平に推移させることにより追加の入力記述子を計算することによって候補の場所を増大させ、各記述子は、そのローカル軸上を回転され且つその後に候補の場所の結果として生じるセットそれぞれに従って回転する場合に、スキャナーが生成する読み取り値に対応する、工程、
(b2)重み
を各潜在的な場所
に関連付ける工程であって:
ここで、dは、Tから検索された場所
に関連付けられる記述子であり、
は、完全に一致する記述子に関しては1であり、サーチスフィアの境界上での記述子に関しては0である、工程、及び
(b3)wにおいて重みを集め、max w=1を持つようにこれらの重みを標準化する工程。
都合の良いことに、工程(b)は以下のサブ工程を更に含む:
(b4)(上記第1の態様の方法の工程(c)(i)に記載されるようなオドメーターモジュールを使用して)動作を推定することにより、及び、新たな姿勢でのクエリ結果に基づいて初期の候補それぞれについて重みを再評価することにより、センサーが移動する間の候補の場所のセットを更新する工程、及び
(b5)候補の姿勢が1つの場所に集中するまで(即ち、方法が現行の姿勢の曖昧さを無くすことができるまで)、更新のサブ工程を反復する工程。
特に地動に関して、これによりレーザーレンジスキャナーは、フロアを通過する人(例えばバックパックを持つ)又は自動車に取り付けられ、前記方法は以下の工程を含み得る:
(i)3D参照マップにおいてフロアの範囲を識別する工程であって、フロアの抽出は、環境(3D参照マップ)Vのスパースボクセル表示上で行なわれ、スパースボクセル表示の個々の完全なセルv(i)は、候補のフロアのセル
を表すボクセルのサブセットを抽出することにより、それらの関連する法線の垂直成分が優性である、即ち、
であることを確認することにより、その重心
の周囲のポイントによりローカルに定義された表面に対する法線ベクトルを含んでおり、ここでεは典型的に0.5〜1の値である、工程、
(ii)セルの到達可能性を判定する工程であって、到達可能なセル
を仮定して、下記条件が満たされる場合に、周囲のセル
は全て到達可能であると考慮され:
ここで、(6)における
は、最大の工程距離(例えば、歩行動作について0.5メートル、又は車の動作についてVcellSize)を表し、(7)におけるθは最大の垂直工程サイズを表し、(8)における
は、フロアのセルg上に集中する、オブザーバーの単純化された体積を表わす、工程。
本発明の文脈において使用可能なマップ構造は好ましくは、特異的なボクセルサイズで構築される、保存且つ同期される要素の2つの異なるリスト、圧縮された平面のリストLと密なボクセルのグリッドVを含み、各平面
は、世界座標における位置p、及び単位法線
を保存し;ここで、ボクセル
はそれぞれ、完全、空、又は付近にあり得るの、何れかである現行の状態を保存し、完全なボクセルは、その関連する位置が該当する平面
へとインデックスを保存し、空のセルはヌルの参照を保存し、及び付近のセルは、その関連する位置のボクセル中心までの距離が最短である平面
へとインデックスを保存し;好ましくは付近のボクセルは、距離dが与えられた閾値dmax下にある場合のみ考慮され、さもなくばボクセルは空であると考慮される。
大域的なシステムのロバスト性を改善するために、(例えば、上記第1の態様の方法の工程(c)(i)に記載されるようなオドメーターモジュールを使用して)スキャナー追跡をオドメーターに組み合わせることが考慮され、それにより、姿勢が推定された後、世界座標におけるその関連するポイントは、kd木に保存され(故にオドメーターマップを作成する)、レーザーレンジスキャナーから新しい獲得物(獲得されたポイントクラウド)が提供されると(即ち、登録アルゴリズムがポイントのセットを作成する時)
、これは、3D参照マップ
と、以前に固定されたポイントクラウド(オドメーターマップ)
の両方において最隣接を求め、ここで、コレスポンデンスは次のように定義され:
ここで、Sはボクセルのセルサイズに一致し、ボクセル化されたグラウンドトゥルースマップと以前に固定されたクラウドの非離散kd木との間の異なる解像度を補う。
第3の態様において、本発明は、本明細書に記載される方法の1つ以上を実施する、特にGPSが繋がらない環境におけるリアルタイムのマッピング、位置確認、及び変化の変更分析のためのモバイルレーザースキャニング装置を提案する。特に、本発明は、GPSが繋がらない環境におけるリアルタイムのマッピング、位置確認、及び変化の分析のためのモバイルレーザースキャニング装置に関するものであり、該モバイルレーザースキャニング装置は、リアルタイムレーザーレンジスキャナー、処理ユニット、電源ユニット、及び携帯型視覚化及び制御ユニットを含んでおり、ここで、リアルタイムレーザーレンジスキャナーは、スキャナーデータを提供するために、1秒につき少なくとも5つのフレーム、好ましくは少なくとも10のフレームの速度で環境を獲得することができ、処理ユニットは、前記スキャナーデータを分析し、3Dマップ/モデル、位置確認、及び変化の情報を含む処理結果を、携帯型視覚化及び制御ユニットに提供するように配置され、携帯型視覚化及び制御ユニットは、前記処理結果を表示し、ユーザーがモバイルレーザースキャニング装置を制御することを可能にするように配置される。
本発明に係る装置は故に、環境の3Dマッピング/モデル化、(生成されたマップ又は既存のマップ/モデルに関する)ユーザーの正確な位置確認、以前に獲得したモデルに関する変化の検出を提供する、オンラインでリアルタイムの処理を行うことが可能であり、環境照明及びGPS信号から独立させるレーザー信号に完全に依存する。更に、これはGPS又は慣性センサーなどの追加のセンサーを必要としない。それにもかかわらず、本発明は、有用であると考えられる場合に、更なるセンサーの追加を除外しない。故に、随意のセンサーが加えられることで、生成されたモデル(例えば、カラーカメラ)が強化される(enrich)場合もある。更に、装置はユーザーにオンライン且つリアルタイムの結果を提供することができるが、獲得データを使用して、それを例えば、将来の位置確認及び変化の分析のための獲得された3Dモデルの改良のためにオフラインで更に処理することが、更に予測される。
本発明に係る装置は、例えば3D(屋内)マッピング/モデル化、施設管理、正確でリアルタイムの屋内の位置確認及びナビゲーション、設計情報の検証、変化の分析(例えば、保障措置検査のため)、経過の監視(例えば土木のため)、災害管理及び応答など、多数の用途に使用され、且つそれらに有用な場合もある。
モバイルレーザースキャニング装置において、視覚化及び制御ユニットは、好ましくはタッチスクリーンコンピューター、より好ましくはタブレットコンピューターである。
モバイルレーザースキャニング装置は、最も好ましくはバックパック又は車両搭載装置である。
第4の態様において、本発明は、3Dの屋外及び屋内、好ましくは屋内マッピング/モデル化;施設管理;正確且つリアルタイムの屋内の位置確認及びナビゲーション;障害者又は高齢者への補助;設計情報の検証;保障措置検査のためなどの変化の分析;土木のためなどの経過の監視;又は災害管理及び応答のための、本明細書に記載されるような方法又はモバイルレーザースキャニング装置の使用を提唱する。
第5の態様は、プログラマブルデバイス、好ましくは本発明のモバイルレーザースキャニング装置又はその処理ユニットに、本発明の方法の1つ以上を実行させるための、コンピューター実行可能命令を有しているコンピュータープログラム製品に関する。
最後の態様において、本発明は、プログラムされたプロセッサにより実行可能な命令を表わすデータを中に保存しているコンピューター可読媒体にも関連しており、該コンピューター可読媒体は、プログラマブルデバイス、好ましくは本発明のモバイルレーザースキャニング装置又はその処理ユニットに、本発明の方法の1つを実行させるための命令を含んでいる。
上述の態様、更には変形、代案、及び特徴の組み合わせの更なる詳細、同様にそれらの利点は、以下により詳細に記載されることとなる。
本発明の好ましい態様および実施形態が、添付の図面に関連して、例として、ここで記載される。
図1は、モバイルレーザースキャニングプラットフォーム(MLSPシステム、または単にMLSP)と呼ばれる、本発明によるモバイルレーザースキャニング装置の好ましい実施形態のハードウェアコンポーネントを示し、これは、3Dレーザースキャナ(1)、リュックサック(2)、処理装置(3)(リュックサック内に含まれ、例証のみで別に示される)およびタブレット(4)を含む。 図2は、リアルタイムでユーザーに提供されるユーザーインターフェースのスナップショット(白黒であるが元来カラーのスナップショット)を示す。これは、2つの時点でスキャンされたトンネル環境を示す。実際のカラー表示では、緑色は取得間の変化がないことを示し、赤色は2つの取得間の新しい構造を示す。 図3は、Kittiデータセットのサンプル追跡に対するループが閉じたものの効果を示す。軌道は、推測されたオンラインおよび大域的に最適化された軌道として示される。(実際の)マップは、2つのマップ(局所的なマップである青紫色の領域など)に対する異なるスキームを有する時点の法線ベクトルに従って着色されている。 図4aは、局所的なマップ(典型的に1M未満の特徴を含む)および大域的なマップ(典型的に1Mを超える特徴を含む)の両方に対するポイント選択時間を示し、また、異なる探索半径に対する局所的なマップポイント選択時間を示す。 図4bは、局所的なマップ(典型的に1M未満の特徴を含む)および大域的なマップ(典型的に1Mを超える特徴を含む)の両方に対するポイント選択時間を示し、また、異なる探索半径に対する大域的なマップポイント選択時間を示す。 図5は、提案されたマップ表示の好ましい実施形態を示す。充填セルは濃い灰色のボックスとして表示される。近傍セルは、それらの重心と関連する最近傍とをつなぐ線を有する薄い灰色のボックスとして表わされる。空セルは白色のボックスとして表示される。 図6は、対称環境および非対称環境のための回転ヒストグラム(Rotation histograms)を示す。 図7はインライヤー選択を示す。軸は、検出された変換の主な優位な次元に対応している。各ポイントは、反復に従って灰色にされた候補変換を表わし、そこでアウトライヤー(中心から遠過ぎる幾つかのアウトライヤー変換は省略された)としてそれらがマークされた。中央の楕円における濃い灰色のポイントは、インライヤーとしてマークされた変換を表わす。該楕円は、具体的な続く繰り返しでの正常な予測値を表わす。 図8は、フロア抽出アルゴリズムの結果を示す。黒色の点は、獲得間のスキャナ位置を表わす。これらの場所は、初期のアクティブセルのセットを自動的に選択するために使用されてきた。 図9は、探索空間の縮小のための経験的パラメーター選択を示す。(左)幾つかのウォークスルーの間に観察されたフロアに対する平均高さに関するセンサーの偏差。(右)幾つかのウォークスルーの間に観察された垂直軸(Z)に関するセンサーの偏差。 図10は、場所認識(分類による追跡)のみを使用するドリフト解析を示し、ここで分類子は、複数の環境に関連するデータを含む。そのような実験に対するグラウンドトゥルースは、採用された誤差基準の記述に関する正しいビルにおける初期化された追跡モジュールによって生成された最終的な軌道と考えられる。 図11aは、図10に示されるドリフト解析をもたらすために使用されるサンプルパスを示す。破線は、完全なシステムを使用して予測されたグラウンドトゥルースパスを示す。実線は、分類による追跡を使用して予測されたパスを示す。黒色の円は、ユーザーが具体的なビルにおいて一意に特定されたフレームを示す。 図11bは、図10に示されるドリフト解析をもたらすために使用されるサンプルパスを示す。 破線は、完全なシステムを使用して予測されたグラウンドトゥルースパスを示す。 実線は、分類による追跡を使用して予測されたパスを示す。黒色の円は、ユーザーが具体的なビルにおいて一意に特定されたフレームを示す。 図12は、提案されたインライヤー選択アルゴリズムの結果を示す。 図13は、ビル内部のサンプルのウォークスルーの間のオドメーターの統合の結果を示し、ここでセンサーは、その位置を見失うことなく、マッピングされていない空間((右)に例証された、A)に移動し、その後、ビルの外側の2つのループ(CおよびD)を実行する。 図14は、アウトライヤーのない環境(上)およびアウトライヤーを有する環境(下)における、標準のICP(破線)と提案された強固な実装(実線)との間の追跡精度の比較を示す。 図15は、リュックサックを取り付けたセットアップのための追跡の間のシステム全体のパフォーマンスを示す。灰色の実線は、(数秒での)各フレームの処理に消費された時間である。横の破線は、Velodyne HDL−32Eセンサー(12Hz)を使用したリアルタイムの結果に関する最大の実行時間を示す。
本発明のさらなる詳細および利点が、添付の図面を参照して幾つかの限定しない態様および実施形態の以下の詳細な説明から明らかとなる。実際に、以下の詳細な説明は、本発明の範囲を限定するように解釈されるべきではなく、むしろ、通常の明細書、請求項および図面に提示された特定の態様を例証するように解釈されるべきである。
<好ましい実施形態の説明>
既に前に言及したように、本明細書に記載されるような本発明の好ましい実施形態の主な利点の1つは、リアルタイムの変化解析を提供するおよびGPSが繋がらない(例えば屋内)環境においてモニタリングする概念に存在する。ユーザーは、施設を歩き回りながら、携帯用デバイス上で施設を検査し、その変化を観察することができる。好ましい基礎的な方法論およびアルゴリズムが以下に要約され、その後さらに詳述される。
以前から知られていない(スキャンされていない)場所のための基本的なワークフローは、原則としては以下の2工程を必要とする:(A)T0での3D参照モデルの構築、および(B)T1での3D参照モデルに基づく、位置確認、追跡および変化解析。そのような場所を再訪するときに、または適切なマップが既に存在する場合に、工程(B)は十分なものとなる。
(A)3D参照マップの構造
3D参照マップは、以下に記載されるようなモバイルレーザーレンジスキャナに基づいて3D SLAM(同時の位置確認及びマッピング)の実装を使用して構築される。主な特徴は、好ましくは以下の通りである:
1)一定時間でのランダムサンプルのアクセスを可能にする効率的なマップ表示、高速最近傍探索、広範囲にわたるスケーラビリティ(以下のセクションA.2.を参照)。
2)SLAMフレームワークは以下を含む(以下のセクションA.3.を参照):
a)局所的なマップ表示への最後のクラウドの登録に基づいて現在の姿勢を推測するオドメーター。
b)作成されたマップにおいてドリフトを最小限にするために1セットのクラウドの軌道を精密化する局所的な軌道最適化。
c)ループが閉じたものを利用する環境の全マップを復元することを可能にする大域的な軌道最適化。
オドメーターは典型的にリアルタイムで実行される。マップ最適化は、後処理工程において実行することができる。
(B)3D参照モデルに基づいた位置確認、追跡および変化解析
リアルタイムの位置確認、追跡および変化解析は、一般に、上に記載されるように以前に作成された、環境の既存の3D参照マップを必要とする。主な構成要素は好ましくは以下である:
1)場所認識の間に、システムは、センサー姿勢についての事前知識なしで既知の環境の内部の現在の場所を特定する。それは、リアルタイムでセンサーを自己位置同定するために、場面の簡易且つ圧縮された記述子を予め計算し、探索空間を縮小する(以下のセクションB.2.を参照)。
2)センサーが既知の環境においてローカライズされると、システムは、標準のIterative Closest Point(ICP)方法を使用して3D参照マップの内部に現在の観察(3Dスキャン)を登録することによってセンサー姿勢の追跡を開始する。リアルタイムでセンサー姿勢を正確に追跡するために、システムは、多くの改善を実行する、例えば、高速最近傍探索用に特別に設計されたデータ構造を利用する(以下のセクションB.3.を参照)。
3)データ構造における最近傍情報を考慮すると、MLSPは、現在の観察における各スキャンポイントと3D参照モデルにおける最も近いポイントとの間の距離を効率的に計算することができる。変化解析は、純閾値をこの距離に単適用することによって実行される、例えば、参照モデルにおいて対応する近傍を有していない(または参照モデルにおいて対応する近傍を有しているが、閾値からさらに離れている)現在のスキャンにおける各ポイントが、変化であると考えられる。リアルタイムのユーザーインターフェースは、3D参照モデル、および変化有り/変化なしの分類に従った色分けされる現在の観察を示す。
A.3D参照マップの構築
外受容センサー(exteroceptive sensors)を使用する正確な3Dマッピングおよび6DOF軌跡の推定が、多くの分野における重要な問題である。リアルタイムで移動するレーザーセンサーが、それらの正確な深さ測定、高いフレームレートおよび広い視野により人気を得た。
1つの好ましい態様では、本発明は、スキャン中に移動するシナリオ(scanning−while−moving scenario)において取得プロセスを適切にモデル化する、同時の位置確認及びマッピング(SLAM)に対する最適化の方法またはフレームワークを提案する。各測定は、
における個別のセットの制御姿勢の線形補間として定義される連続時間軌道を考慮に入れることによって、マップ参照フレームに正確に再投影される。本発明はまた、ハイブリッドスパースボクセル化表示を利用する特に効率的なデータ構造を提案し、これは大規模なマップ管理を可能にする。このおかげで、本発明者は、軌道上の大域的な最適化を実行し、ループが実行されるときに蓄積されたドリフトをリセットすることもできた。
本発明者は、そのようなフレームワークが、最適化工程に含めることなく歪み効果を補うソリューションに関して位置確認及びマッピングを改善することを実験的に示した。さらに、本発明者は、提案されたデータ構造が、リアルタイムのSLAMを実行するためにマップサイズに関して線形または一定の演算時間を提供し、非常に大規模なマップに対処することを示している。
A.1.導入
3Dマップの作成および軌道の予測は、ロボット工学、自律誘導および監視における種々様々の適用のための基本的な構成要素である。同時の位置確認及びマッピング(SLAM)技術は、未知環境のマップを一緒に構築し、その環境でセンサーをローカライズする。標準のカメラ、深度カメラおよびレーザースキャナのためのSLAMの構成が提案されている。レーザースキャナに基づくほとんどのSLAMシステムは、スキャンのアラインメントを実行するために、様々なIterative Closest Point(ICP)アルゴリズムを使用する。リアルタイムの適用に焦点を置いたICPアルゴリズムのレビューは、3DIM,2001におけるS.Rusinkiewicz and M.Levoy,”Efficient variants of the ICP algorithm,”において見られ得る。Velodyneスキャナなどの、3D LIDARセンサーが、最近人気を得ており、これらのデバイスは、高データレートを有し、しばしば完全な360°の水平フィールドを提供し、距離測量の優れた精度を有している。
そのようなセンサー(スキャナ)は、移動しながら測定値を取得し、いたがって、軌道パスに沿って獲得したフレームを歪める(warp)非中心射影のシステムを表わしている。そのような作成されたポイントクラウドのアラインメントは、3Dポイントに対するワーピング効果の適切な処理を必要とする。IVS,2011におけるF.Moosmann and C.Stiller,”Velodyne SLAM,”において提案された、SLAMフレームワークは、センサーの現在の速度を考慮して各クラウドをアンワープし(unwarps)、ICPを実行し、および新しい推定速度で再びポイントをアンワープする。LOAMアルゴリズム(RSS,2014におけるJ.Zhang and S.Singh,”LOAM:Lidar odometry and mapping in real−time,”)は、各クラウドにおけるワーピング効果を除去するために、エッジおよび平面特徴に焦点を置くことによって、運動の継続的な予測を実行する。完全なフレームが生成するとき、それは、予測された最終的な姿勢を使用して、最終的なポイントクラウドをアンワープする。C.H.Tong,S.Anderson,H.Dong,and T.D.Barfoot,”Pose interpolation for laser−based visual odometry,”Journal of Field Robotics,vol.31,pp.731−757,2014の研究は、取得反射画像における一致した特徴に依存する連続時間のガウシャンプロセスモデル(Gaussian Process Model)(GPGN)を利用する補間を実行する。
本発明の好ましい態様では、最後に登録されたセットにまで構築されたマップに関して1セットの姿勢およびそれらの関連するポイントクラウドによって構成された軌道フラグメントを最適化するローカルウィンドウ機構を使用することが提案されている。
ポイントは、
のグループにおいて姿勢補間を使用して、ワールド座標に変換され、すべてのポイントをマップへと好適に位置合わせする軌道を発見するために、ICPの一般化が使用される。この構成では、アンワープする操作は、最適化戦略の一部である。
SLAMシステムのための重要な態様は、大きな環境に対するそれらのスケーラビリティおよび最適化ルーチンを支持するマップのリアルタイム管理である。一般に、一般的な八分木などのスパース構造、ボリューム周期的指標付け(volume cyclical indexing)を使用する密なボクセルマップ、またはボクセルヘイズ(voxel hazing)に基づいたスパース表示を使用して、スケーラビリティが達成される。一態様では、本発明は、3Dポイントをネイティブに処理する、および特徴の圧縮された密なリストに指標付けするために使用される、スパースボクセル化構造によって構成されたハイブリッド構造に基づく、データ構造に焦点を置いている。これは、マップサイズとは無関係のボクセル座標における一定時間のラングムアクセスおよびを調査された空間上にスケーラビリティを有するデータの効果的な保存を可能にする。本明細書で提案された構造は、大域的なマップ全体をメモリに維持することができ、グラフ最適化が利用される場合に局所的なセクションを更新する(例えば、ループが閉じたものを実行する)。
本発明の幾つかの実施形態の主な寄与は、(i)推定プロセスにおいてアンワープすることを組み込む一般化ICPアルゴリズムの使用、(ii)高速空間クエリおよび大きな環境管理の両方を可能にするマップ管理のための効率的な構造の使用である。本発明者は、公に利用可能なデータセットおよび追加の取得した屋内/屋外の環境を使用して、それらの手段を確証した。
セクションA.2.は以下に、マップ管理のためのデータ構造およびその利用可能な操作を示し;セクションA.3.は、最適化フレームワークを示し;セクションA.4.は、この方法で得られたショー実験結果を示し、およびセクション、A.5.は、幾つかの結論を導き出す。
A.2.マップ表示
リアルタイムのSLAM適用に適したデータ構造は、(i)保存された特徴への(平均での)一定時間におけるランダムサンプルアクセス、(ii)保存された要素の数に関する線形時間における網羅的な特徴反復、および(iii)クエリ特徴を考慮した高速最近傍探索を提供するはずである。さらに、それは、(iv)調査された空間上のスケーラビリティを提供するはずであり、および(v)特徴の追加および除去を効率的に支持するはずである。
性質(i)は、一般に密なボクセル表示に関連付けられ、ここでスケーラビリティに対するメモリ要件(iv)は、大きな欠点および網羅的な調査(ii)が遅いことである。性質(ii)は、逆に、スパース構造に関連付けられ、ここでメモリ要件(iv)は非常に緩いが、ラングムアクセス時間(i)が遅い(kd木の場合には対数)。必要とされる特性をすべて保持しながら密およびスパースな構造の両方の内在的利益を引き出すために、提案された好ましいマップ構造は、保存されたデータの5つの異なる表示を維持する。内部データ表示間の一致が、各マップの更新後に認められるべきである。
(i)特徴の圧縮された密なリスト、Lおよび最後の要素に対する指標、Llast、ここで各要素、l∈Lは、マップ(位置、正常および追加情報)における特徴に関連付けられた情報をすべて含む。
(ii)圧縮された密な有効度マスク、M、ここで各要素、m∈Mは、その対応するサンプル、l∈Lが有効であるか否かを示すブール値であり、これはm=0,1>Llastであることを確かなものとしている。
(iii)穴のリスト、H、ここで各要素、h∈H<Llastは、
が有効ではなく、そのため、
であることを示す。
(iV)各セル、v∈Vに保存する、パラメーターで表記可能なセル寸法で構築された、スパースボクセル表示V、Lにおけるその対応する特徴の指標。Lにおける特徴およびVにおけるセルは、lの位置およびVのセル寸法に基づいて、1対1の方法で関連する。本発明のスパースボクセル表示は、OpenVDB構造に基づいている(K.Museth,”Vdb:High−resolution sparse volumes with dynamic topology,”ACM Transaction on Graphics,vol.32,no.3,2013)。
(V)マップ上で最近傍探索を実行するために使用されるkd木、K。Kは、稠密リストLへの参照を保存して、そのメモリフットプリントを低く維持するだけである。必要に応じて(例えば、最後の観察場所まわりの領域に従って)、kd木はマップの局所的な領域に構築され得る。
特徴の稠密リストを有していることによって、全マップを網羅的に調査する時間は、含まれる要素の数が線形である。一方、OpenVDBのスパースボクセル構造およびキャッシングシステムを利用することによって、恣意的クエリが(平均での)一定のラングムアクセス時間で解決される。
新しい特徴pがマップに加えられることを考慮して、提案されたデータ構造が以下の通りに修正される:特徴の世界位置、pを考慮し、その対応するボクセルセル、vを計算する。セルが既に満たされている場合
、その関連情報は、
から取得され、その値は必要に応じて更新される。そうでなければ、(v<0)新しい特徴が構造に加えられる。それを行うために、Lにおける挿入位置、jは、以下の通りに計算され:
その後、内部値が以下通りに更新される:
このように、穴のセットが要素を含む一方で、特徴の追加は稠密な表示におけるギャップを満たす。穴が残ってないとき、特徴がリストの終わりに加えられる。
マップの特徴が削除されなければならない場合、その対応するボクセルセル、vは、前と同じ方法で計算される。vに保存された値は、稠密リスト、
における特徴位置を示し、値は以下の通りに更新される:
このように、特徴の削除は、Llastの値を更新することなく、稠密リストに新しい穴を生成する。MおよびHが操作中に正確に更新されるため、内部データ表示はまだ一貫しているが、あまりにも多くの穴の存在が、パフォーマンスの減少につながりかねない。
この問題に対処するために、本発明者は、特に好ましい実施形態において、LおよびM両方のベクトルにおいてスワップを実行することによって穴にリストにおける最後の要素を投入する圧縮された操作を導入すること提案している。Vにおいて影響を受けた値は、その後、新しい位置に従って更新され、Llastは、短縮されたリストの新しい最後の要素に移動される。この操作のコストは、穴の数に関して線形であり、そのため、
の場合、それは何もしない。
最終的に、最近傍検索のための高速機構を提供するために、中立点および半径によって表わされた対象の領域を考慮して、内部特徴が、Lに保存された要素上をループすることによって選択され得(マップにおけるサンプルの数に対する線形コスト)、kd木Kが再構築される。Kにおける要素は、Lにおける関連する特徴への参照を保存するだけであり、したがって、Kのメモリ空間は、小さく(対象の領域に存在する特徴の数が線形)および平均で一定に維持たれる。同じ操作が、ボクセル構造にアクセスすることによって全リストにわたって反復せずに実行することができる。本発明者は、実験のセクションにおいてこれらの2つの機構間の差を調査している。
木は、作成されると、新しい特徴が加えられた(Lにおける既存の要素が変更されなかった)としても、または既存の特徴が削除された(Lにおける要素が、穴としてマークされたが、それらの値が交換されなかった)としても有効なままとなるが、両方の操作が実行された(Lにおいて除去された要素が上書きされた)場合は別である。
提案された操作を効率的に実行するために、新しいkd木が必要とされるまで、好ましくはクラウドの追加は延期される。これが生じるとき、対象の領域の外側のマップにおける既存の特徴は削除されて、新しい穴が作成される。その後、延期されたクラウドが、対象領域の内部にある特徴を単に加えることによって加えられる。このように、以前に作成された穴は、一定時間で新しいサンプルで充填される。すべての追加後、まだ穴がある(加えられるよりも、より多くの特徴が削除された)場合、穴の残数に関する線形コストで、圧縮された操作が実行され得る。最終的に、Kは、Lの要素を使用して再構築され、新しいものが必要とされるまで使用され得る。
A.3.SLAMフレームワーク
本発明の好ましい最適化フレームワークは、以下の連続する2つのモジュールによって構成される:マップを考慮して各クラウドの姿勢を予測するオドメーターおよび1セットのクラウドの軌道を精密化する局所的な軌道オプティマイザー。両方のモジュールが、本明細書に記載されるようにマップデータ構造を利用して、成長しているマップを処理する。
マップMに保存された特徴はそれぞれ、ポイント世界位置p、その正常な単位ベクトルnおよび追加情報(例えば反射率)によって構成される。後者は、登録工程には使用されない。このフレームワークはまた、ループが閉じたものを利用する環境の全マップを復元することを可能にする大域的な軌道最適化を実行するために拡張され得る。
そのようなフレームワークの入力は、センサーによってストリーミングされたデータで作成された1セットの3Dポイントクラウド{C}である(Velodyneスキャナの場合には、ポイントクラウドは、センサーの完全な回転後に作成される)。各ポイントクラウドCは、1セットのポイントP={P},j=1・・・N、1セットの相対的なタイムスタンプT={t}および1セットの正常な単位ベクトルN={n}によって構成される。相対的なタイムスタンプは、生成された最初のポイントがタイムスタンプ0を有し、最後のポイントが1を有するように割り当てられる。正常な単位ベクトルは、ICRA、2011年、ポイントクラウドの格子構造のボックスフィルタリングの利点を生かして、ICRA,2011におけるH.Badino,D.Huber,Y.Park,and T.Kanade,”Fast and accurate computation of surface normals from range images,”において提案された制約なしの最小自乗構成で予測され得る。
<オドメーター>
最初に、各ポイントクラウドの姿勢を回復させることによって、センサーの軌道の第1の推定値を生成する必要がある。センサーが移動しているため、クラウドの代表的な姿勢として、最後のポイントが受信されたときのセンサー姿勢を考慮に入れる。
最後に受信したクラウドのポイントのサブセットとマップとの間のポイント−平面ICPを実行する。IVS,2011におけるF.Moosmann and C.Stiller,”Velodyne SLAM,”でのように、選択されたクラウドのポイントは、登録を実行する前に最後に予測された運動を考慮に入れることによってアンワープされる。
クラウドが登録されることを考慮して、前の2つの登録されたクラウド
の姿勢を使用して予測された最後の相対運動を考慮に入れる:
ここで、
は、逆マッピング関数ログ(・)を用いて、
の代数で表わされる(H.Strasdat,”Local accuracy and global consistency for efficient slam.”Ph.D.dissertation,Imperial College London,2012)。
その後、発明者らは、関連する法線
および相対的タイムスタンプ
を用いて、選択された点
のサブセットを考慮する。アンワープは:
を計算することにより、選択された点上で実行され、
式中、
は、クラウドCiの予測された姿勢であり、
および
は、予測されたクラウド姿勢
の局所的座標フレームにおいて選択された点である。
は、グループ
を代数
にマッピングする。
これらの要素を考慮して、発明者らは、アンワープな点と、法線
および
と、マップMとの間の点−面ICPを用いて、姿勢
を評価することにより登録を実行し、最初の推測として
を提供する。
その関連姿勢
を用いて登録された各クラウドCは、登録されたクラウドRCODOのリストに加えられる:
局所的軌道オプティマイザー
このモジュールは、インプットとして、それらの関連姿勢RCODOを含むクラウドのリストを得て、局所的なウィンドウアプローチの使用により軌道改善を実行する。リスト内の第1の姿勢と最後の姿勢との間の距離が閾値より大きいとき、クラウド姿勢が最適化され、新しいリスト
が、改善された姿勢および入力クラウドにより生産される。このステップが最適化におけるアンワープを適切に統合することに注意すること。
このステップにおいて最小化された目的関数e(・)は、各クラウドの個別の調整誤差e(・)の合計であり、以下の式で示され:
この式は、クラウドの第1の点および最後の点に関連する姿勢に依存する。シーケンスの第1のクラウドの最初の姿勢である
は、前に最適化されたセットの最後のクラウドの最後の姿勢であると仮定される。e(・)は、2つの姿勢間の
における線形補間により定義された、軌道上で一般化される点−面ICPの全誤差として計算され、以下の式で示され:
式中、
は、登録のために選択された点
に関連する時間tで補間された世界姿勢を表わす。
を考慮すると、現在の点、pNNおよびnNNの評価された世界座標は、それぞれマップから取得されたその最も近い点、およびその関連する法線である。
全目的関数は、収束基準が満たされるか、イテレーションの最大数が達成されるまで、ガウスニュートンステップ、およびマップにおける新しいコレスポンデンスの探索を交互に実施することにより最小化される。
発明者らは、R.Kuemmerle,G.Grisetti,H.Strasdat,K.Konolige,and W.Burgard,”g2o:A general framework for graph optimization,”in ICRA,2011において提案された種々の公式化を使用することを提案し:最適化は、摂動ベクトル
上で実行され、
の姿勢
上で、
代数の要素により構成される。合成演算は
として定義される。目的関数における項のヤコビアンは
として合成基準を適用することにより評価され、
同様に
にも適用される。方程式1における各項e(・)は1組の連続する姿勢を含み、したがって、近似されたヘッセ行列は、疎行列上のコレスキー分解のための法線アルゴリズムにより容易に扱いやすいブロック三重対角行列をもたらす。
一旦最適化が終了すれば、リストRCREFは最適化された姿勢により更新することができる。その後、クラウドの点および法線の全セットは、方程式3に従って世界座標に変換され、次に、マップMに加えられる。この段階で、発明者らは、段落A.2に記載された局所的なマップを更新するために、効率的な戦略を利用し:点を加える前に、発明者らは、第1に、最後の軌道姿勢から与えられた半径よりもさらに離されている全ての点をマップから削除し、その後、発明者らはRCREFから変換されたクラウドを加える。一旦マップが更新されれば、新しいkd木が、続く最近傍探索を可能にするために、結果として生じる点に作成される。リストRCODOは消去され、次のクラウド登録のためのオドメーター推測が、RCREFの最後の2つの姿勢に従って更新される。提案された公式は、移動中に点を得る、リアルセンサーモデルの付随的な仕様を表わし:世界座標における点変換は、各クラウドの最初および最後の姿勢を含む。さらに、各姿勢の評価(第1および最後のものとは別に)は、2つのクラウドに直接影響を受ける。
大域的軌道オプティマイザー
提案されたフレームワークは、軌道のオフラインの大域的な最適化を実行するために、拡張することができる。確かに、提案された局所的軌道オプティマイザーには、マップに既に加えられた点(および結果的な姿勢)を改善することができないという制限がある。局所的なスケールで環境を探索するとき、この制限は一般的に許容できるが、非常に大きな環境において移動するとき、ドリフトが蓄積される可能性がある。これらの場合に対して、環閉合または外部絶対測定を活用する大域的最適化技術を考慮しなければならない。
発明者らは、豊富なマップ仕様を利用する大域的な軌道最適化を提案し:マップにおける各特徴に対して、発明者らは、世界座標(pとn)におけるその位置および法線、局所的なセンサー基準座標系における、点pおよび法線単位ベクトルnの本来の座標、相対的なタイムスタンプt、およびそれを考案するクラウドのインデックスIDを加える。クラウドインデックスおよび軌道を考慮すると、点および法線の局所的な座標が余分な情報であるということが指摘される可能性があるが、発明者らは、再計算を回避するためにそれらを記憶するほうを好む。
発明者らは、2のマップMおよびMを使用することも提案し、それらはそれぞれ局所的および大域的なマップである。Mはオドメーターおよび局所的軌道オプティマイザーモジュールにより使用される。発明者らがMから点を除去する必要があるとき、発明者らは、その代わりに大域的マップにそれらを移動させる。さらに、局所的オプティマイザーの各ステップにおいて、一般化されたICP内で使用される選択されたコレスポンデンスは、リスト
に加えられ、式中、その関連する法線
およびタイムスタンプ
と共にクラウド
から得られた各クエリ点
のために、発明者らは、最適化の最後のステップで、使用される最近傍に関連したMデータから、以下のものを検索する:その位置
、法線ベクトル
、クラウドインデックス
、およびタイムスタンプ
。その情報全てがセンサーの局所的な座標内にあることに注意すること。
発明者らが全クラウドを記憶する必要がなく、記憶するものは各ステップでマップに加えられる点のみであることを考慮すると、マップ内に局所的な情報を有することは、このステップにおいて基本であり、メモリ要求は低いままである。新しいクラウドを追加するとマップの古い点が上書きされる可能性があるため、リストLは、局所的オプティマイザーの各ステップの後に追加されなければならないことに、注意しなければならない。
同様に、局所的最適化ステップにより改善された姿勢
を積み重ねることにより、クラウドに関連する全ての姿勢のリストを作成する。Nクラウドを考慮して、姿勢リストがN+1の要素を含むことに注意すること。大域的軌道最適化は、
を最小化することにより実行され、式中、
である。
目的関数は、方程式5において、一般化された点−面ICPをなお表し、そこでは、クエリおよびモデル点の両方が局所的座標において表現され、それらのクラウドに関連する姿勢および補間タイムスタンプを用いて世界座標へと転換される。
合計の各項が、わずか3つ(
のとき)または4つの全軌道の姿勢しか含まないため、ガウス・ニュートンにより方程式5を最適化することはなお、まばらに近似されたヘッセ行列を結果としてもたらすが、その行列は、同じクラウドからの2つの点が、異なるクラウドの点に関連する可能性があるため、三重対角なブロックではない。このような理由で、R.Kuemmerle,G.Grisetti,H.Strasdat,K.Konolige,and W.Burgard,”g2o:A general framework for graph optimization,”in ICRA,2011.において提案されるように、発明者らは、グラフ最適化アプローチを使用する。
計算時間を縮小するために、特徴が局所的軌道オプティマイザーにより適切に一致すると仮定し、特徴の関連性を一度も再計算しないということが提案される。一旦最適化が終了すれば、大域的および局所的なマップの両方は、全ての特徴の世界座標を計算することにより更新される。
この最適化は、全軌道を改善するために、クラウドの完全なシーケンスに適用することができる。さらに、ループ検出が存在するとき、ループを表すコレスポンデンスは、全体の姿勢を改善する軌道を推定することを可能し、正しくループが閉じることを妨げる。
しかしながら、そのような大域的最適化は、全体の軌道に沿って実施される全ての姿勢および全ての関連性を含むため、実時間計算には適さないことに注意すること。
しかしながら、適切な情報を保存することにより、現在のデータ構造が、大域的最適化および環閉合のために使用することができるということが示される。大域的軌道改善は、M.Nieβner,M.Zollhofer,S.Izadi,and M.Stamminger,“Real−time 3d reconstruction at scale using voxel hashing,”ACM Transactions on Graphics,2013において提供されたように、姿勢グラフ最適化ソリューションを用いてより効率的に実行される可能性があるが、メモリ内に大きいマップを維持する能力が、ループが閉じた後にマップを再作成ための主要因である。
A.4. 実験結果
発明者らは、Velodyne HDL−32Eを使用して得た実際のデータセット上のシステムを試験した。第1のデータセットは、約10×35×3メーターの室内環境を探索中に、センサーを携帯するオペレーターにより得られた。同様に、第2のデータセットは、約16×65×10メーターの屋内の工業用建物の中で得られた。第3のデータセットは、各辺の長さが約500メーターの街区内で4回のループを実行し、通常な交通状況において運転する間に、自動車の屋根の上に取り付けられたセンサーにより得られた。さらに、発明者らは、様々な都市環境および様々な速度において得られた、車に取り付けられたVelodyne HDL−64Eの取得物を提供する、公的に入手可能なKittiデータセット(H.Strasdat,”Local accuracy and global consistency for effiCient slam.”Ph.D.dissertation,Imperial College London,2012)に対するフレームワークを評価した。Kittiトレーニングデータセットは、GPSで測定された各単一追跡のグラウンドトゥルースも入手可能にする。しかしながら、提供される3D点クラウドは、内蔵されたオドメトリシステムで推定された動きを使用して、既にアンワープされている。このような理由で、発明者らは、固有の生データが入手可能であったトレーニングトラックのみを使用した。
局所的軌道最適化は、得られた環境の高解像度ローカル3Dモデルを生成するために使用することができる。生成されたモデルの品質を確認するために、発明者らは、2mの局所的最適化を引き起こす閾値を有する1cmのボクセル解像度を使用して、2つの屋内のデータセットを処理した。これは、第1のデータセットに対しおよそ800万点、および第2のデータセットに対しおよそ2400万点を結果的にもたらす。その後、参照モデルは、J.Yao,M.R.Ruggeri,P.Taddei,and V.Sequeira,”Automatic scan registration using 3d linear and planar features,”3D Research,vol.1,no.3,pp.1−18,2010.の方法を使用して、高解像度ZF 5010Cスキャナでとられた環境のペアの登録するスキャンにより作成されていた。発明者らは、2つのモデルを正確に登録して、それらの間の点点距離を計算していた。目視可能な歪みはモデル内に存在せず、2つのクラウド間の距離のヒストグラムは、0.02m未満のピークを有し、そのピークは、使用したVelodyne HDL−32Eセンサーの公称確度以内である。
トラッキングの品質および蓄積されたドリフトを評価するために、発明者らは、センサーの生の読み取り値(合計10のトラック)を入力データとして使用し、全てのKittiトレーニングデータセット上で、本フレームワークを実行した。さらに、最適化フレームワークにセンサーモーションを組み込む利点を実証するために(内蔵のオドメトリシステムで推定された動きを使用してアンワープされた)、データセットの公式の前処理されたクラウドを用いて、同じトラック上でも本システムを実行した。この場合、発明者らは、最適化中にいずれのアンワープも実行しなかった(すなわち、オドメトリモジュールだけを使用した)。これらの実験のために、マップにおいて15cmのボクセルサイズが使用され、環閉合は実行されなかった。図2は、100m、200m、...、800mの長さの軌道セグメントを使用して生成された、平均相対並進運動および回転の誤差の観点から、両方の実験結果を示す(採用された誤差メトリックの仕様のためのH.Strasdat,”Local accuracy and global consistency for effiCient slam.”Ph.D.dissertation,Imperial College London,2012を参照のこと)。最適化フレームワークへとアンワープするクラウドを組み込むことで、よりよい結果がもたらされ、並進運動および回転ドリフトが減少することが明らかである(特に平均0.3点パーセント改善された並進運動誤差)。LIDARデータ(LOAM)を単に使用するKittiベンチマークのための技術アルゴリズム(the art algorith)の現在の状況の方がよりよく実行されることに注意すること。それは本来のアンワープされた点クラウド上で直接確認され、1Hzのみでクラウドを処理するが、そのことを注意しなければならない。
環閉合を統合した後に提案される大域的最適化戦略で導入された改善を評価するために、発明者らは、単一のループを含むKittiデータセットのサンプルトラック上でこの特徴を使用可能にした。それらのループ検出機構は非常に単純であり、実際のアプリケーションに適しておらず:現在の姿勢とはるかに前の姿勢との間の距離が、閾値よりも低いとき、ループが検出される。その後、発明者らは、大域的マップ上で最後のクラウドを登録し、これが成功する場合、発見されたコレスポンデンスを大域的最適化に追加する。図3は、検討されるトラックにおける環閉合の効果を示す。実験結果は、オドメーターおよび局所的に最適化された軌道の両方にわたって、大域的最適化が改善されたことも示した。
発明者らは、システムを、取得される点クラウド上で動き補償も実行する、公に利用可能な、Velodyne SLAM[F.Moosmann and C.Stiller,”Velodyne SLAM,”in IVS,2011]と比較した。2つのシステムを比較するために、発明者らは、アウトドア用の車のデータセットを使用して蓄積されたドリフトを測定した。同じ場所が複数回再訪されるので、発明者らは、最初の局所的なマップを、各次の通路で生成されたマップと共に登録することで、ドリフトを推定した。現在の局所的なマップを当初のマップに位置合わせする、登録の並進運動と配向のコンポーネントは、どれだけのドリフトが蓄積されたか示す。[F.Moosmann and C.Stiller,”Velodyne SLAM,”in IVS,2011]の顕著な特性の1つは、軌道推定に良い影響を与える一連の発見的試験に基づく、マップ改善戦略(適応(adaption)と呼ばれる)が存在することである。本システムは、その問題を適切にモデル化することにより最適化戦略に焦点を当てているため、発明者らは、分析を軌道推定に集中させる当初の作業におけるこの特徴を無力化した。各ループ後の結果が、表Iに示される。発明者らが当初の作業よりも少ないドリフトしか蓄積していないということがわかる。さらに、本システムは、Velodyne SLAMの発見的戦略ほども少ない構成パラメーターを必要としない問題の自然的な構成である。本システムの実行は、実行時間の観点から、および環境の大域的マップを維持する能力において、Velodyne SLAMシステムより優れている一方、原作においては、局所的なマップのみ維持されている。大域的マップを使用する能力は、第1のループで蓄積されたドリフトを修正するために 環閉合および大域的最適化技術を使用する場合、ならびに次のループのための大域的マップを使用する場合に確認されている。
提案されたマップ表示の性能を評価するために、発明者らは、Intel Xeon E5−2650 CPUを搭載したPC上でアウトドア用の車データセットを実行する間に、各動作の実行時間を測定した。
予想通りに、追加動作は、マップに加えられる特徴の数に関する線形時間内で実行され、特徴当たりの平均時間は36.4nsであり、HDL−32Eセンサーでは1.81msの平均クラウド書き込み時間を与える。
本SLAMフレームワークにおける削除動作は、kd木を更新する直前に、単に局所的なマップ上で実行される。
表I:ドリフト誤差レポート
削除される特徴は、関心地点(例えば、最後に評価されたセンサー姿勢)のまわりで半径探索(radius search)を実行することにより選択され、大域的マップへ追加される結果は、平均30.84nsかかる、特徴当たりの一定の削除時間を示す。
局所的なマップから削除される特徴の選択は、以下の2つの手法で実行することができる:ボクセル構造を使用する、または密なリスト上で繰り返す。図4(a)は、マップに記憶された特徴の数と探索半径に基づく、平均探索時間を示す。密なリストを使用すると、いつも同じ性能(半径探索は無関係に、記憶された特徴の数に対して線形)が提供されることが分かる。一方、ボクセル探索時間は、半径が増大するとともに増大し、全ての場合において、最悪な結果を提供する。
点は大域的マップから削除されないので、圧縮された動作は局所的なマップのみでしか発生しない。新しいkd木が要求されるまで新しいクラウドの追加を延期する、提案された戦略のおかげで、7.79%の時間のみ、作成されたホールの数は加えられた特徴の数より大きく、そのことが圧縮された動作を実行するために必要であった。この場合は、実行時間は、残っているホールの数に関する線形挙動を示し、各動作の平均時間1.81msである。
最終的に、環閉合動作のために、関心領域の周囲で大域的マップに問い合わせを行わなければならない。局所的なマップで発生したように、この選択は2つの手法で実行することができる。図4(b)は、ボクセル構造および密なリストを使用した結果を示す。90メートル未満の半径探索のために、ボクセルは密なリストを過剰に実行することがわかり得る。しかしながら、半径が増大すると、内部のスパースボクセル構造におけるキャッシュが失敗することで、高い性能ロスがもたらされてしまう。
局所的軌道最適化がアクティブでないとき、システムは、12.93Hzで(すなわち、Velodyne取得率に関するリアルタイムにおいて)、クラウドを処理することができる一方、周波数は、局所的な軌道最適化を使用して、リアルタイムに近い7.5Hzまで減少される。登録と局所的最適化はマルチスレッドにおいて実行するようにコーディングされないことが分かり、したがって発明者らは、オドメーターおよび局所的最適化の両方において、性能が向上し得ることを予想する。
オドメーターモードにおいて、クラウドの登録で費やされた時間は合計で54%である一方、局所的最適化モードにおいては、30%の時間がオドメーターの登録に費やされ、35%の時間が局所的軌道最適化のため費やされる。オドメーターモードに取り組んでいるとき(第1列)、および局所的軌道最適化を実行するとき(第2列)に、登録が最近傍探索時間を含むが、局所的および大域的なマップ上で実行された各動作の影響が、表IIで要約されている。局所的なマップにおける追加、削除および圧縮された動作は、表において、それぞれadd、delete、compactとして示され、削除時間は、局所的なマップにおける点選択、および大域的マップへの追加も含む。局所的なマップ全体にわたってkd木を構築する影響は、表において、kd木として示され、最後に、局所的なマップの削除された点を大域的マップへと追加することの影響は、表において、add g.として示される。
表II:システム性能
A.5. 結論
本明細書は、移動式レーザーを使用して取得する点クラウドの局所的最適化のためのフレームワークを提示する。特に、発明者らは、その開始位置および終了位置との間で得られた各点クラウドを補間することにより、捕捉動作を最適化へと組み込んだ。発明者らは、公に利用可能なデータセットを使用して、正確にセンサー移動をモデル化することにより、オドメトリ推定の誤差を減らすことが可能であることを、実験的に示した。
さらに、まばらな特徴により構成された、大きくボクセル化された3Dマップを管理するために、効率的なデータ構造が提示される。マップのデータ構造は、局所的マップ最適化、およびオフラインの大域的最適化の両方に適している。それらの実験は、前の問題のために、リアルタイムオドメトリ、およびほぼリアルタイムの局所的な改善を提供するような構造を示す。これらの性能は、局所的軌道最適化が実行されるとき(例えば、最近傍探索、クラウドのアンワープ)、マルチスレッド動作を利用することにより、さらに向上させられてもよい。
B. 3D参照モデルに基づく位置確認解析、トラッキング解析、および変化解析
八分木またはkd木に基づいたアプローチは、最近傍(典型的には、マップサイズに関する対数)および良いスケーラビリティに対して合理的な探索時間を提供する。それらのアプローチにおいて、発明者らは、密なボクセル表現によって提供される高速のランダムアクセス、および疎データ構造によって提供されるスケーラビリティを組み合わせる代替的なボクセル表示を導入する。
正確な姿勢トラッキングを確実にするために好ましいシステムは、ICPアルゴリズムにとってよい幾何学的な安定性を確実にする登録プロセスで使用される、点の効率的な選択を実行する。その後、効率的にアウトライヤーを切り捨てる戦略は、登録が、大域的に一貫している(インライヤー)コレスポンデンスのみを使用して実行されることを確実とする。
ユーザーがマップを放置していた時や、観測された環境が最初に取得したモデルと大きく異なる(家具が変更された場合など)場合でさえ、本発明の好ましいフレームワークは、登録プロセスにおいて、グランドトゥルースモデル(ground truth model)に関し、リアルタイム追跡が可能であるロバストオドメーターを結合させる。既知のマップを再入力することにより、システムは自動的に正しい位置を回復し、したがってドリフトの蓄積を防ぐ。
B.1.以下に記載される好ましい実施形態の主な利点
1) 事前計算された記述子を使用し、グランドトゥルースマップ(ground truth map)へのアクセスを避けて、非常に大きな環境でセンサーを位置確認する、スケーラブル場所認識戦略。
2) 一定時間の最近傍探索および低メモリ占有領域(footprint)を提供する、マップを表示する効率的なデータ構造。
3) 幾何学的に安定した結果を保証する迅速な点選択戦略。
4) 登録プロセス中のアウトライヤーの干渉を効率的に除去する、インライヤー選択技術。
5) 局所的オドメーターと、静的なアウトライヤーを開発し、ユーザーがマッピングされていない領域を通行できるようにする、グランドトゥルースマップ(ground truth map)に対する登録との、間の結合。
6) 高精度でリアルタイムの結果を提供する、完全なシステム。
下記の記述は以下のように構成される。セクションB.2.は、好ましいオンライン場所認識および再位置確認戦略を提示し、セクションB.3.は、一旦ユーザーの姿勢が既知の環境で特定された場合にオンライン追跡を実行する方法を示す。次いで、セクションB.4.は実験結果を提示し、最後に、セクションB.5.は結論を導き出す。
場所認識
場所認識コンポーネントは、演繹的情報なしでユーザーの位置および方向の初期推定の回復を処理する。これは、現在のセンサー観測が行われたら、候補位置を提供するために、フレームレートでオンラインで実行することができる。さらに、遠隔地または異なるマップにさえ関連する(したがって、メモリにロードされない)候補姿勢を提供しうるので、スケーラビリティのためには、実行時にマップモデルを使用すべきではない。これらに2つの要求を満たすために、(1)利用可能な姿勢の探索空間を縮小させ、(2)観測が行われたら特定の場所にいる可能性を効率的に推定する、ロバストで圧縮された分類子を仕立て上げるために、前処理段階を導入することが好ましい。
探索空間縮小
最初に、好ましくは、マップ全体の中で通行可能な領域を検出する。これらの領域は、環境の探査中にセンサーが配置されうるボリュームとして定義される。さらに、概して、一般性を失うことなく、マップモデルZ軸が重力ベクトルとおおむね一直線になっていると仮定しうる。
発明者らは、グランドモーション(センサーが取り付けられたリュックサックまたは車両)に焦点を当てたので、通行可能エリアは、通行可能フロア上の比較的狭い空間にあると予想される。このため、まず、フロアの範囲を識別する。フロアの抽出は、環境Vのスパースボクセル表示上で実行され、各フルセルv(i)は、重心
の周りの点によって局所的に定義される表面に対する法線ベクトルを含む。それらの関連する法線内の垂直成分が支配的であること、すなわち、
εが典型的には0.5と1の間の値であることをチェックすることにより、候補フロアセルF⊆Uを表すボクセルの部分集合を抽出する。しかしながら、この制約のみでは、フロア(例えば、テーブルまたは空の棚)として、非常に多くのセルを分類することにつながる可能性がある。
この問題に対処するために、発明者らは、到達可能性(reachablilty)の概念を導入することを提案する。到達可能セル(reachable cell)f∈Fを与えられると、下記条件が満たされる場合、周囲のセル(g(1),g(2),...,g(m))∈Fはすべて、到達可能とみなされる。
(6)におけるθ≧VcellSizeは、最大歩幅(例えば、歩行動作の場合0.5メートル、または車の動作の場合はVcellSizeを表し、(7)におけるθは、歩幅の最大垂直サイズを表し、(8)における
は観測者の単純化された体積を表し、フロアセルg(本実施における境界シリンダ(bounding cylinder))上に中央に置かれる。
最初の到達可能セルは手動で提供することができるが、しかし、マップの生成は、好ましくは、到達可能セル上にスキャナを置くことにより行なわれるため、この初期化は、取得位置より下のフロアセルを到達可能と仮定して自動的に実行することができる。
これらの条件によれば、全てのフロアセルF⊆Fの検出は、最初にAが到達可能セルの第1のセットを蓄積するアルゴリズムを示す表IIIに例証されるように、フラッディングアルゴリズムスタイル(flooding−algorithm style)で実行される。
一旦フロアが識別されると、通行可能空間Nは、
であるフロアセルの上のセルのセットn(i)∈Nとして定義される。
精度を損なうことなく通行可能空間をさらに減少させるために、発明者らは、有効な通行可能空間N⊆Nを提供するシステムの特定の操作性に関連する物理的制約(例えば、特定のセンサー取り付けのために取りうるセンサー姿勢に対する垂直および角度の限界)を導入することを提案する。このような制約は、サンプルデータセットに対する一連の実験を実行することによって経験的に選択される(セクションB.4.参照)。
姿勢分類子
姿勢分類子を構築するために、まず、それぞれの単一の観測の圧縮された表示を定義する必要がある。特に、発明者らは、Taddei,P.,Sanchez,C.,Rodriguez,A.L.,Ceriani,S.,Sequeira,V.,2014.Detecting ambiguity in localization problems using depth sensors.In:3DV:によって定義された単純で高速な計算され圧縮された記述子を採用する。レンジ画像をW×H通常のビンで分割し、それぞれについて、中央範囲値を推定する。これらの値はすべて、観測されたフレームdの記述子の中で積み重ねられる。
次いで、既知の有効な通行可能空間N⊆Nにおいて1セットのトレーニング姿勢
を生成する。各姿勢
について、3Dマップを、提供された姿勢に整列されたセンサー画像面にレイキャスティングすることによって深さ画像を合成し、発明者らは、生成された深さ画像からその記述子
を抽出する。それらの対応する姿勢
に生成された記述子
をすべて写像するkd−木
を構築する。記述子qを与えられると、記述子空間において接近している位置/記述子のペアのセットは、記述子空間の対数的複雑さを伴うT上で有効な探索を行なうことにより検索することができる。トレーニングサンプル
のセットが与えられると、例えばGlocker、B.、Izadi、S.、Shotton、J.、Criminisi.A.、2013.Real−time rgb−d camera relocalization.In:ISMAR.に記載されているように、より圧縮された分類子を構築することも可能であることに注意されたい。しかしながら、Nは、メモリ内にフルトレーニングセットを保持し、kd木の記述子空間内の放射状の最近傍探索による分類を実行するのに十分小さいものであったことを、発明者らは実験的に観察した。
実行中に、現在の観測が与えられた姿勢分類子を使用して、最も可能性のある位置を回復する。特に、発明者らは2つの異なる段階のプロセスを分割する:演繹的情報が利用できない時に、可能性のある位置の推定を処理する初期化と、および、候補位置の評価およびそれらの再サンプリングを処理する更新と、である。
初期化ステップにおいて、単一センサー観測が与えられると、センサーの可能性のある位置のセットを導き出す必要がある。発明者らは以下のように進めることを提案する:
1.最後のセンサー観測が与えられると、その関連する記述子を計算し、記述子空間内の閾値rを付与されたT上での放射状探索を実行する候補位置Γのセットを回復する。360水平視野を提供するセンサーの場合、範囲値を水平方向にシフトして追加の入力記述子を計算することにより、候補位置を増加させ得る。各記述子は、局所的軸上で回転すると、センサーが生成する示度に対応する。生じた候補位置の各セットは、その後、iに従って回転する。
2.各潜在的な場所Γ∈Γに重み
を関連付ける。
は、Tから検索された位置Γに関連する記述子である。完全に一致する記述子については、
は1であり、探索球境界上の記述子については0である。
3.最後に、重みをwに集め、標準化してmaxw=1とする。
更新段階は、関連する重みw=w,...,wが与えられてセンサーが動く間に、可能性のある位置Γ=Γ,...,Γの更新を処理する。このステップでは、次のセクションで説明される手法に従って、先行処理に1つのクラウドを登録するオドメーターを使用することに注意されたい。発明者らは特に以下のように進める:
1.オドメーターおよび現在の観測を使用してΓにあるすべての場所を更新する。
2.最後の潜在的な位置が作成されてから所与の距離を移動すると、最後の観測から新しい記述子qが計算される。これは、初期化段階のステップ1と同様に、一連の可能性のある位置
を、Tから検索するために使用される。
3.それぞれの可能性のある位置
に関連する重みは、次のように計算される。
すべての重みが計算されると、最大値が1になるように標準化される。
およびw=wを更新し、更新段階の反復を繰り返す。
方程式(9)は、それぞれの可能性のある位置に関連する重みを、Dubois,D.,2006.Possibility theory and statistical reasoning.Computational Statistics and Data Analysis 51(1),47−69,the Fuzzy Approach to Statistical Analysisで同様に可能性理論において表現されたベイズ定理を用いて計算する。(9)の個々の項は以下のとおりである。
方程式(10)は、初期化段階のステップ2と同じ方法で姿勢
が与えられると、記述子qの可能性を推定する(多重入力記述子の場合は、それぞれを個別に考慮する必要がある)。方程式(11)は、潜在的な場所Fのセットにおいて最も適合する位置を見つけることにより、姿勢
に存在する可能性を評価する。この適合性は、前の潜在的な姿勢Γと姿勢
との間の重み付き相対距離(方程式(12))として定義される。方程式(13)は、トレーニングセットのサイズに関して検索される近傍の数を比較することによって、現在の観測の特徴を推定する。例えば、廊下にいるような非常にあいまいな姿勢は、多くの結果をもたらし、非常に曖昧になる。
更新段階は、潜在的な姿勢が単一の位置に収束するまで、すなわち重みに従い計算された重心Γの共分散が小さいときに反復される。この時点で、問題が解決されたとみなし、姿勢追跡コンポーネントが開始される。
上記で概説した好ましいシステムは、単一のセンサー観測を使用する高速ブートストラッピングを伴う、可能性のある位置の反復的再重みづけに基づいている。大規模なマップへのスケーラビリティの重要な因子は、関連する姿勢を伴うkd木構造における参照マップとその構成からの軽量記述子の事前計算である。このようにして、記述子空間内のクエリを使用して、第1の観測が与えられた候補位置でシステムを効率的に配置する。次いで、後続の更新ステップでは、記述子空間内の推定された動きおよびクエリを使用して、新しい可能性のある位置のセットおよびそれらの関連する重みを導き出す。
このアプローチは、粒子フィルタを使用する、[Thrun,S.,Fox,D.,Burgard,W.,Dellaert,F.,2001.Robust monte carlo localization for mobile robots.Artificial intelligence 128(1),99*141]および[Thrun et al.(2005)Thrun,Burgard,and Fox]に提示される一般的なMonte Carlo Localization techniquesと適合する。しかしながら、これらの技術は、位置確認問題の全段階を解決するために、センサー確率分布を一連の重み付け粒子でそれに接近することによって正確に推定することを目的としている[Thrun,S.,Burgard,W.,Fox,D.,2005.Probabilistic Robotics(Intelligent Robotics and Autonomous Agents).The MIT Press]。
一旦固有の位置が識別されると、正確な姿勢追跡が後続の追跡コンポーネント(セクションB.3.)によって実行されるので、本場所認識コンポーネントは、代わりに、迅速かつ粗い姿勢推定しか必要としない。さらに、本システムは、可能性のある位置が処分されないようにしなければならず、したがって正確なセンサー姿勢確率密度推定を必要としない。このため、セクションB.4.が示すように、通行可能空間の高密度のサンプリングを必要としない。しかしながら、サンプリング密度が低いと、粒子の初期化の誤りのために追跡ロスをもたらしうる。この問題は、更新段階が行なわれるごとに、粒子の新しいセットを導き出すことにより克服される。
B.3.姿勢追跡
姿勢追跡コンポーネントは、センサーが環境の周りを移動する際のセンサーの局所的な動きの計算を処理する。以前に推定された姿勢がわかり、新しい取得が受信されると、発明者らは、マップと観測された点との間の局所的な登録を行う。生じた変換から、暗黙の動きが推測され、以前に推定された姿勢に適用される。
リアルタイムでセンサー姿勢を正確に追跡するために、(1)最近傍探索のために特別に設計されたデータ構造を採用すること、(2)安定した代表的な入力点の部分集合を正しく選択して登録を行うこと、が重要である。それにもかかわらず、正確な推定を保証するために、(3)異常値を適切に検出しなければならない。これは、大きな支配的方向がほとんどない変性環境、例えば長い廊下、トンネル、または間違った登録を妨げる適切な点が少ない対称環境、において特に重要である。
マップ表示
現在提案されているマップ構造では、2つの異なる要素のリストが格納され、同期される。すなわち、圧縮された面のリストL、および、特定のボクセルサイズで構築された密集したボクセルグリッドVである。各面l∈Lは、ワールド座標pの位置と単位法線
を格納する。各ボクセルv∈Vは、フル、空(empty)、または近傍の、いずれかの現在の状態を格納する。フルボクセルは、関連する位置がおさまっている平面
へ指標を格納する。特に、ボクセルに属する参照マップ点は、平面パラメーターを推定するために使用される。空(empty)セルはヌル参照を格納し、近くのセルは、ボクセル中心までの関連位置距離dが最も短い平面
へ、指標を格納する。本発明者らは、距離dが所与の閾値dmax未満である場合にのみ近傍ボクセルを考慮することが好ましく、そうでない場合、ボクセルは空であるとみなされることに注意されたい。図5は提案された表示を示す。
このマップ表示で、最近傍探索はすべてオフラインで事前計算され、密集したグリッドの内部に格納される。ワールド座標中のクエリ点を与えられると、ランタイムでは、発明者らは、それを含むボクセルを計算することによって、そのマップにおける最近傍の計算を近似させる。その後、セルの状態がフルまたは近傍の場合、関連面が返される。そうでなければ、近傍がないことが通知される。
提案されたアプローチ(1)のために、単一の探索の間に実行されるすべての操作は、マップのサイズに関係なく、一定の実行時間を提示することに注意されたい。比較すると、kd−木構造は、平均して、マップのサイズに関し対数時間を提供する。さらに、適切にdmaxを設定することによって、ICPで最近傍を捜す時に、あまりにもかけ離れているコレスポンデンスの最初のアウトライヤー拒否(an initial outlier rejection of correspondence)を暗黙のうちに実行する。
密集したボクセル構造を用いて大規模な環境を表示することの主な欠点は、そのメモリ占有領域(footprint)である。発明者らは、中間ノードが32×32×32ノードのブロックである3レベル階層構造を使用して、この問題を解決する。このように、ノードが完全に空の場合、格納されなくともよく、かつ、2×2×2の提案されたリーフサイズが与えられると、2バイトのみを使用して各単一の内部セルに対処でき(address)、余分なビットを加えて、空いているセルをマークすることができる(15+1ビット)。さらに、本実施形態は、センサーの範囲内の部分のみがメモリ内になければならないようにストリーミングを可能にする。センサーの移動速度は関連するロード動作よりも桁違いに小さいので、オンライン実行メモリの要件は常に制限されており、マップは常にセンサー姿勢の周辺で更新される。
点選択戦略
現行の取得の点の選択された部分集合は、登録中に、あまり定義されていない自由度を正しくロックできる程度に十分に表していることを確実にするべきである。[Gelfand et al.(2003)Gelfand,Ikemoto,Rusin kiewicz,and Levoy]に記載の作業と同様に、発明者らは、点−面距離(point−plane distance)のトランスフォーメーションベクトル
による点pおよびそれに関連する法線
の寄与を考慮する。これは、小角度近似を用いて回転を線形化することにより、次のように表示することができる:
方程式(14)の中の回転だけを考えれば、点−面距離に導入された誤差は、センサーおよび、その法線と視線(viewing ray)との間の角度に関する点の距離に比例する。これにより、視線に関して可能な限り法線が垂直である遠点および点が選択される。残念ながら、レーザーを移動させることで均等でない分布点が生成され、特に、遠方の領域は、より低い点密度で取得され、したがって、推定されていない法線をほとんど提供しない。同様に、循環性の環境については、センサーが対称軸に接近する時、視線と法線の間の角度は消滅する。
発明者らは、並進と回転を明確に区別することによって、これらの問題を解決することが好ましい。適切に並進を制限するために、点法線のみを考慮する。それらは、次のように、並進Cのための共分散行列を計算する:
そして、関連する固有ベクトル
および固有値
を抽出する。その後、取得点は、3つのビン{b,b,b}に以下のように分類される:
3つのビンが均衡している場合、並進の自由度は等しく制限される。一方で、変性のケース、例えば長い廊下、においては、1つのビンは、他のビン、例えば、関連する法線が縦軸に平行である点を含むもの、よりもかなり集合が疎である(considerably less populated)。
方向に関しては、位置と法線の間のクロス乗積を使って主な回転軸を計算する。生じる分散行列は次のように定義される:
並進と同様に、関連する固有ベクトル
、および固有値
を計算する。次に、入力クラウドからの点は、次のように3つのビン{b,b,b}に分類される。
各ビンについては、センサーへの距離に応じて、含まれる位置の重みづけ平均として回転中心を近似させる(この近似はセンサーについては有効である。他の視野では代替近似が必要な場合がある):
そして、次に、ビン中の各点については、その対応する固有ベクトルxに対する回転のロッキングにどのくらい寄与しているかが次のように推定される:
方程式(15)の中の最初の項は、回転軸に対する垂直性に応じて、与えられた点法線の影響を重み付けする(垂直に近いほど重くなる)。第2の項の分子は、点に回転中心を結合するベクトルと、法線と回転軸によって定義される平面に垂直なベクトルとの間の角度を計算することによって、回転をロックする際の質を推定する。最後に、分母は、範囲[0..1]中の結果を標準化し、したがって、点選択はセンサーまでの距離とは無関係である。
小値dに関連付けられたビンが多すぎる点が含む時、考慮する軸の周りの回転はほとんど制限されない。最高値を備えた点だけを選択する必要がある。図6は、対称性が高い環境および回転が適切に定義された環境から回収された値dのサンプルヒストグラムを示すこの概念を例証する。
登録とインライヤー選択
登録目的のために、発明者らは、(ワールド座標中の)センサー点PiWと上記一致の残りと矛盾するマップ点qiとの間のそれらを誤ったコレスポンデンスとみなす。これは:(a)センサーにより見られる点がマップ中に存在しないオブジェクト(つまり、最初の獲得後に加えられたか削除されたもの)に対応するか、あるいは、(b)評価されたPiWがマップ中のその対応部分から離れているときに、生じる。両方の場合で、最も近い隣接物は、他のコレスポンデンスに関して、幾何学的意味をなさない。これらのアウトライヤーを識別する古典的な方法は、対応する点の間の相対位置と正常位置に基づいてヒューリスティックスを使用し、その距離が任意の閾値よりも大きいか、あるいは非常に様々な通常のオリエンテーションを備える隣接物はアウトライヤーとみなされる。例は[Rusinkiewicz and evoy(2001)]で見られる。高い公差値(例えば、たいていの場合、5よりも遠い対応点は間違っていることもある)を使用する場合、これらの近似値は有用であるが、このような場合、その識別力は低い。
発明者らはまず、ビンを上記の並進運動に関連すると考える。発明者らはその後、すべての軸に関して回転が適切に定義されているかどうかを評価する。任意の軸についてこれが当てはまらない場合、発明者らは、そのような回転をよりよく抑制する点(つまり、最も大きなdi値を備えた点)を含むビンを加える。
その後、発明者らは、新しいセンサー姿勢上で初期推測を行うために、最後の予想される運動(2つの事前に登録された姿勢を使用して)を検討する:
この推測からスタートして、ICPアルゴリズムの各反復により、点のn個の無作為のセットSが作成され、ここで、各セット
は、各ビンからのk個の任意に選択された点を含む(典型的にk=1)。これらの点のそれぞれ1つについては、当業者は、
を用いてワールド座標の関連する位置piWを計算し、マップ中のその対応する最も近い面が検索され、コレスポンデンス
が作成される。いったん各セット中のすべてのコレスポンデンスが解決されると、式
を最小化する厳密な変換
が各々について独立して計算される。
各セットのコレスポンデンスが、6つのすべての自由度で適切にロックされる観察された点にわたって定義され、その関連する厳密な変換は類似していると予想される。しかしながら、アウトライヤーのある状態で、および各セットの点の数が減少していることを考えると、結果として生じる変換は無作為に異なるであろう。当業者は、ガウス分布を用いて推定誤差の近似値を求め、そのような分布から外れるセットを取り除くことによりアウトライヤーコレスポンデンスを識別してもよい。当業者は、まずすべての変換を考慮し、関連する正規分布N(μ,Σ)を計算することによって反復処理する:ここで、
γ(n)であることは、ベクトルとして表現される各セットに関連した厳密な変換であり、回転はヨー各、ピッチ角、ロール角である。その後、N(μ,Σ)に従って、各セットのマハラノビス距離が
として計算され、
および、1%未満の関連する確率の変換は切り捨てられる。いかなる変換も切り捨てられなくなるまで、あるいは、最少数のインライヤー変換に達するまで、このプロセスは反復して繰り返される(各工程で残りの変換で更新して)。最終登録は、残りの変換に関連したセットで存在するコレスポンデンスのみを考慮して予測される。
図7は提唱されたインライヤー選択戦略後の結果を示す。独立して計算された変換が、すべて十分に定義された中心位置のまわりでどのように分布しているかに注目する。さらに、アウトライヤー除去をそれぞれ繰り返した後、インライヤーとしてマークしたコレスポンデンスをすべて検討する際に、分布が最終的な予想変換にすぐに集約することにも留意する。
オドメーター集積化
システム全体のロバスト性を改善するために、発明者らは、好ましくは提唱されたセンサー追跡コンポーネントをオドメーターと組み合わせる。
姿勢が予想された後、ワールド座標のその関連する点がkd木へ保存される。新しい獲得を考慮すると、登録アルゴリズムが点のセット(piW)を作成すると、それは参照マップ(qiM,ni−M)とあらかじめ固定されたクラウド(qiO,ni−O)の両方の最も近い隣接物を探す。コレスポンデンスはそのとき以下のように定義される:
このとき、sはボクセルセルサイズに対応し、ボクセル化したグランドトゥルースマップとあらかじめ固定されたクラウドの非離散化したkd木との間の様々な分解能を補正する。主な利点は、(a)参照マップで見当たらない表面を登録プロセス中に利用することができ、(b)システムがユーザーを継続的に追跡することにより、マッピングされていない領域を探ることを可能にするということである。
B.4.結果
提唱されたローカライゼーションおよび追跡システムを評価するために、発明者らは、LIDARスキャナ用いて獲得した4つの様々なデータセットを使用して、複数の試験を実行した:(a)階下に大きな研究所と1階にいくつかのオフィスを備えた、約1400の表面の2階建てのビル;(b)1つの階と約1800の表面を備えた会議ビル;(c)非常に高い天井と約3000の表面を備えた工業用のワークショップ;(d)自動車で探索可能な、2.2の合計長さの大きな地下鉄用トンネル。
すべてのモデルは、Yao,J.,Ruggeri,M.R.,Taddei,P.,Sequeira,V.,2010.Automatic scan registration using 3d linear and planar features.3D Research 1(3),1−18の方法を使用して、一般参照フレームへ獲得物を登録することにより得られる。最終的なマップは、サイズ1あるいは10のボクセルサブサンプリング工程の後に、点と関連する正常位置(および、存在する場合には、色)を保存することにより生成される。
これらのデータセットについては、発明者らは、3つの様々な構成::歩行者通路用のリュックサック、セグウェイ、および自動車の頂部に取り付けたVelodyne HDL−32Eセンサーを使用してシステムを評価した。8GBのRAMと64ビットのオペレーティングシステムを有するインテルXeon CPU@2.80GHzのコンピューターを使用して結果を生成した。
場所認識
場所認識装置の探索領域を減らすために、提唱されたフラッディングアルゴリズムを使用してすべてのマップのフロアを計算した。この段階では、フロア制限を非常に詳細に表現する必要がないため、発明者らは大きなボクセルセル(20)を使用して計算を行った。3つのビルの平均フロア計算時間はわずか0.14であり、トンネルデータセットには3.91かかった。図8はオフィスビルの結果を示す。
いったんフロアが計算されると、発明者らは効果的なナビゲート可能な空間
を推定した。とりわけ、リュックサックに取り付けられる用途のために、発明者らは、平坦な面を通常通り歩く、走る、階段を歩く、および、このローテーションをすばやく行うことを含む複数の試験を行った。これらの試験において、観察者の位置は継続的に追跡・記録された。達成された結果の一部が図8に提示される。
図9(左)はフロア上の平均高さに関する偏差のヒストグラムを示す。結果は、標準偏差σ=2.97を備えた分布を示す。このように、リュックサックに取り付けたセンサーが運搬人の頭上の10の位置にあること、および[McDowell MA and CL(2008)]によれば、人間の身長の5%〜95%が[150.7...188.7]の範囲にあることを考慮すれば、フロア上の有効高さ範囲は[154.7...204.6]と推定された。
オリエンテーションに関して、当業者はZ軸上の自由運動を考慮する。人はウォーキングしているあいだ典型的には数度しか曲げないので、他の2つの自由度は抑制される。図9(右)は、評価テストの間に観察された絶対的なZ軸に関する偏差のヒストグラムを示す(値はμ=3.66°に集中し、標準偏差はσ=2.37°である)。これによれば、本トレーニングプロセスは、垂直軸(μ+2σ)対して±8.41°の偏差しか考慮していない。
これらのパラメーターを考慮して、探索空間(位置のみを考える)上の全体積の減少が表IVで示される。通常の建物(オフィス(a)と会議(b)ビル)について、結果として生じた探索空間がマップの全体積の約2−3%であり、その一方で、ワークショップ(c)とトンネル(d)では、この比率は、最初の天井が高く、第2のナビゲート可能な領域の密度が低いことから、相当低い。
表IV:通行可能空間減少
場所認識性能のみを測定するために、発明者らは5つの獲得シーケンスを使用して、手で初期化されたセンサー位置のその追跡コンポーネントを使用することでグランドトゥルーストラックを推定した。その後、発明者らは3つの異なるビルを使用して、場所認識分類子をトレーニングした。その後、単一トラックはそれぞれ、場所認識コンポーネントを単独で用いて(分類に基づいて追跡して)処理された。発明者らがユーザーが移動している特定のビルに関する情報を提供しなかったので、最初の候補解は3つのすべての環境に一様に広がった。実験のあいだ、センサーが2回を超えて動くたびに、場所認識装置は問い合わせを受けた。使用される記述子中のビンの総数は12×1であり、クエリは記述子空間の6の半径で行われた。dMax=1であることと、その相対的なオリエンテーションが45よりも小さい場合にのみ、場所は比較可能であることを考慮して、潜在的な姿勢のアプリオリな可能性を計算した。3つのビルに使用されたトレーニングセットの合計サイズは、1473KBであった。
発明者らは、2回あるいは3回の反復の後に、開始位置からおよそ10以内で、候補解は、固有の適切な環境でクラスター化され、その後適切なセンサー位置に密接に従った。図10は、使用されたすべてのシーケンスのドリフト解析結果を示す。各トラックについては、発明者らが、システムが一意的に環境を識別するのに十分な情報を持っていない場合に、フレームに関連する当初の姿勢推定を除去したことに注目する。Geiger,A.,Lenz,P.,Stiller,C.,Urtasun,R.,2013.Vision meets robotics:The kitti dataset.International Journal of Robotics Researchに記載されているように、グラフは、特定の追跡長さの後にトラック上の任意の点を考慮して、並進運動と回転の平均的なドリフト誤差を示す。
姿勢追跡
姿勢追跡コンポーネントは、そのコンポーネントのそれぞれ1つを分離して個別の結果(マップ表現、点選択、インライヤー選択、およびオドメーター集積化)を生成することにより、および完全なシステムの全体の精度と性能を測定することにより評価された。
マップ表現
提唱されたマップ表現のスケーラビリティを評価し、それが標準的なkd木に関連してどのように行われるかを比較するために、発明者らは、メモリ中の各データセットのボクセル構造全体をロードするという空間の要件を測定し、1回のクエリ当たりの平均計算時間を推定するために登録プロセスで最も近傍の隣接物探索を分離した。
表Vは、ボクセルサイズ(第2のカラム)と完全なボクセル構造(第3のカラム)の寸法を考慮して、各データセットのメモリフットプリント(第4のカラム)を示す。工業用ビル(c)については、2つのケースが考慮されることに注目する:1つのケースは、外部に関する情報を加えることにより元々のマップを拡張すること(c)−o、および内部のみが保存される場合に元々のマップを拡張する(c)−i。さらに、すべての場合に、ボクセルデータ構造メモリ容量は、それらを生成した点のクラウドよりも小さいことに気づくことは重要である。
表V:様々なデータセットのためのマップサイズ。
表VIは、標準的なkd木に関する提唱されたマップ表現の最も近い隣接物の探索時間を比較する。この試験については、両方の構造は同じ数の点を含んでおり、クエリは同じデータを使用して行われた。第2のカラムと第3のカラムにおける結果は、1つの点当たりナノ秒で表され、すべてのクエリを考慮した平均時間を表す。第4のカラムは、空間の離散化により、提唱されたマップ表現の平均的な最も近い隣接物の誤差を示す。第5のカラムはマップ中の点の総数を示す。
表VI:標準的なkd木の実施と比較して、提唱されたマップ表現に関する平均的なもっとも近い隣接物の計算時間と誤差をマッピングする。
平均探索時間がどのようにして常にkd木を使用するよりも約10倍速くなるかに着目する。さらに、10のボクセルセルサイズが使用される場合に(a)、(b)、(d)のケースで、総合誤差がどのようにすれば約0.2になるのかということにも着目する。これが5に下がると、(c)で示されるように、誤差は0.08まで落ちる。
点選択
実験では、発明者らは、幾何学的な安定性を確保するための点選択技術がロバストな結果を常にもたらしたことに気が付いた。発明者らはさらに、この機能が使用可能でなかった場合、廊下でナビゲートをする際に追跡が絶たれたことにも気付いた。しかしながら、Gelfand et al.(2003)Gelfand,Ikemoto,Rusinkiewicz,and Levoy]によって提唱された技術に関して結果の安定性を比較すると、有意な差は見られなかった。他方で、使用されるビニング戦略がそのロッキング能力に従って点をソートしないようにすることから、実行時間は本技術の方が常に短かった。
対称な環境に関する点選択戦略を評価する追加試験を行った。この場合、本技術は適切な点を選択することによってオリエンテーションを適切にロックしたが、Gelfand et al.(2003)Gelfand,Ikemoto,Rusinkiewicz,and Levoy]で提唱された技術はこれに失敗した。この場合、本点選択戦略は点とセンサーとの間の距離の影響を受けない。このように、ケースAとCで示されるもののような重要な点を選択することができる。ケースBの結果を比較すれば、この事実は明白である。本選択が距離によって正規化されるため、最も遠い点の効果は最も近い点の選択を損なうものではない。
インライヤー選択
提唱されたインライヤー選択戦略を評価するために、発明者らは以下のように処理を進めた:発明者らは、Velodyne HDL−32Eセンサーを三脚に取り付け、固定した。第1のフレームは参照モデルとして使用され、実験の残りのあいだ、アウトライヤーを漸進的に加えた(例えば、人々は動き回っており、オブジェクトは動いていた)。このように、発明者らは、参照フレーム内の各点とその最も近い隣接物との間の距離を評価することにより、インライヤーのコレスポンデンスを分類することができた。
図4は、入力されたクラウド中のアウトライヤーの数に関する本インライヤー選択戦略の最終的な精度を示す。アウトライヤーの総数が20%を下回るとき、本精度がどのようにしてほぼ常に100%になる(誤ったコレスポンデンスは登録に選択されない)かに着目する。アウトライヤーの総数が増加するにつれ、精度は低下する。平均では、提唱された実験は27.83%の誤ったコレスポンデンスを有し、精度は98.97%であった。
オドメーター集積化
姿勢更新用コンポーネントにおける提唱されたオドメーター集積化の利点を例証するために、発明者らは追跡を記録し、ビル(a)の内部から始まり、発明者らはスキャンされていない部屋に入ると、ビルから出たり違うドアから入ったりする繰り返しを行った。図13は、結果が達成されたことを示す。
センサーが既知の環境(ケースA、C、およびD)を去るとき、追跡はオドメーターのみに依存する。同様に、既知のマップとマッピングされていない領域との間の移行のあいだ、こうした状況に対処するための特定の論理に縛られることなく(例えば、ケースCで右側に示される移行を例にとる)、提唱された点選択戦略は徐々に最も便利なマップからより多くの情報を引き出す。観察されるように、提唱された登録アルゴリズムの精度により、ユーザーがマッピングされていない領域を探索した後にマップに再び入るときに、オドメーターのドリフトは、参照マップを使用する追跡を継続することができるように、十分に低くなることが保証される。最後に、センサーが既知の空間の内部で動作するときに、登録に使用された点の一部がどのようにしてオドメーターから得られるのかに気付くであろう。これは、一般に参照マップ内に有効なコレスポンデンスを持たない点の存在によるものであるが、そのような点はオドメーターのローカルマップ内では有効なコレスポンデンスを有している。例えば、ケースBの環境には大きな窓があり、これによってセンサーは、元々のマップの中には存在しない点を外部から獲得することができる。
全体の精度と性能
提唱された姿勢追跡技術の精度を測定するために、発明者らは、各クラウド登録後にICPの残りの解析を行った。これは、カバーするべき領域が正確な外部参照システムを使用するには大きすぎるため、大きな屋内のシナリオで自由運動のグランドトゥルース軌道の不足によって課される。
図14(上部)は、古典的な点−面ICPアルゴリズムと本ロバストICPの、両方のアウトライヤーのないシナリオの内部で移動する場合の平均的な点−面距離を示している。アウトライヤーの不在は、10のボクセルセルサイズを用いて表される、グランドトゥルースモデルをスキャンした直後に獲得を行うことにより保証された。両方の手法の残りは、Velodyne HDL−32Eセンサーの公称精度内である2でピークに達して、ほぼ同一である。
他方で、図14(下部)は変化が環境へ導入される際の有意な差を示す。この場合、追跡は環境を改修した記録された。本ロバストICPを実施することで、インライヤーコレスポンデンスの効率的な選択により、古典的な点−面ICPを使用するよりもはるかに優れた結果がもたらされる。この場合、示されたヒストグラムを計算するための点−面距離推定におけるアウトライヤーの干渉によって、残りは3でピークに達する。
システムがリアルタイムの結果を提供しなければならないと仮定して、発明者らは、すべてのデータセットにおける様々な種類の運動の姿勢追跡中の全体的な性能を測定した。図15は、徒歩のセットアップシナリオ向けに各クラウドを登録する際とセンサーの新しい姿勢を計算する際に費やされた実行時間を示す。このプロセスには通常20〜30msかかるが、フレームによっては、約100msでピークが観察される。こうしたピークは、木の最後の更新のときから一定の距離移動をすると生じる、オドメーターのkd木生成に関する。センサーが速く移動すればするほど、ますますこの事象は全体の性能に影響を与える。フレームが落ちないようにするために、kd木生成とオドメーターは、異なるスレッドで実行され、後者は新しいものの準備ができるまで、最後の利用可能なkd木を使用する。
表VIIでは、3つの様々なセットアップ(歩き、セグウェイに取り付け、車に取り付け)に関するシステムの平均的な性能が示されている。センサーが速く移動すればするほど、オドメーターのkd木の更新によって性能はどのようにして最低になるのかに着目する。Velodyne HDL−32Eセンサーが12Hzで読み取りを提供するため、すべてのケースでリアルタイムの結果が保証され、追加のオペレーションを行うためのプロセッサ時間が残される。最後に、最新の実施では、すべての追跡計算は単一CPUコアを使用して行われたということに着目する。
表VII:様々なセットアップ向けのシステムの実行性能
5 結論
本発明は、非常に広大な環境の探索を可能にする、十分なリアルタイムの結果とスケールをマップサイズに供給する、屋内のローカライゼーション適用を助けるための好ましい実施形態を伴う完全なシステムを提示する。
事前処理段階を加えることによって、オドメーターとコンパクトかつ高速計算用の記述子とを使用して測定されたセンサーの局所的な運動を利用する効率的な場所認識装置が提唱されてきた。場所認識装置のトレーニング中に、システムの特定の操作モードに関連する物理的な拘束を考慮するサーチ空間減少戦略が提唱されている。
姿勢追跡は、一定の最も近い隣接物の探索時間を提供し、メモリ要件を低く維持する、効率的なマップ表現を用いて行われる。本登録アルゴリズムは、(1)幾何学的な安定性を保証する点を選択し、(2)アウトライヤーを効率的に廃棄し、および(3)登録用の参照マップに存在しない点を使用することとマッピングされていない領域をナビゲートすることを可能にする局所的なオドメーターと融合されることによって、ロバストな結果を提供する。
実験結果は、本システムが高度にスケーラブルであり、追加の操作を行うために、および、たとえ、多くのアウトライヤーが導入されても非常に正確な結果(使用されるセンサーの公称精度内の)を生み出すために、大量のCPU時間を残しつつフレームレートで追跡を行うことを証明した。
このような解決策の略全ては、リアルタイム/オンラインの視覚化を欠いており、更に重要なことに、これらは、獲得及び処理の工程後に任意の直接ユーザー相互作用を可能にしない。
US2014/005933A1は、ロボットマッピングシステムにより獲得されたパラメータデータをマッピングするシステム及び方法を開示している。環境を特徴化するパラメータデータが集められる一方で、ロボットは目印を使用して自身を環境内に位置付ける。パラメータデータは、複数のローカルグリッド、即ち、データ収集時のロボットの位置と配向に関連したサブマップに記録される。ロボットは、新しいグリッドを生成する又はロボットの現在の姿勢に依存して既存のグリッドを再使用するように構成され、前記姿勢は、他のグリッド、及びこれらの総体的な姿勢の推定の不確実性に関連する。ロボットが、環境における自身の姿勢を判定する目印の場所の推定を精密化すると、グリッドに関連した姿勢の推定は経時的に更新される。占有マップ又は他のグローバルパラメータマップが、環境の範囲を拡張する大域的な基準枠におけるパラメータデータを示す、包括的なマップへとローカルグリッドをレンダリングすることにより生成される場合もある。
TIMOTHY LIU ET AL:“Indoor localization and visualization using a human−operated backpack system”,INDOOR POSITIONING AND INDOOR NAVIGATION(IPIN),2010 INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA,15 September 2010(2010−09−15),ページ1−10,XP031809367,ISBN:978−1−4244−5862−2は、2Dレーザスーキャナー及び慣性計測装置(IMU)を備えた、ヒトによって操作されるバックパックシステムを使用した屋内の位置確認及び視覚化のための技術を開示しており、そこでは、スキャンの一致に基づくアルゴリズムを使用して、複雑な屋内環境においてバックパックが位置確認される。3Dテクスチャモデルの構築時にテクスチャリングに使用される連続画像間の誤整列に対処するために、測定者は、スキャンの一致に基づく位置確認から結果を精密化するための画像ベースの姿勢推定アルゴリズムを提案する。
WO2015/017941A1は、場面の三次元表示を示すデータを生成するための システム及び方法を開示している。場面を示す現行の深さデータは、センサーを使用して生成される。顕著な特徴は、深さデータに関連した深さフレーム内で検出され、このような顕著な特徴は、特徴尤度分布(saliency likelihoods distribution)と一致させられる。特徴尤度分布は場面を表わし、以前に検出された顕著な特徴から生成される。センサーの姿勢は、検出された顕著な特徴の一致に基づいて推定され、この推定された姿勢は、場面の容積測定表示に基づいて精密化される。場面の容積測定表示は、現行の深さデータと推定された姿勢に基づいて更新される。特徴尤度分布の表示は、顕著な特徴に基づいて更新される。場面を示す画像データも、深さデータと共に生成され且つ使用される場合もある。

Claims (16)

  1. リアルタイムのマッピング、位置確認、及び/又は変化の分析のために、環境の3D参照マップを構築する方法であって、該方法は:
    (a)3Dスキャナーデータを提供するために、1秒につき少なくとも5つのフレームの速度でモバイルリアルタイムレーザーレンジスキャナーにより環境を獲得する工程、
    (b)各々がスキャナーデータにより画定される関連するポイントクラウドを持つ、レーザーレンジスキャナーの複数の姿勢の各々に関する3Dスキャナーデータを使用して、マップ表示を構築する工程であって、マップ表示は、大きな領域にわたる一定時間の高速な最近傍探索及びスケーラビリティにおける、データ構造へのランダムサンプルアクセスのために構成されるデータ構造を持つ、工程、及び
    (c)マップ表示を使用して、3Dの同時の位置確認及びマッピング(3D SLAM)のフレームワークを用いる環境のための3D参照マップを構築する工程を含み、前記構築する工程は:
    (i)オドメーターモジュールを使用して、ローカルマップ表示への最後のポイントクラウドの登録に基づいて、レーザーレンジスキャナーの現行の姿勢を推定すること、
    (ii)ローカルマップ表示におけるドリフトを最小化するために、ローカル軌道最適化モジュールを使用して、ポイントクラウドのセットの軌道を精密化すること、及び
    (iii)ループが閉じたものを考慮する環境の全体のマップを再構築することにより大域的な軌道最適化をオフラインで行ない、それにより前記3D参照マップを形成すること
    を含む、方法。
  2. ローカル軌道最適化モジュールは、最後の登録されたセットに構築されたマップに関して、姿勢のセット、及びそれらの関連するポイントクラウドにより構成された軌道のフラグメントを最適化する、ローカルウィンドウ機構を含み、ここで、ポイントは好ましくは、
    のグループにおける姿勢補間を使用して世界座標において変換され、及び、Iterative Closest Pointの方法の一般化は好ましくは、マップに対して全てのポイントをより良く位置合わせする軌道を見つけるために使用され;ここで、ローカルウィンドウ機構は、リストにおける第1の姿勢と最後の姿勢との距離が閾値よりも大きい時に、クラウドの姿勢が最適化され、且つ新しいリストが精密化された姿勢及び入力クラウドにより生成されるように、作動する、ことを特徴とする請求項1に記載の方法。
  3. データ構造は、生得的に3Dポイントを取り扱うように設定され、且つ、マップ表示における圧縮された密な特徴のリストにインデックスを付けるために使用されるスパースボクセル化構造により構成されるハイブリッド構造に基づいており、探索された空間にわたるスケーラビリティでデータのマップサイズ及び効果的な保管とは別にボクセル座標における一定時間のランダムアクセスを可能にする、ことを特徴とする請求項1又は2に記載の方法。
  4. データ構造は、保存されたデータの5つの異なる表示を維持し、それにより各マップの更新後に内部データ表示の間の一致を認め、前記5つの異なる表示は、
    (i)圧縮された密な特徴のリストL、及び最後の要素に対する指標Llastであって、各要素
    は、世界座標の位置及び単位法線ベクトルなどの、マップ中の特徴に関連した全ての情報、及び好ましくは追加情報を含んでいる、圧縮された密な特徴のリストL、及び最後の要素に対する指標Llast
    (ii)圧縮された密な有効性マスクMであって、各要素
    は、その対応するサンプル
    が有効か否かを示し、mi=0,i>Llastを確かにする、ブール値である、圧縮された密な有効性マスクM、
    (iii)ホールのリストHであって、各要素
    は、
    が有効ではないため
    となることを示している、ホールのリストH、
    (iv)パラメーター化可能なセルサイズで構築され、Lにおけるその対応する特徴の指標を各セル
    に保存する、スパースボクセル表示Vであって、Lにおける特徴及びVにおけるセルは、lの位置及びVのセルサイズに基づいて、1対1の様式で関連付けられる、スパースボクセル表示V、及び
    (v)マップ上で最近傍探索を行なうように使用され、且つ、そのメモリフットプリントを低く維持するために密なリストのみに参照を保存する、kd木K
    である、ことを特徴とする請求項1乃至3の何れか1つに記載の方法。
  5. 中心の位置及び半径により表わされた関心領域を与えられると、内部特徴は、Lに保存された要素上をループすることにより選択され、且つ最近傍探索のための高速機構としてkd木が再構築される、ことを特徴とする請求項4に記載の方法。
  6. 特にGPSが繋がらない環境において、リアルタイムのマッピング、位置確認、及び変更の分析を行うための方法であって、該方法は:
    (a)3Dスキャナーデータを提供するために、1秒につき少なくとも5つのフレームの速度でリアルタイムレーザーレンジスキャナーにより環境を獲得する工程、
    (b)場所認識中に、リアルタイムでスキャナーを自己位置同定するために、場所認識中のスキャナー姿勢の予備知識無しに、場面内の減少された探索空間を用いてレーザーレンジスキャナーにより獲得された場面の単純且つ圧縮された記述子を事前に計算することなく、環境の内部のレーザーレンジスキャナーの現行の場所を識別する工程、
    (c)環境におけるスキャナーの位置確認の判定後、最近傍情報を含むデータを利用する標準のIterative Closest Point方法を使用して、環境の既存の3D参照マップ内部の現行のスキャナーデータを登録することにより、スキャナー姿勢を追跡する工程、
    (d)現行のスキャナーデータにおける各スキャンポイントと3D参照マップにおける最も近いポイントとの距離を計算する工程であって、変化の分析はこの距離に閾値を適用することにより実行され、それにより、参照モデルにおいて対応する近傍を持たない現行のスキャナーデータにおける各ポイントは、変化と考慮される、工程、
    (e)リアルタイムユーザーインターフェース上で3D参照マップ及び現行の3Dスキャナーデータに関する情報を表示する工程であって、前記情報は好ましくは、情報の変化あり/変化無しといった分類に従い色分けされる、工程
    を含む、方法。
  7. 工程(b)は、工程(a)のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程(b)は以下のサブ工程:
    (b1)最後の3Dスキャナーデータに基づいて、記述子空間に閾値半径r、好ましくは360度の水平のビュースキャナーデータを与えられたT上で放射状捜索を行なうことにより、関連する記述子qを計算し、候補の場所
    のセットを回復する工程であって、範囲の値を水平に推移させることにより追加の入力記述子を計算することによって候補の場所を増大させ、各記述子は、そのローカル軸上を回転され且つその後に候補の場所の結果として生じるセットiそれぞれに従って回転する場合に、スキャナーが生成する読み取り値に対応する、工程、
    (b2)重み
    を各潜在的な場所
    に関連付ける工程であって:
    ここで、dは、Tから検索された場所
    に関連付けられる記述子であり、
    は、完全に一致する記述子に関しては1であり、サーチスフィアの境界上での記述子に関しては0である、工程、及び
    (b3)wにおいて重みを集め、max w=1を持つようにこれらの重みを標準化する工程
    を含む、請求項6に記載の方法。
  8. 工程(b)は、工程(a)のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程(b)は以下のサブ工程:
    (b1)最後の3Dスキャナーデータに基づいて、関連する記述子qを計算して、候補の場所
    のセットを再生する工程であって、候補の場所はqと同様の記述子を持つ、工程、
    (b2)重み
    を各潜在的な場所
    に関連付ける工程であって:
    ここで、dは、Tから検索された場所
    に関連付けられる記述子であり、
    は、完全に一致する記述子に関しては1であり、サーチスフィアの境界上での記述子に関しては0である、工程、
    (b3)wにおいて重みを集め、max w=1を持つようにこれらの重みを標準化する工程、
    (b4)動作を推定し、新たな姿勢にてクエリの結果に基づいて初期の候補の姿勢それぞれについて重みを再評価することにより、センサーが移動している間の候補の場所のセットを更新する工程、及び
    (b5)候補の姿勢が1つの場所に集中するまで更新のサブ工程を反復する工程
    を含む、ことを特徴とする請求項6に記載の方法。
  9. 特に地動に関して、それによりレーザーレンジスキャナーはフロアを通過するヒト又は車に取り付けられ、前記方法は、
    (i)3D参照マップにおいてフロアの範囲を識別する工程であって、フロアの抽出は、環境Vのスパースボクセル表示上で行なわれ、スパースボクセル表示の個々の完全なセルv(i)は、候補のフロアのセル
    を表すボクセルのサブセットを抽出することにより、それらの関連する法線の垂直成分が優性、即ち、
    であることを確認することにより、その重心
    の周囲のポイントによりローカルに画定された表面に対する法線ベクトルを含んでおり、ここでεは典型的に0.5〜1の値である、工程、
    (ii)セルの到達可能性を判定する工程であって、到達可能なセル
    を仮定して、下記条件が満たされる場合に、周囲のセル
    は全て到達可能であると考慮され:
    ここで、(6)における
    は、最大の工程距離(例えば、歩行動作について0.5メートル、又は車の動作についてVcellSize)を表し、(7)におけるθは最大の垂直工程サイズを表し、(8)における
    は、フロアのセルg上に集中する、オブザーバーの単純化された体積を表わす、工程
    を含む、請求項6乃至8に何れか1つに記載の方法。
  10. マップ構造は、特異的なボクセルサイズで構築される、保存且つ同期される要素の2つの異なるリスト、圧縮された平面のリストLと密なボクセルのグリッドVを含み、各平面
    は、世界座標における位置p、及び単位法線
    を保存し;ここで、ボクセル
    はそれぞれ、完全、空、又は付近にあり得るの、何れかである現行の状態を保存し、完全なボクセルは、その関連する位置が該当する平面
    へとインデックスを保存し、空のセルはヌルの参照を保存し、及び付近のセルは、その関連する位置のボクセル中心までの距離が最短である平面
    へとインデックスを保存し;好ましくは付近のボクセルは、距離dが与えられた閾値dmax下にある場合のみ考慮され、さもなくばボクセルは空であると考慮される、請求項6乃至9の何れか1つに記載の方法。
  11. 総合的なシステムのロバスト性を改善するために、スキャナー追跡はオドメーターと組み合わせられ、ここで、姿勢が推定された後、世界座標におけるその関連するポイントは、kd木に保存され、レーザーレンジスキャナーにより新たな獲得物が与えられると、登録アルゴリズムがポイントのセット
    を作成した時、これは、参照マップ
    及び以前に固定されたポイントクラウド
    の両方において最近傍を探索し、
    ここで、コレスポンデンスは以下のように画定され:
    ここで、Sはボクセルのセルサイズに対応し、ボクセル化されたグラウンドトゥルースマップと以前に固定されたクラウドの非離散kd木との間の異なる解像度を補う、ことを特徴とする請求項6乃至10の何れか1つに記載の方法。
  12. 特にGPSが繋がらない環境における、リアルタイムのマッピング、位置確認、及び変化の分析のためのモバイルレーザースキャニング装置であって、請求項1乃至5の何れか1つに記載の方法、又は請求項6乃至11の何れか1つに記載の方法を実行する、モバイルレーザースキャニング装置。
  13. リアルタイムレーザーレンジスキャナー、処理ユニット、電源ユニット、及び携帯型の視覚化及び制御ユニットを含んでおり、ここで、リアルタイムレーザーレンジスキャナーは、スキャナーデータを提供するために1秒につき少なくとも5つのフレームの速度で環境を獲得することができ、処理ユニットは、前記スキャナーデータを分析し、且つ携帯型の視覚化及び制御ユニットに3Dマップ/モデル、位置確認、及び変化の情報を含む処理結果を提供するように配置され、携帯型の視覚化及び制御ユニットは、前記処理結果を表示し且つユーザーがモバイルレーザースキャニング装置を制御するのを可能にするように配置される、ことを特徴とする請求項12に記載のモバイルレーザースキャニング装置。
  14. 視覚化及び制御ユニットは、タブレットコンピューターである、ことを特徴とする請求項12又は13に記載のモバイルレーザースキャニング装置。
  15. 前記モバイルレーザースキャニング装置は、バックパック又は車両搭載装置である、ことを特徴とする請求項12乃至14の何れか1つに記載のモバイルレーザースキャニング装置。
  16. 3Dの屋内のマッピング/モデル化;施設管理;正確且つリアルタイムの屋内の位置確認及びナビゲーション;障害者又は高齢者への補助;設計情報の検証;防護措置検査のためなどの変化の分析;土木のためなどの経過の監視;又は災害管理及び応答のための、請求項1乃至5の何れか1つに記載の方法、又は請求項6乃至11の何れか1つに記載の方法、或いは請求項12乃至15の何れか1つに記載のモバイルレーザースキャニング装置の使用。
JP2017567094A 2015-04-10 2016-04-11 リアルタイムのマッピングと位置確認のための方法及び装置 Active JP7270338B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021085516A JP2021152662A (ja) 2015-04-10 2021-05-20 リアルタイムのマッピングと位置確認のための方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15163231.2A EP3078935A1 (en) 2015-04-10 2015-04-10 Method and device for real-time mapping and localization
EP15163231.2 2015-04-10
PCT/EP2016/057935 WO2016162568A1 (en) 2015-04-10 2016-04-11 Method and device for real-time mapping and localization

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021085516A Division JP2021152662A (ja) 2015-04-10 2021-05-20 リアルタイムのマッピングと位置確認のための方法及び装置

Publications (3)

Publication Number Publication Date
JP2018522345A true JP2018522345A (ja) 2018-08-09
JP2018522345A5 JP2018522345A5 (ja) 2020-11-05
JP7270338B2 JP7270338B2 (ja) 2023-05-10

Family

ID=52823552

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017567094A Active JP7270338B2 (ja) 2015-04-10 2016-04-11 リアルタイムのマッピングと位置確認のための方法及び装置
JP2021085516A Pending JP2021152662A (ja) 2015-04-10 2021-05-20 リアルタイムのマッピングと位置確認のための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021085516A Pending JP2021152662A (ja) 2015-04-10 2021-05-20 リアルタイムのマッピングと位置確認のための方法及び装置

Country Status (10)

Country Link
US (1) US10304237B2 (ja)
EP (2) EP3078935A1 (ja)
JP (2) JP7270338B2 (ja)
KR (1) KR102427921B1 (ja)
CN (1) CN107709928B (ja)
AU (1) AU2016246024B2 (ja)
CA (1) CA2982044C (ja)
ES (1) ES2855119T3 (ja)
HK (1) HK1251294A1 (ja)
WO (1) WO2016162568A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166612A1 (ja) * 2019-02-12 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
WO2021033574A1 (ja) * 2019-08-21 2021-02-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2021152662A (ja) * 2015-04-10 2021-09-30 ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION リアルタイムのマッピングと位置確認のための方法及び装置
JP7511488B2 (ja) 2019-02-12 2024-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置

Families Citing this family (247)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US11243309B2 (en) 2015-02-16 2022-02-08 Northwest Instrument Inc. Ranging system and ranging method
CN105511742B (zh) * 2016-01-07 2021-10-01 美国西北仪器公司 一种智能交互界面
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US11556170B2 (en) 2016-01-07 2023-01-17 Northwest Instrument Inc. Intelligent interface based on augmented reality
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
CN109154661A (zh) 2016-03-19 2019-01-04 威力登激光雷达有限公司 用于基于lidar的3-d成像的集成照射和检测
AT517701B1 (de) * 2016-04-15 2017-04-15 Riegl Laser Measurement Systems Gmbh Laserscanner
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
CA3024510C (en) 2016-06-01 2022-10-04 Velodyne Lidar, Inc. Multiple pixel scanning lidar
JP2018004401A (ja) * 2016-06-30 2018-01-11 株式会社トプコン レーザスキャナ及びレーザスキャナシステム及び点群データのレジストレーション方法
US10565786B1 (en) * 2016-06-30 2020-02-18 Google Llc Sensor placement interface
US20180100927A1 (en) * 2016-10-12 2018-04-12 Faro Technologies, Inc. Two-dimensional mapping system and method of operation
US10282854B2 (en) * 2016-10-12 2019-05-07 Faro Technologies, Inc. Two-dimensional mapping system and method of operation
CN106548486B (zh) * 2016-11-01 2024-02-27 浙江大学 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN108122216B (zh) * 2016-11-29 2019-12-10 京东方科技集团股份有限公司 用于数字图像的动态范围扩展的***和方法
US10309778B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for determining a position of an autonomous vehicle
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
EP3589527A4 (en) 2017-02-28 2020-02-19 Thales Canada Inc. GUIDANCE-MOUNTED VEHICLE LOCATION SYSTEM
US10397739B2 (en) 2017-03-03 2019-08-27 Here Global B.V. Supporting the creation of a radio map
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
WO2018183843A1 (en) 2017-03-31 2018-10-04 Velodyne Lidar, Inc. Integrated lidar illumination power control
CA3062701A1 (en) 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
GB201718507D0 (en) * 2017-07-31 2017-12-27 Univ Oxford Innovation Ltd A method of constructing a model of the motion of a mobile device and related systems
US10983199B2 (en) 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
JP7196156B2 (ja) * 2017-08-11 2022-12-26 ズークス インコーポレイテッド 車両センサの較正及び位置特定
US11175132B2 (en) 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
US10484659B2 (en) * 2017-08-31 2019-11-19 Disney Enterprises, Inc. Large-scale environmental mapping in real-time by a robotic system
US11821987B2 (en) 2017-09-13 2023-11-21 Velodyne Lidar Usa, Inc. Multiple resolution, simultaneous localization and mapping based on 3-D LIDAR measurements
DE102017122440A1 (de) * 2017-09-27 2019-03-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung
CN118050012A (zh) * 2017-09-29 2024-05-17 松下电器(美国)知识产权公司 客户端装置以及由客户端装置执行的方法
FR3072181B1 (fr) * 2017-10-06 2019-11-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de localisation de dispositifs mobiles dans un repere commun
US10422648B2 (en) * 2017-10-17 2019-09-24 AI Incorporated Methods for finding the perimeter of a place using observed coordinates
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
WO2019099802A1 (en) 2017-11-17 2019-05-23 DeepMap Inc. Iterative closest point process based on lidar with integrated motion estimation for high definitions maps
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10365656B2 (en) * 2017-11-22 2019-07-30 Locus Robotics Corp. Robot charger docking localization
CN107943038A (zh) * 2017-11-28 2018-04-20 广东工业大学 一种移动机器人嵌入式激光slam方法及***
US11360216B2 (en) * 2017-11-29 2022-06-14 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
FR3075834B1 (fr) * 2017-12-21 2021-09-24 Soletanche Freyssinet Procede de compactage de sol utilisant un scanner laser
CN108242079B (zh) * 2017-12-30 2021-06-25 北京工业大学 一种基于多特征视觉里程计和图优化模型的vslam方法
WO2019136714A1 (zh) * 2018-01-12 2019-07-18 浙江国自机器人技术有限公司 一种基于3d激光的地图构建方法及***
US11157527B2 (en) 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US10586344B2 (en) * 2018-02-21 2020-03-10 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for feature screening in SLAM
CN110363834B (zh) * 2018-04-10 2023-05-30 北京京东尚科信息技术有限公司 一种点云数据的分割方法和装置
CN108828643B (zh) * 2018-04-25 2022-04-29 长安大学 一种基于灰色预测模型的室内外无缝定位***及方法
CN108801265A (zh) * 2018-06-08 2018-11-13 武汉大学 多维信息同步采集、定位与位置服务装置及***和方法
WO2019241983A1 (en) * 2018-06-22 2019-12-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating highly automated driving maps
US20190392594A1 (en) * 2018-06-25 2019-12-26 Walmart Apollo, Llc System and method for map localization with camera perspectives
US11995763B2 (en) 2018-07-02 2024-05-28 Vayyar Imaging Ltd. System and methods for environment mapping
SG11201811001WA (en) 2018-07-02 2020-02-27 Beijing Didi Infinity Technology & Development Co Ltd Vehicle navigation system using pose estimation based on point cloud
CN109060820B (zh) * 2018-07-10 2021-04-13 深圳大学 基于激光检测的隧道病害检测方法及隧道病害检测装置
WO2020014951A1 (zh) * 2018-07-20 2020-01-23 深圳市道通智能航空技术有限公司 建立局部障碍物地图的方法、装置及无人机
CN110763243B (zh) * 2018-07-27 2021-08-24 杭州海康威视数字技术股份有限公司 一种滑动地图更新方法和装置
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术(北京)有限公司 用于定位无人车的方法和装置
US11037368B2 (en) 2018-09-11 2021-06-15 Samsung Electronics Co., Ltd. Localization method and apparatus of displaying virtual object in augmented reality
KR101925862B1 (ko) * 2018-09-13 2018-12-06 주식회사 에이엠오토노미 3차원 라이다를 이용한 실시간 3차원 지도 생성 방법 및 장치
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
EP3629290B1 (en) * 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
EP3633404B1 (en) * 2018-10-02 2022-09-07 Ibeo Automotive Systems GmbH Method and apparatus for optical distance measurements
CN109544636B (zh) * 2018-10-10 2022-03-15 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN109358342B (zh) * 2018-10-12 2022-12-09 东北大学 基于2d激光雷达的三维激光slam***及控制方法
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
CN109243207A (zh) * 2018-10-17 2019-01-18 安徽工程大学 一种用于slam演示教学使用的移动装置
US11704621B2 (en) * 2018-10-18 2023-07-18 Lg Electronics Inc. Method of sensing loaded state and robot implementing thereof
KR20200046437A (ko) 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
SE1851325A1 (en) * 2018-10-25 2020-04-21 Ireality Ab Method and controller for tracking moving objects
WO2020092178A1 (en) 2018-10-29 2020-05-07 Dji Technology, Inc. Techniques for real-time mapping in a movable object environment
CN109459734B (zh) * 2018-10-30 2020-09-11 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN109507677B (zh) * 2018-11-05 2020-08-18 浙江工业大学 一种结合gps和雷达里程计的slam方法
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
CN111656136B (zh) 2018-11-09 2023-09-29 北京嘀嘀无限科技发展有限公司 使用激光雷达的车辆定位***
CN109523595B (zh) * 2018-11-21 2023-07-18 南京链和科技有限公司 一种建筑工程直线棱角间距视觉测量方法
CN109541630A (zh) * 2018-11-22 2019-03-29 武汉科技大学 一种适用于建筑物室内平面2d slam测绘的方法
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
EP3660453B1 (en) * 2018-11-30 2023-11-29 Sandvik Mining and Construction Oy Positioning of mobile object in underground worksite
US10970547B2 (en) * 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
JP7129894B2 (ja) * 2018-12-10 2022-09-02 株式会社タダノ 地表面推定方法、計測領域表示システムおよびクレーン
CN109541634B (zh) * 2018-12-28 2023-01-17 歌尔股份有限公司 一种路径规划方法、装置和移动设备
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
CN109887028B (zh) * 2019-01-09 2023-02-03 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN111488412B (zh) * 2019-01-28 2023-04-07 阿里巴巴集团控股有限公司 一种poi采集区域的价值确定方法及装置
DK180562B1 (en) * 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
US11486701B2 (en) 2019-02-06 2022-11-01 Faro Technologies, Inc. System and method for performing a real-time wall detection
CN111568305B (zh) * 2019-02-18 2023-02-17 北京奇虎科技有限公司 处理扫地机器人重定位的方法、装置及电子设备
CN109814572B (zh) * 2019-02-20 2022-02-01 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN109696168A (zh) * 2019-02-27 2019-04-30 沈阳建筑大学 一种基于激光传感器的移动机器人几何地图创建方法
CN109614459B (zh) * 2019-03-06 2019-05-28 上海思岚科技有限公司 应用于二维激光的地图构建回环检测方法及设备
CN111665826A (zh) * 2019-03-06 2020-09-15 北京奇虎科技有限公司 基于激光雷达与单目相机的深度图获取方法及扫地机器人
CN117848356A (zh) 2019-03-08 2024-04-09 深圳市大疆创新科技有限公司 用于无人飞行器和地面载运工具之间的协作地图构建的技术
CN109839112B (zh) * 2019-03-11 2023-04-07 中南大学 地下作业设备定位方法、装置、***及存储介质
CN109959937B (zh) * 2019-03-12 2021-07-27 广州高新兴机器人有限公司 长廊环境基于激光雷达的定位方法、存储介质及电子设备
CN109798842B (zh) * 2019-03-13 2023-09-08 武汉汉宁轨道交通技术有限公司 一种第三轨检测装置及检测方法
CN110008851B (zh) * 2019-03-15 2021-11-19 深兰科技(上海)有限公司 一种车道线检测的方法及设备
JP7245084B2 (ja) * 2019-03-15 2023-03-23 日立Astemo株式会社 自動運転システム
CN109848996B (zh) * 2019-03-19 2020-08-14 西安交通大学 基于图优化理论的大规模三维环境地图创建方法
CN111739111B (zh) * 2019-03-20 2023-05-30 上海交通大学 一种点云投影编码的块内偏移优化方法及***
JP7263521B2 (ja) 2019-03-22 2023-04-24 テンセント・アメリカ・エルエルシー インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム
CN111735439B (zh) * 2019-03-22 2022-09-30 北京京东乾石科技有限公司 地图构建方法、装置和计算机可读存储介质
DE102019204410A1 (de) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Verfahren zur simultanen Lokalisierung und Kartierung eines mobilen Roboters
US11074706B2 (en) * 2019-04-12 2021-07-27 Intel Corporation Accommodating depth noise in visual slam using map-point consensus
KR102195164B1 (ko) * 2019-04-29 2020-12-24 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
CN111982133B (zh) * 2019-05-23 2023-01-31 北京地平线机器人技术研发有限公司 基于高精地图对车辆进行定位的方法、装置及电子设备
CN110309472B (zh) * 2019-06-03 2022-04-29 清华大学 基于离线数据的策略评估方法及装置
WO2020251100A1 (ko) * 2019-06-14 2020-12-17 엘지전자 주식회사 퓨전 슬램에서 맵을 업데이트하는 방법 및 이를 구현하는 로봇
US11080870B2 (en) 2019-06-19 2021-08-03 Faro Technologies, Inc. Method and apparatus for registering three-dimensional point clouds
EP3758351B1 (en) * 2019-06-26 2023-10-11 Faro Technologies, Inc. A system and method of scanning an environment using multiple scanners concurrently
CN112148817B (zh) * 2019-06-28 2023-09-29 理光软件研究所(北京)有限公司 一种基于全景图的slam优化方法、装置和***
CN110333513B (zh) * 2019-07-10 2023-01-10 国网四川省电力公司电力科学研究院 一种融合最小二乘法的粒子滤波slam方法
US11506502B2 (en) * 2019-07-12 2022-11-22 Honda Motor Co., Ltd. Robust localization
WO2021021862A1 (en) * 2019-07-29 2021-02-04 Board Of Trustees Of Michigan State University Mapping and localization system for autonomous vehicles
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110307838B (zh) * 2019-08-26 2019-12-10 深圳市优必选科技股份有限公司 机器人重定位方法、装置、计算机可读存储介质及机器人
CN110736456B (zh) * 2019-08-26 2023-05-05 广东亿嘉和科技有限公司 稀疏环境下基于特征提取的二维激光实时定位方法
CN110764096A (zh) * 2019-09-24 2020-02-07 浙江华消科技有限公司 灾害区域的三维地图构建方法、机器人及机器人控制方法
US11238641B2 (en) 2019-09-27 2022-02-01 Intel Corporation Architecture for contextual memories in map representation for 3D reconstruction and navigation
DE102019126631A1 (de) * 2019-10-02 2021-04-08 Valeo Schalter Und Sensoren Gmbh Verbesserte Trajektorienschätzung basierend auf Ground Truth
CN110991227B (zh) * 2019-10-23 2023-06-30 东北大学 一种基于深度类残差网络的三维物体识别和定位方法
WO2021087777A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 数据处理方法、装置、雷达、设备及存储介质
EP3819674A1 (en) 2019-11-08 2021-05-12 Outsight Rolling environment sensing and gps optimization
EP3819667A1 (en) 2019-11-08 2021-05-12 Outsight Radar and lidar combined mapping system
EP3819672A1 (en) 2019-11-08 2021-05-12 Outsight Method and system to share scene maps
CN110887487B (zh) * 2019-11-14 2023-04-18 天津大学 一种室内同步定位与建图方法
CN110851556B (zh) * 2019-11-20 2023-02-17 苏州博众智能机器人有限公司 移动机器人建图方法、装置、设备及存储介质
CN110909105B (zh) * 2019-11-25 2022-08-19 上海有个机器人有限公司 机器人地图的构建方法及***
KR20210065728A (ko) * 2019-11-27 2021-06-04 재단법인 지능형자동차부품진흥원 저채널 3차원 라이다센서를 이용한 희소점군 기반의 위치인식 방법 및 장치
KR102255978B1 (ko) * 2019-12-02 2021-05-25 한국건설기술연구원 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법
CN110849374B (zh) * 2019-12-03 2023-04-18 中南大学 地下环境定位方法、装置、设备及存储介质
CN111190191A (zh) * 2019-12-11 2020-05-22 杭州电子科技大学 一种基于激光slam的扫描匹配方法
CN111079826B (zh) * 2019-12-13 2023-09-29 武汉科技大学 融合slam和图像处理的施工进度实时识别方法
CN110986956B (zh) * 2019-12-23 2023-06-30 苏州寻迹智行机器人技术有限公司 一种基于改进的蒙特卡洛算法的自主学习全局定位方法
US11774593B2 (en) * 2019-12-27 2023-10-03 Automotive Research & Testing Center Method of simultaneous localization and mapping
CN111024062B (zh) * 2019-12-31 2022-03-29 芜湖哈特机器人产业技术研究院有限公司 基于伪gnss及ins的制图***
CN111220967B (zh) * 2020-01-02 2021-12-10 小狗电器互联网科技(北京)股份有限公司 一种激光雷达数据有效性的检测方法与装置
CN111141290B (zh) * 2020-01-08 2023-09-26 广州视源电子科技股份有限公司 机器人的定位方法、定位装置、设备和存储介质
RU2764708C1 (ru) 2020-01-20 2022-01-19 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для обработки данных лидарных датчиков
US11860315B2 (en) 2020-01-20 2024-01-02 Direct Cursus Technology L.L.C Methods and systems for processing LIDAR sensor data
CN114945456A (zh) * 2020-01-31 2022-08-26 惠普发展公司,有限责任合伙企业 模型预测
CN113252051A (zh) * 2020-02-11 2021-08-13 北京图森智途科技有限公司 一种地图构建方法及装置
CN111325796B (zh) * 2020-02-28 2023-08-18 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
US11466992B2 (en) * 2020-03-02 2022-10-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and medium for detecting environmental change
KR102444879B1 (ko) * 2020-03-05 2022-09-19 고려대학교 산학협력단 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법
EP3882649B1 (en) * 2020-03-20 2023-10-25 ABB Schweiz AG Position estimation for vehicles based on virtual sensor response
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
EP3893074B1 (en) 2020-04-06 2024-05-29 General Electric Company Localization method for mobile remote inspection and/or manipulation tools in confined spaces and associated system
CN112703368B (zh) * 2020-04-16 2022-08-09 华为技术有限公司 车辆定位的方法和装置、定位图层生成的方法和装置
CN111583369B (zh) * 2020-04-21 2023-04-18 天津大学 一种基于面线角点特征提取的激光slam方法
CN111210475B (zh) * 2020-04-21 2020-07-14 浙江欣奕华智能科技有限公司 一种地图更新方法及装置
CN115803788A (zh) * 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实***
CN111536871B (zh) * 2020-05-07 2022-05-31 武汉大势智慧科技有限公司 一种多时相摄影测量数据体积变化量的精确计算方法
KR102275682B1 (ko) * 2020-05-08 2021-07-12 한국건설기술연구원 시설물 실시간 스캔을 위한 이동형 스캔 백팩 장치
CN111678516B (zh) * 2020-05-08 2021-11-23 中山大学 一种基于激光雷达的有界区域快速全局定位方法
CN111815684B (zh) * 2020-06-12 2022-08-02 武汉中海庭数据技术有限公司 基于统一残差模型的空间多元特征配准优化方法及装置
CN111813111B (zh) * 2020-06-29 2024-02-20 佛山科学技术学院 一种多机器人协同工作方法
CN111795687B (zh) * 2020-06-29 2022-08-05 深圳市优必选科技股份有限公司 一种机器人地图更新方法、装置、可读存储介质及机器人
US10877948B1 (en) * 2020-07-01 2020-12-29 Tamr, Inc. Method and computer program product for geospatial binning
CN112102376B (zh) * 2020-08-04 2023-06-06 广东工业大学 混合稀疏icp的多视点云配准方法、装置及存储介质
CN111983635B (zh) * 2020-08-17 2022-03-29 浙江商汤科技开发有限公司 位姿确定方法及装置、电子设备和存储介质
CN114255275A (zh) * 2020-09-14 2022-03-29 华为技术有限公司 一种构建地图的方法及计算设备
KR102455546B1 (ko) * 2020-09-25 2022-10-18 인천대학교 산학협력단 색상을 반영한 포인트 클라우드의 재구성을 위한 반복 최근접 포인트 탐색 방법
WO2022074083A1 (de) 2020-10-06 2022-04-14 Zoller & Fröhlich GmbH Mobile scananordnung und verfahren zur ansteuerung einer mobilen scananordnung
US20220113384A1 (en) * 2020-10-08 2022-04-14 Intelligrated Headquarters, Llc LiDAR BASED MONITORING IN MATERIAL HANDLING ENVIRONMENT
CN112180937A (zh) * 2020-10-14 2021-01-05 中国安全生产科学研究院 一种地铁车厢消毒机器人及其自动导航方法
DE102020129293B4 (de) 2020-11-06 2022-06-09 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum Zusammenstellen eines Schneidplans, Verfahren zum Ausschneiden und Absortieren von Werkstücken und Flachbettwerkzeugmaschine
DE102020214002B3 (de) 2020-11-08 2022-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
CN112380312B (zh) * 2020-11-30 2022-08-05 北京智行者科技股份有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN112698345B (zh) * 2020-12-04 2024-01-30 江苏科技大学 一种激光雷达的机器人同时定位与建图优化方法
CN112612788B (zh) * 2020-12-11 2024-03-01 中国北方车辆研究所 一种无导航卫星信号下的自主定位方法
CN112711012B (zh) * 2020-12-18 2022-10-11 上海蔚建科技有限公司 一种激光雷达定位***的全局位置初始化方法及***
WO2022136479A1 (de) 2020-12-21 2022-06-30 Zoller & Fröhlich GmbH Plattform für mobile scananordnung und mobile scananordnung
CN112578399A (zh) * 2020-12-23 2021-03-30 雷熵信息科技(潍坊)有限公司 不重复扫描激光雷达三维重建中的特征点剔除方法
CN112598737A (zh) * 2020-12-24 2021-04-02 中建科技集团有限公司 室内机器人定位方法、装置、终端设备及存储介质
CN112596070B (zh) * 2020-12-29 2024-04-19 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN112859847B (zh) * 2021-01-06 2022-04-01 大连理工大学 一种通行方向限制下的多机器人协同路径规划方法
CN112732854B (zh) * 2021-01-11 2023-03-31 哈尔滨工程大学 一种粒子滤波bslam方法
CN112634451B (zh) * 2021-01-11 2022-08-23 福州大学 一种融合多传感器的室外大场景三维建图方法
CN112720532B (zh) * 2021-01-12 2022-06-28 中国煤炭科工集团太原研究院有限公司 一种围岩稳定性智能监测及精准支护机器人群
EP4278068A1 (en) * 2021-01-12 2023-11-22 Sandvik Mining and Construction Oy Underground worksite model generation
CN112882056B (zh) * 2021-01-15 2024-04-09 西安理工大学 基于激光雷达的移动机器人同步定位与地图构建方法
CN113835099B (zh) * 2021-02-01 2024-06-14 贵州京邦达供应链科技有限公司 点云地图更新方法及装置、存储介质、电子设备
CN116868151A (zh) * 2021-02-12 2023-10-10 奇跃公司 激光雷达同时定位和地图构建
US20220282991A1 (en) * 2021-03-02 2022-09-08 Yujin Robot Co., Ltd. Region segmentation apparatus and method for map decomposition of robot
CN112977443B (zh) * 2021-03-23 2022-03-11 中国矿业大学 一种井下无人驾驶无轨胶轮车的路径规划方法
CN113192111B (zh) * 2021-03-24 2024-02-02 西北大学 一种三维点云相似配准方法
CN113066105B (zh) * 2021-04-02 2022-10-21 北京理工大学 激光雷达和惯性测量单元融合的定位与建图方法及***
CN113032885B (zh) * 2021-04-07 2023-04-28 深圳大学 视域关系分析方法、设备及计算机存储介质
CN113252042B (zh) * 2021-05-18 2023-06-13 杭州迦智科技有限公司 一种隧道内基于激光和uwb定位方法、装置
CN113192197B (zh) * 2021-05-24 2024-04-05 北京京东乾石科技有限公司 一种全局点云地图的构建方法、装置、设备及存储介质
CN113340304B (zh) * 2021-06-03 2023-02-17 青岛慧拓智能机器有限公司 坡度提取方法及装置
CN113255043B (zh) * 2021-06-07 2022-05-06 湖南蓝海购企业策划有限公司 一种建筑展厅三维立体建筑模型建立精准性分析方法
CN113486927B (zh) * 2021-06-15 2024-03-01 北京大学 一种基于先验概率的无监督轨迹访问地点标注方法
CN113536232B (zh) * 2021-06-28 2023-03-21 上海科技大学 用于无人驾驶中激光点云定位的正态分布变换方法
CN113379915B (zh) * 2021-07-05 2022-12-23 广东工业大学 一种基于点云融合的行车场景构建方法
CN113506374B (zh) * 2021-07-16 2022-12-02 西安电子科技大学 基于gps信息辅助及空间网格划分的点云配准方法
CN113485347B (zh) * 2021-07-16 2023-11-21 上海探寻信息技术有限公司 一种运动轨迹的优化方法、***
US11544419B1 (en) 2021-07-26 2023-01-03 Pointlab, Inc. Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing
CN115701524B (zh) * 2021-08-02 2024-05-28 郑州克莱门斯智能科技有限公司 空间结构框架的构建方法及使用其的导航方法和***
CN113740875A (zh) * 2021-08-03 2021-12-03 上海大学 一种基于激光里程计和点云描述符匹配的自动驾驶车辆定位方法
CN113758491B (zh) * 2021-08-05 2024-02-23 重庆长安汽车股份有限公司 基于多传感器融合无人车的相对定位方法、***及车辆
CN113760908B (zh) * 2021-08-23 2023-07-07 北京易航远智科技有限公司 基于时间序列的既定路径下不同地图间的位姿映射方法
CN113763551B (zh) * 2021-09-08 2023-10-27 北京易航远智科技有限公司 一种基于点云的大规模建图场景的快速重定位方法
CN113777645B (zh) * 2021-09-10 2024-01-09 北京航空航天大学 一种gps拒止环境下高精度位姿估计算法
CN113865580B (zh) * 2021-09-15 2024-03-22 北京易航远智科技有限公司 构建地图的方法、装置、电子设备及计算机可读存储介质
CN113916232B (zh) * 2021-10-18 2023-10-13 济南大学 一种改进图优化的地图构建方法及***
CN114018248B (zh) * 2021-10-29 2023-08-04 同济大学 一种融合码盘和激光雷达的里程计方法与建图方法
CN114563797A (zh) * 2021-11-04 2022-05-31 博歌科技有限公司 自动地图探索***和方法
CN114047766B (zh) * 2021-11-22 2023-11-21 上海交通大学 面向室内外场景长期应用的移动机器人数据采集***及方法
CN114170280B (zh) * 2021-12-09 2023-11-28 北京能创科技有限公司 基于双窗口的激光里程计方法、***、装置
CN114353799B (zh) * 2021-12-30 2023-09-05 武汉大学 搭载多线激光雷达的无人驾驶平台室内快速全局定位方法
CN114387394A (zh) * 2022-01-06 2022-04-22 耿天军 一种铁路雨棚结构扫描与绘制方法
CN114355981B (zh) * 2022-01-06 2024-01-12 中山大学 一种四旋翼无人机自主探索建图的方法和***
CN114413881B (zh) * 2022-01-07 2023-09-01 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114355383B (zh) * 2022-01-20 2024-04-12 合肥工业大学 一种激光slam和激光反射板结合的定位导航方法
CN114526745B (zh) * 2022-02-18 2024-04-12 太原市威格传世汽车科技有限责任公司 一种紧耦合激光雷达和惯性里程计的建图方法及***
CN114659514B (zh) * 2022-03-21 2024-05-31 东南大学 一种基于体素化精配准的LiDAR-IMU-GNSS融合定位方法
CN114886345B (zh) * 2022-04-20 2023-12-15 青岛海尔空调器有限总公司 用于扫地机器人控制的方法、装置、***及存储介质
CN115082532B (zh) * 2022-05-12 2024-03-29 华南理工大学 一种基于激光雷达的跨江输电线防船舶碰撞方法
CN114993316B (zh) * 2022-05-24 2024-05-31 清华大学深圳国际研究生院 一种基于平面拟合的地面机器人自主导航方法及机器人
CN115031718B (zh) * 2022-05-25 2023-10-31 合肥恒淏智能科技合伙企业(有限合伙) 一种多传感器融合的无人船同步定位与建图方法(slam)及***
CN114675088B (zh) * 2022-05-27 2022-08-23 浙江大学 一种无监督学习的辐射源快速近场扫描方法
CN114964212B (zh) * 2022-06-02 2023-04-18 广东工业大学 面向未知空间探索的多机协同融合定位与建图方法
CN114898066B (zh) * 2022-06-14 2022-12-30 中国电子工程设计院有限公司 一种非凸室内空间识别重建方法及***
GB202210178D0 (en) * 2022-07-11 2022-08-24 Cambridge Entpr Ltd 3d scene capture system
CN114897942B (zh) * 2022-07-15 2022-10-28 深圳元戎启行科技有限公司 点云地图的生成方法、设备及相关存储介质
CN115291241B (zh) * 2022-08-29 2024-04-26 太原理工大学 一种基于SLAM的针对辐射工厂的α/β辐射地图构建方法
CN115617034B (zh) * 2022-09-01 2024-06-14 清华大学 多智能体的环境探索方法、装置、电子设备及存储介质
CN115359203B (zh) * 2022-09-21 2023-06-27 智城数创(西安)科技有限公司 一种三维高精度地图生成方法、***及云平台
FR3141535A1 (fr) * 2022-10-26 2024-05-03 Offroad système et méthode de construction d’une carte d’un environnement
WO2024094954A1 (en) * 2022-11-01 2024-05-10 Guardian Ai Limited Multi-directional localisation and mapping system
WO2024112255A1 (en) * 2022-11-23 2024-05-30 Dconstruct Technologies Pte. Ltd. Device and method for performing localization of a robot device
CN116127405A (zh) * 2022-12-05 2023-05-16 武汉大学 一种融合点云地图、运动模型和局部特征的位置识别方法
CN115615345B (zh) * 2022-12-16 2023-04-07 中南大学 一种基于摄影测量彩色点云配准的地表形变监测方法
CN116600308B (zh) * 2023-07-13 2023-10-03 北京理工大学 一种应用于地下空间的无线通信传输与空间建图方法
CN116934992A (zh) * 2023-07-18 2023-10-24 云创智行科技(苏州)有限公司 地图构建方法、装置、电子设备及存储介质
CN117252620A (zh) * 2023-09-26 2023-12-19 深圳市凯必禾信息科技有限公司 一种营销信息推送***
CN117554984A (zh) * 2023-11-08 2024-02-13 广东科学技术职业学院 一种基于图像理解的单线激光雷达室内slam定位方法及***
CN117710469B (zh) * 2024-02-06 2024-04-12 四川大学 一种基于rgb-d传感器的在线稠密重建方法及***
CN117761717B (zh) * 2024-02-21 2024-05-07 天津大学四川创新研究院 一种自动回环三维重建***及运行方法
CN117761624B (zh) * 2024-02-22 2024-06-18 广州市大湾区虚拟现实研究院 一种基于激光编码定位的被动式可移动对象跟踪定位方法
CN117872398B (zh) * 2024-03-13 2024-05-17 中国科学技术大学 一种大规模场景实时三维激光雷达密集建图方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140005933A1 (en) * 2011-09-30 2014-01-02 Evolution Robotics, Inc. Adaptive Mapping with Spatial Summaries of Sensor Data

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1815950A1 (en) * 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
US20110109633A1 (en) * 2009-11-12 2011-05-12 Sequeira Jr Jose J System and Method For Visualizing Data Corresponding To Physical Objects
EP2385483B1 (en) * 2010-05-07 2012-11-21 MVTec Software GmbH Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
JP5803043B2 (ja) * 2010-05-20 2015-11-04 アイロボット コーポレイション 移動式ロボットシステム及び移動式ロボットを作動させる方法
US9286810B2 (en) * 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9020187B2 (en) * 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
CN103247225B (zh) * 2012-02-13 2015-04-29 联想(北京)有限公司 即时定位与地图构建方法和设备
CN102831646A (zh) * 2012-08-13 2012-12-19 东南大学 一种基于扫描激光的大尺度三维地形建模方法
KR101319525B1 (ko) * 2013-03-26 2013-10-21 고려대학교 산학협력단 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템
CN104161487B (zh) * 2013-05-17 2018-09-04 恩斯迈电子(深圳)有限公司 移动装置
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
CN103279987B (zh) * 2013-06-18 2016-05-18 厦门理工学院 基于Kinect的物体快速三维建模方法
US20160189419A1 (en) * 2013-08-09 2016-06-30 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
US9759918B2 (en) * 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140005933A1 (en) * 2011-09-30 2014-01-02 Evolution Robotics, Inc. Adaptive Mapping with Spatial Summaries of Sensor Data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021152662A (ja) * 2015-04-10 2021-09-30 ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION リアルタイムのマッピングと位置確認のための方法及び装置
WO2020166612A1 (ja) * 2019-02-12 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
JP7511488B2 (ja) 2019-02-12 2024-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
WO2021033574A1 (ja) * 2019-08-21 2021-02-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
EP3280977A1 (en) 2018-02-14
CN107709928A (zh) 2018-02-16
AU2016246024A1 (en) 2017-11-09
EP3078935A1 (en) 2016-10-12
KR20180004151A (ko) 2018-01-10
ES2855119T3 (es) 2021-09-23
CN107709928B (zh) 2021-09-28
CA2982044A1 (en) 2016-10-13
US20180075643A1 (en) 2018-03-15
JP7270338B2 (ja) 2023-05-10
EP3280977B1 (en) 2021-01-06
AU2016246024B2 (en) 2021-05-20
KR102427921B1 (ko) 2022-08-02
JP2021152662A (ja) 2021-09-30
WO2016162568A1 (en) 2016-10-13
US10304237B2 (en) 2019-05-28
HK1251294A1 (zh) 2019-01-25
CA2982044C (en) 2021-09-07

Similar Documents

Publication Publication Date Title
JP7270338B2 (ja) リアルタイムのマッピングと位置確認のための方法及び装置
US10096129B2 (en) Three-dimensional mapping of an environment
JP2021152662A5 (ja)
Li et al. Efficient laser-based 3D SLAM for coal mine rescue robots
JP6410530B2 (ja) Vslam最適化のための方法
Badino et al. Visual topometric localization
Alsadik et al. The simultaneous localization and mapping (SLAM)-An overview
Ryde et al. 3D mapping with multi-resolution occupied voxel lists
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
Wulf et al. Benchmarking urban six‐degree‐of‐freedom simultaneous localization and mapping
Zhang LILO: A novel LiDAR–IMU SLAM system with loop optimization
Huai et al. Stereo-inertial odometry using nonlinear optimization
Nocerino et al. Introduction to mobile mapping with portable systems
Song et al. Scale estimation with dual quadrics for monocular object SLAM
Xia et al. YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM
Duan et al. A low-cost and portable indoor 3D mapping approach using biaxial line laser scanners and a one-dimension laser range finder integrated with microelectromechanical systems
Zongqian et al. SfM on-the-fly: Get better 3D from What You Capture
Xiang Fast and lightweight loop closure detection in LiDAR-based simultaneous localization and mapping
Yousif 3d simultaneous localization and mapping in texture-less and structure-less environments using rank order statistics
Voorhies Efficient slam for scanning lidar sensors using combined plane and point features
Mostofi 3D Indoor Mobile Mapping using Multi-Sensor Autonomous Robot
Zhang Visual metric and semantic localization for UGV
Chen et al. High-Precision Autonomous Parking Localization System based on Multi-Sensor Fusion
Bulatov et al. Very fast road database verification using textured 3D city models obtained from airborne imagery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180125

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20171201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200311

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210520

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210520

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20210602

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210702

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210705

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210827

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210901

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211011

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20211201

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220125

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220415

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221205

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230313

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230410

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7270338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150