JP6445995B2 - センサデータの空間的集約を用いる適応マッピング - Google Patents

センサデータの空間的集約を用いる適応マッピング Download PDF

Info

Publication number
JP6445995B2
JP6445995B2 JP2016087863A JP2016087863A JP6445995B2 JP 6445995 B2 JP6445995 B2 JP 6445995B2 JP 2016087863 A JP2016087863 A JP 2016087863A JP 2016087863 A JP2016087863 A JP 2016087863A JP 6445995 B2 JP6445995 B2 JP 6445995B2
Authority
JP
Japan
Prior art keywords
mapping system
posture
robot
environment
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016087863A
Other languages
English (en)
Other versions
JP2016157473A (ja
Inventor
フォン フィリップ
フォン フィリップ
エーデ イーサン
エーデ イーサン
イー.ミューニック マリオ
イー.ミューニック マリオ
Original Assignee
アイロボット コーポレイション
アイロボット コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイロボット コーポレイション, アイロボット コーポレイション filed Critical アイロボット コーポレイション
Publication of JP2016157473A publication Critical patent/JP2016157473A/ja
Application granted granted Critical
Publication of JP6445995B2 publication Critical patent/JP6445995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • G01C21/3881Tile-based structures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

関連出願の相互参照
本願は、あらゆる目的のために参照により本明細書に援用される、「センサデータの空間的集約を用いる適応マッピング」と題する、2011年9月30日出願の米国仮特許出願第61/541749号の利益を主張する。
本発明は、複数のサブマップを用いて環境地図を生成するための技術に関し、特に、センサデータが取得されるとともにセンサの位置に関する確実性が分かったときに、センサの位置に基づいてセンサデータを集約して複数のサブマップにするためのシステム及び方法に関する。
ここ数年、SLAM(Simultaneous Localization and Mapping)問題について実質的な研究努力がなされてきた。SLAM分野における「地図」という用語は、概して、観察されたランドマーク又は特徴の空間配置を表す。当該ランドマークが障害物の位置(例えば、レーザ距離計によって集められた測定値)に相当する場合、「地図」はロボットが動作している空間の床配置図を示す占有地図になる。そうでない場合には、すなわち、ランドマーク情報が障害物の位置(例えば、カメラによって測定された測定値)に相当しない場合には、SLAM技術によって推定された「地図」は、障害物の位置(占有地図)からは切り離して考えられる。しかしながら、占有地図は、ロボットが適切に判断するとともに環境内を移動するために必要である。
姿勢の推定(すなわち、自己位置推定)と地図の構築とを同時に行うために多数のSLAM技術が提案されている。方法によっては、新しい情報が収集されるときに、最近の姿勢だけでなく過去の複数の姿勢が再推定され、自己位置推定システムが更新されるときにロボットの軌道の推定が改良されるものもある。移動式ロボットが室内環境の中を移動するとき、例えば、レーザスキャンデータが収集される。当該スキャンデータは、オドメトリ情報と合成されてロボットの軌道を推定することによって、建物の床配置図を示す地図を生成する。収集される情報が多ければ多いほど、ロボットの過去の姿勢の推定値が改良されるため、地図の精度が上がる。このシステムの欠点は、新しい情報を入手したときに全てのセンサ読み取り値及び関連する姿勢を再処理できるように当該センサデータを蓄積していなければならないことである。この結果、蓄積の必要性が時間とともに直線的に高まる。そのため、新しい情報を用いて占有地図を効率的に作成することによって、蓄積の必要性が時間とともに直線的に高まることなく地図の精度が上がる自己位置推定及び地図構築技術が要求されている。
本発明の好適な実施形態は、環境中を移動するロボット又は他のマッピングシステムが取得したパラメータデータをマッピングするためのシステム及び方法を特徴とする。この方法は、概して、環境中にロボットを駆動させながら環境の特徴を表すパラメータを測定する工程と、現在のロボットの姿勢の推定値を生成する工程と、現在の姿勢と前のアンカーノードとの間の姿勢不確実性の推定値が閾値を越えるまでアンカーノードと関連する現在のグリッドに対してパラメータデータをマッピングする工程とを備える。閾値を上回る場合、ロボットは、新しいアンカーノードと関連する新しいグリッドを生成することによって、パラメータデータを記録する。ロボットは、パラメータデータを記録するために、別々のアンカーノードと関連する新しいグリッドを繰り返し生成する。アンカーノードの推定位置は、ロボットが環境中の位置を求める基準とするランドマークの位置の推定値を改良するたびに、経時的に更新される。占有地図又は他のグローバルパラメータ地図が必要な場合、ロボットは、局所グリッドを、グローバル基準フレームにおけるパラメータデータを示す包括地図に統合する。
本発明の実施形態により、ロボットは、新しいパラメータデータを、新しい局所パラメータグリッド又は既存のパラメータグリッドに対してマッピングしてもよい。現在のロボット姿勢推定値と、既存のグリッドに関連する姿勢推定値との間の不確実性が所定の閾値を下回る場合、データを既存のパラメータグリッドに記録する。既存のグリッドを用いて、ロボットは、メモリ必要量が時間とともに直線的に増大することなく、環境をマッピングするのに必要なメモリ必要量を制限することができる。
本発明は、例示によって説明され、添付の図面中の図に限定されるものではない。
本発明の好適な実施形態に係るロボットシステムの機能ブロック図である。 本発明の好適な実施形態に係る、グローバル基準フレーム内の移動式ロボットシステムの概略図である。 グローバル基準フレーム内のアンカーノードと一致する位置にある本発明の好適な実施形態に係る局所グリッドの概略図である。 ノードと、対応するセンサデータとを示す、本発明の好適な実施形態に係るロボットの軌道である。 アンカーノードと、センサデータの集約とを示す、本発明の好適な実施形態に係るロボットの軌道である。 アンカーノードと、センサデータの集約とを示す、本発明の好適な実施形態に係るロボットの軌道である。 本発明の好適な実施形態に係る、センサデータを集約するプロセスを示すフローチャートである。 本発明の好適な実施形態に係るノードを示すロボットの軌道である。 本発明の好適な実施形態に係る複数の局所パラメータグリッドを示す。 本発明の好適な実施形態に係るノードを示すロボットの軌道である。 本発明の好適な実施形態に係る複数の局所パラメータグリッドを示す。 本発明の好適な実施形態に係る、ロボットシステムが探査した環境における空き空間を示す占有地図である。 本発明の好適な実施形態に係る、ロボットシステムが探査した環境における障害物を示す占有地図である。 本発明の好適な実施形態に係る、自己位置推定とパラメータマッピングとを並行して行うプロセスのフローチャートである。
図1に、より詳細に以下に記載されるように空間的集約を生成するために構成された移動式ロボットシステムの機能ブロック図を示す。ロボットシステム100は、例えば、1つ以上のセンサ110と、中央処理プロセッサ130と、関連データを蓄積するための1つ以上のデータベースと、駆動ホイール152を含む駆動機構150とを備えている。1つ以上のセンサ110には、ロボットが動き回っている環境の画像を取得するための1つ以上の視覚センサ112(カメラ、ビデオカメラ、CCD撮像装置やCMOS撮像装置や赤外線撮像装置を含む撮像装置など)が含まれている。好適な実施形態におけるセンサ一式は、駆動システムのホイールの回転を測定するための1つ以上のホイールオドメータ(オドメトリセンサ)114も備えている。センサ一式は、移動式ロボットの経路に障害物があることを示す信号を生成するための1つ以上のバンプセンサ118を更に備えていてもよい。
センサ112,114からのデータは、プロセッサユニット116において前処理を受けてもよい。例えば、プロセッサユニット116は、既知のランドマークを認識するために画像データから視覚的特徴を抽出するとともに、オドメトリデータを処理してホイールエンコーダ信号又は他のオドメトリデータを距離及び回転数の推定値に変換してもよい。実施形態には、オドメトリデータを用いて、表面が濡れていたり、滑りやすかったり、カーペットが敷かれていたりするために駆動ホイールがスリップする状況を検出・補償してもよいものもいくつかある。プロセッサユニット120においてバンプセンサ118からのデータを前処理することによって、ロボットが障害物に直面する時刻と、ロボットの経路に対する障害物の位置とを求めてもよい。
他の実施形態では、センサ110一式には、レーザ距離計、赤外線(IR)距離計、音響距離計などを含む距離計と、環境における物体までの横方向の距離を測定するための横方向近接センサを含む近接センサと、ロボットによる移動に適していない階段などの位置を検出するための落下センサと、汚れ濃度とすべり量と汚れの特徴とを測定するためのセンサを含む床面センサとが含まれている。
移動式ロボットシステム100は、自己位置推定と、ロボットが動作している環境を特徴付ける特性の地図を生成することと、環境中を移動することとのうち1つ以上を行うよう構成された少なくとも1つのプロセッサ130を更に備えている。好適な実施形態では、プロセッサ130は、参照により本明細書に援用される米国特許第7135992号明細書に教示されたSLAM(Simultaneous Localization and Mapping)134と呼ばれる技術を用いて視覚データ及びオドメトリデータによってランドマーク及び移動式ロボットの位置を求める自己位置推定モジュール132を備えている。この技術を用いて、このロボットシステムは、環境を探査し、環境の画像を多数撮像し、環境内のランドマークを表す地図を作成し、当該ランドマークを基準にしてロボットの位置を推定する。
米国特許第7135992号明細書には、視覚処理のための視覚的フロントエンドにおいて用いることができる例示的なプロセスが記載されている。記載のように、VSLAM(Visual SLAM)を用いたロボットは、環境中を移動しながら、ロボット自身が目にした物理的ランドマークを分析する。認識したランドマークを用いて、1つ以上の地図の中においてロボットの位置が推定できる。1つ以上の地図には、新しく作成されたランドマークが追加できる。新しいランドマークを作成する行為は、ランドマークを「生成する」と呼ばれてもよい。当業者にとっては当然のことながら、このプロセスは様々な方法で変更できる。例えば、他の実施形態では、このプロセスにおける様々な部分が組み合わされたり、代替の順序に並べ変えられたり、省略されたりすることができる。なお、このプロセスは、多目的コンピュータにおいて動作するソフトウェア、マイクロプロセッサによって実行されるファームウェア、専用のハードウェアなどのような様々な方法で実施できる。
このプロセスは、視覚センサ又は関連するデータバッファから画像を取得することによって開始する。プロセスにおけるこの時点では、多数の視点は用いられていない。例えば、ロボット用の視覚センサが多数のカメラに相当する場合、カメラからの1つの画像を分析用に選択できる。当然、この画像は、タイムスタンプに関連していてもよく、こうして、他のプロセスにおいて、自律航法センサからこの画像までの適切なデータを参照できる。
このプロセスでは、マッチングしたランドマークのリストが生成される。例えば、このプロセスでは、SIFT特徴ベクトルのような特徴記述子を画像から抽出できるとともに、前もって観察及び蓄積したランドマークの特徴と抽出した特徴とを比較できる。例えば、ランドマークの特徴は、ランドマークデータベースに蓄積できる。ある実施形態では、特徴記述子を比較的迅速に検索するために、オプションの物体認識テーブルを用いる。ある実施形態では、1つ以上のマッチングランドマークを含むランドマークが、更に分析を行うために、ランドマーク識別子リストのようなリストによって識別される。
ループ処理が始まる。ループでは、リストによって識別されたマッチングランドマークの特徴を、観察された画像の特徴と更に比較する。当然のことながら、マッチングランドマークが確認されない場合、プロセスでは、ループの実行を飛ばしてループの最後に進んでもよい。
各マッチングランドマーク毎に、ループ処理は決定ブロックから始まる。決定ブロックでは、プロセスにおいて、画像とマッチングランドマークとの間でマッチングしている特徴の数を比較する。このプロセスでは、検出した特徴を用いて、ランドマークを基準に姿勢を推定する。ある実施形態では、検出した特徴の数が、構造及び動作の問題を解決するために必要な特徴の最小限の数に相当する所定数と比較される。当然のことながら、特徴の最小限の数は、構造及び動作の問題を解決するために用いる技術によって決まるものであってよい。例えば、構造及び動作の問題が3焦点テンソル法を用いて解決される場合、解の収束のための特徴の最小限の数は5程度である。ランドマークのマッチングしている特徴が十分にある場合に、このプロセスは決定ブロックから次に進む。そうでない場合は、プロセスはループの最後に進み、更に他のランドマークを処理するために元に戻るか、ループを抜けるかのいずれかを行う。
このプロセスでは、ランドマーク基準フレームを基準にしてロボットのカメラ姿勢を算出する。このカメラ姿勢は、取得した画像に対応する姿勢と、マッチングしたランドマークの姿勢との間の、Δx,Δy,Δθのような相対的な姿勢に相当する。当然のことながら、相対的な姿勢の算出には、垂直成分(Δz)、ロール、及びピッチの変化のような他の寸法が含まれてもよく、相対的な姿勢は、他の座標系で表されてもよい。
当業者にとっては当然のことながら、多数の技術を用いて相対的な姿勢を算出できる。相対的な姿勢を算出するための計算効率の良い技術には、最小の投影誤差のような比較的小さい投影誤差しか生じない相対的な姿勢を計算する方法がある。
ある実施形態では、ランドマークデータベースの特徴テーブル142のようなデータ格納場所からランドマークの特徴の3D座標が取り出される。プロセスでは、仮想姿勢(ランドマークの姿勢を基準とする)が3D座標からシフトされ、3D座標からの投影及び姿勢の変更によって、新しい2D画像座標が計算される。ある実施形態では、例えば、x,y,z,ロール,ピッチ,ヨー(θ)のような6次元の3D姿勢空間の中から、現在測定されている特徴座標と、3D特徴から画像に投影された座標との間に比較的小さい二乗平均平方根(RMS)投影誤差を有するポイントを検索することによって相対的な姿勢が求められる。このプロセスは決定ブロックに進む。
数値解を求めるための反復演算を用いて、相対的な姿勢を算出できる。ただし、このような技術は、何らかの結果に収束するとは限らない。収束が実現した場合、すなわち、ランドマークが比較的マッチングしている場合、プロセスは、決定ブロックから次に進み、マッチングしたランドマークに関する情報が蓄積される。そうではない場合、プロセスは、決定ブロックからループの最後に進む。当然ながら、計算効率の比較的悪いブルートフォース技術などの他の技術を用いて、比較的小さい投影誤差を有する相対的な姿勢を計算してもよい。
このプロセスでは、マッチングしたランドマークに関する結果のプレフィルタリングプロセスへの提供とSLAMプロセスへの直接提供とを両方できるように、又は、この結果のプレフィルタリングプロセスへの提供とSLAMプロセスへの直接提供とのいずれかができるように、この結果が蓄積される。ある実施形態では、ランドマークのマッチング結果には、評価済のランドマークのランドマーク識別子と、計算済のカメラ姿勢と、計算済のカメラ姿勢の投影誤差の二乗平均平方根(RMS)値と、マッチングしている特徴の数と、傾斜の算出値とが含まれている。ある実施形態では、投影誤差の算出RMS値と、マッチングしている特徴の数と、傾斜の算出値のうち1つ以上を蓄積することは随意であり、当該尺度のうち1つ以上がプレフィルタリングプロセスによって用いられるときにこの蓄積を実施する。プロセスにおいて、結果の1つ以上を後で再算出しないで済むように、当該尺度が蓄積されてもよい。プロセスはループの最後に進み、ここで、ループの始めに戻って他のマッチングしているランドマークを処理するか、マッチングしているランドマークの処理が終わったときに決定ブロックに進むかのいずれかを行う。
プロセスでは、例えば、Δx,Δy,及びΔθなどの相対的な姿勢又はカメラ姿勢の収束解が少なくとも1つあるかどうかが求められる。例えば、ある実施形態では、プロセスにおいて、マッチングしていることが確認されたランドマークのうち少なくとも1つのランドマークの収束解が少なくとも1つあるかどうかが求められる。
少なくとも1つの収束解があった場合、ロボットによって観察されたものと、データベース内のランドマークのうち少なくとも1つとの間に少なくとも1つの比較的「ぴったりの」組み合わせがあったことを示し、プロセスでは、マッチングしたランドマークを用いてグローバル基準フレームの範囲内でロボットの位置を推定できるように、前もって蓄積されたマッチング結果がプレフィルタリングプロセス及び/又はSLAMプロセスに提供される。SLAMプロセスによってこの情報が用いられることにより、自律航法情報のずれを補正できることが好ましい。マッチング結果は、1つ以上のランドマークのマッチング結果を含んでいてもよい。複数のランドマークが同じ画像内で確認されるとき、SLAMプロセスの一実施形態では、当該ランドマーク全てが処理できる。
プロセスのこの時点では、ロボットによって観察されたものと、データベース内のランドマークとの間に比較的「ぴったりの」組み合わせがないことが判定されており、プロセスはランドマーク作成プロセスに進む。
環境中の新しい物理的ランドマークが認識されるとともにデータベースの1つ以上の地図中に対応するランドマークが作成される際に視覚的フロントエンドにおいて随意に用いることができるプロセスが説明される。新しいランドマークが作成される行為は、ランドマークを「生成する」と呼ばれてもよい。当業者にとっては当然のことながら、図示したプロセスは発明の趣旨及び範囲から逸脱することなく様々な方法で変更できる。例えば、他の実施形態では、図示したプロセスにおける様々な部分が組み合わされたり、代替の順序に並べ変えられたり、省略されたりすることができる。なお、このプロセスは、多目的コンピュータにおいて動作するソフトウェア、マイクロプロセッサによって実行されるファームウェア、専用のハードウェアなどのような様々な方法で実施できる。
米国特許第7135992号明細書に記載のように、プロセスでは、分析用の少なくとも2つの画像のグループが取得される。例えば、双眼カメラ又は三眼カメラのような多数の撮像装置を有する視覚センサ又は単眼カメラのような1つの撮像装置を有する視覚センサによって画像が提供できる。単眼カメラからの画像が用いられる場合、プロセスでは、適切に間隔が空けられている画像が選択できる。図示の実施形態では、ロボットに単眼前方監視カメラが搭載され、前進して関連画像を撮影する。視覚センサは他の構成でもよい。他の例では、視覚センサは、略上向きカメラ、側方監視カメラ、又は、前方、上方、及び/又は側方の間の位置に対応していてもよい。単眼前方監視カメラを備えている図示の実施形態に戻ると、ある例では、それぞれ少なくとも約10センチメートル(cm)の離間距離がある3つの画像が選択される。当然のことながら、この離間距離に適切な距離は、環境次第で広い範囲内で変動してもよい。例えば、動作環境が、屋外環境のような比較的開放的な環境である場合、特徴の遠近感を得るために、適切な画像離間距離は長くなってもよい。ある実施形態では、離間距離は、ロボットの動きを妨げ得る障害物までの距離の推定値に応じて適応的に変化させてもよい。ある実施形態では、ロボットに単眼前方監視カメラが搭載されている場合、ロボットは、画像を撮像しながら前方に略直線状に移動する。ロボットが画像を撮像している間に何らかの方向転換が許容されてもよいが、ランドマークの特徴がカメラの視界から外れるほど過剰な方向転換はすべきではない。
ロボットに三眼カメラのような多数の撮像装置を有する視覚センサが搭載されている場合、特定の工程が省略されてもよく、視覚センサ間の間隔は、メモリに記憶されたパラメータから取り出してもよい。
単眼カメラが視覚センサとして用いられるとともにロボットが移動して様々な視点から様々な画像を撮像する場合、プロセスでは、画像間の実際の距離が取得されるとともに、移動量が確認される。ある実施形態では、画像が撮像された時刻に相当する自律航法データを確認することによって画像間の実際の距離が求められる。
このプロセスでは、「ベースライン」と呼ばれる、画像間の移動距離が検査される。例えば、画像間のベースラインの量が所定値と比較されてもよい。当然のことながら、所定値は、非常に広い範囲内で変動してもよい。一戸建て又はマンションの室内のような屋内環境では、所定値に適した値は、約10センチメートルであってもよい。もちろん、この適した値は、環境によって決められてもよく、他の適した値は、当業者によって容易に求められる。ロボットの移動がグループ内の画像のうち2つ以上の間で十分ではない場合、プロセスではランドマークが作成されない。ロボットの移動が十分な場合は、ランドマークが作成されてもよい。
プロセスでは、選択画像が分析されることにより、グループ内の画像に共通の2D特徴が確認される。確認可能な特徴の数は、環境に応じて変動する。好適な特徴の抽出について、文献に広く記載されている。SIFT特徴は、このような2D特徴の一例である。例えば、デイビッド・G・ロウ(David G. Lowe)著、「3次元物体認識のための局所特徴ビュークラスタリング」、ハワイ・カウアイ、コンピュータ視覚及びパターン認識に関するIEEEカンファレンス予稿集(2001年12月)を参照。ただし、特徴の計算において用いる他の情報には、内部カメラキャリブレーションパラメータと、外部カメラキャリブレーションパラメータとが含まれてもよい。内部カメラキャリブレーションパラメータとしては、例えば、光学中心、歪パラメータ、焦点距離などが挙げられる。外部カメラキャリブレーションパラメータとしては、例えば、カメラ基準フレームと局所基準フレームとの間のカメラ剛体変換などが挙げられる。
プロセスでは、グループ内の画像、例えば、3つの画像に共通する特徴が十分確認されているかどうかが判定され、ランドマークを確実に確認する。例えば、プロセスにおいて、グループ内の画像に共通している特徴が所定数より少ないと判定されている場合、今後確実にランドマークを確認できるほど十分な特徴が検出されていないと判定される。この場合には、プロセスにおいて、ランドマークが「作成」されない。当然のことながら、特徴の所定数に適した値は、非常に広い範囲内で変動してもよく、視覚的特徴を確認するために用いる方法によって決められてもよい。ある実施形態では、ランドマーク作成のための特徴の所定数は、既に蓄積されているランドマークと画像を比較するために用いる所定値よりも大きい。
ある実施形態では、SIFT特徴が用いられる場合、特徴の所定数のサンプル値の例は約10である。当業者によって他の適した値が容易に求められる。ある実施形態では、VSLAMシステムは、所定値をユーザが設定できるように構成されていてもよい。
グループ内の画像に共通する特徴が十分確認された場合、プロセスにおいて、3D局所基準フレーム位置又は確認された共通特徴への3D局所基準フレームの移動量を算出する。ある実施形態では、3D局所基準フレーム位置は、ロボットの視覚センサを基準とした特徴の概略3D位置(x,y,z)に対応する。ロボットが移動するのに伴って1つの視覚センサからの画像が多数撮像される場合、3D局所基準フレーム位置は、ロボットがグループ内の最初の画像などのグループ内の画像のうち1つを撮像したときのロボットの位置を基準にしていてもよい。ある例では、構造及び動作の問題を3焦点テンソル法を用いて解決することによって3D位置の算出が解決される。当然のことながら、特徴は、対応する3D位置が比較的概算であってもよいように点よりも大きい空間を占有してもよい。
プロセスでは、ランドマークについて求められる特徴が確実に認識されるのに十分な数の3D局所基準フレーム位置があるかどうかが判定される。当然のことながら、プロセスでは、場合によって、対応する移動量情報を含む3D特徴の数が前述の最初に検出された特徴の数と異なってもよいように特定の特徴についての3D局所基準フレーム位置の解が求められないこともある。プロセスでは、例えば、ランドマークの特徴について求められる3D局所基準フレーム位置の数を所定数と比較してもよい。ある実施形態では、SIFT特徴が用いられる場合、プロセスでは、比較的確実な認識のために求められる3D局所基準フレーム位置を含む特徴が10以上あるときに、ランドマークには、このような特徴が十分な数あると判定される。他の適した値は、当業者によって容易に求められる。
ランドマークが確実に認識されると判定された場合、プロセスでは、特徴と、3次元位置と、オプションとして、基準とされる画像の特徴に対応する概略2D画像位置とが識別可能なように蓄積される。例えば、何らかの特徴の3D位置及び2D画像位置が、特徴テーブルのレコードに蓄積される。当然のことながら、作成されるランドマークは、それぞれ、固有の番号を持った識別子などの固有の基準を有しているはずであり、基準の特徴は、それぞれ、ランドマークIDなどのランドマークの基準と、特徴IDなどの特徴の基準との組み合わせなどによって識別可能なはずである。
プロセスでは、VSLAMのSLAM部に関連するプロセスなどの他のプロセスに対して、新しいランドマークが作成済であることが示される。例えば、ソフトウェアコール、ハードウェア割り込み又はソフトウェア割り込みなどのパラメータ又はフラグとして新しいランドマークが作成済であることを示す指標が与えられる。この指標にも、新しく作成されたランドマークのランドマーク識別子が伴っていてもよい。
随意の実施形態では、例示的なSLAMプロセスにおいて、新しいランドマークが観察済であることの指標が受け取られる。プロセスでは、SLAMシステムの最終更新時刻からの姿勢の変化が算出される。必要に応じて、SLAMシステムのパーティクルが全て同時に更新され、特定のパーティクルの最終更新時刻が他のパーティクルの最終更新時刻と同じになるようにする。自律航法センサ及び/又は自律航法インターフェースによって提供されるデータを取得することによって姿勢の変化が算出されてもよい。必要に応じて、プロセスでは、自律航法データ行列を含むデータベースなどのデータ記憶装置から適切なデータが取得される。例えば、パーティクルの最終更新時刻に関連するタイムスタンプと、観察されたランドマークの認識に関連するタイムスタンプとを用いて、自律航法データ行列から取得されるべき適切なデータを識別できる。必要に応じて、プロセスでは、自律航法データから姿勢[Δ,Δ,Δの変化が算出され、この結果を後で用いて、グローバル基準フレームにおけるロボットの姿勢の推定又は予測とランドマークの姿勢の更新とを両方行うか、又は、グローバル座標系におけるロボットの姿勢の推定又は予測とランドマークの姿勢の更新とのいずれかを行う。
数式1において、時刻kの第1自律航法姿勢(x,y,θ)から時刻lの第2自律航法姿勢(x,y,θ)への姿勢変化が算出される。必要に応じて、「姿勢変化」サブルーチンへの呼び出しなどの関数呼び出しによって姿勢変化が算出される。変数Δ odomは、(x,y)と(x,y)との間のユークリッド距離に対応する。変数Δ odomは、時刻kから時刻lに至るまでのロボットの方位に対応する。変数Δ odomは、時刻kから時刻lまでのロボットの進行方向の変化を表す。「mod」は、算術剰余演算子を示す。
多数のパーティクルを用いて多数の仮定を追跡する場合、ループでは、各パーティクルが更新されて維持される。プロセスでは、新しく設定されたランドマークのランドマーク識別子が取得される。必要に応じて、同じランドマーク識別子を用いて、SLAMプロセスにおけるランドマークを視覚的自己位置推定プロセスにおけるランドマークの識別子として識別する。もちろん、異なるランドマーク識別子が生成されて相互参照されてもよい。ただし、SLAMプロセスでは、ランドマークの3D特徴などの視覚的情報が蓄積される必要はない。どちらかと言えば、SLAMプロセスは、必要に応じて、ランドマークIDなどの、どのランドマークに直面したかの識別表示によって機能して、データベースレコード識別子を用いてSLAM範囲内でランドマークを識別するようにしてもよい。プロセスでは、データベースに対して、新しいランドマークの姿勢が追加される。必要に応じて、新しいランドマークの姿勢の初期推定値を、物理的なランドマークそのものの空間中の推定位置ではなく、データベースに蓄積されているランドマークが観察された時点に対応するロボットの推定姿勢とする。データベースに新しいランドマークの姿勢を追加するためには、プロセスにおいて、ループの特定の回の実行に対応するパーティクルに関するロボットの現在の姿勢が推定される。必要に応じて、この状態において計算された自律航法データからの姿勢変化を、パーティクルの最終更新時刻から取得された、このパーティクルに関するロボットの以前の姿勢と結合することによって現在の姿勢が推定される。数式2には、姿勢変化[Δ odom,Δ odom,Δ odomを以前の姿勢(x,y,θ)と結合することによって新しいランドマークの姿勢として用いる新しい姿勢(x,y,θ)が生成される1つの方法が表されている。当然のことながら、k及びlの下付き文字は、以下に用いるk及びlの同じ下付き文字とは異なる変数を表す。
ある実施形態では、「姿勢予測」サブルーチンへの呼び出しなどの関数呼び出しによって、新しいロボットの姿勢(x,y,θ)が算出される。プロセスでは、ループの1回分に対応するパーティクルに関連するランドマーク共分散行列C が初期設定される。ここでは、mはパーティクルループ変数であり、kはランドマークループ変数である。ある実施形態では、ランドマーク共分散行列C が3×3の対角行列に初期設定される。ある実施形態では、ランドマーク共分散行列C が、diag(81cm,81cm,0.076rad)の対角行列に初期設定される。ランドマーク共分散行列C に好適な他の初期値は、当業者によって容易に求められるであろう。ランドマーク共分散行列C の値は、地図テーブルのレコードに蓄積されてもよい。当然のことながら、適切な初期値は、非常に広い範囲の中で変動してもよく、カメラの仕様や自律航法装置の精度などを含む様々な要素に左右されてもよい。この後、ループが終了してもよい。プロセスでは、更新されるべき残りのパーティクルがある場合に、ループの始めに戻ることになる。残りのパーティクルがない場合、プロセスは終了する。
好適な実施形態では、ランドマークは、画像データからの視覚的特徴を用いて視覚認識される。当該視覚的特徴は、スケール不変特徴量変換(Scale Invariant Feature Transform:SIFT)、高速化ロバスト特徴(Speeded Up Robust Features:SURF)、勾配位置及び方向ヒストグラム(Gradient Location and Orientation Histogram:GLOH)、二値ロバスト独立基本特徴(Binary Robust Independent Elementary Features:BRIEF)、又は当業者に公知の他のタイプの視覚的特徴を用いて抽出・照合されている。視覚的ランドマークは、画像が撮像されたときのロボット位置及び方位(姿勢)の推定値とともにランドマークデータベース142に蓄積されている。
プロセッサ130は、局所パラメータを備える複数のサブマップ又はグリッドを生成するとともに当該グリッドに基づいてグローバルパラメータ地図を構築するように構成されたパラメータマッピングモジュール136を備えている。とりわけ、パラメータマッピングモジュール136は、関連するアンカーノード、すなわち、対応する局所基準フレームに固定された基準ポイントに近接する環境の特性を表すグリッドを構築する。SLAMモジュール134において環境の特徴を表す自己位置推定地図が改良されるたびに、グローバル基準フレーム内のアンカーノードの位置の推定値が継続的に更新される。好適な実施形態では、パラメータマッピングモジュール136によってマッピングされたパラメータには、以下により詳細に説明されるように、障害物と、ロボットシステムが自由に動き回る空き空間とが含まれている。各アンカーノードはノードデータベース144に蓄積されるとともに、関連するグリッドはグリッドデータベース146に蓄積される。好適な実施形態では、パラメータマッピングモジュールには、アンカーノードの座標及びグローバル基準フレーム内の進行方向と一緒に蓄積されているアンカーノードの位置推定値に関連する不確実性を測定するための不確実性トラッキングモジュール138が含まれている。
好適な実施形態におけるプロセッサ130は、ロボットの移動を制御する信号を生成するよう構成されたナビゲーションモジュール140を更に備えている。例えば、ナビゲーションモジュールは制御信号を与えて、前進、停止、後退、方向転換、又は垂直軸を中心にした回転を行うようロボットに指示できる。移動式ロボットシステムが自律型又は半自律型ロボットであれば、ナビゲーションモジュール140も経路設計モジュール141を用いて経路を設計することによって、所望の目的地までのロボットシステムの効率的な誘導と所望の目標の実現との両方又はいずれか一方を行うことができる。好適な実施形態によれば、経路設計は、複数のパラメータグリッドに対応するアンカーノードの姿勢の現在の推定値を用いて当該グリッドから生成されるパラメータ地図に基づいている。
ロボットシステム100は、ロボットの環境周辺でロボットを移動させるための駆動機構150を更に備えている。この環境は、屋内、屋外、これらの組み合わせのいずれでもよい。好適な実施形態では、駆動機構は、例えば、モータ154によって動力が供給される2つ以上の駆動ホイール152と、電池パック156とを備えている。駆動ホイールに加えて又は駆動ホイールの代わりに、トラック、ローラ、プロペラ、脚部などを含む他の形態の移動手段がロボットシステムに組み込まれることによって、ロボットシステムが動き回れるようにしてもよい。駆動機構150は、例えば、ホイールの回転を測定するとともにロボットシステムが移動する距離を推定するための1つ以上の光学ホイールエンコーダ158を更に備えていてもよい。また、対向するホイールの回転の差によって進行方向の変化を示していてもよい。
ホイールエンコーダ158又は他のタイプの自律航法によって、ロボットシステムは、以前の位置及び方位(姿勢)から移動進路と移動距離とを算出するとともに、この情報を用いて現在の姿勢を推定することができる。自律航法検知は、比較的短い距離の場合比較的正確であるが、時間とともにドリフトしやすい。他の形態の自律航法には、(歩行ロボット用の)歩数計、慣性計測装置による測定、光学マウス装置に用いるような光学センサなどが含まれてもよい。
好適な実施形態では、ロボットシステム210は、図2Aに示すように、デカルト(x,y)座標250によって表わされるグローバル基準フレームを基準にしてこのロボットシステム210の現在の位置、経路、又はその組み合わせをトラックする。当然のことながら、極座標のような他の座標系が用いられてもよい。図2Aに関して、横軸252はx軸に対応し、縦軸254はy軸に対応する。座標系の原点256は、ロボットのスタート位置、ロボットの位置、先のアンカーノード、又は他の任意の位置と一致していてもよい。ロボットシステムの位置及び方位を含む姿勢は、デカルト座標及び角度θに換算して記録されてもよい。
一方、好適な実施形態におけるグリッドには、局所基準フレームにおけるアンカーノードを基準にして配置される局所パラメータデータの地図が含まれる。図2Bに示すように、アンカーノードに近接する環境の特性が、アンカーノードA1の位置を基準にしてグリッド260にマッピングされる。そのため、グリッド260は、アンカーノード周辺の領域における環境を表す局所地図である。好適な実施形態では、各グリッドには、バンプセンサ118によって検出された障害物(黒色セル)と、(原寸に比例していない)ロボットによって横断された空き空間(白色セル)との位置を表す2次元デカルト表示が含まれている。好適な実施形態では、グリッドのデカルト座標系の軸は、アンカーノードにおけるロボットの方位θと一致する。この方位θは、グローバル基準フレームにおけるx軸252及びy軸254の方位とは概して異なる。グローバル基準フレームに関して、アンカーノードは、一般的に、環境中を動き回っている最中のロボットの経路沿いのポイントである。
好適な実施形態におけるグリッドは2次元(2D)デカルトサブマップとして図示されるが、当該グリッドには、例えば、球座標系と円柱座標系とを含む他の基準系を用いて局所パラメータデータが効果的に記録されてもよい。パラメータデータは、好適な実施形態では、デカルト座標系における画素によって表される。代替の実施形態では、グリッドは、局所パラメータデータを、例えば、(1)円柱座標系における画素、(2)任意の数の辺を有する多角形、又は、(3)他の任意の形状で表してもよい。
図3Aにおいては、例示的実施形態におけるロボットシステム100は、環境中の経路を行き来するよう構成されている。この経路は、例えば、ナビゲーションモジュール140によって予め設定されたり、場当たり的に設定されたり、人間の運転士又はナビゲータによって手動で設定されたりする。経路を行き来している間に、自己位置推定モジュールは、新しいランドマークを生成するのに用いる画像データを取得するとともに、環境をマッピングしてロボットシステムを環境内に配置するために、既知のランドマークを認識する。ランドマーク情報とオドメトリ情報とが組み合わされることによって、ロボットシステムが環境におけるロボットの位置の正確な推定値を出すことができる。
ロボットシステムは、位置判定と同時に、1つ以上の関心パラメータの地図を生成する。とりわけ、パラメータマッピングモジュールは、環境の特性を検出するとともに当該特性を表すパラメータ地図を生成する。図3Aにおいては、マッピングプロセスが、当該特性と環境中の様々な位置又は姿勢を測定することによって始まる。ロボットの姿勢は、円N1〜N8として表され、当該姿勢時に観察された対応するパラメータは、正方形A〜Hとして表される。当業者には当然であるように、パラメータデータは、一般的に、ロボットが測定値を収集し続けると、時間とともに直線的に増加することになる。パラメータを処理しやすいレベルに制限するために、本発明におけるロボットシステムは、特定の地理的な位置であるパラメータデータを効果的に集約した空間的集約を生成する。図3Bにおいて、ロボットシステムは、当該姿勢間の相対不確実性が小さい場合、別々の姿勢のパラメータ測定値を集約するよう構成されている。例えば、図3Aにおける姿勢N2と姿勢N3との相対的な姿勢変換の不確実性が低ければ、センサデータBとセンサデータCとが1つに集約されて、図3Bに示す姿勢Alに相当するものになる。センサデータBとセンサデータCとを集約したものに関連する姿勢は、本明細書においてアンカーノードと呼ばれる、ある基礎姿勢に関係している。アンカーノードとして選択された姿勢は、姿勢N2、姿勢N3、又は、姿勢N2と姿勢N3との組み合わせから作られた新しい姿勢に関連する姿勢であってもよい。
姿勢N2と姿勢N3のような連続的な姿勢は、(自律航法センサの精度に起因して)比較的低い相対不確実性を一般的に有しているので、多くの場合には、1つに集約されてもよい。位置モジュールによって生成された自己位置指定情報が時間とともに改良されるにつれて、2つの集約のアンカーノード間の相対姿勢不確実性が低くなる。2つのアンカーノード間の相対的な姿勢が十分に確実になる場合、すなわち、相対不確実性が閾値よりも低くなる場合、多数のノードに関連する集約は1つに集約され、この1つの集約は1つのアンカーノードに関連することになる。図3Cに示すように、センサデータBとセンサデータCとの集約は、センサデータHとセンサデータGとの集約と結合されて、アンカーノードA1と関連する1つの新しい集約を作成する。この新しい集約は、アンカーAlの領域におけるセンサデータを効果的に集約しているので、センサデータBと、センサデータCと、センサデータGと、センサデータHとを含む集約は、本明細書においては、空間的集約と呼ばれる。図4に示すように、多数対のアンカーノード姿勢が比較される。極端な場合には、各アンカーの姿勢が、他の全てのアンカーノードの姿勢と比較される。アンカーノード間の相対的な姿勢に関連する不確実性が閾値よりも低い場合、決定ブロックに肯定的に応じるとともに、当該アンカーノードの(センサデータからなる)集約は1つに集約される。この集約は1つのアンカーノードに関連する。一方、不確実性が閾値を上回る場合、1対のアンカーノードは集約されず、現在のノードに関連するグリッドに新しいセンサデータが追加される。好適な実施形態では、アンカーノード間の相対的な姿勢の「不確実性」は、相対的な姿勢の推定値の共分散行列の対角成分の合計である。他の実施形態では、相対不確実性を測定する方法には、マハラノビス距離又は同様な不確実性測定尺度を生成することが含まれる。
上述のように、複数のグリッドからのパラメータデータは、相対的な姿勢の不確実性に基づいて統合されて、1つのアンカーノードに関連する1つの集約になる。グリッドを集約するかどうかが決定されるときに、他の基準が用いられてもよい。当該基準には、限定されないが、(a)この集約によってメモリ必要量が少なくなるかどうか、すなわち、アンカーノードとグリッドの数が少なくなるかどうか、(b)この集約によって性能が向上するかどうか、すなわち、この集約によって完全なパラメータ地図を算出するのに必要な時間が少なくなるかどうか、(c)地図の質が向上するかどうか、すなわち、比較的「新しい」地図を保持しながら比較的「古い」期限切れの地図を統合又は削除することによって、パラメータ地図の精度が上がるかどうか、又は(d)当該基準の組み合わせが含まれている。
ロボット経路500と、複数の対応するノード510とを図5Aに示すとともに、アンカーノードと、図5Aに示すノード510のセンサデータを集約したものである関連グリッドとを図5Bに示す。図5Aにおいては、ロボットシステムは、環境中の軌道500を行き来しながらセンサデータを収集する。例えば、障害物を含むセンサデータは、センサデータが取得された時点でのロボットの姿勢と関連付けられている。しかしながら、このデータの量に起因して、ロボットシステムは、図5Bに示すようにこのデータを集約する。図5Bにおいて、アンカーノードA1〜A4は円として示し、グリッド520〜523は矩形として示す。好適な実施形態では、センサデータには、障害物があることを示すバンプセンサデータが含まれている。したがって、各グリッドは、対応するアンカーノードに近接する、往来できる空き領域(白色セルとして示す)と、障害物又は占有領域(黒色セルとして示す)との位置を表す。
好適な実施形態によれば、パラメータマッピングモジュール136は、閾値を下回る相対姿勢不確実性を有するノードを識別し、当該姿勢のセンサデータを1つのグリッドに集約し、このグリッドを1つのアンカーノードと対応させる。例えば、グリッド520〜523からのパラメータデータは、グリッドの重ね合わせ530によって示すようにそれぞれのグリッド520〜523を重ね合せることによって集約されてもよい。当業者にとっては当然であるように、複数のグリッドは、物理的に重なり合い、対応する局所基準フレームにおいて異なる方位を有し、サイズがばらばらであってもよい。その後、グリッドの重ね合わせ530からのデータは、例えば、新しいアンカーノードと関連付けられる1つの空間的集約に集約されてもよい。別の方法では、空間的集約の重ね合わせを用いて、例えば、環境中のロボットの新しい経路を設計するために用いるグローバルパラメータ地図を構築してもよい。例示的なパラメータ地図は、図7A及び図7Bに示すとともに、図7A及び図7Bに基づいて説明される。
図5A及び図5Bと同様に、図6Aは、ロボット経路を対応するノードとともに示し、図6Bは、アンカーノードを関連するグリッドとともに示す。図6Aに示すように、移動式ロボットの軌道は、円を描いて元の位置に戻っている。この際、ロボットは、その軌道における以前に通った領域を横切る。図6Bに示すように、一巡して元に戻ることによって、ロボットは、1つ以上の以前のグリッドを更新するために用いることができる追加のセンサデータを収集したり、古いバージョンの同じグリッドに入力するために用いるセンサデータを修整したりもできる。ロボットシステムの現在の姿勢が前の姿勢を基準にして十分な確実性があることが分かっていれば、前の姿勢に関連するアンカーノードが取得され、前のアンカーノードと関連するグリッドに新しいセンサデータがマッピングされる。
例えば、アンカーノードA1及びA2と関連するグリッドのセル520,521は、図5Bにおいて占有領域(又はサーチされていない領域)を示す。図6Bにおいては、ロボットが2回目に同じ領域を横切った後、アンカーA1及びA2の対応するグリッド620,621における同じセル650,652が更新されて、当該セルを「空き領域」として示した。同様に、センサ110からの新しいパラメータデータを用いて新しいセル654を図5Bにおけるグリッド523に導入することによって、図6Bにおける更新済拡張グリッド623を作成する。上記の両方の例では、最初の姿勢と後の姿勢とに関連する不確実性が許容可能な閾値を下回ったので、円を描いて元に戻っている間に収集された新しいセンサデータが前のグリッドに追加される。この際、マッピングモジュール136は、新しいアンカーノード又はグリッドを作成しないで既存のグリッドを新しい情報で効果的に更新する。そのため、本発明によって、センサデータ用の必要メモリが時間とともに直線的に増大することなく、パラメータ地図を新しいセンサデータで継続的に更新することができる。
どの時点においても、グリッドを集約して、例えば、経路設計のために環境全体又は環境の一部の完全なパラメータ地図を生成してもよい。典型的なパラメータ地図を図7A及び図7Bに示す。好適な実施形態では、障害物があることを示す複数のグリッドが統合されて、図7Aにおける「空き」領域(すなわち、障害物のない開放的な領域)の占有地図と、図7Bにおける「障害物」(例えば、開放的な領域と境界を接する壁)の占有地図とを作成する。グリッド(統合されたときには集約としても知られる)は、グローバル基準フレームにおける対応する位置にあるグリッドを重ね合せることによって統合されてもよい。それぞれのグリッドの位置は、対応するアンカーポイントの位置と方位との最新推定値によって決定される。各アンカーノードの位置及び姿勢は、新しいSLAMデータが受信されるとともに姿勢推定値に関連する不確実性が低くなると、順次グローバル基準フレーム内に定期的に更新される。図7A及び図7Bに示す占有地図は、2次元(2D)で描画される。他の実施形態では、例えば、センサデータ及び対応するグリッドに高度情報が含まれている場合、占有地図又は他のパラメータ地図は、3次元(3D)で描画されてもよい。
本発明の好適な実施形態に係る自己位置推定及びパラメータマッピングの方法を示すフローチャートを図8に示す。好適な実施形態では、ロボットシステムが環境中を動き回る(802)と同時又はほぼ同時に、自己位置推定及びパラメータマッピングが行われる。自己位置推定に関しては、ロボットシステムは、環境の画像を繰り返し取得して、当該画像を用いてランドマークを識別する(804)。ロボットが環境を行き来するにつれて、ロボットは、通常、各ランドマークの多数の画像又は他の測定値を取得することによって、2次元(2D)又は3次元(3D)空間内のランドマークの位置を求める(806)ことができるようになる。ランドマークの地図を構築して改良するたびに、ロボットは、現在の姿勢808と、各アンカーノードに関連する姿勢810との推定値をますます正確なものにすることができる。自己位置推定システムによって、アンカーノードの推定位置が更新され、グローバル基準フレームにおいて例えば占有地図が生成されてもよい。例えば、占有地図が経路設計に必要な場合、決定ブロック812に肯定的に回答し、アンカーノードの位置の更新済の推定値を用いて、対応するグリッドを重ね合わせるとともに、図7A及び図7Bに示すようにグリッドを包括地図にする(814)。
ロボットシステムは、環境中を動き回りながら(802)、バンプセンサを含む搭載センサを用いて局所パラメータを測定する(816)。現在の姿勢の推定値を用いて、パラメータマッピングモジュールは、現在のノードを基準にして最も低い相対姿勢不確実性を有する既存のアンカーノードを検索して識別する(818)。識別されたノードは、ロボット経路における直前のノード又は現在のノードまでの距離が一番近い前のノードであってもよい。現在のノードと前のノードとの相対姿勢不確実性が所定の閾値を下回る場合、決定ブロック820に肯定的に回答する。この場合、前のアンカーノードに関連するグリッドが選択されて(822)現在のグリッドとなり、受信したセンサデータがこの現在のグリッドにマッピングされる(826)。不確実性は、例えば、視覚的SLAMモジュール及びオドメトリセンサを用いて、自己位置推定に関連する位置的な不確実性を表す共分散行列から求められる。しかしながら、不確実性が所定の閾値を越える場合、決定ブロック820に否定的に回答する。この場合、新しいアンカーノードが生成され(824)、受信したセンサデータがこの新しいアンカーノードに関連する新しいグリッドにマッピングされる(826)。受信したパラメータデータをマッピングするプロセス826は、不確実性が十分に低い状態のままである間は続行する。比較的短い距離の場合、オドメトリの測定値から取得される値などの自律航法測定値は、かなり正確であり得る。このように、不確実性が低い状態に保たれ、通常、受信したセンサデータを用いて現在のパラメータに代入する。新しいノードは、ロボットが以前に調査していない領域である程度の距離移動した後で生成される傾向にある。新しいアンカーノード830は、ノードデータベース144に記録され、新しい更新済グリッド828は、グリッドデータベース146に記録される。
必要に応じて、複数の局所グリッドからのパラメータデータが統合され(832)、1つ以上の空間的集約となる。図4に詳細に説明するように、グリッドは、対応するアンカーノード間の相対的な姿勢に関連する不確実性が閾値を下回る場合、空間的集約に集約されてもよい。マッピングモジュール136は、(1)経過時間と、(2)移動式ロボットによってカバーされた空間又は移動式ロボットによってマッピングされた領域と、(3)グリッドメモリの限界と、(4)グリッド又はアンカーノードの合計数と、これらの組み合わせとを含む多数の事象又は状況のいずれかに応じて空間的集約を生成することを定期的に試みる。更に、複数のグリッドをグローバルパラメータ地図にするプロセスは、上述の状況に基づいて、必要に応じて繰り返されてもよい。
本発明のロボットシステムは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含むシステムにおいて実行できる。ハードウェアには、例えば、1つ以上の汎用コンピュータ、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ネットワークシステムによって接続されたこれらの組み合わせなどが含まれてもよい。ソフトウェアには、様々なプロセッサ、コンピュータ、サーバー、同様な回路基板又はチップ上で実行できるコンピュータが読める命令が含まれていてもよい。コンピュータが読める命令は、例えば、メモリチップ、ハードドライブ、又はコンパクトディスクを含む揮発性又は不揮発性メモリに入れられてもよい。
本発明は、例えば、離れた中央処理装置(CPU)と協働するネットワーク使用可能ロボットを2つ以上備えた分散プラットフォームを含む複数のプラットフォームにおいて実現されることによって、比較的大きい環境からランドマーク情報を収集してもよい。CPUには、パーソナルコンピュータ、携帯電話、タブレットコンピュータ、サーバ、又はプロセッサ130の算出を実行する同様なデバイスが含まれていてもよい。実施形態によっては、各ロボットが他のロボットによって調査済の全部のパラメータについての情報を有するように環境を行き来しながら位置設定情報とパラメータ地図(1つの地図又は個別のサブマップを集めたもののいずれか)とを定期的に交換するロボットの集団によって本発明が実現されるものもある。
上述の説明には多数の仕様が含まれているが、当該は、本発明の範囲を限定するものとして解釈されるべきではなく、現時点での本発明の好適な実施形態のうちの一部を説明したものであるに過ぎない。

Claims (19)

  1. 環境中のロボットシステムが取得したパラメータをマッピングするマッピングシステムであって、
    コンピュータ実行可能命令を記憶する不揮発性メモリと、
    前記不揮発性メモリと通信するハードウェアプロセッサとを備え、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、少なくとも、
    前記環境の特徴を表す第1組のパラメータを測定し、
    前記環境中の第1の位置で、前記ロボットシステムの第1の現在姿勢を推定し、
    前記第1の現在姿勢を表す第1のアンカーノードを設定し、
    前記第1の現在姿勢を基準にしてマッピングされた測定済の前記第1組のパラメータの地図を含み、かつ前記第1のアンカーノードと関連する第1のグリッドを生成し、
    前記環境中の第2の位置で、前記ロボットシステムの第2の現在姿勢を推定し、
    前記第2の現在姿勢と前記第1の現在姿勢との間の不確実性を求め、
    前記不確実性が第1の閾値よりも大きい場合、前記第2の現在姿勢を基準にしてマッピングされた測定済の第2組のパラメータの地図を含み、かつ前記ロボットシステムの前記第2の現在姿勢を表す第2のアンカーノードと関連する第2のグリッドを生成するマッピングシステム。
  2. 請求項1に記載のマッピングシステムにおいて、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、複数のアンカーノードと関連する複数のグリッドを統合するように、少なくとも、
    前記複数のアンカーノードの各姿勢と、前記複数のアンカーノードの他の全ての姿勢との間の不確実性を求め、
    前記複数のアンカーノードのうち2つのアンカーノードの姿勢間の不確実性を求め、
    前記2つのアンカーノードの姿勢間の不確実性が第2の閾値を下回る場合、当該2つのアンカーノードと関連するグリッドを1つに集約するマッピングシステム。
  3. 請求項2に記載のマッピングシステムにおいて、
    前記姿勢間の不確実性は、相対的な姿勢推定値の共分散行列を用いて求められるマッピングシステム。
  4. 請求項1に記載のマッピングシステムにおいて、
    前記第1の現在姿勢の推定は、
    前記環境中で複数のランドマークを識別し、
    前記環境と関連するグローバル基準フレームを基準にして前記複数のランドマークの位置を求め、
    少なくとも一部が前記複数のランドマークの位置に基づいて、前記グローバル基準フレームを基準にして前記ロボットシステムの前記第1の現在姿勢を求めることによってなされるマッピングシステム。
  5. 請求項1に記載のマッピングシステムにおいて、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、
    前記環境中で複数のランドマークを識別し、
    前記複数のランドマークの位置を求めるマッピングシステム。
  6. 請求項5に記載のマッピングシステムにおいて、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、
    前記複数のランドマークの位置に基づいて、前記複数のアンカーノードと関連する姿勢を更新し、
    各々の位置が対応するアンカーノードの位置に基づく複数のグリッドから占有地図を生成するマッピングシステム。
  7. 請求項1に記載のマッピングシステムにおいて、
    マッピングされた前記第1組のパラメータは、占有データを含んでいるマッピングシステム。
  8. 請求項7に記載のマッピングシステムにおいて、
    前記占有データは、前記環境中の障害物の位置を示すマッピングシステム。
  9. 請求項1に記載のマッピングシステムにおいて、
    マッピングされた前記第1組のパラメータは、前記環境中の汚れの位置を示すマッピングシステム。
  10. 請求項1に記載のマッピングシステムにおいて、
    少なくとも1つの形態の移動手段と、モータと、電池パックとを有する駆動機構を更に備えたマッピングシステム。
  11. 請求項1に記載のマッピングシステムにおいて、
    センサプロセッサと、パラメータプロセッサと、自己位置推定モジュールと、パラメータマッピングモジュールと、ナビゲーションモジュールとを更に備えたマッピングシステム。
  12. 環境中のロボットシステムが取得したパラメータをマッピングするマッピングシステムであって、
    コンピュータ実行可能命令を記憶する不揮発性メモリと、
    前記不揮発性メモリと通信するハードウェアプロセッサとを備え、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、少なくとも、
    前記環境の特徴を表すパラメータデータを測定し、
    各々が複数の姿勢のうちの1つと関連する複数のグリッドに対して前記測定されたパラメータデータをマッピングし、
    前記複数の姿勢のうちの各姿勢と他の全ての姿勢との間の不確実性を求め、
    前記複数の姿勢のうちの2つの間の不確実性が閾値を下回る場合、当該2つの姿勢と関連するグリッドを、1つの姿勢と関連する空間的集約グリッドに集約するマッピングシステム。
  13. 請求項12に記載のマッピングシステムにおいて、
    前記ハードウェアプロセッサは、
    前記コンピュータ実行可能命令を実行することにより、
    複数の前記空間的集約グリッドを1つのグローバルパラメータ地図にするマッピングシステム。
  14. 請求項13に記載のマッピングシステムにおいて、
    前記空間的集約グリッドのうち少なくとも1つは、関連する姿勢によって特定される位置と近接するパラメータデータの地図を含んでいるマッピングシステム。
  15. 請求項13に記載のマッピングシステムにおいて、
    前記空間的集約グリッドのうち少なくとも1つは、前記グローバルパラメータ地図とは異なるデカルト座標系を含んでいるマッピングシステム。
  16. 請求項12に記載のマッピングシステムにおいて、
    前記空間的集約グリッドは、1つのグリッドからなり、
    当該1つのグリッドは、別々の姿勢と関連する少なくとも2つのグリッドからのパラメータデータを含んでいるマッピングシステム。
  17. 請求項16に記載のマッピングシステムにおいて、
    パラメータデータは、1つ以上の多角形を用いて、少なくとも1つの空間的集約グリッドで表されるマッピングシステム。
  18. 請求項12に記載のマッピングシステムにおいて、
    少なくとも1つの形態の移動手段と、モータと、電池パックとを有する駆動機構を更に備えたマッピングシステム。
  19. 請求項12に記載のマッピングシステムにおいて、
    センサプロセッサと、パラメータプロセッサと、自己位置推定モジュールと、パラメータマッピングモジュールと、ナビゲーションモジュールとを更に備えたマッピングシステム。
JP2016087863A 2012-10-01 2016-04-26 センサデータの空間的集約を用いる適応マッピング Active JP6445995B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/632,997 US8798840B2 (en) 2011-09-30 2012-10-01 Adaptive mapping with spatial summaries of sensor data
US13/632,997 2012-10-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015517500A Division JP5931287B2 (ja) 2012-10-01 2013-09-23 センサデータの空間的集約を用いる適応マッピング

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018224469A Division JP6759307B2 (ja) 2012-10-01 2018-11-30 センサデータの空間的集約を用いる適応マッピング

Publications (2)

Publication Number Publication Date
JP2016157473A JP2016157473A (ja) 2016-09-01
JP6445995B2 true JP6445995B2 (ja) 2018-12-26

Family

ID=49778963

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015517500A Expired - Fee Related JP5931287B2 (ja) 2012-10-01 2013-09-23 センサデータの空間的集約を用いる適応マッピング
JP2016087863A Active JP6445995B2 (ja) 2012-10-01 2016-04-26 センサデータの空間的集約を用いる適応マッピング
JP2018224469A Active JP6759307B2 (ja) 2012-10-01 2018-11-30 センサデータの空間的集約を用いる適応マッピング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015517500A Expired - Fee Related JP5931287B2 (ja) 2012-10-01 2013-09-23 センサデータの空間的集約を用いる適応マッピング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018224469A Active JP6759307B2 (ja) 2012-10-01 2018-11-30 センサデータの空間的集約を用いる適応マッピング

Country Status (6)

Country Link
US (5) US8798840B2 (ja)
EP (2) EP2839399B1 (ja)
JP (3) JP5931287B2 (ja)
AU (3) AU2013327774B2 (ja)
CA (4) CA2870381C (ja)
WO (1) WO2014055278A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886188B2 (en) 2021-06-10 2024-01-30 R-Go Robotics, Ltd. Techniques for environmental parameter mapping

Families Citing this family (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401560B2 (en) * 2009-03-31 2013-03-19 Empire Technology Development Llc Infrastructure for location discovery
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9453734B2 (en) * 2012-06-05 2016-09-27 Apple Inc. Smart loading of map tiles
US9020637B2 (en) * 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US20140267703A1 (en) * 2013-03-15 2014-09-18 Robert M. Taylor Method and Apparatus of Mapping Landmark Position and Orientation
DE102013207904A1 (de) * 2013-04-30 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer effizienten Umfeldkarte für ein Fahrzeug
KR101560274B1 (ko) * 2013-05-31 2015-10-14 삼성에스디에스 주식회사 데이터 분석 장치 및 방법
GB201404870D0 (en) 2014-03-18 2014-04-30 Ocado Ltd Robotic service device and handling method
GB201314313D0 (en) 2013-08-09 2013-09-25 Ocado Ltd Apparatus for retrieving units from a storage system
US11858738B2 (en) 2013-08-09 2024-01-02 Ocado Innovation Limited Apparatus for retrieving units from a storage system
ITGE20130095A1 (it) * 2013-09-27 2015-03-28 Nicolo' Spallarossa Dispositivo per la rilevazione di interni e di parziali architettonici e metodo di rilevazione e ricostruzione di piante di ambienti interni
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
TWI534453B (zh) * 2014-02-18 2016-05-21 原相科技股份有限公司 相對位置定位系統與追蹤系統
DE102014002821A1 (de) 2014-02-26 2015-08-27 Audi Ag Verfahren und ein System zum Lokalisieren einer mobilen Einrichtung
JP2015215651A (ja) * 2014-05-08 2015-12-03 株式会社日立製作所 ロボットおよび自己位置推定方法
GB201409883D0 (en) 2014-06-03 2014-07-16 Ocado Ltd Methods, systems, and apparatus for controlling movement of transporting devices
DE102014210770A1 (de) * 2014-06-05 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und system zur bestimmung einer fahrzeugposition eines fahrzeuges
DK2952993T3 (en) 2014-06-05 2018-07-30 Softbank Robotics Europe PROCEDURE FOR MAKING A CARD OF LIKELIHOOD FOR ONE OF THE ABSENCE OR EXISTENCE OF BARRIERS FOR AN AUTONOMOUS ROBOT
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
US9971320B2 (en) * 2014-07-03 2018-05-15 Google Llc Methods and systems for adaptive triggering of data collection
US10127667B2 (en) 2014-08-01 2018-11-13 Locuslabs, Inc. Image-based object location system and process
JP6626248B2 (ja) * 2014-11-12 2019-12-25 村田機械株式会社 移動量推定装置、自律移動体、及び移動量の推定方法
US10096240B2 (en) * 2015-02-06 2018-10-09 Jung H BYUN Method and server for traffic signal regulation based on crowdsourcing data
US9849882B2 (en) * 2015-02-06 2017-12-26 Jung H BYUN Vehicle control based on crowdsourcing data
EP3262429B1 (en) * 2015-02-27 2022-04-20 ABB Schweiz AG Localization, mapping and haptic feedback for inspection of a confined space in machinery
US10287149B2 (en) 2015-03-06 2019-05-14 Walmart Apollo, Llc Assignment of a motorized personal assistance apparatus
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US20230391592A1 (en) * 2015-03-06 2023-12-07 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
US9304003B1 (en) 2015-03-18 2016-04-05 Microsoft Technology Licensing, Llc Augmented reality navigation
US9630319B2 (en) 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
JP6651295B2 (ja) * 2015-03-23 2020-02-19 株式会社メガチップス 移動体制御装置、プログラムおよび集積回路
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
CN104807465B (zh) * 2015-04-27 2018-03-13 安徽工程大学 机器人同步定位与地图创建方法及装置
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
DE102015109775B3 (de) 2015-06-18 2016-09-22 RobArt GmbH Optischer Triangulationssensor zur Entfernungsmessung
KR101734654B1 (ko) * 2015-06-25 2017-05-11 현대자동차주식회사 레이저 스캐너를 이용한 센서 중심 좌표계의 점유 격자 지도를 작성하는 시스템 및 방법
US9940542B2 (en) * 2015-08-11 2018-04-10 Google Llc Managing feature data for environment mapping on an electronic device
CN105043396B (zh) * 2015-08-14 2018-02-02 北京进化者机器人科技有限公司 一种移动机器人室内自建地图的方法和***
DE102015114883A1 (de) 2015-09-04 2017-03-09 RobArt GmbH Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters
WO2017059194A1 (en) * 2015-10-02 2017-04-06 Verselus, Llc System and method for autonomously teaching working points in a robotic disk test apparatus
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
US10209063B2 (en) * 2015-10-03 2019-02-19 X Development Llc Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
DE102015119865B4 (de) 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
DE102015121666B3 (de) 2015-12-11 2017-05-24 RobArt GmbH Fernsteuerung eines mobilen, autonomen Roboters
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
CN205671994U (zh) * 2015-12-16 2016-11-09 小米科技有限责任公司 自动清洁设备
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
DE102016102644A1 (de) 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
US11399995B2 (en) 2016-02-23 2022-08-02 Deka Products Limited Partnership Mobility device
US10926756B2 (en) 2016-02-23 2021-02-23 Deka Products Limited Partnership Mobility device
US10908045B2 (en) 2016-02-23 2021-02-02 Deka Products Limited Partnership Mobility device
DE102016203547A1 (de) 2016-03-03 2017-09-07 Kuka Roboter Gmbh Verfahren zum Aktualisieren einer Belegungskarte und autonomes Fahrzeug
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US9864377B2 (en) * 2016-04-01 2018-01-09 Locus Robotics Corporation Navigation using planned robot travel paths
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
AU2017250598B2 (en) 2016-04-14 2021-09-23 Deka Products Limited Partnership User control device for a transporter
US10328577B2 (en) * 2016-04-19 2019-06-25 Xiaoyu Arasive Inc. Autonomous navigational system for floor preparation and maintenance equipment
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
CN105973265B (zh) * 2016-05-19 2019-03-19 杭州申昊科技股份有限公司 一种基于激光扫描传感器的里程估计方法
US9965689B2 (en) * 2016-06-09 2018-05-08 Qualcomm Incorporated Geometric matching in visual navigation systems
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10474162B2 (en) * 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
JP7015506B2 (ja) * 2016-08-31 2022-02-15 国立研究開発法人 海上・港湾・航空技術研究所 ランドマークを用いた測位方法
US10683171B2 (en) 2016-09-30 2020-06-16 Staples, Inc. Hybrid modular storage fetching system
WO2018064639A1 (en) 2016-09-30 2018-04-05 Staples, Inc. Hybrid modular storage fetching system
US10589931B2 (en) 2016-09-30 2020-03-17 Staples, Inc. Hybrid modular storage fetching system
US10282854B2 (en) * 2016-10-12 2019-05-07 Faro Technologies, Inc. Two-dimensional mapping system and method of operation
US20180100927A1 (en) * 2016-10-12 2018-04-12 Faro Technologies, Inc. Two-dimensional mapping system and method of operation
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
CN107121142B (zh) * 2016-12-30 2019-03-19 深圳市杉川机器人有限公司 移动机器人的拓扑地图创建方法及导航方法
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
WO2018158248A2 (de) 2017-03-02 2018-09-07 RobArt GmbH Verfahren zur steuerung eines autonomen,mobilen roboters
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
GB201706129D0 (en) 2017-04-18 2017-05-31 Blue Vision Labs Uk Ltd Distributed device mapping
US10697779B2 (en) * 2017-04-21 2020-06-30 X Development Llc Landmark placement for localization
US10921816B2 (en) * 2017-04-21 2021-02-16 Korea Advanced Institute Of Science And Technology Method and apparatus for producing map based on hierarchical structure using 2D laser scanner
US9939814B1 (en) * 2017-05-01 2018-04-10 Savioke, Inc. Computer system and method for automated mapping by robots
US10769844B1 (en) * 2017-05-12 2020-09-08 Alarm.Com Incorporated Marker aided three-dimensional mapping and object labeling
CN108931246B (zh) * 2017-05-26 2020-12-11 杭州海康机器人技术有限公司 一种检测未知位置的障碍物存在概率的方法和装置
EP3633478B1 (en) * 2017-05-26 2023-10-18 Hangzhou Hikrobot Co., Ltd. Method and device for assessing probability of presence of obstacle in unknown position
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
DE102017113612A1 (de) * 2017-06-20 2018-12-20 Vorwerk & Co. Interholding Gmbh Autonomes Reinigungssystem und Reinigungsverfahren
CN107168331B (zh) * 2017-06-20 2021-04-02 南京阿凡达机器人科技有限公司 基于光电鼠标传感器位移检测的机器人室内地图创建方法
US10885714B2 (en) 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
WO2019019136A1 (en) 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
EP3459238B1 (en) 2017-07-28 2021-06-09 Google LLC Need-sensitive image and location capture system and method
US10012996B1 (en) 2017-09-15 2018-07-03 Savioke, Inc. Route planning for a mobile robot using configuration-based preferences
CN107728614B (zh) * 2017-09-21 2023-02-21 南京中高知识产权股份有限公司 盲人用引导机器人及其工作方法
DE102017122440A1 (de) * 2017-09-27 2019-03-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung
CN107908185A (zh) * 2017-10-14 2018-04-13 北醒(北京)光子科技有限公司 一种机器人自主全局重定位方法及机器人
CN107807643B (zh) * 2017-10-30 2019-09-03 珠海市一微半导体有限公司 机器人的行走预测和控制方法
CN107898393B (zh) * 2017-11-17 2020-12-04 北京奇虎科技有限公司 用于清洁机器人的区块调整方法、装置及机器人
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
CN108008409B (zh) * 2017-11-28 2019-12-10 深圳市杉川机器人有限公司 区域轮廓绘制方法及装置
US10989538B2 (en) 2017-12-15 2021-04-27 Uatc, Llc IMU data offset compensation for an autonomous vehicle
US10638906B2 (en) 2017-12-15 2020-05-05 Neato Robotics, Inc. Conversion of cleaning robot camera images to floorplan for user interaction
CN109974719A (zh) * 2017-12-28 2019-07-05 周秦娜 一种基于云计算的移动机器人环境感知的控制方法及装置
CN108319655B (zh) 2017-12-29 2021-05-07 百度在线网络技术(北京)有限公司 用于生成栅格地图的方法和装置
CN108344999B (zh) * 2018-01-09 2020-08-11 浙江大学 一种用于水下机器人导航的声呐地图构建与重定位方法
WO2019147235A1 (en) * 2018-01-24 2019-08-01 Ford Global Technologies, Llc Path planning for autonomous moving devices
CN108663041B (zh) * 2018-02-09 2020-04-24 意诺科技有限公司 一种绘制导航地图的方法及装置
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
EP3534235B1 (en) * 2018-02-28 2021-04-14 Honda Research Institute Europe GmbH Unsupervised learning of metric representations from slow features
US10852146B2 (en) 2018-02-28 2020-12-01 Ford Global Technologies, Llc Localization technique selection
CN108508891B (zh) * 2018-03-19 2019-08-09 珠海市一微半导体有限公司 一种机器人重定位的方法
US10521913B2 (en) * 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US11256729B2 (en) * 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10503760B2 (en) * 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11986261B2 (en) 2018-04-20 2024-05-21 Covidien Lp Systems and methods for surgical robotic cart placement
CN112292582A (zh) * 2018-04-20 2021-01-29 文远知行有限公司 用于生成高清晰度地图的方法和***
US11687092B2 (en) 2018-04-23 2023-06-27 Sharkninja Operating Llc Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
CN108638062B (zh) * 2018-05-09 2021-08-13 科沃斯商用机器人有限公司 机器人定位方法、装置、定位设备及存储介质
DE102018113015A1 (de) * 2018-05-30 2019-12-05 Armin Stark Autonome, mobile Arbeitmaschine
WO2019236588A1 (en) * 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
US11681293B2 (en) 2018-06-07 2023-06-20 Deka Products Limited Partnership System and method for distributed utility service execution
CN108724188B (zh) * 2018-06-14 2022-02-25 西安电子科技大学 一种多机器人协同运动控制方法
DE102018114892B4 (de) * 2018-06-20 2023-11-09 RobArt GmbH Autonomer mobiler Roboter und Verfahren zum Steuern eines autonomen mobilen Roboters
JP7123656B2 (ja) * 2018-06-22 2022-08-23 東芝ライフスタイル株式会社 自律型電気掃除機
CN108955688B (zh) * 2018-07-12 2021-12-28 苏州大学 双轮差速移动机器人定位方法及***
US10946518B2 (en) * 2018-07-24 2021-03-16 Invia Robotics, Inc. Spatiotemporal controller for controlling robot operation
US11084410B1 (en) 2018-08-07 2021-08-10 Staples, Inc. Automated guided vehicle for transporting shelving units
US11590997B1 (en) 2018-08-07 2023-02-28 Staples, Inc. Autonomous shopping cart
US11630447B1 (en) 2018-08-10 2023-04-18 Staples, Inc. Automated guided vehicle for transporting objects
DE102018121365A1 (de) 2018-08-31 2020-04-23 RobArt GmbH Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter
EP3617749B1 (en) 2018-09-03 2020-11-11 Zenuity AB Method and arrangement for sourcing of location information, generating and updating maps representing the location
JP2020042726A (ja) * 2018-09-13 2020-03-19 株式会社東芝 Ogm圧縮回路、ogm圧縮伸長システム、および移動体システム
JP7135690B2 (ja) * 2018-10-04 2022-09-13 ソニーグループ株式会社 情報処理装置および方法、プログラム、並びに移動体制御システム
CN109269506A (zh) * 2018-10-31 2019-01-25 北京猎户星空科技有限公司 移动机器人的地图创建方法、装置、机器人及***
WO2020095541A1 (ja) * 2018-11-06 2020-05-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11034348B2 (en) 2018-11-20 2021-06-15 Waymo Llc Agent prioritization for autonomous vehicles
US11048253B2 (en) 2018-11-21 2021-06-29 Waymo Llc Agent prioritization for autonomous vehicles
US10739777B2 (en) 2018-11-20 2020-08-11 Waymo Llc Trajectory representation in behavior prediction systems
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
CN109668566B (zh) * 2018-12-05 2022-05-13 大连理工大学 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
US10809073B2 (en) * 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles
US11798293B2 (en) 2018-12-28 2023-10-24 Sony Group Corporation Optical vehicle positioning
US11119487B2 (en) 2018-12-31 2021-09-14 Staples, Inc. Automated preparation of deliveries in delivery vehicles using automated guided vehicles
US11180069B2 (en) 2018-12-31 2021-11-23 Staples, Inc. Automated loading of delivery vehicles using automated guided vehicles
US11486701B2 (en) 2019-02-06 2022-11-01 Faro Technologies, Inc. System and method for performing a real-time wall detection
JP7245084B2 (ja) * 2019-03-15 2023-03-23 日立Astemo株式会社 自動運転システム
US11526182B2 (en) 2019-03-25 2022-12-13 Cbn Nano Technologies Inc. Sensing and operation of devices in viscous flow using derived parameters to reduce data-handling requirements
EP3949817B1 (en) * 2019-03-28 2024-05-01 LG Electronics Inc. Artificial intelligence cleaner and operation method thereof
CN109916393B (zh) * 2019-03-29 2023-03-31 电子科技大学 一种基于机器人位姿的多重栅格值导航方法及其应用
US11124401B1 (en) 2019-03-31 2021-09-21 Staples, Inc. Automated loading of delivery vehicles
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
TWI701423B (zh) * 2019-07-01 2020-08-11 東元電機股份有限公司 反射貼紙輔助定位系統
KR102224637B1 (ko) 2019-07-05 2021-03-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102275300B1 (ko) 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102297496B1 (ko) 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102361130B1 (ko) 2019-07-11 2022-02-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102302575B1 (ko) * 2019-07-16 2021-09-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN110580740B (zh) * 2019-08-27 2021-08-20 清华大学 多智能体协同三维建模方法及装置
JP7214881B2 (ja) * 2019-09-26 2023-01-30 ヤマハ発動機株式会社 環境地図作成装置および該方法、ならびに、自己位置推定装置、自律移動体
US11927692B2 (en) * 2019-11-13 2024-03-12 Faro Technologies, Inc. Correcting positions after loop closure in simultaneous localization and mapping algorithm
CN111136655B (zh) * 2019-12-10 2021-06-29 深圳市优必选科技股份有限公司 一种获取巡检点的方法及装置
CN111024100B (zh) * 2019-12-20 2021-10-29 深圳市优必选科技股份有限公司 一种导航地图更新方法、装置、可读存储介质及机器人
CN111121753A (zh) * 2019-12-30 2020-05-08 炬星科技(深圳)有限公司 机器人联合建图方法、设备及计算机可读存储介质
CN111174758B (zh) * 2020-01-18 2021-07-16 湖南工学院 一种机器人无信号地形探测的方法
JPWO2021182020A1 (ja) * 2020-03-10 2021-09-16
CN111444852A (zh) * 2020-03-27 2020-07-24 深圳市银星智能科技股份有限公司 一种回环检测方法、装置及机器人
US11448512B2 (en) 2020-04-06 2022-09-20 Here Global B.V. Systems and methods for verifying mapping information
KR102319015B1 (ko) * 2020-04-09 2021-10-29 한국과학기술원 정밀 점유 지도 작성을 위한 적응형 커널 추론 방법 및 장치
SE544298C2 (en) * 2020-04-14 2022-03-29 Husqvarna Ab Robotic work tool system and method for defining a working area
CN111912417B (zh) * 2020-07-10 2022-08-02 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质
US11687077B2 (en) 2020-08-07 2023-06-27 Waymo Llc Ranking agents near autonomous vehicles by mutual importance
US11592573B2 (en) * 2020-09-15 2023-02-28 Irobot Corporation Particle filters and WiFi robot localization and mapping
CN112363158B (zh) * 2020-10-23 2024-03-12 浙江华睿科技股份有限公司 机器人的位姿估计方法、机器人和计算机存储介质
CN112325770B (zh) * 2020-10-26 2022-08-02 武汉中海庭数据技术有限公司 一种车端单目视觉测量相对精度置信度评估方法及***
CN112700495A (zh) * 2020-11-25 2021-04-23 北京旷视机器人技术有限公司 位姿确定方法、装置、机器人、电子设备及存储介质
CN112224793B (zh) * 2020-12-14 2021-03-02 湖南中拓信息科技有限公司 一种智能物流挑选路径规划***
US11356801B1 (en) * 2020-12-25 2022-06-07 Mapsted Corp. Method and system for targeted calibration
CN112828311B (zh) * 2021-01-03 2022-05-24 苏州星祥益精密制造有限公司 一种基于实时三维检测的金属增材制造在线轨迹调整方法
US11568649B2 (en) 2021-01-15 2023-01-31 Continental Automotive Systems, Inc. Landmark-less simultaneous localization and mapping
WO2022177817A1 (en) * 2021-02-17 2022-08-25 Idac Holdings, Inc. Method and system for 5gs and eps interworking for uav communication
WO2022197544A1 (en) * 2021-03-15 2022-09-22 Omron Corporation Method and apparatus for updating an environment map used by robots for self-localization
CN113296500B (zh) * 2021-04-30 2023-04-25 浙江吉利控股集团有限公司 一种局部路径规划方法及***
CN113263500B (zh) * 2021-05-25 2022-10-21 深圳市优必选科技股份有限公司 一种机器人自主作业方法、装置、机器人及存储介质
US20230194305A1 (en) * 2021-12-22 2023-06-22 Eduardo Jose Ramirez Llanos Mapping for autonomous vehicle parking
WO2023240170A1 (en) * 2022-06-10 2023-12-14 The Regents Of The University Of California Device localization and navigation using rf sensing

Family Cites Families (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6084610A (ja) 1983-10-17 1985-05-14 Hitachi Ltd 誘導装置
US4815840A (en) 1986-05-16 1989-03-28 Benayad Cherif Faycal E K Position locating system for a vehicle
US4846297A (en) 1987-09-28 1989-07-11 Tennant Company Automated guided vehicle
US5040116A (en) 1988-09-06 1991-08-13 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5155775A (en) 1988-10-13 1992-10-13 Brown C David Structured illumination autonomous machine vision system
US4942539A (en) 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
US5144685A (en) 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
US5083257A (en) 1989-04-27 1992-01-21 Motorola, Inc. Bit plane partitioning for graphic displays
US5170352A (en) 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5321614A (en) 1991-06-06 1994-06-14 Ashworth Guy T D Navigational control apparatus and method for autonomus vehicles
US5517419A (en) 1993-07-22 1996-05-14 Synectics Corporation Advanced terrain mapping system
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP2501010B2 (ja) 1993-10-25 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション 移動ロボットの誘導装置
DE4408328C2 (de) 1994-03-11 2002-09-26 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
JPH07271434A (ja) 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 複数の移動ロボットによる環境地図作成方法
EP0766846B1 (de) 1994-06-22 1998-03-04 Siemens Aktiengesellschaft Verfahren zur orientierung, fahrwegplanung und steuerung einer autonomen mobilen einheit
US5525883A (en) 1994-07-08 1996-06-11 Sara Avitzour Mobile robot location determination employing error-correcting distributed landmarks
WO1996007959A1 (de) 1994-09-06 1996-03-14 Siemens Aktiengesellschaft Verfahren zur bestimmung der position einer landmarke in der umgebungskarte einer selbstbeweglichen einheit, deren abstand zur einheit dynamisch von dieser ermittelt wird
IT1271241B (it) 1994-10-04 1997-05-27 Consorzio Telerobot Sistema di navigazione per robot mobile autonomo
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US5581629A (en) 1995-01-30 1996-12-03 David Sarnoff Research Center, Inc Method for estimating the location of an image target region from tracked multiple image landmark regions
IL113913A (en) 1995-05-30 2000-02-29 Friendly Machines Ltd Navigation method and system
JP2000506294A (ja) 1996-03-06 2000-05-23 ゲーエムデー―フォルシュングスチェントルム インフォマーションズテクニク ゲーエムベーハー センサ及び地図に基づいて導管ネットワーク内を進路案内するための自律的可動ロボットシステム
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
US6243657B1 (en) 1997-12-23 2001-06-05 Pii North America, Inc. Method and apparatus for determining location of characteristics of a pipeline
US6005610A (en) 1998-01-23 1999-12-21 Lucent Technologies Inc. Audio-visual object localization and tracking system and method therefor
US6269763B1 (en) 1998-02-20 2001-08-07 Richard Lawrence Ken Woodland Autonomous marine vehicle
US6266068B1 (en) 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6163749A (en) 1998-06-05 2000-12-19 Navigation Technologies Corp. Method and system for scrolling a map display in a navigation application
JP3587691B2 (ja) 1998-07-30 2004-11-10 日本電信電話株式会社 ナビゲーション方法および装置およびこの方法を処理するプログラムを記録した記録媒体
WO2000010062A2 (de) 1998-08-10 2000-02-24 Siemens Aktiengesellschaft Verfahren und anordnung zur ermittlung eines weges um eine vorgegebene bezugsposition
US6552729B1 (en) 1999-01-08 2003-04-22 California Institute Of Technology Automatic generation of animation of synthetic characters
US6412133B1 (en) 1999-01-25 2002-07-02 Aqua Products, Inc. Water jet reversing propulsion and directional controls for automated swimming pool cleaners
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6299699B1 (en) 1999-04-01 2001-10-09 Aqua Products Inc. Pool cleaner directional control method and apparatus
US6288704B1 (en) 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
JP2001116565A (ja) 1999-10-15 2001-04-27 Yazaki Corp 車載ナビゲーション装置及び車載ナビゲーション装置における処理プログラムを記録した記録媒体
WO2001037060A1 (en) 1999-11-18 2001-05-25 The Procter & Gamble Company Home cleaning robot
US6374155B1 (en) 1999-11-24 2002-04-16 Personal Robotics, Inc. Autonomous multi-platform robot system
US8412377B2 (en) 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
JP4624594B2 (ja) 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US6496754B2 (en) 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
SE0004466D0 (sv) 2000-12-04 2000-12-04 Abb Ab Mobile Robot
JP4302872B2 (ja) 2000-12-12 2009-07-29 パナソニック株式会社 ランドマーク更新システムおよびナビゲーション装置
US6915008B2 (en) 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
JP4159794B2 (ja) 2001-05-02 2008-10-01 本田技研工業株式会社 画像処理装置及び方法
ATE510247T1 (de) 2001-06-12 2011-06-15 Irobot Corp Verfahren und system zur multimodalen bedeckung für einen autonomen roboter
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US6996254B2 (en) 2001-06-18 2006-02-07 Microsoft Corporation Incremental motion estimation through local bundle adjustment
US20030007662A1 (en) 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Enhanced watermark computing method
US6667592B2 (en) 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
US6496764B1 (en) 2001-08-23 2002-12-17 General Motors Corporation Vehicle impact-sensing method with improved severity discrimination
JP3968501B2 (ja) * 2001-11-30 2007-08-29 ソニー株式会社 ロボットの自己位置同定システム及び自己位置同定方法
US9128486B2 (en) 2002-01-24 2015-09-08 Irobot Corporation Navigational control system for a robotic device
US6766245B2 (en) 2002-03-14 2004-07-20 Microsoft Corporation Landmark-based location of users
US6829568B2 (en) * 2002-04-26 2004-12-07 Simon Justin Julier Method and apparatus for fusing signals with partially known independent error components
EP2463627B1 (en) 2002-04-30 2017-07-19 Intel Corporation Navigation system using corridor maps
US6836701B2 (en) 2002-05-10 2004-12-28 Royal Appliance Mfg. Co. Autonomous multi-platform robotic system
AU2003229008A1 (en) 2002-05-10 2003-11-11 Honda Giken Kogyo Kabushiki Kaisha Real-time target tracking of an unpredictable target amid unknown obstacles
US6771932B2 (en) 2002-05-24 2004-08-03 Omnilux, Inc. Method and system for automatically determining lines of sight between nodes
WO2004015369A2 (en) 2002-08-09 2004-02-19 Intersense, Inc. Motion tracking system and method
US7162056B2 (en) 2002-08-16 2007-01-09 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
US8428778B2 (en) 2002-09-13 2013-04-23 Irobot Corporation Navigational control system for a robotic device
US7135992B2 (en) 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
JP3922173B2 (ja) * 2002-12-18 2007-05-30 トヨタ自動車株式会社 運転補助システム及び装置
US6856901B2 (en) 2003-06-02 2005-02-15 Alpine Electronics, Inc. Display method and apparatus for navigation system
US7133746B2 (en) 2003-07-11 2006-11-07 F Robotics Acquistions, Ltd. Autonomous machine for docking with a docking station and method for docking
US20050234679A1 (en) 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US7334002B2 (en) 2004-02-27 2008-02-19 Microsoft Corporation System and method for recovery units in databases
DE112005000738T5 (de) 2004-03-29 2007-04-26 Evolution Robotics, Inc., Pasadena Verfahren und Vorrichtung zur Positionsbestimmung unter Verwendung von reflektierten Lichtquellen
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
KR100792514B1 (ko) 2005-01-14 2008-01-10 삼성전자주식회사 이동물체의 방향검출방법 및 시스템
EP2145573B1 (en) 2005-02-18 2011-09-07 iRobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US7389166B2 (en) 2005-06-28 2008-06-17 S.C. Johnson & Son, Inc. Methods to prevent wheel slip in an autonomous floor cleaner
CA2620062C (en) 2005-08-25 2015-10-27 Gatekeeper Systems, Inc. Systems and methods for locating and controlling powered vehicles
US7912633B1 (en) * 2005-12-01 2011-03-22 Adept Mobilerobots Llc Mobile autonomous updating of GIS maps
US9144360B2 (en) 2005-12-02 2015-09-29 Irobot Corporation Autonomous coverage robot navigation system
KR100748245B1 (ko) * 2005-12-09 2007-08-10 한국전자통신연구원 인공표식과 지역좌표계를 이용한 이동로봇의 환경지도 작성방법 및 이동 방법
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
JP4195894B2 (ja) 2006-03-30 2008-12-17 株式会社東芝 ドッキングシステム
US20070271011A1 (en) 2006-05-12 2007-11-22 Samsung Electronics Co., Ltd. Indoor map building apparatus, method, and medium for mobile robot
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
EP2041516A2 (en) 2006-06-22 2009-04-01 Roy Sandberg Method and apparatus for robotic path planning, selection, and visualization
US8965578B2 (en) * 2006-07-05 2015-02-24 Battelle Energy Alliance, Llc Real time explosive hazard information sensing, processing, and communication for autonomous operation
US7211980B1 (en) * 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method
KR100791384B1 (ko) * 2006-07-05 2008-01-07 삼성전자주식회사 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇
US7668621B2 (en) * 2006-07-05 2010-02-23 The United States Of America As Represented By The United States Department Of Energy Robotic guarded motion system and method
US8271132B2 (en) * 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
US7974738B2 (en) * 2006-07-05 2011-07-05 Battelle Energy Alliance, Llc Robotics virtual rail system and method
JP4882575B2 (ja) * 2006-07-27 2012-02-22 トヨタ自動車株式会社 自己位置推定装置
JP5112666B2 (ja) 2006-09-11 2013-01-09 株式会社日立製作所 移動装置
KR100809352B1 (ko) * 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
US9395190B1 (en) * 2007-05-31 2016-07-19 Trx Systems, Inc. Crowd sourced mapping with robust structural features
US8751151B2 (en) * 2012-06-12 2014-06-10 Trx Systems, Inc. System and method for localizing a trackee at a location and mapping the location using inertial sensor information
KR100877072B1 (ko) * 2007-06-28 2009-01-07 삼성전자주식회사 이동 로봇을 위한 맵 생성 및 청소를 동시에 수행하는 방법및 장치
JP2009025898A (ja) 2007-07-17 2009-02-05 Toyota Motor Corp 経路計画装置、経路計画方法及び移動体
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
WO2009038797A2 (en) 2007-09-20 2009-03-26 Evolution Robotics Robotic game systems and methods
JP2009093308A (ja) * 2007-10-05 2009-04-30 Hitachi Industrial Equipment Systems Co Ltd ロボットシステム
JP4788722B2 (ja) * 2008-02-26 2011-10-05 トヨタ自動車株式会社 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造
KR101543490B1 (ko) 2008-04-24 2015-08-10 아이로보트 코퍼레이션 로봇 가능화 모바일 제품을 위한 위치 측정 시스템, 위치 결정 시스템 및 운전 시스템의 적용
US8339417B2 (en) 2008-07-25 2012-12-25 Navteq B.V. Open area maps based on vector graphics format images
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
JP5141507B2 (ja) * 2008-08-25 2013-02-13 村田機械株式会社 自律移動装置
JP5304128B2 (ja) * 2008-09-16 2013-10-02 村田機械株式会社 環境地図修正装置及び自律移動装置
KR101503903B1 (ko) 2008-09-16 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
US8340818B2 (en) * 2009-04-24 2012-12-25 Robert Bosch Gmbh Method of accurate mapping with mobile robots
JP2011039969A (ja) * 2009-08-18 2011-02-24 Mitsubishi Electric Corp 故障診断支援システム
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
AU2010286429B2 (en) * 2009-08-31 2013-11-28 Vorwerk & Co. Interholding Gmbh Method and apparatus for simultaneous localization and mapping of mobile robot environment
US8626443B2 (en) * 2009-09-18 2014-01-07 Deutsches Zentrum für Luft—und Raumfahrt e.V. Method for creating a map relating to location-related data on the probability of future movement of a person
KR101152720B1 (ko) 2009-10-30 2012-06-18 주식회사 유진로봇 이동 로봇의 슬립 감지 장치 및 방법
WO2011052826A1 (ko) * 2009-10-30 2011-05-05 주식회사 유진로봇 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
CN102713779B (zh) 2009-11-06 2015-12-02 艾罗伯特公司 用于通过自主型机器人完全覆盖表面的方法和***
JP5393413B2 (ja) * 2009-11-19 2014-01-22 三菱重工業株式会社 自律走行車および自律走行方法
US8224516B2 (en) 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
KR101772977B1 (ko) * 2010-10-07 2017-08-31 삼성전자주식회사 이동 로봇 및 그 지도 작성 방법
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
KR101750340B1 (ko) 2010-11-03 2017-06-26 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
US20120230550A1 (en) * 2011-03-10 2012-09-13 Jacob Kraut Method and Apparatus for Generating a Map from Landmarks
US8594923B2 (en) 2011-06-14 2013-11-26 Crown Equipment Limited Method and apparatus for sharing map data associated with automated industrial vehicles
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US8706413B2 (en) * 2011-10-17 2014-04-22 Qualcomm Incorporated Determining a likelihood of a directional transition at a junction in an encoded routability graph description
FI124665B (en) * 2012-01-11 2014-11-28 Indooratlas Oy Creating a magnetic field map for indoor positioning
US8880340B2 (en) * 2013-01-04 2014-11-04 The Boeing Company Augmented mobile platform localization
US8705893B1 (en) * 2013-03-14 2014-04-22 Palo Alto Research Center Incorporated Apparatus and method for creating floor plans
US9746330B2 (en) * 2013-08-03 2017-08-29 Robotic Research, Llc System and method for localizing two or more moving nodes
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
US9723109B2 (en) * 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US11576543B2 (en) * 2014-07-18 2023-02-14 Ali Ebrahimi Afrouzi Robotic vacuum with rotating cleaning apparatus
DK3428766T3 (da) * 2014-09-05 2021-06-07 Sz Dji Technology Co Ltd Multi-sensor til afbildning af omgivelser
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US20170021497A1 (en) * 2015-07-24 2017-01-26 Brandon Tseng Collaborative human-robot swarm
US10037028B2 (en) * 2015-07-24 2018-07-31 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for on-board sensing and control of micro aerial vehicles
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
GB2550347A (en) * 2016-05-13 2017-11-22 The Imp College Of Science Tech & Medicine Real-Time Height Mapping
US10203209B2 (en) * 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
US10962647B2 (en) * 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US10837773B2 (en) * 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成***和方法
US10203210B1 (en) * 2017-11-03 2019-02-12 Toyota Research Institute, Inc. Systems and methods for road scene change detection using semantic segmentation
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
US10890663B2 (en) * 2018-06-28 2021-01-12 Zoox, Inc. Loading multi-resolution maps for localization
US11004332B2 (en) * 2019-12-20 2021-05-11 Intel Corporation Cooperative mapping for autonomous vehicles, robots or multi-agent systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886188B2 (en) 2021-06-10 2024-01-30 R-Go Robotics, Ltd. Techniques for environmental parameter mapping

Also Published As

Publication number Publication date
CA2870381A1 (en) 2014-04-10
JP5931287B2 (ja) 2016-06-08
EP2839399A4 (en) 2016-06-15
US9218003B2 (en) 2015-12-22
US9404756B2 (en) 2016-08-02
CA2952355A1 (en) 2014-04-10
AU2016202515A1 (en) 2016-05-12
CA2935223A1 (en) 2014-04-10
US20150261223A1 (en) 2015-09-17
US20180299275A1 (en) 2018-10-18
US9952053B2 (en) 2018-04-24
AU2016213835B2 (en) 2017-11-09
JP6759307B2 (ja) 2020-09-23
US20170052033A1 (en) 2017-02-23
US10962376B2 (en) 2021-03-30
EP2839399B1 (en) 2019-12-25
AU2016213835A1 (en) 2016-09-01
EP2839399A1 (en) 2015-02-25
CA2870381C (en) 2017-02-14
CA2935223C (en) 2017-11-28
US8798840B2 (en) 2014-08-05
EP3018603A1 (en) 2016-05-11
US20140005933A1 (en) 2014-01-02
CA2952355C (en) 2017-11-28
AU2013327774B2 (en) 2016-05-19
US20160069691A1 (en) 2016-03-10
JP2016157473A (ja) 2016-09-01
CA2968561A1 (en) 2014-04-10
JP2019057312A (ja) 2019-04-11
WO2014055278A1 (en) 2014-04-10
EP3018603B1 (en) 2017-08-30
JP2015519677A (ja) 2015-07-09
AU2013327774A1 (en) 2014-10-30
AU2016202515B2 (en) 2017-11-16
CA2968561C (en) 2018-07-31

Similar Documents

Publication Publication Date Title
JP6445995B2 (ja) センサデータの空間的集約を用いる適応マッピング
US9483054B2 (en) Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
KR101782057B1 (ko) 지도 생성 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181130

R150 Certificate of patent or registration of utility model

Ref document number: 6445995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250