JP6842519B2 - データ収集方法及びそのシステム - Google Patents

データ収集方法及びそのシステム Download PDF

Info

Publication number
JP6842519B2
JP6842519B2 JP2019161436A JP2019161436A JP6842519B2 JP 6842519 B2 JP6842519 B2 JP 6842519B2 JP 2019161436 A JP2019161436 A JP 2019161436A JP 2019161436 A JP2019161436 A JP 2019161436A JP 6842519 B2 JP6842519 B2 JP 6842519B2
Authority
JP
Japan
Prior art keywords
data
sensor
sensor data
time stamp
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019161436A
Other languages
English (en)
Other versions
JP2020077372A (ja
Inventor
守鎔 延
守鎔 延
守▲ひょん▼ 柳
守▲ひょん▼ 柳
東煥 李
東煥 李
正熙 金
正熙 金
京植 朴
京植 朴
相玉 石
相玉 石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Labs Corp
Original Assignee
Naver Labs Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Labs Corp filed Critical Naver Labs Corp
Publication of JP2020077372A publication Critical patent/JP2020077372A/ja
Application granted granted Critical
Publication of JP6842519B2 publication Critical patent/JP6842519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252Radio frequency fingerprinting
    • G01S5/02521Radio frequency fingerprinting using a radio-map
    • G01S5/02522The radio-map containing measured values of non-radio values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252Radio frequency fingerprinting
    • G01S5/02521Radio frequency fingerprinting using a radio-map
    • G01S5/02524Creating or updating the radio-map
    • G01S5/02525Gathering the radio frequency fingerprints
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)

Description

本発明は、データを収集する方法及びそのシステムに関し、さらに具体的には、室内位置がタギングされたセンサデータを収集する方法及びそのシステムに関する。
ユーザに位置基盤サービスを提供するためには、ユーザまたは対象物体の正確な位置情報を得る作業が必要であるが、そのような位置情報は、一般的に、GPS(global position system)信号を基に獲得される。しかし、高い建物間のようなGPS信号の陰影地域や、建物の内部のように、GPS信号が到達し難い空間では、ユーザまたは対象物体の位置測定に多くの困難が伴う。
建物内部のように、GPS信号が到達し難い空間でも、位置基盤サービスを提供するための方法として、特許文献1には、室内のアクセスポイントに係わるスキャン情報を収集し、少なくとも1以上のモニタリングアクセスポイントの既設定位置情報を利用し、モニタリングアクセスポイントに係わるスキャン情報を、室内地図にマッピングし、前記スキャン情報を介して獲得された少なくとも1以上の仮想アクセスポイントに係わるスキャン情報を利用し、前記仮想アクセスポイントに係わる前記室内地図上の位置情報を生成し、前記室内地図に既設定され、前記モニタリングアクセスポイント及び前記仮想アクセスポイントを含むセルそれぞれに係わる識別情報を生成し、室内無線測位のための基準点情報を収集する方法が開示されている。しかし、そのような方法は、室内地図情報があらかじめ存在しなければならないという問題がある。
韓国公開特許公報第10−2012−0029976号(公開日2012年03月27日)
本発明が解決しようとする課題は、データ収集装置を利用し、室内空間を移動しながら周辺を探索しながら、自己の位置を測定して地図を作成すると共に、センシング位置がタギングされたセンサデータを収集する方法を提供することである。
前述の技術的課題を達成するための技術的手段として、本開示の第1側面によるデータ収集方法が提供される。当該データ収集方法は、第1センサ及び第2センサを含むデータ収集装置がターゲット領域内を移動しながら、前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピング段階、前記データ収集装置が移動しながら収集する前記第1センサデータを基に、前記ターゲット領域の地図データ、及び前記第1タイムスタンプ値に対応する時点の位置データを生成するデータ生成段階、前記地図データを基に、前記ターゲット領域の地図に係わる地図情報を生成し、前記位置データを基に、前記地図上の移動経路に係わる移動経路情報を生成する情報生成段階、前記移動経路情報を基に、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギング段階、及び前記センシング位置がタギングされた前記第2センサデータを保存する保存段階を含む。
本開示の第2側面によるデータ収集システムは、第1センサ;第2センサ;前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピングモジュール;前記第1センサデータを基にターゲット領域の地図データを生成し、前記第1タイムスタンプ値に対応する時点の位置データを生成し、前記地図データを基に、前記ターゲット領域の地図に係わる地図情報を生成し、前記位置データを基に、前記地図上の移動経路に係わる移動経路情報を生成するSLAM(simultaneous localization and mapping)モジュール;前記移動経路情報を基に、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギングモジュール;及び前記センシング位置がタギングされた前記第2センサデータを保存する保存モジュール;を含む。
本開示の第3側面によるデータ収集方法が提供される。当該データ収集方法は、第1センサ及び第2センサを含むデータ収集装置がターゲット建物内を移動しながら、前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピング段階、前記データ収集装置が移動しながら収集する前記第1センサデータを基に、前記ターゲット建物の臨時地図データ、及び前記第1タイムスタンプ値に対応する時点の臨時位置データを生成するデータ生成段階、前記データ収集装置が通過していた位置を再び訪問するループクロージャ(loop closure)を検出する検出段階、前記ループクロージャの検出に応答し、前記臨時位置データを補正して補正位置データを生成し、前記補正位置データを基に、移動経路情報、及び前記ターゲット建物の室内地図情報を生成するループクロージング段階、前記移動経路情報を基に、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギング段階、及び前記センシング位置がタギングされた前記第2センサデータを保存する保存段階を含む。
本開示の第4側面によるデータ収集システムは、第1センサ;第2センサ;前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピングモジュール;前記第1センサデータを基に、ターゲット建物の臨時地図データを生成し、前記第1タイムスタンプ値に対応する時点の臨時位置データを生成し、前記データ収集装置が通過していた位置を再び訪問するループクロージャを検出し、前記ループクロージャの検出に応答し、前記臨時位置データを補正して補正位置データを生成し、前記補正位置データを基に、移動経路情報、及びターゲット建物の室内地図情報を生成するSLAMモジュール;前記移動経路情報を基に、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギングモジュール;及び前記センシング位置がタギングされた前記第2センサデータを保存する保存モジュール;を含む。
本開示の第5側面によれば、コンピュータに、前述のデータ収集方法を実行させるために、媒体に保存されるコンピュータプログラムが提供される。
本開示の多様な実施形態によれば、データ収集装置を利用し、ターゲット建物の室内空間を移動し、かつ周辺を探索しながら自己の位置を測定し、ターゲット建物の室内地図を作成すると共に、センシング位置がタギングされたセンサデータを収集する方法を提供する。センサデータを収集しながらタイムスタンピングが行われ、タイムスタンプ値を利用し、センサデータのセンシング位置が推定されるので、正確なセンシング位置を得ることができる。また、本開示の多様な実施形態によれば、ターゲット建物の室内地図を作成すると共に、ターゲット建物内のセンサデータを収集するために、センサデータ収集にかかるコストと時間とが節減される。
一実施形態による全体システム構成の例を図示する図面である。 一実施形態によるマッピングロボットの内部構成について説明するための例示的なブロック図である。 一実施形態によるマッピングロボットのプロセッサについて説明するための例示的なブロック図である。 一実施形態によるマッピングロボットのプロセッサの動作について説明するための参照図である。 一実施形態によるマッピングロボットのプロセッサの動作について説明するための参照図である。 一実施形態による地図クラウドサーバの内部構成について説明するための例示的なブロック図である。 一実施形態によるサービスロボットの内部構成について説明するための例示的なブロック図である。
以下では、添付図面を参照し、本開示が属する技術分野で当業者であるならば、容易に実施することができるように、多様な実施形態について詳細に説明する。しかし、本開示の技術的思想は、多様な形態に変形されても具現されるので、本明細書で説明する実施形態に制限されるものではない。本開示の多様な実施形態についての説明において、関連公知技術の具体的な説明が、本開示の技術的思想の要旨を不明確にすると判断される場合、その公知技術に係わる具体的な説明を省略する。同一であったり類似したりする構成要素は、同一参照番号を付し、それに係わる重複説明は、省略する。
明細書全体において、ある要素が他の要素と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の要素を挟み、「電気的に連結」されている場合も含む。ある要素が他の要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の要素以外に、さらに他の要素を排除するものではなく、さらなる他の要素をさらに含んでもよいということを意味する。
一部実施形態は、機能的なブロック構成、及び多様な処理段階によっても説明される。そのような機能ブロックの一部または全部は、特定機能を実行する多様な個数のハードウェア構成及び/またはソフトウェア構成によっても具現される。例えば、本開示の機能ブロックは、1以上のマイクロプロセッサによって具現されたり、所定機能のための回路構成によって具現されたりもする。本開示の機能ブロックは、多様なプログラミング言語またはスクリプト言語(scripting language)によっても具現される。本開示の機能ブロックは、1以上のプロセッサで実行されるアルゴリズムによっても具現される。本開示の機能ブロックが遂行する機能は、複数の機能ブロックによって遂行されるか、あるいは本開示で複数の機能ブロックが遂行する機能は、1の機能ブロックによっても遂行される。
図面に図示される要素間の連結線または連結部材は、機能的連結、物理的及び/または回路的連結を例示的に示したものである。実際の装置においては、代替可能であったり、追加されたりする多様な機能的連結、物理的連結または回路的連結により、要素間の連結が具現されるのである。
図1は、一実施形態による全体システム構成の例を図示する。
図1を参照すれば、マッピングロボット100、地図クラウドサーバ200及びサービスロボット300a、300b、300cは、ネットワークを介して互いに通信可能に連結される。
マッピングロボット100及びサービスロボット300a、300b、300cは、GPS(global position system)信号を受信することができない特定建物の室内で作動する装置でもある。本明細書において、マッピングロボット100及びサービスロボット300a、300b、300cが活動する特定建物をターゲット建物とする。ターゲット建物の内部地図は、事前に存在せず、マッピングロボット100により、ターゲット建物の室内地図情報が生成される。本開示において、ターゲット建物、またはターゲット建物内の室内空間は、ターゲット領域とも称される。
以下においては、説明の便宜のために、マッピングロボット100及びサービスロボット300が、移動プラットホームを備えたロボット装置である場合を想定し、本発明の実施形態について説明するが、本発明は、それに限定されるものではない。マッピングロボット100及びサービスロボット300は、センサを含むサービスプラットホーム、例えば、携帯端末、ノート型パソコン、コンピュータのようなデバイスを含んでもよい。
本明細書において、マッピングロボット100は、ターゲット建物の室内地図情報を生成する装置であり、データ収集装置とも称される。本明細書において、データ収集装置の代表的な例として、マッピングロボット100が提示されているが、本発明は、それに限定されるものではない。
サービスロボット300a、300b、300cは、マッピングロボット100によって生成されるターゲット建物の室内地図情報を利用し、自己の位置を把握し、自己に付与されたサービス機能を遂行することができる。サービスロボット300a、300b、300cは、ターゲット建物の室内地図情報を利用し、自己の位置を把握するだけではなく、所望場所に移動するための経路に沿って、自律走行を行うことができる。サービスロボット300a、300b、300cは、自己に付与された任務により、物流サービス、顧客対象案内サービス、保安サービスなどを遂行することができる。図1に開示されたサービスロボット300a、300b、300cの個数は、本発明を限定せず、サービスロボット300a、300b、300cについて一般的に説明する場合、サービスロボット300とするのである。
地図クラウドサーバ200は、マッピングロボット100によって生成されるターゲット建物の室内地図情報を保存し、サービスロボット300に、室内地図情報を提供するコンピュータ装置であり得る。地図クラウドサーバ200は、サービスロボット300が移動する経路を演算して提供することもできる。図1において、地図クラウドサーバ200が、ネットワークを介して、マッピングロボット100に連結されるように図示されているが、それは、例示的である。地図クラウドサーバ200がマッピングロボット100内に配置されるようにも理解され、その場合、地図クラウドサーバ200の機能がマッピングロボット100によっても遂行されるのである。本明細書において、データ収集装置は、マッピングロボット100と地図クラウドサーバ200とを包括する概念でもある。
マッピングロボット100、地図クラウドサーバ200及びサービスロボット300は、ネットワークを利用し、データを送受信することができる。ネットワークは、マッピングロボット100及びサービスロボット300と連結される無線通信網、及び地図クラウドサーバ200に連結される有線通信網を含んでもよい。無線通信網は、移動通信網、無線LAN(local area network)、近距離無線通信網などを含んでもよい。無線通信は、例えば、LTE、LTE−A(LTE Advance)、CDMA(code division multiple access)、WCDMA(wideband CDMA)(登録商標)、UMTS(universal mobile telecommunications system)、WiBro(wireless broadband)またはGSM(global system for mobile communications)(登録商標)などのうち少なくとも1つを使うセルラ通信を含んでもよい。一例によれば、無線通信網は、Wi−Fi(wireless fidelity)、ブルートゥース(Bluetooth)(登録商標)、ブルートゥース(登録商標)低電力(BLE)、ジグビー(Zigbee)(登録商標)、NFC(near field communication)またはRF(radio frequency)のうち少なくとも1つを含んでもよい。有線通信網は、例えば、USB(universal serial bus)、HDMI(high definition multimedia interface)(登録商標)、RS−232(recommended standard−232)、電力線通信またはPOTS(plain old telephone service)などのうち少なくとも1つを含んでもよい。
ネットワークは、テレコミュニケーションネットワーク、例えば、コンピュータネットワーク、インターネットまたはテレホンネットワークのうち少なくとも1つを含んでもよい。ネットワークは、PAN(personal area network)、LAN、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうち1以上の任意のネットワークを含んでもよい。ネットワークは、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター・バスネットワーク、ツリーまたは階層的(hierarchical)なネットワークなどを含むネットワークトポロジーのうちの任意の1以上を含んでもよいが、それらに制限されるものではない。
サービスロボット300は、地図クラウドサーバ200から提供されるターゲット建物の室内地図情報を利用し、自己の位置を確認することができる。室内地図情報は、ターゲット建物の室内空間情報だけではなく、サービスロボット300として、自己の位置を確認させるセンサデータを含んでもよい。センサデータは、ターゲット建物内の位置によって異なるセンサ値を含んでもよい。例えば、センサデータは、ターゲット建物内の他の位置で撮影した映像データを含んでもよい。センサデータは、ターゲット建物内の他の位置で測定した無線信号(例えば、Wi−Fi信号、ブルートゥース信号、ジグビー信号など)のデータを含んでもよい。無線信号のデータは、無線信号の種類と強度とを含んでもよい。センサデータは、ターゲット建物内の他の位置で測定した地磁気値を含んでもよい。
地図クラウドサーバ200から提供されるセンサデータは、ターゲット建物内の異なる位置ごとに異なる値を有し、その値に対応する位置が正確であってこそ、サービスロボット300が、センサデータを利用し、自己の位置を正確に確認することができる。従来には、ターゲット建物の特定位置にセンサを配置させた後、センサ出力を測定する過程を、ターゲット建物内の既設定の全位置で反復することにより、センサデータが収集された。そのような過程を介して、センサデータを収集する場合、センサを、既設定の特定位置に正確に配置させなければならないという困難が伴い、既設定の全位置において、センサ値を測定しなければならないので、時間が多くかかる。
本発明によるマッピングロボット100は、ターゲット建物内を移動しながら、第1センサデータだけではなく、第2センサデータを収集することができる。マッピングロボット100は、第1センサデータ及び第2センサデータそれぞれに、第1タイムスタンプ値及び第2タイムスタンプ値をタギングすることができる。マッピングロボット100は、収集された第1センサデータを利用し、臨時地図データと臨時経路情報とを生成し、ループクロージャ(loop closure)が検出されれば、ループクロージングを行うことにより、臨時地図データを補正し、ターゲット建物の室内地図情報を生成し、臨時経路情報を補正し、移動経路情報を生成することができる。第1センサデータは、室内地図情報及び移動経路情報を生成するためのデータであり、空間データとも称される。移動経路情報は、マッピングロボット100が移動した経路に係わる情報である。
マッピングロボット100は、第1センサデータ及び第2センサデータにタギングされた第1タイムスタンプ値及び第2タイムスタンプ値を利用し、第2センサデータが得られた時点において、マッピングロボット100が位置していたセンシング位置座標を正確に推定することができる。マッピングロボット100は、そのように推定されたセンシング位置座標を、第2センサデータにタギングすることにより、第2センサデータと、そのセンシング位置座標とを正確にマッピングさせることができる。従って、ターゲット建物内の数多くの位置それぞれにおいて収集される第2センサデータに、その正確なセンシング位置座標をタギングして保存することができ、そのような過程は、マッピングロボット100が、ターゲット建物の室内地図情報を生成する時間になされるので、追加して必要となる時間は、ほとんどない。
図1は、本発明によるデータ収集方法を具現することができるシステムを例示的に図示したものである。本発明によるデータ収集方法が、例示的に図1のマッピングロボット100で遂行されるように説明されるが、本発明によるデータ収集方法は、スマートフォンやノート型パソコンのような携帯用コンピュータ装置でも遂行される。
本発明によるデータ収集方法は、マッピングロボット100と地図クラウドサーバ200とによっても遂行され、その場合、マッピングロボット100と地図クラウドサーバ200とが1つのデータ収集装置を構成することができる。
例えば、マッピングロボット100は移動しながら、第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタイムスタンピングすることができる。マッピングロボット100は、第1タイムスタンプ値及び第2タイムスタンプ値がそれぞれタイムスタンピングされた第1センサデータ及び第2センサデータを、地図クラウドサーバ200に提供することができる。
地図クラウドサーバ200は、第1センサデータを基に、臨時地図データを生成し、第1タイムスタンプ値に対応する時点の臨時位置データを生成することができる。地図クラウドサーバ200は、ループクロージャを検出し、ループクロージャが検出されれば、臨時位置データを補正し、補正位置データを生成し、該補正位置データを基に、移動経路情報、及びターゲット建物の室内地図情報を生成することができる。地図クラウドサーバ200は、移動経路情報を基に、第2タイムスタンプ値に対応する時点のセンシング位置を推定し、該センシング位置を、第2センサデータにタギングすることができる。地図クラウドサーバ200は、センシング位置がタギングされた第2センサデータを保存することができる。
一方、補正位置及びセンシング位置は、方向情報を含んでもよい。例えば、補正位置及びセンシング位置は、空間上での位置を特定することができる位置情報と、当該位置での方向を特定することができる方向情報と、をいずれも含む概念でもある。
図2は、一実施形態によるマッピングロボットの内部構成について説明するための例示的なブロック図である。
図2を参照すれば、マッピングロボット100は、プロセッサ110、メモリ120、第1センサ部130、第2センサ部140、通信部150及び駆動部160を含む。
プロセッサ110は、メモリ120に保存されたコードによって動作し、第1センサ部130、第2センサ部140、通信部150及び駆動部160の全体的な動作を制御する。メモリ120は、プロセッサ110を動作させるためのコードを保存することができ、プロセッサ110の動作によって生成されるデータを保存することができる。プロセッサ110は、第1センサ部130及び第2センサ部140から収集される第1センサデータ及び第2センサデータを利用し、ターゲット建物の室内地図情報、及び自己の移動経路情報を生成し、センシング位置がタギングされた第2センサデータを生成することができる。プロセッサ110については、以下でさらに詳細に説明する。
第1センサ部130は、プロセッサ110が、ターゲット建物の室内地図情報及び移動経路情報を生成するのに利用される空間データ(すなわち、第1センサデータ)を生成することができる。第1センサ部130は、レーザスキャナ、カメラ、RGBDセンサを含むグループのうちから選択される少なくとも1つを含んでもよい。レーザスキャナは、レーザパルスを発射し、発射されたレーザパルスが周囲の対象物体で反射されて戻ってくるものを受け、物体までの距離などを測定することにより、周辺の様子を精密に描写する装置であり、ライダー(Lidar)を含んでもよい。レーザスキャナは、三次元レーザスキャナでもあり、三次元空間データを生成することができる。レーザスキャナは、既設定の周期で三次元空間データを生成することができる。マッピングロボット100が移動すれば、レーザスキャナが生成した三次元空間データは、毎フレームごとに変わることになる。プロセッサ110は、フレームごとに変わる三次元空間データの特徴点を抽出し、特徴点を整合させることにより、マッピングロボット100の位置及び移動経路を把握し、ターゲット建物の室内地図情報を生成することができる。
カメラは、例えば、360°カメラでもあり、マッピングロボット100の位置において、前後左右上下の全方向を撮影する装置でもある。カメラは、全方向を撮影した映像データを生成することができる。プロセッサ110は、フレームごとに変わる映像データの特徴点を抽出し、特徴点を整合させることにより、マッピングロボット100の位置及び移動経路を把握し、ターゲット建物の室内地図情報を生成することができる。
一例によれば、プロセッサ110は、カメラから得られた映像データを分析し、平面(plane)を識別し、平面の変化を分析することにより、三次元地図データを生成することができる。また、プロセッサ110は、三次元地図データ内の自己の位置を把握することができる。
RGBDセンサは、カメラのように、RGB映像を撮影するセンサの機能と、周囲の対象物体までの距離を感知する深さセンサの機能が結合されたセンサである。RGBDセンサは、周囲物体の映像だけではなく、周囲物体までの距離を測定することができる。プロセッサ110は、RGBDセンサの出力データを基に、ターゲット建物の室内地図情報を生成し、自己の位置を把握することができる。
第2センサ部140は、センシング位置がタギングされた第2センサデータを生成するための装置であり、カメラ、Wi−Fiモジュール、ブルートゥースモジュール、地磁気センサを含むグループから選択される少なくとも1つを含んでもよい。センシング位置は、第2センサデータが得られた位置を意味し、センシング位置がタギングされた第2センサデータは、第2センサデータと共に、センシング位置が保存されるということを意味する。センシング位置は、第2センサデータのメタデータにも保存される。センシング位置は、ターゲット建物の室内地図上の座標にも保存される。センシング位置がタギングされた第2センサデータは、地図クラウドサーバ200に保存され、ネットワークを介して、ターゲット建物の室内地図情報の一部として、サービスロボット300にも提供される。センシング位置がタギングされた第2センサデータは、マッピングロボット100のメモリ120にも保存される。
第2センサ部140は、カメラ、Wi−Fiモジュール、ブルートゥースモジュール、地磁気センサを含むグループから選択される複数のセンサを含んでもよい。例えば、第2センサ部140は、カメラとWi−Fiモジュールとを含んでもよい。第2センサ部140は、二次元レーザスキャナを含んでもよい。第2センサ部140は、二次元カメラを含んでもよい。第2センサ部140のセンサ装置は、第1センサ部130のセンサに比べ、廉価であって低い性能を有するものとすることができる。
Wi−Fiモジュールは、センシング位置で感知されるアクセスポイントの識別情報、及びアクセスポイントそれぞれから受信されるWi−Fi信号の強度を感知することができる。ブルートゥースモジュールは、センシング位置で感知されるブルートゥース装置の識別情報、及びブルートゥース装置それぞれから受信されるブルートゥース信号の強度を感知することができる。地磁気センサは、センシング位置において、地球の磁場を感知することができる。
通信部150は、ネットワークに接続され、地図クラウドサーバ200及び/またはサービスロボット300と通信することができる。通信部150は、通信インターフェースとも称され、マッピングロボット100と外部装置(例えば、地図クラウドサーバ200)との無線通信を設定することができる。無線通信は、例えば、LTE、LTE−A、CDMA、WCDMA、UMTS、WiBroまたはGSMなどのうち少なくとも1つを使用するセルラ通信を含んでもよい。一例によれば、無線通信は、Wi−Fi、ブルートゥース、ブルートゥース低電力(BLE)、ジグビー、NFCまたはRFのうち少なくとも1つを含んでもよい。
駆動部160は、プロセッサ110によって制御され、マッピングロボット100がターゲット建物内を移動することができる手段を提供する。駆動部160は、モータ及び複数のホイールを含んでもよい。例えば、駆動部160は、モータドライバ(motor drivers)、ホイールモータ及び回転モータを含んでもよい。モータドライバは、マッピングロボット100の走行のためのホイールモータを駆動する役割を行うことができる。ホイールモータは、マッピングロボット100の走行のための複数個のタイヤを駆動させることができる。回転モータは、マッピングロボット100のタイヤの方向転換または回転のためにも駆動される。
マッピングロボット100は、障害物認識部(図示せず)をさらに含んでもよい。障害物認識部は、赤外線センサ、超音波センサ、絶壁センサ、姿勢センサ(ARS:attitude reference system)、衝突センサ及び光流センサ(OFS:optical flow sensor)のうち少なくとも1つを含んでもよい。赤外線センサは、マッピングロボット100を遠隔調整するための赤外線リモートコントローラの信号を受信するセンサを含む。超音波センサは、超音波信号を利用し、障害物とロボットとの距離を判断するためのセンサを含む。絶壁センサは、360°範囲で崖または絶壁などを感知するためのセンサを含む。姿勢センサは、マッピングロボット100の姿勢を検出することができるセンサを含む。姿勢センサは、マッピングロボット100の回転量検出のための加速度3軸及びジャイロ3軸によって構成されるセンサを含む。衝突センサは、マッピングロボット100と障害物との衝突を感知するセンサを含む。衝突センサは、360°範囲において、マッピングロボット100と障害物との衝突を感知することができる。光流センサは、マッピングロボット100の走行時、タイヤの空回り現象、及び多様な底面におけるロボットの走行距離を測定することができるセンサを含む。
図3は、一実施形態によるマッピングロボットのプロセッサについて説明するための例示的なブロック図である。
図3を参照すれば、プロセッサ110は、タイムスタンピングモジュール111、SLAM(simultaneous localization and mapping)モジュール112、タギングモジュール113及び保存モジュール114を含んでもよい。
タイムスタンピングモジュール111は、第1センサ部130を介して、第1センサデータを収集し、第1センサデータに、第1タイムスタンプ値をタギングすることができる。タイムスタンピングモジュール111は、第2センサ部140を介して、第2センサデータを収集し、第2センサデータに、第2タイムスタンプ値をタギングすることができる。第1センサ部130は、三次元レーザスキャナであり、第2センサ部140は、Wi−Fiモジュールであると仮定する。第1センサデータは、第1センサ部130に例示される三次元レーザスキャナから受信される空間データとも称され、第2センサデータは、第2センサ部140に例示されるWi−Fiモジュールから受信されるセンサデータとも称される。
タイムスタンピングとは、データを受信した時刻に該当するタイムスタンプ値を、前記データと関連づけて保存するか、あるいは前記データのメタデータとして保存することにより、前記データにタギングすることを意味する。タイムスタンプは、特定の時刻を示すために、一貫性ある形式によって表現される情報であり、2以上の時刻を比較したり、期間を計算したりするときに便利に使用することができる。タイムスタンプの形式は、本発明を限定するものではない。
第1センサ部130と第2センサ部140は、互いに独立して動作することができる。従って、第1センサ部130(例えば、三次元レーザスキャナ)の第1センサデータの収集周期と、第2センサ部140(例えば、Wi−Fiモジュール)の第2センサデータの収集周期は、互いに独立している。第1センサデータの受信時刻と、第2センサデータの受信時刻は、互いに同期化されない。例えば、第1センサデータは、およそ1msから100msまでの間で選択される時間間隔で受信され、第2センサデータは、およそ1msから1secまでの間で選択される時間間隔で受信されてよい。第1センサデータ及び第2センサデータそれぞれは、一定周期に受信されない。
タイムスタンピングモジュール111は、第1タイムスタンプ値がタギングされた第1センサデータと、第2タイムスタンプ値がタギングされた第2センサデータとをメモリ120に保存することができる。第1センサデータ及び第2センサデータそれぞれは、マッピングロボット100が移動しながら順次に受信するデータの集合とも理解される。
SLAMモジュール112は、第1センサデータを基に、同時位置推定及び地図作成の機能を遂行することができ、マッピングロボット100が移動した経路を推定することができる。第1センサデータは、第1タイムスタンプ値がタギングされているので、SLAMモジュール112は、どの時刻にどの位置を通過したかということに係わる情報を把握することができる。SLAMモジュール112の同時位置推定及び地図作成の機能は、公知であるので、同時位置推定及び地図作成の機能がいかように遂行されるかということについて詳細に説明しない。
一例によれば、SLAMモジュール112は、第1センサデータを基に、臨時地図データを生成しながら、第1タイムスタンプ値に対応する時点の臨時位置データを生成することができる。臨時位置データは、第1タイムスタンプ値に対応する時点において、マッピングロボット100が通過した位置を臨時に推定したデータを意味する。第1センサデータが、三次元レーザスキャナから受信される三次元イメージデータである場合、SLAMモジュール112は、順次に受信される三次元イメージデータを基に、同時位置推定及び地図作成の機能を遂行することができる。この段階において、SLAMモジュール112が臨時に作成した地図データ、及び自己の位置データは、センシング誤差を含み、センシング誤差は、経時的に累積されてだんだん大きくなる。臨時地図データと臨時位置データは、そのようなセンシング誤差が除去されていないデータを意味する。例えば、臨時地図データと臨時位置データは、センシング誤差を含んでもよい。
SLAMモジュール112は、センシング誤差を除去するための方法として、ループクロージング機能を遂行することができる。SLAMモジュール112は、ループクロージャを検出することができる。本明細書において、ループクロージャとは、マッピングロボット100が通過していた位置を再び訪問することを意味する。SLAMモジュール112は、現在受信される第1センサデータである現在データを、以前に受信された第1センサデータである以前データと比較し、それら間の類似度が、既設定の閾値より高い場合、ループクロージャが発生したと決定することができる。第1センサ部130が三次元レーザスキャナである場合、同一位置で取得した三次元イメージデータは、非常に類似している。三次元レーザスキャナから受信される三次元イメージデータは、互いに容易に比較されるように、マッピングロボット100の姿勢により、既設定の座標界にも変換される。マッピングロボット100が通過していた位置を再び訪問することは、同一座標を再訪問することだけを含むものではなく、以前に訪問した位置に隣接した位置を再び訪問することも含んでもよい。
現在データは、必ずしも以前データの全てと比較されるものではなく、演算量を減らすために、一部の以前データと比較されてもよい。比較の対象になる一部の以前データは、開始地点の以前データ、または交差点位置の以前データであってよい。比較の対象になる一部の以前データは、臨時位置データを基に予測された移動経路を基に、ループクロージャの発生する可能性がある時点の以前データであってもよい。
他の実施形態によれば、SLAMモジュール112は、ループクロージャを検出するとき、第2センサデータも利用することができる。SLAMモジュール112は、現在受信される第2センサデータである現在データを、以前に受信された第2センサデータである以前データと比較し、それらの間の類似度が、既設定の閾値より高い場合、ループクロージャが発生したと決定することができる。第2センサ部140がWi−Fiモジュールである場合、同一位置で取得した無線信号データは、非常に類似している。第2センサデータについても、現在データは、必ずしも以前データの全てと比較されず、演算量を減らすために、一部の以前データと比較されてもよい。
SLAMモジュール112は、第1センサデータを基に、ループクロージャを検出した場合、第1センサデータにタギングされた第1タイムスタンプ値を利用し、現在位置について、以前に通過した以前通過時点を把握することができる。第1センサデータを利用して把握した以前通過時点は、第1以前通過時点と称する。SLAMモジュール112は、第2センサデータを基に、ループクロージャを検出した場合にも、第2センサデータにタギングされた第2タイムスタンプ値を利用し、現在位置について、以前に通過した以前通過時点を把握することができる。第2センサデータを利用して把握される以前通過時点は、第2以前通過時点と称する。SLAMモジュール112は、第1以前通過時点と第2以前通過時点との差が、既設定の閾値より小さい場合、最終的にループクロージャが発生したと決定することができる。
SLAMモジュール112は、ループクロージャの検出に応答し、臨時地図データと臨時位置データとから、センシング誤差を除去することにより、ターゲット建物の室内地図情報、及びマッピングロボット100が移動した移動経路情報を生成することができる。SLAMモジュール112は、ループクロージャの検出に応答し、臨時位置データを補正し、補正位置データを生成し、補正位置データを基に、移動経路情報を生成することができる。また、SLAMモジュール112は、ループクロージャが検出されれば、臨時地図データからセンシング誤差を除去することにより、ターゲット建物の室内地図情報を生成することができる。
一例によれば、ループクロージャが検出された現在時点の臨時位置データと、第1以前通過時点の臨時位置データとの差は、第1以前通過時点と現在時点との間で累積されたセンシング誤差に対応するので、SLAMモジュール112は、ループクロージャが検出された現在時点の臨時位置データと、第1以前通過時点の臨時位置データとを一致させながら、ループクロージャが検出された現在時点の臨時位置データと、第1以前通過時点の臨時位置データとの差を基に、センシング誤差に係わる情報を把握することができる。SLAMモジュール112は、臨時位置データにおいて、センシング誤差を補正することにより、補正位置データを生成することができる。補正位置データは、臨時位置データからセンシング誤差が除去されたものと理解される。マッピングロボット100の位置に係わる補正位置データも、推定誤差を含むが、臨時位置データに比べ、はるかに小さい誤差を含む。
SLAMモジュール112は、補正位置データを基に、移動経路情報を生成することができる。第1センサデータには、第1タイムスタンプ値がタイムスタンピングされているので、移動経路情報は、第1タイムスタンプ値に対応する時点の補正位置データを含む。すなわち、移動経路情報は、マッピングロボット100が移動した経路に係わる情報であり、第1タイムスタンプ値がタギングされた第1センサデータによって実際に通過した時刻と位置とに係わる情報を含んでもよい。
タギングモジュール113は、移動経路情報を基に、第2タイムスタンプ値に対応する時点のセンシング位置を推定することができる。移動経路情報は、マッピングロボット100が移動した時刻と位置とに係わる情報を含むので、タギングモジュール113は、第2タイムスタンプ値に対応する時点において、マッピングロボット100が位置した位置を把握することができる。この位置は、センシング位置とも称される。一例によれば、タギングモジュール113は、第1タイムスタンプ値に対応する時点の補正位置データを利用して内挿することにより、第2タイムスタンプ値に対応する時点のセンシング位置を推定することができる。第1タイムスタンプ値に対応する時点は、第2タイムスタンプ値に対応する時点と正確に一致しない。第2タイムスタンプ値と隣接する2個の第1タイムスタンプ値が選択される。2個の第1タイムスタンプ値に対応する補正位置データが決定される。2個の第1タイムスタンプ値に対応する時点の間、マッピングロボット100が線形等速運動したと仮定し、第2タイムスタンプ値と隣接する2個の第1タイムスタンプ値の差を基に、内挿演算を遂行することにより、第2タイムスタンプ値に対応する時点のセンシング位置を推定することができる。
マッピングロボット100が、隣接した2個の第1タイムスタンプ値に対応する位置の間で線形等速運動すると仮定しない場合、例えば、マッピングロボット100が不規則に運動する場合、第2タイムスタンプ値に対応する時点の位置は、第2タイムスタンプ値に隣接する2以上の第1タイムスタンプ値に対応する時点の位置を基に決定される。タギングモジュール113は、2以上の第1タイムスタンプ値に対応する時点の位置を基に、マッピングロボット100の運動の種類を予想し、この運動の種類、及び第2タイムスタンプ値に対応する時点の位置を基に、第2タイムスタンプ値に対応する時点の位置を推定することができる。
タギングモジュール113は、第2タイムスタンプ値に対応する時点において、マッピングロボット100が位置した位置を基に、センシング位置を推定することができる。厳密には、第2タイムスタンプ値に対応する時点の位置は、第1センサ部130の位置を意味する。一方、センシング位置は、第2センサ部140の位置を意味する。
第1センサ部130と第2センサ部140は、マッピングロボット100内において、他の位置に存在することができる。プロセッサ110は、第1センサ部130と第2センサ部140との位置関係に係わる情報を事前に保存することができる。プロセッサ110は、マッピングロボット100の姿勢により、第1センサ部130の位置に対する第2センサ部140の位置の関係を算出し、算出された位置関係を利用し、第1センサ部130の位置から、第2センサ部140の位置を正確に算出することができる。それを介して、タギングモジュール113は、第2タイムスタンプ値に対応する時点において、第1センサ部130が位置した位置を基にセンシング位置を推定することができる。
タギングモジュール113は、そのように推定されたセンシング位置を、第2タイムスタンプ値がタイムスタンピングされた第2センサデータにタギングすることができる。タギングモジュール113が、第2センサデータ全部について、前述のような動作を遂行することにより、第2センサデータには、いずれもセンシング位置がタギングされる。第2センサ部140がカメラである場合、センシング位置がタギングされた第2センサデータは、カメラが撮影した映像、及びカメラの位置を含んでもよい。第2センサデータに含まれるカメラの位置は、カメラの撮影方向を含んでもよい。固定式カメラである場合、カメラの撮影方向は、マッピングロボット100の姿勢を介しても決定される。ジンバルカメラである場合、カメラの撮影方向は、マッピングロボット100の姿勢、及びジンバル角度を基に決定され得る。
保存モジュール114は、センシング位置がタギングされた第2センサデータを保存することができる。保存モジュール114は、センシング位置がタギングされた第2センサデータをメモリ120に保存することができる。保存モジュール114は、センシング位置がタギングされた第2センサデータを地図クラウドサーバ200に保存することができる。保存モジュール114は、センシング位置がタギングされた第2センサデータをターゲット建物の室内地図情報に結合することができる。
第2センサ部140が、複数種類のセンサを含む場合、第2センサデータも複数存在し、センシング位置がそれぞれタギングされた複数の第2センサデータは、タギングモジュール113によっても生成される。ターゲット建物の室内地図情報は、複数の第2センサデータを含んでもよい。例えば、第2センサ部140が、カメラとWi−Fiモジュールとを含む場合、第2センサデータは、センシング位置からカメラで撮影した映像データ、及びセンシング位置で受信されるWi−Fi信号のデータを含んでもよい。
プロセッサ110は、マッピングロボット100の自律走行のための自律走行モジュールをさらに含んでもよく、駆動部160は、自律走行モジュールの制御によっても駆動される。自律走行モジュールは、マッピングロボット100が移動する経路を直接決定することができる。マッピングロボット100は、ターゲット建物の室内地図情報が作られる前、ターゲット建物を探索することができる。自律走行モジュールは、ターゲット建物を探索するためのアルゴリズムを有することができる。例えば、自律走行モジュールは、ターゲット建物を探索するために、全ての交差点において特定方向に回転するアルゴリズムを有するか、あるいは既設定の移動距離または移動時間にあれば、ループクロージャが発生するように経路を決定するアルゴリズムを有することができる。
他の実施形態によれば、マッピングロボット100が移動する経路を決定する機能は、地図クラウドサーバ200で遂行され、プロセッサ110は、地図クラウドサーバ200から自身が移動する経路を受信することができる。
図4及び図5は、一実施形態によるマッピングロボットのプロセッサの動作について説明するための参照図である。
図4及び図5を参照すれば、SLAMモジュール112のループクロージング動作以前の臨時移動経路P1と、ループクロージング動作以後に推定した推定移動経路P2とが図示される。マッピングロボット100は、左側下端で開始し、長方形の経路を反時計回り方向に移動したと仮定する。図5は、図4の参照図であり、A部分を拡大したものである。
臨時移動経路P1は、臨時位置データeを基に決定され得る。臨時移動経路P1から分かるように、臨時位置データeは、マッピングロボット100の移動により、センシング誤差が累積されるにつれて、実際の経路からだんだん外れる。
ループクロージング動作は、ループクロージャが検出された2つの時点において、臨時位置データeを一致させる動作であり得る。ループクロージング動作によって生成される補正位置データrは、臨時位置データeからセンシング誤差を除外したものと理解される。
プロセッサ110が、第2センサデータを第2センサ部140から受信されるたびにセンシング位置を決定し、決定されたセンシング位置を第2センサデータにタギングする場合、第2センサデータのセンシング位置mは、図5に図示されているように、臨時移動経路P1上の位置と決定されるか、あるいは臨時移動経路P1上の隣接した臨時位置データeの位置とも決定される。プロセッサ110は、第1センサデータを基に、現在位置を、臨時位置データeのように決定することができ、プロセッサ110は、臨時位置データeを基に、第2センサデータのセンシング位置を決定することができる。
本実施形態によれば、第2センサデータには、第2タイムスタンプ値がタイムスタンピングされる。プロセッサ110は、第2センサデータの第2タイムスタンプ値を利用し、第2センサデータのセンシング位置を、推定移動経路P2上の位置と決定することができる。その結果、第2センサデータのセンシング位置は、さらに正確になり、第2センサデータのセンシング位置を把握するために、追加して投与しなければならない時間は、ほとんどない。それだけではなく、ターゲット建物内において、マッピングロボット100が移動した経路に沿って、非常に多数の第2センサデータが取得される。ターゲット建物内の非常に多くのセンシング位置で測定される第2センサデータが収集される。従来には、作業者が、既設定の位置に、センサ装置を持って移動し、センサデータを収集しなければならなかったので、限定された位置についてしかセンサデータを収集することができなかったが、本実施形態によれば、ターゲット建物内において、マッピングロボット100が移動する経路上において、数cmほどの間隔で、第2センサデータを収集することができる。
図6は、一実施形態による地図クラウドサーバの内部構成について説明するための例示的なブロック図である。
図6を参照すれば、地図クラウドサーバ200は、プロセッサ210、メモリ220及び通信部230を含む。
プロセッサ110は、メモリ120に保存されたコードによって動作し、メモリ220及び通信部230を含む。メモリ220は、プロセッサ210を動作させるためのコードを保存することができ、プロセッサ210の動作によって生成されるデータを保存することができる。メモリ220は、ターゲット建物の室内地図情報を保存する保存装置を含んでもよい。他の例によれば、メモリ220は、ネットワークを介して連結される別途の保存サーバのデータベースを含んでもよく、ターゲット建物の室内地図情報は、データベースにも保存される。
プロセッサ210は、マッピングロボット100から、ターゲット建物の室内地図情報を受信することができる。室内地図情報は、ターゲット建物の三次元地図を含んでもよい。室内地図情報は、センシング位置がタギングされた第2センサデータを含んでもよい。センシング位置は、ターゲット建物の室内地図情報上の位置にも特定される。
プロセッサ210は、サービスロボット300に、ターゲット建物の室内地図情報を提供することができる。サービスロボット300は、ターゲット建物の室内地図情報に含まれる第2センサデータを利用し、自己の位置を把握することができる。第2センサデータには、正確に推定されたセンシング位置がタギングされている。サービスロボット300は、ターゲット建物内において、センサを利用して測定した値を、第2センサデータと比較することにより、自己の位置を推定することができる。
他の実施形態によれば、プロセッサ210は、マッピングロボット100及び/またはサービスロボット300から、出発地情報と到着地情報とを受信することができる。プロセッサ210は、ターゲット建物の室内地図情報を利用し、出発地から到着地まで移動する最適な経路を決定し、最適な経路に係わる情報を、マッピングロボット100及び/またはサービスロボット300に提供することができる。最適な経路に係わる情報を受信したマッピングロボット100及び/またはサービスロボット300は、最適な経路に沿って移動することができる。他の例によれば、マッピングロボット100は、自律走行モジュールを含んでもよく、該自律走行モジュールが決めた経路に沿って移動することもできる。
さらに他の実施形態によれば、プロセッサ210は、図3のSLAMモジュール112、タギングモジュール113及び保存モジュール114の機能を遂行することができる。例えば、プロセッサ210は、マッピングロボット100から、第1タイムスタンプ値及び第2タイムスタンプ値がそれぞれタイムスタンピングされた第1センサデータ及び第2センサデータを受信することができる。
プロセッサ210は、第1タイムスタンプ値がタイムスタンピングされた第1センサデータを基に、臨時地図データを生成し、第1タイムスタンプ値に対応する時点の臨時位置データを生成することができる。
プロセッサ210は、マッピングロボット100が通過した位置を再び訪問するループクロージャを検出することができる。プロセッサ210は、ループクロージャが検出されれば、臨時位置データを補正し、補正位置データを生成し、該補正位置データを基に、移動経路情報、及びターゲット建物の室内地図情報を生成することができる。
プロセッサ210は、移動経路情報を基に、第2タイムスタンプ値に対応する時点のセンシング位置を推定し、該センシング位置を、第2センサデータにタギングすることができる。プロセッサ210は、センシング位置がタギングされた第2センサデータを保存することができる。
通信部230は、ネットワークに接続され、マッピングロボット100及び/またはサービスロボット300と通信することができる。通信部230は、通信インターフェースとも称され、マッピングロボット100及び/またはサービスロボット300との通信を設定することができる。通信部230は、有線通信を介して、ネットワークに接続することができる。有線通信は、LAN、WAN、MAN、ISDN(integrated service digital network)などのうち少なくとも1つを含んでもよい。
図7は、一実施形態によるサービスロボットの内部構成について説明するための例示的なブロック図である。
図7を参照すれば、サービスロボット300は、プロセッサ310、メモリ320、第2センサ部330、通信部340及び駆動部350を含む。
プロセッサ310は、メモリ320に保存されたコードによって動作し、メモリ320、第2センサ部330、通信部340及び駆動部350の全体的な動作を制御する。メモリ320は、プロセッサ310を動作させるためのコードを保存することができ、プロセッサ310の動作によって生成されるデータを保存することができる。プロセッサ310は、第2センサ部330から受信されるセンサデータと、地図クラウドサーバ200に保存されるターゲット建物の室内地図情報とを利用し、ターゲット建物内の自己の位置を推定することができる。プロセッサ310について、以下でさらに詳細に説明する。
第2センサ部330は、ターゲット建物の室内地図情報に含まれる第2センサデータと同一種類のセンサデータを生成するセンサを含んでもよい。第2センサ部330は、マッピングロボット100の第2センサ部140に対応する。例えば、マッピングロボット100の第2センサ部140が、カメラ、Wi−Fiモジュール、ブルートゥースモジュール、地磁気センサを含むグループから選択される少なくとも1つを含む場合、第2センサ部330も、第2センサ部140と同一種類の少なくとも1つのセンサを含んでもよい。マッピングロボット100の第2センサ部140が、カメラとWi−Fiモジュールとを含み、ターゲット建物の室内地図情報に、カメラの映像データとWi−Fiモジュールとの無線信号データが含まれる場合、第2センサ部330は、カメラかWi−Fiモジュールのうち一方だけ含むか、あるいはカメラとWi−Fiモジュールとの双方も含んでもよい。
マッピングロボット100の第1センサ部130のセンサは、第2センサ部140のセンサに比べ、高価であって高い性能を有することができる。サービスロボット300は、マッピングロボット100の第1センサ部130のような高価のセンサを含まないために、マッピングロボット100に比べ、低廉に製作され、それぞれの機能に合うように多様な種類にも製作される。
通信部340は、ネットワークに接続され、マッピングロボット100、地図クラウドサーバ200及び/または他のサービスロボット300と通信することができる。通信部340は、無線通信を支援する通信インターフェースとも称される。無線通信は、セルラ通信、Wi−Fi、ブルートゥース、ブルートゥース低電力(BLE)、ジグビー、NFCまたはRFのうち少なくとも1つを含んでもよい。
駆動部350は、プロセッサ310によって制御され、サービスロボット300が移動することができる手段を提供する。駆動部350は、モータ、及び複数のホイールを含んでもよい。例えば、駆動部350は、モータドライバ、ホイールモータ及び回転モータを含んでもよい。モータドライバは、サービスロボット300の走行のためのホイールモータを駆動する役割を行うことができる。ホイールモータは、サービスロボット300の走行のための複数個のタイヤを駆動させることができる。回転モータは、サービスロボット300のタイヤの方向転換または回転のためにも駆動される。
一実施形態によれば、プロセッサ310は、第2センサ部330から、センサデータを受信することができる。プロセッサ310は、地図クラウドサーバ200から、ターゲット建物の室内地図情報を受信することができる。プロセッサ310は、ターゲット建物の室内地図情報に含まれるセンシング位置がタギングされた第2センサデータと、第2センサ部330から受信されたセンサデータとを比較し、それら間の類似度を判断することができる。プロセッサ310は、類似度が高い第2センサデータを抽出し、第2センサデータにタギングされたセンシング位置を基に、サービスロボット300の現在位置を推定することができる。
他の実施形態によれば、プロセッサ310は、第2センサ部330からセンサデータを受信すると、センサデータを地図クラウドサーバ200に伝送することができる。地図クラウドサーバ200は、サービスロボット300から受信されるセンサデータを基に、サービスロボット300の現在位置を推定し、現在位置に係わる情報をサービスロボット300に伝送することもできる。
ターゲット建物内で、マッピングロボット100及びサービスロボット300の移動する経路が指定された場合、マッピングロボット100は、この経路上の全ての位置において、第2センサデータを受信することができる。ターゲット建物の室内地図情報は、経路上の全ての位置で得られた第2センサデータを含んでもよく、該第2センサデータは、正確なセンシング位置がタギングされる。サービスロボット300が、ターゲット建物内の指定された経路上に位置する場合、第2センサ部330を介して受信されるセンサデータと類似度が非常に高い第2センサデータが存在する可能性が高い。従って、サービスロボット300の現在位置は、非常に正確に推定される。
以上で説明された本発明による実施形態は、コンピュータ上で多様な構成要素を介して実行されるコンピュータプログラムの形態でも具現され、そのようなコンピュータプログラムは、コンピュータ読み取り可能な媒体にも記録される。このとき、媒体は、コンピュータ実行可能なプログラムを継続的に保存するか、あるいは実行またはダウンロードのために一時的に保存するものでもある。また、媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体;CD−ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(read-only memory)、RAM(random access memory)、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものがある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体も挙げることができる。
前述の発明は、具体的な構成要素のような特定事項、限定された実施形態、及び図面によって説明されているが、それらは、本発明のさらに全般的な理解の一助となるように提供されたものであり、本発明は、前述の実施形態に限定されるものではなく、本発明が属する技術分野で当業者であるならば、そのような記載から、多様な修正と変更とを図ることができるであろう。
従って、本発明の思想は、前述の実施形態に限って決められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等であるか、あるいはそれらから等価的に変更された全ての範囲が、本発明の思想の範疇に属するものとするのである。
本発明のデータ収集方法及びそのシステムは、例えば、位置基盤情報関連の技術分野に効果的に適用可能である。
100 マッピングロボット
110、210、310 プロセッサ
111 タイムスタンピングモジュール
112 SLAMモジュール
113 タギングモジュール
114 保存モジュール
120、220、320 メモリ
130 第1センサ
140、330 第2センサ
150、230、340 通信部
160、350 駆動部
200 地図クラウドサーバ
300、300a、300b、300c サービスロボット

Claims (14)

  1. 第1センサ及び第2センサを含むデータ収集装置がターゲット領域内を移動しながら、前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピング段階と、
    前記データ収集装置が移動しながら収集する前記第1センサデータを基に、前記ターゲット領域の地図データ、及び前記第1タイムスタンプ値に対応する時点の位置データを生成するデータ生成段階と、
    前記地図データを基に、前記ターゲット領域の地図に係わる地図情報を生成し、前記位置データを基に、前記地図上の移動経路に係わる移動経路情報を生成する情報生成段階と、
    前記移動経路情報を基に、前記第2タイムスタンプ値に隣接する2以上の第1タイムスタンプ値に対応する時点の位置から内挿演算を遂行することにより、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギング段階と、
    前記センシング位置がタギングされた前記第2センサデータを保存する保存段階と、を含む
    データ収集方法。
  2. 前記移動経路情報は、前記第1タイムスタンプ値に対応する時点の前記位置データを含み、
    前記第2タイムスタンプ値に対応する時点のセンシング位置は、前記第1タイムスタンプ値に対応する時点の前記位置データを利用した内挿を介して推定されることを特徴とする
    請求項1に記載のデータ収集方法。
  3. 前記データ収集装置が通過していた位置を再び訪問するループクロージャを検出する検出段階と、
    前記ループクロージャの検出に応答し、前記位置データを補正する段階と、
    前記位置データの補正に応答し、前記地図データを補正する段階と、をさらに含むことを特徴とする
    請求項1に記載のデータ収集方法。
  4. 前記ループクロージャを検出する段階は、
    現在受信されている第1センサデータである現在データを以前に受信された第1センサデータである以前データと比較することにより、前記第1センサデータ間の類似度を算出する段階と、
    現在受信されている第2センサデータである現在データを以前に受信された第2センサデータである以前データと比較することにより、前記第2センサデータ間の類似度を算出する段階と、
    前記第1センサデータ間の類似度、及び前記第2センサデータ間の類似度を基に、前記ループクロージャを検出する段階と、を含むことを特徴とする
    請求項3に記載のデータ収集方法。
  5. 前記第1センサは、レーザスキャナ、カメラ、RGBDセンサを含むグループから選択される少なくとも1つを含むことを特徴とする請求項1に記載のデータ収集方法。
  6. 前記第2センサは、カメラ、Wi−Fiモジュール、近距離間データ通信モジュール、地磁気センサ、レーザスキャナ、RGBDセンサを含むグループから選択される少なくとも1つを含むことを特徴とする請求項1に記載のデータ収集方法。
  7. 前記第1センサは、三次元レーザスキャナであることを特徴とする請求項6に記載のデータ収集方法。
  8. 前記タイムスタンピング段階、前記データ生成段階、前記情報生成段階、前記タギング段階及び前記保存段階は、前記データ収集装置のプロセッサによって遂行されることを特徴とする請求項1に記載のデータ収集方法。
  9. 前記タイムスタンピング段階は、前記データ収集装置のプロセッサによって遂行され、
    前記データ生成段階、前記情報生成段階、前記タギング段階及び前記保存段階は、前記データ収集装置にネットワークを介して接続するサーバコンピュータ装置によって遂行されることを特徴とする
    請求項1に記載のデータ収集方法。
  10. コンピュータに、請求項1ないし9のうちいずれか1項に記載の方法を実行させるためのコンピュータプログラム。
  11. 第1センサと、
    第2センサと、
    前記第1センサ及び第2センサを介して、第1センサデータ及び第2センサデータをそれぞれ収集し、前記第1センサデータ及び第2センサデータに、第1タイムスタンプ値及び第2タイムスタンプ値をそれぞれタギングするタイムスタンピングモジュールと、
    前記第1センサデータを基に、ターゲット領域の地図データを生成し、前記第1タイムスタンプ値に対応する時点の位置データを生成し、前記地図データを基に、前記ターゲット領域の地図に係わる地図情報を生成し、前記位置データを基に、前記地図上の移動経路に係わる移動経路情報を生成するSLAM(simultaneous localization and mapping)モジュールと、
    前記移動経路情報を基に、前記第2タイムスタンプ値に隣接する2以上の第1タイムスタンプ値に対応する時点の位置から内挿演算を遂行することにより、前記第2タイムスタンプ値に対応する時点のセンシング位置を推定し、前記センシング位置を、前記第2センサデータにタギングするタギングモジュールと、
    前記センシング位置がタギングされた前記第2センサデータを保存する保存モジュールと、を含む
    データ収集システム。
  12. 前記SLAMモジュールは、以前に通過していた位置を再び訪問するループクロージャを検出し、前記ループクロージャの検出に応答し、前記位置データを補正し、前記位置データの補正に応答し、前記地図データを補正することを特徴とする請求項11に記載のデータ収集システム。
  13. 前記第1センサは、レーザスキャナ、カメラ、RGBDセンサを含むグループから選択される少なくとも1つを含むことを特徴とする請求項11に記載のデータ収集システム。
  14. 前記第1センサは、三次元レーザスキャナであり、
    前記第2センサは、カメラ、Wi−Fiモジュール、近距離間データ通信モジュール、地磁気センサを含むグループから選択される少なくとも1つを含むことを特徴とする
    請求項11に記載のデータ収集システム。
JP2019161436A 2018-09-28 2019-09-04 データ収集方法及びそのシステム Active JP6842519B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180116177A KR101948728B1 (ko) 2018-09-28 2018-09-28 데이터 수집 방법 및 시스템
KR10-2018-0116177 2018-09-28

Publications (2)

Publication Number Publication Date
JP2020077372A JP2020077372A (ja) 2020-05-21
JP6842519B2 true JP6842519B2 (ja) 2021-03-17

Family

ID=65367315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019161436A Active JP6842519B2 (ja) 2018-09-28 2019-09-04 データ収集方法及びそのシステム

Country Status (5)

Country Link
US (1) US11747477B2 (ja)
EP (1) EP3629052A1 (ja)
JP (1) JP6842519B2 (ja)
KR (1) KR101948728B1 (ja)
CN (1) CN110967711A (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012549B1 (ko) * 2017-01-25 2019-08-20 엘지전자 주식회사 이동 객체를 식별하여 맵을 작성하는 방법 및 이를 구현하는 로봇
KR102293317B1 (ko) * 2019-06-03 2021-08-23 엘지전자 주식회사 특정 지역의 맵을 작성하는 방법과, 이를 구현하는 로봇 및 전자기기
KR20210015516A (ko) * 2019-08-02 2021-02-10 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN111145634B (zh) * 2019-12-31 2022-02-22 深圳市优必选科技股份有限公司 一种校正地图的方法及装置
KR20210100297A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102481615B1 (ko) * 2020-04-14 2022-12-27 네이버랩스 주식회사 데이터 수집 방법 및 시스템
CN112035583A (zh) * 2020-08-24 2020-12-04 浙江商汤科技开发有限公司 定位更新方法、装置和***、移动设备控制方法及装置
CN112578333A (zh) * 2020-12-24 2021-03-30 江苏新冠亿科技有限公司 一种智能小车初始坐标检测方法、智能小车及存储介质
CN112581535B (zh) * 2020-12-25 2023-03-24 达闼机器人股份有限公司 机器人定位方法、装置、存储介质及电子设备
CN112881052B (zh) * 2021-01-14 2024-02-20 深圳市杉川机器人有限公司 构建移动机器人的工作场景的方法及装置
KR20220152456A (ko) * 2021-05-07 2022-11-16 주식회사 와따 스마트폰 센서를 통해 수집된 하이브리드 데이터를 이용한 비 지도 기반의 공간 데이터 생성방법, 서버 및 컴퓨터프로그램과 이를 이용한 자동 경로 생성 방법
CN115514949A (zh) * 2021-06-23 2022-12-23 中强光电股份有限公司 数据串流方法及***
CN113572557B (zh) * 2021-06-29 2024-03-19 武汉中观自动化科技有限公司 一种基于can通信的时间戳快速同步的方法及其光学扫描仪
US11997578B2 (en) * 2021-07-19 2024-05-28 At&T Intellectual Property I, L.P. Method and apparatus for indoor mapping and location services
DE102021208331A1 (de) * 2021-08-02 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Sensordatenverarbeitung in einem Sensorsystem und zugehöriges Sensorsystem
US11595226B1 (en) * 2021-08-17 2023-02-28 Xerox Corporation Method and system for collecting sensor data in buildings
US11856419B2 (en) 2021-08-17 2023-12-26 Xerox Corporation Method and system for commissioning environmental sensors
CN113473118B (zh) * 2021-08-23 2024-05-14 追觅创新科技(苏州)有限公司 数据的时间戳对齐方法、装置、设备及存储介质
WO2023030559A1 (en) * 2021-09-03 2023-03-09 Technicka Univerzita V Liberci Method of navigating an automated guided vehicle for internal logistics and a system for its implementation
JPWO2023042424A1 (ja) * 2021-09-17 2023-03-23

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254516B2 (en) * 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
CN101949715B (zh) * 2010-08-10 2012-06-20 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和***
KR20120029976A (ko) 2010-09-17 2012-03-27 주식회사 케이티 실내 무선 측위를 위한 기준 정보 수집 방법 및 장치, 실내에 설치된 복수의 액세스 포인트를 이용한 실내 무선 측위 서비스 방법
FR2980327B1 (fr) * 2011-09-15 2016-07-01 Pole Star Dispositif et methode de collecte d'informations relatives a des points d'acces
CN202649468U (zh) * 2012-01-13 2013-01-02 北京理工大学 一种目标车辆行驶状态测量***
US8788205B2 (en) * 2012-12-17 2014-07-22 Microsoft Corporation Sensor data collection
CN103076502B (zh) * 2012-12-20 2015-08-26 中国铁路总公司 一种针对移动体目标异地同步测量数据采集***及方法
US9377310B2 (en) * 2013-05-02 2016-06-28 The Johns Hopkins University Mapping and positioning system
US9405972B2 (en) * 2013-09-27 2016-08-02 Qualcomm Incorporated Exterior hybrid photo mapping
US20150185054A1 (en) 2013-12-30 2015-07-02 Motorola Mobility Llc Methods and Systems for Synchronizing Data Received from Multiple Sensors of a Device
US9277361B2 (en) * 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
KR20150124535A (ko) 2014-04-28 2015-11-06 한국전자통신연구원 실내지도와 와이파이맵 동시 생성 방법 및 시스템
US10019821B2 (en) * 2014-09-02 2018-07-10 Naver Business Platform Corp. Apparatus and method for constructing indoor map using cloud point
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US20170307393A1 (en) * 2014-12-17 2017-10-26 Sony Corporation Information processing apparatus, information processing method, and program
KR102403504B1 (ko) * 2015-11-26 2022-05-31 삼성전자주식회사 이동 로봇 및 그 제어 방법
JP6311695B2 (ja) * 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
KR101972908B1 (ko) 2016-09-13 2019-04-26 한국과학기술연구원 실내 위치 측정 방법, 서버, 및 시스템
US10723018B2 (en) * 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
KR20180067199A (ko) 2016-12-12 2018-06-20 현대모비스 주식회사 객체 인식 장치 및 방법
KR101979429B1 (ko) 2017-08-14 2019-05-16 네이버랩스 주식회사 전동식 이동 대차의 힘 감지 센서 캘리브레이션 방법 및 그 장치

Also Published As

Publication number Publication date
JP2020077372A (ja) 2020-05-21
KR101948728B1 (ko) 2019-02-15
CN110967711A (zh) 2020-04-07
US11747477B2 (en) 2023-09-05
EP3629052A1 (en) 2020-04-01
US20200103529A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP6842519B2 (ja) データ収集方法及びそのシステム
US11373395B2 (en) Methods and systems for simultaneous localization and calibration
EP3367199B1 (en) Moving robot and method of controlling the same
KR102342152B1 (ko) 환경 맵 생성 및 정렬을 위한 방법 및 시스템
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
CN106796434B (zh) 地图生成方法、自身位置推定方法、机器人***和机器人
US11815601B2 (en) Methods and systems for geo-referencing mapping systems
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
JP6311695B2 (ja) 自律移動装置、自律移動方法及びプログラム
KR102510840B1 (ko) 부딪혀도 손상되지 않는 비회피 장애물에 대한 이동 로봇의 자율 주행을 제어하기 위한 서버, 방법 및 프로그램
KR102119161B1 (ko) 운송 로봇의 실내 위치 인식 시스템
KR102481615B1 (ko) 데이터 수집 방법 및 시스템
Alves et al. Cost-effective indoor localization for autonomous robots using kinect and wifi sensors
KR20200043329A (ko) 데이터 수집 방법 및 시스템
Glas et al. Simultaneous people tracking and robot localization in dynamic social spaces
CN111679663A (zh) 三维地图构建方法、扫地机器人及电子设备
CN114995459A (zh) 机器人的控制方法、装置、设备及存储介质
Jametoni et al. A Study on Autonomous Drone Positioning Method
Choi et al. Autonomous homing based on laser-camera fusion system
CN117589153B (zh) 一种地图更新的方法及机器人
WO2022126603A1 (en) Localization system and method for mobile equipment
JP2017062179A (ja) サーバ装置、移動体、及び走行経路選択方法
KR20220124051A (ko) 3차원 맵 생성 방법 및 시스템
CN117570977A (zh) 机器人的定位方法、定位装置、机器人及存储介质
CN112393720A (zh) 目标设备的定位方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210219

R150 Certificate of patent or registration of utility model

Ref document number: 6842519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250