JP2023503750A - ロボットの位置決め方法及び装置、機器、記憶媒体 - Google Patents
ロボットの位置決め方法及び装置、機器、記憶媒体 Download PDFInfo
- Publication number
- JP2023503750A JP2023503750A JP2021566028A JP2021566028A JP2023503750A JP 2023503750 A JP2023503750 A JP 2023503750A JP 2021566028 A JP2021566028 A JP 2021566028A JP 2021566028 A JP2021566028 A JP 2021566028A JP 2023503750 A JP2023503750 A JP 2023503750A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- time
- simulated
- image
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本開示は、ロボットの位置決め方法及び装置、機器、記憶媒体に関し、前記ロボットの位置決め方法は、第1時刻におけるロボットの第1位置情報を取得することと、第2時刻におけるロボットの第2画像を取得し、第2画像に基づいて第2時刻におけるロボットの第1推定位置情報を取得することと、第1時刻から第2時刻までのロボットの移動パラメータを収集することと、第1位置情報及び移動パラメータに基づいて、第2時刻におけるロボットの第2推定位置情報を計算して取得することと、第1推定位置情報及び第2推定位置情報によって、第2時刻におけるロボットの第2位置情報を取得することと、を含む。【選択図】図1
Description
[関連出願への相互参照]
本願は、2020年10月26日に中国特許局に提出された、出願番号が202011157118.7であり、発明名称が「ロボットの位置決め方法及び装置、機器、記憶媒体」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み込まれる。
[技術分野]
本開示は、人工知能の技術分野に関し、具体的には、ロボットの位置決め方法及び装置、機器、記憶媒体に関する。
本願は、2020年10月26日に中国特許局に提出された、出願番号が202011157118.7であり、発明名称が「ロボットの位置決め方法及び装置、機器、記憶媒体」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み込まれる。
[技術分野]
本開示は、人工知能の技術分野に関し、具体的には、ロボットの位置決め方法及び装置、機器、記憶媒体に関する。
近年、複数の機能を備えている人工知能がますますブームになっており、人工知能を有する位置決めシステムも、様々な分野でますます普及している。例えば、人工知能(AI:Artificial Intelligence)教育では、授業関係者が位置決め、計画、制御、マルチ知的エージェントなどの内容に触れる場合が多く、その中、最も基本的で重要な部分は、ロボットの位置決めシステムである。
本開示は、ロボットの位置決め方法及び装置、機器、記憶媒体を提供する。
本開示に係る第1技術方案は、ロボットの位置決め方法を提供することであり、前記ロボットの位置決め方法は、第1時刻におけるロボットの第1位置情報を取得することと、第2時刻における前記ロボットの第2画像を取得し、前記第2画像に基づいて前記第2時刻における前記ロボットの第1推定位置情報を取得することと、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集することと、前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得することと、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得することと、を含む。
このようにして、視覚システムの検出結果と動力学システムの検出結果を融合することにより、取得した位置情報をより正確にする。
本開示のいくつかの実施例において、前記第1時刻におけるロボットの第1位置情報を取得することは、前記第1時刻における前記ロボットの第1画像を取得することと、前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得することと、を含む。
本開示のいくつかの実施例において、前記第1画像は第1参照物を含み、前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得することは、模擬砂盤における前記第1参照物を取得することと、前記第1画像における前記第1参照物の画素位置及び前記ロボットの第1画素位置を決定することと、第1時刻での前記模擬砂盤における前記第1参照物の模擬位置を決定することと、前記第1参照物の画素位置及び前記模擬砂盤における前記第1参照物の模擬位置を用いて、第1投影関係を計算して取得することと、前記第1投影関係及前記ロボットの第1画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第1時刻における前記ロボットの前記第1位置情報を決定することと、を含む。
このようにして、視覚システムを用いて模擬砂盤によってロボットの初期位置を決定し、更なる標識用参照物が必要ないため、更なる時刻のキャリブレーションを低減する。
本開示のいくつかの実施例において、前記第2画像は第2参照物を含み、前記第2画像に基づいて、前記第2時刻における前記ロボットの第1推定位置情報を取得することは、模擬砂盤における前記第2参照物を取得することと、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することと、第2時刻での前記模擬砂盤における前記第2参照物の模擬位置を決定することと、前記第2参照物の画素位置及び前記模擬砂盤における前記第2参照物の模擬位置を用いて、第2投影関係を計算して取得することと、前記第2投影関係及び前記ロボットの第2画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第2時刻における前記ロボットの前記第1推定位置情報を決定することと、を含む。
このようにして、視覚システムを用いて模擬砂盤によってロボットの終着点位置を決定し、更なる標識用参照物が必要ないため、更なる時刻のキャリブレーションを低減する。
本開示のいくつかの実施例において、前記第1画像における前記第1参照物の画素位置及び前記ロボットの第1画素位置を決定することは、第1深層学習ネットワークを用いて前記第1画像を認識して、前記第1画像における前記第1参照物の画素位置及び前記ロボットの第1画素位置を決定することを含み、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することは、第1深層学習ネットワークを用いて前記第2画像を認識して、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することを含み、ここで、前記第1深層学習ネットワークは、RCNN深層ネットワーク構造、SSD深層ネットワーク構造、Yolo深層ネットワーク構造及びRetinaNetネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含む。
本開示のいくつかの実施例において、前記第1時刻における前記ロボットの第1画像を取得することは、前記第1画像に基づいて、前記第1時刻における前記ロボットの向き方向を取得することを更に含む。
ここで、前記第1画像に基づいて、前記第1時刻における前記ロボットの向き方向を取得することは、第2深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定することを含み、ここで、前記第2深層学習ネットワークは、ResNet深層ネットワーク構造、MobileNet深層ネットワーク構造、GhostNet深層ネットワーク構造及びEfficientNet深層ネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含む。
このようにして、ロボットの向き方向を検出することによって、後続で動力学システムによってロボットの位置情報を計算するときに取得される結果をより正確にする。
本開示のいくつかの実施例において、前記位置決め方法は、前記第1時刻で、前記ロボットの履歴移動パラメータを取得することを更に含み、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集することは、前記第2時刻で、前記ロボットの現在の移動パラメータを取得することと、前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを計算して取得することと、を含む。
このようにして、ロボットの第1時刻から第2時刻までの移動距離を計算し、ロボットの向き方向と組み合わせることにより、動力学システムによってロボットの位置情報を計算するときに取得される結果をより正確にする。
本開示のいくつかの実施例において、前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得することは、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータと、前記第1時刻における前記ロボットの向き方向とに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を取得することを含む。
このようにして、動力学システムを用いて第2時刻におけるロボットの位置情報を検出し、これにより、ハードウェアコストを低減する。
本開示のいくつかの実施例において、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得することは、カルマンフィルタを用いて前記第1推定位置情報及び前記第2推定位置情報に対して加重平均を実行することにより、前記第2時刻における前記ロボットの第2位置情報を取得することを含む。
このようにして、視覚システムによって取得された位置情報と動力学システムによって取得された位置情報を融合することにより、第2時刻におけるロボットの位置情報を取得し、位置決め精度を向上させ、システムの配置を容易にする。
本開示に係る第2技術方案は、ロボットの位置決め装置を提供することであり、前記ロボットの位置決め装置は、第1時刻におけるロボットの第1位置情報を取得し、第2時刻における前記ロボットの第1推定位置情報を取得するように構成される第1位置取得部と、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集するように構成されるパラメータ取得部と、前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得するように構成される第2位置取得部と、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得するように構成される校正部と、を備える。
本開示に係る第3技術方案は、ロボットの位置決め機器を提供することであり、前記ロボットの位置決め機器は、メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、上記のロボットの位置決め方法を実行する。
本開示に係る第4技術方案は、コンピュータ可読記憶媒体を提供することであり、前記コンピュータ可読記憶媒体は、メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、上記のロボットの位置決め方法を実行する。
本開示に係る第5技術方案は、コンピュータ可読コードを含むコンピュータプログラムを提供することであり、前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、上記のロボットの位置決め方法を実行する。
本開示に係るロボットの位置決め方法は、2つの異なる方式によって取得されたロボットの位置決め結果を融合し、つまり、視覚システムの検出結果と動力学システムの検出結果とを融合して、ロボットの位置情報を取得し、当該位置決め方法は、位置情報をより正確に取得し、ロボットの位置決め精度を効果的に向上させる。
本開示の実施例の技術的解決策をより明確に説明するために、上記において、実施例の記載で使用される図面について簡単に記載されており、上記に記載される図面は、本開示のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を払わなくても、これらの図面で他の図面を得ることもできることは自明である。
以下、本開示の実施例における図面を参照して、本開示の実施例における技術的解決策を明確且つ完全に記載する。記載されている実施例は、本開示の実施例の一部に過ぎず、実施例の全部ではないことは明らかである。本開示の実施例に基づき、当業者が創造的な労力を払わずに取得する他のすべての実施例は、本開示の保護範囲に含まれる。
本開示における「第1」、「第2」、「第3」という用語は、単なる説明するためのものであり、相対的な重要性を明示的、暗黙的に示していること、又は、技術的特徴の数を明示的、暗黙的に示していることを理解されるべきではない。したがって、「第1」、「第2」、「第3」で特定された特徴は、少なくとも1つの当該特徴を含むということを明示的又は暗黙的に示すことができる。本開示の記載において、「複数」ということは、明確かつ具体的に限定しない限り、少なくとも2つ、例えば、2つ、3つという意味をする。本開示の実施例における全ての方向的記述(例えば、上、下、左、右、前、後…など)は、特定の姿勢での(図面に示すように)各部材間の相対的位置関係、移動状況などを解釈するためのものに過ぎず、当該特定の姿勢が変化する場合、当該方向的記述もそれに応じて変化することに留意されたい。加えて、「含む」、「有する」という用語及びそれらの任意の変形は、非排他的な包含を網羅することを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に列挙されたそれらのステップ又はユニットに限定されず、列挙されていないステップ又はユニットを選択的に更に含み得、又はこれらのプロセス、方法、製品又はデバイスは、他のステップ又はユニットを選択的に更に含み得る。
本明細書で記載されている「実施例」とは、実施例に記載される特定の特徴、構造又は特性が本開示の少なくとも1つの実施例に含まれることができることを意味する。明細書の様々な所に記載されている当該記載は、必ず同じ実施例を指しているとは限れなく、他の実施例と互に排他的な独立した又は代替的な実施例でもない。本明細書に記載の実施例が他の実施例と組み合わせることができることを当業者は明確かつ暗黙的に理解すべきである。
適用シナリオが多様であるため、位置決めシステムの配置の難しさを考慮する必要があり、環境のモデリングに多くの時間を費やすと、多くの場合、ユーザ体験が低下し、無駄な時間が発生し、さらに、位置決めシステムに必要な計算リソースが非常に多い一方、多くの場合、精度が不足し、コストが高い。例えば、学校では、通常、授業用のロボットを非常に多く使用しており、様々なアルゴリズムをサポートするための高性能の計算機器がロボット内部に埋め込まれると、ロボットのコストが大幅に向上し、高性能の埋め込み型位置決め機器を低コストで作ることは困難であるため、限られたハードウェアリソースを使用して、より優れた位置決め効果を実現し、高精度で、低コストで、さらに配置するにも簡単であるロボットの位置決めシステムを得る必要がある。
本開示の実施例は、ロボットの位置決め方法及び装置、機器、記憶媒体を提供する。本開示の実施例は、第1時刻におけるロボットの第1位置情報及び第2時刻におけるロボットの第1推定位置情報を取得し、第1時刻から第2時刻までのロボットの移動パラメータを収集し、第1位置情報及び移動パラメータに基づいて、第2時刻におけるロボットの第2推定位置情報を計算して取得し、第1推定位置情報及び第2推定位置情報によって、第2時刻におけるロボットの第2位置情報を取得する。本開示の実施例は、視覚位置決めシステムと動力学位置決めシステムとを組み合わせることにより、精度の高いロボットの位置決め結果を取得する。
ここで、視覚位置決めシステムは、カメラによって取得された画像に基づいて位置決めを実行し、動力学位置決めシステムは、ロボットの初期位置及びロボットの走行パラメータに基づいて位置決めを実行する。視覚位置決めシステムによって位置決めを実行する場合、カメラによって、第2時刻におけるロボットの第2画像を取得し、第2画像に基づき、模擬砂盤を参照し、模擬砂盤におけるロボットの第1推定位置情報を決定し、動力学位置決めシステムによって位置決めを実行する場合、第1時刻から第2時刻までのロボットの移動パラメータ、及びロボットの向き方向を取得し、つまり、ロボットの向き方向及び移動パラメータによって、特定の方向へのロボットの走行距離を決定することができ、第1時刻におけるロボットの第1位置情報と組み合わせて、第2時刻におけるロボットの第2推定位置情報を取得することができる。ここで、ロボットの位置を正確に特定するために、カルマンフィルタによって、視覚位置決めシステムによって取得された第1推定位置情報と、動力学位置決めシステムによって取得された第2推定位置情報とを融合し、つまり、加重平均を行うことにより、最終的に、より正確な第2時刻におけるロボットの第2位置情報を取得する。
ロボットの位置決め方法の実行主体は、ロボットの位置決め機器であってもよく、例えば、ロボットの位置決め方法は、端末機器又はサーバ又は他の処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器(UE:User Equipment)、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末(PDA:Personal Digital Assistant)、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態において、当該ロボットの位置決め方法は、プロセッサがメモリに記憶されているコンピュータ可読命令を呼び出すことにより実現することができる。
以下、図面及び実施例を参照して、本開示を詳細に記載する。
図1を参照すると、図1は、本開示の実施例に係るロボットの位置決め方法の一実施例の例示的なフローチャートである。前記ロボットの位置決め方法は、次のステップを含む。
ステップS11において、第1時刻におけるロボットの第1位置情報を取得する。
本開示の実施例の一実施形態において、ロボットの位置決めを実行する場合、直接に、位置決めシステムを用いて、第1時刻におけるロボットの第1位置情報、及び第2時刻におけるロボットの第1推定位置情報を取得することができ、位置決めシステムは、全地球測位システム(GPS:Global Positioning)の位置決めシステムであってもよい。
本開示の実施例の一実施形態において、撮影装置(例えば、カメラ)によって、第1時刻におけるロボットの第1画像を取得してもよい。ここで、ロボットは、移動可能な機械機器又はスマート機器であり、例えば、フォークリフト、機械車である。
一可能な実施例において、カメラにはタイマーが設けられることができ、タイマーの時間が第1時刻に達するときに、カメラはロボットを撮影し、第1画像を取得する。ここで、カメラの位置は固定されてもよいし、固定されなくてもよく、カメラの撮影角度は固定されてもよいし、固定されなくてもよく、ここで、カメラは、回転させずに特定位置に設置されることが可能であり、つまり、カメラの撮影範囲は固定であり、カメラは、回転できるように特定の位置に設置されることも可能であり、つまり、カメラの反射範囲は可変である。もちろん、カメラは可動機器に設置されてもよい。本開示は、ロボットを撮影できる限り、カメラの位置及び撮影範囲を特に限定しない。
一可能な実施例において、ロボットの位置決め機器はカメラに通信的に接続され、カメラによって取得された第1画像をロボットの位置決め機器にアップロードしてもよく、カメラは第1画像を取得した後、通信接続によって第1画像をロボットの位置決め機器に送信する。別の実施例において、カメラによって取得された第1画像をストレージカードに保存した後に、ロボットの位置決め機器にアップロードしてもよく、ロボットの位置決め機器が第1画像を取得することができる限り、これらに対して特に限定しない。
ここで、第1画像をロボットの位置決め機器にアップロードすることにより、ロボットの位置決め機器は、視覚システムを用いて第1画像に基づき、第1時刻におけるロボットの第1位置情報を取得することができる、具体的には、図1を参照されたい。
ロボットの位置決め機器は、視覚システムを用いて第1画像に基づき、第1時刻におけるロボットの第1位置情報を取得し、一可能な実施例において、場面のモデリングにより第1画像と組み合わせて、ロボットの第1位置情報を決定することができ、図2に示されるように、図2は、本開示の実施例に係る図1のステップS11の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。
ステップS111において、模擬砂盤における第1参照物を取得する。
本開示の実施例の一実施形態において、模擬砂盤を構築することにより、ロボットの第1位置情報を決定する。理解できることとして、構築された模擬砂盤は、ロボットの所在する空間的な模擬設計図である。
ここで、模擬砂盤は、ロボットの所在する場面に従って構築され、模擬砂盤は、ロボットの所在する場面と1:1の比率で構築されてもよく、例えば、模擬砂盤上の全ての物体のサイズ、位置、座標は、ロボットの所在する場面の全ての物体のサイズ、位置、座標と同じである。もちろん、模擬砂盤は、1:2の比率で構築されてもよく、例えば、模擬砂盤上の全ての物体のサイズ、位置、座標は、ロボットの所在する場面の全ての物体のサイズ、位置、座標の2倍又は1/2倍であり、もちろん、模擬砂盤を他の比率で構築してもよく、本開示は、これらに対して特に限定しない。
一可能な実施例において、計算の便利さを考慮して、模擬砂盤を1:1の比率で構築することができ、これにより、後続の計算プロセスで比率変換を行う必要がなく、計算量を削減する。別の実施例において、模擬砂盤の占有空間を考慮し、例えば、ロボットの所在する場面が大きすぎると、1:2又は1:3又は1:4などの比率で模擬砂盤を構築することにより、模擬砂盤の占有空間を減らすことができる。例えば、上記のすべてのプロセスは、ロボットの位置決め機器で実行でき、ロボットの位置決め機器で模擬砂盤を構築し、ロボットの位置決め機器がカメラから第1画像を取得する場合、ロボットの位置決め機器は、視覚システムを用いて、模擬砂盤及び第1画像に基づいてロボットの第1位置情報を決定する。
ここで、視覚システムを用いてロボットに対して位置決めする場合、第1画像と模擬砂盤には同時に1つの第1参照物が必要であり、当該第1参照物は、第1画像を模擬砂盤に投影する第1投影関係を計算するために使用される。ここで、第1参照物は第1画像から選出することができ、例えば、第1画像がロボット以外に模擬砂盤における同じのテーブルを含む場合、テーブルを第1参照物として使用することができ、別の例として、第1画像がロボット以外に模擬砂盤における同じテレビジョンを含む場合、テレビジョンを第1参照物として使用することができ、つまり、第1参照物は、第1画像と模擬砂盤に共有の物体である。
ステップS112において、第1画像の第1参照物の画素位置及びロボットの第1画素位置を決定する。
一実施例において、第1深層学習ネットワークを用いて第1画像を認識することにより、第1画像の第1参照物の画素位置と、ロボットの第1画素位置を決定することができる。
一実施例において、第1深層学習ネットワークは、位置決め機能を備えた深層学習ネットワークが含まれるモデルであってもよく、第1画像を当該モデルに入力し、当該モデルは、第1画像を認識することにより、第1画像における第1参照物の画素位置及び第1画像におけるロボットの第1画素位置を取得する。
一実施例の一実施形態において、第1深層学習ネットワークを用いて第1画像を検出することにより、第1画像における第1参照物の画素位置及び第1画像におけるロボットの第1画素位置を決定し、当該第1深層学習ネットワークは、目標検出(RCNN:Region-CNN)深層ネットワーク構造、目標検出(SSD:Single Shot MultiBox Detector)深層ネットワーク構造、目標検出(Yolo:You Only Look Once)深層ネットワーク構造及びRetinaNetネットワーク構造などを含み得る。
一実施例の実施形態において、コストと位置座標検出の精度を考慮して、Yolo深層ネットワーク構造によって位置座標の検出を実行することができる。ここで、Yolo深層ネットワーク構造のYolo-tiny深層ネットワーク構造を用いて検出することができる。
Yolo深層ネットワーク構造において、そのアルゴリズムの考え方として、画像全体をいくつかの格子に分割し、中心が格子内にある物体のいくつかの可能な境界枠を予測し、その信頼度を提供し、このようにして、ワンステップで物体検出ボックスの結果を取得することができ、2段階のFaster-RCNNシリーズアルゴリズムの速度よりも速い。適用シナリオにおいて検出する必要のある物体の外形と色が比較的固定しているため、このような快速アルゴリズムと組み合わせた小さいネットワーク構造の検出精度は高く、計算リソースの占有は低く、Raspberry Piなどの演算速度が比較的低いモバイル端末の中央処理装置(CPU:central processing unit)は、必要なリアルタイム検出効果を実現し、必要なコストは低くなる。
ここで、第1画像から取得された第1参照物の画素位置及び前記ロボットの第1画素位置は、代表性を有する点であってもよく、例えば、第1画像から第1参照物の中心点の画素位置、及びロボットの中心点の画素位置を取得してもよく、第1参照物の境界枠の画素位置、及びロボットの境界枠の画素位置を取得してもよく、第1参照物の境界枠の対角線の画素位置、及びロボットの境界枠の対角線の画素位置を取得してもよく、ここではこれらに対して特に限定しない。
画像は、R(赤色のサブ画素)、G(緑色のサブ画素)、B(青色のサブ画素)のいくつかの画素を重ね合わせて異なる色を生成して構成されたものであるため、第1深層学習ネットワークを用いて、第1画像におけるロボットと第1参照物の画素位置を取得することができ、ここで、第1画像におけるロボットの第1画素位置は、画像内のサブ画素の位置である。
ステップS113において、第1時刻での前記模擬砂盤における第1参照物の模擬位置を決定する。
ここで、第1画像から選出した第1参照物と、模擬砂盤から選出した第1参照物は、同じ物体であり、模擬砂盤を構築した後、模擬砂盤上のすべての物体の模擬位置は既知である。
本開示の実施例において、第1参照物の模擬位置を取得する時に、第1参照物に対応する画素位置を決定する必要がある。例えば、一実施例において、取得された第1参照物の画素位置が第1参照物の中心点の画素位置である場合、取得された第1参照物の模擬位置は第1参照物の中心点の模擬位置であり、別の例として、取得された第1参照物の画素位置が第1参照物の境界枠の画素位置である場合、取得された第1参照物の模擬位置は第1参照物の境界枠の模擬位置である。
ステップS114において、第1参照物の画素位置及び模擬砂盤における第1参照物の模擬位置を用いて、第1投影関係を計算して取得する。
ここで、上記のステップS112及びステップS113により、第1画像における第1参照物の画素位置、及び模擬砂盤における第1参照物の模擬位置を決定した後、第1画像における第1参照物の画素位置及び模擬砂盤における第1参照物の模擬位置を用いて第1投影関係を計算して取得することができる。
一実施例において、取得された第1参照物の第1画像における画素位置が第1参照物の中心点の画素位置であり、模擬砂盤における第1参照物の模擬位置が第1参照物の中心点の模擬位置であると仮定する。ここで、第1参照物の中心点の画素位置が(u,v,w)であり、第1参照物の中心点の模擬位置が(x’,y’,w’)であると仮定し、第1参照物の中心点の画素位置(u,v,w)及び第1参照物の中心点の模擬位置に基づいて関係方程式を確立する。
第1参照物の中心点の画素位置(u,v,w)及び第1参照物の中心点の模擬位置によって確立される関係方程式は、式(1)に示す。
ここで、式(1)中、
は、第1投影関係である。
本開示の実施例において、3つ以上の参照物を選出する必要がある場合、第1画像における複数の参照物の中心点の画素位置及び模擬砂盤における複数の参照物の中心点の模擬位置をそれぞれ取得し、上記の式(1)で複数の関係方程式を確立し、それらの関係方程式を解く。得られた結果が一致しない場合、加重平均などの方法で複数の投影関係を処理することにより、正確な結果を取得することができる。ここで、模擬砂盤に投影された、同じ第1画像上の異なる第1参照物の第1投影関係は同じである。
一実施例において、第1画像は2次元画像であり、取得された第1画像における第1参照物の位置座標も2次元座標であるため、第1画像における第1参照物の画素位置(u,v,w)のwは、定数であり、Z座標で表されるものではない。ここで、wは1であってもよい。具体的には、すべての物体は地面に対して設置されているため、本技術方案で構築された模擬砂盤は2次元模擬砂盤である。したがって、模擬砂盤における第1参照物の模擬位置(x’,y’,w’)も2次元座標であり、つまり、w’も定数であり、同じくZ座標で表されるものではない。ここで、w’は1であってもよい。したがって、式(1)の第1投影関係の右下隅の数a_33は常に1である。
式(1)の第1投影関係に8つの未知数があることが分かり、これらの8つの未知数の結果を取得するには、4対の座標で計算する必要がある。ここで、各対の座標には、第1画像における1つの画素位置及び模擬砂盤における1つの模擬位置を含む。これらの4対の座標は、同じ第1参照物から選出されたものであってもよく、同じ第1参照物から第1画像における第1参照物の画素位置を4つ選出した後、模擬砂盤における第1参照物の模擬位置を4つ選出する。ここで、当該第1参照物は、関係方程式を確立する時に使用される第1参照物と同じ第1参照物であってもよいし、異なる第1参照物であってもよく、第1参照物から選出された4つの点は、関係方程式を確立するときに使用される第1参照物から選出された点と同じでも、異なってもよい。
ここで、関係方程式を解くとき、第1投影関係の計算結果の精度及び頑健性を効率的に向上させるために、ランダムサンプリング一貫性アルゴリズムを用いて計算し、最後に第1投影関係を出力することができる。ここで、ランダムサンプリング一貫性アルゴリズムは、「外れ値」を含む予測データ集合から、反復することにより数学モデルのパラメータを推定することができ、これにより、第1投影関係の計算精度及び頑健性を向上させることができる。
本開示の実施例は、第1画像における第1参照物の画素位置及び模擬砂盤における第1参照物の模擬位置によって関係方程式を確立し、当該関係方程式を解き、それにより、第1投影関係を取得する。ここで、ランダムサンプリング一貫性アルゴリズムを用いて計算することにより、第1投影関係の計算精度及び頑健性を向上させる。
ステップS115において、第1投影関係及びロボットの第1画素位置に基づいて、模擬砂盤におけるロボットの模擬位置を計算して取得する。
本開示の実施例において、ステップS112において第1画像におけるロボットの第1画素位置を既に取得し、ステップS114において第1画像を模擬砂盤に投影する第1投影関係を既に取得した場合、第1投影関係及びロボットの第1画素位置によって、模擬砂盤におけるロボットの模擬位置を計算して取得することができる。ここで、上記の式(1)により、模擬砂盤におけるロボットの模擬位置を決定する。
ステップS116において、模擬砂盤におけるロボットの模擬位置を用いて、第1時刻におけるロボットの第1位置情報を決定する。
一実施例において、模擬砂盤が実際の場面の1:1の比率で構築されている場合、算出された模擬砂盤におけるロボットの模擬位置のそのものは、第1時刻におけるロボットの第1位置情報であり、模擬砂盤が実際の場面の1:2の比率で構築されている場合、模擬砂盤におけるロボットの模擬位置を計算して取得した後、第1時刻におけるロボットの第1位置情報を取得するために、関連する比率で変換を実行する必要がある。
本開示の実施例は、模擬砂盤を構築し、模擬砂盤にある物体を参照物として第1投影関係の計算を実行し、当該方法は砂盤に余分の標識物を設定する必要がなく、操作を簡略化し、深層学習を通して第1画像におけるロボットの画素位置を認識し、第1投影関係と組み合わせて模擬砂盤におけるロボットの模擬位置を計算して取得し、これによって、第1時刻におけるロボットの第1位置情報を決定する。このようなロボットの位置決めのプロセスは操作を簡略し、コストを低減し、ユーザ体験を大幅に向上させる。
一実施例において、第1時刻におけるロボットの第1位置情報を取得する場合、ロボットの向き方向を検出し、つまり、ロボットの角度を検出する必要もある。
ここで、角度姿勢推定モデルによってロボットの向き方向を検出することができる。ここで、先ず、第1深層学習ネットワークを用いて第1画像を認識し、第1画像からロボットの位置を取得し、その後、ロボットの所在位置領域の画像を抽出し、抽出された領域画像を角度推定モデルに入力し、当該角度推定モデルによってロボットの角度を検出することにより、ロボットの向き方向を取得する。ここで、ロボットの向き方向を取得すると、第1時刻から第2時刻までのロボットの移動方向を知ることができる。
ここで、角度推定モデルには第2深層学習ネットワークが含まれてもよく、第2深層学習ネットワークを用いて、ロボットの所在領域の画像を認識して、ロボットの向き方向を決定する。ここで、第2深層学習ネットワークは、関連技術における数値回帰のための畳み込みニューラルネットワーク構造(例えば、ResNet深層ネットワーク構造、MobileNet深層ネットワーク構造、GhostNet深層ネットワーク構造、EfficientNet深層ネットワーク構造など)であってもよい。
ステップS12において、第2時刻におけるロボットの第2画像を取得し、第2画像に基づいて第2時刻におけるロボットの第1推定位置情報を取得する。
本開示の実施例では、第1時刻におけるロボットの第1位置情報を取得した後、第2時刻におけるロボットの第1推定位置情報を更に取得することもできる。ここで、カメラを用いて第2時刻におけるロボットの第2画像を取得し、第2画像に基づいて第2時刻におけるロボットの第1推定位置情報を取得することができる。具体的には、図3を参照すると、図3は、本開示の実施例に係る図1のステップS12の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。
ステップS121において、模擬砂盤における前記第2参照物を取得する。
ステップS122において、第2画像の第2参照物の画素位置及びロボットの第2画素位置を決定する。
ステップS123において、第2時刻での前記模擬砂盤における第2参照物の模擬位置を決定する。
ステップS124において、第2参照物の画素位置及び模擬砂盤における第2参照物の模擬位置を用いて、第2投影関係を計算して取得する。
ステップS125において、第2投影関係及びロボットの第2画素位置に基づいて、記模擬砂盤におけるロボットの模擬位置を計算して取得する。
ステップS126において、模擬砂盤におけるロボットの模擬位置を用いて、第2時刻におけるロボットの第1推定位置情報を決定する。
ここで、ステップS121~ステップS126は、図2に示されるステップS111~ステップS116のプロセスと同じであり、ここでは繰り返して記載しない。
本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第1時刻におけるロボットの第1位置情報及び第2時刻におけるロボットの第1推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第1時刻から第2時刻までの移動距離及び初期位置情報を検出することにより、第2時刻におけるロボットの第2推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第2位置情報、つまり、最終的な位置情報を決定する。前記方法は、複数種の方式を組み合わせるように位置決めし、これにより、全局な位置決めの精度を向上させ、ハードウェアコストを低減し、かつシステムの配置を容易にする。視覚システムによって第1推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。
ステップS13において、第1時刻から第2時刻までの前記ロボットの移動パラメータを収集する。
本開示の実施例の一実施形態において、第1時刻から第2時刻までの期間で、ロボットの移動パラメータを取得し、具体的には、図4を参照すると、図4は、本開示の実施例に係る図1のステップS13の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。
ステップS131において、第1時刻で、ロボットの履歴移動パラメータを取得する。
理解できることとして、ロボットが移動するときに、ロボット内部のエンコーダはロボットの走行距離を記録し、ロボットの履歴走行距離はステアリングギアに反映される。したがって、本開示の一実施例において、第1時刻で、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギアによってロボットの履歴走行情報、つまり履歴移動パラメータを記録することができる。ここで、ロボットの第1画像を撮影するとともに、ロボットの履歴移動パラメータを取得することができる。
ステップS132において、第2時刻で、ロボットの現在の移動パラメータを取得する。
本開示の実施例の一実施形態において、第2時刻に達すると、ロボットのエンコーダ及びステアリングギア情報を再度読み取ることにより、ロボットの現在の移動パラメータを取得する。
ここで、履歴移動パラメータは、ロボットの履歴移動距離を含み、例えば、それは、ロボットの車輪の履歴回転数などであってもよく、現在の移動パラメータは、第2時刻におけるロボットの車輪の回転数であってもよい。
ステップS133において、履歴移動パラメータ及び現在の移動パラメータによって、第1時刻から第2時刻までのロボットの移動パラメータを計算して取得する。
例えば、第1時刻におけるロボットの履歴移動パラメータが100メートルであり、第2時刻に検出された現在の移動パラメータが101メートルである場合、ロボットが第1時刻から第2時刻まで合計1メートル移動したことを得ることができる。又は、第1時刻におけるロボットの履歴移動パラメータが、車輪の履歴回転数が200であり、第2時刻におけるロボットの現在の移動パラメータが、車輪の回転数が250であると仮定すると、第1時刻から第2時刻までロボットの車輪が50回回転したことを分かることができ、つまり、車輪の直径などによって、第1時刻から第2時刻までロボットが移動した距離を計算して取得することができる。
本開示の実施例では、第1時刻におけるロボットの向き方向を既に取得し、第1時刻から第2時刻までのロボットの移動距離が既知であり、第1時刻におけるロボットの第1位置情報も知っており、その場合、第2時刻におけるロボットの第2推定位置情報を取得することができる。具体的には、続いて図1を参照されたい。
本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第1時刻におけるロボットの第1位置情報及び第2時刻におけるロボットの第1推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第1時刻から第2時刻までの移動距離及び初期位置情報を検出することにより第2時刻におけるロボットの第2推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第2位置情報、つまり、最終的な位置情報を決定する。前記方法は、複数種の方式を組み合わせるように位置決めし、これにより、全局な位置決めの精度を向上させるだけでなく、ハードウェアコストも低減し、かつシステムの配置も容易にする。視覚システムによって第1推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。
ステップS14において、第1位置情報及び前記移動パラメータに基づいて、第2時刻のおけるロボットの第2推定位置情報を計算して取得する。
本開示の実施例において、上記のステップにより、第1時刻におけるロボットの向き方向は既知であり、第1時刻から第2時刻までのロボットの移動距離も既知であり、第1時刻におけるロボットの第1位置情報も知っており、その場合、第1位置情報に基づいて移動距離と向き方向を組み合わせることにより、動力学システムによって、第2時刻におけるロボットの第2推定位置情報を計算して取得することができる。
一実施例において、ロボットの位置情報をリアルタイムに検出するために、第1時刻から第2時刻までの間隔を非常に短くする。例えば、時間間隔を1sにしてもよい。別の実施例において、第1時刻から第2時刻までロボットの方向に変化が発生した場合、第1時刻から第2時刻まで、ロボットの写真を連続して撮影し、撮影された画像に基づいてロボットの向き方向を検出する。ここで、ロボットを撮影するとともに、ロボットの移動距離を検出することができるため、ロボットの向き方向に変化が発生した場合、各方向への移動距離をリアルタイムに記録することができる。
理解できることとして、ロボットの位置を正確に取得するために、第1時刻から第2時刻までの時間間隔をできるだけ短く設定することができ、それにより、第1時刻から第2時刻まで、ロボットの方向に変化が発生しないと見なすことができる。
一実施例において、ロボットの所在する場には少なくとも1つのカメラが配置され、かつカメラはロボットの位置決め機器との接続を確立し、ロボットの位置決め機器又はカメラにはタイマーが設置され、第1時刻から第2時刻までの時間間隔をタイマーのタイマー時間に設定する。タイマー時間に達すると、カメラは、ロボットの画像及びロボットの移動パラメータを取得し、画像をロボットの位置決め機器に伝送し、ロボットの位置決め機器は、視覚システムを用いて上記の図3の方式により第2時刻におけるロボットの第1推定位置情報を取得し、動力学システムを用いて、ロボットの初始位置情報(つまり、第1位置情報)と、ロボットの向き方向と、移動パラメータとを組み合わせて、第2時刻におけるロボットの第2推定位置情報を計算して取得する。
ここで、第2画像を用いて第2時刻におけるロボットの第1推定位置情報を取得する方式は、第1画像を用いて第1時刻におけるロボットの第1位置情報を取得する方式と同じであり、つまり、模擬砂盤及び第2画像は両方とも第2参照物を含み、先ず、第2画像から第2参照物の画素位置及びロボットの第2画素位置を取得し、模擬砂盤から第2参照物の模擬位置を取得し、第2参照物の画素位置及び第2参照物の模擬位置に基づいて第2投影関係を計算して取得した後、第2投影関係及び前記ロボットの第2画素位置によって、前記模擬砂盤におけるロボットの模擬位置を計算して取得することにより、模擬砂盤におけるロボットの模擬位置を用いて第2時刻におけるロボットの第1推定位置情報を決定する。具体的には、図3を参照し、ここでは繰り返して記載しない。
ステップS15において、第1推定位置情報及び第2推定位置情報によって、第2時刻におけるロボットの第2位置情報を取得する。
一実施例において、カルマンフィルタを用いて第1推定位置情報及び第2推定位置情報に対して加重平均を実行することにより、第2時刻におけるロボットの第2位置情報を取得してもよい。
別の実施例において、平均値統計法、ガウス混合モデル(GMM:Gaussian Mixture Model)により、第1推定位置情報と前記第2推定位置情報を融合して、第2位置情報を取得してもよい。
本開示の実施例に係る位置決め方法では、カルマンフィルタを用いて第1推定位置情報及び第2推定位置情報に対して加重平均を実行することにより、第2時刻におけるロボットの第2位置情報を取得することができる。ここで、視覚位置決めシステムによって取得された第1推定位置情報は既知であり、動力学システムによって取得された第2推定位置情報も既知であるため、先ず、第1推定位置情報及び第2推定位置に対して状態予測を実行して、共分散予測結果を取得し、その後、共分散予測結果を更新して、更新後の共分散を取得し、これにより、更新後の共分散によって第2位置情報を取得することができる。
本開示は、離散時間での進化を通じて、異なる時間ノードでの拡張カルマンフィルタの位置推定を得ることができる。
よって、本開示の実施例は、視覚位置決めシステムと動力学位置決めシステムを組み合わせ、位置決め結果を融合することにより、精度の高いロボットの位置決め結果を取得する。図5を参照すると、図5は、本開示の実施例に係るロボットの位置決め方法の原理の概略図であり、視覚位置決めシステムの位置決めプロセスは、主に、次のステップを含む。(1)カメラが画像を読み取る。(2)検出器YOLO-tinyで車両を検出し、つまり、画像において車両、つまりロボットの検出を行い、ロボットの所在画像領域の座標を取得する。(3)Mobilenetで角度計算を実行し、つまり、ロボットの所在領域画像を抽出し、姿勢推定モジュールに伝送して、姿勢推定を実現する。(4)平面の視覚位置決め、つまり、標定パラメータを用いて画像内の姿勢及び座標を現実の座標にマッピングする。一方、動力学位置決めシステムの位置決めプロセスは、主に次のステップを含む。(1)車両のエンコーダ及びステアリングギア情報を取得し、つまり、当該情報に基づいてロボットの履歴移動パラメータ及び現在の移動パラメータ、つまりロボットの走行情報を取得する。(2)車両動力学モデルによって位置を推定し、つまり、モデルによって、履歴移動パラメータ及び現在の移動パラメータに基づき、ロボットの現在の位置情報を推定する。次に、拡張カルマンフィルタによって、ビデオ位置決めシステムによって取得された結果と動力学システムによって取得された結果を融合することにより、ロボットの正確な位置決めを実現する。
本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第1時刻におけるロボットの第1位置情報及び第2時刻におけるロボットの第1推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第1時刻から第2時刻までの移動距離及び初期位置情報を検出することにより第2時刻におけるロボットの第2推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第2位置情報、つまり、最終的な位置情報を決定する。当該位置決め方式は、複数種の方式を組み合わせる方式を使用し、これにより、全局な位置決めの精度を向上させるだけでなく、ハードウェアコストも低減し、かつシステムの配置も容易にする。視覚システムによって第1推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。
図6を参照すると、図6は、本開示に係るロボットの位置決め装置の一実施例の概略構造図であり、前記ロボットの位置決め装置は、第1位置取得部41、パラメータ取得部42、第2位置取得部43及び校正部44を備える。
ここで、第1位置取得部41は、第1時刻におけるロボットの第1位置情報を取得するように構成され、第1位置取得部41は更に、第2時刻における前記ロボットの第2画像を取得し、前記第2画像に基づいて、における前記ロボットの第1推定位置情報を取得するように構成される。
いくつかの実施例において、ロボットの位置決めを実行する場合、直接に、位置決めシステムを用いて、第1時刻におけるロボットの第1位置情報、及び第2時刻におけるロボットの第1推定位置情報を取得することができ、位置決めシステムは、GPS位置決めシステムであってもよい。
いくつかの実施例において、撮影装置(例えば、カメラ)によって、第1時刻におけるロボットの第1画像を取得してもよい。ここで、ロボットは、移動可能な機械機器又はロボットの位置決め機器であり、例えば、フォークリフト、機械車である。
いくつかの実施例において、カメラにはタイマーが設けられることができ、タイマーの時間が第1時刻に達するときに、カメラはロボットを撮影し、第1画像を取得する。ここで、カメラの位置は固定されてもよいし、固定されなくてもよく、カメラの撮影角度は固定されてもよいし、固定されなくてもよく、ここで、カメラは、回転させずに特定位置に設置されることが可能であり、つまり、カメラの撮影範囲は固定であり、カメラは、回転できるように特定の位置に設置されることも可能であり、つまり、カメラの反射範囲は可変である。もちろん、カメラは可動機器に設置されてもよい。本開示は、ロボットを撮影できる限り、カメラの位置及び撮影範囲を特に限定しない。
いくつかの実施例において、第1位置取得部41は更に、前記第1時刻における前記ロボットの第1画像を取得し、前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得するように構成される。
いくつかの実施例において、ロボットの位置決め機器はカメラに通信的に接続され、カメラによって取得された第1画像をロボットの位置決め機器にアップロードしてもよく、カメラは第1画像を取得した後、通信接続によって第1画像をロボットの位置決め機器に送信する。別の実施例において、カメラによって取得された第1画像をストレージカードに保存した後に、ロボットの位置決め機器にアップロードしてもよく、ロボットの位置決め機器が第1画像を取得することができる限り、これらに対して特に限定しない。
いくつかの実施例において、第1位置取得部41は更に、模擬砂盤における第1参照物を取得し、模擬砂盤を構築する方式により、ロボットの第1位置情報を決定し、理解できることとして、構築された模擬砂盤は、ロボットの所在する空間的な模擬設計図である。第1画像の第1参照物の画素位置及びロボットの第1画素位置を決定する。
いくつかの実施例において、第1深層学習ネットワークを用いて第1画像を認識することにより、第1画像の第1参照物の画素位置、及びロボットの第1画素位置を決定する。
いくつかの実施例において、第1深層学習ネットワークは、位置決め機能を備えた深層学習ネットワークが含まれるモデルであってもよく、第1画像を当該モデルに入力し、当該モデルで、第1画像を認識することにより、第1画像における第1参照物の画素位置及び第1画像におけるロボットの第1画素位置を取得する。
ここで、第1深層学習ネットワークを用いて第1画像を検出することにより、第1画像における第1参照物の画素位置及び第1画像におけるロボットの第1画素位置を決定し、実行可能な第1深層学習ネットワークは、RCNN深層ネットワーク構造、SSD深層ネットワーク構造、Yolo深層ネットワーク構造、RetinaNetネットワーク構造などを含む。
コストと位置座標検出の精度を考慮して、Yolo深層ネットワーク構造によって位置座標の検出を実行することができ、ここで、Yolo深層ネットワーク構造のYolo-tiny深層ネットワーク構造を用いて検出することができる。
Yolo深層ネットワーク構造において、そのアルゴリズムの考え方として、画像全体をいくつかの格子に分割し、中心が格子内にある物体のいくつかの可能な境界枠を予測し、その信頼度を提供し、このようにして、ワンステップで物体検出ボックスの結果を取得することができ、2段階のFaster-RCNNシリーズアルゴリズムの速度よりも速い。適用シナリオにおいて検出する必要のある物体の外形と色が比較的固定しているため、このような快速アルゴリズムと組み合わせた小さいネットワーク構造の検出精度は高く、計算リソースの占有は低く、Raspberry Piなどの演算速度が比較的低いモバイル端末の中央処理装置(CPU:central processing unit)は、必要なリアルタイム検出効果を実現し、必要なコストは低くなる。
いくつかの実施例において、第1参照物の画素位置を決定することにより第1参照物の模擬位置を取得し、第1参照物の画素位置及び模擬砂盤における第1参照物の模擬位置を用いて第1投影関係を計算して取得する必要がある。
いくつかの実施例において、第1位置取得部41は更に、模擬砂盤における前記第2参照物を取得し、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定し、第2時刻での前記模擬砂盤における前記第2参照物の模擬位置を決定し、前記第2参照物の画素位置及び前記模擬砂盤における前記第2参照物の模擬位置を用いて、第2投影関係を計算して取得し、前記第2投影関係及び前記ロボットの第2画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、第2時刻における前記ロボットの第1推定位置情報を決定するように構成される。
本開示の実施例は、模擬砂盤を構築し、模擬砂盤にある物体を参照物として第1投影関係の計算を実行し、砂盤に余分の標識物を設定する必要がなく、操作を簡略化し、深層学習を通して第1画像におけるロボットの画素位置を認識し、第1投影関係と組み合わせて模擬砂盤におけるロボットの模擬位置を計算して取得し、これによって、第1時刻におけるロボットの第1位置情報を決定する。このようなロボットの位置決めのプロセスは操作を簡略し、コストを低減し、ユーザ体験を大幅に向上させる。
いくつかの実施例において、第1位置取得部41は更に、第1時刻におけるロボットの第1位置情報を取得する場合、ロボットの向き方向を検出し、つまり、ロボットの角度を検出するように構成される。ここで、角度及び姿勢によってロボットの向き方向を検出することができる。
ここで、先ず、第1深層学習ネットワークを用いて第1画像を認識し、第1画像からロボットの位置を取得し、その後、ロボットの所在位置領域の画像を抽出し、抽出された領域の画像を角度推定モデルに入力し、当該角度推定モデルによってロボットの角度を検出することにより、ロボットの向き方向を取得し、ここで、ロボットの向き方向を取得することにより、第1時刻から第2時刻までのロボットの移動方向を知ることができる。
いくつかの実施例において、角度推定モデルには第2深層学習ネットワークが含まれてもよく、第2深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、ロボットの向き方向を決定する。ここで、第2深層学習ネットワークは、関連技術における数値回帰のための畳み込みニューラルネットワーク構造(例えば、ResNet深層ネットワーク構造、MobileNet深層ネットワーク構造、GhostNet深層ネットワーク構造、EfficientNet深層ネットワーク構造など)であってもよい。
いくつかの実施例において、パラメータ取得部42は、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集するように構成される。ここで、先ず、第1時刻で、ロボットの履歴移動パラメータを取得する。
ロボットが移動するときに、ロボット内部のエンコーダはロボットの走行距離を記録し、ロボットの履歴走行距離はステアリングギアに反映される。したがって、第1時刻で、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギアによってロボットの履歴走行情報、つまり履歴移動パラメータを記録することができる。ここで、ロボットの第1画像を撮影するとともに、ロボットの履歴移動パラメータを取得することができる。
次に、第2時刻でロボットの現在の移動パラメータを取得する。ここで、第2時刻に達すると、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギア情報を再度読み取ることにより、ロボットの現在の移動パラメータを取得することができる。
ここで、履歴移動パラメータは、ロボットの履歴移動距離を含み、例えば、それは、ロボットの車輪の履歴回転数などであってもよく、現在の移動パラメータは、第2時刻におけるロボットの車輪の回転数であってもよい。履歴移動パラメータ及び現在の移動パラメータによって、第1時刻から第2時刻までのロボットの移動パラメータを計算して取得する。ここで、第1時刻におけるロボットの履歴移動パラメータが100メートルであり、第2時刻に検出された現在の移動パラメータが101メートルである場合、ロボットが第1時刻から第2時刻まで合計1メートル移動したことを得ることができる。又は、別の実施例において、第1時刻におけるロボットの履歴移動パラメータが、車輪の履歴回転数が200であり、第2時刻におけるロボットの現在の移動パラメータが、車輪の回転数が250であると仮定すると、第1時刻から第2時刻までロボットの車輪が50回回転したことを分かることができ、つまり、車輪の直径などによって、第1時刻から第2時刻までロボットが移動した距離を計算して取得することができる。
第2位置取得部43は、前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得するように構成される。ここで、第1時刻におけるロボットの向き方向は既知であり、第1時刻から第2時刻までのロボットの移動距離も既知であり、第1時刻におけるロボットの第1位置情報を知っており、第1位置情報に基づいて移動距離と向き方向を組み合わせることにより、動力学システムによって、第2時刻におけるロボットの第2推定位置情報を計算して取得することができる。
一実施例において、ロボットの位置情報をリアルタイムに検出するために、第1時刻から第2時刻までの間隔を非常に短くする。例えば、時間間隔を1sにしてもよい。別の実施例において、第1時刻から第2時刻までロボットの方向に変化が発生した場合、第1時刻から第2時刻まで、ロボットの写真を連続して撮影し、撮影された画像に基づいてロボットの向き方向を検出する。ここで、ロボットを撮影するとともに、ロボットの移動距離を検出することができるため、ロボットの向き方向に変化が発生した場合、各方向への移動距離をリアルタイムに記録することができる。
理解できることとして、ロボットの位置を正確に取得するために、第1時刻から第2時刻までの時間間隔をできるだけ短く設定することができ、それにより、第1時刻から第2時刻まで、ロボットの方向に変化が発生しないと見なすことができる。
いくつかの実施例において、ロボットの所在する場には少なくとも1つのカメラが配置され、かつカメラはロボットの位置決め機器との接続を確立し、ロボットの位置決め機器又はカメラにはタイマーが設置され、第1時刻から第2時刻までの時間間隔をタイマーのタイマー時間に設定する。タイマー時間に達すると、カメラは、ロボットの画像及びロボットの移動パラメータを取得し、画像をロボットの位置決め機器に伝送し、ロボットの位置決め機器は、視覚システムを用いて上記の図3の方式により第2時刻におけるロボットの第1推定位置情報を取得し、動力学システムを用いて、ロボットの初始位置情報(つまり、第1位置情報)と、ロボットの向き方向と、移動パラメータとを組み合わせて、第2時刻におけるロボットの第2推定位置情報を計算して取得する。
校正部44は、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得するように構成される。本開示のいくつかの実施例において、カルマンフィルタを用いて前記第1推定位置情報及び前記第2推定位置情報に対して加重平均を実行することにより、前記第2時刻における前記ロボットの第2位置情報を取得することができる。
別のいくつかの実施例において、平均値統計法、ガウス混合モデル(GMM)により、第1推定位置情報と前記第2推定位置情報を融合して、第2位置情報を取得してもよい。
本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第1時刻におけるロボットの第1位置情報及び第2時刻におけるロボットの第1推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第1時刻から第2時刻までの移動距離及び初期位置情報を検出することにより第2時刻におけるロボットの第2推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第2位置情報、つまり、最終的な位置情報を決定する。当該位置決め方式は、複数種の方式を組み合わせる方式を使用し、これにより、全局な位置決めの精度を向上させるだけでなく、ハードウェアコストも低減し、かつシステムの配置も容易にする。視覚システムによって第1推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。
図7を参照すると、図7は、本開示の実施例に係るロボットの位置決め機器の一実施例の概略構造図である。前記ロボットの位置決め機器は、相互に結合されているメモリ52とプロセッサ51を備える。
メモリ52は、上記の任意のロボットの位置決め方法を実現するためのプログラム命令を記憶するように構成される。
プロセッサ51は、メモリ52に記憶されているプログラム命令を実行するように構成される。
ここで、プロセッサ51はCPUとも呼ばれることができる。プロセッサ51は、信号処理機能を備えた集積回路チップであり得る。上述のプロセッサ51は、汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processing)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサなどであってもよい。
メモリ52は、メモリスティック、TFカードなどであってもよく、前記メモリは、ロボットの位置決め機器のすべての情報を記憶することができ、入力された元のデータ、コンピュータプログラム、中間実行結果及び最終実行結果をメモリに記憶することができる。前記メモリ52は、コントローラが指定した位置に応じて情報を記憶及び取得する。ロボットの位置決め機器はメモリを備えているため、記憶機能を備え、正常な動作を保証することができる。ロボットの位置決め機器のメモリは、用途に応じて、メインメモリ(内部メモリ)と補助メモリ(外部メモリ)に分けてもよく、外部メモリと内部メモリに分ける分類方法もある。外部メモリは通常、情報を長期間保存できる磁気媒体又は光ディスクなどである。内部メモリとは、現在実行中のデータとプログラムを保存するために使用されるマザーボード上のストレージコンポーネントを指しますが、プログラムとデータを一時的に保存するためにのみ使用され、電源をオフ又はオフにすると、データは失われる。
本開示の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、上記のロボットの位置決め方法を実現する。
本開示で提供されたいくつかの実施例において、開示された方法及び装置は、他の方式で実現できることを理解されたい。例えば、上記の装置の実施形態は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方式が存在でき、例えば、複数のユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、又は一部の特徴を無視したり、又は実行しないことができる。さらに、表示又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェースによって実現でき、装置又はユニット間の間接的な結合又は通信接続は、電気的又は機械的な形であってもよいし、他の形であってもよい。
分離部材として記載されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、上記のユニットの一部又は全部を選択して、本実形態の技術方案の目的を達成することができる。
また、本開示の各実施例における各機能ユニットを1つの処理ユニットに統合してもよく、各ユニットを別々に1つのユニットとして使用してもよいし、2つ以上のユニットを1つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよいし、ソフトウェア機能ユニットの形で実装されてもよい。
統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売又は使用される場合、1つのコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、システムサーバ、又はネットワーク機器等であり得る)又はプロセッサ(processor))に、本開示の各実施形態の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。
図8を参照すると、図8は、本開示の実施例に係るコンピュータ可読記憶媒体の概略構造図である。本開示の記憶媒体には、上記のすべてのロボットの位置決め方法を実現できるプログラムファイル61が記憶され、ここで、当該プログラムファイル61は、ソフトウェア製品の形で上記の記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る)又はプロセッサ(processor))に、本開示の各実施形態の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。上記の記憶装置は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体、あるいはコンピュータ、サーバ、携帯電話、タブレットなどの端末機器を含む。
上記は、本開示の実施形態に過ぎず、本開示の特許の範囲を限定するものではない。本開示の明細書及び図面の内容を使用することによって行われる同等の構造変換あるいは同等のプロセス変換、又は他の関連技術分野における直接/間接出願も、本開示の特許保護の範囲に含まれる。
本開示の実施例では、第1時刻におけるロボットの第1位置情報を取得し、第2時刻における前記ロボットの第2画像を取得し、前記第2画像に基づいて前記第2時刻における前記ロボットの第1推定位置情報を取得することと、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集し、前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得し、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得する。当該方法は、2つの異なる方式によって取得されたロボットの位置決め結果を融合して、正確な位置情報を取得し、位置決め精度を効果的に向上させる。
Claims (23)
- ロボットの位置決め方法であって、
第1時刻におけるロボットの第1位置情報を取得することと、
第2時刻における前記ロボットの第2画像を取得し、前記第2画像に基づいて前記第2時刻における前記ロボットの第1推定位置情報を取得することと、
前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集することと、
前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得することと、
前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得することと、を含む、
ロボットの位置決め方法。 - 前記第1時刻におけるロボットの第1位置情報を取得することは、
前記第1時刻における前記ロボットの第1画像を取得することと、
前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得することと、を含む、
請求項1に記載のロボットの位置決め方法。 - 前記第1画像は第1参照物を含み、前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得することは、
模擬砂盤における前記第1参照物を取得することと、
前記第1画像における前記第1参照物の画素位置及び前記ロボットの第1画素位置を決定することと、
第1時刻での前記模擬砂盤における前記第1参照物の模擬位置を決定することと、
前記第1参照物の画素位置及び前記模擬砂盤における前記第1参照物の模擬位置を用いて、第1投影関係を計算して取得することと、
前記第1投影関係及前記ロボットの第1画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、
前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第1時刻における前記ロボットの前記第1位置情報を決定することと、を含む、
請求項2に記載のロボットの位置決め方法。 - 前記第2画像は第2参照物を含み、前記第2画像に基づいて、前記第2時刻における前記ロボットの第1推定位置情報を取得することは、
模擬砂盤における前記第2参照物を取得することと、
前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することと、
第2時刻での前記模擬砂盤における前記第2参照物の模擬位置を決定することと、
前記第2参照物の画素位置及び前記模擬砂盤における前記第2参照物の模擬位置を用いて、第2投影関係を計算して取得することと、
前記第2投影関係及び前記ロボットの第2画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、
前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第2時刻における前記ロボットの前記第1推定位置情報を決定することと、を含む、
請求項1に記載のロボットの位置決め方法。 - 前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することは、
第1深層学習ネットワークを用いて前記第2画像を認識して、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定することと、
前記第1深層学習ネットワークは、RCNN深層ネットワーク構造、SSD深層ネットワーク構造、Yolo深層ネットワーク構造及びRetinaNetネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含むことと、を含む、
請求項4に記載のロボットの位置決め方法。 - 前記第1時刻における前記ロボットの第1画像を取得した後、前記ロボットの位置決め方法は、
前記第1画像に基づいて、前記第1時刻における前記ロボットの向き方向を取得することを更に含む、
請求項2に記載のロボットの位置決め方法。 - 前記第1画像に基づいて、前記第1時刻における前記ロボットの向き方向を取得することは、
第2深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定することを含み、
前記第2深層学習ネットワークは、ResNet深層ネットワーク構造、MobileNet深層ネットワーク構造、GhostNet深層ネットワーク構造及びEfficientNet深層ネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含む、
請求項6に記載のロボットの位置決め方法。 - 前記位置決め方法は、
前記第1時刻で、前記ロボットの履歴移動パラメータを取得することを更に含み、
前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集することは、
前記第2時刻で、前記ロボットの現在の移動パラメータを取得することと、
前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを計算して取得することと、をさらに含む、
請求項6に記載のロボットの位置決め方法。 - 前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得することは、
前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータと、前記第1時刻における前記ロボットの向き方向とに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を取得することを含む、
請求項6に記載のロボットの位置決め方法。 - 前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得することは、
カルマンフィルタを用いて前記第1推定位置情報及び前記第2推定位置情報に対して加重平均を実行することにより、前記第2時刻における前記ロボットの前記第2位置情報を取得することを含む、
請求項1に記載のロボットの位置決め方法。 - ロボットの位置決め装置であって、
第1時刻におけるロボットの第1位置情報を取得し、第2時刻における前記ロボットの第2画像を取得し、前記第2画像に基づいて、前記第2時刻における前記ロボットの第1推定位置情報を取得するように構成される第1位置取得部と、
前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを収集するように構成されるパラメータ取得部と、
前記第1位置情報及び前記移動パラメータに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を計算して取得するように構成される第2位置取得部と、
前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得するように構成される校正部と、を備える、
ロボットの位置決め装置。 - 前記第1位置取得部は、前記第1時刻における前記ロボットの第1画像を取得し、前記第1画像に基づいて、前記第1時刻における前記ロボットの前記第1位置情報を取得するように構成される、
請求項11に記載のロボットの位置決め装置。 - 前記第1画像は第1参照物を含み、
前記第1位置取得部は更に、模擬砂盤における前記第1参照物を取得し、前記第1画像における前記第1参照物の画素位置及び前記ロボットの第1画素位置を決定し、第1時刻での前記模擬砂盤における前記第1参照物の模擬位置を決定し、前記第1参照物の画素位置及び前記模擬砂盤における前記第1参照物の模擬位置を用いて、第1投影関係を計算して取得し、前記第1投影関係及前記ロボットの第1画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第1時刻における前記ロボットの前記第1位置情報を決定するように構成される、
請求項12に記載のロボットの位置決め装置。 - 前記第2画像は第2参照物を含み、
前記第1位置取得部は更に、模擬砂盤における前記第2参照物を取得し、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定し、第2時刻での前記模擬砂盤における前記第2参照物の模擬位置を決定し、前記第2参照物の画素位置及び前記模擬砂盤における前記第2参照物の模擬位置を用いて、第2投影関係を計算して取得し、前記第2投影関係及び前記ロボットの第2画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第2時刻における前記ロボットの前記第1推定位置情報を決定するように構成される、
請求項11に記載のロボットの位置決め装置。 - 前記第1位置取得部は更に、第1深層学習ネットワークを用いて前記第2画像を認識して、前記第2画像における前記第2参照物の画素位置及び前記ロボットの第2画素位置を決定するように構成され、前記第1深層学習ネットワークは、RCNN深層ネットワーク構造、SSD深層ネットワーク構造、Yolo深層ネットワーク構造及びRetinaNetネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含む、
請求項14に記載のロボットの位置決め装置。 - 前記第1位置取得部は更に、前記第1時刻における前記ロボットの第1画像を取得する前に、前記第1画像に基づいて、前記第1時刻における前記ロボットの向き方向を取得するように構成される、
請求項11に記載のロボットの位置決め装置。 - 前記第1位置取得部は更に、第2深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定するように構成され、前記第2深層学習ネットワークは、ResNet深層ネットワーク構造、MobileNet深層ネットワーク構造、GhostNet深層ネットワーク構造及びEfficientNet深層ネットワーク構造のうちの1つ又はそれらの任意の組み合わせを含む、
請求項16に記載のロボットの位置決め装置。 - 前記パラメータ取得部は、前記第1時刻で、前記ロボットの履歴移動パラメータを取得し、前記第2時刻で、前記ロボットの現在の移動パラメータを取得し、前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータを計算して取得するように構成される、
請求項16に記載のロボットの位置決め装置。 - 前記第2位置取得部は、前記第1時刻から前記第2時刻までの前記ロボットの移動パラメータと、前記第1時刻における前記ロボットの向き方向とに基づいて、前記第2時刻における前記ロボットの第2推定位置情報を取得するように構成される、
請求項16に記載のロボットの位置決め装置。 - 前記校正部は、前記第1推定位置情報及び前記第2推定位置情報によって、前記第2時刻における前記ロボットの第2位置情報を取得するように構成される、
請求項11に記載のロボットの位置決め装置。 - ロボットの位置決め機器であって、
メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、請求項1ないし10のいずれか一項に記載のロボットの位置決め方法を実行する、
ロボットの位置決め機器。 - プログラムファイルが記憶されているコンピュータ可読記憶媒体であって、
前記プログラムファイルが実行されるときに、請求項1ないし10のいずれか一項に記載のロボットの位置決め方法を実現する、
コンピュータ可読記憶媒体。 - コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、請求項1ないし10のいずれか一項に記載のロボットの位置決め方法を実現する、
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011157118.7A CN112405526A (zh) | 2020-10-26 | 2020-10-26 | 一种机器人的定位方法及装置、设备、存储介质 |
CN202011157118.7 | 2020-10-26 | ||
PCT/CN2021/085942 WO2022088613A1 (zh) | 2020-10-26 | 2021-04-08 | 一种机器人的定位方法及装置、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503750A true JP2023503750A (ja) | 2023-02-01 |
Family
ID=74840550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566028A Withdrawn JP2023503750A (ja) | 2020-10-26 | 2021-04-08 | ロボットの位置決め方法及び装置、機器、記憶媒体 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2023503750A (ja) |
KR (1) | KR20220058846A (ja) |
CN (1) | CN112405526A (ja) |
WO (1) | WO2022088613A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112405526A (zh) * | 2020-10-26 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种机器人的定位方法及装置、设备、存储介质 |
CN113473357B (zh) * | 2021-06-15 | 2024-05-28 | 深圳优地科技有限公司 | 辅助定位方法、装置、设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9323249B2 (en) * | 2011-03-31 | 2016-04-26 | King Abdulaziz City for Science & Technology | Matrix code symbols for accurate robot tracking |
CN103438904B (zh) * | 2013-08-29 | 2016-12-28 | 深圳市宇恒互动科技开发有限公司 | 一种使用视觉辅助校正的惯性定位方法及*** |
CN105698784A (zh) * | 2016-03-22 | 2016-06-22 | 成都电科创品机器人科技有限公司 | 一种室内机器人定位***及方法 |
KR102172602B1 (ko) * | 2017-10-23 | 2020-11-02 | 주식회사 유진로봇 | 라이다를 이용한 위치 인식 및 지도 작성에 관한 방법 및 장치 |
CN106871904A (zh) * | 2017-03-02 | 2017-06-20 | 南阳师范学院 | 一种基于机器视觉的移动机器人码盘定位修正方法 |
CN109959381B (zh) * | 2017-12-22 | 2021-06-04 | 深圳市优必选科技有限公司 | 一种定位方法、装置、机器人及计算机可读存储介质 |
CN108481327B (zh) * | 2018-05-31 | 2023-11-07 | 珠海一微半导体股份有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
US10373322B1 (en) * | 2018-07-16 | 2019-08-06 | Accel Robotics Corporation | Autonomous store system that analyzes camera images to track people and their interactions with items |
CN110712187A (zh) * | 2019-09-11 | 2020-01-21 | 珠海市众创芯慧科技有限公司 | 一种基于多传感技术融合一体的智能行走机器人 |
CN110530372B (zh) * | 2019-09-26 | 2021-06-22 | 上海商汤智能科技有限公司 | 定位方法、路径确定方法、装置、机器人及存储介质 |
CN110774319B (zh) * | 2019-10-31 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 一种机器人及其定位方法和装置 |
CN110977985B (zh) * | 2019-12-23 | 2021-10-01 | ***股份有限公司 | 一种定位的方法及装置 |
CN111319041B (zh) * | 2020-01-17 | 2021-04-16 | 深圳市优必选科技股份有限公司 | 一种机器人位姿确定方法、装置、可读存储介质及机器人 |
CN112405526A (zh) * | 2020-10-26 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种机器人的定位方法及装置、设备、存储介质 |
-
2020
- 2020-10-26 CN CN202011157118.7A patent/CN112405526A/zh active Pending
-
2021
- 2021-04-08 KR KR1020217038571A patent/KR20220058846A/ko unknown
- 2021-04-08 WO PCT/CN2021/085942 patent/WO2022088613A1/zh active Application Filing
- 2021-04-08 JP JP2021566028A patent/JP2023503750A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2022088613A1 (zh) | 2022-05-05 |
KR20220058846A (ko) | 2022-05-10 |
CN112405526A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
CN112567201B (zh) | 距离测量方法以及设备 | |
CN108955718B (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
US9886774B2 (en) | Photogrammetric methods and devices related thereto | |
CN112258567B (zh) | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN110073362A (zh) | 用于车道标记检测的***及方法 | |
CN111199564A (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
CN111121754A (zh) | 移动机器人定位导航方法、装置、移动机器人及存储介质 | |
US11062475B2 (en) | Location estimating apparatus and method, learning apparatus and method, and computer program products | |
CN110470333B (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
JP6321202B2 (ja) | モバイルプラットフォームの運動を決定する方法、装置、及びシステム | |
CN112556685B (zh) | 导航路线的显示方法、装置和存储介质及电子设备 | |
CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
CN111220148A (zh) | 移动机器人的定位方法、***、装置及移动机器人 | |
CN111735439A (zh) | 地图构建方法、装置和计算机可读存储介质 | |
JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
CN112560769B (zh) | 用于检测障碍物的方法、电子设备、路侧设备和云控平台 | |
US11026048B1 (en) | Indoor positioning system for a mobile electronic device | |
TWI822423B (zh) | 運算裝置及模型產生方法 | |
CN114882115B (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
US11244470B2 (en) | Methods and systems for sensing obstacles in an indoor environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230214 |