JP2023146152A - Map forming device, computer program for map forming device, and data structure for topological map - Google Patents

Map forming device, computer program for map forming device, and data structure for topological map Download PDF

Info

Publication number
JP2023146152A
JP2023146152A JP2022053184A JP2022053184A JP2023146152A JP 2023146152 A JP2023146152 A JP 2023146152A JP 2022053184 A JP2022053184 A JP 2022053184A JP 2022053184 A JP2022053184 A JP 2022053184A JP 2023146152 A JP2023146152 A JP 2023146152A
Authority
JP
Japan
Prior art keywords
map
nodes
sensor information
topological
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022053184A
Other languages
Japanese (ja)
Inventor
秀輝 出口
Hideki Deguchi
峻 田口
Shun Taguchi
徳晃 廣瀬
Noriaki Hirose
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2022053184A priority Critical patent/JP2023146152A/en
Publication of JP2023146152A publication Critical patent/JP2023146152A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To require a technique for moving a mobile object to its destination even when an obstacle is placed on a planned travel route.SOLUTION: A map forming device that forms a topological map expressed by a plurality of nodes and an edge indicating a connection between the nodes is configured to execute a process of adding sensor information corresponding to a plurality of postures of a measurement sensor at the node to each of the plurality of nodes.SELECTED DRAWING: Figure 1

Description

本明細書が開示する技術は、マップ作成装置、マップ作成装置のためのコンピュータプログラム、及び、トポロジカルマップ用のデータ構造に関する。 The technology disclosed in this specification relates to a map creation device, a computer program for the map creation device, and a data structure for a topological map.

移動体を目的地まで自律移動させるためには、対象領域を表現するマップを用いて移動体の移動経路を計画する必要がある。このようなマップとしてトポロジカルマップを利用する技術が提案されている。トポロジカルマップは、計測センサで計測されたセンサ情報を含む複数のノードと、ノード間の接続を示すエッジと、で表現される。センサ情報の一例として、カメラで取得された画像を利用する技術が知られている。 In order to autonomously move a mobile object to a destination, it is necessary to plan the movement route of the mobile object using a map representing the target area. A technique using a topological map as such a map has been proposed. A topological map is expressed by a plurality of nodes including sensor information measured by a measurement sensor and edges indicating connections between the nodes. As an example of sensor information, a technique is known that uses images captured by a camera.

このようなトポロジカルマップは、移動体を運用するのに先立って作成される。トポロジカルマップを作成する技術の一例が非特許文献１～３に開示されている。 Such a topological map is created prior to operating a mobile object. Examples of techniques for creating topological maps are disclosed in Non-Patent Documents 1 to 3.

N. Savinov, etc., International Conference on Learning Representations, 2018, “Semi-parametric Topological Memory for Navigation”N. Savinov, etc., International Conference on Learning Representations, 2018, “Semi-parametric Topological Memory for Navigation” A. Taniguchi, etc., International Conference on Computer Vision, 2021, “Pose Invariant Topological Memory for Visual Navigation”A. Taniguchi, etc., International Conference on Computer Vision, 2021, “Pose Invariant Topological Memory for Visual Navigation” X. Meng, etc., International Conference on Robotics and Automation, 2020, “Scaling Local Control to Large-Scale Topological Navigation”X. Meng, etc., International Conference on Robotics and Automation, 2020, “Scaling Local Control to Large-Scale Topological Navigation”

計画した移動経路上に障害物が置かれることがある。このような場合でも、目的地まで移動体を移動させるための技術が必要である。 Obstacles may be placed on the planned travel route. Even in such a case, a technique is required to move the mobile object to its destination.

本明細書は、複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置を提供することができる。このマップ作成装置は、前記複数のノードの各々に、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報を追加する処理、を実行するように構成されている。このマップ作成装置が作成する前記トポロジカルマップでは、前記複数のノードの各々に前記計測センサの複数の姿勢に対応した前記センサ情報が保持されている。このため、このようなトポロジカルマップを利用して自律移動する移動体は、ノード上で回転することが可能である。この結果、前記移動体は、移動経路上に障害物が置かれたとしても、異なるルートを採用して目的地に到達することが可能になる。 The present specification can provide a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes. This map creation device is configured to perform a process of adding to each of the plurality of nodes sensor information corresponding to a plurality of postures of a measurement sensor at that node. In the topological map created by this map creation device, the sensor information corresponding to the plurality of postures of the measurement sensor is held in each of the plurality of nodes. Therefore, a mobile object that autonomously moves using such a topological map can rotate on a node. As a result, even if an obstacle is placed on the moving route, the moving object can reach the destination by adopting a different route.

本明細書は、複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置を提供することができる。このマップ作成装置は、マップ生成部と、マップ最適化部と、を備えることができる。前記マップ生成部は、計測センサを用いて時系列に連続した複数のセンサ情報を取得する取得処理と、前記複数のセンサ情報から選択したセンサ情報を含むノードを前記トポロジカルマップに登録する登録処理と、を実行するように構成されている。前記マップ最適化部は、前記マップ生成部が登録した複数のノードの各々に、そのノードにおける前記計測センサの複数の姿勢に対応したセンサ情報を追加する追加処理と、類似したセンサ情報を有するノードを統合する統合処理と、を実行するように構成されている。このマップ作成装置が作成する前記トポロジカルマップでは、前記複数のノードの各々に前記計測センサの複数の姿勢に対応した前記センサ情報が保持されている。このため、このようなトポロジカルマップを利用して自律移動する移動体は、ノード上で回転し、移動経路を計画することが可能である。この結果、前記移動体は、移動経路上に障害物が置かれたとしても、異なるルートを採用して目的地に到達することが可能になる。さらに、このマップ作成装置が作成する前記トポロジカルマップでは、前記マップ最適化部によってノードが統合されることにより、統合されたノードでは他のノードへのエッジが多く張られることとなる。このため、このようなトポロジカルマップを利用して自律移動する前記移動体は、目的地までのルートをより多く計画することができるので、より短い距離で目的地に移動することが可能となる。 The present specification can provide a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes. This map creation device can include a map generation section and a map optimization section. The map generation unit performs an acquisition process of acquiring a plurality of continuous sensor information in time series using a measurement sensor, and a registration process of registering a node including sensor information selected from the plurality of sensor information in the topological map. , is configured to run. The map optimization unit performs an additional process of adding sensor information corresponding to a plurality of postures of the measurement sensor at that node to each of the plurality of nodes registered by the map generation unit; and an integration process that integrates the . In the topological map created by this map creation device, the sensor information corresponding to the plurality of postures of the measurement sensor is held in each of the plurality of nodes. Therefore, a mobile object that autonomously moves using such a topological map can rotate on a node and plan a movement route. As a result, even if an obstacle is placed on the moving route, the moving object can reach the destination by adopting a different route. Further, in the topological map created by this map creation device, nodes are integrated by the map optimization unit, so that the integrated nodes have many edges to other nodes. Therefore, the mobile object that autonomously moves using such a topological map can plan more routes to the destination, and therefore can travel to the destination in a shorter distance.

前記マップ生成部の前記登録処理は、登録済みのセンサ情報から未登録のセンサ情報への移動体の制御入力を推定することと、前記登録済みの前記センサ情報から前記制御入力に基づいて前記移動体が移動した後の位置で取得されると予測される予測センサ情報を推定することと、前記未登録のセンサ情報と前記予測センサ情報の類似度が閾値を超えたときに、前記未登録のセンサ情報を含むノードを前記トポロジカルマップに登録することと、を有していてもよい。このマップ生成部は、前記トポロジカルマップに新たにノードを追加するときに、ノード間の到達可能性を評価することができる。このため、このように作成されたトポロジカルマップを利用して自律移動する前記移動体については、ノード間を移動できる確率が向上し、目的地に到達する確率を向上させることができる。 The registration process of the map generation unit includes estimating the control input of the moving body from registered sensor information to unregistered sensor information, and estimating the control input of the moving object from the registered sensor information based on the control input. estimating predicted sensor information that is predicted to be acquired at a position after the body has moved; and when the degree of similarity between the unregistered sensor information and the predicted sensor information exceeds a threshold; The method may further include registering nodes including sensor information in the topological map. This map generation unit can evaluate reachability between nodes when adding a new node to the topological map. Therefore, for the mobile object that autonomously moves using the topological map created in this way, the probability of being able to move between nodes is improved, and the probability of reaching the destination can be improved.

前記計測センサがカメラであってもよい。前記カメラで取得される画像を利用することで、低コストで前記トポロジカルマップを作成することができる。 The measurement sensor may be a camera. By using images acquired by the camera, the topological map can be created at low cost.

前記計測センサが全方位カメラであってもよい。この場合、前記マップ最適化部の前記追加処理は、前記マップ生成部が登録した複数のノードの各々に、そのノードにおいて前記全方位カメラの方向を変えた複数の画像を追加することを有していてもよい。前記全方位カメラを利用することにより、方向を変えた複数の画像を容易に生成することができる。 The measurement sensor may be an omnidirectional camera. In this case, the additional processing of the map optimization unit includes adding, to each of the plurality of nodes registered by the map generation unit, a plurality of images obtained by changing the direction of the omnidirectional camera at that node. You can leave it there. By using the omnidirectional camera, multiple images in different directions can be easily generated.

本明細書は、複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置のためのコンピュータプログラムを提供することができる。このコンピュータプログラムは、前記複数のノードの各々に、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報を追加する処理を、前記マップ作成装置に実行させる。 The present specification can provide a computer program for a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes. This computer program causes the map creation device to execute a process of adding, to each of the plurality of nodes, sensor information corresponding to a plurality of postures of the measurement sensor at that node.

本明細書は、複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置のためのコンピュータプログラムを提供することができる。このコンピュータプログラムは、前記マップ作成装置を、以下の各部、即ち、マップ生成部と、マップ最適化部と、として機能させるように構成されている。前記マップ生成部は、計測センサを用いて時系列に連続した複数のセンサ情報を取得する取得処理と、前記複数のセンサ情報から選択したセンサ情報を含むノードを前記トポロジカルマップに登録する登録処理と、を実行するように構成されている。前記マップ最適化部は、前記マップ生成部が登録した複数のノードの各々に、そのノードにおける前記計測センサの複数の姿勢に対応したセンサ情報を追加する追加処理と、類似したセンサ情報を有するノードを統合する統合処理と、を実行するように構成されている。 The present specification can provide a computer program for a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes. This computer program is configured to cause the map creation device to function as the following sections, namely, a map generation section and a map optimization section. The map generation unit performs an acquisition process of acquiring a plurality of continuous sensor information in time series using a measurement sensor, and a registration process of registering a node including sensor information selected from the plurality of sensor information in the topological map. , is configured to run. The map optimization unit performs an additional process of adding sensor information corresponding to a plurality of postures of the measurement sensor at that node to each of the plurality of nodes registered by the map generation unit; and an integration process that integrates the .

本明細書は、複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップ用のデータ構造を提供することができる。このトポロジカルマップ用のデータ構造では、前記複数のノードの各々には、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報が保持されている。 This specification can provide a data structure for a topological map expressed by a plurality of nodes and edges indicating connections between nodes. In this topological map data structure, each of the plurality of nodes holds sensor information corresponding to a plurality of postures of the measurement sensor at that node.

本実施形態のマップ作成システムの機能ブロック図を示す。The functional block diagram of the map creation system of this embodiment is shown. 本実施形態のマップ作成システムが実行する処理の概要を示す。An overview of the processing executed by the map creation system of this embodiment is shown. 本実施形態のマップ作成装置のマップ生成部が実行する処理のフローチャートを示す。5 shows a flowchart of processing executed by the map generation unit of the map creation device of this embodiment. 本実施形態のマップ作成装置のマップ最適化部が実行する処理のフローチャートを示す。The flowchart of the process performed by the map optimization part of the map creation apparatus of this embodiment is shown. 複数姿勢のノード画像の一例を示す。An example of a node image with multiple postures is shown. 従来手法で作成されたトポロジカルマップと本実施形態のマップ作成システムが作成したトポロジカルマップの概要を示す。An overview of a topological map created by a conventional method and a topological map created by the map creation system of this embodiment is shown. 従来手法で作成されたトポロジカルマップを用いた場合の移動体の移動経路と本実施形態のマップ作成システムが作成したトポロジカルマップを用いた場合の移動体の移動経路を示す。2 shows a moving route of a moving object using a topological map created by a conventional method and a moving route of a moving object using a topological map created by the map creation system of this embodiment. 移動経路上に障害物が置かれた場合において、従来手法で作成されたトポロジカルマップを用いた場合の移動体の移動経路と本実施形態のマップ作成システムが作成したトポロジカルマップを用いた場合の移動体の移動経路を示す。When an obstacle is placed on the movement route, the movement path of a moving object when using a topological map created by a conventional method and the movement when using a topological map created by the map creation system of this embodiment Shows the path of movement of the body.

（マップ作成システム１の構成）
図１に示すように、マップ作成システム１は、移動体１０と、マップ作成装置２０と、を備えている。マップ作成システム１は、移動体１０が取得したセンサ情報からトポロジカルマップを作成するように構成されている。移動体１０は、作成されたトポロジカルマップを利用して自律移動を行うことができる。本明細書では、移動体１０の自立移動に有用なトポロジカルマップを作成するための技術について説明する。ここで、トポロジカルマップとは、複数のノードと、ノード間の接続を示すエッジと、で表現されるマップである。複数のノードの各々は、少なくとも１つのセンサ情報を含んでいる。エッジは、各ノードが有する画像類似度に応じて構築されており、移動体１０の到達可能性を間接的に示している。移動体１０は、エッジが張られたノード間を移動可能である。 (Configuration of map creation system 1)
As shown in FIG. 1, the map creation system 1 includes a mobile object 10 and a map creation device 20. The map creation system 1 is configured to create a topological map from sensor information acquired by the mobile object 10. The mobile object 10 can autonomously move using the created topological map. This specification describes a technique for creating a topological map useful for independent movement of the mobile body 10. Here, the topological map is a map expressed by a plurality of nodes and edges indicating connections between the nodes. Each of the plurality of nodes includes at least one sensor information. The edge is constructed according to the image similarity of each node, and indirectly indicates the reachability of the moving object 10. The mobile object 10 can move between nodes with edges.

（移動体１０の構成）
移動体１０は、計測センサ１２と、データ送信部１４と、移動制御部１６と、を備えている。移動体１０は、対象領域内を移動しながら、計測センサ１２を用いて対象領域内の環境を反映したセンサ情報を計測するように構成されている。本実施形態の計測センサ１２は、特に限定されるものではないが、例えば全方位カメラであり、所定領域内の物体（壁、床、家具等）の画像を取得する。画像は、移動体１０の移動に伴って取得される時系列データである。この例に代えて、計測センサ１２は、ＬｉＤＡＲ、ＲＡＤＡＲ、超音波センサ等であってもよい。データ送信部１４は、計測センサ１２で取得された時系列画像をマップ作成装置２０に送信する。移動制御部１６は、外部コントローラの操作に基づいて移動体１０の移動を制御する。 (Configuration of mobile object 10)
The mobile body 10 includes a measurement sensor 12, a data transmitter 14, and a movement controller 16. The moving body 10 is configured to measure sensor information reflecting the environment within the target area using the measurement sensor 12 while moving within the target area. The measurement sensor 12 of this embodiment is, for example, an omnidirectional camera, although it is not particularly limited, and acquires images of objects (walls, floors, furniture, etc.) within a predetermined area. The images are time-series data acquired as the mobile object 10 moves. Instead of this example, the measurement sensor 12 may be a LiDAR, RADAR, ultrasonic sensor, or the like. The data transmitter 14 transmits time-series images acquired by the measurement sensor 12 to the map creation device 20. The movement control unit 16 controls the movement of the moving body 10 based on the operation of an external controller.

（マップ作成装置２０の構成）
マップ作成装置２０は、対象領域のトポロジカルマップを作成するための装置である。マップ作成装置２０は、データ受信部２２と、センサ情報記憶部２４と、暫定マップ記憶部２６と、マップ記憶部２８と、マップ生成部３０と、マップ最適化部４０と、を備えている。マップ作成装置２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成されており、コンピュータがプログラムを実行することで、図１に示されている各種の機能ブロック部として機能することができる。 (Configuration of map creation device 20)
The map creation device 20 is a device for creating a topological map of a target area. The map creation device 20 includes a data receiving section 22, a sensor information storage section 24, a temporary map storage section 26, a map storage section 28, a map generation section 30, and a map optimization section 40. The map creation device 20 is configured by, for example, a computer equipped with a CPU, ROM, RAM, etc., and when the computer executes a program, it can function as the various functional block units shown in FIG. can.

データ受信部２２は、移動体１０から時系列画像を受信し、センサ情報記憶部２４に記憶する。マップ生成部３０は、制御入力推定部３２と、予測センサ情報推定部３４と、類似度判定部３６と、ノード登録部３８と、を有している。マップ生成部３０は、時系列画像から暫定的なトポロジカルマップを作成し、その暫定的なトポロジカルマップを暫定マップ記憶部２６に記憶する。マップ最適化部４０は、複数姿勢センサ情報生成部４２と、類似度判定部４４と、ノード統合部４６と、を有している。マップ最適化部４０は、暫定的なトポロジカルマップを整理することによって最終的なトポロジカルマップを作成し、その最終的なトポロジカルマップをマップ記憶部２８に記憶する。 The data receiving unit 22 receives time-series images from the mobile object 10 and stores them in the sensor information storage unit 24. The map generation unit 30 includes a control input estimation unit 32, a predictive sensor information estimation unit 34, a similarity determination unit 36, and a node registration unit 38. The map generation unit 30 creates a provisional topological map from the time-series images, and stores the provisional topological map in the provisional map storage unit 26. The map optimization unit 40 includes a multiple orientation sensor information generation unit 42, a similarity determination unit 44, and a node integration unit 46. The map optimization unit 40 creates a final topological map by organizing the provisional topological maps, and stores the final topological map in the map storage unit 28.

図２を参照し、マップ作成システム１が実行する処理の概要について説明する。図２の（Ａ）に示されるように、移動体１０が所定領域内を移動しながら時系列画像を取得する。図２（Ｂ）に示されるように、マップ作成装置２０のマップ生成部３０は、密な時系列画像から選択した画像（黒点）を含むノードをトポロジカルマップに登録し、疎な時系列画像で構成された暫定的なトポロジカルマップを作成する。図２（Ｃ）に示されるように、マップ作成装置２０のマップ最適化部４０は、暫定的なトポロジカルマップの複数のノードの一部（この例では、中央の２つのノード）を統合し、最終的なトポロジカルマップを作成する。以下では、マップ生成部３０及びマップ最適化部４０の処理について詳細する。 With reference to FIG. 2, an overview of the processing executed by the map creation system 1 will be described. As shown in FIG. 2A, the moving object 10 acquires time-series images while moving within a predetermined area. As shown in FIG. 2(B), the map generation unit 30 of the map creation device 20 registers nodes including images (black dots) selected from the dense time series images in the topological map, and Create a configured preliminary topological map. As shown in FIG. 2C, the map optimization unit 40 of the map creation device 20 integrates some of the nodes (in this example, the two central nodes) of the provisional topological map, and Create the final topological map. Below, the processing of the map generation section 30 and the map optimization section 40 will be detailed.

（マップ生成部３０の処理）
マップ生成部３０は、密な時系列画像から、トポロジカルマップのノードの候補となる画像を選択し、疎な時系列画像に変換することにより、暫定的なトポロジカルマップを作成するように構成されている。 (Processing of map generation unit 30)
The map generation unit 30 is configured to create a provisional topological map by selecting images that are candidates for topological map nodes from dense time-series images and converting them into sparse time-series images. There is.

図３に、マップ生成部３０が実行する処理のフローチャートを示す。ここで、「Iｃ」は移動体１０が取得した密な時系列画像を表しており、下付きの「ｃ」は取得した画像の時系列の順序を表す。 FIG. 3 shows a flowchart of the processing executed by the map generation unit 30. Here, “I c ” represents a dense time-series image acquired by the mobile object 10, and the subscript “c” represents the chronological order of the acquired images.

マップ生成部３０は、時系列画像から時系列順に画像を入力し、入力した画像を暫定的なトポロジカルマップに登録するか否を判定するように構成されている。まず、ステップＳ１において、マップ生成部３０は、時系列画像の順序数が「１」であるか否かを判定する。時系列画像の順序数が「１」であれば、ステップＳ２に進む。マップ生成部３０は、順序数が「１」である画像Ｉ１をノードに登録する。その後、マップ生成部３０は、時系列画像の順序数をインクリメントし、ステップＳ３に進む。 The map generation unit 30 is configured to input images in chronological order from among the time-series images, and determine whether or not to register the input images in a provisional topological map. First, in step S1, the map generation unit 30 determines whether or not the ordinal number of the time-series images is "1". If the ordinal number of the time-series images is "1", the process advances to step S2. The map generation unit 30 registers the image I1 whose ordinal number is "1" in the node. After that, the map generation unit 30 increments the ordinal number of the time-series images, and proceeds to step S3.

ステップＳ３において、マップ生成部３０は、現在の順序数に対応した画像Ｉｃを入力する。 In step S3, the map generation unit 30 inputs the image Ic corresponding to the current ordinal number.

ステップＳ４において、マップ生成部３０は、画像Ｉｌと画像Ｉｃをローカルプランナに入力する。ローカルプランナは、移動体１０の制御入力を推定する（図１の制御入力推定部３２）。ここで、「Iｌ」は、直前にノードに登録された登録済みの画像を示す。ローカルプランナは、任意の画像を目標画像に一致させるための移動体１０の制御入力を推定する機械学習モデルである。ローカルプランナに用いられる機械学習モデルは、特に限定されるものではないが、例えばニューラルネットワークモデルであってもよい。このように、ステップＳ４では、直前にノードに登録された登録済みの画像Ｉｌを未登録の画像Ｉｃに一致させるための移動体１０の制御入力が推定される。 In step S4, the map generation unit 30 inputs the image I l and the image I c to the local planner. The local planner estimates the control input of the mobile object 10 (control input estimation unit 32 in FIG. 1). Here, “I l ” indicates a registered image that was registered in the node immediately before. The local planner is a machine learning model that estimates control input for the moving body 10 to match an arbitrary image with a target image. The machine learning model used in the local planner is not particularly limited, but may be, for example, a neural network model. In this way, in step S4, the control input of the moving body 10 for matching the registered image I l that was registered in the node immediately before with the unregistered image I c is estimated.

ステップＳ５において、マップ生成部３０は、ローカルプランナの出力である移動体１０の制御入力を画像予測器に入力する。画像予測器は、登録済みの画像Ｉｌから予測される予測画像Ｉハットｌ→ｃを推定する（図１の予測センサ情報推定部３４）。画像予測器は、任意の画像と移動体１０の制御入力に基づいて、任意の画像から移動体１０が移動した後の位置で計測センサが取得すると予測される画像を推定する機械学習モデルである。画像予測器に用いられる機械学習モデルは、特に限定されるものではないが、例えばニューラルネットワークモデルであってもよい。このように、ステップＳ５では、登録済みの画像Ｉｌから制御入力に基づいて移動体１０が移動した後の位置で計測センサが取得すると予測される予測画像Ｉハットｌ→ｃが推定される。 In step S5, the map generation unit 30 inputs the control input of the moving body 10, which is the output of the local planner, to the image predictor. The image predictor estimates a predicted image I →c predicted from the registered image I1 (predicted sensor information estimator 34 in FIG. 1). The image predictor is a machine learning model that estimates an image that is predicted to be acquired by the measurement sensor at a position after the moving object 10 moves from an arbitrary image, based on an arbitrary image and control input of the moving object 10. . The machine learning model used in the image predictor is not particularly limited, but may be, for example, a neural network model. In this way, in step S5, the predicted image Ihatl→c that is predicted to be acquired by the measurement sensor at the position after the moving object 10 has moved is estimated based on the control input from the registered image Il .

ステップＳ６において、マップ生成部３０は、未登録の画像Ｉｃと予測画像Ｉハットｌ→ｃの類似度を算出し、算出された類似度が閾値以下であるか否かを判定する（図１の類似度判定部３６）。算出された類似度が閾値よりも大きい場合、マップ生成部３０は、時系列画像の順序数をインクリメントし、ステップＳ３～Ｓ６を実行する。算出された類似度が閾値以下の場合、ステップＳ７に進む。 In step S6, the map generation unit 30 calculates the similarity between the unregistered image Ic and the predicted image I →c , and determines whether the calculated similarity is less than or equal to a threshold (see FIG. similarity determination unit 36). If the calculated similarity is greater than the threshold, the map generation unit 30 increments the ordinal number of the time-series images and executes steps S3 to S6. If the calculated similarity is less than or equal to the threshold, the process advances to step S7.

上記したステップＳ３～Ｓ６の処理によると、未登録の画像Ｉｃと予測画像Ｉハットｌ→ｃの類似度を比較することにより、直前のノードに登録された登録済みの画像Ｉｌから未登録の画像Ｉｃへのローカルプランナを用いた移動体１０の到達可能性を評価することができる。類似度が大きい場合、登録済みの画像Ｉｌから未登録の画像Ｉｃへのローカルプランナを用いた移動体１０の到達可能性が高いことを意味する。類似度が低い場合、登録済みの画像Ｉｌから未登録の画像Ｉｃへのローカルプランナを用いた移動体１０の到達可能性が低いことを意味する。閾値を調整することで、未登録の画像Ｉｃが登録済みの画像Ｉｌに近すぎず、移動体１０がローカルプランナを用いて到達可能である未登録の画像Ｉｃが選択される。 According to the processing of steps S3 to S6 described above, by comparing the degree of similarity between the unregistered image Ic and the predicted image Ihatl →c , the registered image Il registered in the immediately previous node is selected from the unregistered image Il . The reachability of the mobile object 10 using the local planner to the image Ic of can be evaluated. If the degree of similarity is large, it means that there is a high possibility that the mobile object 10 can reach the unregistered image Ic from the registered image Il using the local planner. When the degree of similarity is low, it means that the possibility of the mobile object 10 reaching the unregistered image Ic from the registered image Il using the local planner is low. By adjusting the threshold, unregistered images I c are selected that are not too close to registered images I l and are reachable by the mobile object 10 using the local planner.

ステップＳ７において、マップ生成部３０は、未登録の画像Ｉｃをノードに登録する（図１のノード登録部３８）。次に、ステップＳ８において、マップ生成部３０は、全ての時系列画像を入力したか否かを判定する。全ての時系列画像が入力されていなければ、マップ生成部３０は、時系列画像の順序数をインクリメントし、ステップＳ３～Ｓ７を実行する。時系列画像の全てが入力されていれば、マップ生成部３０は、処理を終了し、暫定的なトポロジカルマップを完成させる。 In step S7, the map generation unit 30 registers the unregistered image Ic as a node (node registration unit 38 in FIG. 1). Next, in step S8, the map generation unit 30 determines whether all time-series images have been input. If all the time-series images have not been input, the map generation unit 30 increments the ordinal number of the time-series images and executes steps S3 to S7. If all of the time-series images have been input, the map generation unit 30 ends the process and completes the provisional topological map.

このように、マップ生成部３０に全ての時系列画像を入力することで、ローカルプランナで到達できる可能性の高いノードで構成された暫定的なトポロジカルマップを作成することができる。なお、上記では、ローカルプランナの制御入力と画像予測器の予測画像はそれぞれ１つとして説明したが、これらが複数であってもよい。 In this way, by inputting all the time-series images to the map generation unit 30, it is possible to create a provisional topological map made up of nodes that are highly likely to be reachable by the local planner. Note that, in the above description, the control input of the local planner and the predicted image of the image predictor are each one, but there may be a plurality of these.

（マップ最適化部４０の処理）
マップ最適化部４０は、マップ生成部３０が作成した暫定的なトポロジカルマップのノードを統廃合し、最終的なトポロジカルマップを作成するように構成されている。 (Processing of map optimization unit 40)
The map optimization unit 40 is configured to consolidate the nodes of the temporary topological map created by the map generation unit 30 and create a final topological map.

図４に、マップ最適化部４０が実行する処理のフローチャートを示す。マップ最適化部４０は、マップ生成部３０において暫定的なトポロジカルマップに登録された順にノードの画像を確認するように構成されている。ここで「Iｉ,１」は、暫定的なトポロジカルマップに登録された画像（以下、ノードに登録された画像を「ノード画像」という）を示しており、下付きの「ｉ」はマップ生成部３０において暫定的なトポロジカルマップに登録された順序を表す。 FIG. 4 shows a flowchart of the processing executed by the map optimization unit 40. The map optimization unit 40 is configured to check images of nodes in the order in which they are registered in the provisional topological map in the map generation unit 30. Here, "I i,1 " indicates the image registered in the provisional topological map (hereinafter, the image registered in the node is referred to as "node image"), and the subscript "i" indicates the image registered in the temporary topological map. It represents the order registered in the provisional topological map in the section 30.

まず、マップ最適化部４０は、ステップＳ１において、登録の順序数がｉ番目のノード画像Iｉ,１を入力し、ステップＳ２において登録の順序数が「１」であるか否かを判定する。登録の順序数が「１」であれば、ステップＳ３に進む。 First, in step S1, the map optimization unit 40 inputs the node image I i,1 with the i-th registration ordinal number, and in step S2 determines whether the registration ordinal number is "1" or not. . If the registration order number is "1", the process advances to step S3.

ステップＳ３において、マップ最適化部４０は、ノード画像Iｉ,１をその場で回転させたｎ－１個の画像Iｉ,ｋ（ｋ＝２,...,ｎ）を生成し、ノードに追加する（図１の複数姿勢センサ情報生成部４２）。ここで、ノード画像Iｉ,ｋのｋは、登録の順序数が「ｉ」であるノードにおいて生成されたｋ番目のノード画像を表す。マップ最適化部４０は、ノード画像Iｉ,ｋとノード画像Iｉ,ｋ－１の間、及び、ノード画像Iｉ,ｋとノード画像Iｉ,ｋ＋１の間でエッジを張る。また、Iｉ,１とIｉ,ｎの間にもエッジを張る。これにより、移動体１０は、ノード上で回転することによってノード画像Iｉ,ｋ（ｋ＝２,...,ｎ）の間を移動することが可能となる。次に、マップ最適化部４０は、登録の順序数をインクリメントし、ステップＳ１に戻る。なお、ノード画像Iｉ,ｋ（ｋ＝２,...,ｎ）のそれぞれは、１つのノードということもできる。この場合、同一位置において複数姿勢のノード画像間にエッジが張られており、同一位置に複数のノードが存在しているということができる。しかしながら、本明細書では、同一位置における複数姿勢のノード画像は、共通の１つのノードに含まれているとする。 In step S3, the map optimization unit 40 generates n-1 images I i,k (k=2,...,n) by rotating the node image I i,1 on the spot, and (multiple posture sensor information generation unit 42 in FIG. 1). Here, k of the node image I i,k represents the k-th node image generated in the node whose registration ordinal number is "i". The map optimization unit 40 creates edges between the node image I i,k and the node image I i,k−1 , and between the node image I i,k and the node image I i,k+1 . Also, an edge is placed between I i,1 and I i,n . Thereby, the mobile object 10 can move between the node images I i,k (k=2,...,n) by rotating on the nodes. Next, the map optimization unit 40 increments the registration ordinal number and returns to step S1. Note that each of the node images I i,k (k=2,...,n) can also be called one node. In this case, edges are stretched between node images in multiple postures at the same location, and it can be said that multiple nodes exist at the same location. However, in this specification, it is assumed that node images in multiple postures at the same position are included in one common node.

ここで、図５に、ノード画像Iｉ,ｋ（ｋ＝２,...,ｎ）の一例を示す。上記したように、移動体１０に搭載される計測センサ１２は全方位カメラである。図５の（Ａ）は、暫定的なトポロジカルマップに登録されたノード画像Iｉ,１であり、移動体１０の進行方向に沿った姿勢で取得されたオリジナル画像である。一対の円のうちの左側の円が全方位カメラの前方の画像であり、右側の円が全方位カメラの後方の画像である。図５の（Ｂ）は、オリジナル画像を４５度回転させた画像であり、例えばノード画像Iｉ,２に対応する。図５の（Ｃ）は、オリジナル画像を２７０度回転させた画像であり、例えばノード画像Iｉ,３に対応する。このように、マップ生成部３０は、オリジナル画像であるノード画像Iｉ,１から全方位カメラの複数の姿勢に対応したノード画像Iｉ,ｋ（ｋ＝２,...,ｎ）をソフトウェア処理によって生成する。なお、計測センサ１２が全方位カメラではなく、通常の特定方向の画像を取得するカメラの場合、カメラの姿勢を物理的に変えてカメラの複数の姿勢に対応したノード画像を生成してもよく、異なる方向を向いた複数のカメラを移動体１０に搭載することでカメラの複数の姿勢に対応したノード画像を生成してもよい。 Here, FIG. 5 shows an example of a node image I i,k (k=2,...,n). As described above, the measurement sensor 12 mounted on the moving body 10 is an omnidirectional camera. (A) in FIG. 5 is a node image I i,1 registered in the provisional topological map, and is an original image acquired in a posture along the traveling direction of the moving body 10. Of the pair of circles, the left circle is the image in front of the omnidirectional camera, and the right circle is the image behind the omnidirectional camera. FIG. 5B is an image obtained by rotating the original image by 45 degrees, and corresponds to, for example, the node image I i,2 . (C) of FIG. 5 is an image obtained by rotating the original image by 270 degrees, and corresponds to, for example, the node image I i,3 . In this way, the map generation unit 30 generates node images I i,k (k=2,...,n) corresponding to a plurality of orientations of the omnidirectional camera from the node image I i,1 which is the original image using software. Generated by processing. Note that if the measurement sensor 12 is not an omnidirectional camera but a normal camera that acquires images in a specific direction, the orientation of the camera may be physically changed to generate node images corresponding to multiple orientations of the camera. By mounting a plurality of cameras facing different directions on the moving body 10, node images corresponding to a plurality of camera postures may be generated.

図４に戻る。ステップＳ１において、マップ最適化部４０は、次に登録されたノード画像Iｉ,１を入力し、ステップＳ４に進む。ステップＳ４において、マップ最適化部４０は、新たに入力されたノード画像Iｉ,１とこれまでに処理した全てのノード画像Iｌ,ｋ（ｌ＝１,...,ｉ－１、且つ、ｋ＝１,...,ｎ）の類似度を算出し、算出された類似度が閾値以上であるか否かを判定する（図１の類似度判定部４４）。算出された類似度が閾値よりも小さい場合、マップ生成部３０は、ステップＳ３に進む。算出された類似度が閾値以上の場合、ステップＳ５に進む。 Return to Figure 4. In step S1, the map optimization unit 40 inputs the next registered node image I i,1 , and proceeds to step S4. In step S4, the map optimization unit 40 combines the newly input node image I i,1 and all node images I l,k (l=1,...,i-1, and , k=1,...,n), and determines whether the calculated similarity is greater than or equal to a threshold (similarity determination unit 44 in FIG. 1). If the calculated similarity is smaller than the threshold, the map generation unit 30 proceeds to step S3. If the calculated similarity is greater than or equal to the threshold, the process advances to step S5.

ステップＳ５において、マップ最適化部４０は、新たに入力したノード画像Iｉ,１を削除するとともに、そのノード画像Iｉ,１に対応したノードに、閾値以上の類似度を持つノード画像の中で最も類似度が大きいノード画像を統合する（図１のノード統合部４６）。 In step S5, the map optimization unit 40 deletes the newly input node image I i,1, and selects among the node images that have a degree of similarity equal to or higher than the threshold to the node corresponding to the node image I i,1. The node images with the highest degree of similarity are integrated (node integration unit 46 in FIG. 1).

次に、ステップＳ６において、マップ最適化部４０は、全てのノード画像を入力したか否かを判定する。全てのノード画像が入力されていなければ、マップ最適化部４０は、登録の順序数をインクリメントし、ステップＳ１に戻る。全てのノード画像が入力されていれば、マップ最適化部４０は、処理を終了し、最終的なトポロジカルマップを完成させる。 Next, in step S6, the map optimization unit 40 determines whether all node images have been input. If all node images have not been input, the map optimization unit 40 increments the registration ordinal number and returns to step S1. If all node images have been input, the map optimization unit 40 ends the process and completes the final topological map.

（効果）
以下、マップ作成システム１が作成したトポロジカルマップを用いて移動体１０を自律移動させたときの効果について説明する。 (effect)
Hereinafter, the effect when the mobile body 10 is autonomously moved using the topological map created by the map creation system 1 will be explained.

図６に、従来手法で作成されたトポロジカルマップとマップ作成システム１が作成したトポロジカルマップの具体例を示す。図６の（Ａ）は、時系列画像を取得するときの移動体１０の移動経路を示す。図６の（Ｂ）は、従来手法で作成されたトポロジカルマップである。図６（Ｃ）は、マップ作成システム１が作成したトポロジカルマップである。図６の（Ｂ）及び（Ｃ）において、黒点がノードを示しており、矢印がノード間の接続を示すエッジである。移動体１０は、矢印の方向にのみノード間を移動可能である。なお、図６の（Ｂ）のトポロジカルマップは、本実施形態のマップ生成部３０が作成する暫定的なトポロジカルマップに対応する。 FIG. 6 shows specific examples of a topological map created using a conventional method and a topological map created by the map creation system 1. (A) of FIG. 6 shows the movement route of the mobile object 10 when acquiring time-series images. FIG. 6B is a topological map created using a conventional method. FIG. 6(C) is a topological map created by the map creation system 1. In FIGS. 6B and 6C, black dots indicate nodes, and arrows indicate edges indicating connections between nodes. The mobile object 10 can move between nodes only in the direction of the arrow. Note that the topological map in FIG. 6B corresponds to a provisional topological map created by the map generation unit 30 of this embodiment.

図６の（Ｂ）のトポロジカルマップでは、近い位置で撮影された画像であっても、計測センサの姿勢が異なれば別のノードとして登録される。また、エッジで規定される移動体１０のエッジ間の到達可能な向きは、時系列画像を撮影した向きのみである。一方、図６の（Ｃ）のトポロジカルマップでは、各ノードが複数姿勢の画像を保持しているので、移動体１０は各ノード上で回転が可能である。このため、エッジで規定される移動体１０のエッジ間の到達可能な向きは、時系列画像を撮影した向きとは逆向きも含んでいる。さらに、中央に位置するノードのように、撮影姿勢が異なるノードでも統合することが可能である。統合されたノードでは、他のノードへのエッジが多く張られている。このため、撮影時の全方位カメラの移動経路によらない経路計画が可能となる。 In the topological map of FIG. 6B, even images taken at close positions are registered as different nodes if the postures of the measurement sensors are different. Further, the direction in which the moving body 10 can reach between the edges defined by the edges is only the direction in which the time-series images were photographed. On the other hand, in the topological map shown in FIG. 6C, each node holds images of multiple postures, so the moving body 10 can rotate on each node. Therefore, the directions in which the moving body 10 can reach between the edges defined by the edges include directions opposite to the directions in which the time-series images were photographed. Furthermore, it is possible to integrate even nodes with different shooting postures, such as the node located in the center. A unified node has many edges to other nodes. Therefore, it is possible to plan a route that does not depend on the movement route of the omnidirectional camera during photographing.

図７に、目的地までの移動体１０の移動経路を示す。図中の旗が目的地を示し、移動体１０が現在位置を示す。図７の（Ａ）は、従来手法で作成されたトポロジカルマップを用いた場合の移動体１０の移動経路である。図７の（Ｂ）は、マップ作成システム１が作成したトポロジカルマップを用いた場合の移動体１０の移動経路である。図７の（Ａ）に示されるように、従来手法のトポロジカルマップを利用する移動体１０は、ノードが統合されていないので、遠回りの経路しか選択することができない。一方、図７の（Ｂ）に示されるように、マップ作成システム１が作成したトポロジカルマップを利用する移動体１０は、統合した中央のノードを介して目的地に移動することができる。このとき、統合した中央のノードから目的地への経路は、撮影時の全方位カメラの移動の向きとは反対向きである。移動体１０は、統合した中央のノードで右向きにその場回転して目的地に向かうことができる。各ノードに複数姿勢の画像が保持されているので、移動体１０は、統合した中央のノードにおいて適切な角度のその場回転をすることができる。また、各ノードに複数姿勢の画像が保持されているので、移動体１０は、撮影時の全方位カメラの移動の向きとは逆向きに移動することができる。 FIG. 7 shows a travel route of the mobile body 10 to the destination. The flag in the figure indicates the destination, and the moving object 10 indicates the current position. FIG. 7A shows the movement route of the mobile object 10 when using a topological map created by a conventional method. (B) of FIG. 7 shows the movement route of the mobile object 10 when the topological map created by the map creation system 1 is used. As shown in FIG. 7A, the mobile object 10 using the conventional topological map can only select a circuitous route because the nodes are not integrated. On the other hand, as shown in FIG. 7B, the mobile object 10 using the topological map created by the map creation system 1 can move to the destination via the integrated central node. At this time, the route from the integrated central node to the destination is in the opposite direction to the direction of movement of the omnidirectional camera at the time of photographing. The mobile object 10 can rotate rightward on the spot at the integrated central node and head toward the destination. Since each node holds images of a plurality of postures, the moving body 10 can perform on-the-spot rotation at an appropriate angle at the integrated central node. Moreover, since each node holds images in a plurality of postures, the moving object 10 can move in the opposite direction to the direction of movement of the omnidirectional camera at the time of photographing.

図８に、計画経路上に障害物が置かれたときの移動経路を示す。図８の（Ａ）は、従来手法で作成されたトポロジカルマップを用いた場合の移動体１０の移動経路である。図８の（Ｂ）は、マップ作成システム１が作成したトポロジカルマップを用いた場合の移動体１０の移動経路である。図８の（Ａ）に示されるように、従来手法のトポロジカルマップを利用する移動体１０は、時系列画像を撮影した向きにしか移動できないので、障害物を回避する経路を計画することができない。一方、図８の（Ｂ）に示されるように、マップ作成システム１が作成したトポロジカルマップを利用する移動体１０は、当初の計画経路上に障害物が置かれたときに、障害物の直前のノードでその場回転し、障害物を回避する経路を再計画し、目的地まで移動することができる。 FIG. 8 shows a moving route when an obstacle is placed on the planned route. FIG. 8A shows a travel route of the mobile object 10 when using a topological map created by a conventional method. (B) of FIG. 8 shows the movement route of the mobile object 10 when the topological map created by the map creation system 1 is used. As shown in FIG. 8A, the mobile object 10 using the conventional topological map can only move in the direction in which the time-series images are taken, and therefore cannot plan a route that avoids obstacles. . On the other hand, as shown in FIG. 8(B), when an obstacle is placed on the originally planned route, the mobile object 10 that uses the topological map created by the map creation system 1 You can rotate on the spot at the nodes, replan your route to avoid obstacles, and move to your destination.

このように、マップ作成システム１が作成したトポロジカルマップは、経路の短縮及び障害物の回避に対するロバスト性を向上させ、移動体のナビゲーション成功率を向上させることができる。 In this way, the topological map created by the map creation system 1 can improve robustness to route shortening and obstacle avoidance, and can improve the navigation success rate of mobile objects.

以上、本明細書が開示する技術の実施例について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 Although the embodiments of the technology disclosed in this specification have been described above in detail, these are merely illustrative and do not limit the scope of the claims. The techniques described in the claims include various modifications and changes to the specific examples illustrated above. The technical elements described in this specification or the drawings exhibit technical utility alone or in various combinations, and are not limited to the combinations described in the claims as filed. Furthermore, the techniques illustrated in this specification or the drawings simultaneously achieve multiple objectives, and achieving one of the objectives has technical utility in itself.

１：マップ作成システム、 １０：移動体、 １２：計測センサ、 １４：データ送信部、 １６：移動制御部、 ２０：マップ作成装置、 ２２：データ受信部、 ２４：センサ情報記憶部、 ２６：暫定マップ記憶部、 ２８：マップ記憶部、 ３０：マップ生成部、 ３２：制御入力推定部、 ３４：センサ情報推定部、 ３６：類似度判定部、 ３８：ノード登録部、 ４０：マップ最適化部、 ４２：複数姿勢センサ情報生成部、 ４４：類似度判定部、 ４６：ノード統合部 1: Map creation system, 10: Mobile object, 12: Measurement sensor, 14: Data transmission section, 16: Movement control section, 20: Map creation device, 22: Data reception section, 24: Sensor information storage section, 26: Temporary Map storage unit, 28: Map storage unit, 30: Map generation unit, 32: Control input estimation unit, 34: Sensor information estimation unit, 36: Similarity determination unit, 38: Node registration unit, 40: Map optimization unit, 42: Multiple posture sensor information generation unit, 44: Similarity determination unit, 46: Node integration unit

Claims (8)

複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置であって、
前記複数のノードの各々に、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報を追加する処理、を実行するように構成されている、マップ作成装置。 A map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes,
A map creation device configured to perform a process of adding sensor information corresponding to a plurality of postures of a measurement sensor in each of the plurality of nodes to each of the plurality of nodes. 複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置であって、
マップ生成部と、
マップ最適化部と、を備えており、
前記マップ生成部は、
計測センサを用いて時系列に連続した複数のセンサ情報を取得する取得処理と、
前記複数のセンサ情報から選択したセンサ情報を含むノードを前記トポロジカルマップに登録する登録処理と、を実行するように構成されており、
前記マップ最適化部は、
前記マップ生成部が登録した複数のノードの各々に、そのノードにおける前記計測センサの複数の姿勢に対応したセンサ情報を追加する追加処理と、
類似したセンサ情報を有するノードを統合する統合処理と、を実行するように構成されている、マップ作成装置。 A map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes,
A map generation unit,
It is equipped with a map optimization section, and
The map generation unit includes:
an acquisition process that uses a measurement sensor to acquire multiple pieces of sensor information that are continuous in time series;
A registration process for registering a node including sensor information selected from the plurality of sensor information in the topological map,
The map optimization unit includes:
Additional processing for adding sensor information corresponding to the plurality of postures of the measurement sensor at the node to each of the plurality of nodes registered by the map generation unit;
A map creation device configured to perform an integration process of integrating nodes having similar sensor information. 前記マップ生成部の前記登録処理は、
登録済みのセンサ情報から未登録のセンサ情報への移動体の制御入力を推定することと、
前記登録済みのセンサ情報から前記制御入力に基づいて前記移動体が移動した後の位置で取得されると予測される予測センサ情報を推定することと、
前記未登録のセンサ情報と前記予測センサ情報の類似度が閾値を超えたときに、前記未登録のセンサ情報を含むノードを前記トポロジカルマップに登録することと、を有している、請求項２に記載のマップ作成装置。 The registration process of the map generation unit includes:
Estimating a control input of a mobile object from registered sensor information to unregistered sensor information;
Estimating predicted sensor information that is predicted to be acquired at a position after the moving object moves based on the control input from the registered sensor information;
2. Registering a node including the unregistered sensor information in the topological map when the degree of similarity between the unregistered sensor information and the predicted sensor information exceeds a threshold. The map creation device described in . 前記計測センサがカメラである、請求項２又は３に記載のマップ作成装置。 The map creation device according to claim 2 or 3, wherein the measurement sensor is a camera. 前記計測センサが全方位カメラであり、
前記マップ最適化部の前記追加処理は、
前記マップ生成部が登録した複数のノードの各々に、そのノードにおいて前記全方位カメラの方向を変えた複数の画像を追加すること、を有している、請求項４に記載のマップ作成装置。 The measurement sensor is an omnidirectional camera,
The additional processing of the map optimization unit includes:
5. The map creation device according to claim 4, further comprising adding, to each of the plurality of nodes registered by the map generation unit, a plurality of images obtained by changing the direction of the omnidirectional camera at that node. 複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置のためのコンピュータプログラムであって、
前記複数のノードの各々に、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報を追加する処理を、前記マップ作成装置に実行させる、コンピュータプログラム。 A computer program for a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes,
A computer program that causes the map creation device to execute a process of adding sensor information corresponding to a plurality of postures of a measurement sensor at each of the plurality of nodes to each of the plurality of nodes. 複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップを作成するマップ作成装置のためのコンピュータプログラムであって、前記マップ作成装置を、以下の各部、即ち、
マップ生成部と、
マップ最適化部と、として機能させるように構成されており、
前記マップ生成部は、
計測センサを用いて時系列に連続した複数のセンサ情報を取得する取得処理と、
前記複数のセンサ情報から選択したセンサ情報を含むノードを前記トポロジカルマップに登録する登録処理と、を実行するように構成されており、
前記マップ最適化部は、
前記マップ生成部が登録した複数のノードの各々に、そのノードにおける前記計測センサの複数の姿勢に対応したセンサ情報を追加する追加処理と、
類似したセンサ情報を有するノードを統合する統合処理と、を実行するように構成されている、コンピュータプログラム。 A computer program for a map creation device that creates a topological map expressed by a plurality of nodes and edges indicating connections between the nodes, the map creation device being configured to include the following parts:
A map generation unit,
It is configured to function as a map optimization section.
The map generation unit includes:
an acquisition process that uses a measurement sensor to acquire multiple pieces of sensor information that are continuous in time series;
A registration process for registering a node including sensor information selected from the plurality of sensor information in the topological map,
The map optimization unit includes:
Additional processing for adding sensor information corresponding to the plurality of postures of the measurement sensor at the node to each of the plurality of nodes registered by the map generation unit;
A computer program product configured to perform an integration process of integrating nodes having similar sensor information. 複数のノードと、ノード間の接続を示すエッジと、で表現されるトポロジカルマップ用のデータ構造であって、
前記複数のノードの各々には、そのノードにおける計測センサの複数の姿勢に対応したセンサ情報が保持されている、トポロジカルマップ用のデータ構造。 A data structure for a topological map expressed by multiple nodes and edges indicating connections between nodes,
A data structure for a topological map, in which each of the plurality of nodes holds sensor information corresponding to a plurality of postures of a measurement sensor at that node.
JP2022053184A 2022-03-29 2022-03-29 Map forming device, computer program for map forming device, and data structure for topological map Pending JP2023146152A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022053184A JP2023146152A (en) 2022-03-29 2022-03-29 Map forming device, computer program for map forming device, and data structure for topological map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022053184A JP2023146152A (en) 2022-03-29 2022-03-29 Map forming device, computer program for map forming device, and data structure for topological map

Publications (1)

Publication Number Publication Date
JP2023146152A true JP2023146152A (en) 2023-10-12

Family

ID=88286946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022053184A Pending JP2023146152A (en) 2022-03-29 2022-03-29 Map forming device, computer program for map forming device, and data structure for topological map

Country Status (1)

Country Link
JP (1) JP2023146152A (en)

Similar Documents

Publication Publication Date Title
US10935383B1 (en) Methods for finding the perimeter of a place using observed coordinates
Shin et al. Roarnet: A robust 3d object detection based on region approximation refinement
Stachniss et al. Simultaneous localization and mapping
US10748061B2 (en) Simultaneous localization and mapping with reinforcement learning
Kolhatkar et al. Review of SLAM algorithms for indoor mobile robot with LIDAR and RGB-D camera technology
Yue et al. A multilevel fusion system for multirobot 3-d mapping using heterogeneous sensors
JP2019207678A (en) Unsupervised learning of metric representations from slow features
Ioannidis et al. A path planning method based on cellular automata for cooperative robots
Dani et al. Image moments for higher-level feature based navigation
Sibley et al. A sliding window filter for incremental SLAM
Gao et al. Multi-view sensor fusion by integrating model-based estimation and graph learning for collaborative object localization
Holz et al. Registration of non-uniform density 3D laser scans for mapping with micro aerial vehicles
Sohn et al. An efficient localization algorithm based on vector matching for mobile robots using laser range finders
Li et al. A novel edge-enabled SLAM solution using projected depth image information
Dietrich et al. Deep learning-based mutual detection and collaborative localization for mobile robot fleets using solely 2d lidar sensors
JP2023146152A (en) Map forming device, computer program for map forming device, and data structure for topological map
Umari Multi-robot map exploration based on multiple rapidly-exploring randomized trees
Hernández-García et al. 3d city models: Mapping approach using lidar technology
JP2022138037A (en) Information processor, information processing method, and program
Xie et al. A survey of filtering based active localization methods
Zhang et al. A visual slam system with laser assisted optimization
Mohamad Yatim et al. Comparison of Sampling Methods for Rao-blackwellized Particle Filter with Neural Network
CN116823954B (en) Pose estimation method and device of articulated vehicle, vehicle and storage medium
Morioka et al. Simplified map representation and map learning system for autonomous navigation of mobile robots
US20240027226A1 (en) Method for determining objects in an environment for slam