JP7285517B2 - Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program - Google Patents

Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program Download PDF

Info

Publication number
JP7285517B2
JP7285517B2 JP2019236689A JP2019236689A JP7285517B2 JP 7285517 B2 JP7285517 B2 JP 7285517B2 JP 2019236689 A JP2019236689 A JP 2019236689A JP 2019236689 A JP2019236689 A JP 2019236689A JP 7285517 B2 JP7285517 B2 JP 7285517B2
Authority
JP
Japan
Prior art keywords
self
estimation
unit
evaluation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019236689A
Other languages
Japanese (ja)
Other versions
JP2021105832A (en
Inventor
達也 古室
紀彦 加藤
貴彦 阪野
将志 横塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical Toyota Industries Corp
Priority to JP2019236689A priority Critical patent/JP7285517B2/en
Publication of JP2021105832A publication Critical patent/JP2021105832A/en
Application granted granted Critical
Publication of JP7285517B2 publication Critical patent/JP7285517B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラムに関する。 The present invention relates to a self-position estimation device, a mobile object, a self-position estimation method, and a self-position estimation program.

従来の自己位置推定装置として、特許文献１に記載されたものが知られている。この自己位置推定装置は、事前に取得した画像と、移動体の走行中に取得した画像と、を用いることで、自己位置を推定している。ここで、画像から位置推定を行うことは、演算時間がかかるため、この自己位置推定装置は、機械センサ（オドメトリ）を使用することによって、演算中の自己位置の推定結果の保管を行っている。 As a conventional self-position estimation device, one described in Patent Document 1 is known. This self-position estimation device estimates the self-position by using an image acquired in advance and an image acquired while the moving body is running. Since estimating a position from an image takes a long time to calculate, this self-position estimating device uses a mechanical sensor (odometry) to store the result of estimating the self-position during calculation. .

特開２０１８－８１００８号公報Japanese Unexamined Patent Application Publication No. 2018-81008

ここで、画像から自己位置の推定を行った場合の推定精度が常に良いとは限らない。この場合、推定精度が低い自己位置の推定結果を用いて、移動体の走行支援を行った場合、適切な走行支援を行うことができず、移動体が経路から外れて走行を行ってしまう可能性がある。 Here, the estimation accuracy when estimating the self-position from the image is not always good. In this case, if the estimation result of the self-location with low estimation accuracy is used to support the movement of the mobile object, the appropriate driving support cannot be provided, and the mobile object may deviate from the route and travel. have a nature.

従って、本発明は、適切な移動体の走行支援を行うことができる自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a self-position estimation device, a mobile body, a self-position estimation method, and a self-position estimation program capable of appropriately assisting the running of a mobile body.

本発明の一態様に係る自己位置推定装置は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定装置であって、画像を取得する画像取得部と、画像取得部で取得された画像から特徴を抽出する抽出部と、抽出部で抽出された特徴と、データベースとをマッチングさせることで移動体の自己位置を推定する推定部と、推定部の推定精度を評価する評価部と、評価部による評価結果に基づいて、推定部による自己位置の推定結果を走行支援に用いるか否かを切り替える切替部と、を備える。 A self-position estimation device according to an aspect of the present invention is for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. A self-position estimation device that includes an image acquisition unit that acquires an image, an extraction unit that extracts features from the image acquired by the image acquisition unit, and a database that matches the features extracted by the extraction unit. An estimating unit for estimating the self-position of a mobile object, an evaluating unit for evaluating the estimation accuracy of the estimating unit, and a decision as to whether or not to use the result of estimating the self-position by the estimating unit for driving support based on the evaluation result of the evaluating unit. and a switching unit for switching.

自己位置推定装置は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するためのものである。ここで、例えば、画像取得部は、データベースが作成されたときの位置から離れた位置で画像を取得する場合がある。このような場合、当該画像を用いて行われた自己位置の推定は、推定精度が十分に高くない可能性がある。これに対し、評価部は、推定部の推定精度を評価することが出来る。すなわち、評価部は、画像取得部で画像が取得された位置での自己位置の推定精度が高いか低いかの評価を行うことができる。また、切替部は、評価部による評価結果に基づいて、推定部による自己位置の推定結果を走行支援に用いるか否かを切り替える。これにより、切替部は、推定精度が高いと評価された自己位置の推定結果については、走行支援に用いる一方、推定精度が低いと評価された自己位置の推定結果については、走行支援に用いないように切り替えることができる。以上より、適切な移動体の走行支援を行うことができる。 The self-position estimation device is for estimating the self-position of a moving object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. Here, for example, the image acquisition unit may acquire an image at a position away from the position when the database was created. In such a case, there is a possibility that the estimation accuracy of the self-location performed using the image is not sufficiently high. On the other hand, the evaluation unit can evaluate the estimation accuracy of the estimation unit. That is, the evaluation unit can evaluate whether the estimation accuracy of the self-position at the position where the image was acquired by the image acquisition unit is high or low. Further, the switching unit switches whether to use the estimation result of the self-position by the estimation unit for driving support based on the evaluation result by the evaluation unit. As a result, the switching unit uses the self-position estimation result evaluated as having high estimation accuracy for driving support, and does not use the self-position estimation result evaluated as having low estimation accuracy for driving support. You can switch between As described above, it is possible to perform appropriate travel support for the moving object.

評価部は、特徴とデータベースとのマッチングに基づいて推定精度を評価してよい。これにより、評価部は、推定部での推定精度を適切に評価できる。 The evaluator may evaluate the estimation accuracy based on matching features with the database. Thereby, the evaluation unit can appropriately evaluate the estimation accuracy of the estimation unit.

切替部は、評価部による評価結果が低い場合、移動体の走行部からの走行情報のみに基づく走行支援に切り替えてよい。これにより、推定精度の低い自己位置の推定結果に基づいた走行支援がなされることを回避できる。 When the evaluation result by the evaluation unit is low, the switching unit may switch to the driving support based only on the driving information from the moving unit of the moving body. As a result, it is possible to avoid running support based on the self-position estimation result with low estimation accuracy.

評価部は、データベースに登録されている位置情報に対応する位置からどの程度離れたら推定精度が低下するかを評価してよい。これにより、推定精度が下がりやすいエリアについては、データベースに登録される位置情報を増やすことなどが可能になる。 The evaluation unit may evaluate how far away from the position corresponding to the position information registered in the database the estimation accuracy decreases. This makes it possible to increase the amount of location information registered in the database for areas where the estimation accuracy tends to decrease.

評価部は、移動体の走行範囲の中で、推定精度が高いと評価した位置を、移動体の位置合わせ用の位置としてよい。例えば、移動体が自己位置を見失った場合、当該移動体は、推定精度が高いと評価された位置に戻り、自己位置を把握した上で、走行に復帰することができる。 The evaluation unit may use a position evaluated as having high estimation accuracy within the travel range of the mobile body as a position for alignment of the mobile body. For example, when the mobile body loses sight of its own position, the mobile body can return to a position evaluated to have high estimation accuracy, grasp its own position, and then return to running.

評価部は、移動体の走行範囲の各位置における評価結果に基づいて、データベース自体の評価を行ってよい。例えば、データベースに登録された位置情報に対応する位置に近付いた場合であっても推定精度の評価が良くならない場合、データベース自体が作成に失敗している可能性がある。従って、評価部がデータベース自体の評価を行うことで、当該状況に対する対策をとることが可能になる。 The evaluation unit may evaluate the database itself based on the evaluation results at each position in the travel range of the mobile object. For example, if the estimation accuracy does not improve even when the position corresponding to the position information registered in the database is approached, there is a possibility that the creation of the database itself has failed. Therefore, by the evaluation unit evaluating the database itself, it is possible to take countermeasures against the situation.

評価部は、移動体の走行範囲の各位置における評価結果に基づいて、移動体の経路からの乖離度合の評価を行ってよい。例えば、データベースに登録された位置情報に対応する位置に近付いた場合であっても推定精度の評価が良くならない場合、移動体が経路自体から反れてしまっている可能性がある。従って、評価部が移動体の経路からの乖離度合の評価を行うことで、当該状況に対する対策をとることが可能になる。 The evaluation unit may evaluate the degree of divergence from the route of the mobile object based on the evaluation results at each position in the travel range of the mobile object. For example, if the estimation accuracy does not improve even when the moving object approaches the position corresponding to the position information registered in the database, there is a possibility that the moving object has deviated from the route itself. Therefore, the evaluation unit evaluates the degree of divergence from the route of the moving object, so that it is possible to take countermeasures against the situation.

本発明に係る移動体は、上述の自己位置推定装置を備える。 A mobile object according to the present invention includes the self-position estimation device described above.

本発明に係る自己位置推定方法は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定方法であって、画像を取得する画像取得ステップと、画像取得ステップで取得された画像から特徴を抽出する抽出ステップと、抽出ステップで抽出された特徴と、データベースとをマッチングさせることで移動体の自己位置を推定する推定ステップと、推定ステップの推定精度を評価する評価ステップと、評価ステップによる評価結果に基づいて、推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を備える。 A self-position estimation method according to the present invention is a self-position estimation method for estimating the self-position of a moving object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. A method comprising: an image acquisition step of acquiring an image; an extraction step of extracting features from the image acquired in the image acquisition step; An estimation step for estimating the self-position, an evaluation step for evaluating the estimation accuracy of the estimation step, and a switching step for switching whether or not to use the estimation result of the self-position in the estimation step for driving support based on the evaluation result in the evaluation step. And prepare.

本発明に係る自己位置推定プログラムは、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定プログラムであって、画像を取得する画像取得ステップと、画像取得ステップで取得された画像から特徴を抽出する抽出ステップと、抽出ステップで抽出された特徴と、データベースとをマッチングさせることで移動体の自己位置を推定する推定ステップと、推定ステップの推定精度を評価する評価ステップと、評価ステップによる評価結果に基づいて、推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を制御部に実行させる。 A self-position estimation program according to the present invention is a self-position estimation program for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. A program comprising: an image acquisition step of acquiring an image; an extraction step of extracting features from the image acquired in the image acquisition step; An estimation step for estimating the self-position, an evaluation step for evaluating the estimation accuracy of the estimation step, and a switching step for switching whether or not to use the estimation result of the self-position in the estimation step for driving support based on the evaluation result in the evaluation step. and are executed by the control unit.

これらの移動体、自己位置推定方法、及び自己位置推定プログラムによれば、上述の自己位置推定装置と同様な効果を得ることができる。 According to these moving objects, self-position estimation method, and self-position estimation program, the same effect as the self-position estimation device described above can be obtained.

本発明によれば、適切な移動体の走行支援を行うことができる自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラムを提供することができる。 According to the present invention, it is possible to provide a self-position estimation device, a mobile body, a self-position estimation method, and a self-position estimation program capable of appropriately assisting the running of a mobile body.

本発明の実施形態に係る自己位置推定装置を備える自己位置推定システムを示す概略図である。1 is a schematic diagram showing a self-localization system including a self-localization device according to an embodiment of the present invention; FIG. 本発明の実施形態に係る自己位置推定装置を備える移動体のブロック構成を示すブロック構成図である。1 is a block configuration diagram showing a block configuration of a moving object having a self-position estimation device according to an embodiment of the present invention; FIG. データベース作成時の作業場の様子を示す概略図である。FIG. 10 is a schematic diagram showing the state of a workplace when creating a database; データベースの作成方法を示すフローチャートである。4 is a flow chart showing a method of creating a database; 特徴を抽出する方法を説明するための図である。It is a figure for demonstrating the method to extract a feature. カメラで取得された画像、及び抽出された特徴を示す図である。Fig. 2 shows an image acquired by a camera and extracted features; 特徴の三次元座標を取得する方法を示す概念図である。FIG. 2 is a conceptual diagram showing a method of obtaining three-dimensional coordinates of features; 移動体が自動走行を行うときの様子を示す概略図である。FIG. 2 is a schematic diagram showing a state when a moving object automatically travels; 図９は、移動体の自己位置の推定方法を示すフローチャートである。FIG. 9 is a flow chart showing a method of estimating the self-position of a mobile object. データベースに登録されている位置情報に対応する位置からの距離と、自己位置の推定精度との関係を示すグラフである。4 is a graph showing the relationship between the distance from a position corresponding to position information registered in a database and the accuracy of self-position estimation. 特徴点を評価するときの様子を示す概念図である。FIG. 4 is a conceptual diagram showing how feature points are evaluated. 走行経路における移動体の走行支援状況を示す概念図である。FIG. 4 is a conceptual diagram showing a travel support situation for a moving object on a travel route; 自己位置の推定精度の評価、及び当該評価結果を用いた移動体の走行支援の方法を示すフローチャートである。10 is a flow chart showing a method of evaluating self-position estimation accuracy and a method of supporting traveling of a moving object using the evaluation result.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本実施形態に係る自己位置推定装置１を備える自己位置推定システム１００を示す概略図である。図１に示すように、自己位置推定システム１００は、複数の移動体５０のそれぞれに設けられた自己位置推定装置１と、管理部２と、を備える。 FIG. 1 is a schematic diagram showing a self-position estimation system 100 including a self-position estimation device 1 according to this embodiment. As shown in FIG. 1 , the self-localization system 100 includes a self-localization device 1 provided in each of a plurality of moving bodies 50 and a management unit 2 .

本実施形態では、移動体５０として、フォークリフトが例示されている。図１には、移動体５０としてのフォークリフトが、倉庫や工場などの作業場Ｅ（所定の領域）にて、荷物の積み卸しの作業を行っている様子が示されている。作業場Ｅでは、複数の棚６０が配列されている。また、棚６０と棚６０との間に、移動体５０が通過するための通路６１が形成されている。自己位置推定装置１は、このような作業場Ｅ内における移動体５０の自己位置を推定する装置である。自己位置推定装置１は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体５０の自己位置を推定する。移動体５０は、自己位置推定装置１で推定された自己位置を用いることで、作業場Ｅ内で自動走行することができる。なお、自己位置推定装置１の詳細な構成については後述する。管理部２は、作業場Ｅ内の複数の移動体５０を管理するサーバーである。管理部２は、必要に応じて、複数の移動体５０から所定の情報を受信し、複数の移動体５０に対して所定の情報を送信する。 In this embodiment, a forklift is exemplified as the moving body 50 . FIG. 1 shows a forklift, which is a moving body 50, loading and unloading cargo in a work place E (predetermined area) such as a warehouse or a factory. In the workplace E, a plurality of shelves 60 are arranged. A passage 61 is formed between the shelves 60 for the moving body 50 to pass through. The self-position estimation device 1 is a device for estimating the self-position of the moving body 50 in the workplace E as described above. The self-position estimation device 1 estimates the self-position of the moving body 50 by matching features extracted from the acquired image with a database in which position information and features are associated in advance. The mobile body 50 can automatically travel within the workplace E by using the self-position estimated by the self-position estimation device 1 . A detailed configuration of the self-position estimation device 1 will be described later. The management unit 2 is a server that manages a plurality of moving bodies 50 within the workplace E. FIG. The management unit 2 receives predetermined information from the plurality of mobile bodies 50 and transmits predetermined information to the plurality of mobile bodies 50 as necessary.

図２は、本実施形態に係る自己位置推定装置１を備える移動体５０のブロック構成を示すブロック構成図である。図２に示すように、移動体５０は、走行部１１と、カメラ１２と、制御部２０と、を備える。走行部１１は、移動体５０を走行させるための駆動力を発生するモータなどの駆動系である。カメラ１２（画像取得部）は、移動体５０の周囲の画像を取得する機器である。カメラ１２は、取得した画像を自己位置推定部２６へ送信する。 FIG. 2 is a block configuration diagram showing the block configuration of a moving object 50 having the self-position estimation device 1 according to this embodiment. As shown in FIG. 2 , the moving body 50 includes a travel section 11 , a camera 12 and a control section 20 . The traveling unit 11 is a driving system such as a motor that generates a driving force for causing the moving body 50 to travel. The camera 12 (image acquisition unit) is a device that acquires images around the moving body 50 . Camera 12 transmits the acquired image to self-position estimation unit 26 .

制御部２０は、移動体５０を統括的に管理するＥＣＵ[Electronic Control Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。制御部２０は、経路計画部２１と、指令速度計算部２２と、通信部２３と、記憶部２４と、自己位置推定部２６（抽出部、推定部）と、オドメトリ計算部２７と、自己位置決定部２８と、評価部３１と、切替部３２と、を備える。このうち、記憶部２４、自己位置推定部２６、オドメトリ計算部２７、自己位置決定部２８、評価部３１、切替部３２、及びカメラ１２によって自己位置推定装置１が構成される。 The control unit 20 includes an ECU (Electronic Control Unit) that manages the moving body 50 in an integrated manner. The ECU is an electronic control unit having a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], a CAN [Controller Area Network] communication circuit, and the like. In the ECU, for example, programs stored in the ROM are loaded into the RAM, and the programs loaded into the RAM are executed by the CPU, thereby realizing various functions. The control unit 20 includes a route planning unit 21, a command speed calculation unit 22, a communication unit 23, a storage unit 24, a self-position estimation unit 26 (extraction unit, estimation unit), an odometry calculation unit 27, a self-position A determination unit 28 , an evaluation unit 31 , and a switching unit 32 are provided. The storage unit 24 , the self-position estimation unit 26 , the odometry calculation unit 27 , the self-position determination unit 28 , the evaluation unit 31 , the switching unit 32 and the camera 12 constitute the self-position estimation device 1 .

経路計画部２１は、移動体５０が移動する経路を計画する。経路計画部２１は、作業場Ｅの中の出発位置と目的位置とを設定すると共に、目的位置までの経路を計画する。経路計画部２１は、計画した経路の情報を指令速度計算部２２へ送信する。指令速度計算部２２は、走行部１１に対する指令速度、すなわちモータに対する指令回転数を計算する。指令速度計算部２２は、経路計画部２１から送信された経路、及び自己位置決定部２８から送信された自己位置に基づいて、指令回転数を計算する。通信部２３は、走行部１１との間で通信を行う。通信部２３は、走行部１１に対して走行に必要な制御信号を送信する。なお、通信部２３は、図示されないエンコーダからのエンコーダ値を取得すると共に、当該エンコーダ値をオドメトリ計算部２７に送信する。 The route planning unit 21 plans a route along which the moving object 50 moves. The route planning unit 21 sets a starting position and a target position in the workplace E, and plans a route to the target position. The route planning section 21 transmits information on the planned route to the command speed calculating section 22 . A command speed calculation unit 22 calculates a command speed for the traveling unit 11, that is, a command rotation speed for the motor. The command speed calculator 22 calculates the command rotation speed based on the route sent from the route planner 21 and the self-position sent from the self-position determiner 28 . The communication unit 23 communicates with the traveling unit 11 . The communication unit 23 transmits control signals necessary for running to the running unit 11 . The communication unit 23 acquires an encoder value from an encoder (not shown) and transmits the encoder value to the odometry calculation unit 27 .

次に、自己位置推定装置１の各構成要素について説明する。記憶部２４は、自己位置推定に必要なデータベースを記憶する。データベースは、予め位置情報と、当該位置で取得された画像から抽出された特徴と、を関連付けた情報群である。記憶部２４は、自己位置推定部２６に対してデータベースを送信する。 Next, each component of the self-position estimation device 1 will be described. The storage unit 24 stores a database necessary for self-position estimation. A database is a group of information in which position information is associated in advance with features extracted from an image acquired at that position. Storage unit 24 transmits the database to self-position estimation unit 26 .

自己位置推定部２６は、カメラ１２で取得された画像から特徴を抽出する。また、自己位置推定部２６は、カメラ１２で取得された画像から抽出された特徴と、記憶部２４から送信されたデータベースとをマッチングさせることで、移動体５０の自己位置を推定する。自己位置推定部２６は、推定した自己位置を自己位置決定部２８へ送信する。 A self-position estimation unit 26 extracts features from the image acquired by the camera 12 . The self-position estimation unit 26 also estimates the self-position of the moving body 50 by matching features extracted from the image acquired by the camera 12 with the database transmitted from the storage unit 24 . The self-position estimation unit 26 transmits the estimated self-position to the self-position determination unit 28 .

オドメトリ計算部２７は、通信部２３から取得したエンコーダ値に基づいて、オドメトリによる自己位置を計算する。オドメトリ計算部２７は、カメラ１２の画像によることなく、容易な計算によって自己位置を取得することができる。オドメトリ計算部２７は、オドメトリによる自己位置を自己位置決定部２８へ送信する。自己位置決定部２８は、自己位置推定部２６からの自己位置と、オドメトリ計算部２７からの自己位置を総合的に判断し、移動体５０の自己位置を決定する。自己位置決定部２８は、オドメトリ計算部２７からの自己位置をベースとしつつ、画像を用いた自己位置推定部２６からの自己位置推定結果を用いて、オドメトリ誤差を補正することで、自己位置を決定する。自己位置決定部２８は、決定した自己位置を指令速度計算部２２へ送信する。 The odometry calculation unit 27 calculates the self-position by odometry based on the encoder values acquired from the communication unit 23 . The odometry calculation unit 27 can acquire the self-position by simple calculation without using the image of the camera 12 . The odometry calculation unit 27 transmits the self-position by odometry to the self-position determination unit 28 . The self-position determination unit 28 comprehensively judges the self-position from the self-position estimation unit 26 and the self-position from the odometry calculation unit 27 to determine the self-position of the moving body 50 . Based on the self-position from the odometry calculation unit 27, the self-position determination unit 28 corrects the odometry error using the self-position estimation result from the self-position estimation unit 26 using the image, thereby determining the self-position. decide. Self-position determination unit 28 transmits the determined self-position to command speed calculation unit 22 .

ここで、図３～図６を参照して、データベースの作成方法について説明する。データベースの作成は、実際に移動体５０が自己位置を推定しながら作業場Ｅで作業を行うよりも前段階において、予め行われる。データベースの作成は、作業場Ｅのうち、走行に重要なポイントにおいて画像を取得し、位置推定に必要な情報を算出してデータベース化して、作業場Ｅの地図に紐付けることによってなされる。重要なポイントは、例えば、図３において「１」～「１２」までの番号が付された位置である。以降の説明においては、「１」の番号の位置を「第１重要ポイント」と称するものとする。他の番号が付された場所も同様に「第ｎ重要ポイント」と称される。なお、ここでは、データベース作成のために、図２に示す移動体５０を用いるものとして説明する。後述のように、自己位置推定部２６が画像から特徴を抽出する機能や画像同士をマッチングする機能を有しているため、自己位置推定部２６がデータベース作成のための各種処理を行うものとする。しかし、データベース作成のために用いられる機器は、特に限定されず、以降の処理を実行できる機器であれば、どのようなものを採用してもよい。 Here, a method for creating a database will be described with reference to FIGS. 3 to 6. FIG. The creation of the database is performed in advance before the moving body 50 actually performs work at the workplace E while estimating its own position. The database is created by acquiring images of important points for traveling in the workplace E, calculating information necessary for position estimation, creating a database, and linking the information to the map of the workplace E. FIG. Important points are, for example, the positions numbered from "1" to "12" in FIG. In the following description, the position of the number "1" shall be referred to as the "first important point". Other numbered locations are similarly referred to as the "nth key point". It should be noted that the description here is based on the assumption that the moving body 50 shown in FIG. 2 is used for creating the database. As will be described later, since the self-position estimation unit 26 has a function of extracting features from images and a function of matching images, it is assumed that the self-position estimation unit 26 performs various processes for creating a database. . However, the device used for creating the database is not particularly limited, and any device may be adopted as long as it can execute the subsequent processing.

図４は、データベースの作成方法を示すフローチャートである。まず、カメラ１２は、データベースにしたい画像を１枚取得すると共に、その周辺の画像を１枚（複数でも可）取得する（ステップＳ１０：画像取得ステップ）。例えば、第１重要ポイントにおける画像をデータベースにする場合、カメラ１２は、第１重要ポイントで画像を１枚取得し、当該第１重要ポイントの近くから別の画像を取得する。次に、自己位置推定部２６は、特徴を抽出できるように、画像の前処理を行う（ステップＳ２０）。例えば、カメラ１２は、広範囲を撮影できるように魚眼レンズを有する場合がある。このときは、画像中の物体が歪んで映っているため、前処理を行って、実際の見え方に近い画像に調整する。 FIG. 4 is a flow chart showing a method of creating a database. First, the camera 12 acquires one image to be stored in the database, and also acquires one (or a plurality of) images around it (step S10: image acquisition step). For example, if the database is images at a first point of interest, the camera 12 captures one image at the first point of interest and another image near the first point of interest. Next, the self-position estimation unit 26 preprocesses the image so that features can be extracted (step S20). For example, camera 12 may have a fisheye lens so that it can capture a wide range. In this case, since the object in the image appears distorted, preprocessing is performed to adjust the image so that it looks closer to the actual appearance.

次に、自己位置推定部２６は、二枚の画像からそれぞれ特徴を抽出する（ステップＳ３０：抽出ステップ）。ここで、図５を参照して、画像中の特徴の抽出の方法について説明する。図５は、特徴を抽出する方法を説明するための図である。図５（ａ）に示すように、自己位置推定部２６は、判定画素Ｘと周囲画素（ここでは１６画素）の輝度を比較することで、「明」「暗」「同」の三パターンに層別する。例えば、自己位置推定部２６は、「判定画素（Ｘ）－周囲画素（ｉ）＞明暗閾値」という関係が成り立つ周囲画素は「明」と判定し、「判定画素（Ｘ）－周囲画素（ｉ）＜明暗閾値」という関係が成り立つ周囲画素は「暗」と判定し、「（判定画素（Ｘ）－周囲画素（ｉ））の絶対値＜明暗閾値」という関係が成り立つ周囲画素は「同」と判定する。 Next, the self-position estimation unit 26 extracts features from each of the two images (step S30: extraction step). Here, a method for extracting features in an image will be described with reference to FIG. FIG. 5 is a diagram for explaining a method of extracting features. As shown in FIG. 5A, the self-position estimation unit 26 compares the brightness of the determination pixel X and the surrounding pixels (here, 16 pixels) to determine three patterns of "bright", "dark", and "same". Stratify. For example, the self-position estimating unit 26 determines that surrounding pixels satisfying the relationship of “determined pixel (X)−surrounding pixel (i)>light/dark threshold” are “bright”, and “determined pixel (X)−surrounding pixel (i )<brightness/darkness threshold” is determined to be “dark”, and the surrounding pixels are determined to be “same” if the relationship of “(determination pixel (X)−surrounding pixel (i))<brightness/darkness threshold” is satisfied). I judge.

ここで、自己位置推定部２６は、「明」または「暗」の周囲画素の連続数がコーナー閾値以上となった場合、判定画素Ｘを画像中の特徴として抽出する。例えば、コーナー閾値を「１２」とした場合、図５（ｂ）の判定画素Ｘは「明」の周囲画素が１２連続以上であるため、特徴として抽出される。図５（ｃ）の判定画素Ｘは「明」の周囲画素が１１連続しかないため、判定画素Ｘは特徴ではないものとして破棄される。これにより、図６に示すように、画像ＰＣ中の棚、床、天井、壁などの構造物のコーナー部などが特徴（特徴点ＦＰ）として抽出される。その他、荷物、設置物、移動体などが画像に写っている場合、それらの物体のコーナー部も特徴として抽出される。 Here, when the number of consecutive "bright" or "dark" surrounding pixels is greater than or equal to the corner threshold, the self-position estimation unit 26 extracts the determination pixel X as a feature in the image. For example, when the corner threshold is set to "12", the determination pixel X in FIG. 5B has 12 or more consecutive "bright" surrounding pixels, and is extracted as a feature. Since the judging pixel X in FIG. 5(c) has only 11 consecutive "bright" surrounding pixels, the judging pixel X is discarded as having no feature. As a result, as shown in FIG. 6, corners of structures such as shelves, floors, ceilings, and walls in the image PC are extracted as features (feature points FP). In addition, when baggage, installed objects, moving objects, and the like appear in the image, the corners of these objects are also extracted as features.

本明細書では、特徴として抽出された画素を「特徴点ＦＰ」と称する場合がある。なお、自己位置推定に用いられる画像中の特徴は、点である場合のみならず、線や所定形状などである場合もある。すなわち、特徴は、画像中において特徴的な部分として画像処理によって抽出可能な部分であり、且つ、他の画像で抽出したものとマッチング可能な部分であれば、どのような態様であるかは限定されない。 In this specification, pixels extracted as features may be referred to as "feature points FP". Note that the features in the image used for self-position estimation are not limited to points, but may be lines, predetermined shapes, and the like. In other words, the feature is a part that can be extracted by image processing as a characteristic part in the image, and if it is a part that can be matched with what is extracted from another image, there is no limit to what kind of aspect it is. not.

図４に戻り、自己位置推定部２６は、二枚の画像同士の特徴をマッチングする（ステップＳ４０）。そして、自己位置推定部２６は、特徴の３次元復元を行い、データベースとして登録する。データベースでは、重要ポイント（画像が取得された位置）の位置情報と、画像中の特徴の画像座標と、特徴の３次元座標とが、関連付けられた形で登録されている。なお、位置情報には、撮影時のカメラ１２の姿勢も含まれる。例えば、図７に示すように、重要ポイントにおける画像ＰＣ１中では、特徴点Ｇ，Ｒ，Ｂが抽出されており、それらの画像座標が特定されている。また、画像ＰＣ１が取得された場所の位置情報も特定されている。重要ポイントの周囲で取得された画像ＰＣ２中でも、特徴点Ｇ，Ｒ，Ｂが抽出されており、それらの画像座標が特定されている。また、画像ＰＣ２が取得された場所の位置情報も特定されている。周囲の撮影位置と、重要ポイントとの位置関係は、オドメトリ値を紐付けたり、画像から推定するなどの方法で把握される。自己位置推定部２６は、画像ＰＣ１と画像ＰＣ２の特徴同士をマッチングする。これにより、自己位置推定部２６は、三角測量の要領で、特徴点Ｇ，Ｒ，Ｂの三次元座標を取得することができる。 Returning to FIG. 4, the self-position estimation unit 26 matches the features of the two images (step S40). Then, the self-position estimation unit 26 performs three-dimensional reconstruction of the features and registers them as a database. In the database, the position information of the important point (the position where the image was acquired), the image coordinates of the features in the image, and the three-dimensional coordinates of the features are registered in an associated form. The position information also includes the attitude of the camera 12 at the time of shooting. For example, as shown in FIG. 7, feature points G, R, and B are extracted in an image PC1 at important points, and their image coordinates are specified. Also, the position information of the place where the image PC1 was acquired is specified. Feature points G, R, and B are also extracted from the image PC2 acquired around the important point, and their image coordinates are specified. In addition, the positional information of the place where the image PC2 was acquired is also specified. The positional relationship between surrounding shooting positions and important points is grasped by methods such as linking odometry values or estimating from images. The self-position estimation unit 26 matches the features of the images PC1 and PC2. As a result, the self-position estimation unit 26 can obtain the three-dimensional coordinates of the feature points G, R, and B in the manner of triangulation.

図４に戻り、ステップＳ５０の処理が終了すると、一枚の画像のデータベース化が終了する。移動体５０は、次の重要ポイントへ移動し、当該重要ポイントにてカメラ１２で画像を取得して、再び図４の処理を行う。このようにして、作業場Ｅの全ての重要ポイントでの画像のデータベース化を行う。作成されたデータベースは、記憶部２４に格納される。 Returning to FIG. 4, when the process of step S50 is completed, the creation of a database of one image is completed. The moving body 50 moves to the next important point, acquires an image with the camera 12 at the relevant important point, and performs the processing of FIG. 4 again. In this way, a database of images at all important points of the workplace E is created. The created database is stored in the storage unit 24 .

次に、図８及び図９を参照して、移動体５０の自動走行の方法、及び自動走行のための自己位置推定部２６による自己位置推定方法について説明する。例えば、移動体５０は、図８に示す現在位置ＳＴから、目標位置ＧＬである第８重要ポイントまで自動走行するものとする。このとき、自己位置推定部２６は、移動体５０が現在どこに存在しているかを推定する。これにより、自己位置決定部２８は、現在位置ＳＴが「第１０重要ポイントから東へ２ｍ」であると決定できる。そして、経路計画部２１は、「第１１重要ポイントまで東に４８ｍ、第８重要ポイントまで北へ１６ｍ」という経路を計画する。これにより、移動体が自動走行を行う。 Next, with reference to FIGS. 8 and 9, a method of automatic travel of the moving body 50 and a self-position estimation method by the self-position estimator 26 for automatic travel will be described. For example, the moving body 50 automatically travels from the current position ST shown in FIG. 8 to the eighth important point, which is the target position GL. At this time, the self-position estimation unit 26 estimates where the moving body 50 currently exists. As a result, the self-position determining unit 28 can determine that the current position ST is "2 m east of the tenth important point". Then, the route planning unit 21 plans a route "48 m east to the 11th important point and 16 m north to the 8th important point". As a result, the moving body automatically travels.

図９は、移動体５０の自己位置の推定方法を示すフローチャートである。自己位置推定部２６は、移動体５０の自己位置を推定するために図９に示す処理を実行する。図９に示すように、自己位置推定部２６は、カメラ１２から移動体５０の走行中の画像を取得する（ステップＳ１１０：画像取得ステップ）。例えば、カメラ１２は、第１０重要ポイント付近の現在位置ＳＴで画像を取得する（図８参照）。次に、自己位置推定部２６は、特徴を抽出できるように、画像の前処理を行う（ステップＳ１２０）。次に、自己位置推定部２６は、走行中の画像から特徴を抽出する（ステップＳ１３０：抽出ステップ）。なお、ステップＳ１２０，Ｓ１３０では、図４のステップＳ２０，Ｓ３０と同趣旨の処理がなされる。これにより、図６のような画像ＰＣが取得された場合には、特徴点ＦＰが取得される。 FIG. 9 is a flow chart showing a method for estimating the self-position of the moving body 50. As shown in FIG. The self-position estimating unit 26 executes the processing shown in FIG. 9 to estimate the self-position of the moving body 50 . As shown in FIG. 9, the self-position estimation unit 26 acquires an image of the moving body 50 during running from the camera 12 (step S110: image acquisition step). For example, the camera 12 acquires an image at the current position ST near the tenth significant point (see FIG. 8). Next, the self-position estimation unit 26 preprocesses the image so that features can be extracted (step S120). Next, the self-position estimating unit 26 extracts features from the running image (step S130: extraction step). In steps S120 and S130, the same process as steps S20 and S30 in FIG. 4 is performed. Thereby, when the image PC as shown in FIG. 6 is obtained, the feature points FP are obtained.

次に、自己位置推定部２６は、ステップＳ１３０で抽出した特徴と、データベースの画像の特徴とをマッチングさせる（ステップＳ１４０：推定ステップ）。そして、自己位置推定部２６は、移動体５０の自己位置を推定する（ステップＳ１５０：推定ステップ）。 Next, the self-position estimation unit 26 matches the feature extracted in step S130 with the feature of the image in the database (step S140: estimation step). Then, the self-position estimation unit 26 estimates the self-position of the moving body 50 (step S150: estimation step).

例えば、移動体５０の走行中に、図６に示す画像ＰＣに類似する画像が得られた場合、自己位置推定部２６は、図６のものと類似する複数の特徴点ＦＰを抽出することができる。そして、自己位置推定部２６は、当該特徴点と、データベースの画像中の特徴点とを照らし合わせる。データベース作成時に第１０重要ポイントで図６に示す画像ＰＣが得られ、図６に示す複数の特徴点ＦＰが抽出されていた場合、自己位置推定部２６は、ステップＳ１３０で抽出された特徴点と、図６に示す特徴点ＦＰとをマッチングさせることができる。なお、特徴点同士をマッチングさせる方法としては、例えば、特徴点の特徴量記述子を計算し、データベースの特徴点の中から最も距離が小さい特徴点をマッチングさせる方法が挙げられるが、方法は特に限定されず、公知の方法を用いればよい。 For example, when an image similar to the image PC shown in FIG. 6 is obtained while the moving body 50 is running, the self-position estimation unit 26 can extract a plurality of feature points FP similar to those shown in FIG. can. Then, the self-position estimation unit 26 compares the feature points with feature points in the image of the database. When the image PC shown in FIG. 6 is obtained at the tenth important point at the time of database creation, and a plurality of feature points FP shown in FIG. , can be matched with the feature points FP shown in FIG. As a method of matching feature points, for example, there is a method of calculating the feature amount descriptor of the feature points and matching the feature point with the smallest distance among the feature points in the database. There is no limitation, and a known method may be used.

ここで、走行中に撮影した場所が、第１０重要ポイントからずれており、走行中に撮影したときの姿勢が、データベース作成時の撮影の姿勢からずれている場合、走行中に撮影された画像及び特徴点の画像座標は、図６の画像ＰＣ及び特徴点ＦＰの画像座標から若干のずれが生じている。従って、ステップＳ１５０では、自己位置推定部２６は、データベースから任意の３点の特徴点の座標を、走行中の画像の３点の特徴点に紐付ける。そして、自己位置推定部２６は、公知の３点法の技術を用いて、移動体５０の位置及び姿勢を推定する。なお、ステップＳ１５０に用いられる３点の特徴点は、画像中に多数存在する特徴点の中から、ランダムで選ばれる。 Here, if the location photographed while running is deviated from the 10th important point and the posture taken during running is deviated from the posture taken when the database was created, the image captured during running and the image coordinates of the feature points are slightly deviated from the image coordinates of the image PC and the feature points FP in FIG. Therefore, in step S150, the self-position estimating unit 26 associates the coordinates of any three feature points from the database with the three feature points of the running image. Then, the self-position estimator 26 estimates the position and orientation of the moving object 50 using a known 3-point method. Note that the three feature points used in step S150 are randomly selected from a large number of feature points present in the image.

次に、図２に示す評価部３１、及び切替部３２について詳細に説明する。評価部３１は、自己位置推定部２６の推定精度を評価する。ここで、図１０を参照して、データベースに登録されている位置情報に対応する位置からの距離と、自己位置の推定精度との関係について説明する。図１０のグラフ上段側の「走行」と示された直線上にプロットされたドットは、データベースに登録されている位置情報に対応する位置を示す。図１０の下段側には、移動体５０の走行範囲の各位置における、データベースに登録されている位置情報に対応する位置からの距離を示すグラフと、自己位置の推定結果の誤差が示されている。当該グラフは、事前に行われた実験の結果を示している。データベースに登録されている位置情報に対応する位置とは、前述の「第１～１２重要ポイント」の位置であり、事前にデータベース作成のために画像を取得した位置である。走行中の撮影位置（すなわち、自己位置推定を行う位置）が、各重要ポイントから離れれば離れるほど、データベースに登録されているものから画像の見え方の変化が大きくなる。従って、図１０に示すように、各重要ポイントからの距離が離れるほど、自己位置推定部２６の推定精度が低下する。 Next, the evaluation unit 31 and the switching unit 32 shown in FIG. 2 will be described in detail. The evaluation unit 31 evaluates the estimation accuracy of the self-position estimation unit 26. FIG. Here, with reference to FIG. 10, the relationship between the distance from the position corresponding to the position information registered in the database and the self-position estimation accuracy will be described. Dots plotted on the straight line indicated as "travel" on the upper side of the graph in FIG. 10 indicate positions corresponding to the position information registered in the database. The lower part of FIG. 10 shows a graph showing the distance from the position corresponding to the position information registered in the database at each position in the travel range of the mobile body 50, and the error in the self-position estimation result. there is The graph shows the results of previous experiments. The positions corresponding to the position information registered in the database are the positions of the "first to twelfth important points" described above, and are the positions where the images were acquired in advance for creating the database. The farther away the photographing position (that is, the position at which self-position estimation is performed) while running from each important point, the greater the change in appearance of the image from that registered in the database. Therefore, as shown in FIG. 10, the estimation accuracy of the self-position estimation unit 26 decreases as the distance from each important point increases.

具体的に、評価部３１は、特徴とデータベースとのマッチングに基づいて推定精度を評価する。評価部３１は、自己位置推定部２６によって抽出された特徴点ＦＰと、データベースに登録された画像の特徴点ＦＰとのマッチングを行う。評価部３１は、このときのマッチング成功数（またはマッチング成功割合）が高いときは自己位置推定部２６の推定精度が高いと評価し、低いときは自己位置推定部２６の推定精度が低いと評価する。評価部３１は、マッチング成功数（マッチング成功割合）に対して、予め閾値を設定し、当該閾値以上のときに、推定精度が高いと評価する。なお、閾値は、固定値であってもよく、事前に取得した画像から推定した値であってもよい。 Specifically, the evaluation unit 31 evaluates the estimation accuracy based on matching between the features and the database. The evaluation unit 31 performs matching between the feature points FP extracted by the self-position estimation unit 26 and the feature points FP of images registered in the database. The evaluation unit 31 evaluates that the estimation accuracy of the self-position estimation unit 26 is high when the matching success number (or matching success rate) at this time is high, and evaluates that the estimation accuracy of the self-location estimation unit 26 is low when it is low. do. The evaluation unit 31 sets a threshold in advance for the number of matching successes (matching success rate), and evaluates that the estimation accuracy is high when the number is equal to or greater than the threshold. Note that the threshold may be a fixed value or a value estimated from an image acquired in advance.

具体的に、図１１（ａ）に示すように、特徴点Ｒ，Ｇ，Ｂを用いて３点法で自己位置推定がなされた場合、評価部３１は、当該３点の特徴点Ｒ，Ｇ，Ｂ以外の特徴点ＦＰについてのマッチングの成否の判断を自動的に行う。図１１（ｂ）に示すように、３点の特徴点Ｒ，Ｇ，Ｂ以外の特徴点ＦＰのマッチングの成否を判断するとき、データベースの画像ＰＣ１の画像座標中では、判定対象の特徴点ＦＰは「特徴点ＦＰ１」で示され、走行中の画像ＰＣ２の画像座標中では、判定対象の特徴点ＦＰは「特徴点ＦＰ２」で示される。評価部３１は、特徴点ＦＰ１の三次元座標点を画像ＰＣ２上に再投影する。当該再投影された特徴点ＦＰ１は、画像ＰＣ２の画像座標中では「特徴点ＦＰ２ａ」と示される。評価部３１は、特徴点ＦＰ２ａと特徴点ＦＰ１との間の誤差の大きさを取得すると共に、当該誤差が閾値以下であるか否かを判定する。評価部３１は、誤差が閾値以下である場合、判定対象に係る特徴点ＦＰのマッチングが成功すると判定し、マッチング成功数のカウントを一つ増やす。一方、評価部３１は、誤差が閾値より大きい場合、判定対象に係る特徴点ＦＰのマッチングは失敗であると判定し、カウントしない。 Specifically, as shown in FIG. 11A, when self-position estimation is performed by the three-point method using feature points R, G, and B, the evaluation unit 31 determines the three feature points R, G , B is automatically determined as to whether the matching is successful or not. As shown in FIG. 11B, when judging the success or failure of matching of feature points FP other than the three feature points R, G, and B, the image coordinates of the image PC1 in the database include the feature points FP is indicated by "feature point FP1", and in the image coordinates of the running image PC2, the feature point FP to be determined is indicated by "feature point FP2". The evaluation unit 31 reprojects the three-dimensional coordinate point of the feature point FP1 onto the image PC2. The reprojected feature point FP1 is indicated as "feature point FP2a" in the image coordinates of the image PC2. The evaluation unit 31 acquires the magnitude of the error between the feature points FP2a and FP1, and determines whether or not the error is equal to or less than a threshold. When the error is equal to or less than the threshold, the evaluation unit 31 determines that the matching of the feature points FP related to the determination target is successful, and increments the matching success count by one. On the other hand, when the error is larger than the threshold, the evaluation unit 31 determines that the matching of the feature points FP related to the determination target is unsuccessful, and does not count.

切替部３２は、評価部３１による評価結果に基づいて、自己位置推定部２６による自己位置の推定結果を走行支援に用いるか否かを切り替える。すなわち、切替部３２は、評価部３１による評価が高い推定結果の場合は、自己位置推定部２６による推定結果を走行支援で用いられるようにする。具体的には、切替部３２は、自己位置決定部２８において、自己位置推定部２６の推定結果が用いられるように設定を行う。これにより、自己位置決定部２８は、画像を用いた自己位置推定部２６からの自己位置推定結果を用いて、オドメトリ誤差を補正することで、自己位置を決定する。一方、切替部３２は、評価部３１による評価結果が低い推定結果の場合は、自己位置推定部２６による推定結果が走行支援で用いられないようにする。すなわち、切替部３２は、評価部３１による評価結果が低い場合、移動体５０の走行部１１からの走行情報のみに基づく走行支援に切り替える。ここでの走行情報とは、走行部１１からのエンコーダ値に基づくオドメトリである。具体的には、切替部３２は、自己位置決定部２８において、自己位置推定部２６の推定結果が用いられないように設定を切り替える。これにより、自己位置決定部２８は、画像を用いた自己位置推定部２６からの自己位置推定結果を用いずに、オドメトリ誤差を補正することなく、自己位置を決定する。 The switching unit 32 switches whether to use the estimation result of the self-position by the self-position estimation unit 26 for driving support based on the evaluation result by the evaluation unit 31 . That is, when the estimation result obtained by the evaluation unit 31 is highly evaluated, the switching unit 32 allows the estimation result by the self-position estimation unit 26 to be used for driving assistance. Specifically, the switching unit 32 sets the self-position determining unit 28 to use the estimation result of the self-position estimating unit 26 . Thereby, the self-position determination unit 28 determines the self-position by correcting the odometry error using the self-position estimation result from the self-position estimation unit 26 using the image. On the other hand, when the evaluation result by the evaluation unit 31 is a low estimation result, the switching unit 32 prevents the estimation result by the self-position estimation unit 26 from being used for driving assistance. That is, when the evaluation result by the evaluation unit 31 is low, the switching unit 32 switches to the driving support based only on the driving information from the driving unit 11 of the moving object 50 . The travel information here is odometry based on encoder values from the travel unit 11 . Specifically, the switching unit 32 switches settings so that the estimation result of the self-position estimating unit 26 is not used in the self-position determining unit 28 . Accordingly, the self-position determination unit 28 determines the self-position without using the self-position estimation result from the self-position estimation unit 26 using images and without correcting the odometry error.

図１２は、走行経路における移動体５０の走行支援状況を示す概念図である。図１２の「走行」と示された直線上にプロットされたドットは、データベースに登録されている位置情報に対応する位置（各重要ポイント）を示す。移動体５０は、重要ポイントに近い領域Ｅ１では、自己位置推定部２６からの自己位置推定結果を用いて、オドメトリ誤差を補正することによる、走行支援によって走行する。一方、移動体５０は、重要ポイントから遠い領域Ｅ２では、オドメトリのみに基づいた走行支援によって走行する。 FIG. 12 is a conceptual diagram showing a travel support situation for the mobile body 50 on the travel route. Dots plotted on the straight line indicated as "travel" in FIG. 12 indicate positions (each important point) corresponding to the position information registered in the database. In the area E1 near the important point, the moving body 50 runs with the running assistance by correcting the odometry error using the self-position estimation result from the self-position estimation unit 26. FIG. On the other hand, the moving body 50 travels in the region E2 far from the important point with travel assistance based only on odometry.

次に、図１３を参照して、自己位置の推定精度の評価、及び当該評価結果を用いた移動体の走行支援の方法について説明する。図１３は、自己位置の推定精度の評価、及び当該評価結果を用いた移動体の走行支援の方法を示すフローチャートである。この処理は、走行経路のある位置において、自己位置推定部２６が自己位置を推定した後に実行される。 Next, with reference to FIG. 13, a method of evaluating self-position estimation accuracy and a method of supporting traveling of a moving object using the evaluation result will be described. FIG. 13 is a flow chart showing a method of evaluating self-position estimation accuracy and a method of assisting traveling of a moving object using the evaluation result. This processing is executed after the self-position estimation unit 26 estimates the self-position at a certain position on the travel route.

まず、評価部３１は、自己位置推定部２６による自己位置推定の推定精度を評価する（ステップＳ２１０：評価ステップ）。評価部３１は、自己位置推定部２６で抽出された特徴のマッチング成功数（成功割合）に基づいて、評価を行う。 First, the evaluation unit 31 evaluates the accuracy of self-position estimation by the self-position estimation unit 26 (step S210: evaluation step). The evaluation unit 31 performs evaluation based on the number of successful matchings (success ratio) of the features extracted by the self-position estimation unit 26 .

次に、評価部３１は、ステップＳ２１０における評価結果が高いか否かを判定する（ステップＳ２２０：評価ステップ）。ステップＳ２２０において、評価が高いと判定された場合、切替部３２は、自己位置推定部２６による推定結果を走行支援で用いられるように設定する（ステップＳ２３０：切替ステップ）。一方、ステップＳ２２０において、評価が低いと判定された場合、切替部３２は、自己位置推定部２６による推定結果が走行支援で用いられないようにし、オドメトリのみに基づいて走行支援が行われるように設定する（ステップＳ２４０：切替ステップ）。以上により、図１３に示す処理が終了する。 Next, the evaluation unit 31 determines whether or not the evaluation result in step S210 is high (step S220: evaluation step). When it is determined in step S220 that the evaluation is high, the switching unit 32 sets the estimation result by the self-position estimating unit 26 so as to be used for driving support (step S230: switching step). On the other hand, if it is determined in step S220 that the evaluation is low, the switching unit 32 prevents the estimation result by the self-position estimating unit 26 from being used for driving assistance, so that driving assistance is performed based only on the odometry. Set (step S240: switching step). Thus, the processing shown in FIG. 13 ends.

次に、本実施形態に係る自己位置推定装置１、移動体５０、自己位置推定方法、及び自己位置推定プログラムの作用・効果について説明する。 Next, actions and effects of the self-position estimation device 1, the mobile body 50, the self-position estimation method, and the self-position estimation program according to this embodiment will be described.

自己位置推定装置１は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するためのものである。ここで、例えば、カメラ１２は、データベースが作成されたときの位置（重要ポイント）から離れた位置で画像を取得する場合がある。このような場合、当該画像を用いて行われた自己位置の推定は、推定精度が十分に高くない可能性がある。これに対し、評価部３１は、自己位置推定部２６の推定精度を評価することが出来る。すなわち、評価部３１は、カメラ１２で画像が取得された位置での自己位置の推定精度が高いか低いかの評価を行うことができる。また、切替部３２は、評価部３１による評価結果に基づいて、自己位置推定部２６による自己位置の推定結果を走行支援に用いるか否かを切り替える。これにより、切替部３２は、推定精度が高いと評価された自己位置の推定結果については、走行支援に用いる一方、推定精度が低いと評価された自己位置の推定結果については、走行支援に用いないように切り替えることができる。以上より、適切な移動体５０の走行支援を行うことができる。 The self-position estimation device 1 is for estimating the self-position of a moving object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. Here, for example, the camera 12 may acquire an image at a position distant from the position (important point) when the database was created. In such a case, there is a possibility that the estimation accuracy of the self-location performed using the image is not sufficiently high. On the other hand, the evaluation section 31 can evaluate the estimation accuracy of the self-position estimation section 26 . That is, the evaluation unit 31 can evaluate whether the estimation accuracy of the self-position at the position where the image was acquired by the camera 12 is high or low. Also, the switching unit 32 switches whether to use the estimation result of the self-position by the self-position estimation unit 26 for driving support based on the evaluation result by the evaluation unit 31 . As a result, the switching unit 32 uses the self-position estimation result evaluated as having high estimation accuracy for driving support, while the self-position estimation result evaluated as having low estimation accuracy is used for driving support. You can switch to not. As described above, it is possible to perform appropriate travel support for the moving body 50 .

評価部３１は、特徴とデータベースとのマッチングに基づいて推定精度を評価してよい。これにより、評価部３１は、自己位置推定部２６での推定精度を適切に評価できる。 The evaluation unit 31 may evaluate the estimation accuracy based on matching between the features and the database. Thereby, the evaluation unit 31 can appropriately evaluate the estimation accuracy of the self-position estimation unit 26 .

切替部３２は、評価部３１による評価結果が低い場合、移動体５０の走行部１１からの走行情報のみに基づく走行支援に切り替えてよい。これにより、推定精度の低い自己位置の推定結果に基づいた走行支援がなされることを回避できる。 When the evaluation result by the evaluation unit 31 is low, the switching unit 32 may switch to the driving support based only on the driving information from the driving unit 11 of the moving object 50 . As a result, it is possible to avoid running support based on the self-position estimation result with low estimation accuracy.

本実施形態に係る移動体５０は、上述の自己位置推定装置１を備える。 A moving body 50 according to this embodiment includes the self-position estimation device 1 described above.

本実施形態に係る自己位置推定方法は、自己位置推定方法は、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定方法であって、画像を取得する画像取得ステップと、画像取得ステップで取得された画像から特徴を抽出する抽出ステップと、抽出ステップで抽出された特徴と、データベースとをマッチングさせることで移動体の自己位置を推定する推定ステップと、推定ステップの推定精度を評価する評価ステップと、評価ステップによる評価結果に基づいて、推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を備える。 The self-position estimation method according to the present embodiment is a method for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. A self-localization method for estimating, comprising an image acquisition step of acquiring an image, an extraction step of extracting features from the image acquired in the image acquisition step, the features extracted in the extraction step, and a database An estimation step of estimating the self-position of the mobile object by matching; an evaluation step of evaluating the estimation accuracy of the estimation step; and a switching step of switching whether or not there is.

本実施形態に係る自己位置推定プログラムは、取得された画像から抽出された特徴と、予め位置情報と特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定プログラムであって、画像を取得する画像取得ステップと、画像取得ステップで取得された画像から特徴を抽出する抽出ステップと、抽出ステップで抽出された特徴と、データベースとをマッチングさせることで移動体の自己位置を推定する推定ステップと、推定ステップの推定精度を評価する評価ステップと、評価ステップによる評価結果に基づいて、推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を制御部に実行させる。 A program for estimating the self-position according to the present embodiment is a self-position estimation program for estimating the self-position of a moving object by matching features extracted from an acquired image with a database in which position information and features are associated in advance. An estimation program comprising: an image acquisition step of acquiring an image; an extraction step of extracting features from the image acquired in the image acquisition step; an estimation step of estimating the self-position of the vehicle, an evaluation step of evaluating the estimation accuracy of the estimation step, and switching between whether to use the estimation result of the self-position in the estimation step for driving support based on the evaluation result of the evaluation step. and causing the control unit to execute the steps.

これらの移動体５０、自己位置推定方法、及び自己位置推定プログラムによれば、上述の自己位置推定装置１と同様な効果を得ることができる。 According to the mobile body 50, the self-position estimation method, and the self-position estimation program, the same effect as the self-position estimation device 1 described above can be obtained.

本発明は、上述の実施形態に限定されるものではない。 The invention is not limited to the embodiments described above.

自己位置推定装置１は、上述の実施形態に加えて、更に追加の処理を行ってよい。例えば、評価部３１は、データベースに登録されている位置情報に対応する位置からどの程度離れたら推定精度が低下するかを評価してよい。これにより、推定精度が下がりやすいエリアについては、データベースに登録される位置情報を増やすことなどが可能になる。当該処理は、特に、図４に示すデータベース作成の時に行われてよい。これにより、推定精度が下がりやすいエリア（例えば、たくさんの物が近くに存在するような環境）については、重要ポイントを多く設定することで、データベースを多く設定することができる。これにより、推定精度を向上できる。また、推定精度が下がりにくいエリア（例えば、開けた環境）については、重要ポイントを少なめに設定することができる。これにより、データ容量を低減できる。なお、当該処理は、移動体５０の走行中に行われてもよく、必要に応じて、重要ポイントを後から増やして、データベースを新たに登録してよい。 The self-position estimation device 1 may perform additional processing in addition to the above-described embodiments. For example, the evaluation unit 31 may evaluate how far away from the position corresponding to the position information registered in the database the estimation accuracy decreases. This makes it possible to increase the amount of location information registered in the database for areas where the estimation accuracy tends to decrease. Such processing may be performed, in particular, at the time of creating the database shown in FIG. As a result, a large number of databases can be set by setting a large number of important points in an area where the estimation accuracy tends to decrease (for example, an environment in which many objects exist nearby). This can improve estimation accuracy. In addition, less important points can be set for areas where the estimation accuracy is unlikely to decrease (for example, an open environment). Thereby, the data capacity can be reduced. Note that this process may be performed while the mobile object 50 is running, and if necessary, important points may be added later and newly registered in the database.

また、評価部３１は、移動体５０の走行範囲の中で、推定精度が高いと評価した位置を、移動体５０の位置合わせ用の位置としてよい。例えば、移動体５０が自己位置を見失った場合、当該移動体５０は、全てのデータベースに対し自己位置推定を行い、最も推定精度が高いと評価（例えば最もマッチング成功数が高い）された結果を自己位置と把握したうえで、走行に復帰することができる。 In addition, the evaluation unit 31 may use a position evaluated as having high estimation accuracy in the travel range of the mobile body 50 as the position for alignment of the mobile body 50 . For example, when the moving object 50 loses sight of its own position, the moving object 50 estimates its own position with respect to all databases, and returns the result evaluated as having the highest estimation accuracy (for example, having the highest number of matching successes). After grasping the self-position, it is possible to return to running.

また、評価部３１は、移動体５０の走行範囲の各位置における評価結果に基づいて、データベース自体の評価を行ってよい。例えば、データベースに登録された位置情報に対応する位置に近付いた場合であっても推定精度の評価が良くならない場合、データベース自体が作成に失敗している可能性がある。従って、評価部３１がデータベース自体の評価を行うことで、当該状況に対する対策をとることが可能になる。例えば、管理者に警告を出したり、データベースを作成しなおすなどの処理が行われてよい。なお、データベース自体の評価は、事前のティーチング時に収集した画像を用いて行われてもよく、走行中に行われてもよい。 Moreover, the evaluation unit 31 may evaluate the database itself based on the evaluation results at each position in the travel range of the moving body 50 . For example, if the estimation accuracy does not improve even when the position corresponding to the position information registered in the database is approached, there is a possibility that the creation of the database itself has failed. Therefore, by the evaluation unit 31 evaluating the database itself, it is possible to take countermeasures against the situation. For example, processing such as issuing a warning to the administrator or recreating the database may be performed. The evaluation of the database itself may be performed using images collected during prior teaching, or may be performed during running.

また、評価部３１は、移動体５０の走行範囲の各位置における評価結果に基づいて、移動体５０の経路からの乖離度合の評価を行ってよい。例えば、データベースに登録された位置情報に対応する位置に近付いた場合であっても推定精度の評価が良くならない場合、移動体５０が経路自体から反れてしまっている可能性がある。従って、評価部３１が移動体の経路からの乖離度合の評価を行うことで、当該状況に対する対策をとることが可能になる。この場合、一旦、移動体５０を停止させ、停止した状態で自己位置推定を繰り返しおこなう。自己位置推定装置１は、繰り返し計算結果のばらつきが小さい場合は、位置推定精度が高いとみなし、オドメトリ補正を行う。自己位置推定装置１は、繰り返し計算結果のばらつきが大きい場合は、補正が困難であるとみなし、管理者に警告を出す。 Moreover, the evaluation unit 31 may evaluate the degree of divergence from the route of the mobile body 50 based on the evaluation results at each position in the travel range of the mobile body 50 . For example, if the estimation accuracy is not good even when the moving object 50 approaches the position corresponding to the position information registered in the database, there is a possibility that the moving object 50 deviates from the route itself. Therefore, the evaluation unit 31 evaluates the degree of divergence from the route of the mobile object, so that it is possible to take countermeasures against the situation. In this case, the moving body 50 is temporarily stopped, and self-position estimation is repeatedly performed in the stopped state. The self-position estimation device 1 considers that the position estimation accuracy is high and performs odometry correction when the variations in the repetitive calculation results are small. The self-position estimation device 1 considers that correction is difficult and issues a warning to the administrator when there is a large variation in the repeated calculation results.

上述の実施形態では、移動体５０に自己位置推定装置の構成要素が全て含まれていた。これに代えて、管理部２が自己位置推定装置の一部の機能を有してもよい。 In the above-described embodiment, the moving body 50 includes all the constituent elements of the self-localization device. Alternatively, the management unit 2 may have a partial function of the self-position estimation device.

１…自己位置推定装置、１２…カメラ（画像取得部）、２６…自己位置推定部（抽出部、推定部）、３１…評価部、３２…切替部、５０…移動体。 Reference Signs List 1... self-position estimation device, 12... camera (image acquisition unit), 26... self-position estimation unit (extraction unit, estimation unit), 31... evaluation unit, 32... switching unit, 50... moving object.

Claims (10)

取得された画像から抽出された特徴と、予め位置情報と前記特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定装置であって、
前記画像を取得する画像取得部と、
前記画像取得部で取得された前記画像から前記特徴を抽出する抽出部と、
前記抽出部で抽出された前記特徴と、前記データベースとをマッチングさせることで前記移動体の自己位置を推定する推定部と、
前記推定部の推定精度を評価する評価部と、
前記評価部による評価結果に基づいて、前記推定部による自己位置の推定結果を走行支援に用いるか否かを切り替える切替部と、を備え、
前記推定部は、前記特徴のマッチング成功数が閾値以上のときに、自己位置推定結果を用いて、オドメトリ誤差を補正する、自己位置推定装置。 A self-position estimation device for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database that associates position information and the features in advance,
an image acquisition unit that acquires the image;
an extraction unit for extracting the features from the image acquired by the image acquisition unit;
an estimating unit that estimates the self-position of the moving object by matching the feature extracted by the extracting unit with the database;
an evaluation unit that evaluates the estimation accuracy of the estimation unit;
a switching unit that switches whether to use the estimation result of the self-position by the estimation unit for driving support based on the evaluation result by the evaluation unit ;
The self-position estimation device, wherein the estimation unit corrects an odometry error using a self-position estimation result when the number of successful matchings of the features is equal to or greater than a threshold. 前記評価部は、前記特徴と前記データベースとのマッチングに基づいて前記推定精度を評価する、請求項１に記載の自己位置推定装置。 The self-position estimation device according to claim 1, wherein said evaluation unit evaluates said estimation accuracy based on matching between said feature and said database. 前記切替部は、前記評価部による前記評価結果が低い場合、前記移動体の走行部からの走行情報のみに基づく前記走行支援に切り替える、請求項１又は２に記載の自己位置推定装置。 The self-position estimation device according to claim 1 or 2, wherein, when the evaluation result by the evaluation unit is low, the switching unit switches to the driving assistance based only on the driving information from the driving unit of the moving object. 前記評価部は、前記データベースに登録されている前記位置情報に対応する位置からどの程度離れたら前記推定精度が低下するかを評価する、請求項１～３の何れか一項に記載の自己位置推定装置。 The self-position according to any one of claims 1 to 3, wherein the evaluation unit evaluates how far away from the position corresponding to the position information registered in the database the estimation accuracy decreases. estimation device. 前記評価部は、前記移動体の走行範囲の中で、前記推定精度が高いと評価した位置を、前記移動体の位置合わせ用の位置とする、請求項１～４の何れか一項に記載の自己位置推定装置。 5. The evaluation unit according to any one of claims 1 to 4, wherein the evaluation unit uses a position evaluated as having a high estimation accuracy within a travel range of the moving body as a position for alignment of the moving body. self-localization device. 前記評価部は、前記移動体の走行範囲の各位置における前記評価結果に基づいて、前記データベース自体の評価を行う、請求項１～５の何れか一項に記載の自己位置推定装置。 The self-position estimation device according to any one of claims 1 to 5, wherein the evaluation unit evaluates the database itself based on the evaluation result at each position in the travel range of the mobile body. 前記評価部は、前記移動体の走行範囲の各位置における前記評価結果に基づいて、前記移動体の経路からの乖離度合の評価を行う、請求項１～６の何れか一項に記載の自己位置推定装置。 7. The self according to any one of claims 1 to 6, wherein the evaluation unit evaluates the degree of divergence from the route of the moving body based on the evaluation results at each position in the travel range of the moving body. Position estimator. 請求項１～７の何れか一項に記載された自己位置推定装置を備える移動体。 A moving object comprising the self-position estimation device according to any one of claims 1 to 7. 取得された画像から抽出された特徴と、予め位置情報と前記特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定方法であって、
前記画像を取得する画像取得ステップと、
前記画像取得ステップで取得された前記画像から前記特徴を抽出する抽出ステップと、
前記抽出ステップで抽出された前記特徴と、前記データベースとをマッチングさせることで前記移動体の自己位置を推定する推定ステップと、
前記推定ステップの推定精度を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を備え、
前記推定ステップにおいて、前記特徴のマッチング成功数が閾値以上のときに、自己位置推定結果を用いて、オドメトリ誤差を補正する、自己位置推定方法。 A self-position estimation method for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database that associates position information and the features in advance,
an image acquisition step of acquiring the image;
an extraction step of extracting the features from the image acquired in the image acquisition step;
an estimation step of estimating the self-position of the moving body by matching the features extracted in the extraction step with the database;
an evaluation step of evaluating the estimation accuracy of the estimation step;
a switching step for switching whether to use the estimation result of the self-position in the estimation step for driving support based on the evaluation result in the evaluation step ;
A self-position estimation method , wherein in the estimation step, when the number of successful matchings of the features is equal to or greater than a threshold, self-position estimation results are used to correct an odometry error. 取得された画像から抽出された特徴と、予め位置情報と前記特徴とを関連付けたデータベースとをマッチングさせることで移動体の自己位置を推定するための自己位置推定プログラムであって、
前記画像を取得する画像取得ステップと、
前記画像取得ステップで取得された前記画像から前記特徴を抽出する抽出ステップと、
前記抽出ステップで抽出された前記特徴と、前記データベースとをマッチングさせることで前記移動体の自己位置を推定する推定ステップと、
前記推定ステップの推定精度を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記推定ステップによる自己位置の推定結果を走行支援に用いるか否かを切り替える切替ステップと、を制御部に実行させ、
前記推定ステップにおいて、前記特徴のマッチング成功数が閾値以上のときに、自己位置推定結果を用いて、オドメトリ誤差を補正する、自己位置推定プログラム。 A self-position estimation program for estimating the self-position of a mobile object by matching features extracted from an acquired image with a database that associates position information and the features in advance,
an image acquisition step of acquiring the image;
an extraction step of extracting the features from the image acquired in the image acquisition step;
an estimation step of estimating the self-position of the moving body by matching the features extracted in the extraction step with the database;
an evaluation step of evaluating the estimation accuracy of the estimation step;
causing a control unit to perform a switching step of switching whether or not to use the estimation result of the self-position in the estimation step for driving support based on the evaluation result in the evaluation step ;
A self-position estimation program for correcting an odometry error using a self-position estimation result in the estimation step when the number of successful matchings of the features is equal to or greater than a threshold.
JP2019236689A 2019-12-26 2019-12-26 Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program Active JP7285517B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019236689A JP7285517B2 (en) 2019-12-26 2019-12-26 Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019236689A JP7285517B2 (en) 2019-12-26 2019-12-26 Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program

Publications (2)

Publication Number Publication Date
JP2021105832A JP2021105832A (en) 2021-07-26
JP7285517B2 true JP7285517B2 (en) 2023-06-02

Family

ID=76919282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019236689A Active JP7285517B2 (en) 2019-12-26 2019-12-26 Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program

Country Status (1)

Country Link
JP (1) JP7285517B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (en) 2006-05-30 2007-12-13 Toyota Motor Corp Moving device, and own position estimation method for moving device
JP2012248032A (en) 2011-05-27 2012-12-13 Fujitsu Ltd Map processing method, program and robot system
JP2020017173A (en) 2018-07-27 2020-01-30 株式会社ダイヘン Moving entity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322138A (en) 2006-05-30 2007-12-13 Toyota Motor Corp Moving device, and own position estimation method for moving device
JP2012248032A (en) 2011-05-27 2012-12-13 Fujitsu Ltd Map processing method, program and robot system
JP2020017173A (en) 2018-07-27 2020-01-30 株式会社ダイヘン Moving entity

Also Published As

Publication number Publication date
JP2021105832A (en) 2021-07-26

Similar Documents

Publication Publication Date Title
CN110969655B (en) Method, device, equipment, storage medium and vehicle for detecting parking space
CN110796063B (en) Method, device, equipment, storage medium and vehicle for detecting parking space
US20220036574A1 (en) System and method for obstacle avoidance
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN106950985B (en) Automatic delivery method and device
JP6150531B2 (en) Terrain information acquisition device, terrain information acquisition system, terrain information acquisition method and program
JP7212486B2 (en) position estimator
EP3113148B1 (en) Local location computation device and local location computation method
CN111486848A (en) AGV visual navigation method, system, computer equipment and storage medium
CN110728684B (en) Map construction method and device, storage medium and electronic equipment
CN110816522A (en) Vehicle attitude control method, apparatus, and computer-readable storage medium
JP7285517B2 (en) Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program
JP7283378B2 (en) Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program
JP6184447B2 (en) Estimation apparatus and estimation program
CN111580530A (en) Positioning method, positioning device, autonomous mobile equipment and medium
JP7468396B2 (en) Self-location estimation device, moving body, self-location estimation method, and self-location estimation program
JP7283665B2 (en) Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program
Leishman et al. Robust Motion Estimation with RBG-D Cameras
JP6992344B2 (en) Landmark selection method and landmark selection device
JP2022138037A (en) Information processor, information processing method, and program
JP2022095273A (en) Self-position estimating device, mobile body, self-position estimating method, and self-position estimating program
JP2019211949A (en) Point group matching device, point group matching method and program
CN112558602B (en) Robot positioning method based on image features
CN113465600B (en) Navigation method and device, electronic equipment and storage medium
WO2020203043A1 (en) Drawing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7285517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150