JP7273696B2 - 位置推定装置及びシステム - Google Patents
位置推定装置及びシステム Download PDFInfo
- Publication number
- JP7273696B2 JP7273696B2 JP2019207099A JP2019207099A JP7273696B2 JP 7273696 B2 JP7273696 B2 JP 7273696B2 JP 2019207099 A JP2019207099 A JP 2019207099A JP 2019207099 A JP2019207099 A JP 2019207099A JP 7273696 B2 JP7273696 B2 JP 7273696B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- unit
- sensor
- position estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 230000010365 information processing Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
図1は、第1の実施形態に係るシステムの一例の構成を示す図である。システムは、位置推定装置1と、移動体50とを有している。位置推定装置1は、移動体50と通信できるように構成されている。
・目標位置とその周辺の画像
・目標位置とその周辺の画像の特徴点と特徴量
・画像間の対応付け結果
・目標位置とその周辺の画像の位置
・目標位置の画像の撮影時の移動体の動きに関連する評価情報(例えば速度)
目標位置が複数存在する場合の参照用辞書の登録方法には、1)すべての目標位置についての登録情報をまとめて1つの辞書に登録する方法と、2)目標位置毎の辞書に分ける方法の2種類がある。1)の方法では、辞書の選択をする必要がなくなる反面、参照用辞書に登録されている画像の全てに対して特徴点のマッチングをする必要があるために位置の推定の処理に時間がかかる。また、2)の方法では、必要な目標位置が登録されている参照用辞書に対する処理だけで済むため、位置の推定の処理は短い。一方、2)の方法では、上位システム及び人手等で使用する参照用辞書が指定される必要がある。このように参照用辞書の登録方法1)と2)にはそれぞれメリットとデメリットがある。したがって、必要に応じて参照用辞書の登録方法1)と2)は、使い分けられることが好ましい。
図8は、第2の実施形態に係るシステムの一例の構成を示す図である。第1の実施形態と同様に、システムは、位置推定装置1と、移動体50とを有している。位置推定装置1は、移動体50と通信できるように構成されている。なお、以下の説明において、第1の実施形態において説明した部分については第1の実施形態と同一の参照符号を付すことで説明を省略する。第2の実施形態では、位置推定装置1が処理部24を有している点のみが異なる。なお、処理部24は、例えばCPU101によって実現され得る。
Claims (5)
- 移動体の外部の画像を収集する外界センサと、前記移動体の動きに関する評価情報を収集する内界センサとを有する移動体の前記外界センサで画像が収集されたときに前記内界センサで収集された前記移動体の動きに関連する評価情報と、収集位置と関連付けられている第2の画像に関連付けられた前記第2の画像が収集されたときの前記移動体の動きに関連する評価情報と、の差が一定範囲内であるときに、前記外界センサで収集された画像を前記移動体の位置の推定のための第1の画像として採用すると判定する判定部と、
前記第1の画像と、前記第2の画像とを比較して前記移動体の位置を推定する位置推定部と、
を具備する位置推定装置。 - 同じ収集位置で収集された前記第1の画像と前記第2の画像との比較により、前記第1の画像において前記第2の画像と異なっている部分を欠損箇所として検出する処理部をさらに具備する請求項1に記載の位置推定装置。
- 前記動きに関する評価情報は、前記移動体の速度と前記移動体の角速度との少なくとも何れかを含む請求項1又は2に記載の位置推定装置。
- 前記第2の画像は、前記移動体の動きに関する評価情報が閾値以下のときに撮影された画像である請求項1乃至3の何れか1項に記載の位置推定装置。
- 移動体の外部の画像を収集する外界センサと、前記移動体の内部の状態に関連する情報を収集する内界センサとを有するセンサ情報収集部を具備する移動体と、
前記外界センサで画像が収集されたときに前記内界センサで収集された前記移動体の動きに関連する評価情報と、収集位置と関連付けられている第2の画像に関連付けられた前記第2の画像が収集されたときの前記移動体の動きに関連する評価情報と、の差が一定範囲内であるときに、前記外界センサで収集された画像を前記移動体の位置の推定のための第1の画像として採用すると判定する判定部と、
前記第1の画像と、前記第2の画像とを比較して前記移動体の位置を推定する位置推定部と、
を具備する位置推定装置と、
を有するシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207099A JP7273696B2 (ja) | 2019-11-15 | 2019-11-15 | 位置推定装置及びシステム |
US17/006,967 US11715229B2 (en) | 2019-11-15 | 2020-08-31 | Moving body and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207099A JP7273696B2 (ja) | 2019-11-15 | 2019-11-15 | 位置推定装置及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081852A JP2021081852A (ja) | 2021-05-27 |
JP7273696B2 true JP7273696B2 (ja) | 2023-05-15 |
Family
ID=75908211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019207099A Active JP7273696B2 (ja) | 2019-11-15 | 2019-11-15 | 位置推定装置及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11715229B2 (ja) |
JP (1) | JP7273696B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162013A (ja) | 2015-02-27 | 2016-09-05 | 株式会社日立製作所 | 自己位置推定装置および移動体 |
JP2018165889A (ja) | 2017-03-28 | 2018-10-25 | カシオ計算機株式会社 | 自律移動装置、方法およびプログラム |
US20190068962A1 (en) | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9160980B2 (en) * | 2011-01-11 | 2015-10-13 | Qualcomm Incorporated | Camera-based inertial sensor alignment for PND |
JP6609463B2 (ja) | 2015-11-19 | 2019-11-20 | シャープ株式会社 | 自走式電子機器 |
US10178315B1 (en) * | 2016-06-29 | 2019-01-08 | Amazon Technologies, Inc. | Image capture in a vibrational environment |
US10520943B2 (en) * | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
JP2019067001A (ja) | 2017-09-29 | 2019-04-25 | 日本電産シンポ株式会社 | 移動体 |
JP7151725B2 (ja) * | 2017-12-28 | 2022-10-12 | ソニーグループ株式会社 | 制御装置、および制御方法、プログラム、並びに移動体 |
CN110018688B (zh) | 2019-04-11 | 2022-03-29 | 清华大学深圳研究生院 | 基于视觉的自动引导车定位方法 |
-
2019
- 2019-11-15 JP JP2019207099A patent/JP7273696B2/ja active Active
-
2020
- 2020-08-31 US US17/006,967 patent/US11715229B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162013A (ja) | 2015-02-27 | 2016-09-05 | 株式会社日立製作所 | 自己位置推定装置および移動体 |
JP2018165889A (ja) | 2017-03-28 | 2018-10-25 | カシオ計算機株式会社 | 自律移動装置、方法およびプログラム |
US20190068962A1 (en) | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
Also Published As
Publication number | Publication date |
---|---|
US20210150750A1 (en) | 2021-05-20 |
US11715229B2 (en) | 2023-08-01 |
JP2021081852A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6759307B2 (ja) | センサデータの空間的集約を用いる適応マッピング | |
US9329598B2 (en) | Simultaneous localization and mapping for a mobile robot | |
TWI827649B (zh) | 用於vslam比例估計的設備、系統和方法 | |
Zhang et al. | Visual-lidar odometry and mapping: Low-drift, robust, and fast | |
Kanade et al. | Real-time and 3D vision for autonomous small and micro air vehicles | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP6343670B2 (ja) | 自律移動装置及び自己位置推定方法 | |
JP5276931B2 (ja) | 移動体および移動体の位置推定誤り状態からの復帰方法 | |
JPH03201110A (ja) | 自律走行車の位置方位検出装置 | |
US20210318122A1 (en) | Positioning apparatus capable of measuring position of moving body using image capturing apparatus | |
EP3905213B1 (en) | Positioning apparatus and moving body | |
KR20220005025A (ko) | 동시 위치인식 및 지도작성 방법 | |
US11525697B2 (en) | Limited-sensor 3D localization system for mobile vehicle | |
JP7273696B2 (ja) | 位置推定装置及びシステム | |
US20220084218A1 (en) | System and method for monitoring movements | |
JP2020064029A (ja) | 移動体制御装置 | |
Zhang et al. | A visual slam system with laser assisted optimization | |
JP2023046043A (ja) | 処理システム、制御システム、移動体、撮影位置決定方法及び撮影位置決定プログラム | |
JP7199337B2 (ja) | 位置推定装置、位置推定方法およびプログラム | |
WO2019202878A1 (en) | Recording medium, information processing apparatus, and information processing method | |
JP2021081850A (ja) | 位置推定装置、位置推定方法およびプログラム | |
JP2020076714A (ja) | 位置姿勢推定装置 | |
WO2024004265A1 (ja) | 自己位置推定装置、自己位置推定方法、およびプログラム | |
US20230324199A1 (en) | Information processing apparatus, movable apparatus, information processing method, and storage medium | |
Bonin-Font et al. | Combining obstacle avoidance with robocentric localization in a reactive visual navigation task |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7273696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |