JP7362797B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7362797B2 JP7362797B2 JP2022005838A JP2022005838A JP7362797B2 JP 7362797 B2 JP7362797 B2 JP 7362797B2 JP 2022005838 A JP2022005838 A JP 2022005838A JP 2022005838 A JP2022005838 A JP 2022005838A JP 7362797 B2 JP7362797 B2 JP 7362797B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- orientation
- information
- map element
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims 2
- 238000012937 correction Methods 0.000 claims description 131
- 238000000034 method Methods 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 239000004230 Fast Yellow AB Substances 0.000 description 2
- 239000004231 Riboflavin-5-Sodium Phosphate Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000004229 Alkannin Substances 0.000 description 1
- 239000004234 Yellow 2G Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004172 quinoline yellow Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002151 riboflavin Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000004149 tartrazine Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明に係る情報処理装置の実施形態として、撮像装置であるカメラから入力された画像から得られる特徴点と三次元地図情報の地図要素から得られる特徴点とをマッチングし、カメラの位置姿勢を算出しつつ、三次元地図情報を生成・修正する。所謂、SLAM(Simultaneous Localization and Mapping)を実施する情報処理装置について述べる。例えば、算出した位置姿勢は移動体の制御に用いられることになる。移動体は、例えば、AMR(autonomous mobile robot)やAGV(automatic guides vehicle)、自動運転車、お掃除ロボット、ドローンなどである。本実施形態では、情報処理装置が移動体に搭載される例を説明するが、情報処理装置はネットワークを介して接続されたサーバー上に設けることもできる。
カメラを用いて撮像した画像を用いて作成した三次元地図情報を補正するときに、高速性を重視し、所定の時間内で補正処理を行おうとすると、補正対象にできる地図要素の数は予め固定数に決まる。通常は、予め決まっている固定数の地図要素を用いて狭い範囲で補正処理を行っている。実施形態1においては、予め決まっている数の狭い範囲の地図要素を用いて補正するだけでは、期待する精度の補正ができないと予想される場合でも、高精度に地図を補正する方法について説明する。適応的に補正範囲(すなわち補正する地図要素数)を広げた地図要素のサブセットを選択し、そのサブセットを対象として地図の補正処理を行う。また、以降の実施形態においては、カメラで撮影した画像に含まれる画像特徴と、その画像を撮影したときのカメラ位置姿勢、これらから算出した画像特徴の三次元位置を地図要素とする三次元地図を補正するものとする。
図2は、実施形態1に係る情報処理装置100の機能構成を示す図である。上述したように、情報処理装置100は、撮像装置10であるカメラから入力された画像に基づいてカメラの位置姿勢を算出し、移動体の制御のために移動体制御部(不図示)に位置姿勢を出力する。撮像装置10として、例えば、ステレオカメラを用いることにより、画像特徴点の三次元位置を取得している。
実施形態1では、特徴点毎に選択したキーフレーム間での特徴点位置のユークリッド距離の最大値が所定以上の特徴点の数に基づいて、さらに多くのキーフレームを選択するかどうか判断していた。キーフレームの選択方法は上記に限らず、キーフレームに含まれる特徴点の視点の差が増大するようにキーフレームを選択する方法であればよい。例えば、キーフレーム間での特徴点位置のユークリッド距離の平均値や中央値が所定以上かどうかでより多くのキーフレームを選択するかどうか判断してよい。
実施形態1では、視点の差の大小を、補正対象地図要素数を決定する指標として用いていた。実施形態2では、予想される処理負荷が高い場合は補正対象の地図要素の数をより少なく、処理負荷が低い場合は補正対象の地図要素をより多く、選択する方法について説明する。
本実施形態においては、予測した地図追加処理の合間時間に補正処理可能な最大キーフレーム数を補正処理実施していた。地図精度を向上させることができれば、合間時間に処理可能な最大のキーフレーム数を処理することに限定しない。処理の打ち切りが発生しないよう予測数より所定の数少ないキーフレームを選択してもよいし、実施形態1と組み合わせて、所定の視点の差が得られる合間時間に収まるキーフレーム数を選択してもよい。合間時間に行う地図の補正処理は地図追加処理間に1回に限らず、2回目、3回目…と実行してもよい。多く実行することでより高精度に地図を補正できる。
実施形態では、G140に示した5つのパラメータについてユーザが変更するよう構成していた。ユーザが入力するパラメータは上記に限るものではなく、地図要素決定部111が決定する地図要素の範囲を変え、または地図補正部112の処理時間を変えるものであればなんでもよい。例えば、ユーザが指定する数だけのキーフレームや特徴点を選択して、地図補正するように、各種個数パラメータを入力してもよい。
実施形態1においては、補正対象とする地図要素の数を、予め定められた固定数より増やすことにより、補正対象の地図要素群に含まれる画像上の視点の差の最大値が所定の値以上になるようにする補正方法について述べた。一方、本実施形態では、補正対象の地図要素の間隔を拡大させることにより、補正対象の地図要素群に含まれる画像上の視点の差の最大値が所定の値以上になるようにする補正方法について述べる。
実施形態3では、まず最大の視点の差となる地図要素を選択するが、視点の差が所定の値以上となれば地図要素を選択する方法は他の方法を用いてもよい。例えば、視点の差が所定の値以上となる地図要素の中からランダムに選択してもよいし、S111で選択した地図要素と共通した特徴点数が最大の地図要素を選択してもよい。
本実施形態では、地図要素を追加する間隔を特徴点の距離に応じて、適応的に変化させることにより、補正対象の地図要素の視点の差を拡大する方法について述べる。
実施形態4では、地図要素に含まれる特徴の奥行きの平均値の大きさに応じて追加間隔を決定するが、動的に地図要素の追加間隔を変更して、補正対象の地図要素の視点の差を拡大する方法であれば、これに限らない。実施形態4では、特徴の奥行きの平均値が大きいほど追加間隔を大きく設定していたが、平均値ではなく中央値が大きいほど追加間隔を大きく設定してもよい。 また、位置姿勢や三次元位置情報の分散が大きいほど追加間隔を拡大させてもよいし、地図要素に含まれる特徴の視点の差の大きさの逆数の平均値や中央値が大きいほど追加間隔を大きく設定してもよい。また、予め複数の追加間隔を保持しておき、前述の奥行きの大きさ、位置姿勢の分散の大きさ、特徴の視点の差の大きさの逆数の平均値や中央値の大きさに応じて、追加間隔を予め保持している値に切り替える方式であってもよい。
11 入力部
12 位置姿勢推定部
13 地図要素追加部
100 情報処理装置
110 地図保持部
111 地図要素決定部
112 地図補正部
Claims (18)
- 移動体に搭載された撮像装置で環境を撮影した画像から推定された前記撮像装置の位置姿勢と、前記画像に含まれる特徴点の前記環境における三次元位置情報に基づく地図要素を生成する第1の生成手段と、
異なる複数の位置姿勢で前記撮像装置により撮影された視点の差を有する画像から生成された複数の前記地図要素に基づき、三次元地図情報を生成する第2の生成手段と、
前記三次元地図情報のうちの第1の地図要素群に共通して含まれる共通特徴点の再投影誤差を小さくするように、前記第1の地図要素群に含まれる前記撮像装置の位置姿勢と前記特徴点の三次元位置情報の少なくとも何れか一方を補正する第1の補正手段と、
前記共通特徴点を含む画像の視点の差が所定値以下の場合、前記共通特徴点について前記第1の地図要素群よりも広い視点の差が得られる第2の地図要素群を用いて、前記共通特徴点の再投影誤差を小さくするように、前記第2の地図要素群に含まれる前記撮像装置の位置姿勢と前記特徴点の三次元位置情報の少なくとも何れか一方を補正する第2の補正手段と、を有する情報処理装置。 - 前記第1の補正手段は、前記第1の地図要素群に含まれる前記三次元位置情報を、前記第1の地図要素群に含まれる前記撮像装置の位置姿勢に基づいて前記画像に射影した位置と前記画像における前記特徴点の位置との距離の差が小さくなるように、前記三次元地図情報に含まれる、前記撮像装置の位置姿勢または前記三次元位置情報の少なくとも一方を補正する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第2の補正手段は、前記撮像装置の位置姿勢または前記三次元位置情報の分散が増大するほど、より広い視点の差が得られる地図要素群を前記第2の地図要素群として用いる、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記第2の補正手段は、前記視点の差に基づいて、前記第2の地図要素群を決定する、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記第2の補正手段は、前記第2の地図要素群に含まれる撮像装置の位置から前記三次元位置情報が示す位置までの距離に基づいて、前記第2の地図要素群を決定する、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記第2の補正手段は、前記情報処理装置の処理負荷が低いほどより広い視点の差が得られる地図要素群を前記第2の地図要素群として用いる、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記撮像装置が撮影した画像を入力する入力手段と、
前記入力手段が入力した画像から検出した特徴点および、前記三次元地図情報に基づいて前記撮像装置の位置姿勢を算出する位置姿勢推定手段と、
をさらに有することを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記位置姿勢推定手段は、さらに前記撮像装置の移動速度を算出し、
前記第2の補正手段は、前記撮像装置の移動速度が小さいほど、より多くの地図要素を補正対象に決定する、
ことを特徴とする請求項7に記載の情報処理装置。 - 前記位置姿勢推定手段が推定した位置姿勢と、前記入力手段が入力した画像から検出した特徴点を前記三次元地図情報に追加する地図要素追加手段と、をさらに有する、
ことを特徴とする請求項8に記載の情報処理装置。 - 前記第2の補正手段は、前記地図要素追加手段が地図要素を追加してから次の地図要素を追加するまでの間隔の時間が増大するほど、より多くの地図要素を補正対象に決定する、
ことを特徴とする請求項9に記載の情報処理装置。 - 前記地図要素追加手段は、追加する際の地図要素の追加間隔を決定する
ことを特徴とする請求項9または10に記載の情報処理装置。 - 前記地図要素追加手段は、前記視点の差が所定の値以上となるように、前記地図要素の追加間隔を拡大する、
ことを特徴とする請求項11に記載の情報処理装置。 - 前記地図要素追加手段は、前記撮像装置の位置姿勢と前記三次元位置情報の分散が増大するほど前記地図要素の追加間隔を拡大する、
ことを特徴とする請求項11に記載の情報処理装置。 - 前記地図要素追加手段は、前記特徴点の奥行に基づいて前記地図要素の追加間隔を拡大する、
ことを特徴とする請求項11に記載の情報処理装置。 - 前記地図要素追加手段は、前記特徴点の奥行の平均値または中央値が大きいほど追加間隔を拡大する、
ことを特徴とする請求項14に記載の情報処理装置。 - 前記位置姿勢推定手段が推定した位置姿勢に基づき移動体を制御する制御値を算出する制御手段をさらに有する、
ことを特徴とする請求項7から15の何れか1項に記載の情報処理装置。 - 移動体に搭載された撮像装置で環境を撮影した画像から推定された前記撮像装置の位置姿勢と、前記画像に含まれる特徴点の前記環境における三次元位置情報に基づく地図要素を生成する第1の生成工程と、
異なる複数の位置姿勢で前記撮像装置により撮影された視点の差を有する画像から生成された複数の前記地図要素に基づき、三次元地図情報を生成する第2の生成工程と、
前記三次元地図情報のうちの第1の地図要素群に共通して含まれる共通特徴点の再投影誤差を小さくするように、前記第1の地図要素群に含まれる前記撮像装置の位置姿勢と前記特徴点の三次元位置情報の少なくとも何れか一方を補正する第1の補正工程と、
前記共通特徴点を含む画像の視点の差が所定値以下の場合、前記共通特徴点について前記第1の地図要素群よりも広い視点の差が得られる第2の地図要素群を用いて、前記共通特徴点の再投影誤差を小さくするように、前記第2の地図要素群に含まれる前記撮像装置の位置姿勢と前記特徴点の三次元位置情報の少なくとも何れか一方を補正する第2の補正工程と、
からなる情報処理方法。 - コンピュータを、請求項1から16の何れか1項に記載の情報処理装置の各手段として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/687,375 US11961182B2 (en) | 2021-03-09 | 2022-03-04 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021037805 | 2021-03-09 | ||
JP2021037805 | 2021-03-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022138111A JP2022138111A (ja) | 2022-09-22 |
JP7362797B2 true JP7362797B2 (ja) | 2023-10-17 |
Family
ID=83319547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022005838A Active JP7362797B2 (ja) | 2021-03-09 | 2022-01-18 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11961182B2 (ja) |
JP (1) | JP7362797B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2619742B1 (en) | 2010-09-24 | 2018-02-28 | iRobot Corporation | Systems and methods for vslam optimization |
US9519289B2 (en) * | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
JP7338369B2 (ja) * | 2019-09-27 | 2023-09-05 | 富士通株式会社 | 環境地図調整値算出方法および環境地図調整値算出プログラム |
-
2022
- 2022-01-18 JP JP2022005838A patent/JP7362797B2/ja active Active
- 2022-03-04 US US17/687,375 patent/US11961182B2/en active Active
Non-Patent Citations (2)
Title |
---|
Seungwook Lim et al,Adaptive Sliding Window for hierarchical pose-graph-based SLAM,2012 12th International Conference on Control, Automation and Systems,2012年10月21日,p2153-2158,https://ieeexplore.ieee.org/document/6393207 |
清水 隆史 他1名,微小視差特徴点利用による単眼SLAMの改善,SSII2020 第26回 画像センシングシンポジウム 講演資料集,2020年12月31日 |
Also Published As
Publication number | Publication date |
---|---|
US11961182B2 (en) | 2024-04-16 |
JP2022138111A (ja) | 2022-09-22 |
US20230326131A1 (en) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7663649B2 (en) | Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object | |
US10349033B2 (en) | Three-dimensional map generating and displaying apparatus and method | |
KR102442780B1 (ko) | 장치의 자세 추정 방법 및 그 장치 | |
JP6775969B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102347239B1 (ko) | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 | |
JP3619063B2 (ja) | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 | |
US20110087371A1 (en) | Responsive control method and system for a telepresence robot | |
CN110362193B (zh) | 用手或眼睛跟踪辅助的目标跟踪方法及*** | |
US10755671B2 (en) | Device, method, and program for controlling displaying of survey image | |
CN105404393A (zh) | 低延迟虚拟现实显示*** | |
JP7216775B2 (ja) | ロボットアームの座標系校正装置及び校正方法 | |
WO2019013162A1 (ja) | 情報処理装置、情報処理方法 | |
CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
JP2004086508A (ja) | 3次元形状データに基づく動画の表示制御方法及びナビゲーション装置 | |
JP7362797B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN117136383A (zh) | 使用图像数据对环境进行建模 | |
KR20210015516A (ko) | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 | |
US20240233299A9 (en) | Information processing apparatus and information processing method | |
CN112345798B (zh) | 位置姿势推定装置以及位置姿势推定方法 | |
CN115003983A (zh) | 用于通过动态调整测量噪声协方差进行视觉slam的误差状态卡尔曼滤波器 | |
JP2022075500A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2015197374A (ja) | 3次元形状推定装置及び3次元形状推定方法 | |
US10891805B2 (en) | 3D model establishing device and calibration method applying to the same | |
CN117136382A (zh) | 使用图像数据对环境进行建模 | |
US20210201011A1 (en) | Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7362797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |