JP2021518622A - 自己位置推定、マッピング、およびネットワークトレーニング - Google Patents
自己位置推定、マッピング、およびネットワークトレーニング Download PDFInfo
- Publication number
- JP2021518622A JP2021518622A JP2021500360A JP2021500360A JP2021518622A JP 2021518622 A JP2021518622 A JP 2021518622A JP 2021500360 A JP2021500360 A JP 2021500360A JP 2021500360 A JP2021500360 A JP 2021500360A JP 2021518622 A JP2021518622 A JP 2021518622A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- image
- target environment
- another
- stereo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 66
- 238000013528 artificial neural network Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000006870 function Effects 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 24
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000007787 long-term memory Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 45
- 230000000007 visual effect Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000010276 construction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000001144 postural effect Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
ステレオ画像の対140について、一方の画像内のオーバーラップする各画素iには、他方の画像内に対応する画素がある。オリジナルの右画像Irから左画像
視差マップは、
Q=H×W
によって定義することができ、ここで、Wは画像の幅である。
左画像系列および右画像系列が、トラッキングネットを使用して6自由度変換を別々に推定するために使用される場合、これらの相対的な変換が全く同じになることが望ましい場合がある。これら2グループの姿勢推定間の差異を、左-右姿勢整合性損失として導入することができる。
lkおよびlk+1が、時間kおよびk+1における2つの画像であると仮定されたい。
光学的誤差マップ
シーン中の移動物体は、それにより、深度および姿勢推定のための、シーンの根底にある物理的構造についての高信頼の情報が得られないので、SLAMシステムおいて問題となり得る。したがって、このノイズをできるだけ除去することが望ましい。いくつかの実施形態では、画像のノイズのある画素が、その画像がニューラルネットワークに入力される前に除去され得る。これは、本明細書において説明するマスクを使用して達成され得る。
qth=q0+(100-q0)(1-σk,k+1)
によって決まり、ここで、q0∈(0,100)は、基本定数パーセンタイル(basic constant percentile)である。マスク
dcos=cos(v1,v2)
ここで、v1、v2は、2つの画像の特徴ベクトルである。dcosがしきい値よりも小さいとき、ループ閉じ込みが検出され、2つの対応するノードが大域的接続によって接続される。
110 第1の教師なしニューラルネットワーク、マッピングネット
120 別の教師なしニューラルネットワーク、トラッキングネット
130 損失関数
1400,1...n ステレオ画像対
1500,1...n 第1の画像
1550,1...n 別の画像
200 トラッキングネット
210 ステレオ画像対
2201 第1の層
2202 第2の層
2203 第3の層
2204 第4の層
2205 第5の層
2206 第6の層
2207 第7の層
2208 第8の層
2209 第1の完全接続層
22010 第2の完全接続層
22011 第3の完全接続層
230 6DOF姿勢表現
300 マッピングネット
310 ステレオ画像対
3201 第1の層
3202 第2の層
3203 第3の層
3204 第4の層
3205 第5の層
3206 第6の層
3207 第7の層
3208 第8の層
3209 第9の層
32010 第10の層
32011 第11の層
32012 第12の層
32013 第13の層、最終層
330 深度マップ(深度表現)
400 システム
420 マッピングネット
430 深度表現
440 3D点群
450 トラッキングネット
460 姿勢表現
470 改良された姿勢出力
480 さらに別のニューラルネットワーク、ループネット
490 姿勢グラフ構築アルゴリズム
495 姿勢グラフ最適化アルゴリズム(姿勢グラフオプティマイザ)
Claims (31)
- ターゲット環境の単眼画像系列に応答して前記ターゲット環境を自己位置推定およびマッピングの同時実行を行う方法であって、
前記単眼画像系列を第1のニューラルネットワークおよび別のニューラルネットワークに提供するステップであって、前記第1のニューラルネットワークおよび前記別のニューラルネットワークが、ステレオ画像対の系列、および前記ステレオ画像対の幾何学的特性を定義する1つまたは複数の損失関数を使用して事前トレーニングされた、教師なしニューラルネットワークである、ステップと、
前記単眼画像系列をさらに別のニューラルネットワーク内に提供するステップであって、前記さらに別のニューラルネットワークが、ループ閉じ込みを検出するように事前トレーニングされる、ステップと、
前記第1のニューラルネットワーク、前記別のニューラルネットワーク、および前記さらに別のニューラルネットワークの出力に応答して前記ターゲット環境の自己位置推定およびマッピングの同時実行を行うステップと
を含む、方法。 - 前記1つまたは複数の損失関数が、前記ステレオ画像対の対応する特徴間の関係を定義する空間的制約、および前記ステレオ画像対の系列の連続画像の対応する特徴間の関係を定義する時間的制約を含むことをさらに含む、請求項1に記載の方法。
- 前記第1のニューラルネットワークおよび前記別のニューラルネットワークがそれぞれ、3つ以上のステレオ画像対からなるバッチを前記第1のニューラルネットワークおよび前記別のニューラルネットワークに入力することによって事前トレーニングされることをさらに含む、請求項1または2に記載の方法。
- 前記第1のニューラルネットワークが前記ターゲット環境の深度表現をもたらし、前記別のニューラルネットワークが前記ターゲット環境における姿勢表現をもたらすことをさらに含む、請求項1から3のいずれか一項に記載の方法。
- 前記別のニューラルネットワークが、前記姿勢表現に関連する不確実性の大きさをもたらすことをさらに含む、請求項4に記載の方法。
- 前記第1のニューラルネットワークが、エンコーダ-デコーダタイプのニューラルネットワークであることをさらに含む、請求項1から5のいずれか一項に記載の方法。
- 前記別のニューラルネットワークが、長短期記憶を含んだ再帰型畳み込みニューラルネットワークタイプのニューラルネットワークであることをさらに含む、請求項1から6のいずれか一項に記載の方法。
- 前記さらに別のニューラルネットワークが、前記ターゲット環境の疎特徴表現をもたらすことをさらに含む、請求項1から7のいずれか一項に記載の方法。
- 前記さらに別のニューラルネットワークが、ResNetベースのDNNタイプのニューラルネットワークであることをさらに含む、請求項1から8のいずれか一項に記載の方法。
- 前記第1のニューラルネットワーク、前記別のニューラルネットワーク、および前記さらに別のニューラルネットワークの出力に応答して前記ターゲット環境の自己位置推定およびマッピングの同時実行を行うステップが、
前記別のニューラルネットワークからの出力および前記さらに別のニューラルネットワークからの出力に応答して姿勢出力をもたらすステップ
をさらに含む、請求項1から9のいずれか一項に記載の方法。 - 前記姿勢出力を姿勢の局所的接続および大域的接続に基づいてもたらすステップをさらに含む、請求項10に記載の方法。
- 前記姿勢出力に応答して、姿勢グラフオプティマイザを使用して、改良された姿勢出力をもたらすステップをさらに含む、請求項11に記載の方法。
- ターゲット環境の単眼画像系列に応答して前記ターゲット環境の自己位置推定およびマッピングの同時実行を行うためのシステムであって、
第1のニューラルネットワークと、
別のニューラルネットワークと、
さらに別のニューラルネットワークと
を備え、
前記第1のニューラルネットワークおよび前記別のニューラルネットワークが、ステレオ画像対の系列、および前記ステレオ画像対の幾何学的特性を定義する1つまたは複数の損失関数を使用して事前トレーニングされた、教師なしニューラルネットワークであり、前記さらに別のニューラルネットワークが、ループ閉じ込みを検出するように事前トレーニングされる、
システム。 - 前記1つまたは複数の損失関数が、前記ステレオ画像対の対応する特徴間の関係を定義する空間的制約、および前記ステレオ画像対の系列の連続画像の対応する特徴間の関係を定義する時間的制約を含むことをさらに含む、請求項13に記載のシステム。
- 前記第1のニューラルネットワークおよび前記別のニューラルネットワークがそれぞれ、3つ以上のステレオ画像対からなるバッチを前記第1のニューラルネットワークおよび前記別のニューラルネットワークに入力することによって事前トレーニングされることをさらに含む、請求項13または14に記載のシステム。
- 前記第1のニューラルネットワークが前記ターゲット環境の深度表現をもたらし、前記別のニューラルネットワークが前記ターゲット環境における姿勢表現をもたらすことをさらに含む、請求項13から15のいずれか一項に記載のシステム。
- 前記別のニューラルネットワークが、前記姿勢表現に関連する不確実性の大きさをもたらすことをさらに含む、請求項16に記載のシステム。
- 前記ステレオ画像対の系列の各画像対が、トレーニング環境の第1の画像および前記トレーニング環境の別の画像を備え、前記別の画像が、前記第1の画像に対する所定のオフセットを有し、前記第1の画像および前記別の画像が、実質的に同時に捕捉されたものであることをさらに含む、請求項13から17のいずれか一項に記載のシステム。
- 前記第1のニューラルネットワークが、エンコーダ-デコーダタイプニューラルネットワークのニューラルネットワークであることをさらに含む、請求項13から18のいずれか一項に記載のシステム。
- 前記別のニューラルネットワークが、長短期記憶を含んだ再帰型畳み込みニューラルネットワークタイプのニューラルネットワークであることをさらに含む、請求項13から19のいずれか一項に記載のシステム。
- 前記さらに別のニューラルネットワークが、前記ターゲット環境の疎特徴表現をもたらすことをさらに含む、請求項13から20のいずれか一項に記載のシステム。
- 前記さらに別のニューラルネットワークが、ResNetベースのDNNタイプのニューラルネットワークであることをさらに含む、請求項13から21のいずれか一項に記載のシステム。
- ターゲット環境の単眼画像系列に応答して前記ターゲット環境の自己位置推定およびマッピングの同時実行を行うために、1つまたは複数の教師なしニューラルネットワークをトレーニングする方法であって、
ステレオ画像対の系列を準備するステップと、
第1のニューラルネットワークおよび別のニューラルネットワークを準備するステップであって、前記第1のニューラルネットワークおよび前記別のニューラルネットワークが、前記ステレオ画像対の幾何学的特性を定義する1つまたは複数の損失関数と関連付けられた教師なしニューラルネットワークである、ステップと、
前記ステレオ画像対の系列を、前記第1のニューラルネットワークおよび前記別のニューラルネットワークに提供するステップと
を含む、方法。 - 前記第1のニューラルネットワークおよび前記別のニューラルネットワークが、3つ以上のステレオ画像対からなるバッチを前記第1のニューラルネットワークおよび前記別のニューラルネットワークに入力することによってトレーニングされることをさらに含む、請求項23に記載の方法。
- 前記ステレオ画像対の系列の各画像対が、トレーニング環境の第1の画像および前記トレーニング環境の別の画像を備え、前記別の画像が、前記第1の画像に対する所定のオフセットを有し、前記第1の画像および前記別の画像が、実質的に同時に捕捉されたものであることをさらに含む、請求項23または24に記載の方法。
- コンピュータプログラムであって、命令を備え、前記命令が、コンピュータによって前記プログラムが実行されると前記コンピュータに請求項1から12または請求項23から25のいずれか一項に記載の方法を遂行させる、コンピュータプログラム。
- コンピュータ可読媒体であって、命令を備え、前記命令が、コンピュータによって実行されると前記コンピュータに請求項1から12または請求項23から25のいずれか一項に記載の方法を遂行させる、コンピュータ可読媒体。
- ターゲット環境の単眼画像系列に応答して前記ターゲット環境の自己位置推定およびマッピングの同時実行を行うためのシステムであって、
第1のニューラルネットワークと、
別のニューラルネットワークと、
ループ閉じ込み検出部と
を備え、
前記第1のニューラルネットワークおよび前記別のニューラルネットワークが、ステレオ画像対の系列、および前記ステレオ画像対の幾何学的特性を定義する1つまたは複数の損失関数を使用して事前トレーニングされた、教師なしニューラルネットワークである、
システム。 - 請求項13から22のいずれか一項に記載のシステムを備えたビークル。
- 自動車両、鉄道車両、船舶、航空機、ドローン、または宇宙機である、請求項29に記載のビークル。
- 請求項13から22のいずれか一項に記載のシステムを備えた仮想現実および/または拡張現実を提供するための装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1804400.8A GB201804400D0 (en) | 2018-03-20 | 2018-03-20 | Localisation, mapping and network training |
GB1804400.8 | 2018-03-20 | ||
PCT/GB2019/050755 WO2019180414A1 (en) | 2018-03-20 | 2019-03-18 | Localisation, mapping and network training |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021518622A true JP2021518622A (ja) | 2021-08-02 |
Family
ID=62017875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021500360A Ceased JP2021518622A (ja) | 2018-03-20 | 2019-03-18 | 自己位置推定、マッピング、およびネットワークトレーニング |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210049371A1 (ja) |
EP (1) | EP3769265A1 (ja) |
JP (1) | JP2021518622A (ja) |
CN (1) | CN111902826A (ja) |
GB (1) | GB201804400D0 (ja) |
WO (1) | WO2019180414A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7241517B2 (ja) * | 2018-12-04 | 2023-03-17 | 三菱電機株式会社 | 航法装置、航法パラメータ計算方法およびプログラム |
US11138751B2 (en) * | 2019-07-06 | 2021-10-05 | Toyota Research Institute, Inc. | Systems and methods for semi-supervised training using reprojected distance loss |
US11321853B2 (en) * | 2019-08-08 | 2022-05-03 | Nec Corporation | Self-supervised visual odometry framework using long-term modeling and incremental learning |
US12033301B2 (en) | 2019-09-09 | 2024-07-09 | Nvidia Corporation | Video upsampling using one or more neural networks |
CN111241986B (zh) * | 2020-01-08 | 2021-03-30 | 电子科技大学 | 一种基于端到端关系网络的视觉slam闭环检测方法 |
CN111179628B (zh) * | 2020-01-09 | 2021-09-28 | 北京三快在线科技有限公司 | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 |
CN111539973B (zh) * | 2020-04-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 用于检测车辆位姿的方法及装置 |
US11341719B2 (en) | 2020-05-07 | 2022-05-24 | Toyota Research Institute, Inc. | System and method for estimating depth uncertainty for self-supervised 3D reconstruction |
US11257231B2 (en) * | 2020-06-17 | 2022-02-22 | Toyota Research Institute, Inc. | Camera agnostic depth network |
JP7430815B2 (ja) | 2020-09-29 | 2024-02-13 | 富士フイルム株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US20220138903A1 (en) * | 2020-11-04 | 2022-05-05 | Nvidia Corporation | Upsampling an image using one or more neural networks |
CN112766305B (zh) * | 2020-12-25 | 2022-04-22 | 电子科技大学 | 一种基于端到端度量网络的视觉slam闭环检测方法 |
US11688090B2 (en) * | 2021-03-16 | 2023-06-27 | Toyota Research Institute, Inc. | Shared median-scaling metric for multi-camera self-supervised depth evaluation |
US11983627B2 (en) * | 2021-05-06 | 2024-05-14 | Black Sesame Technologies Inc. | Deep learning based visual simultaneous localization and mapping |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007078409A (ja) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | 物体測位装置 |
US20080159622A1 (en) * | 2006-12-08 | 2008-07-03 | The Nexus Holdings Group, Llc | Target object recognition in images and video |
WO2017150032A1 (en) * | 2016-03-02 | 2017-09-08 | Mitsubishi Electric Corporation | Method and system for detecting actions of object in scene |
CN107369166A (zh) * | 2017-07-13 | 2017-11-21 | 深圳大学 | 一种基于多分辨率神经网络的目标跟踪方法及*** |
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105856230B (zh) * | 2016-05-06 | 2017-11-24 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
CN106296812B (zh) * | 2016-08-18 | 2019-04-02 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
KR20180027887A (ko) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법 |
CN106384383B (zh) * | 2016-09-08 | 2019-08-06 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb-d和slam场景重建方法 |
CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
AU2018292610B2 (en) * | 2017-06-28 | 2022-11-17 | Magic Leap, Inc. | Method and system for performing simultaneous localization and mapping using convolutional image transformation |
EP3652721A1 (en) * | 2017-09-04 | 2020-05-20 | NNG Software Developing and Commercial LLC | A method and apparatus for collecting and using sensor data from a vehicle |
US10970856B2 (en) * | 2018-12-27 | 2021-04-06 | Baidu Usa Llc | Joint learning of geometry and motion with three-dimensional holistic understanding |
US11138751B2 (en) * | 2019-07-06 | 2021-10-05 | Toyota Research Institute, Inc. | Systems and methods for semi-supervised training using reprojected distance loss |
US11321853B2 (en) * | 2019-08-08 | 2022-05-03 | Nec Corporation | Self-supervised visual odometry framework using long-term modeling and incremental learning |
US11468585B2 (en) * | 2019-08-27 | 2022-10-11 | Nec Corporation | Pseudo RGB-D for self-improving monocular slam and depth prediction |
-
2018
- 2018-03-20 GB GBGB1804400.8A patent/GB201804400D0/en not_active Ceased
-
2019
- 2019-03-18 JP JP2021500360A patent/JP2021518622A/ja not_active Ceased
- 2019-03-18 EP EP19713173.3A patent/EP3769265A1/en not_active Withdrawn
- 2019-03-18 US US16/978,434 patent/US20210049371A1/en not_active Abandoned
- 2019-03-18 CN CN201980020439.1A patent/CN111902826A/zh active Pending
- 2019-03-18 WO PCT/GB2019/050755 patent/WO2019180414A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007078409A (ja) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | 物体測位装置 |
US20080159622A1 (en) * | 2006-12-08 | 2008-07-03 | The Nexus Holdings Group, Llc | Target object recognition in images and video |
WO2017150032A1 (en) * | 2016-03-02 | 2017-09-08 | Mitsubishi Electric Corporation | Method and system for detecting actions of object in scene |
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
CN107369166A (zh) * | 2017-07-13 | 2017-11-21 | 深圳大学 | 一种基于多分辨率神经网络的目标跟踪方法及*** |
Non-Patent Citations (2)
Title |
---|
RUIHAO LI ET AL., "UNDEEPVO: MONOCULAR VISUAL ODOMETRY THROUGH UNSUPERVISED DEEP LEARNING", 2018 IEEE INTERNATIONAL, JPN6023009448, May 2018 (2018-05-01), ISSN: 0005010822 * |
YIFAN XIA ET AL.: ""Loop closure detection for visual SLAM using PCANet features"", 2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), JPN6023009449, July 2016 (2016-07-01), ISSN: 0005010823 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019180414A1 (en) | 2019-09-26 |
US20210049371A1 (en) | 2021-02-18 |
CN111902826A (zh) | 2020-11-06 |
GB201804400D0 (en) | 2018-05-02 |
EP3769265A1 (en) | 2021-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
Teed et al. | Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras | |
Brahmbhatt et al. | Geometry-aware learning of maps for camera localization | |
CN108416840B (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
Park et al. | High-precision depth estimation with the 3d lidar and stereo fusion | |
Iyer et al. | Geometric consistency for self-supervised end-to-end visual odometry | |
WO2019016255A1 (en) | DENSE VISUAL SLAM WITH PROBABILISED SURFACE ELEMENT MAP | |
CN102722697B (zh) | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 | |
CN110503680A (zh) | 一种基于非监督的卷积神经网络单目场景深度估计方法 | |
CN110610486B (zh) | 单目图像深度估计方法及装置 | |
Shamwell et al. | Vision-aided absolute trajectory estimation using an unsupervised deep network with online error correction | |
Liu et al. | Using unsupervised deep learning technique for monocular visual odometry | |
JP2020126617A (ja) | フォールトトレランス及びフラクチュエーションロバスト性のための複数のニューラルネットワークを使用して揺れるカメラにより生成されたビデオからジッタリングを取り除くための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP2022518783A (ja) | ロボットデバイスの状態を使用した環境のマッピング | |
CN112085849A (zh) | 基于航拍视频流的实时迭代三维建模方法、***及可读介质 | |
CN111833400B (zh) | 一种相机位姿定位方法 | |
CN114581571A (zh) | 基于imu和前向变形场的单目人体重建方法及装置 | |
Wang et al. | Unsupervised learning of 3d scene flow from monocular camera | |
Hwang et al. | Self-supervised monocular depth estimation using hybrid transformer encoder | |
Fan et al. | Large-scale dense mapping system based on visual-inertial odometry and densely connected U-Net | |
CN111598927A (zh) | 一种定位重建方法和装置 | |
Shi et al. | Self-supervised learning of depth and ego-motion with differentiable bundle adjustment | |
Liu et al. | Real-time dense construction with deep multi-view stereo using camera and IMU sensors | |
Mahe et al. | Real-time rgb-d semantic keyframe slam based on image segmentation learning from industrial cad models | |
Wirges et al. | Self-supervised flow estimation using geometric regularization with applications to camera image and grid map sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230313 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230731 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20231127 |