JP2016500885A5 - - Google Patents

Download PDF

Info

Publication number
JP2016500885A5
JP2016500885A5 JP2015539627A JP2015539627A JP2016500885A5 JP 2016500885 A5 JP2016500885 A5 JP 2016500885A5 JP 2015539627 A JP2015539627 A JP 2015539627A JP 2015539627 A JP2015539627 A JP 2015539627A JP 2016500885 A5 JP2016500885 A5 JP 2016500885A5
Authority
JP
Japan
Prior art keywords
scene
diversity
maps
keyframes
key frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015539627A
Other languages
English (en)
Other versions
JP2016500885A (ja
JP6339579B2 (ja
Filing date
Publication date
Priority claimed from US13/830,664 external-priority patent/US9177404B2/en
Application filed filed Critical
Publication of JP2016500885A publication Critical patent/JP2016500885A/ja
Publication of JP2016500885A5 publication Critical patent/JP2016500885A5/ja
Application granted granted Critical
Publication of JP6339579B2 publication Critical patent/JP6339579B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. コンピュータビジョンベースの追跡のために複数のマップをマージする方法であって、
    少なくとも1つのモバイルデバイスからある場所におけるシーンの複数のマップを受信するステップと、
    前記シーンの前記複数のマップの複数のキーフレームを識別するステップと、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップと
    を備え
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップは、
    前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティのうちの少なくとも1つの少なくとも一部に基づいて寄与スコアを決定するステップと、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するステップと
    を備える、方法。
  2. ある場所におけるシーンの複数のマップを受信するステップは、
    複数のモバイルデバイスから前記シーンの前記複数のマップを受信するステップ
    を備える、請求項1に記載の方法。
  3. 複数のモバイルデバイスからの前記シーンの前記複数のマップからの前記複数のキーフレームの冗長性を評価するステップと、
    冗長なキーフレームを削除するステップと
    をさらに備える、請求項2に記載の方法。
  4. 複数のモバイルデバイスからの前記シーンの前記複数のマップを使用して自己位置推定及び地図構築同時実行(SLAM)マップを生成するステップと、
    前記複数のモバイルデバイスの間で前記SLAMマップを共有するステップと
    をさらに備える、請求項2に記載の方法。
  5. 前記シーンの前記複数のマップの前記複数のキーフレームを識別するステップは、
    複数の角度から前記シーンの複数の視点を表す前記複数のキーフレームを識別するステップと、
    複数のスケールで前記シーンの複数の視点を表す前記複数のキーフレームを識別するステップと
    のうちの少なくとも1つを備え、
    前記複数のキーフレームは、前記複数のマップの共通の特徴、位置座標、および外観を含む、
    請求項1に記載の方法。
  6. 複数のスケールは、
    前記少なくとも1つのモバイルデバイスと前記シーンとの間の複数の距離と、
    前記少なくとも1つのモバイルデバイスからの前記シーンの複数のアスペクト比と
    のうちの少なくとも1つを備える、
    請求項5に記載の方法。
  7. 前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するステップは、
    第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するステップと、
    第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するステップと、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるステップと
    を備える、請求項1に記載の方法。
  8. 前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップは、
    角度ヒストグラムにおいて前記複数のキーフレームを計数するステップであって、前記角度ヒストグラムは、前記シーンの異なる視点角度を表す複数のビンを含み、前記複数のビンの各ビンは、前記シーンの異なる視点スケールを表す複数の区分を含む、ステップと、
    前記角度ヒストグラムにおける前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティに少なくとも一部基づいて前記寄与スコアを決定するステップと、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するステップと
    を備える、請求項1に記載の方法。
  9. 前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するステップは、
    前記キーフレームが含まれるビン内のキーフレームの数に少なくとも一部基づいている第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するステップと、
    前記キーフレームが含まれる区分内のキーフレームの数に少なくとも一部基づいている第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するステップと、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるステップと
    を備える、請求項8に記載の方法。
  10. 前記場所において前記少なくとも1つのモバイルデバイスの位置を追跡するステップ
    をさらに備える、請求項1に記載の方法。
  11. 少なくとも1つのモバイルデバイスからある場所におけるシーンの複数のマップを受信するための手段と、
    前記シーンの前記複数のマップの複数のキーフレームを識別するための手段と、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段と
    を備え、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段は、
    前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティのうちの少なくとも1つの少なくとも一部に基づいて寄与スコアを決定し、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除する
    ように構成される、システム。
  12. ある場所におけるシーンの複数のマップを受信するための手段は、
    複数のモバイルデバイスから前記シーンの前記複数のマップを受信するための手段と、
    複数のモバイルデバイスからの前記シーンの前記複数のマップからの前記複数のキーフレームの冗長性を評価するための手段と、
    冗長なキーフレームを削除するための手段と、
    複数のモバイルデバイスからの前記シーンの前記複数のマップを使用して自己位置推定及び地図構築同時実行(SLAM)マップを生成するための手段と、
    前記複数のモバイルデバイスの間で前記SLAMマップを共有するための手段と
    を備える、請求項11に記載のシステム
  13. 前記シーンの前記複数のマップの前記複数のキーフレームを識別するための手段は、
    複数の角度から前記シーンの複数の視点を表す前記複数のキーフレームを識別するための手段と、
    複数のスケールで前記シーンの複数の視点を表す前記複数のキーフレームを識別するための手段
    のうちの少なくとも1つを備え、
    前記複数のキーフレームは、前記複数のマップの共通の特徴、位置座標、および外観を含み、
    複数のスケールは、
    前記少なくとも1つのモバイルデバイスと前記シーンとの間の複数の距離と、
    前記少なくとも1つのモバイルデバイスからの前記シーンの複数のアスペクト比と
    のうちの少なくとも1つを備える
    請求項11に記載のシステム
  14. 前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段は、
    角度ヒストグラムにおいて前記複数のキーフレームを計数するための手段であって、前記角度ヒストグラムは、前記シーンの異なる視点角度を表す複数のビンを含み、前記複数のビンの各ビンは、前記シーンの異なる視点スケールを表す複数の区分を含む、手段と、
    前記角度ヒストグラムにおける前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するための手段と、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するための手段
    を備え
    前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するための手段は、
    前記キーフレームが含まれるビン内のキーフレームの数に少なくとも一部基づいている第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するための手段と、
    前記キーフレームが含まれる区分内のキーフレームの数に少なくとも一部基づいている第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するための手段と、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるための手段と
    を備える、請求項11に記載のシステム
  15. 1つまたは複数のコンピュータシステムによって実行される命令を記憶するコンピュータ可読記憶媒体にあるコンピュータプログラムであって、前記命令は、実行されると、前記1つまたは複数のコンピュータシステムに請求項1から10のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2015539627A 2012-10-31 2013-10-08 コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法 Expired - Fee Related JP6339579B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261720804P 2012-10-31 2012-10-31
US61/720,804 2012-10-31
US13/830,664 US9177404B2 (en) 2012-10-31 2013-03-14 Systems and methods of merging multiple maps for computer vision based tracking
US13/830,664 2013-03-14
PCT/US2013/063876 WO2014070390A1 (en) 2012-10-31 2013-10-08 Systems and methods of merging multiple maps for computer vision based tracking

Publications (3)

Publication Number Publication Date
JP2016500885A JP2016500885A (ja) 2016-01-14
JP2016500885A5 true JP2016500885A5 (ja) 2016-11-04
JP6339579B2 JP6339579B2 (ja) 2018-06-06

Family

ID=50547228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539627A Expired - Fee Related JP6339579B2 (ja) 2012-10-31 2013-10-08 コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法

Country Status (6)

Country Link
US (1) US9177404B2 (ja)
EP (1) EP2915138B1 (ja)
JP (1) JP6339579B2 (ja)
KR (1) KR20150079730A (ja)
CN (1) CN104756155B (ja)
WO (1) WO2014070390A1 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR101574876B1 (ko) * 2014-02-13 2015-12-04 영남대학교 산학협력단 비전 센서 데이터베이스를 이용한 거리 측정 방법
US9478029B2 (en) * 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
CA2970985C (en) * 2014-12-18 2021-10-12 Innerspace Technology Inc. Wayfinding system for interior spaces using an auto-generated navigational map
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9940542B2 (en) * 2015-08-11 2018-04-10 Google Llc Managing feature data for environment mapping on an electronic device
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
JP6842618B2 (ja) * 2015-12-14 2021-03-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 3dマップの作成
CN105913459B (zh) * 2016-05-10 2019-07-12 中国科学院自动化研究所 基于高分辨率连拍图像的运动目标检测方法
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
IL303182B2 (en) 2016-08-02 2024-07-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10534964B2 (en) * 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
US10217232B2 (en) 2017-02-08 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for locally aligning map data
CN111309955B (zh) * 2017-02-13 2022-06-24 哈尔滨理工大学 一种面向图像检索的融合方法
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ, インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
AU2018379105B2 (en) 2017-12-10 2023-12-21 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
CN110099237B (zh) * 2018-01-31 2021-08-17 腾讯科技(深圳)有限公司 图像处理方法、电子装置及计算机可读存储介质
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ, インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ, インコーポレイテッドMagic Leap,Inc. 小型の可変焦点構成
WO2019231850A1 (en) * 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
CN112400157B (zh) 2018-06-05 2024-07-09 奇跃公司 观看***的基于单应性变换矩阵的温度校准
WO2019237099A1 (en) 2018-06-08 2019-12-12 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN109074757B (zh) * 2018-07-03 2021-11-09 达闼机器人有限公司 一种建立地图的方法、终端和计算机可读存储介质
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11307049B2 (en) 2018-07-19 2022-04-19 Uisee Technologies (Beijing) Co., Ltd Methods, apparatuses, systems, and storage media for storing and loading visual localization maps
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7139762B2 (ja) * 2018-07-31 2022-09-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3840645A4 (en) 2018-08-22 2021-10-20 Magic Leap, Inc. PATIENT VISUALIZATION SYSTEM
JP7182976B2 (ja) 2018-09-27 2022-12-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
JP7515489B2 (ja) 2019-02-06 2024-07-12 マジック リープ, インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技(深圳)有限公司 一种三维对象重建方法和装置
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供***和方法
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的***和方法
CN114730490A (zh) 2019-11-14 2022-07-08 奇跃公司 用于虚拟现实和增强现实的***和方法
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CN111241944B (zh) * 2019-12-31 2023-05-26 浙江大学 基于背景目标与背景特征匹配的场景识别与回环检测方法
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
WO2022049615A1 (ja) * 2020-09-01 2022-03-10 株式会社ネイン 情報処理システム、情報処理方法およびコンピュータプログラム
CN112541970A (zh) * 2020-11-30 2021-03-23 北京华捷艾米科技有限公司 一种集中式协同SlAM中的重定位方法及装置
KR102431122B1 (ko) 2021-12-30 2022-08-10 주식회사 버넥트 맵 타겟 추적 방법 및 그 시스템
CN115376051B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 关键帧的管理方法及管理装置、slam方法、电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1167120B1 (en) 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
CA2612921C (en) 2005-07-26 2016-08-30 Timothy D. Barfoot Traffic management system for a passageway environment
JP4400659B2 (ja) 2007-09-03 2010-01-20 トヨタ自動車株式会社 車載表示装置
JP4803155B2 (ja) * 2007-10-15 2011-10-26 セイコーエプソン株式会社 複数の画像データのパノラマ合成
US8200037B2 (en) * 2008-01-28 2012-06-12 Microsoft Corporation Importance guided image transformation
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
CN102308320B (zh) * 2009-02-06 2013-05-29 香港科技大学 从图像生成三维模型
IL202460A (en) * 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US20120195491A1 (en) 2010-07-21 2012-08-02 Palo Alto Research Center Incorporated System And Method For Real-Time Mapping Of An Indoor Environment Using Mobile Robots With Limited Sensing
KR101732076B1 (ko) 2010-12-22 2017-05-02 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN102541418B (zh) * 2010-12-30 2015-04-08 上海博泰悦臻电子设备制造有限公司 一种实现地图显示的处理方法及装置
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas

Similar Documents

Publication Publication Date Title
JP2016500885A5 (ja)
US10614324B2 (en) Method and apparatus for identifying static obstacle
GB2561746A8 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
US8935096B2 (en) Apparatus for fast path search by learning heuristic function and method thereof
GB2559491A (en) Continuous control with deep reinforcement learning
JP2016528481A5 (ja)
JP2015082326A5 (ja)
JP2011128149A5 (ja)
KR20170120639A (ko) 딥스테레오: 실세계 이미지로부터 새로운 뷰들을 예측하는 러닝
US20150109290A1 (en) Device and method for removing noise points in point clouds
JP2015135679A5 (ja)
RU2019138260A (ru) Устройство, способ и программа аудиообработки
WO2021046065A8 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces
EP2662831A3 (en) Comparing virtual and real images of a shopping planogram
JP5905481B2 (ja) 判定方法及び判定装置
JP2012503513A5 (ja)
JP2016533557A5 (ja)
WO2016109682A3 (en) Broadcast profiling system
RU2011114094A (ru) Картографическая база данных, имеющая векторы для определения пунктов назначения, и способ определения векторов
JP2014502393A5 (ja)
TW201738838A (zh) 共乘路徑的計算方法及使用此方法的計算裝置與記錄媒體
JP2010079907A5 (ja)
JP2015109103A5 (ja)
CN106327517A (zh) 一种目标跟踪装置及目标跟踪方法
JP2020513632A5 (ja)