JP2015079490A - フレームを選択する方法、装置、及びシステム - Google Patents
フレームを選択する方法、装置、及びシステム Download PDFInfo
- Publication number
- JP2015079490A JP2015079490A JP2014181570A JP2014181570A JP2015079490A JP 2015079490 A JP2015079490 A JP 2015079490A JP 2014181570 A JP2014181570 A JP 2014181570A JP 2014181570 A JP2014181570 A JP 2014181570A JP 2015079490 A JP2015079490 A JP 2015079490A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- unobserved
- camera
- region
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 230000015654 memory Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 210000004460 N cell Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】カメラ120により撮像された複数のビデオフレーム上で3次元空間におけるマップ点群が投影される特徴群を決定し、フレーム内の複数の領域について決定した特徴群のヒストグラムを作成する。作成されたヒストグラムに基づいて、複数の領域のうちの1つを未観測領域として決定する。未観測領域のサイズに基づいて、フレームを選択する。
【選択図】図1
Description
3次元空間におけるマップ点群が投影される特徴群を決定することと、
前記フレーム中の複数の領域に対する前記決定した特徴群のヒストグラムを作成することと、
前記作成されたヒストグラムに基づいて、前記複数の領域のうち1つを未観測領域として決定することと、
前記未観測領域のサイズに基づいてフレームを選択することと
を備えることを特徴とする方法が提供される。
3次元空間におけるマップ点群が投影される特徴群を決定する手段と、
前記フレーム中の複数の領域に対する前記決定した特徴群のヒストグラムを作成する手段と、
前記作成されたヒストグラムに基づいて、前記複数の領域のうち1つを未観測領域として決定する手段と、
前記未観測領域のサイズに基づいてフレームを選択する手段と
を備えることを特徴とする装置が提供される。
データ及びコンピュータプログラムを格納するメモリと、
前記コンピュータプログラムを実行するために前記メモリと結合されているプロセッサとを有し、該コンピュータプログラムは、
3次元空間におけるマップ点群が投影される特徴群を決定し、
前記フレーム中の複数の領域に対する前記決定した特徴群のヒストグラムを作成し、
前記作成されたヒストグラムに基づいて、前記複数の領域のうち1つを未観測領域として決定し、
前記未観測領域のサイズに基づいてフレームを選択する
ための命令を有する
ことを特徴とするシステムが提供される。
3次元空間におけるマップ点群が投影される特徴群を決定するコードと、
前記フレーム中の複数の領域に対する前記決定した特徴群のヒストグラムを作成するコードと、
前記作成されたヒストグラムに基づいて、前記複数の領域のうち1つを未観測領域として決定するコードと、
前記未観測領域のサイズに基づいてフレームを選択するコードと
を備えることを特徴とする、コンピュータ読み取り可能な媒体が提供される。
制御ユニット239が取り込まれている命令を判定するデコード動作
制御ユニット239及び/又はALU240が命令を実行する実行動作
その後、次の命令に対する更なる取り込み、デコード及び実行サイクルが実行される。同様に、制御ユニット239が値を記憶場所232に格納するかあるいは書き込むことにより、格納サイクルが実行される。
マルチビューディジタル画像を処理する多くの方法、装置、コンピュータプログラム。それぞれは、上述した複数の画素を有する。
本出願は、2013年10月4日に出願されたオーストラリア国特許出願第2013237718号についての優先権を、35U.S.C.セクション119に基づいて請求するものであり、その全ての記載内容の参照により本出願に援用する。
Claims (12)
- カメラにより撮像された複数のビデオフレームからフレームを選択する方法であって、
3次元空間におけるマップ点群が投影される特徴を決定することと、
前記フレーム内の複数の領域について前記決定した特徴のヒストグラムを作成することと、
前記作成されたヒストグラムに基づいて、前記複数の領域のうちの1つを未観測領域として決定することと、
前記未観測領域のサイズに基づいて、前記フレームを選択することと
を有することを特徴とする方法。 - 更に、前記未観測領域のサイズに基づいて前記フレームに優先順位を付けることを有する、ことを特徴とする請求項1に記載の方法。
- 更に、
前のフレームと関連づけられている視点で前記未観測領域を投影することと、
前記前のフレーム内の前記投影された未観測領域のサイズを決定することと、
前記投影された未観測領域に対する前記決定されたサイズの比を決定することとを有し、前記フレームは、前記決定されたサイズ及び前記決定された比のうちの少なくとも1つに基づいて選択されることを特徴とする請求項1に記載の方法。 - 更に、前のフレームと関連づけられている視点で前記未観測領域を投影することを有し、前記未観測領域の投影は、前記視点における前記カメラの位置及び姿勢に基づいていることを特徴とする請求項1に記載の方法。
- 更に、前記選択されたフレームのサブ画像領域における特徴の数が、所定の閾値よりも少ないか否かを判断することを有することを特徴とする請求項1に記載の方法。
- 更に、サブ画像領域内の特徴の密度が所定の閾値よりも低いか否かを判断することを有することを特徴とする請求項1に記載の方法。
- 更に、前記未観測領域のサイズが所定の閾値よりも大きいか否かを判断することを有することを特徴とする請求項1に記載の方法。
- 前記未観測領域を決定するために所定の領域のサイズが用いられることを特徴とする請求項1に記載の方法。
- 前記未観測領域を決定するために、所定の領域内の特徴の数が用いられることを特徴とする請求項1に記載の方法。
- カメラにより撮像された複数のビデオフレームからフレームを選択する装置であって、
3次元空間におけるマップ点群が投影される特徴を決定する手段と、
前記フレーム内の複数の領域について前記決定した特徴のヒストグラムを作成する手段と、
前記作成されたヒストグラムに基づいて、前記複数の領域のうちの1つを未観測領域として決定する手段と、
前記未観測領域のサイズに基づいて、前記フレームを選択する手段と
を有することを特徴とする装置。 - カメラにより撮像された複数のビデオフレームからフレームを選択するシステムであって、
データ及びコンピュータプログラムを格納するメモリと、
前記コンピュータプログラムを実行するために前記メモリと結合されているプロセッサとを有し、該コンピュータプログラムは、
3次元空間におけるマップ点群が投影される特徴を決定し、
前記フレーム内の複数の領域について前記決定した特徴のヒストグラムを作成し、
前記作成されたヒストグラムに基づいて、前記複数の領域のうちの1つを未観測領域として決定し、
前記未観測領域のサイズに基づいて、前記フレームを選択する
ための命令を有する
ことを特徴とするシステム。 - カメラにより撮像された複数のビデオフレームからフレームを選択するコンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、プロセッサが、
3次元空間におけるマップ点群が投影される特徴を決定するコードと、
前記フレーム中の複数の領域に対する前記決定した特徴のヒストグラムを作成するコードと、
前記作成されたヒストグラムに基づいて、前記複数の領域のうちの1つを未観測領域として決定するコードと、
前記未観測領域のサイズに基づいて前記フレームを選択するコードと
を備えることを特徴とする、コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2013237718 | 2013-10-04 | ||
AU2013237718A AU2013237718A1 (en) | 2013-10-04 | 2013-10-04 | Method, apparatus and system for selecting a frame |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015079490A true JP2015079490A (ja) | 2015-04-23 |
JP5950973B2 JP5950973B2 (ja) | 2016-07-13 |
Family
ID=52776999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014181570A Expired - Fee Related JP5950973B2 (ja) | 2013-10-04 | 2014-09-05 | フレームを選択する方法、装置、及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9811733B2 (ja) |
JP (1) | JP5950973B2 (ja) |
AU (1) | AU2013237718A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021534491A (ja) * | 2018-08-13 | 2021-12-09 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | クロスリアリティシステム |
US11494915B2 (en) * | 2017-08-14 | 2022-11-08 | Rakuten Group, Inc. | Image processing system, image processing method, and program |
US11967020B2 (en) | 2020-02-13 | 2024-04-23 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
US11978159B2 (en) | 2018-08-13 | 2024-05-07 | Magic Leap, Inc. | Cross reality system |
US11995782B2 (en) | 2019-10-15 | 2024-05-28 | Magic Leap, Inc. | Cross reality system with localization service |
US12067687B2 (en) | 2019-12-09 | 2024-08-20 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9589362B2 (en) | 2014-07-01 | 2017-03-07 | Qualcomm Incorporated | System and method of three-dimensional model generation |
US9607388B2 (en) | 2014-09-19 | 2017-03-28 | Qualcomm Incorporated | System and method of pose estimation |
US10185775B2 (en) * | 2014-12-19 | 2019-01-22 | Qualcomm Technologies, Inc. | Scalable 3D mapping system |
US10521472B2 (en) * | 2015-02-27 | 2019-12-31 | Realnetworks, Inc. | Composing media stories method and system |
US10551913B2 (en) | 2015-03-21 | 2020-02-04 | Mine One Gmbh | Virtual 3D methods, systems and software |
US11501406B2 (en) | 2015-03-21 | 2022-11-15 | Mine One Gmbh | Disparity cache |
US10853625B2 (en) | 2015-03-21 | 2020-12-01 | Mine One Gmbh | Facial signature methods, systems and software |
US10373366B2 (en) * | 2015-05-14 | 2019-08-06 | Qualcomm Incorporated | Three-dimensional model generation |
US9911242B2 (en) | 2015-05-14 | 2018-03-06 | Qualcomm Incorporated | Three-dimensional model generation |
US10304203B2 (en) | 2015-05-14 | 2019-05-28 | Qualcomm Incorporated | Three-dimensional model generation |
US10242455B2 (en) | 2015-12-18 | 2019-03-26 | Iris Automation, Inc. | Systems and methods for generating a 3D world model using velocity data of a vehicle |
CN107025661B (zh) * | 2016-01-29 | 2020-08-04 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及*** |
JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10341568B2 (en) | 2016-10-10 | 2019-07-02 | Qualcomm Incorporated | User interface to assist three dimensional scanning of objects |
US9807359B1 (en) * | 2016-11-11 | 2017-10-31 | Christie Digital Systems Usa, Inc. | System and method for advanced lens geometry fitting for imaging devices |
US11747144B2 (en) * | 2017-03-29 | 2023-09-05 | Agency For Science, Technology And Research | Real time robust localization via visual inertial odometry |
US10671881B2 (en) | 2017-04-11 | 2020-06-02 | Microsoft Technology Licensing, Llc | Image processing system with discriminative control |
JP6762913B2 (ja) * | 2017-07-11 | 2020-09-30 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
CN110533723B (zh) * | 2017-07-31 | 2022-03-01 | 深圳市腾讯计算机***有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
CN107300633B (zh) * | 2017-08-23 | 2019-12-20 | 上海船舶研究设计院(中国船舶工业集团公司第六0四研究院) | 电流源型变频器电网电压观测方法、装置及*** |
EP3721378A4 (en) * | 2017-12-05 | 2021-08-18 | Mine One GmbH | DISPARITY CACHE MEMORY |
CN108898661B (zh) * | 2018-05-31 | 2023-04-18 | 深圳先进技术研究院 | 三维图像构建的方法、装置及具有存储功能的装置 |
US10916031B2 (en) * | 2018-07-06 | 2021-02-09 | Facebook Technologies, Llc | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
CN109272523B (zh) * | 2018-08-13 | 2021-03-16 | 西安交通大学 | 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法 |
CN109636905B (zh) * | 2018-12-07 | 2023-01-24 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
CN110674347B (zh) * | 2019-09-02 | 2022-04-01 | 南京邮电大学 | 视觉屏蔽双层ap视频摘要生成方法 |
US10861175B1 (en) * | 2020-05-29 | 2020-12-08 | Illuscio, Inc. | Systems and methods for automatic detection and quantification of point cloud variance |
US11210862B1 (en) * | 2020-06-25 | 2021-12-28 | Microsoft Technology Licensing, Llc | Data selection for spatial reconstruction |
US11055428B1 (en) | 2021-02-26 | 2021-07-06 | CTRL IQ, Inc. | Systems and methods for encrypted container image management, deployment, and execution |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674507B2 (en) * | 2013-04-30 | 2017-06-06 | Qualcomm Incorporated | Monocular visual SLAM with general and panorama camera movements |
-
2013
- 2013-10-04 AU AU2013237718A patent/AU2013237718A1/en not_active Abandoned
-
2014
- 2014-09-05 JP JP2014181570A patent/JP5950973B2/ja not_active Expired - Fee Related
- 2014-10-02 US US14/505,364 patent/US9811733B2/en active Active
Non-Patent Citations (1)
Title |
---|
JPN6015035258; 鳥居秋彦,外2名: '"多視点3次元復元の研究動向"' 情報処理学会研究報告[DVD-ROM] Vol.2011-CVIM-176,No.1, 20110415, 一般社団法人情報処理学会 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11494915B2 (en) * | 2017-08-14 | 2022-11-08 | Rakuten Group, Inc. | Image processing system, image processing method, and program |
JP2021534491A (ja) * | 2018-08-13 | 2021-12-09 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | クロスリアリティシステム |
JP7445642B2 (ja) | 2018-08-13 | 2024-03-07 | マジック リープ, インコーポレイテッド | クロスリアリティシステム |
US11978159B2 (en) | 2018-08-13 | 2024-05-07 | Magic Leap, Inc. | Cross reality system |
US11995782B2 (en) | 2019-10-15 | 2024-05-28 | Magic Leap, Inc. | Cross reality system with localization service |
US12067687B2 (en) | 2019-12-09 | 2024-08-20 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US11967020B2 (en) | 2020-02-13 | 2024-04-23 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
Also Published As
Publication number | Publication date |
---|---|
US20150098645A1 (en) | 2015-04-09 |
US9811733B2 (en) | 2017-11-07 |
AU2013237718A1 (en) | 2015-04-23 |
JP5950973B2 (ja) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5950973B2 (ja) | フレームを選択する方法、装置、及びシステム | |
JP5722502B2 (ja) | モバイルデバイスのための平面マッピングおよびトラッキング | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
JP6043856B2 (ja) | Rgbdカメラを用いた頭部ポーズ推定 | |
JP7017689B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
US10535160B2 (en) | Markerless augmented reality (AR) system | |
TWI485650B (zh) | 用於多相機校準之方法及配置 | |
US20150029222A1 (en) | Dynamically configuring an image processing function | |
US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
US20190026948A1 (en) | Markerless augmented reality (ar) system | |
US9679384B2 (en) | Method of detecting and describing features from an intensity image | |
JP2019075082A (ja) | 深度値推定を用いた映像処理方法及び装置 | |
US20170161546A1 (en) | Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping | |
US20150103183A1 (en) | Method and apparatus for device orientation tracking using a visual gyroscope | |
WO2018063608A1 (en) | Place recognition algorithm | |
JP2012155391A (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
US10607350B2 (en) | Method of detecting and describing features from an intensity image | |
JP7195238B2 (ja) | 拡張現実アプリケーションに関するシステム及び方法 | |
JP6240706B2 (ja) | グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング | |
CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
WO2020024845A1 (zh) | 定位方法和装置 | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5950973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |