JP7270623B2 - ホモグラフィ適合を介した完全畳み込み着目点検出および記述 - Google Patents
ホモグラフィ適合を介した完全畳み込み着目点検出および記述 Download PDFInfo
- Publication number
- JP7270623B2 JP7270623B2 JP2020526192A JP2020526192A JP7270623B2 JP 7270623 B2 JP7270623 B2 JP 7270623B2 JP 2020526192 A JP2020526192 A JP 2020526192A JP 2020526192 A JP2020526192 A JP 2020526192A JP 7270623 B2 JP7270623 B2 JP 7270623B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- points
- image
- calculated
- warped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 91
- 238000012549 training Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000004931 aggregating effect Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 9
- 238000004220 aggregation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000003936 working memory Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000000844 transformation Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
- Investigating Or Analyzing Materials By The Use Of Fluid Adsorption Or Reactions (AREA)
- Image Processing (AREA)
Description
本願は、その全開示が、本明細書に完全に記載されるかのように、あらゆる目的のために、参照することによって本明細書に組み込まれる、2017年11月14日に出願され、「FULLY CONVOLUTIONAL INTEREST POINT DETECTION AND DESCRIPTION VIA HOMOGRAPHIC ADAPTATION」と題された、米国仮特許出願第62/586,149号、および2017年12月20日に出願され、「FULLY CONVOLUTIONAL INTEREST POINT DETECTION AND DESCRIPTION VIA HOMOGRAPHIC ADAPTATION」と題された、米国仮特許出願第62/608,248号の優先権を主張する。
例えば、本願は以下の項目を提供する。
(項目1)
画像着目点検出および記述のためのニューラルネットワークを訓練する方法であって、前記方法は、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットはそれぞれ、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセット、前記計算された記述子、前記計算されたワーピングされた着目点のセット、前記計算されたワーピングされた記述子、前記基準着目点のセット、前記基準着目点のワーピングされたセット、および前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。
(項目2)
前記ニューラルネットワークは、着目点検出器サブネットワークと、記述子サブネットワークとを含み、
前記着目点検出器サブネットワークは、前記画像を入力として受信し、前記画像に基づいて、前記計算された着目点のセットを計算するように構成され、
前記記述子サブネットワークは、前記画像を入力として受信し、前記画像に基づいて、前記計算された記述子を計算するように構成される、
項目1に記載の方法。
(項目3)
前記損失に基づいて、前記ニューラルネットワークを修正することは、前記損失に基づいて、前記着目点検出器サブネットワークおよび前記記述子サブネットワークの一方または両方を修正することを含む、項目2に記載の方法。
(項目4)
前記基準データセットを生成することに先立って、複数の合成画像および合成着目点の複数のセットを含む合成データセットを使用して、前記着目点検出器サブネットワークを訓練することをさらに含み、前記基準データセットを生成することは、前記着目点検出器サブネットワークを使用して、前記基準データセットを生成することを含む、項目2に記載の方法。
(項目5)
前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、項目1に記載の方法。
(項目6)
前記複数の基準セットはそれぞれさらに、前記画像に対応する基準記述子を含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、項目1に記載の方法。
(項目7)
前記基準着目点のセットは、前記画像の特定のピクセルが前記特定のピクセルに位置する着目点を有する確率に対応する値を有する2次元マップである、項目1に記載の方法。
(項目8)
ニューラルネットワークを使用して、画像着目点検出および記述を実施する方法であって、前記方法は、
第1の画像を捕捉することと、
第2の画像を捕捉することと、
前記第1の画像を入力として受信する前記ニューラルネットワークによって、第1の計算された着目点のセットおよび第1の計算された記述子を計算することと、
前記第2の画像を入力として受信する前記ニューラルネットワークによって、第2の計算された着目点のセットおよび第2の計算された記述子を計算することと、
前記第1および第2の計算された着目点のセットと、前記第1および第2の計算された記述子とに基づいて、前記第1の画像と前記第2の画像との間のホモグラフィを決定することと
を含み、前記ニューラルネットワークは、
前記第1の計算された着目点のセットおよび前記第2の計算された着目点のセットを計算するように構成される着目点検出器サブネットワークと、
前記第1の計算された記述子および前記第2の計算された記述子を計算するように構成される記述子サブネットワークと
を含む、方法。
(項目9)
前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第1の計算された記述子を計算することと並行して、前記第1の計算された着目点のセットを計算するように構成され、
前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第2の計算された記述子を計算することと並行して、前記第2の計算された着目点のセットを計算するように構成される、
項目8に記載の方法。
(項目10)
前記ニューラルネットワークを訓練することをさらに含み、前記ニューラルネットワークを訓練することは、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットはそれぞれ、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセット、前記計算された記述子、前記計算されたワーピングされた着目点のセット、前記計算されたワーピングされた記述子、前記基準着目点のセット、前記基準着目点のワーピングされたセット、および前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
によって行われる、項目8に記載の方法。
(項目11)
前記損失に基づいて、前記ニューラルネットワークを修正することは、前記損失に基づいて、前記着目点検出器サブネットワークおよび前記記述子サブネットワークの一方または両方を修正することを含む、項目10に記載の方法。
(項目12)
前記基準データセットを生成することに先立って、複数の合成画像および合成着目点の複数のセットを含む合成データセットを使用して、前記着目点検出器サブネットワークを訓練することをさらに含み、前記基準データセットを生成することは、前記着目点検出器サブネットワークを使用して、前記基準データセットを生成することを含む、項目10に記載の方法。
(項目13)
前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、項目10に記載の方法。
(項目14)
前記複数の基準セットはそれぞれさらに、前記画像に対応する基準記述子を含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、項目10に記載の方法。
(項目15)
光学デバイスであって、
第1の画像および第2の画像を捕捉するように構成される少なくとも1つのカメラと、
前記カメラに結合された1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
前記第1の画像および前記第2の画像を前記少なくとも1つのカメラから受信することと、
ニューラルネットワークによって、前記第1の画像を入力として使用して、第1の計算された着目点のセットおよび第1の計算された記述子を計算することと、
前記ニューラルネットワークによって、前記第2の画像を入力として使用して、第2の計算された着目点のセットおよび第2の計算された記述子を計算することと、
前記第1および第2の計算された着目点のセットと、前記第1および第2の計算された記述子とに基づいて、前記第1の画像と前記第2の画像との間のホモグラフィを決定することと、
を含む動作を実施するように構成される、1つ以上のプロセッサと
を備え、
前記ニューラルネットワークは、
前記第1の計算された着目点のセットおよび前記第2の計算された着目点のセットを計算するように構成される着目点検出器サブネットワークと、
前記第1の計算された記述子および前記第2の計算された記述子を計算するように構成される記述子サブネットワークと
を含む、光学デバイス。
(項目16)
前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第1の計算された記述子を計算することと並行して、前記第1の計算された着目点のセットを計算するように構成され、
前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第2の計算された記述子を計算することと並行して、前記第2の計算された着目点のセットを計算するように構成される、
項目15に記載の光学デバイス。
(項目17)
前記ニューラルネットワークは、事前に訓練され、前記事前の訓練は、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットはそれぞれ、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセット、前記計算された記述子、前記計算されたワーピングされた着目点のセット、前記計算されたワーピングされた記述子、前記基準着目点のセット、前記基準着目点のワーピングされたセット、および前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
によって行われる、項目15に記載の光学デバイス。
(項目18)
前記損失に基づいて、前記ニューラルネットワークを修正することは、前記損失に基づいて、前記着目点検出器サブネットワークおよび前記記述子サブネットワークの一方または両方を修正することを含む、項目17に記載の光学デバイス。
(項目19)
前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、項目17に記載の光学デバイス。
(項目20)
前記複数の基準セットはそれぞれさらに、前記画像に対応する基準記述子を含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、項目17に記載の光学デバイス。
Claims (16)
- 画像着目点検出および記述のためのニューラルネットワークを訓練する方法であって、前記方法は、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットのそれぞれは、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセットおよび前記計算された記述子および前記計算されたワーピングされた着目点のセットおよび前記計算されたワーピングされた記述子および前記基準着目点のセットおよび前記基準着目点のワーピングされたセットおよび前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。 - 前記ニューラルネットワークは、着目点検出器サブネットワークと、記述子サブネットワークとを含み、
前記着目点検出器サブネットワークは、前記画像を入力として受信し、前記画像に基づいて、前記計算された着目点のセットを計算するように構成されており、
前記記述子サブネットワークは、前記画像を入力として受信し、前記画像に基づいて、前記計算された記述子を計算するように構成されている、請求項1に記載の方法。 - 前記損失に基づいて、前記ニューラルネットワークを修正することは、前記損失に基づいて、前記着目点検出器サブネットワークおよび前記記述子サブネットワークの一方または両方を修正することを含む、請求項2に記載の方法。
- 前記方法は、前記基準データセットを生成することに先立って、複数の合成画像および合成着目点の複数のセットを含む合成データセットを使用して、前記着目点検出器サブネットワークを訓練することをさらに含み、前記基準データセットを生成することは、前記着目点検出器サブネットワークを使用して、前記基準データセットを生成することを含む、請求項2に記載の方法。
- 前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、請求項1に記載の方法。 - 前記複数の基準セットのそれぞれは、前記画像に対応する基準記述子をさらに含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、請求項1に記載の方法。 - 前記基準着目点のセットは、前記画像の特定のピクセルが前記特定のピクセルに位置する着目点を有する確率に対応する値を有する2次元マップである、請求項1に記載の方法。
- ニューラルネットワークを使用して、画像着目点検出および記述を実行する方法であって、前記方法は、
第1の画像を捕捉することと、
第2の画像を捕捉することと、
前記第1の画像を入力として受信する前記ニューラルネットワークによって、第1の計算された着目点のセットおよび第1の計算された記述子を計算することと、
前記第2の画像を入力として受信する前記ニューラルネットワークによって、第2の計算された着目点のセットおよび第2の計算された記述子を計算することと、
前記第1の計算された着目点のセットおよび前記第2の計算された着目点のセットと、前記第1の計算された記述子および前記第2の計算された記述子とに基づいて、前記第1の画像と前記第2の画像との間のホモグラフィを決定することと
を含み、
前記ニューラルネットワークは、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットのそれぞれは、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセットおよび前記計算された記述子および前記計算されたワーピングされた着目点のセットおよび前記計算されたワーピングされた記述子および前記基準着目点のセットおよび前記基準着目点のワーピングされたセットおよび前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
によって訓練される、方法。 - 前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、請求項8に記載の方法。 - 前記複数の基準セットのそれぞれは、前記画像に対応する基準記述子をさらに含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、請求項8に記載の方法。 - 光学デバイスであって、
第1の画像および第2の画像を捕捉するように構成されている少なくとも1つのカメラと、
前記カメラに結合されている1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
前記第1の画像および前記第2の画像を前記少なくとも1つのカメラから受信することと、
ニューラルネットワークによって、前記第1の画像を入力として使用して、第1の計算された着目点のセットおよび第1の計算された記述子を計算することと、
前記ニューラルネットワークによって、前記第2の画像を入力として使用して、第2の計算された着目点のセットおよび第2の計算された記述子を計算することと、
前記第1の計算された着目点のセットおよび前記第2の計算された着目点のセットと、前記第1の計算された記述子および前記第2の計算された記述子とに基づいて、前記第1の画像と前記第2の画像との間のホモグラフィを決定することと、
を含む動作を実行するように構成されている、1つ以上のプロセッサと
を備え、
前記ニューラルネットワークは、
前記第1の計算された着目点のセットおよび前記第2の計算された着目点のセットを計算するように構成されている着目点検出器サブネットワークと、
前記第1の計算された記述子および前記第2の計算された記述子を計算するように構成されている記述子サブネットワークと
を含む、光学デバイス。 - 前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第1の計算された記述子を計算することと並行して、前記第1の計算された着目点のセットを計算するように構成されており、
前記着目点検出器サブネットワークは、前記記述子サブネットワークが前記第2の計算された記述子を計算することと並行して、前記第2の計算された着目点のセットを計算するように構成されている、請求項11に記載の光学デバイス。 - 前記ニューラルネットワークは、
複数の基準セットを備える基準データセットを生成することであって、前記複数の基準セットのそれぞれは、
画像と、
前記画像に対応する基準着目点のセットと
を含む、ことと、
前記複数の基準セットの基準セット毎に、
ホモグラフィを前記画像に適用することによって、ワーピングされた画像を生成することと、
前記ホモグラフィを前記基準着目点のセットに適用することによって、基準着目点のワーピングされたセットを生成することと、
前記画像を入力として受信する前記ニューラルネットワークによって、計算された着目点のセットおよび計算された記述子を計算することと、
前記ワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点のセットおよび計算されたワーピングされた記述子を計算することと、
前記計算された着目点のセットおよび前記計算された記述子および前記計算されたワーピングされた着目点のセットおよび前記計算されたワーピングされた記述子および前記基準着目点のセットおよび前記基準着目点のワーピングされたセットおよび前記ホモグラフィに基づいて、損失を計算することと、
前記損失に基づいて、前記ニューラルネットワークを修正することと
によって事前に訓練される、請求項11に記載の光学デバイス。 - 前記損失に基づいて、前記ニューラルネットワークを修正することは、前記損失に基づいて、前記着目点検出器サブネットワークおよび前記記述子サブネットワークの一方または両方を修正することを含む、請求項13に記載の光学デバイス。
- 前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、計算されたワーピングされた着目点の複数のセットを計算することと、
複数の逆数ホモグラフィを前記計算されたワーピングされた着目点の複数のセットに適用することによって、複数の計算された着目点のセットを生成することと、
前記複数の計算された着目点のセットを集約し、前記基準着目点のセットを取得することと
を含む、請求項13に記載の光学デバイス。 - 前記複数の基準セットのそれぞれは、前記画像に対応する基準記述子をさらに含み、前記基準データセットを生成することは、
前記複数の基準セットの基準セット毎に、
前記画像を、複数の未標識画像を備える未標識データセットから取得することと、
複数のホモグラフィを前記画像に適用することによって、複数のワーピングされた画像を生成することと、
前記複数のワーピングされた画像を入力として受信する前記ニューラルネットワークによって、複数の計算されたワーピングされた記述子を計算することと、
複数の逆数ホモグラフィを前記複数の計算されたワーピングされた記述子に適用することによって、複数の計算された記述子を生成することと、
前記複数の計算された記述子を集約し、前記基準記述子を取得することと
を含む、請求項13に記載の光学デバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023071522A JP7403700B2 (ja) | 2017-11-14 | 2023-04-25 | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762586149P | 2017-11-14 | 2017-11-14 | |
US62/586,149 | 2017-11-14 | ||
US201762608248P | 2017-12-20 | 2017-12-20 | |
US62/608,248 | 2017-12-20 | ||
PCT/US2018/061048 WO2019099515A1 (en) | 2017-11-14 | 2018-11-14 | Fully convolutional interest point detection and description via homographic adaptation |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071522A Division JP7403700B2 (ja) | 2017-11-14 | 2023-04-25 | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021503131A JP2021503131A (ja) | 2021-02-04 |
JP7270623B2 true JP7270623B2 (ja) | 2023-05-10 |
Family
ID=66431332
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020526192A Active JP7270623B2 (ja) | 2017-11-14 | 2018-11-14 | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 |
JP2023071522A Active JP7403700B2 (ja) | 2017-11-14 | 2023-04-25 | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071522A Active JP7403700B2 (ja) | 2017-11-14 | 2023-04-25 | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 |
Country Status (8)
Country | Link |
---|---|
US (2) | US10977554B2 (ja) |
EP (1) | EP3710981A4 (ja) |
JP (2) | JP7270623B2 (ja) |
KR (1) | KR20200087757A (ja) |
AU (1) | AU2018369757B2 (ja) |
CA (1) | CA3078977A1 (ja) |
IL (2) | IL274426B2 (ja) |
WO (1) | WO2019099515A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3078977A1 (en) * | 2017-11-14 | 2019-05-23 | Magic Leap, Inc. | Fully convolutional interest point detection and description via homographic adaptation |
US11080562B1 (en) * | 2018-06-15 | 2021-08-03 | Apple Inc. | Key point recognition with uncertainty measurement |
US10957112B2 (en) | 2018-08-13 | 2021-03-23 | Magic Leap, Inc. | Cross reality system |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
US10832437B2 (en) * | 2018-09-05 | 2020-11-10 | Rakuten, Inc. | Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence |
CN113196209A (zh) | 2018-10-05 | 2021-07-30 | 奇跃公司 | 在任何位置渲染位置特定的虚拟内容 |
EP3654247A1 (en) * | 2018-11-15 | 2020-05-20 | IMEC vzw | Convolution engine for neural networks |
WO2020154970A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Deep learning–based feature extraction for lidar localization of autonomous driving vehicles |
US11210547B2 (en) * | 2019-03-20 | 2021-12-28 | NavInfo Europe B.V. | Real-time scene understanding system |
IT201900007815A1 (it) * | 2019-06-03 | 2020-12-03 | The Edge Company S R L | Metodo per il rilevamento di oggetti in movimento |
CN110766024B (zh) * | 2019-10-08 | 2023-05-23 | 湖北工业大学 | 基于深度学习的视觉里程计特征点提取方法及视觉里程计 |
WO2021076748A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
CN114586071A (zh) | 2019-10-15 | 2022-06-03 | 奇跃公司 | 支持多设备类型的交叉现实*** |
CN114730546A (zh) | 2019-11-12 | 2022-07-08 | 奇跃公司 | 具有定位服务和基于位置的共享内容的交叉现实*** |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US20210237774A1 (en) | 2020-01-31 | 2021-08-05 | Toyota Research Institute, Inc. | Self-supervised 3d keypoint learning for monocular visual odometry |
JP2023514207A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム |
WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
EP4103910A4 (en) | 2020-02-13 | 2024-03-06 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH ACCURATE COMMON MAPS |
JP2023515524A (ja) | 2020-02-26 | 2023-04-13 | マジック リープ, インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
US11741728B2 (en) * | 2020-04-15 | 2023-08-29 | Toyota Research Institute, Inc. | Keypoint matching using graph convolutions |
US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
JP2023524038A (ja) | 2020-05-01 | 2023-06-08 | マジック リープ, インコーポレイテッド | 階層正規化がかけられる画像記述子ネットワーク |
US11830160B2 (en) * | 2020-05-05 | 2023-11-28 | Nvidia Corporation | Object detection using planar homography and self-supervised scene structure understanding |
US20220230410A1 (en) * | 2021-01-19 | 2022-07-21 | Objectvideo Labs, Llc | Object localization in video |
US11822620B2 (en) * | 2021-02-18 | 2023-11-21 | Microsoft Technology Licensing, Llc | Personalized local image features using bilevel optimization |
CN113361542B (zh) * | 2021-06-02 | 2022-08-30 | 合肥工业大学 | 一种基于深度学习的局部特征提取方法 |
JPWO2023021755A1 (ja) * | 2021-08-20 | 2023-02-23 | ||
US20230120604A1 (en) * | 2021-10-14 | 2023-04-20 | Ubotica Technologies Limited | System and Method for Maximizing Inference Accuracy using Recaptured Datasets |
CN114863134B (zh) * | 2022-04-01 | 2024-06-14 | 浙大宁波理工学院 | 基于交替优化深度学习模型的三维模型兴趣点提取方法 |
KR102600939B1 (ko) | 2022-07-15 | 2023-11-10 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 위한 데이터를 생성하기 위한 방법 및 장치 |
JP2024077816A (ja) * | 2022-11-29 | 2024-06-10 | ソニーグループ株式会社 | 情報処理方法、情報処理装置およびプログラム |
KR102615412B1 (ko) | 2023-01-19 | 2023-12-19 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 수행하기 위한 방법 및 장치 |
KR102600915B1 (ko) | 2023-06-19 | 2023-11-10 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 위한 데이터를 생성하기 위한 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014002554A1 (ja) | 2012-06-29 | 2014-01-03 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017041113A (ja) | 2015-08-20 | 2017-02-23 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
WO2017091833A1 (en) | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
WO2017168899A1 (ja) | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 情報処理方法および情報処理装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401276B1 (en) * | 2008-05-20 | 2013-03-19 | University Of Southern California | 3-D reconstruction and registration |
US9177224B1 (en) * | 2013-03-14 | 2015-11-03 | Amazon Technologies, Inc. | Object recognition and tracking |
US8885901B1 (en) * | 2013-10-22 | 2014-11-11 | Eyenuk, Inc. | Systems and methods for automated enhancement of retinal images |
IL231862A (en) * | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
US9576221B2 (en) | 2014-07-09 | 2017-02-21 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using template image classifiers |
AU2017317599B2 (en) * | 2016-08-22 | 2021-12-23 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
US11379688B2 (en) * | 2017-03-16 | 2022-07-05 | Packsize Llc | Systems and methods for keypoint detection with convolutional neural networks |
JP2020518915A (ja) * | 2017-04-27 | 2020-06-25 | パスハラキス スタブロスPASCHALAKIS, Stavros | 自動眼底画像分析用のシステムおよび方法 |
JP7250709B2 (ja) * | 2017-06-28 | 2023-04-03 | マジック リープ, インコーポレイテッド | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム |
CA3078977A1 (en) * | 2017-11-14 | 2019-05-23 | Magic Leap, Inc. | Fully convolutional interest point detection and description via homographic adaptation |
-
2018
- 2018-11-14 CA CA3078977A patent/CA3078977A1/en active Pending
- 2018-11-14 EP EP18878061.3A patent/EP3710981A4/en active Pending
- 2018-11-14 AU AU2018369757A patent/AU2018369757B2/en active Active
- 2018-11-14 JP JP2020526192A patent/JP7270623B2/ja active Active
- 2018-11-14 IL IL274426A patent/IL274426B2/en unknown
- 2018-11-14 KR KR1020207012922A patent/KR20200087757A/ko not_active Application Discontinuation
- 2018-11-14 US US16/190,948 patent/US10977554B2/en active Active
- 2018-11-14 IL IL304881A patent/IL304881B2/en unknown
- 2018-11-14 WO PCT/US2018/061048 patent/WO2019099515A1/en unknown
-
2021
- 2021-02-18 US US17/179,226 patent/US11537894B2/en active Active
-
2023
- 2023-04-25 JP JP2023071522A patent/JP7403700B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014002554A1 (ja) | 2012-06-29 | 2014-01-03 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20150161468A1 (en) | 2012-06-29 | 2015-06-11 | Nec Corporation | Image processing apparatus, image processing method, and program |
JP2017041113A (ja) | 2015-08-20 | 2017-02-23 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
WO2017091833A1 (en) | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
WO2017168899A1 (ja) | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 情報処理方法および情報処理装置 |
Non-Patent Citations (1)
Title |
---|
Hiroki Yoshihara, et al,Automatic Feature Point Detection Using Deep Convolutional Networks for Quantitative Evaluation of Facial Paralysis,2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics(CISP-BMEI 2016),米国,IEEE,2016年,p.811-p.814,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7852821 |
Also Published As
Publication number | Publication date |
---|---|
US10977554B2 (en) | 2021-04-13 |
EP3710981A4 (en) | 2020-12-23 |
JP2023083561A (ja) | 2023-06-15 |
AU2018369757A1 (en) | 2020-05-14 |
JP7403700B2 (ja) | 2023-12-22 |
KR20200087757A (ko) | 2020-07-21 |
IL274426A (en) | 2020-06-30 |
JP2021503131A (ja) | 2021-02-04 |
US20210241114A1 (en) | 2021-08-05 |
IL274426B1 (en) | 2023-09-01 |
CA3078977A1 (en) | 2019-05-23 |
IL304881B2 (en) | 2024-07-01 |
EP3710981A1 (en) | 2020-09-23 |
IL304881B1 (en) | 2024-03-01 |
WO2019099515A1 (en) | 2019-05-23 |
IL304881A (en) | 2023-10-01 |
IL274426B2 (en) | 2024-01-01 |
CN111344716A (zh) | 2020-06-26 |
US11537894B2 (en) | 2022-12-27 |
AU2018369757B2 (en) | 2023-10-12 |
US20190147341A1 (en) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270623B2 (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
JP7422785B2 (ja) | ニューラルネットワークおよび角検出器を使用した角検出のための方法および装置 | |
JP7357676B2 (ja) | 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法 | |
JP7250709B2 (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
US10984545B2 (en) | Estimating depth for a video stream captured with a monocular rgb camera | |
US11354847B2 (en) | Three-dimensional object reconstruction from a video | |
US20220198622A1 (en) | High dynamic range support for legacy applications | |
US11954862B2 (en) | Joint estimation of heart rate and respiratory rate using neural networks | |
CN111344716B (zh) | 经由单应性变换适应的全卷积兴趣点检测和描述 | |
US11270161B2 (en) | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene | |
Jung et al. | Model Reconstruction of Real-World 3D Objects: An Application with Microsoft HoloLens | |
US11783532B1 (en) | View synthesis using attribute correspondences and geometric relationship constraints | |
US20240233146A1 (en) | Image processing using neural networks, with image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |