JP7194685B2 - 八分木に基づく畳み込みニューラルネットワーク - Google Patents
八分木に基づく畳み込みニューラルネットワーク Download PDFInfo
- Publication number
- JP7194685B2 JP7194685B2 JP2019549375A JP2019549375A JP7194685B2 JP 7194685 B2 JP7194685 B2 JP 7194685B2 JP 2019549375 A JP2019549375 A JP 2019549375A JP 2019549375 A JP2019549375 A JP 2019549375A JP 7194685 B2 JP7194685 B2 JP 7194685B2
- Authority
- JP
- Japan
- Prior art keywords
- nodes
- octree
- node
- empty
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims description 82
- 238000011176 pooling Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Neurology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Materials For Medical Uses (AREA)
- Complex Calculations (AREA)
- Image Generation (AREA)
- Storage Device Security (AREA)
- Human Computer Interaction (AREA)
Description
[0001] 近年、3D撮像装置及びモデリングツールの発展に伴い、3Dモデル及びシーンが質量共に急速に向上している。各種の3次元形状の特徴の識別及び解析は、多くの形状解析及び認識タスク、例えば形状分類、形状探索、形状分割等のタスクにおいて一層重要になる。
[0003] いくつかの実装形態において、3次元形状を表すための八分木を保存するように構成されたメモリを含む装置が提供される。八分木のノードは、空ノード及び非空ノードを含む。空ノードは、3次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、3次元形状の少なくとも一部を含む。本装置は、メモリに結合され、且つ3次元形状を表すための八分木をメモリから取得することと、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することとを含む動作を実行ように構成された処理装置を更に含む。
[0015] 以下では、本明細書に記述する主題を、いくつかの例示的実装形態を参照しながら説明する。これらの実装形態は、主題の範囲を決して限定するものではなく、本明細書に記述する主題を当業者がより良く理解及び実施できるようにすることのみを目的として説明されることを理解されたい。
[0019] 本明細書に記述する主題の基本的原理及びいくつかの例示的実装形態を、図面を参照しながら以下に記述する。図1は、本明細書に記述する主題の1つ以上の実装形態を実行可能なコンピュータシステム/サーバ100のブロック図を示す。図1に示すコンピュータシステム/サーバ100は、一例に過ぎず、本明細書に記述する主題の機能及び範囲を決して限定するものではないことを理解されたい。
[0028] 図2は、本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークの例示的アーキテクチャ200を示す。図2に示すアーキテクチャ200が一例に過ぎないことを理解されたい。本明細書に記述する主題の実装形態は、他のアーキテクチャの畳み込みニューラルネットワークにも適用することができる。本明細書に記述する主題は、これに限定されない。
[0034] 八分木構造の従来の実装形態では、特定のノードに効果的にアクセスできない。従って、頻繁にデータにアクセスする畳み込みニューラルネットワークにこれらの実装形態を用いることは不適当である。八分木のアクセス効率を更に向上させるために、畳み込みニューラルネットワークへの高速アクセス及び八分木表現と一体化された従来の畳み込みニューラルネットワーク操作をサポートする効果的な八分木記憶解決策を提供する。
key(O):=x1y1z1x2y2z2...xlyldl (1)
ここで、lは、八分木におけるノードOの深さを表す。従って、深さlでのノードのシャッフルキーは、31ビットである。
、
及び
とすることができ、これらは、上述のように編成できるため、ここでは詳細を省略する。超八分木は、一時的配列を生成することなくデータを効果的に処理できるように畳み込みニューラルネットワークの入力として用いることができる。
[0049] 畳み込みニューラルネットワークの基本的操作は、畳み込み及びプーリングである。画像処理の場合、各ピクセルが色情報を含み、これらの操作を通じて他の領域に情報を伝播すべきであるため、これらの操作は、全ての領域で実行すべきである。しかし、3次元形状の場合、幾何学的情報は、限られた領域内にのみ存在する。空領域への情報の伝播は、膨大な計算リソースを要するために不要である。本明細書に記述する主題のいくつかの実装形態に従い、情報伝播は、八分木内に限定され、畳み込み及びプーリング操作が相応に実行される。換言すれば、畳み込みニューラルネットワーク操作は、八分木のノードが存在する場所で実行される。更に、逆畳み込み及び逆プーリング操作が八分木構造に拡張される。
ここで、Oijkは、Oの隣接ノードを表し、T(・)は、Oijkに関連付けられた特徴ベクトルを表し、T(n)(・)は、特徴ベクトルのn番目のチャネルを表し、
は、畳み込み操作の重みである。Oijkが八分木内に存在しない場合、T(Oijk)は、ゼロベクトルに設定される。このような形式において、畳み込み操作は、行列演算に変換され、これらの線形代数演算は、グラフィカルコンピュータ上で効果的に実行することができる。
[0064] 図9は、本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークを訓練する方法900のフローマップを示す。本方法は、図1に示すグラフィック処理装置170により実行することができる。
[0073] 近年、畳み込みニューラルネットワークのネットワークアーキテクチャが急激に進化している。多くのタスクを達成するためにより深く且つ広いネットワークが優位性を示している。3次元畳み込みニューラルネットワークは、異なるネットワーク構造により能力を向上させることができる。本明細書に記述する主題のいくつかの実装形態による八分木に基づく表現の利点をより明らかに示すために、簡単なニューラルネットワークを以下に示す。しかし、本明細書に記述する主題の実装形態による八分木に基づく表現は、各種の畳み込みニューラルネットワークアーキテクチャにも適用できることを理解されたい。本明細書に記述する主題は、これに限定されない。
入力→Ud→Ud-1→...→U2
で定義することができ、簡便のためO-CNN(d)と呼ばれる。
O-CNN(d)→ドロップアウト→FC(l28)→ドロップアウト→FC(NC)→ソフトマックス→出力
であり、ここで、128は、FC内のニューロン数を表し、NCは、分類カテゴリ数を表す。ドロップアウト層は、過剰適合を回避するために用いられる。形状探索の場合、上のオブジェクト分類からの出力を最も類似度が高い形状の探索キーとして用いることができる。
[0083] 本明細書に記述する主題のいくつかの例示的実装形態を以下に列挙する。
Claims (12)
- 3次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記3次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記3次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、
前記メモリに結合され、且つ
前記3次元形状を表すための前記八分木を前記メモリから取得することと、
畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
を含む動作を実行するように構成された処理装置と、
を含み、
前記畳み込み層の畳み込み操作を実行することは、
前記畳み込み層に関連付けられた前記深さを有する前記ノードから、同一の親ノードを有する8つのノードを決定することと、
前記八分木に基づいて前記8つのノードのノード近傍を決定することであって、前記ノード近傍は、前記8つのノードの少なくとも1つに隣接するノードを含む、決定することと、
前記ノード近傍に対して前記8つのノードの前記畳み込み層の前記操作を実行することと、
を含む、装置。 - 3次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記3次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記3次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、
前記メモリに結合され、且つ
前記3次元形状を表すための前記八分木を前記メモリから取得することと、
畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
を含む動作を実行するように構成された処理装置と、
を含み、
前記畳み込みニューラルネットワークは、プーリング層を含み、前記動作は、
前記プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する8つのノードを決定することと、
前記8つのノードの形状データに対してダウンサンプリング操作を実行することと、
を更に含む、装置。 - 3次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記3次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記3次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、
前記メモリに結合され、且つ
前記3次元形状を表すための前記八分木を前記メモリから取得することと、
畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
を含む動作を実行するように構成された処理装置と、
を含み、
前記畳み込みニューラルネットワークは、逆プーリング層を含み、及び前記動作は、
前記逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する8つのノードを決定することと、
前記8つのノードの形状データに対してアップサンプリング操作を実行することと、
を更に含む、装置。 - 3次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記3次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記3次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、
前記メモリに結合され、且つ
前記3次元形状を表すための前記八分木を前記メモリから取得することと、
畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
を含む動作を実行するように構成された処理装置と、
を含み、
前記畳み込みニューラルネットワークは、逆畳み込み層を含み、及び前記動作は、
前記逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する8つのノードを決定することと、
前記八分木に基づいて前記8つのノードのノード近傍を決定することであって、前記ノード近傍は、前記8つのノードの少なくとも1つに隣接するノードを含む、決定することと、
前記ノード近傍に対して、前記8つのノードの前記逆畳み込み層の操作を実行することと、
を更に含む、装置。 - 前記3次元形状を表すための前記八分木を取得することは、前記3次元形状の空間分割に基づいて、
前記八分木のノードのインデクス、
前記八分木のノードのラベルであって、前記ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、
前記八分木のノードの形状データであって、前記ノード内の前記3次元形状の形状を少なくとも示す形状データ、及び
前記八分木の階層構造、
の少なくとも1つを取得することを含む、請求項1乃至4のうち何れか1項に記載の装置。 - 前記3次元形状を表すための前記八分木を取得することは、
前記3次元形状を表すデータ信号を受信することと、
前記データ信号を受信することに応答して、前記3次元形状を表すための前記八分木を決定することと、
を含む、請求項1乃至5のうち何れか1項に記載の装置。 - 前記インデクス、前記ラベル、前記形状データ及び前記階層構造の少なくとも1つは、連続ベクトルとして定義される、請求項5に記載の装置。
- 前記装置は、グラフィック処理装置(GPU)である、請求項1乃至7のうち何れか1項に記載の装置。
- 3次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記3次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記3次元形状の少なくとも一部を含む、八分木を取得することと、
畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
を含み、
前記畳み込み層の畳み込み操作を実行することは、
前記畳み込み層に関連付けられた前記深さを有する前記ノードから、同一の親ノードを有する8つのノードを決定することと、
前記八分木に基づいて前記8つのノードのノード近傍を決定することであって、前記ノード近傍は、前記8つのノードの少なくとも1つに隣接するノードを含む、決定することと、
前記ノード近傍に対して前記8つのノードの前記畳み込み層の操作を実行することと、
を含む、コンピュータ実装方法。 - 3次元形状を表すための八分木を取得することは、前記3次元形状の空間分割に基づいて、
前記八分木のノードのインデクス、
前記八分木のノードのラベルであって、前記ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、
前記八分木のノードの形状データであって、前記ノード内の前記3次元形状の形状を少なくとも示す形状データ、及び
前記八分木の階層構造、
の少なくとも1つを取得することを含む、請求項9に記載の方法。 - 3次元形状を表すための八分木を取得することは、
前記3次元形状を表すデータ信号を受信することと、
前記データ信号を受信することに応答して、前記3次元形状を表すための前記八分木を決定することと、
を含む、請求項9又は10に記載の方法。 - 命令を含むコンピュータプログラムであって、前記命令は、機械によって実行された場合、前記機械に、請求項9乃至11のうち何れか1項に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710297300.4 | 2017-04-28 | ||
CN201710297300.4A CN108805261B (zh) | 2017-04-28 | 2017-04-28 | 基于八叉树的卷积神经网络 |
PCT/US2018/028458 WO2018200316A2 (en) | 2017-04-28 | 2018-04-20 | Octree-based convolutional neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020518882A JP2020518882A (ja) | 2020-06-25 |
JP7194685B2 true JP7194685B2 (ja) | 2022-12-22 |
Family
ID=62186529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549375A Active JP7194685B2 (ja) | 2017-04-28 | 2018-04-20 | 八分木に基づく畳み込みニューラルネットワーク |
Country Status (17)
Country | Link |
---|---|
US (1) | US11704537B2 (ja) |
EP (1) | EP3616166A2 (ja) |
JP (1) | JP7194685B2 (ja) |
KR (1) | KR20190142343A (ja) |
CN (1) | CN108805261B (ja) |
AU (1) | AU2018258094B2 (ja) |
BR (1) | BR112019022275A2 (ja) |
CA (1) | CA3056959A1 (ja) |
CL (1) | CL2019003013A1 (ja) |
CO (1) | CO2019012038A2 (ja) |
IL (1) | IL270192B2 (ja) |
MX (1) | MX2019012673A (ja) |
PH (1) | PH12019550187A1 (ja) |
RU (1) | RU2767162C2 (ja) |
SG (1) | SG11201909561RA (ja) |
WO (1) | WO2018200316A2 (ja) |
ZA (1) | ZA201905869B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112016007098T5 (de) * | 2016-07-26 | 2019-04-18 | Hewlett-Packard Development Company, L.P. | Indexierung von voxeln für das 3d-drucken |
CN108805261B (zh) | 2017-04-28 | 2021-11-12 | 微软技术许可有限责任公司 | 基于八叉树的卷积神经网络 |
CN109829399B (zh) * | 2019-01-18 | 2022-07-05 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
EP3825956B1 (en) * | 2019-11-21 | 2022-06-22 | Dassault Systèmes | Processing a 3d signal of a shape attribute over a real object |
CN114041292A (zh) * | 2019-11-22 | 2022-02-11 | 腾讯美国有限责任公司 | 用于神经网络模型压缩的三维(3d)树编解码的方法和装置 |
JP2022520912A (ja) * | 2020-01-22 | 2022-04-04 | 深▲チェン▼市商▲湯▼科技有限公司 | データ処理方法、装置及びチップ、電子機器、記憶媒体 |
CN112102467B (zh) * | 2020-07-22 | 2024-05-24 | 深圳市菲森科技有限公司 | 一种基于gpu的并行八叉树生成、装置及电子设备 |
CN112256652B (zh) * | 2020-10-19 | 2022-09-16 | 济南大学 | 一种三维点云属性压缩方法、***及终端 |
CN113160902B (zh) * | 2021-04-09 | 2024-05-10 | 大连理工大学 | 一种预测化学反应产物对映选择性的方法 |
US11810250B2 (en) * | 2021-06-30 | 2023-11-07 | Tencent America LLC | Systems and methods of hierarchical implicit representation in octree for 3D modeling |
WO2023172573A1 (en) | 2022-03-07 | 2023-09-14 | Quidient, Llc | Systems and methods for generalized scene reconstruction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277562A (ja) | 2005-03-30 | 2006-10-12 | Fujitsu Ltd | 3次元データ管理装置および3次元データ処理装置 |
JP2013069132A (ja) | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
US20170046616A1 (en) | 2015-08-15 | 2017-02-16 | Salesforce.Com, Inc. | Three-dimensional (3d) convolution with 3d batch normalization |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100446635B1 (ko) * | 2001-11-27 | 2004-09-04 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 객체 표현 장치 및 방법 |
GB0209080D0 (en) | 2002-04-20 | 2002-05-29 | Virtual Mirrors Ltd | Methods of generating body models from scanned data |
US6903738B2 (en) | 2002-06-17 | 2005-06-07 | Mitsubishi Electric Research Laboratories, Inc. | Image-based 3D modeling rendering system |
US7519603B2 (en) * | 2002-11-27 | 2009-04-14 | Zyvex Labs, Llc | Efficient data structure |
RU2339083C2 (ru) | 2003-12-19 | 2008-11-20 | ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви | Система трехмерной видеоигры |
KR100519780B1 (ko) * | 2004-02-17 | 2005-10-07 | 삼성전자주식회사 | 3차원 체적 데이터 부호화/복호화 방법 및 장치 |
US20060017720A1 (en) | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
US8169434B2 (en) * | 2008-09-29 | 2012-05-01 | Microsoft Corporation | Octree construction on graphics processing units |
CN102214366B (zh) * | 2011-07-20 | 2013-01-16 | 浙江万里学院 | 三维点采样数据高性能渲染方法 |
CN102999937A (zh) * | 2011-09-08 | 2013-03-27 | 上海翰攀信息科技有限公司 | 心脏散乱点云数据曲面重建的方法 |
US9396512B2 (en) * | 2012-03-09 | 2016-07-19 | Nvidia Corporation | Fully parallel construction of k-d trees, octrees, and quadtrees in a graphics processing unit |
US10013507B2 (en) * | 2013-07-01 | 2018-07-03 | Here Global B.V. | Learning synthetic models for roof style classification using point clouds |
EP2933777A1 (en) * | 2014-04-17 | 2015-10-21 | amberMind | Three dimensional modeling |
EP3486875B1 (en) | 2014-10-09 | 2020-07-29 | Huawei Technologies Co., Ltd. | Apparatus and method for generating an augmented reality representation of an acquired image |
CN104616345B (zh) * | 2014-12-12 | 2017-05-24 | 浙江大学 | 一种基于八叉树森林压缩的三维体素存取方法 |
JP6663926B2 (ja) | 2015-05-13 | 2020-03-13 | グーグル エルエルシー | DeepStereo:実世界の画像から新たなビューを予測するための学習 |
US20160379109A1 (en) | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
US10235606B2 (en) | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
US9495764B1 (en) | 2016-03-21 | 2016-11-15 | URC Ventures, Inc. | Verifying object measurements determined from mobile device images |
CN106095907A (zh) * | 2016-06-08 | 2016-11-09 | 江西理工大学 | 基于八叉树与三维r星树集成的激光点云数据管理方法 |
EP3608876A1 (en) * | 2016-09-13 | 2020-02-12 | Dassault Systèmes | Compressing a signal that represents a physical attribute |
CN108805261B (zh) | 2017-04-28 | 2021-11-12 | 微软技术许可有限责任公司 | 基于八叉树的卷积神经网络 |
CN109410321B (zh) | 2018-10-17 | 2022-09-20 | 大连理工大学 | 基于卷积神经网络的三维重建方法 |
US11671110B2 (en) | 2019-11-22 | 2023-06-06 | Tencent America LLC | Method and apparatus for neural network model compression/decompression |
CN112991424B (zh) | 2021-04-07 | 2024-02-13 | 重庆大学 | 一种基于八叉树算法的分形维数计算方法及装置 |
-
2017
- 2017-04-28 CN CN201710297300.4A patent/CN108805261B/zh active Active
-
2018
- 2018-04-20 MX MX2019012673A patent/MX2019012673A/es unknown
- 2018-04-20 AU AU2018258094A patent/AU2018258094B2/en active Active
- 2018-04-20 CA CA3056959A patent/CA3056959A1/en active Pending
- 2018-04-20 US US16/606,653 patent/US11704537B2/en active Active
- 2018-04-20 IL IL270192A patent/IL270192B2/en unknown
- 2018-04-20 JP JP2019549375A patent/JP7194685B2/ja active Active
- 2018-04-20 RU RU2019138328A patent/RU2767162C2/ru active
- 2018-04-20 KR KR1020197031714A patent/KR20190142343A/ko not_active Application Discontinuation
- 2018-04-20 EP EP18725346.3A patent/EP3616166A2/en active Pending
- 2018-04-20 WO PCT/US2018/028458 patent/WO2018200316A2/en active Application Filing
- 2018-04-20 BR BR112019022275A patent/BR112019022275A2/pt unknown
- 2018-04-20 SG SG11201909561R patent/SG11201909561RA/en unknown
-
2019
- 2019-09-05 ZA ZA201905869A patent/ZA201905869B/en unknown
- 2019-09-14 PH PH12019550187A patent/PH12019550187A1/en unknown
- 2019-10-21 CL CL2019003013A patent/CL2019003013A1/es unknown
- 2019-10-28 CO CONC2019/0012038A patent/CO2019012038A2/es unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277562A (ja) | 2005-03-30 | 2006-10-12 | Fujitsu Ltd | 3次元データ管理装置および3次元データ処理装置 |
JP2013069132A (ja) | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
US20170046616A1 (en) | 2015-08-15 | 2017-02-16 | Salesforce.Com, Inc. | Three-dimensional (3d) convolution with 3d batch normalization |
Non-Patent Citations (1)
Title |
---|
Gernot Riegler, Ali Osman Ulusoy and Andreas Geiger,OctNet: Learning Deep 3D Representations at High Resolutions,arXiv.org [online],米国,2017年04月10日,[検索日 2022.1.20], インターネット<URL https://arxiv.org/pdf/1611.05009.pdf> |
Also Published As
Publication number | Publication date |
---|---|
ZA201905869B (en) | 2020-11-25 |
RU2019138328A (ru) | 2021-05-28 |
US11704537B2 (en) | 2023-07-18 |
KR20190142343A (ko) | 2019-12-26 |
CL2019003013A1 (es) | 2020-03-27 |
IL270192A (ja) | 2019-12-31 |
IL270192B1 (en) | 2024-01-01 |
AU2018258094A1 (en) | 2019-09-19 |
EP3616166A2 (en) | 2020-03-04 |
CA3056959A1 (en) | 2018-11-01 |
JP2020518882A (ja) | 2020-06-25 |
IL270192B2 (en) | 2024-05-01 |
SG11201909561RA (en) | 2019-11-28 |
WO2018200316A3 (en) | 2019-02-07 |
CO2019012038A2 (es) | 2020-01-17 |
WO2018200316A2 (en) | 2018-11-01 |
RU2767162C2 (ru) | 2022-03-16 |
AU2018258094B2 (en) | 2022-04-21 |
BR112019022275A2 (pt) | 2020-05-19 |
US20200042863A1 (en) | 2020-02-06 |
CN108805261A (zh) | 2018-11-13 |
PH12019550187A1 (en) | 2020-06-08 |
MX2019012673A (es) | 2020-02-05 |
CN108805261B (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7194685B2 (ja) | 八分木に基づく畳み込みニューラルネットワーク | |
US11256961B2 (en) | Training a neural network to predict superpixels using segmentation-aware affinity loss | |
US10922793B2 (en) | Guided hallucination for missing image content using a neural network | |
Riegler et al. | Octnet: Learning deep 3d representations at high resolutions | |
US10776688B2 (en) | Multi-frame video interpolation using optical flow | |
CN110363294B (zh) | 利用网络中的路径来表示神经网络以提高神经网络的性能 | |
US20190147296A1 (en) | Creating an image utilizing a map representing different classes of pixels | |
He et al. | Enhanced boundary learning for glass-like object segmentation | |
US9396512B2 (en) | Fully parallel construction of k-d trees, octrees, and quadtrees in a graphics processing unit | |
Cheng et al. | Deep-learning-assisted volume visualization | |
KR102305230B1 (ko) | 객체 경계정보의 정확도 개선방법 및 장치 | |
He et al. | Instance-aware embedding for point cloud instance segmentation | |
Ahmad et al. | 3D capsule networks for object classification from 3D model data | |
Jiang et al. | Recognizing vector graphics without rasterization | |
US20220012536A1 (en) | Creating an image utilizing a map representing different classes of pixels | |
Ying et al. | EdgePC: Efficient deep learning analytics for point clouds on edge devices | |
CN117725966A (zh) | 草图序列重建模型的训练方法、几何模型重建方法及设备 | |
CN117237623B (zh) | 一种无人机遥感图像语义分割方法及*** | |
Park et al. | A vision processor with a unified interest-point detection and matching hardware for accelerating a stereo-matching algorithm | |
US7388584B2 (en) | Method and program for determining insides and outsides of boundaries | |
CN104992425A (zh) | 一种基于gpu加速的dem超分辨率方法 | |
Shaharabany et al. | End-to-end segmentation of medical images via patch-wise polygons prediction | |
Abdeltif et al. | Parallel framework for memory-efficient computation of image descriptors for megapixel images | |
Fathy et al. | Parallel Implementation of 3D Model Reconstruction of Monocular Video Frames in a Dynamic Environment. | |
Alcaín et al. | A non-smooth non-local variational approach to saliency detection in real time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221019 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221031 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7194685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |