JP6962263B2 - 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム - Google Patents
3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム Download PDFInfo
- Publication number
- JP6962263B2 JP6962263B2 JP2018079243A JP2018079243A JP6962263B2 JP 6962263 B2 JP6962263 B2 JP 6962263B2 JP 2018079243 A JP2018079243 A JP 2018079243A JP 2018079243 A JP2018079243 A JP 2018079243A JP 6962263 B2 JP6962263 B2 JP 6962263B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- point
- super
- ground height
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 126
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 7
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Chemical compound OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 claims 2
- 235000019169 all-trans-retinol Nutrition 0.000 claims 1
- 239000011717 all-trans-retinol Substances 0.000 claims 1
- 239000010410 layer Substances 0.000 description 53
- 238000012545 processing Methods 0.000 description 29
- 230000009466 transformation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラムに関する。
3次元(x、y、z)の位置情報と任意の数の属性情報を持つデータを3次元点と呼ぶ。そのような3次元点の集まりからなるデータを3次元点群と呼ぶ。3次元点群は、物体の幾何的な情報を示すデータであり、ラインセンサや、画像から3次元再構成をすることによって取得することができる。点の属性情報とは、点群の計測の際に得られた位置情報以外の情報であり、例えば、点の反射強度を示すIntensity値や、色情報を示すRGB値等がある。
上記の3次元点群のラベル推定技術としては、例えば、非特許文献1に記載されているように、ディープニューラルネットワーク(Deep Neural Network:DNN)による手法がある。また、例えば、特許文献1には、スイープ形状を検出することで、その断面の形状により屋外の大規模点群中の人工物にラベルを付与する技術が記載されている。
R. Q. Charles, H. Su, M. Kaichun and L. J. Guibas, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 77-85.
しかしながら、上記非特許文献1に記載の手法では、入力される点群に含まれる点の数を制限して学習および推定を行うため、範囲に制限のない大規模な点群を扱うことは困難である。
また、上記特許文献1に記載の技術では、形状がスイープ形状をなさない自然物(樹木葉等)などにラベルを付与することは困難である。
本発明は、上記の点に鑑みてなされたものであり、範囲や点数に制限のない大規模点群を対象として、その対象を構成する点を、対象の種類に関わらずラベル付けすることができる3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第1の発明に係る3次元点群ラベル学習装置は、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力する地上高算出部と、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するIntensity-RGB変換部と、前記Intensity-RGB変換済地上高付3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するディープニューラルネットワーク学習部と、を備えている。
また、第2の発明に係る3次元点群ラベル学習装置は、各点の地上高を含む3次元位置、及び前記各点の反射強度を示すIntensity値又は色情報を示すRGB値を含む3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置を用いて、前記3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するディープニューラルネットワーク学習部と、を備えている。
一方、上記目的を達成するために、第3の発明に係る3次元点群ラベル推定装置は、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力する地上高算出部と、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するIntensity-RGB変換部と、前記Intensity-RGB変換済地上高付3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するディープニューラルネットワーク推定部と、を備えている。
また、第4の発明に係る3次元点群ラベル推定装置は、各点の地上高を含む3次元位置、及び前記各点の反射強度を示すIntensity値又は色情報を示すRGB値を含む3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置を用いて、前記3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するディープニューラルネットワーク推定部と、を備えている。
一方、上記目的を達成するために、第5の発明に係る3次元点群ラベル学習方法は、地上高算出部が、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力するステップと、Intensity-RGB変換部が、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するステップと、スーパーボクセルクラスタリング部が、前記Intensity-RGB変換済地上高付3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するステップと、ディープニューラルネットワーク学習部が、前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するステップと、を含んでいる。
一方、上記目的を達成するために、第6の発明に係る3次元点群ラベル推定方法は、地上高算出部が、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力するステップと、Intensity-RGB変換部が、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するステップと、スーパーボクセルクラスタリング部が、前記Intensity-RGB変換済地上高付3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するステップと、ディープニューラルネットワーク推定部が、前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するステップと、を含んでいる。
更に、上記目的を達成するために、第7の発明に係るプログラムは、コンピュータを、第1又は第2の発明に係る3次元点群ラベル学習装置が備える各部、又は、第4又は第5の発明に係る3次元点群ラベル推定装置が備える各部として機能させる。
以上説明したように、本発明に係る3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラムによれば、範囲や点数に制限のない大規模点群を対象として、その対象を構成する点を、対象の種類(人工物や自然物等)に関わらずラベル付けすることができる。
また、学習や推定に属性情報(Intensity,RGB等)を用いることにより、位置情報のみを用いる場合と比べ、より精度の高い推定を行うことができる。
また、学習や推定に属性情報(Intensity,RGB等)を用いることにより、位置情報のみを用いる場合と比べ、より精度の高い推定を行うことができる。
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
本実施形態に係る3次元点群ラベル推定装置は、上述の3次元点群を入力として、3次元点群に含まれる各点についての位置情報及び属性情報から、それぞれの点のラベルを推定する。また、本実施形態に係る3次元点群ラベル学習装置は、この3次元点群ラベル推定装置によるラベル推定機能を実現するための学習を行う。本実施形態に係る3次元点群ラベル学習装置及び3次元点群ラベル推定装置は、後述する1つの3次元点群ラベル学習推定装置により実現される。
ここで、点の属性情報には、上述したように、点の反射強度を示すIntensity値や、色情報を示すRGB値等があるが、本実施形態においては特に限定されない。また、ラベルとは、各点がどのような物体に属するかを示すものである。例えば、市街地を計測した点群の場合、一例として、建物、道路、樹木、標識等を示すラベルがある。ラベルの種類については、利用者が任意に設定できるものであり、本実施形態においては特に限定されない。
本実施形態においては、特に点群を構成する点数や点群の空間的な範囲に制限がない大規模な点群を対象とする。例えば、市街地を計測した点群では、計測する範囲の面積を大きくすれば、際限なく点群を構成する点数や点群の空間的な範囲を大きくすることができる。本実施形態ではそのような大規模な点群を対象とする。
<3次元点群ラベル学習推定装置の構成>
図1は、本実施形態に係る3次元点群ラベル学習推定装置10の機能的な構成の一例を示すブロック図である。
図1に示すように、本実施形態に係る3次元点群ラベル学習推定装置10は、記憶部12と、地上高算出部14と、Intensity-RGB変換部16と、スーパーボクセルクラスタリング部18と、ディープニューラルネットワーク学習部20と、ディープニューラルネットワーク推定部22と、を備えている。
図1に示すように、本実施形態に係る3次元点群ラベル学習推定装置10は、記憶部12と、地上高算出部14と、Intensity-RGB変換部16と、スーパーボクセルクラスタリング部18と、ディープニューラルネットワーク学習部20と、ディープニューラルネットワーク推定部22と、を備えている。
3次元点群ラベル学習推定装置10は、電気的には、CPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)等を備えたコンピュータとして構成される。なお、3次元点群ラベル学習推定装置10には、GPU(Graphics Processing Unit)を含んでいてもよい。また、ROMには、本実施形態に係る3次元点群ラベル学習推定処理プログラムが記憶されている。この3次元点群ラベル学習推定処理プログラムにより、後述する推定処理ルーチンや学習処理ルーチンが実行される。
上記の3次元点群ラベル学習推定処理プログラムは、例えば、3次元点群ラベル学習推定装置10に予めインストールされていてもよい。この3次元点群ラベル学習推定処理プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、3次元点群ラベル学習推定装置10に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、CD-ROM(Compact Disc Read Only Memory)、光磁気ディスク、DVD-ROM(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が挙げられる。
CPUは、ROMに記憶されている3次元点群ラベル学習推定処理プログラムを読み込んで実行することにより、上記の地上高算出部14、Intensity-RGB変換部16、スーパーボクセルクラスタリング部18、ディープニューラルネットワーク学習部20、及びディープニューラルネットワーク推定部22として機能する。
また、記憶部12には、不揮発性の記憶装置が適用される。記憶部12には、3次元点群12A、地面高さ12B、地上高付3次元点群12C、Intensity-RGB変換済地上高付3次元点群12D、学習用点群ラベル12E、クラスタリングハイパーパラメータ12F、スーパーボクセルデータ12G(学習時は正解ラベル付スーパーボクセルデータ)、ディープニューラルネットワークハイパーパラメータ12H、学習済ディープニューラルネットワークパラメータ12I、及び推定ラベル付3次元点群12Jが記憶される。
本実施形態に係る3次元点群ラベル学習推定装置10は、学習時には3次元点群ラベル学習装置として機能し、推定時には3次元点群ラベル推定装置として機能する。
図2は、本実施形態に係る3次元点群ラベル学習装置10Aの機能的な構成の一例を示すブロック図である。
学習時における3次元点群ラベル学習装置10Aでは、ディープニューラルネットワーク推定部22及び推定ラベル付3次元点群12Jを用いない構成とされる。
本実施系形態に係る地上高算出部14は、各点の3次元位置(x,y,z)及び各点の反射強度を示すIntensity値を含む3次元点群12Aと、地面高さ12Bとを入力した場合、3次元点群12Aの各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群12Cを出力する。
ここで、図3を参照して、入力となる3次元点群12Aについて説明する。なお、図3は、本実施形態に係る3次元点群12Aの一例を示す図である。また、図3に示す3次元点群12Aの例は、実際にはカラー画像で示されるものであるが、本例では便宜上グレースケール画像として示している。
3次元点群12Aは、各点について、3次元位置(x,y,z)と、属性値としてIntensity値とを持つ点の集合である。本実施形態では、3次元位置について、zが点の高さを示し、x,yが点の水平位置を示すものとするが、これらx,y,zのとり方は自由である。
また、学習用の3次元点群データには、3次元点群12Aのそれぞれの点がどんな種類の物体に属するかを示すラベルである学習用点群ラベル12Eが付与されている。学習用点群ラベル12Eは、学習に先立って人が手作業で作成するものである。推定用の3次元点群データには、このラベルは不要であるが、前処理で一部のラベル(地面など)が付与されている場合もある。学習用の3次元点群データ及び推定用の3次元点群データに関わらず特に地面のラベルが付与されている場合は、地上高算出部14でその情報を利用してもよい。
本実施形態に係るIntensity-RGB変換部16は、地上高付3次元点群12Cを入力として、地上高付3次元点群12Cの各点について、Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群12Dを出力する。
本実施形態に係るスーパーボクセルクラスタリング部18は、Intensity-RGB変換済地上高付3次元点群12Dと、3次元点群12Aの各点について予め付与されたラベルを含む学習用点群ラベル12Eと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置及びRGB値を用いて、Intensity-RGB変換済地上高付3次元点群12Dを複数のスーパーボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についてのIntensity値及び地上高を含む属性と点群情報とを示す正解ラベル付スーパーボクセルデータを出力する。
本実施形態に係るディープニューラルネットワーク学習部20は、正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータ12Hとを入力として、スーパーボクセルの属性及び点群情報を示すスーパーボクセルデータ12Gからラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータ12Iを学習する。
また、3次元点群12Aのそれぞれの点のz座標をそのまま地上高として扱うと共に、クラスタリングにおいてRGB値を用いない形態としてもよい。この場合、スーパーボクセルクラスタリング部18は、各点の地上高を含む3次元位置、及び各点のIntensity値又はRGB値を含む3次元点群12Aと、学習用点群ラベル12Eと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置を用いて、3次元点群12Aを複数のスーパーボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についてのIntensity値及び地上高を含む属性と点群情報とを示す正解ラベル付スーパーボクセルデータを出力する。なお、3次元点群12Aが、Intensity値に代えて各点のRGB値を含む場合には、正解ラベル付スーパーボクセルデータが、属性として、Intensity値に代えてRGB値を含むようにしてもよい。また、3次元点群12Aが、各点のIntensity値及びRGB値の両方を含む場合には、正解ラベル付スーパーボクセルデータが、属性として、Intensity値及びRGB値の両方を含むようにしてもよい。ディープニューラルネットワーク学習部20は、正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータ12Hとを入力として、スーパーボクセルの属性及び点群情報を示すスーパーボクセルデータ12Gからラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータ12Iを学習する。つまり、この形態では、地上高算出部14及びIntensity-RGB変換部16を不要としてもよい。
次に、図4を参照して、本実施形態に係る3次元点群ラベル学習装置10Aの作用について説明する。なお、図4は、本実施形態に係る3次元点群ラベル学習推定処理プログラムによる学習処理ルーチンの処理の流れの一例を示すフローチャートである。
図4のステップ100では、地上高算出部14が、学習用点群としての3次元点群12Aと、任意の地面高さ12Bとの入力を受け付ける。
ステップ102では、地上高算出部14が、地面高さ12Bを用いて、3次元点群12Aに含まれる各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群12Cを出力する。なお、地面高さ12Bが与えられない場合、3次元点群12Aに地面の属性のラベルが事前に付与されているものとする。点群に地面の属性のラベルを付与する方法としては、例えば、RANSAC(Random Sample Consensus)により平面を3次元点群に当てはめ、当てはめた平面からある閾値以下の距離にある点を地面とする方法を適用してもよい。
また、地面高さ12Bが与えられている場合、3次元点群12Aのそれぞれの点のz座標から地面の高さを減じることで点の地上高を算出する。一方、3次元点群12Aに地面の属性のラベルが事前に付与されている場合、3次元点群12Aのそれぞれの点のz座標から、その点から最も近くにある地面のラベルが付与された点のz座標を減じることで地上高を算出する。いずれの場合も算出された地上高情報を、入力された3次元点群12Aに付与し、地上高付3次元点群12Cとして出力する。
ステップ104では、Intensity-RGB変換部16が、地上高付3次元点群12Cを入力とし、地上高付3次元点群12Cの各点について、Intensity値をRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群12Dを出力する。なお、Intensity値をRGB値に変換する理由は、次に続くスーパーボクセルクラスタリング部18でのクラスタリングにRGB値を利用するためである。
なお、3次元点群12Aの各点がIntensity値に代えてRGB値を属性として持っている場合には、Intensity-RGB変換を行う必要がない。このため、地上高算出部14から出力された地上高付3次元点群12Cは、スーパーボクセルクラスタリング部18に直接入力される。つまり、この場合、Intensity-RGB変換部16はスキップされる。
また、3次元点群12Aのそれぞれの点のz座標をそのまま地上高として扱い、3次元位置のみを用いる場合には、地上高を算出する必要がなく、更には、Intensity-RGB変換を行う必要もない。このため、3次元点群12Aは、スーパーボクセルクラスタリング部18に直接入力される。つまり、この場合、地上高算出部14及びIntensity-RGB変換部16はスキップされる。
ここで、地上高付3次元点群12Cが属性として各点のIntensity値を持つ場合、Intensity-RGB変換部16は、各点のIntensity値をRGB値に変換する際に、以下の処理を行う。
地上高付3次元点群12Cに含まれるそれぞれの点のIntensity値(intensity)を読み込み、最大値(max_intensity)を得る。それぞれの点のRGB値を、以下に示す式(1)を用いて導出する。
上記式(1)において、max_valueは、R,G,Bの各々の値がとりうる最大値である。例えば、R,G,Bがそれぞれ8bit符号無し整数型である場合は、max_value=255である。R,G,Bの各々の値を算出したら、その値を入力された地上高付3次元点群12Cに付与し、Intensity-RGB変換済地上高付3次元点群12Dとして出力する。
ステップ106では、スーパーボクセルクラスタリング部18が、Intensity-RGB変換済地上高付3次元点群12Dと、学習用点群ラベル12Eと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置及びRGB値を用いて、Intensity-RGB変換済地上高付3次元点群12Dを複数のスーパーボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についての属性及び点群情報を示す正解ラベル付スーパーボクセルデータを出力する。なお、学習用点群ラベル12Eが入力されるのは学習時のみであり、推定時には入力されない。
スーパーボクセルクラスタリング部18では、一例として、下記に示す非特許文献2に記載された方法を用いて、Intensity-RGB変換済地上高付3次元点群12Dの分割を行う。
Papon, A. Abramov, M. Schoeler and F. Woergoetter, "Voxel Cloud Connectivity Segmentation - Supervoxels for Point Clouds," 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, 2013, pp. 2027-2034.
具体的には、以下に示す処理(S1〜S5)を実施する。
(S1)クラスタリングハイパーパラメータ12Fを読み込む。クラスタリングハイパーパラメータ12Fは、r_seed, r_voxel, w_c, w_s, w_nの5つのパラメータからなる。
(S1)クラスタリングハイパーパラメータ12Fを読み込む。クラスタリングハイパーパラメータ12Fは、r_seed, r_voxel, w_c, w_s, w_nの5つのパラメータからなる。
(S2)Intensity-RGB変換済地上高付3次元点群12Dの座標(x,y,z)に注目し、一辺の長さがr_voxelのボクセルに分割する。
(S3)分割されたボクセルについて、(x,y,z)方向に、距離r_seedごとにボクセルを抽出し、それをセグメンテーションの核となるボクセル(核ボクセル)を設定する。これらの核ボクセルは一つ一つ異なるスーパーボクセルに属する。ここで、点とは、xyz座標と任意の数の属性 (intensityやRGBなど)をもつデータである。ボクセルとは、xyz空間を予め定めた大きさの立方体に区切って、その立方体に含まれる点をまとめたものである。従って、点が存在しない区画にはボクセルも存在しない。それぞれのボクセルについて、xyz座標は立方体の中心、RGB値はボクセル内に存在する点のRGB値の平均、法線ベクトルはボクセル内に存在する点の法線ベクトルの平均となる。また、ボクセルの一部が核ボクセルとなる。この核ボクセルの選別は、上記のように、xyzそれぞれの方向に距離r_seedごとにボクセルを抽出することで実施する。この核ボクセルは、スーパーボクセルクラスタリング(浸潤的なクラスタリング法)をする際の起点となるボクセルである。スーパーボクセルとは、スーパーボクセルクラスタリングの出力であり、複数のボクセルの集まりである、このスーパーボクセルは、1つの核ボクセルとその核ボクセルと同じ領域にクラスタリングされたボクセルからなる。核ボクセルの数とスーパーボクセルの数は同じである。
(S4)それぞれの核ボクセルから始めて隣接ボクセルを浸潤的に探索し、下記に示す式(2)の距離指標Dによりボクセルの所属するスーパーボクセルを決定する。この処理により、各ボクセルは、式(2)の距離指標Dが計算されたもののうち最小であり、かつ空間的に連結している核ボクセルが属するスーパーボクセルに所属される。
上記式(2)において、w_c, w_s, w_n, r_seedは、クラスタリングハイパーパラメータ12Fであり、D_c, D_s, D_nは、それぞれ注目しているボクセルと核ボクセルとのRGB値がなす距離、3次元位置がなす距離、法線がなす距離である。なお、クラスタリングにRGB値を用いない場合、D_c=0とする。
(S5)複数のスーパーボクセルにクラスタリングされた点群を、一例として、図5に示すようなスーパーボクセルデータ12Gとして保存する。なお、図5に示すスーパーボクセルデータ12Gの例は、実際にはカラー画像で示されるものであるが、本例では便宜上グレースケール画像として示している。また、保存するスーパーボクセルデータ12Gには、以下に示すデータ(D1〜D4)が含まれる。
(D1)center: スーパーボクセルに属する点群の(x,y,z)の平均値。
(D2)positions: 原点を上記centerとした、スーパーボクセルに属する全ての点の(x,y,z)座標。
(D3)point_attributes: スーパーボクセルに属する点群が持つ属性情報(Intensity, RGBなど)、Intensity-RGB変換部16で変換した結果得られたRGB値は含めない。以下、point_attributesに含まれる属性数をaとする。なお、3次元点群12Aが、Intensity値に代えて各点のRGB値を含む場合には、このpoint_attributesに、Intensity値に代えてRGB値が含まれる。また、3次元点群12Aが、各点のIntensity値及びRGB値の両方を含む場合には、このpoint_attributesに、Intensity値及びRGB値の両方が含まれる。
(D4)supervoxel_attributes: スーパーボクセルに含まれる点の地上高の平均値(height)、スーパーボクセルに含まれる点数(num_of_points)、その他スーパーボクセルについて導出された任意の数の特徴量を含む。以下、supervoxel_attributesに含まれる属性数をbとする。
(D2)positions: 原点を上記centerとした、スーパーボクセルに属する全ての点の(x,y,z)座標。
(D3)point_attributes: スーパーボクセルに属する点群が持つ属性情報(Intensity, RGBなど)、Intensity-RGB変換部16で変換した結果得られたRGB値は含めない。以下、point_attributesに含まれる属性数をaとする。なお、3次元点群12Aが、Intensity値に代えて各点のRGB値を含む場合には、このpoint_attributesに、Intensity値に代えてRGB値が含まれる。また、3次元点群12Aが、各点のIntensity値及びRGB値の両方を含む場合には、このpoint_attributesに、Intensity値及びRGB値の両方が含まれる。
(D4)supervoxel_attributes: スーパーボクセルに含まれる点の地上高の平均値(height)、スーパーボクセルに含まれる点数(num_of_points)、その他スーパーボクセルについて導出された任意の数の特徴量を含む。以下、supervoxel_attributesに含まれる属性数をbとする。
なお、学習時に得られる正解ラベル付スーパーボクセルデータは、上記スーパーボクセルデータ12Gに、以下のデータ(D5)が付与されたものである。
(D5)(学習時のみ)labels: 正解ラベル。スーパーボクセルに含まれる点が所属するラベルを、学習用点群ラベルを参照して探索し、スーパーボクセル内で所属する点が最も大きくなるラベルを設定する。ただし、スーパーボクセル内に所属する点のラベルの最大数がスーパーボクセルを構成する点数の閾値未満であれば、「その他」のラベルを付与する。閾値は例えば50%など。その他を含めてk種類のラベルがあるとし、データは、0,1,...,k-1の整数である。
(D5)(学習時のみ)labels: 正解ラベル。スーパーボクセルに含まれる点が所属するラベルを、学習用点群ラベルを参照して探索し、スーパーボクセル内で所属する点が最も大きくなるラベルを設定する。ただし、スーパーボクセル内に所属する点のラベルの最大数がスーパーボクセルを構成する点数の閾値未満であれば、「その他」のラベルを付与する。閾値は例えば50%など。その他を含めてk種類のラベルがあるとし、データは、0,1,...,k-1の整数である。
なお、このステップ106で生成された正解ラベル付スーパーボクセルデータはM個のスーパーボクセルからなるとする。また、スーパーボクセルクラスタリング部18では、Intensity値に代えてRGB値を含む地上高付3次元点群12Cと、学習用点群ラベル12Eと、クラスタリングハイパーパラメータ12Fとが入力された場合、3次元位置及びRGB値を用いて、地上高付3次元点群12Cを複数のスーパーボクセルにクラスタリングしてもよい。また、スーパーボクセルクラスタリング部18では、各点の地上高を含む3次元位置及びIntensity値を含む3次元点群12Aと、学習用点群ラベル12Eと、クラスタリングハイパーパラメータ12Fとが入力された場合、3次元位置を用いて、3次元点群12Aを複数のスーパーボクセルにクラスタリングしてもよい。
ステップ108では、ディープニューラルネットワーク学習部20が、正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータ12Hとを入力として、スーパーボクセルの属性及び点群情報を示すスーパーボクセルデータ12Gからラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータ12Iを学習して出力し、本学習処理ルーチンを終了する。
なお、以下、スーパーボクセルクラスタリング部18による処理の結果得られたM個のスーパーボクセルをM_1個の学習データセットと、M_2の検証データセットに分割するとする。この場合、M_1 + M_2 = Mである。M_1とM_2は自由に設定してよいが、通常M_1をMの0.8から0.9倍程度の大きさとする。
なお、上記のディープニューラルネットワークハイパーパラメータ12Hとは、以下に示す情報(1〜8)を含むディープニューラルネットワークの学習方法を定めるパラメータセットである。括弧内は変数名を表す。
(1)入力点数(N): スーパーボクセル1つあたりでディープニューラルネットワークの入力として受け取る最大の点数を定める。
(2)最適化アルゴリズム(optimizer): ディープニューラルネットワークの最適化方法を定める(Gradient Decent, Moment, Adamなど)。
(3)学習効率(learning_rate): 初期のディープニューラルネットワークパラメータ更新の効率。
(4)学習効率減衰率(decay_rate): 学習効率の減衰を算出する際に用いる値。
(5)学習効率減衰ステップ(decay_steps): 学習効率の減衰を算出する際に用いる値。
(6)学習エポック数(max_epoch): ディープニューラルネットワークパラメータの更新を実施するエポック数。
(7)バッチサイズ(batch_size): ディープニューラルネットワークパラメータの1度の更新の際に用いるデータ(スーパーボクセル)の数。
(8)ラベル数(k):「その他」を含めたラベルの総数。
(2)最適化アルゴリズム(optimizer): ディープニューラルネットワークの最適化方法を定める(Gradient Decent, Moment, Adamなど)。
(3)学習効率(learning_rate): 初期のディープニューラルネットワークパラメータ更新の効率。
(4)学習効率減衰率(decay_rate): 学習効率の減衰を算出する際に用いる値。
(5)学習効率減衰ステップ(decay_steps): 学習効率の減衰を算出する際に用いる値。
(6)学習エポック数(max_epoch): ディープニューラルネットワークパラメータの更新を実施するエポック数。
(7)バッチサイズ(batch_size): ディープニューラルネットワークパラメータの1度の更新の際に用いるデータ(スーパーボクセル)の数。
(8)ラベル数(k):「その他」を含めたラベルの総数。
なお、上記のディープニューラルネットワークハイパーパラメータ12Hは、パラメータの入力点数(N)とラベル数(k)を除いて、本実施形態に限らず一般的にディープニューラルネットワークの学習時に定めるパラメータである。本実施形態では、ディープニューラルネットワークの最適化の方法を限定するものではなく、本パラメータセットは他の公知のパラメータの組み合わせに置き換えられるものである。
一例として、optimizerに、Gradient Descentが選択された際のディープニューラルネットワークパラメータの更新式を式(3)に示す。
なお、上記式(3)において、batch_indexは、重み更新に用いているbatchのインデックス(0,1,..., M_1/batch_size - 1)である。なお、batch_indexは、整数であるため、M_1/batch_sizeの除算の結果は整数になるように小数点以下を切り捨てとする。current_epochは、現在のepoch数(0,1,....max_epoch-1)である。batch_lossは、batch_size個の学習データのlossの総和(lossは1つのデータについてのディープニューラルネットワークの出力とone hot encodingされた正解ラベルとの交差エントロピー)である。w_{i}は、i回目の更新後のディープニューラルネットワークパラメータである。
学習済ディープニューラルネットワークパラメータ12Iは、ディープニューラルネットワークの各リンクの重みとバイアスの集合からなるデータである。毎エポック終了後に検証データセット全体のloss(total_loss)を評価し、total_lossが最小となった際のディープニューラルネットワークパラメータを学習済ディープニューラルネットワークパラメータ12Iとして保存する。ディープニューラルネットワークパラメータの更新は、max_epoch回のエポックが終了するまで繰り返す。
次に、ディープニューラルネットワーク学習部20で用いられるディープニューラルネットワークの構造について説明する。ディープニューラルネットワークは、以下に示すレイヤ(L1〜L13)からなる。なお、「mlp」と記載しているのは、multi-layer perceptronの略称である。
(L1)positions 入力レイヤ
(L2)幾何変換ネットワークレイヤi
(L3)point_attributes 入力レイヤ
(L4)mlpレイヤi
(L5)幾何変換ネットワークレイヤii
(L6)mlpレイヤii
(L7)max poolingレイヤ
(L8)supervoxel_attributes 入力レイヤ
(L9)mlpレイヤiii
(L10)softmaxレイヤ
(L11)label入力レイヤ
(L12)one hot encodeレイヤ
(L13)cross entropyレイヤ
(L2)幾何変換ネットワークレイヤi
(L3)point_attributes 入力レイヤ
(L4)mlpレイヤi
(L5)幾何変換ネットワークレイヤii
(L6)mlpレイヤii
(L7)max poolingレイヤ
(L8)supervoxel_attributes 入力レイヤ
(L9)mlpレイヤiii
(L10)softmaxレイヤ
(L11)label入力レイヤ
(L12)one hot encodeレイヤ
(L13)cross entropyレイヤ
上記のmlpは、slp(single-layer perceptron)の処理を複数回適用する処理である。slpは、入力チャネル数と出力チャネル数で定義される処理である。なお、入力チャネル数がi、出力チャネル数がjであるslp[i,j]の処理を、式(4)に示す。なお、式(4)において、入力inputは、i次元のベクトルである。perceptron_weightは、j×iの重み行列である。perceptron_biasは、j次元のベクトルである。出力outputは、j次元ベクトルである。activate()は、活性化関数の適用を表している。
次に、図6を参照して、ディープニューラルネットワークの各層の処理について具体的に説明する。なお、図6は、本実施形態に係るディープニューラルネットワークの構造の一例を示す図である。図6に示す例では、mlpについて出力チャネル数のみを記しており、入力チャネル数は省略している。また、図6に示す例は、あくまでも具体例であり、各レイヤの構成要素であるmlpの層数やチャネル数などを変動させて本実施形態に適用してもよい。また、1つのスーパーボクセルデータについての処理を記述しているが、実際には、batch_sizeの数のスーパーボクセルデータが1度に入力され、1度に処理される。
図6に示すように、positions 入力レイヤ(L1)は、スーパーボクセルデータに含まれる3次元座標値であるpositionsを入力するレイヤである。スーパーボクセルにN以上の点が含まれる場合はN個で入力を打ち切り、N未満の場合は足りないデータについて(0,0,0)を入力とする。結果として本レイヤで入力されるデータpositions_inputは、N×3となる。
次に、幾何変換ネットワークレイヤi(L2)の具体的な処理について、図7を参照して説明する。なお、図7は、本実施形態に係るディープニューラルネットワークの一部である幾何変換ネットワークの構造の一例を示す図である。
図7に示すように、幾何変換ネットワークレイヤi(L2)では、入力データのチャネル数が3チャネルなので、図7におけるKの値は3である。まず、N×3次元の入力データ(positions_input)に対して、mlp(slp[3,64], slp[64,128], slp[128,1024])で処理し、N×1024次元の中間出力1を得る。中間出力1をmax pooling処理することで、1024次元ベクトルの中間出力2を得る。中間出力2をmlp(slp[1024, 512], slp[512, 256])で処理することで、256次元の中間出力3(transform_feature_i)を得る。これに対し、3×256次元の重み(transform_weight_i)と、3×3次元のバイアス(transform_biases_i)とを用いて、下記に示す式(5)により行列演算を行う。これにより、3×3次元のtransform_matrix_iを得る。
次に、transform_matrix_iを用いて、式(6)により行列演算を行い、本レイヤの出力であるtransform_output_iを得る。
次に、図6に戻り、point_attributes 入力レイヤ(L3)では、スーパーボクセルデータに含まれるpoint_attributesをディープニューラルネットワークに入力する。N×3次元のtransform_output_iに、N×a次元のpoint_attributesを結合処理することで、N×(3+a)次元のconcatenated_output_iを出力する。
mlpレイヤi(L4)では、N×(3+a)次元のconcatenated_output_iをmlp(slp[(3+a), 64], slp[64, 64])で処理することで、N×64次元のmlp_output_iを得る。
次に、図7を参照して、幾何変換ネットワークレイヤii(L5)の処理について具体的に説明する。幾何変換ネットワークレイヤii(L5)は、入力データのチャネル数が64チャネルなので、図7におけるKの値は64である。まず、N×64次元の入力データ(mlp_output_i)に対して、mlp(slp[64,64], slp[64,128], slp[128,1024])で処理し、N×1024次元の中間出力1を得る。中間出力1をmax pooling処理することで、1024次元ベクトルの中間出力2を得る。中間出力2をmlp(slp[1024, 512], slp[512, 256])で処理することで、256次元の中間出力3(transform_feature_ii)を得る。これに対し、64×256次元の重み(transform_weight_ii)と、64×64次元のバイアス(transform_biases_ii)とを用いて、下記に示す式(7)により行列演算を行う。これにより、64×64次元のtransform_matrix_iiを得る。
次に、transform_matrix_iiを用いて、式(8)により行列演算を行い、本レイヤの出力であるtransform_output_iiを得る。
次に、図6に戻り、mlpレイヤii(L6)は、N×64次元のtransform_output_iiを、mlp(slp[64, 64], slp[64, 128], slp[128, 1024])で処理をすることで、N×1024次元のmlp_output_iiを得る。
max poolingレイヤ(L7)では、N×1024次元のmlp_output_iiに対して、max pooling処理を適用することで、l×1024次元のmax_pooling_outputを得る。
supervoxel_attributes 入力レイヤ(L8)では、l×1024次元のmax_pooling_outputに、l×b次元のsupervoxel_attributesを結合することで、l×(1024+b)次元のconcatenated_output_iiを出力する。
mlpレイヤiii(L9)では、l×(1024+b)次元のconcatenated_output_iiに対して、mlp(slp[(1024+b), 512], slp[512, 256], slp[256, k])で処理をすることで、l×k次元のmlp_output_iiiを得る。
softmaxレイヤ(L10)では、l×k次元のmlp_output_iiiに対して、softmax計算を適用することで、l×k次元のsoftmax_outputを出力する。
label入力レイヤ(L11)では、スーパーボクセルデータに含まれるlabelsを入力する。なお、0,1,...,k-1の整数値であるそれぞれのラベル値に、one hot encodeレイヤ(L12)で、one hot encode処理を実行し、l×k次元のlabel_inputを出力する。
cross entropyレイヤ(L13)では、softmaxレイヤ(L10)からのsoftmax_outputと、one hot encodeレイヤ(L12)からのlabel_inputとの交差エントロピーを計算し、lossを算出する。
上記の最終層で算出されたlossを、batch_size個のスーパーボクセルについて総和をとり、batch_lossを算出する。batch_lossを用いて適用するoptimizerによるディープニューラルネットワークパラメータの更新を行う。なお、optimizerをgradient descentにした場合の更新式は、上述の式(3)に示した通りである。
次に、上記の3次元点群ラベル学習装置による学習結果を用いて、3次元点群のラベル推定を行う3次元点群ラベル推定装置について説明する。
図8は、本実施形態に係る3次元点群ラベル推定装置10Bの機能的な構成の一例を示すブロック図である。
推定時における3次元点群ラベル推定装置10Bでは、ディープニューラルネットワーク学習部20及び学習用点群ラベル12Eを用いない構成とされる。
本実施系形態に係る地上高算出部14は、学習時と同様に、各点の3次元位置(x,y,z)及び各点の反射強度を示すIntensity値を含む3次元点群12Aと、地面高さ12Bとを入力として、3次元点群12Aの各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群12Cを出力する。
本実施形態に係るIntensity-RGB変換部16は、地上高付3次元点群12Cを入力として、地上高付3次元点群12Cの各点について、Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群12Dを出力する。
本実施形態に係るスーパーボクセルクラスタリング部18は、Intensity-RGB変換済地上高付3次元点群12Dと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置及びRGB値を用いて、Intensity-RGB変換済地上高付3次元点群12Dを複数のスーパーボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についてのIntensity値及び地上高を含む属性と点群情報とを示すスーパーボクセルデータ12Gを出力する。
本実施形態に係るディープニューラルネットワーク推定部22は、スーパーボクセルデータ12Gと、ディープニューラルネットワークハイパーパラメータ12Hと、スーパーボクセルデータ12Gからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータ12Iとを入力として、ディープニューラルネットワークを用いて、スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群12Jを出力する。
なお、学習時と同様に、3次元点群12Aのそれぞれの点のz座標をそのまま地上高として扱うと共に、クラスタリングにおいてRGB値を用いない形態としてもよい。この場合、スーパーボクセルクラスタリング部18は、各点の地上高を含む3次元位置、及び各点のIntensity値又はRGB値を含む3次元点群12Aと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置を用いて、3次元点群12Aを複数のボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についてのIntensity値及び地上高を含む属性と点群情報とを示すスーパーボクセルデータ12Gを出力する。なお、3次元点群12Aが、Intensity値に代えて各点のRGB値を含む場合には、スーパーボクセルデータ12Gが、属性として、Intensity値に代えてRGB値を含むようにしてもよい。また、3次元点群12Aが、各点のIntensity値及びRGB値の両方を含む場合には、スーパーボクセルデータ12Gが、属性として、Intensity値及びRGB値の両方を含むようにしてもよい。ディープニューラルネットワーク推定部22は、スーパーボクセルデータ12Gと、ディープニューラルネットワークハイパーパラメータ12Hと、学習済ディープニューラルネットワークパラメータ12Iとを入力として、ディープニューラルネットワークを用いて、スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群12Jを出力する。つまり、この形態では、地上高算出部14及びIntensity-RGB変換部16を不要としてもよい。
次に、図9を参照して、本実施形態に係る3次元点群ラベル推定装置10Bの作用について説明する。なお、図9は、本実施形態に係る3次元点群ラベル学習推定処理プログラムによる推定処理ルーチンの処理の流れの一例を示すフローチャートである。
図9のステップ110では、地上高算出部14が、推定用点群としての3次元点群12Aと、任意の地面高さ12Bとの入力を受け付ける。
ステップ112では、地上高算出部14が、地面高さ12Bを用いて、3次元点群12Aに含まれる各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群12Cを出力する。
ステップ114では、Intensity-RGB変換部16が、地上高付3次元点群12Cを入力とし、地上高付3次元点群12Cの各点について、Intensity値をRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群12Dを出力する。
なお、3次元点群12Aの各点がIntensity値に代えてRGB値を属性として持っている場合には、Intensity-RGB変換を行う必要がない。このため、地上高算出部14から出力された地上高付3次元点群12Cは、スーパーボクセルクラスタリング部18に直接入力される。つまり、この場合、Intensity-RGB変換部16はスキップされる。
また、3次元点群12Aのそれぞれの点のz座標をそのまま地上高として扱い、3次元位置のみを用いる場合には、地上高を算出する必要がなく、更には、Intensity-RGB変換を行う必要もない。このため、3次元点群12Aは、スーパーボクセルクラスタリング部18に直接入力される。つまり、この場合、地上高算出部14及びIntensity-RGB変換部16はスキップされる。
ステップ116では、スーパーボクセルクラスタリング部18が、Intensity-RGB変換済地上高付3次元点群12Dと、クラスタリングハイパーパラメータ12Fとを入力として、3次元位置及びRGB値を用いて、Intensity-RGB変換済地上高付3次元点群12Dを複数のスーパーボクセルにクラスタリングし、クラスタリングしたスーパーボクセルの各々についての属性と点群情報とを示すスーパーボクセルデータ12Gを出力する。なお、学習用点群ラベル12Eは推定時には入力されない。
また、スーパーボクセルクラスタリング部18では、Intensity値に代えてRGB値を含む地上高付3次元点群12Cと、クラスタリングハイパーパラメータ12Fとが入力された場合、3次元位置及びRGB値を用いて、地上高付3次元点群12Cを複数のスーパーボクセルにクラスタリングしてもよい。また、スーパーボクセルクラスタリング部18では、地上高を含む3次元位置及びIntensity値を含む3次元点群12Aと、クラスタリングハイパーパラメータ12Fとが入力された場合、3次元位置を用いて、3次元点群12Aを複数のスーパーボクセルにクラスタリングしてもよい。
ステップ118では、ディープニューラルネットワーク推定部22が、スーパーボクセルデータ12Gと、ディープニューラルネットワークハイパーパラメータ12Hと、学習済ディープニューラルネットワークパラメータ12Iとを入力として、ディープニューラルネットワークを用いて、スーパーボクセルの各々についての推定ラベルを付与した推定ラベル付3次元点群12Jを出力し、本推定処理ルーチンを終了する。
次に、上述の図6を参照して、ディープニューラルネットワーク推定部22で用いるディープニューラルネットワークの構造について説明する。ディープニューラルネットワーク推定部22では、スーパーボクセルデータを以下に示すレイヤ(L1〜L9、L14)からなるディープニューラルネットワークで処理をすることで推定結果ラベルを得る。なお、L1〜L9のレイヤは、上述のディープニューラルネットワーク学習部20で説明したディープニューラルネットワークと同様のものであるので、ここでの繰り返しの説明は省略する。
(L1)positions 入力レイヤ
(L2)幾何変換ネットワークレイヤi
(L3)point_attributes 入力レイヤ
(L4)mlpレイヤi
(L5)幾何変換ネットワークレイヤii
(L6)mlpレイヤii
(L7)max poolingレイヤ
(L8)supervoxel_attributes 入力レイヤ
(L9)mlpレイヤiii
(L14)argmaxレイヤ
(L2)幾何変換ネットワークレイヤi
(L3)point_attributes 入力レイヤ
(L4)mlpレイヤi
(L5)幾何変換ネットワークレイヤii
(L6)mlpレイヤii
(L7)max poolingレイヤ
(L8)supervoxel_attributes 入力レイヤ
(L9)mlpレイヤiii
(L14)argmaxレイヤ
argmaxレイヤ(L14)では、l×k次元のmlp_output_iiiについて、argmax処理を適用し、値が最大となるindexを得る。このindexが推定ラベルとなる。
上記のように推定ラベルが導かれたスーパーボクセルデータについて、その構成する点に推定ラベルを付与する。全てのスーパーボクセルデータについて同様の処理を行い、推定ラベルが付与された点の集合を、推定ラベル付3次元点群12Jとして出力する。本実施形態に係る推定結果の一例を図10に示す。なお、図10に示す推定結果の例は、実際にはカラー画像で示されるものであるが、本例では便宜上グレースケール画像として示している。
以上、実施形態として3次元点群ラベル学習装置及び3次元点群ラベル推定装置を例示して説明した。実施形態は、コンピュータを、3次元点群ラベル学習推定装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
その他、上記実施形態で説明した3次元点群ラベル学習推定装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
10 3次元点群ラベル学習推定装置
10A 3次元点群ラベル学習装置
10B 3次元点群ラベル推定装置
12 記憶部
12A 3次元点群
12B 地面高さ
12C 地上高付3次元点群
12D Intensity-RGB変換済地上高付3次元点群
12E 学習用点群ラベル
12F クラスタリングハイパーパラメータ
12G スーパーボクセルデータ
12H ディープニューラルネットワークハイパーパラメータ
12I 学習済ディープニューラルネットワークパラメータ
12J 推定ラベル付3次元点群
14 地上高算出部
16 Intensity-RGB変換部
18 スーパーボクセルクラスタリング部
20 ディープニューラルネットワーク学習部
22 ディープニューラルネットワーク推定部
10A 3次元点群ラベル学習装置
10B 3次元点群ラベル推定装置
12 記憶部
12A 3次元点群
12B 地面高さ
12C 地上高付3次元点群
12D Intensity-RGB変換済地上高付3次元点群
12E 学習用点群ラベル
12F クラスタリングハイパーパラメータ
12G スーパーボクセルデータ
12H ディープニューラルネットワークハイパーパラメータ
12I 学習済ディープニューラルネットワークパラメータ
12J 推定ラベル付3次元点群
14 地上高算出部
16 Intensity-RGB変換部
18 スーパーボクセルクラスタリング部
20 ディープニューラルネットワーク学習部
22 ディープニューラルネットワーク推定部
Claims (7)
- 各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力する地上高算出部と、
前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するIntensity-RGB変換部と、
前記Intensity-RGB変換済地上高付3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、
前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するディープニューラルネットワーク学習部と、
を備えた3次元点群ラベル学習装置。 - 各点の地上高を含む3次元位置、及び前記各点の反射強度を示すIntensity値又は色情報を示すRGB値を含む3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置を用いて、前記3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、
前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するディープニューラルネットワーク学習部と、
を備えた3次元点群ラベル学習装置。 - 各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力する地上高算出部と、
前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するIntensity-RGB変換部と、
前記Intensity-RGB変換済地上高付3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、
前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するディープニューラルネットワーク推定部と、
を備えた3次元点群ラベル推定装置。 - 各点の地上高を含む3次元位置、及び前記各点の反射強度を示すIntensity値又は色情報を示すRGB値を含む3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置を用いて、前記3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するスーパーボクセルクラスタリング部と、
前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するディープニューラルネットワーク推定部と、
を備えた3次元点群ラベル推定装置。 - 地上高算出部が、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力するステップと、
Intensity-RGB変換部が、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するステップと、
スーパーボクセルクラスタリング部が、前記Intensity-RGB変換済地上高付3次元点群と、前記3次元点群の各点について予め付与されたラベルを含む学習用点群ラベルと、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示す正解ラベル付スーパーボクセルデータを出力するステップと、
ディープニューラルネットワーク学習部が、前記正解ラベル付スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータとを入力として、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータから前記ラベルを推定するためのディープニューラルネットワークの学習済ディープニューラルネットワークパラメータを学習するステップと、
を含む3次元点群ラベル学習方法。 - 地上高算出部が、各点の3次元位置及び前記各点の反射強度を示すIntensity値を含む3次元点群と、地面高さとを入力した場合、前記3次元点群の各点の地上高を算出し、算出した地上高を付与した地上高付3次元点群を出力するステップと、
Intensity-RGB変換部が、前記地上高付3次元点群を入力として、前記地上高付3次元点群の各点について、前記Intensity値を、色情報を示すRGB値に変換して得られたIntensity-RGB変換済地上高付3次元点群を出力するステップと、
スーパーボクセルクラスタリング部が、前記Intensity-RGB変換済地上高付3次元点群と、クラスタリングハイパーパラメータとを入力として、前記3次元位置及び前記RGB値を用いて、前記Intensity-RGB変換済地上高付3次元点群を複数のスーパーボクセルにクラスタリングし、スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータを出力するステップと、
ディープニューラルネットワーク推定部が、前記スーパーボクセルデータと、ディープニューラルネットワークハイパーパラメータと、前記スーパーボクセルの各々についてスーパーボクセルの構成要素の個々の点の3次元位置と属性、及びスーパーボクセルの中心位置と属性を示すスーパーボクセルデータからラベルを推定するためのディープニューラルネットワークの予め学習された学習済ディープニューラルネットワークパラメータとを入力として、前記ディープニューラルネットワークを用いて、前記スーパーボクセルの各々についての推定ラベルを導出し、導出した推定ラベルを付与した推定ラベル付3次元点群を出力するステップと、
を含む3次元点群ラベル推定方法。 - コンピュータを、請求項1又は2に記載の3次元点群ラベル学習装置が備える各部、又は、請求項3又は4に記載の3次元点群ラベル推定装置が備える各部として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018079243A JP6962263B2 (ja) | 2018-04-17 | 2018-04-17 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム |
PCT/JP2019/016326 WO2019203231A1 (ja) | 2018-04-17 | 2019-04-16 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム |
US17/048,083 US11334744B2 (en) | 2018-04-17 | 2019-04-16 | Three-dimensional point cloud label learning device, three-dimensional point cloud label estimating device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimating method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018079243A JP6962263B2 (ja) | 2018-04-17 | 2018-04-17 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185665A JP2019185665A (ja) | 2019-10-24 |
JP6962263B2 true JP6962263B2 (ja) | 2021-11-05 |
Family
ID=68240243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018079243A Active JP6962263B2 (ja) | 2018-04-17 | 2018-04-17 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11334744B2 (ja) |
JP (1) | JP6962263B2 (ja) |
WO (1) | WO2019203231A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200408533A1 (en) * | 2019-06-28 | 2020-12-31 | DeepMap Inc. | Deep learning-based detection of ground features using a high definition map |
US20220392193A1 (en) * | 2019-11-11 | 2022-12-08 | Nippon Telegraph And Telephone Corporation | Three-dimensional point cloud label learning device, three- dimensional point cloud label estimation device, method, and program |
KR102363501B1 (ko) * | 2019-12-10 | 2022-02-16 | 주식회사 라이드플럭스 | 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 |
CN111161227B (zh) * | 2019-12-20 | 2022-09-06 | 成都数之联科技股份有限公司 | 一种基于深度神经网络的靶心定位方法及*** |
CN111260660B (zh) * | 2020-01-14 | 2023-04-11 | 电子科技大学 | 一种基于元学习的3d点云语义分割迁移方法 |
KR102323234B1 (ko) * | 2020-03-30 | 2021-11-08 | 주식회사 모빌린트 | 인공신경망에서 점 구름 데이터를 처리하기 위한 방법 및 그 장치 |
JP7290602B2 (ja) * | 2020-04-27 | 2023-06-13 | Kddi株式会社 | 学習装置、方法及びプログラム |
US11747468B2 (en) | 2020-09-24 | 2023-09-05 | Eagle Technology, Llc | System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods |
US11587249B2 (en) | 2020-09-24 | 2023-02-21 | Eagle Technology, Llc | Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery |
US11302071B1 (en) | 2020-09-24 | 2022-04-12 | Eagle Technology, Llc | Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods |
US11238307B1 (en) | 2020-09-24 | 2022-02-01 | Eagle Technology, Llc | System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods |
US11830140B2 (en) * | 2021-09-29 | 2023-11-28 | Verizon Patent And Licensing Inc. | Methods and systems for 3D modeling of an object by merging voxelized representations of the object |
CN114659463B (zh) * | 2022-03-14 | 2023-11-28 | 华南农业大学 | 一种植物表型采集装置及其采集方法 |
CN116310849B (zh) * | 2023-05-22 | 2023-09-19 | 深圳大学 | 基于三维形态特征的树木点云单体化提取方法 |
CN116993824A (zh) * | 2023-07-19 | 2023-11-03 | 北京长木谷医疗科技股份有限公司 | 髋臼旋转中心计算方法、装置、设备及可读存储介质 |
CN117710717B (zh) * | 2024-02-05 | 2024-05-28 | 法奥意威(苏州)机器人***有限公司 | 超体聚类点云分割方法、装置、设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9740710B2 (en) * | 2014-09-02 | 2017-08-22 | Elekta Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
JP6322564B2 (ja) | 2014-12-22 | 2018-05-09 | 日本電信電話株式会社 | 点群解析処理装置、方法、及びプログラム |
EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
US10685476B2 (en) * | 2018-07-31 | 2020-06-16 | Intel Corporation | Voxels sparse representation |
US11734845B2 (en) * | 2020-06-26 | 2023-08-22 | Toyota Research Institute, Inc. | System and method for self-supervised monocular ground-plane extraction |
-
2018
- 2018-04-17 JP JP2018079243A patent/JP6962263B2/ja active Active
-
2019
- 2019-04-16 WO PCT/JP2019/016326 patent/WO2019203231A1/ja active Application Filing
- 2019-04-16 US US17/048,083 patent/US11334744B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019185665A (ja) | 2019-10-24 |
WO2019203231A1 (ja) | 2019-10-24 |
US20210158016A1 (en) | 2021-05-27 |
US11334744B2 (en) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6962263B2 (ja) | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、3次元点群ラベル学習方法、3次元点群ラベル推定方法、及びプログラム | |
CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
CN111724478B (zh) | 一种基于深度学习的点云上采样方法 | |
CN109086773B (zh) | 基于全卷积神经网络的断层面识别方法 | |
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
Fan et al. | Temporal and spatial change detecting (1998–2003) and predicting of land use and land cover in Core corridor of Pearl River Delta (China) by using TM and ETM+ images | |
CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
CN109658445A (zh) | 网络训练方法、增量建图方法、定位方法、装置及设备 | |
CN111652193B (zh) | 基于多源影像的湿地分类方法 | |
Wang et al. | An edge-weighted centroidal Voronoi tessellation model for image segmentation | |
CN110111366A (zh) | 一种基于多级损失量的端到端光流估计方法 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN113706670B (zh) | 生成动态三维人体网格模型序列的方法及装置 | |
CN113095251B (zh) | 一种人体姿态估计方法及*** | |
CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
CN113208641B (zh) | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 | |
CN116933141B (zh) | 一种基于多核图学习的多光谱激光雷达点云分类方法 | |
CN112329818B (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
Patel et al. | Smart adaptive mesh refinement with NEMoSys | |
CN109658508A (zh) | 一种多尺度细节融合的地形合成方法 | |
JP7310912B2 (ja) | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム | |
CN110717402B (zh) | 一种基于层级优化度量学习的行人再识别方法 | |
CN112860936A (zh) | 一种基于稀疏图相似度迁移的视觉行人重识别方法 | |
CN117237660A (zh) | 一种基于深度学习特征聚合的点云数据处理和分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |