WO2023025030A1 - 一种三维点云上采样方法、***、设备及介质 - Google Patents
一种三维点云上采样方法、***、设备及介质 Download PDFInfo
- Publication number
- WO2023025030A1 WO2023025030A1 PCT/CN2022/113292 CN2022113292W WO2023025030A1 WO 2023025030 A1 WO2023025030 A1 WO 2023025030A1 CN 2022113292 W CN2022113292 W CN 2022113292W WO 2023025030 A1 WO2023025030 A1 WO 2023025030A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point cloud
- point
- upsampling
- features
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000005070 sampling Methods 0.000 title claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000009792 diffusion process Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 238000001994 activation Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 4
- 235000019580 granularity Nutrition 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007596 consolidation process Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Definitions
- the invention relates to the field of multimedia signal processing, in particular to a method, system, device and medium for upsampling a three-dimensional point cloud.
- Yu et al. disclosed the point cloud upsampling network (PU-Net) in "2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition", which extracts multi-scale point features through point sampling and neighborhood grouping, concatenates features and utilizes multiple The branched double-layer point convolution performs point set expansion, but downsampling inevitably brings resolution loss. Subsequently, Yu et al.
- PU-Net point cloud upsampling network
- edge-aware point set consolidation network in "European Conference on Computer Vision 2018”, which sharpens the edge fine structure of the point cloud by minimizing the distance loss function from point to edge.
- the training process relies on time-consuming manual edge labeling.
- Wang et al. disclosed a multi-stage point cloud upsampling method (MPU) in "2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition”, which draws on the multi-stage network training mechanism of image super-resolution, and progressively The input point cloud is sampled formally, and its staged module training requires high computational complexity.
- MPU multi-stage point cloud upsampling method
- P-GCN point cloud upsampling network
- Inception network structure and the densely connected hole graph convolution to extract multiple Scale neighborhood features, expanding the perceptual field while keeping the parameters of the convolution kernel constant, using a single graph convolution layer to extract high-dimensional features to achieve point set expansion, but hole convolution requires cumbersome manual parameter adjustment and is easy to lose
- the checkerboard effect is caused by the local information, and the direct expansion in the feature space cannot utilize the geometric shape information of the underlying surface.
- the present invention provides a 3D point cloud upsampling method, system, device and medium, which can enhance the detail information of different fine-grained granularity on the 3D point cloud with spatially sparse and non-uniform distribution, and at the same time, potential Noise disturbance and local deformation have good stability.
- a method for upsampling a 3D point cloud comprising:
- the upsampled 3D point cloud midpoint coordinates are reconstructed from the extended features.
- the extraction of hierarchical features from point coordinates in the point cloud block is realized through a deep densely connected dynamic graph convolutional network, which is composed of a plurality of dynamic graph convolution units, and the input of the network is N points in the point cloud block
- the three-dimensional coordinates of The output of the network is a hierarchical feature Among them, the input features of the first dynamic graph convolution unit
- the output features of the k-1th dynamic graph convolution unit As the input feature of the kth dynamic graph convolution unit, update the output feature of the kth dynamic graph convolution unit And the output features of the final l1th dynamic graph convolution unit Hierarchical features as output
- the dynamic graph convolution unit performs the following operations:
- ConcatV is the concatenation operation of vectors, is graph convolution The learnable parameters of ;
- the multi-scale thermonuclear map convolution is implemented by a multi-scale thermonuclear map filter bank with cross-layer connections, and the response of the multi-scale thermonuclear map filter bank can be obtained by any of the following methods:
- L is the Laplacian matrix of the K2 neighborhood graph constructed by the point coordinate similarity in the input point cloud block
- the number of rows is the input feature dimension n H
- the number of columns is the input feature dimension multiplied by the upsampling magnification Rn H ;
- L is the Laplacian matrix of the K2 neighborhood graph constructed by the point coordinate similarity in the input point cloud block
- learnable parameter matrix of the sth scale used for feature transformation and adaptive aggregation of the scale s
- the number of rows and columns is the input feature dimension n H ;
- H′ C ConcatM(H 1 ,H 2 ,...,H R )
- ConcatM is the row-aligned concatenation operation
- the reconstruction of the upsampled 3D point cloud coordinates from the extended features includes
- ⁇ ′ is a nonlinear activation function
- l 2 is the number of fully connected network layers, is the i-th fully connected layer with learnable parameters ⁇ i ;
- the midpoint coordinates of all upsampled point cloud blocks are aggregated, and the upsampled 3D point cloud is obtained by resampling the farthest point.
- the learnable parameters of the 3D point cloud upsampling method are obtained based on point cloud block end-to-end training, including:
- a 3D point cloud upsampling system comprising:
- Data acquisition module acquire 3D point cloud data
- Feature extraction module the three-dimensional point cloud data is divided into point cloud blocks with a fixed number of points, and hierarchical features are extracted according to the midpoint coordinates of the point cloud blocks;
- Point set acquisition module use multi-scale thermal kernel map convolution to realize point set feature expansion on different scales for the extracted hierarchical features
- Coordinate Reconstruction Module Reconstructs upsampled 3D point cloud coordinates from extended features.
- a three-dimensional point cloud upsampling device including a memory, a processor, and a computer program stored on the memory and operable on the processor; the processor can be used to execute the computer
- the program can be used to implement the above-mentioned 3D point cloud upsampling method.
- an electronic device including a processor and a memory, at least one instruction, at least one program, code set or instruction set are stored in the memory, the at least one instruction, the at least A program, the code set or instruction set is loaded by the processor and executes the above-mentioned method for upsampling the 3D point cloud.
- a computer-readable storage medium on which at least one instruction, at least one program, code set or instruction set is stored, the at least one instruction, the at least one program, the The code set or instruction set is loaded by the processor and executes the above-mentioned three-dimensional point cloud upsampling method.
- the embodiments of the present invention have at least one of the following beneficial effects:
- the above-mentioned 3D point cloud upsampling method and system of the present invention can effectively characterize the local geometric features and global topological structure of the point cloud by using multi-scale thermonuclear image convolution, enhance the detail information of different fine granularity on the original input point cloud, and at the same time Potential noise disturbance and local deformation have good stability.
- the above-mentioned three-dimensional point cloud upsampling method and system of the present invention can enhance the generation quality of the point cloud by adopting the multi-scale thermonuclear image filter connected across layers, promote the uniformity of the spatial distribution of the upsampled dense point cloud, and ensure the geometric accuracy of the target object. Accurate representation of the structure while accelerating the convergence rate of network parameter training.
- the above-mentioned three-dimensional point cloud upsampling method and system of the present invention have achieved consistent performance improvement.
- Fig. 1 is a schematic diagram of a three-dimensional point cloud upsampling method in an embodiment of the present invention
- Fig. 2 is a schematic diagram of multi-scale thermal kernel graph convolution in an aggregation mode in an embodiment of the present invention
- Fig. 3 is a schematic diagram of multi-scale thermokernel graph convolution in series mode in an embodiment of the present invention.
- FIG. 1 is a flowchart of a three-dimensional point cloud upsampling method based on a graph convolutional network provided by a preferred embodiment of the present invention.
- the 3D point cloud upsampling method provided by this preferred embodiment may include the following steps:
- each point cloud block contains N points, and Any point p i in is contained in one or more point cloud blocks.
- the dynamic graph convolution unit includes the following steps:
- ConcatV is the concatenation operation of vectors, is graph convolution The learnable parameters of ;
- This embodiment adopts multi-scale thermal kernel map convolution, which can effectively characterize the local geometric features and global topology of the point cloud, enhance the original input point cloud with different fine-grained detail information, and at the same time have potential noise disturbance and local deformation. good stability.
- S3 can be realized through aggregation with high model parameters and variable scales, including the following steps:
- L is the Laplacian matrix of the K2 neighborhood graph constructed by the point coordinate similarity in the input point cloud block
- the number of rows is the input feature dimension n H
- the number of columns is the input feature dimension multiplied by the upsampling magnification Rn H ;
- S3 can be implemented in a series manner with low parameter complexity and fixed scale number at the upsampling magnification R, including the following steps:
- L is the Laplacian matrix of the K2 neighborhood graph constructed by the point coordinate similarity in the input point cloud block
- learnable parameter matrix of the sth scale used for feature transformation and adaptive aggregation of the scale s
- the number of rows and columns is the input feature dimension n H ;
- H′ C ConcatM(H 1 ,H 2 ,...,H R )
- ConcatM is the row-aligned concatenation operation
- reconstructing the midpoint coordinates of the upsampled 3D point cloud from the extended features may include the following steps:
- ⁇ ′ is a nonlinear activation function
- l 2 is the number of fully connected network layers, is the i-th fully connected layer with learnable parameters ⁇ i ;
- the input signal is a 3D point cloud to be upsampled, where each point records the 3D coordinates in space, and the output is the 3D coordinates of each point in the upsampled 3D point cloud.
- thermonuclear map filters connected across layers can enhance the generation quality of point clouds, promote the uniformity of the spatial distribution of upsampled dense point clouds, and ensure the accurate representation of the geometric structure of the target object. Speed up the convergence rate of network parameter training.
- the 3D point cloud upsampling method obtains learnable parameters based on end-to-end training of point cloud blocks based on training data, including:
- Step 1 Use Poisson disk sampling to collect 3D point cloud data and upsampled reference point cloud data from a 3D shape in the form of a polygonal grid, and normalize all the collected point cloud space coordinates to the point where the center point is at the origin , within a unit sphere with a radius of 1, randomly select the query point from the three-dimensional point cloud as the center, select the point with the closest spatial distance to the center to form an input point cloud block, and normalize all extracted K 3 neighbor blocks to The unit sphere, which is used as the training data set;
- Step 2 use S2-S4 to get the upsampled 3D point cloud from the input 3D point cloud
- Step 3 calculate the upsampled 3D point cloud Chamfer distance from the reference point cloud Q:
- Step 4 calculate the upsampled 3D point cloud Mutually exclusive loss for midpoint spatial distribution:
- Step 5 calculate the loss function where ⁇ 2 is the bi-norm regularization loss term of the learnable parameter ⁇ of the 3D point cloud upsampling method
- Step 6 calculate the gradient for the learnable parameter ⁇ according to the loss function, and backpropagate to update the learnable parameter ⁇ of the three-dimensional point cloud upsampling method;
- an embodiment of the present invention also provides a 3D point cloud upsampling system, including:
- Data acquisition module acquire 3D point cloud data
- Feature extraction module Divide the 3D point cloud data into point cloud blocks with a fixed number of points, and extract hierarchical features according to the midpoint coordinates of the point cloud blocks;
- Point set acquisition module use multi-scale thermal kernel map convolution to realize point set feature expansion on different scales for the extracted hierarchical features
- Coordinate Reconstruction Module Reconstructs upsampled 3D point cloud coordinates from extended features.
- an embodiment of the present invention also provides a three-dimensional point cloud upsampling device, including a memory, a processor, and a computer program stored in the memory and operable on the processor; the processor can be used for When the computer program is executed, it can be used to execute the method for upsampling the three-dimensional point cloud in any one of the above embodiments.
- an electronic device is also provided in an embodiment of the present invention.
- the electronic device includes a processor and a memory, and at least one instruction, at least one program, a code set or an instruction set are stored in the memory.
- the at least one instruction, the at least one program, the code set or the instruction set are loaded by the processor and execute the method for upsampling the 3D point cloud in any one of the above embodiments.
- an embodiment of the present invention also provides a computer-readable storage medium, the storage medium stores at least one instruction, at least one program, a code set or an instruction set, and the at least one instruction, all The at least one program, the code set or the instruction set is loaded by the processor and executes the method for upsampling the 3D point cloud in any one of the above embodiments.
- 3D point cloud upsampling is realized.
- the 3D point cloud upsampling method based on graph convolutional neural network includes the following four main steps:
- Step 1 divide the 3D point cloud into overlapping point cloud blocks with a fixed number of points that can cover all points.
- the number of points in the input 3D point cloud is 5,000, and the upsampling magnification is 4 and 16 respectively.
- the upsampling magnification is 4, the points of the upsampled 3D point cloud are 20,000; when the upsampling magnification is 16, the upsampled 3D point cloud has The number of points is 80,000.
- the 3D point cloud is divided into 600 point cloud blocks, and the number of points in each point cloud block is 256.
- Step 2 extract hierarchical features according to the point coordinates in the point cloud block.
- the input feature is the three-dimensional coordinates of the point cloud block midpoint, using 4 densely connected dynamic graph convolution units, the first dynamic graph convolution unit
- the input feature of is the network input feature
- the input feature of the kth 2, 3
- 4th dynamic graph convolution unit is the output feature of the k-1th dynamic graph convolution unit
- the number of points dynamically constructed for each point i is 16 Point Neighborhoods Concatenate the input features at the current point
- the feature translation vector of point i relative to adjacent point j Using a multi-layer perceptron with 3 layers, 24 hidden layer neurons, and densely connected multi-layer perceptron to perform spatial map convolution, the output point features with a dimension of 480 are obtained. Through a single fully connected layer, the feature dimension is reduced to 128 to form hierarchical features and sent to step 3.
- Step 3 using multi-scale thermokernel map convolution to implement point set feature expansion on the extracted hierarchical features.
- a point neighbor map with 16 points is constructed, and the corresponding 256 ⁇ 256-dimensional graph Laplacian matrix L is calculated, and the multi-scale thermal kernel map convolution is defined for point set upsampling.
- the graph Laplacian matrix L is calculated by the adjacency matrix defined by the Gaussian kernel function of the Euclidean distance between the coordinates of adjacent points.
- the linear activation function adopts the modified linear unit function (ReLU), and the output feature dimension of the heat kernel map convolution of each point is set to 128.
- Step 4 reconstructing the midpoint coordinates of the upsampled 3D point cloud from the extended features.
- the fully connected network consists of two layers of fully connected layers with 64 and 3 neurons respectively.
- the nonlinear activation function adopts the modified linear unit function (ReLU) for coordinate reconstruction.
- Step 1 Collect the 3D model data used in related work, a total of 173 3D shape data to form a training data set.
- the storage format of these three-dimensional shape data is triangular mesh, which covers a variety of geometric structural features, including slowly changing smooth areas, and complex details such as sharp corners and edges.
- Poisson disk sampling is used to collect point clouds from the original triangular mesh data, including 3D point clouds for downsampling, and benchmark 3D point clouds for 4x and 16x upsampling. Normalize the spatial coordinates of all collected point clouds to the unit sphere with the center point at the origin and a radius of 1.
- the center point extracts 200 corresponding input point cloud blocks and reference point cloud blocks with 256 points, which are respectively used as input data and real values (labels) for model training.
- the training set has a total of 34,600 pairs of training data blocks.
- data enhancement is performed on the input point cloud, and random rotation, scale transformation, and Gaussian noise perturbation are applied to the coordinates of the point cloud.
- Step 2 using steps 2-4 of the 3D point cloud upsampling method to obtain an upsampled 3D point cloud from the input 3D point cloud
- Step 3 calculate the upsampled 3D point cloud Chamfer distance from the reference point cloud Q:
- Step 4 calculate the upsampled 3D point cloud Mutually exclusive loss for midpoint spatial distribution:
- Step 5 calculate the loss function where ⁇ 2 is the bi-norm regularization loss term of the learnable parameter ⁇ of the 3D point cloud upsampling method
- Step 6 Calculate the gradient of the learnable parameter ⁇ according to the loss function, and update the learnable parameter ⁇ of the three-dimensional point cloud upsampling method through backpropagation, use the Adam optimization algorithm, and set the learning rate to 0.001.
- the batch size of the training data is set to 28, and the number of training epochs of the network is set to 800.
- the comparative methods for implementing effect evaluation are PU-Net, MPU, PU-GAN and PU-Geo.
- All compared network models are retrained on the collected data sets using open source code, and the parameters are set to default values.
- the test data is Poisson disk sampling realized in 39 3D shape data
- the 3D point cloud to be downsampled is collected from the original triangular mesh data
- the corresponding 4 times and 16 times upsampled benchmark 3D point cloud is used for evaluation.
- Table 1 provides the 3D point cloud upsampling method (aggregation mode and series mode) and the comparison method provided by the present invention, the Chamfer distance, Hausdorff distance, ground motion distance, and parameter quantity with the reference 3D point cloud after upsampling. Table 1 shows that the method provided by the present invention can significantly improve the accuracy of upsampling of 3D point clouds.
- Table 1 The results of the 3D upsampling method provided by the present invention, PU-Net, MPU, PU-GAN, and PU-Geo on 39 3D point cloud test data by 4 times and 16 times.
- CD Chamfer distance
- HD Hausdorff distance
- EMD Earth motion distance.
- the three-dimensional point cloud upsampling method of the embodiment of the present invention can improve the isolated feature extraction of point cloud points by multi-branch single point convolution, and make full use of the adjacent points of the point cloud Spatial relevance; Compared with the multi-stage point cloud upsampling method (MPU) and the generation confrontation network (PU-GAN) of point cloud upsampling, it can avoid the point aggregation problem caused by directly copying features for expansion, and can generate space A dense point cloud with a relatively uniform distribution; compared with the point cloud upsampling network (PU-GCN) and the adversarial residual graph convolution network (AR-GCN) based on the graph convolutional network, it can more effectively characterize the target object.
- MPU multi-stage point cloud upsampling method
- PU-GAN generation confrontation network
- AR-GCN adversarial residual graph convolution network
- Geometric structure information compared with edge-aware point set consolidation network (EC-Net) and graph convolutional network-based point cloud upsampling network (PU-GCN), no additional auxiliary data is required. Therefore, the present invention achieves a consistent performance improvement compared to existing methods.
- EC-Net edge-aware point set consolidation network
- P-GCN graph convolutional network-based point cloud upsampling network
- the 3-D point cloud upsampling method in the above-mentioned embodiments of the present invention is widely used in new application fields such as automatic driving, environment modeling, immersive communication, and virtual navigation.
- 3-D point cloud The initial point cloud acquired by acquisition devices (such as Microsoft Kinect, LiDAR sensor) is highly sparse and unevenly distributed, while 3D point cloud upsampling can generate dense, detail-enhanced, and relatively uniformly distributed point clouds through computational methods data for subsequent rendering, analysis and surface reconstruction, so the method proposed by the present invention has great potential for industrial application.
- the embodiments of the present invention may be provided as methods or computer program products. Accordingly, the present invention can take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present invention may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
- a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
- These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
- the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种三维点云上采样方法、***与装置，包括：将三维点云划分为能覆盖所有点的固定点数可重叠点云块；根据点云块中点坐标提取层次化特征；利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；从所述扩展特征重建上采样的三维点云中点坐标。本发明能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。与现有方法相比，能够促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，获得性能提升。
Description
本发明涉及多媒体信号处理领域，具体地说，涉及的是一种三维点云上采样方法、***、设备及介质。
近些年，深度神经网络模型在三维点云的分类与识别上展现出令人瞩目的出色性能。受此鼓舞，研究者开始致力于利用深度学***面参数空间中对点云的坐标与法向量进行联合上采样，利用学习到的几何变换将采样点提升至曲面空间，训练过程需要借助法向量作为附加的监督数据，但是许多原始数据如LiDAR点云并未包含法方向信息。Qian等人在《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition》公开了基于图卷积网络的点云上采样网络(PU-GCN)，结合Inception网络结构与稠密连接的空洞图卷积提 取多尺度邻域特征，在保持卷积核参数量不变的前提下扩张感知野，利用单个图卷积层提取高维特征以实现点集扩展，但空洞卷积需要繁琐的手动参数调节，容易丢失局部信息而产生棋盘效应，且特征空间内的直接扩展无法利用潜在曲面的几何形状信息。
发明内容
本发明针对现有技术的不足，提供了一种三维点云上采样方法、***、设备及介质，能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
根据本发明的第一方面，提供了一种三维点云上采样方法，包括：
将三维点云划分为能覆盖所有点的固定点数可重叠点云块；
根据点云块中点坐标提取层次化特征；
利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；
从所述扩展特征重建上采样的三维点云中点坐标。
可选的，所述从点云块中点坐标提取层次化特征，通过深层稠密连接动态图卷积网络实现，由多个动态图卷积单元构成，网络的输入为点云块中N个点的三维坐标
网络的输出为层次化特征
其中，第一个动态图卷积单元的输入特征
将第k-1个动态图卷积单元的输出特征
作为对第k个动态图卷积单元的输入特征，更新得到第k个动态图卷积单元的输出特征
并将最终的第l
1个动态图卷积单元的输出特征
作为输出的层次化特征
所述动态图卷积单元进行以下操作：
根据输入特征
的相似性构造K
1邻域图
生成邻接矩阵
对任意点i的
维输入特征
计算相对所有邻接点j的
维特征平移向量
并与输入特征
串联生成
维向量
并通过图卷积提取该点局部邻域特征
这里，ConcatV是向量的串联操作，
是图卷积
的可学习参数；
对点i邻域
通过排序不变的最大值池化层聚合局部邻域特征
作为该点的输出特征
合并所有点的输出特征
得到点数为N的点云块输出特征矩阵
可选的，所述多尺度热核图卷积通过具有跨层连接的多尺度热核图滤波器组实现，所述多尺度热核图滤波器组的响应可通过以下任一方式获得：
-高参数复杂度、尺度数量可变的聚合方式：
将输入的所述层次化特征
分别通过S个不同热扩散尺度t
1,...,t
S的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的S个滤波响应H
1,...,H
S，其中尺度s的滤波响应
为
H
s＝σ(exp(-t
sL)HW
s)
这里，
是热扩散尺度t
s的热核函数，L是输入点云块中点坐标相似度构造的K
2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数为输入特征维数n
H，列数为输入特征维数乘以上采样倍率Rn
H；
对S个不同热扩散尺度的滤波响应求和得到聚合特征矩阵，重排所述聚合特征矩阵，保持矩阵元素数量不变并使得矩阵行数等于上采样的目标点数RN，列数为输入特征的维数n
H：
这里，
是重排操作，获得重排特征矩阵
将输入的所述层次化特征
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与聚合特征矩阵H′
A相加，得到扩展特征矩阵
-低参数复杂度、尺度数量固定为上采样倍率R的串联方式：
将输入的所述层次化特征
分别通过R个不同热扩散尺度t
1,...,t
R的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的R个滤波响应H
1,...,H
R，其中尺度s的滤波响应
为
H
s＝σ(exp(-t
sL)HW
s)
这里，
是热扩散尺度t
s的热核函数，L是输入点云块中点坐标相似度构造的K
2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数和列数均为输入特征维数n
H；
对R个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵
H′
C＝ConcatM(H
1,H
2,...,H
R)
这里ConcatM是所述按行对齐的串联操作；
将输入的所述层次化特征
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与串联特征矩阵H′
C相加，得到扩展特征矩阵
可选的，所述从扩展特征重建上采样的三维点云坐标，包括
将所述扩展特征矩阵
通过全连接网络，采用聚合模式时
采用串联模式时
全连接网络由多个非线性激活的全连接层组成：
这里σ′是非线性激活函数，l
2是全连接网络层数，
是具有可学习参数θ
i的第i个全连接层；
将点云块中点坐标
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展点云块坐标
并与全连接网络输出Y′相加，得到上采样倍率R的点云块中点坐标
对所有上采样的点云块中点坐标进行聚合，利用最远点重采样得到上采样的三维点云。
可选的，所述的三维点云上采样方法的可学习参数是基于点云块端到端训练获得，包括：
利用泊松圆盘采样从多边形网格形式的三维形状中采集三维点云数据以及上采样的基准点云数据，将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，从三维点云中随机选取质询点作为中心，选取到中心的空间距离最近的点形成输入点云块，并将所有抽取的K
3近邻块归一化至单位球面，以此作为训练数据集合；
利用所述三维点云上采样方法从所述三维点云得到上采样的三维点云
计算所述上采样的三维点云
与基准点云Q的Chamfer距离：
这里，|Q|和
分别是Q和
中点的数量，y
q和
分别是Q中点q和
中点
的三维坐标；
计算所述上采样的三维点云
中点空间分布的互斥损失：
这里，
是点
的K
4邻域点集，η是一个经验常数；
计算损失函数
其中‖Θ‖
2是三维点云上采样方法的可学习参数Θ的二范数正则化损失项，
根据损失函数计算对于可学习参数Θ的梯度，反向传播更新三维点云上采样方法的可学习参数Θ；
重复上述三维点云上采样、损失函数计算和反向传播的步骤直至收敛，更新得到的可学习参数Θ用于三维点云的上采样。
根据本发明的第二方面，提供了一种三维点云上采样***，包括：
数据获取模块：获取三维点云数据；
特征提取模块：将所述三维点云数据划分为固定点数的点云块，根据点云块中点坐标提取层次化特征；
点集获取模块：利用多尺度热核图卷积对提取的所述层次化特征在不同尺度上实现点集特征扩展；
坐标重建模块：从扩展特征重建上采样的三维点云坐标。
根据本发明的第三方面，提供了一种三维点云上采样装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器可用于执行所述计算机程序时可用于执行上述所述三维点云上采样方法。
根据本发明的第四方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述所述三维点云上采样方法。
根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行上述所述三维点云上采样方法。
与现有技术相比，本发明实施例具有如下至少一项的有益效果：
本发明上述三维点云上采样方法及***，采用多尺度热核图卷积能够有效表征点云的局部几何特征与全局拓扑结构，对原始输入点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
本发明上述三维点云上采样方法及***，采用跨层连接的多尺度热核图滤波器能够增强点云的生成质量，促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，同时加速网络参数训练的收敛速率。
本发明上述三维点云上采样方法及***，与现有方法(参见实施例)相比，获得了一致的性能提升。
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中的三维点云上采样方法示意图；
图2为本发明一实施例中的聚合模式多尺度热核图卷积示意图；
图3为本发明一实施例中的串联模式多尺度热核图卷积示意图。
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明一优选实施例提供的基于图卷积网络的三维点云上采样方法的流程图。
如图1所示，该优选实施例提供的三维点云上采样方法，可以包括如下步骤：
S1，将三维点云划分为能覆盖所有点的固定点数可重叠点云块。
将具有P个点的三维点云
划分为M个点云块，其中每个点云块都包含N个点，并且
中任意一点p
i被包含在一个或多个点云块中。
S2，根据点云块中点坐标提取层次化特征，通过深层稠密连接动态图卷积网络实现，由多个动态图卷积单元构成，网络的输入为点云块中N个点的三维坐标
网络的输出为层次化特征
其中，第一个动态图卷积单元的输入特 征
将第k-1个动态图卷积单元的输出特征
作为对第k个动态图卷积单元的输入特征，更新得到第k个动态图卷积单元的输出特征
并将最终的第l
1个动态图卷积单元的输出特征
作为输出的层次化特征
动态图卷积单元包括以下步骤：
S21，根据输入特征
的相似性构造K
1邻域图
生成邻接矩阵
S22，对任意点i的
维输入特征
是
的第i行向量，计算相对所有邻接点j的
维特征平移向量
并与输入特征
串联生成
维向量
并通过图卷积提取该点局部邻域特征
这里，ConcatV是向量的串联操作，
是图卷积
的可学习参数；
S23，对点i邻域
通过排序不变的最大值池化层聚合局部邻域特征
作为该点的输出特征
合并所有点的输出特征
得到点数为N的点云块输出特征矩阵
S3，利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展。
本实施例采用多尺度热核图卷积，能够有效表征点云的局部几何特征与全局拓扑结构，对原始输入点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
如图2所示，作为一优选实施例，S3可以通过高模型参数量、尺度数量可变的聚合方式实现，包括如下步骤：
S31，将输入的所述层次化特征
分别通过S个不同热扩散尺度t
1,...,t
S的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的S个滤波响应H
1,...,H
S，其中尺度s的滤波响应
为
H
s＝σ(exp(-t
sL)HW
s)
这里，
是热扩散尺度t
s的热核函数，L是输入点云块中点坐标相似度构造的K
2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数为输入特征维数n
H，列数为输入特征维数乘以上采样倍率Rn
H；
S32，对S个不同热扩散尺度的滤波响应求和得到聚合特征矩阵，重排所述聚合特征矩阵，保持矩阵元素数量不变并使得矩阵行数等于上采样的目标点数RN，列数为输入特征的维数n
H：
这里，
是重排操作，获得重排特征矩阵
S33，将输入的所述层次化特征
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与聚合特征矩阵H′
A相加，得到扩展特征矩阵
如图3所示，在另一个优选实施例中，S3可以通过低参数复杂度、尺度数量固定为上采样倍率R的串联方式实现，包括如下步骤：
S31，将输入的所述层次化特征
分别通过R个不同热扩散尺度t
1,...,t
R的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的R个滤波响应H
1,...,H
R，其中尺度s的滤波响应
为
H
s＝σ(exp(-t
sL)HW
s)
这里，
是热扩散尺度t
s的热核函数，L是输入点云块中点坐标相似度构造的K
2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数和列数均为输入特征维数n
H；
S32，对R个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵
H′
C＝ConcatM(H
1,H
2,...,H
R)
这里ConcatM是所述按行对齐的串联操作；
S33，将输入的所述层次化特征
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与串联特征矩阵H′
C相加，得到扩展特征矩阵
S4，从所述扩展特征重建上采样的三维点云中点坐标，可以包括如下步骤：
S41，将所述扩展特征矩阵
通过全连接网络，采用聚合模式时
采用串联模式时
全连接网络由多个非线性激活的全连接层组成：
这里σ′是非线性激活函数，l
2是全连接网络层数，
是具有可学习参数θ
i的第i个全连接层；
S42，将点云块中点坐标
通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展点云块坐标
并与全连接网络输出Y′相加，得到上采样倍率R的点云块中点坐标
S43，对所有上采样的点云块中点坐标进行聚合，利用最远点重采样得到上采样的三维点云。
本实施例中输入信号是待上采样的三维点云，其中每个点均记录了空间中的三维坐标，输出是上采样后三维点云中各个点的三维坐标。
上述优选实施例中，采用跨层连接的多尺度热核图滤波器能够增强点云的生成质量，促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，同时加速网络参数训练的收敛速率。
在上述图1所示的实施例的基础上，进一步包括三维点云上采样方法的参数优化。三维点云上采样方法根据训练数据，基于点云块端到端训练获得可学习参数，包括：
步骤1，利用泊松圆盘采样从多边形网格形式的三维形状中采集三维点云数据以及上采样的基准点云数据，将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，从三维点云中随机选取质询点作为中心，选取到中心的空间距离最近的点形成输入点云块，并将所有抽取的K
3近邻块归一化至单位球面，以此作为训练数据集合；
步骤2，利用S2-S4从输入的三维点云得到上采样的三维点云
步骤3，计算上采样的三维点云
与基准点云Q的Chamfer距离：
这里，|Q|和
分别是Q和
中点的数量，y
q和
分别是Q中点q和
中点
的三维坐标；
步骤4，计算上采样的三维点云
中点空间分布的互斥损失：
这里，
是点
的K
4邻域点集，η是一个经验常数；
步骤5，计算损失函数
其中‖Θ‖
2是三维点云上采样方法的可学习参数Θ的二范数正则化损失项，
步骤6，根据损失函数计算对于可学习参数Θ的梯度，反向传播更新三维点云上采样方法的可学习参数Θ；
重复上述步骤2-6，直至收敛，更新得到的可学习参数Θ用于三维点云的上采样。
基于上述相同的技术构思，本发明实施例中还提供一种三维点云上采样***，包括：
数据获取模块：获取三维点云数据；
特征提取模块：将三维点云数据划分为固定点数的点云块，根据点云块中点坐标提取层次化特征；
点集获取模块：利用多尺度热核图卷积对提取的所述层次化特征在不同尺度上实现点集特征扩展；
坐标重建模块：从扩展特征重建上采样的三维点云坐标。
上述***中各模块，其中采用的技术可以参照上述的三维点云上采样方法实施例中步骤对应的实现技术，在此不再赘述。
基于上述相同的技术构思，本发明实施例中还提供一种三维点云上采样装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器可用于执行所述计算机程序时可用于执行上述任一项实施例中的三维点云上采样方法。
基于上述相同的技术构思，本发明实施例中还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述任一项实施例中的三维点云上采样方法。
基于上述相同的技术构思，本发明实施例中还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行上述任一项实施例中的三维点云上采样方法。
为了更好理解，以下结合具体应用实例对本发明上述实施例提供的技术方案进一步详细描述如下。
在该具体应用实例中，实现三维点云上采样，具体的，基于图卷积神经网络的三维点云上采样方法包括以下4个主要步骤：
步骤1，将三维点云划分为能覆盖所有点的固定点数可重叠点云块。
输入三维点云的点数为5,000，上采样倍率分别为4和16，上采样倍率为4时，上采样的三维点云的点数为20,000；上采样倍率为16时，上采样的三维点云的点数为80,000。将三维点云划分为600个点云块，每个点云块的点数为256。
步骤2，根据点云块中点坐标提取层次化特征。
利用深层稠密连接动态图卷积神经网络对点云块进行特征提取，输入特征为点云块中点的三维坐标，使用4个稠密连接的动态图卷积单元，第1个动态图卷积单元的输入特征为网络输入特征，第k＝2，3，4个动态图卷积单元的输入特征是第k-1个动态图卷积单元的输出特征，为每个点i动态地构建点数为16的点邻域
串联当前点的输入特征
以及点i相对邻接点j的特征平移向量
利用层数为3、隐藏层神经元数目为24、稠密连接的多层感知机进行空域图卷积，获得维度为480的输出点特征。通过单个全连接层，将特征维度降低至128，形成层次化特征送入步骤3。
步骤3，利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展。
根据输入的三维点云中点的三维坐标构建点数为16的点近邻图，计算对应的256×256维的图拉普拉斯矩阵L，定义多尺度热核图卷积进行点集上采样。在一较优实施例中，图拉普拉斯矩阵L通过邻接点坐标间欧式距离的高斯核函数定义的邻接矩阵计算得到。在计算热核滤波矩阵exp(-tL)时，为了规避特征分解的高昂计算代价，采用5阶的切比雪夫多项式来近似实现热核图卷积，即
其中稀疏矩阵
是L的m阶切比雪夫多项式，c
m是切比雪夫系数，该近似滤波能够通过高效的稀疏矩阵与向量相乘实现。在选取热核尺度参数t
1,...,t
S时，在对数尺度上进行均匀采样，其中，尺度数目S与上采样倍率相同，热核尺度参数最小为t
1＝0.05r，热核尺度参数最大为t
S＝0.5r，这里r表示点云块的半径，即块内中心点到最远点的距离，由于点云坐标已预先经过归一化，因此满足r≤1，非线性激活函数采用修正线性单元函数(ReLU)，每个点的热核图卷积的输出特征维度设置为128。
步骤4，从所述扩展特征重建上采样的三维点云中点坐标。
全连接网络由两层神经元数量分别为64和3的全连接层构成，非线性激活函数采用修正线性单元函数(ReLU)，用来进行坐标重建。
在上述具体应用实例的基础上，进一步包括三维点云上采样方法的参数优化的具体应用实例，包括以下6个主要步骤：
步骤1，收集相关工作中用到的三维模型数据，共173个三维形状数据，构成训练数据集。这些三维形状数据的存储格式均为三角形网格，涵盖了丰富多样的几何结构特征，既有缓慢变换的平滑区域，又有尖角、边缘等剧烈变化的复杂细节信息。采用泊松圆盘采样，从原始的三角形网格数据中进行点云采集，包括用于下采样的三维点云，以及4倍和16倍上采样的基准三维点云。将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，对于每对输入点云P与基准点云Q，利用K近邻搜索法从相同位置的中心点抽取200个点数为256的互相对应的输入点云块与基准点云块，分别作为模型训练的输入数据与真实值(标签)。训练集共有34,600对训练数据块。为了防止网络过拟合，对输入点云进行数据增强，对点云的坐标施加随机旋转、尺度放缩变换、以及高斯噪声扰动。
步骤2，利用三维点云上采样方法的步骤2-4从输入的三维点云得到上采样的三维点云
步骤3，计算上采样的三维点云
与基准点云Q的Chamfer距离：
这里，|Q|和
分别是Q和
中点的数量，y
q和
分别是Q中点q和
中点
的三维坐标；
步骤4，计算上采样的三维点云
中点空间分布的互斥损失：
这里，
是点
的K
4邻域点集，η是一个经验常数；
步骤5，计算损失函数
其中‖Θ‖
2是三维点云上采样方法的可学习参数Θ的二范数正则化损失项，
步骤6，根据损失函数计算对于可学习参数Θ的梯度，反向传播更新三维点云上采样方法的可学习参数Θ，使用Adam优化算法，设置学习率为0.001。训练数据的批量尺寸设置为28，网络的训练周期数量设置为800。
重复上述步骤2-6，直至收敛，更新得到的可学习参数Θ用于三维点云的上采样。
实施效果：
实施效果评估的对比方法为PU-Net、MPU、PU-GAN和PU-Geo。为公平起见，所有对比的网络模型均使用去开源代码在收集到的数据集上进行重新训练，参数设置为 默认数值。测试数据为39个三维形状数据中实现的泊松圆盘采样，从原始的三角形网格数据中采集待下采样的三维点云，以及对应的4倍和16倍上采样的基准三维点云用于评估。表1提供了本发明提供的三维点云上采样方法(聚合模式和串联模式)以及对比方法，在上采样后与基准三维点云的Chamfer距离、Hausdorff距离、地动距离，以及参数量。表1显示本发明提供的方法能够显著提升三维点云上采样的精度。
表1：本发明提供的三维上采样方法、PU-Net、MPU、PU-GAN、PU-Geo在39个三维点云测试数据上4倍与16倍上采样的结果。CD：Chamfer距离，HD：Hausdorff距离，EMD：地动距离。
本发明实施例的三维点云上采样方法，与点云上采样网络(PU-Net)相比，能够改进多分支单点卷积对点云点的孤立特征提取，充分利用点云相邻点的空间关联性；与多阶段点云上采样方法(MPU)与点云上采样的生成对抗网络(PU-GAN)相比，能够规避直接拷贝特征进行扩展所引发的点聚集问题，能够生成空间分布较为均匀的稠密点云；与基于图卷积网络的点云上采样网络(PU-GCN)和对抗残差图卷积网络(AR-GCN)相比，能够更为有效地表征目标物体的几何结构信息；与边缘感知的点集固结网络(EC-Net)与基于图卷积网络的点云上采样网络(PU-GCN)相比，无需额外的辅助数据。因此，与现有方法相比，本发明获得了一致的性能提升。
本发明上述实施例中的三维点云上采样方法，三维点云广泛应用于自动驾驶、环境建模、沉浸式通讯、虚拟导览等新型应用领域，但是，由于受到硬件性能制约，3-D采集设备(如Microsoft Kinect、LiDAR传感器)获取的初始点云具有高度稀疏、分布 均非匀的特点，而三维点云上采样能够通过计算方法生成稠密的、细节增强、且分布较为均匀的点云数据，以利于后续的渲染、分析与曲面重建，因此本发明提出的方法拥有巨大的工业应用潜力。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
- 一种三维点云上采样方法，其特征在于，包括：将三维点云划分为能覆盖所有点的固定点数可重叠点云块；根据点云块中点坐标提取层次化特征；利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；从所述扩展特征重建上采样的三维点云中点坐标。
- 根据权利要求1所述的三维点云上采样方法，其特征在于，所述从点云块中点坐标提取层次化特征，是通过深层稠密连接动态图卷积网络实现；所述动态图卷积网络由多个动态图卷积单元构成，网络的输入为点云块中N个点的三维坐标网络的输出为层次化特征
其中，第一个动态图卷积单元的输入特征
将第k-1个动态图卷积单元的输出特征
作为对第k个动态图卷积单元的输入特征，更新得到第k个动态图卷积单元的输出特征
并将最终的第l 1个动态图卷积单元的输出特征
作为输出的层次化特征
所述动态图卷积单元进行以下操作：根据输入特征的相似性构造K 1邻域图
生成邻接矩阵
对任意点i的维输入特征
计算相对所有邻接点j的
维特征平移向量
并与输入特征
串联生成
维向量
并通过图卷积提取该点局部邻域特征
这里，ConcatV是向量的串联操作，是图卷积
的可学习参数；
对点i邻域通过排序不变的最大值池化层聚合局部邻域特征
作为该点的输出特征
合并所有点的输出特征得到点数为N的点云块输出特征矩阵
- 根据权利要求1所述的三维点云上采样方法，其特征在于，所述多尺度热核图卷积通过具有跨层连接的多尺度热核图滤波器组实现，所述多尺度热核图滤波器组的响应通过以下任一方式获得：-高参数复杂度、尺度数量可变的聚合方式；-低参数复杂度、尺度数量固定为上采样倍率R的串联方式。
- 根据权利要求3所述的三维点云上采样方法，其特征在于，多尺度热核图卷积通过聚合方式实现时，包括：将输入的层次化特征分别通过S个不同热扩散尺度t 1,…,t S的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的S个滤波响应H 1,…,H S，其中尺度s的滤波响应
为
H s＝σ(exp(-t sL)HW s)这里，是热扩散尺度t s的热核函数，L是输入点云块中点坐标相似度构造的K 2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数为输入特征维数n H，列数为输入特征维数乘以上采样倍率Rn H；
对S个不同热扩散尺度的滤波响应求和得到聚合特征矩阵，重排所述聚合特征矩阵，保持矩阵元素数量不变并使得矩阵行数等于上采样的目标点数RN，列数为输入特征的维数n H：
这里，是重排操作，获得重排特征矩阵
将输入的所述层次化特征通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与聚合特征矩阵H′ A相加，得到扩展特征矩阵
- 根据权利要求3所述的三维点云上采样方法，其特征在于，多尺度热核图卷积通过串联方式实现时，包括：将输入的层次化特征分别通过R个不同热扩散尺度t 1,…,t R的热核图滤波器，并通过非线性激活函数σ(·)，得到对应的R个滤波响应H 1,…,H R，其中尺度s的滤波响应
为
H s＝σ(exp(-t sL)HW s)这里，是热扩散尺度t s的热核函数，L是输入点云块中点坐标相似度构造的K 2邻域图的拉普拉斯矩阵，
是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数和列数均为输入特征维数n H；
对R个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵
H′ C＝ConcatM(H 1,H 2,…,H R)这里ConcatM是所述按行对齐的串联操作；将输入的所述层次化特征通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展输入特征
并与串联特征矩阵H′ C相加，得到扩展特征矩阵
- 根据权利要求5所述的三维点云上采样方法，其特征在于，从所述扩展特征重建上采样的三维点云中点坐标，包括：将扩展特征矩阵通过全连接网络，采用聚合模式时
采用串联模式时
全连接网络由多个非线性激活的全连接层组成：
这里σ′是非线性激活函数，l 2是全连接网络层数，是具有可学习参数θ i的第i个全连接层；
将点云块中点坐标通过跨层连接，并以上采样倍率R进行平铺扩展，将矩阵的每行复制为R行得到扩展点云块坐标
并与全连接网络输出Y′相加，得到上采样倍率R的点云块中点坐标
对所有上采样的点云块中点坐标进行聚合，利用最远点重采样得到上采样的三维点云。 - 根据权利要求1所述的三维点云上采样方法，其特征在于，所述三维点云上采样方法的可学习参数是基于点云块端到端训练获得，包括：利用泊松圆盘采样从多边形网格形式的三维形状中采集三维点云数据以及上采样的基准点云数据，将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，从三维点云中随机选取质询点作为中心，选取到中心的空间距离最近的点形成输入点云块，并将所有抽取的K 3近邻块归一化至单位球面，以此作为训练数据集合；利用所述三维点云上采样方法从所述三维点云得到上采样的三维点云具体地包括：根据点云块中点坐标提取层次化特征；利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；从所述扩展特征重建上采样的三维点云中点坐标；
计算所述上采样的三维点云与基准点云Q的Chamfer距离：
这里，|Q|和分别是Q和
中点的数量，y q和
分别是Q中点q和
中点
的三维坐标；
计算所述上采样的三维点云中点空间分布的互斥损失：
这里，是点
的K 4邻域点集，η是一个经验常数；
计算损失函数其中‖Θ‖ 2是三维点云上采样方法的可学习参数Θ的二范数正则化损失项，
根据损失函数计算对于可学习参数Θ的梯度，反向传播更新三维点云上采样方法的可学习参数Θ；重复上述三维点云上采样、损失函数计算和反向传播的步骤直至收敛，更新得到的可学习参数Θ用于三维点云的上采样。 - 一种点云上采样***，其特征在于，包括：数据获取模块：获取三维点云数据；特征提取模块：将所述三维点云数据划分为固定点数的点云块，根据点云块中点坐标提取层次化特征；点集获取模块：利用多尺度热核图卷积对提取的所述层次化特征在不同尺度上实现点集特征扩展；坐标重建模块：从扩展特征重建上采样的三维点云坐标。
- 一种三维点云上采样装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；其特征在于，所述处理器可用于执行所述计算机程序时可用于执行上述所述三维点云上采样方法。
- 一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行权利要求1-7任一项所述的点云上采样方法。
- 一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行权利要求1-7任一项所述的点云上采样方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/424,889 US20240202871A1 (en) | 2021-08-26 | 2024-01-29 | Three-dimensional point cloud upsampling method, system and device, and medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110986829.3 | 2021-08-26 | ||
| CN202110986829.3A CN113674403B (zh) | 2021-08-26 | 2021-08-26 | 一种三维点云上采样方法、***、设备及介质 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/424,889 Continuation US20240202871A1 (en) | 2021-08-26 | 2024-01-29 | Three-dimensional point cloud upsampling method, system and device, and medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023025030A1 true WO2023025030A1 (zh) | 2023-03-02 |
Family
ID=78546528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/113292 WO2023025030A1 (zh) | 2021-08-26 | 2022-08-18 | 一种三维点云上采样方法、***、设备及介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240202871A1 (zh) |
| CN (1) | CN113674403B (zh) |
| WO (1) | WO2023025030A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116137059A (zh) * | 2023-04-17 | 2023-05-19 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116363099A (zh) * | 2023-03-31 | 2023-06-30 | 西南大学 | 一种三维点云数据细粒度解析方法、装置、介质及设备 |
| CN116452467A (zh) * | 2023-06-16 | 2023-07-18 | 山东曙岳车辆有限公司 | 基于激光数据的集装箱实时定位方法 |
| CN116586924A (zh) * | 2023-07-17 | 2023-08-15 | 浙江一益医疗器械有限公司 | 一种针尖五斜面结构的不锈钢针管及其制备工艺 |
| CN116933141A (zh) * | 2023-09-15 | 2023-10-24 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
| CN117031493A (zh) * | 2023-07-17 | 2023-11-10 | 无锡卡尔曼导航技术有限公司南京技术中心 | 一种水库库容测绘方法 |
| CN117254960A (zh) * | 2023-09-25 | 2023-12-19 | 深圳市云钜天成信息技术有限公司 | 一种从流量数据检测api接口验证风险的检测方法 |
| CN117788409A (zh) * | 2023-12-27 | 2024-03-29 | 南京国础科学技术研究院有限公司 | 一种基于数据增强与多尺度特征学习路面裂缝检测方法 |
| CN118096756A (zh) * | 2024-04-26 | 2024-05-28 | 南京航空航天大学 | 一种基于三维点云的牵引编织芯模同心度检测方法 |
| CN118097037A (zh) * | 2024-04-28 | 2024-05-28 | 大连辉越高新科技发展有限公司 | 一种元宇宙场景重建方法及*** |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674403B (zh) * | 2021-08-26 | 2023-12-26 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
| CN114693932B (zh) * | 2022-04-06 | 2023-07-21 | 南京航空航天大学 | 一种大型飞机大部件点云语义分割方法 |
| CN115994849B (zh) * | 2022-10-24 | 2024-01-09 | 南京航空航天大学 | 一种基于点云上采样的三维数字水印嵌入与提取方法 |
| CN116385614B (zh) * | 2023-03-29 | 2024-03-01 | 深圳海拓时代科技有限公司 | 基于可视化的3d视觉模块渲染控制*** |
| CN117710602B (zh) * | 2024-02-04 | 2024-05-10 | 航天宏图信息技术股份有限公司 | 面向稀疏网格三维数据的建筑物重建方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101932A1 (en) * | 2016-10-11 | 2018-04-12 | The Boeing Company | System and method for upsampling of sparse point cloud for 3d registration |
| CN111862289A (zh) * | 2020-08-04 | 2020-10-30 | 天津大学 | 一种基于gan网络的点云上采样方法 |
| CN113674403A (zh) * | 2021-08-26 | 2021-11-19 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
| CN110348299B (zh) * | 2019-06-04 | 2022-06-10 | 上海交通大学 | 三维物体的识别方法 |
| CN111583263B (zh) * | 2020-04-30 | 2022-09-23 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
| CN111598998B (zh) * | 2020-05-13 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 三维虚拟模型重建方法、装置、计算机设备和存储介质 |
| CN111882593B (zh) * | 2020-07-23 | 2022-06-17 | 首都师范大学 | 结合注意力机制及三维图卷积网络的点云配准模型及方法 |
| CN112184556B (zh) * | 2020-10-28 | 2021-10-29 | 万申(北京)科技有限公司 | 一种基于口腔cbct重建点云的超分辨成像方法 |
| CN112257852B (zh) * | 2020-11-04 | 2023-05-19 | 清华大学深圳国际研究生院 | 用于点云分类分割的方法 |
| CN112634149B (zh) * | 2020-12-10 | 2022-11-11 | 浙江大学 | 一种基于图卷积网络的点云去噪方法 |
| CN112633350B (zh) * | 2020-12-18 | 2021-10-01 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
-
2021
- 2021-08-26 CN CN202110986829.3A patent/CN113674403B/zh active Active
-
2022
- 2022-08-18 WO PCT/CN2022/113292 patent/WO2023025030A1/zh unknown
-
2024
- 2024-01-29 US US18/424,889 patent/US20240202871A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101932A1 (en) * | 2016-10-11 | 2018-04-12 | The Boeing Company | System and method for upsampling of sparse point cloud for 3d registration |
| CN111862289A (zh) * | 2020-08-04 | 2020-10-30 | 天津大学 | 一种基于gan网络的点云上采样方法 |
| CN113674403A (zh) * | 2021-08-26 | 2021-11-19 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363099A (zh) * | 2023-03-31 | 2023-06-30 | 西南大学 | 一种三维点云数据细粒度解析方法、装置、介质及设备 |
| CN116137059A (zh) * | 2023-04-17 | 2023-05-19 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116137059B (zh) * | 2023-04-17 | 2024-04-26 | 宁波大学科学技术学院 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
| CN116452467A (zh) * | 2023-06-16 | 2023-07-18 | 山东曙岳车辆有限公司 | 基于激光数据的集装箱实时定位方法 |
| CN116452467B (zh) * | 2023-06-16 | 2023-09-22 | 山东曙岳车辆有限公司 | 基于激光数据的集装箱实时定位方法 |
| CN117031493A (zh) * | 2023-07-17 | 2023-11-10 | 无锡卡尔曼导航技术有限公司南京技术中心 | 一种水库库容测绘方法 |
| CN116586924B (zh) * | 2023-07-17 | 2024-02-27 | 浙江一益医疗器械有限公司 | 一种针尖五斜面结构的不锈钢针管及其制备工艺 |
| CN116586924A (zh) * | 2023-07-17 | 2023-08-15 | 浙江一益医疗器械有限公司 | 一种针尖五斜面结构的不锈钢针管及其制备工艺 |
| CN116933141A (zh) * | 2023-09-15 | 2023-10-24 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
| CN116933141B (zh) * | 2023-09-15 | 2023-11-17 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
| CN117254960A (zh) * | 2023-09-25 | 2023-12-19 | 深圳市云钜天成信息技术有限公司 | 一种从流量数据检测api接口验证风险的检测方法 |
| CN117254960B (zh) * | 2023-09-25 | 2024-05-10 | 深圳市云钜天成信息技术有限公司 | 一种从流量数据检测api接口验证风险的检测方法 |
| CN117788409A (zh) * | 2023-12-27 | 2024-03-29 | 南京国础科学技术研究院有限公司 | 一种基于数据增强与多尺度特征学习路面裂缝检测方法 |
| CN118096756A (zh) * | 2024-04-26 | 2024-05-28 | 南京航空航天大学 | 一种基于三维点云的牵引编织芯模同心度检测方法 |
| CN118097037A (zh) * | 2024-04-28 | 2024-05-28 | 大连辉越高新科技发展有限公司 | 一种元宇宙场景重建方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674403B (zh) | 2023-12-26 |
| CN113674403A (zh) | 2021-11-19 |
| US20240202871A1 (en) | 2024-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023025030A1 (zh) | 一种三维点云上采样方法、***、设备及介质 | |
| Yu et al. | Pu-net: Point cloud upsampling network | |
| Qian et al. | PUGeo-Net: A geometry-centric network for 3D point cloud upsampling | |
| Mandikal et al. | Dense 3d point cloud reconstruction using a deep pyramid network | |
| Li et al. | DNF-Net: A deep normal filtering network for mesh denoising | |
| Liu et al. | Spu-net: Self-supervised point cloud upsampling by coarse-to-fine reconstruction with self-projection optimization | |
| CN108921926A (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| Wang et al. | Cascaded refinement network for point cloud completion with self-supervision | |
| CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
| CN111695494A (zh) | 一种基于多视角卷积池化的三维点云数据分类方法 | |
| CN114091628B (zh) | 基于双分支网络的三维点云上采样方法及*** | |
| Remil et al. | Surface reconstruction with data-driven exemplar priors | |
| CN102637304B (zh) | 基于gpu的几何表面上各向同性/异性纹理合成方法 | |
| CN114782417A (zh) | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 | |
| Zeng et al. | Point cloud up-sampling network with multi-level spatial local feature aggregation | |
| Rios et al. | Scalability of learning tasks on 3D CAE models using point cloud autoencoders | |
| Zhao et al. | Pui-net: A point cloud upsampling and inpainting network | |
| CN116758219A (zh) | 基于神经网络的区域感知多视角立体匹配三维重建方法 | |
| Wang et al. | Two-stage point cloud super resolution with local interpolation and readjustment via outer-product neural network | |
| Wang et al. | High-resolution point cloud reconstruction from a single image by redescription | |
| CN116486016A (zh) | 图像重建方法、装置、计算机设备和可读存储介质 | |
| CN114782336A (zh) | 基于图卷积神经网络的纤维束取向分布的预测方法和装置 | |
| Hui et al. | Make-a-shape: a ten-million-scale 3d shape model | |
| CN114881850A (zh) | 点云超分辨率方法、装置、电子设备及存储介质 | |
| Zhang et al. | Efficient pooling operator for 3D morphable models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22860376 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |