KR102663467B1 - Point cloud up-sampling apparatus and method - Google Patents

Point cloud up-sampling apparatus and method Download PDF

Info

Publication number
KR102663467B1
KR102663467B1 KR1020220148645A KR20220148645A KR102663467B1 KR 102663467 B1 KR102663467 B1 KR 102663467B1 KR 1020220148645 A KR1020220148645 A KR 1020220148645A KR 20220148645 A KR20220148645 A KR 20220148645A KR 102663467 B1 KR102663467 B1 KR 102663467B1
Authority
KR
South Korea
Prior art keywords
feature matrix
data set
feature
matrix
dataset
Prior art date
Application number
KR1020220148645A
Other languages
Korean (ko)
Inventor
임세준
이형준
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020220148645A priority Critical patent/KR102663467B1/en
Application granted granted Critical
Publication of KR102663467B1 publication Critical patent/KR102663467B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따르면, 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 패치를 입력받는 입력부; H(여기서, H는 자연수)개의 레이어를 이용하여 레이어에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하는 특징 추출부; 상기 다수의 레이어에 대한 제2 특징 행렬을 생성하는 포인트 생성부; 상기 제2 특징 행렬을 변환하여 제3 특징 행렬을 생성하는 셀프 어탠션 블록부; 상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 기반으로 업 샘플링을 수행하는 정제부; 및 상기 포인트 생성부의 출력값과 상기 정제부의 출력값을 합하여 보정하는 보정부를 포함하는 포인트 클라우드의 고해상화 장치이다.According to the present invention, an input unit that receives a patch that cuts out an image centered on a feature point of an object from an image acquisition device such as a camera or an image storage device; a feature extraction unit that extracts a first feature matrix, which is a multi-scale feature matrix for the layer, using H (where H is a natural number) layers; a point generator that generates a second feature matrix for the plurality of layers; a self-attention block unit that converts the second feature matrix to generate a third feature matrix; a refinement unit that performs up-sampling based on the first feature matrix and the third feature matrix using layers corresponding to the H layers; and a correction unit that corrects the output value of the point generator by adding the output value of the point generator and the output value of the refinement unit.

Description

포인트 클라우드의 고해상화 장치 및 방법{POINT CLOUD UP-SAMPLING APPARATUS AND METHOD}Point cloud high resolution apparatus and method {POINT CLOUD UP-SAMPLING APPARATUS AND METHOD}

본 발명은 포인트 클라우드의 고해상화 장치 및 방법에 관한 것이다.The present invention relates to a high-resolution point cloud apparatus and method.

최근 3D 스캐너의 기술 성장과 함께 포인트 클라우드(Point Cloud)를 활용하는 분야가 증가하고 있다. 특히 자율주행 자동차에 탑재되는 LiDAR와 같은 3D 스캐너에 대한 연구가 활발히 진행되고 있다. 그러나, 고품질의 포인트 클라우드는 비용이 많이 들며, 저품질의 포인트 클라우드는 물체의 경계선을 식별하기에 어려움이 있다. 이를 해결하기 위해 저품질의 포인트 클라우드를 업 샘플링(UP-Sampling)하여 고품질의 포인트 클라우드를 생성하는 연구가 진행되고 있지만, 희석되는 데이터가 많아 고품질의 포인트 클라우드를 생성하기에는 문제가 있다.With the recent growth of 3D scanner technology, the number of areas utilizing point clouds is increasing. In particular, research on 3D scanners such as LiDAR mounted on self-driving cars is actively underway. However, high-quality point clouds are expensive, and low-quality point clouds have difficulty identifying object boundaries. To solve this problem, research is underway to generate high-quality point clouds by up-sampling low-quality point clouds, but there is a problem in generating high-quality point clouds because there is a lot of diluted data.

대한민국 공개특허 제 10-2020-0122870호Republic of Korea Patent Publication No. 10-2020-0122870

본 발명은 상술한 과제를 해결하기 위한 것으로서, 본 발명의 목적은　포인트 클라우드의 고해상화 장치 및 방법을 제공하는 데 있다.The present invention is intended to solve the above-described problems, and the purpose of the present invention is to provide an apparatus and method for high resolution of point clouds.

본 발명은 포인트 클라우드의 고해상화 장치에 있어서, 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 패치를 입력받는 입력부; H(여기서, H는 자연수)개의 레이어를 이용하여 레이어에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하는 특징 추출부; 상기 다수의 레이어에 대한 제2 특징 행렬을 생성하는 포인트 생성부; 상기 제2 특징 행렬을 변환하여 제3 특징 행렬을 생성하는 셀프 어탠션 블록부; 상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 기반으로 업 샘플링을 수행하는 정제부; 및 상기 포인트 생성부의 출력값과 상기 정제부의 출력값을 합하여 보정하는 보정부를 포함할 수 있다.The present invention provides a high-resolution point cloud device, comprising: an input unit that receives a patch that cuts out an image centered on a feature point of an object from an image acquisition device such as a camera or an image storage device; a feature extraction unit that extracts a first feature matrix, which is a multi-scale feature matrix for the layer, using H (where H is a natural number) layers; a point generator that generates a second feature matrix for the plurality of layers; a self-attention block unit that converts the second feature matrix to generate a third feature matrix; a refinement unit that performs up-sampling based on the first feature matrix and the third feature matrix using layers corresponding to the H layers; And it may include a correction unit that corrects by adding the output value of the point generation unit and the output value of the refinement unit.

본 발명의 일 실시 예에 있어서, 상기 이미지의 패치를 제1 데이터셋으로 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하고, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 제3 데이터셋을 생성하고, 상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성할 수 있다.In one embodiment of the present invention, a patch of the image is generated as a first data set, a second data set is generated by combining the first data set and the second feature matrix, and the first feature matrix and the A third data set can be created using a third feature matrix, and a fourth data set can be created by combining the second data set and the third data set.

본 발명의 일 실시 예에 있어서, 상기 특징 추출부는, 상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성할 수 있다.In one embodiment of the present invention, the feature extractor may generate a patch including a reference point and K (where K is a natural number) adjacent points from the patch.

본 발명의 일 실시 예에 있어서, 상기 특징 추출부는, 상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산할 수 있다.In one embodiment of the present invention, the feature extractor may calculate relative features between a reference point and adjacent points based on a patch including the adjacent point.

본 발명의 일 실시 예에 있어서, 상기 정제부는, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행할 수 있다.In one embodiment of the present invention, the refiner may perform attention using the first feature matrix and the third feature matrix.

본 발명의 포인트 클라우드 고해상화 방법에 있어서, 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 패치를 입력받는 단계; H(여기서, H는 자연수)개의 레이어를 이용하여 레이어에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하는 단계; 상기 다수의 레이어에 대한 제2 특징 행렬을 생성하는 단계; 상기 제2 특징 행렬을 변환하여 제3 특징 행렬을 생성하는 단계; 상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 기반으로 업 샘플링을 수행하는 단계; 및 상기 제2 특징 행렬을 생성하는 단계의 출력값과 상기 업 샘플링을 수행하는 단계의 출력값을 합하여 보정하는 보정부를 포함할 수 있다.In the point cloud high-resolution method of the present invention, the step of receiving a patch cut out of an image centered on a feature point of an object from an image acquisition device such as a camera or an image storage device; Extracting a first feature matrix, which is a multi-scale feature matrix for the layer, using H (where H is a natural number) layers; generating a second feature matrix for the plurality of layers; converting the second feature matrix to generate a third feature matrix; performing up-sampling based on the first feature matrix and the third feature matrix using layers corresponding to the H layers; and a correction unit that corrects by adding the output value of the step of generating the second feature matrix and the output value of the step of performing the up-sampling.

본 발명의 일 실시 예에 있어서, 상기 이미지의 패치를 제1 데이터셋으로 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하고, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 제3 데이터셋을 생성하고, 상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성할 수 있다.In one embodiment of the present invention, a patch of the image is generated as a first data set, a second data set is generated by combining the first data set and the second feature matrix, and the first feature matrix and the A third data set can be created using a third feature matrix, and a fourth data set can be created by combining the second data set and the third data set.

본 발명의 일 실시 예에 있어서, 상기 제1 특징 행렬을 추출하는 단계는, 상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성할 수 있다.In one embodiment of the present invention, the step of extracting the first feature matrix may generate a patch including a reference point and K (where K is a natural number) adjacent points from the patch.

본 발명의 일 실시 예에 있어서, 상기 제1 특징 행렬을 추출하는 단계는, 상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산할 수 있다.In one embodiment of the present invention, the step of extracting the first feature matrix may calculate relative features between a reference point and adjacent points based on a patch including the adjacent point.

본 발명의 일 실시 예에 있어서, 상기 업 샘플링을 수행하는 단계는, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행할 수 있다.In one embodiment of the present invention, performing the up-sampling may involve performing attention using the first feature matrix and the third feature matrix.

본 발명의 일 실시 예에 있어서, 적어도 하나의 명령어를 저장하는 적어도 하나의 메모리; 및 상기 메모리에 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여: 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 패치를 입력받고, H(여기서, H는 자연수)개의 레이어를 이용하여 레이어에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하고, 상기 다수의 레이어에 대한 제2 특징 행렬을 생성하고, 상기 제2 특징 행렬을 변환하여 제3 특징 행렬을 생성하고, 상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 기반으로 업 샘플링을 수행하고, 및 상기 제2 특징 행렬을 생성하는 것의 출력값과 상기 업 샘플링을 수행하는 것의 출력값을 합하여 보정하는 보정부를 포함할 수 있다.In one embodiment of the present invention, at least one memory storing at least one instruction; and at least one processor connected to the memory, wherein the at least one processor executes the at least one instruction: a patch that crops an image centered on a feature point of an object from an image acquisition device such as a camera or an image storage device. receives input, extracts a first feature matrix, which is a multi-scale feature matrix for the layer, using H (where H is a natural number) layers, generates a second feature matrix for the plurality of layers, and generates the second feature matrix for the plurality of layers. Convert the feature matrix to generate a third feature matrix, perform upsampling based on the first feature matrix and the third feature matrix using layers corresponding to the H layers, and use the second feature matrix It may include a correction unit that corrects by adding the output value of generating and the output value of performing the up-sampling.

본 발명의 일 실시 예에 있어서, 상기 이미지의 패치를 제1 데이터셋으로 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하고, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 제3 데이터셋을 생성하고, 상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성할 수 있다.In one embodiment of the present invention, a patch of the image is generated as a first data set, a second data set is generated by combining the first data set and the second feature matrix, and the first feature matrix and the A third data set can be created using a third feature matrix, and a fourth data set can be created by combining the second data set and the third data set.

본 발명의 일 실시 예에 있어서, 상기 제1 특징 행렬을 추출하는 것은, 상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성할 수 있다.In one embodiment of the present invention, extracting the first feature matrix can generate a patch including a reference point and K (where K is a natural number) adjacent points from the patch.

본 발명의 일 실시 예에 있어서, 상기 제1 특징 행렬을 추출하는 것은, 상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산할 수 있다.In one embodiment of the present invention, extracting the first feature matrix may calculate relative features between a reference point and adjacent points based on a patch including the adjacent point.

본 발명의 일 실시 예에 있어서, 상기 업 샘플링을 수행하는 것은, 상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행할 수 있다.In one embodiment of the present invention, the up-sampling may be performed by performing attention using the first feature matrix and the third feature matrix.

본 발명에 의하면, 포인트 클라우드의 고해상화 방법 및 이를 지원하는 장치가 제공될 수 있다.According to the present invention, a method for high-resolution point clouds and a device supporting the same can be provided.

예를 들어, 본 발명은 이미지의 특징과 이미지 전역의 특징을 사용하여 U-NET형태의 업 샘플링 구조를 갖는 업 샘플링을 구성할 수 있다.For example, the present invention can configure up-sampling with a U-NET type up-sampling structure using the characteristics of the image and the characteristics of the entire image.

이에 따라, 입력 이미지의 세부적인 정보의 희석을 방지할 수 있으며, 입력 데이터를 다각화하여 정보의 제한없이 업 샘플링을 수행할 수 있다. Accordingly, dilution of detailed information of the input image can be prevented, and upsampling can be performed without information limitation by diversifying the input data.

도 1은 포인트 클라우드의 고해상화 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 포인트 클라우드의 고해상화 장치의 작동 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 포인트 트랜스포머의 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 전역 정제 어탠션의 개념도이다.
도 5는 포인트 클라우드의 고해상화 장치의 동작 순서도이다.
도 6 정제부의 동작 순서도이다.
도 7은 본 발명의 일 실시예에 따른 포인트 클라우드의 고해상화 프로세서를 나타내는 블록도이다.Figure 1 is a block diagram of a high-resolution point cloud device.
Figure 2 is a conceptual diagram of the operation of a point cloud high-resolution device according to an embodiment of the present invention.
Figure 3 is a conceptual diagram of a point transformer according to an embodiment of the present invention.
Figure 4 is a conceptual diagram of global purification attention according to an embodiment of the present invention.
Figure 5 is an operation flowchart of a point cloud high-resolution device.
Figure 6 is a flowchart of the operation of the purification unit.
Figure 7 is a block diagram showing a high-resolution point cloud processor according to an embodiment of the present invention.

이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.Hereinafter, embodiments of the present invention will be described clearly and in detail so that a person skilled in the art can easily practice the present invention.

도 1은 포인트 클라우드의 고해상화 장치에 대한 블록도이다.Figure 1 is a block diagram of a high-resolution point cloud device.

도 1을 참조하면, 포인트 클라우드의 고해상화 장치(10)는 입력부(100), 특징 추출부(200), 포인트 생성부(300), 셀프 어탠션 블럭부(400), 정제부(500) 및 보정부(600)을 포함한다.Referring to FIG. 1, the point cloud high-resolution device 10 includes an input unit 100, a feature extraction unit 200, a point generation unit 300, a self-attention block unit 400, a refinement unit 500, and Includes a correction unit 600.

입력부(100)는 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 제1 데이터셋을 입력받을 수 있다.The input unit 100 may receive a first data set from an image acquisition device such as a camera or an image storage device.

입력부(100)는 입력된 제1 데이터셋을 후술할 특징 추출부(200)와 포인트 생성부(300)에 송신할 수 있다.The input unit 100 may transmit the input first data set to the feature extraction unit 200 and the point generation unit 300, which will be described later.

특징 추출부(200)는 다수의 포인트 트랜스포머(Point Transformer, PT, 210)를 포함하며, 입력부(100)에서 수신한 제1 데이터셋에 포함된 적어도 하나의 패치(patch)를 포인트 트랜스포머(210)를 통해 다수의 레이어(Layer)에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 계산할 수 있다. 아래의 수학식 1으로 정의할 수 있다.The feature extraction unit 200 includes a plurality of point transformers (PT) 210, and extracts at least one patch included in the first dataset received from the input unit 100 into the point transformer 210. The first feature matrix, which is a multi-scale feature matrix for multiple layers, can be calculated. It can be defined by Equation 1 below.

여기서, patchi는 포인트 트랜스포머(210)에서 생성한 i번째 패치, si는 기준점, featurei h는 h번째 레이어의 i번째 특징 행렬이다.Here, patch i is the i-th patch generated by the point transformer 210, s i is the reference point, and feature i h is the i-th feature matrix of the h-th layer.

포인트 트랜스포머(210)는 KNN(K-Nearest Neighbor, 211) 모델과 벡터 셀프 어탠션(Vector Self-Attention, VSA, 212) 모델으로 구성되어 있다.The point transformer 210 consists of a KNN (K-Nearest Neighbor, 211) model and a Vector Self-Attention (VSA, 212) model.

최근접 이웃(211)은 입력부(100)에서 수신한 제1 데이터셋으로부터 기준이 되는 기준점(si)과 K(여기서, K는 자연수)개의 인접점을 포함하는 i번째 패치(patchi)를 생성할 수 있다. 여기서, 패치는 물체의 특징점을 중심으로 이미지를 잘라낸 영역일 수 있다.The nearest neighbor 211 is the ith patch (patch i ) containing a reference point (s i ) and K (where K is a natural number) adjacent points, which are the reference points from the first data set received from the input unit 100. can be created. Here, the patch may be an area cut out of the image centered on the feature point of the object.

벡터 셀프 어탠션(212)은 KNN모델에서 생성한 i번째 패치(patchi)를 기반으로 기준점(si)과 인접점들 간의 상대적인 특징을 계산하여 i번째 특징 행렬(featurei h)을 생성할 수 있다.The vector self-attention 212 calculates the relative features between the reference point (s i ) and adjacent points based on the ith patch (patch i ) generated from the KNN model to generate the ith feature matrix (feature i h ). You can.

구체적으로, 벡터 셀프 어탠션(212)은 생성한 i번째 특징 행렬(featurei h)을 다차원의 임베딩(Embedding) 벡터로 변환하고 기 설정된 파라미터 행렬과 곱하여 쿼리(Query), 키(Key) 및 밸류(Value) 행렬을 생성하고, 생성한 쿼리 행렬과 키 행렬의 내적과 소프트맥스(Softmax)연산을 통해 기준점(si)과 인접점의 연관성을 계산할 수 있다.Specifically, the vector self-attention 212 converts the generated ith feature matrix (feature i h ) into a multidimensional embedding vector and multiplies it with a preset parameter matrix to obtain query, key, and value. You can create a (Value) matrix and calculate the correlation between the reference point (s i ) and adjacent points through the inner product and Softmax operation of the generated query matrix and key matrix.

최종적으로, 벡터 셀프 어탠션(212)는 밸류 행렬과 연관성을 곱하여 기준점(si)과 K개의 인접점의 i번째 특징 행렬(featurei h)을 생성하고, i번째 특징 행렬(featurei h)을 이용하여 이후 레이어 해당하는 포인트 트랜스포머(210)의 기준점(si)을 갱신할 수 있다. 예를 들어, 포인트 트랜스포머(210)는 H(여기서, H는 자연수)회 레이어의 i번째 특징 행렬(featurei h)을 생성하여 H+1회 레이어의 기준점(si) 특징을 갱신할 수 있다.Finally, the vector self-attention 212 multiplies the value matrix and the correlation to generate the ith feature matrix (feature i h ) of the reference point (s i ) and K adjacent points, and the ith feature matrix (feature i h ) The reference point (s i ) of the point transformer 210 corresponding to the next layer can be updated using . For example, the point transformer 210 may generate the ith feature matrix (feature i h ) of the layer H (where H is a natural number) times and update the reference point (s i ) feature of the layer H+1 times. .

또한, 특징 추출부(200)는 포인트 트랜스포머(210)를 이용하여 생성한 H회 레이어의 i번째 특징 행렬(featurei h)으로 각 레이어의 제1 특징 행렬을 생성할 수 있다.Additionally, the feature extraction unit 200 may generate the first feature matrix of each layer using the ith feature matrix (feature i h ) of the H layer generated using the point transformer 210.

따라서, 특징 추출부(200)는 H회의 레이어를 통하여 하나의 포인트 트랜스포머가 출력할 수 있는 데이터셋을 확장할 수 있다. 또한, 레이어의 횟수가 증가함에 따라서 특징 행렬 차원의 수도 증가할 수 있다.Accordingly, the feature extractor 200 can expand the dataset that one point transformer can output through H layers. Additionally, as the number of layers increases, the number of feature matrix dimensions may also increase.

포인트 생성부(300)는 다수의 포인트 트랜스포머(210)와 픽셀 셔플(Pixel Shuffle, 310)로 구성되어 있으며, 입력부(100)에서 수신한 제1 데이터셋을 포인트 생성부(300)를 통해 다수의 레이어에 대한 3차원 특징 행렬을 제2 데이터셋으로 생성할 수 있다. 포인트 트랜스포머(210)는 특징 추출부(200)와 동일하여, 중복되는 설명은 이하 생략될 것이다.The point generator 300 consists of a plurality of point transformers 210 and a pixel shuffle (310), and the first data set received from the input unit 100 is converted into a plurality of points through the point generator 300. A 3D feature matrix for the layer can be created as a second dataset. Since the point transformer 210 is the same as the feature extraction unit 200, overlapping descriptions will be omitted below.

다만, 포인트 생성부(300)의 포인트 트랜스포머(210)는 H회 레이어의 i번째 특징 행렬(featurei h)으로 각 레이어의 특징 행렬을 생성하지 않을 수 있다.However, the point transformer 210 of the point generator 300 may not generate the feature matrix of each layer as the ith feature matrix (feature i h ) of the H layer.

픽셀 셔플(310)는 포인트 트랜스포머(210)로 인해 차원이 업 샘플링 비율인 r배로 늘어난 제1 데이터셋의 차원을 조합하여 r배로 확장된 고해상도 패치를 생성할 수 있다. The pixel shuffle 310 can generate a high-resolution patch expanded by r times by combining the dimensions of the first dataset whose dimensions have been increased by r times, which is the up-sampling rate, due to the point transformer 210.

또한, 포인트 생성부(300)는 픽셀 셔플(310)을 이용하여 제1 데이터셋의 좌표에 해당하는 3차원 특징 행렬인 제2 특징 행렬을 생성하고 제1 데이터셋과 합하여 제2 데이터셋을 생성할 수 있다.In addition, the point generator 300 uses the pixel shuffle 310 to generate a second feature matrix, which is a three-dimensional feature matrix corresponding to the coordinates of the first dataset, and combines it with the first dataset to generate a second dataset. can do.

셀프 어탠션 블럭부(400)는 제2 데이터셋을 이용하여 전역 특징 행렬을 생성할 수 있다.The self-attention block unit 400 may generate a global feature matrix using the second data set.

구체적으로, 셀프 어탠션 블록부(400)는 포인트 생성부(300)에서 생성한 제2 데이터셋을 크기에 해당하는 행(row)과 차원에 해당하는 열(column)을 변환하고 멀티헤드 셀프 어탠션(Multihead Self-Attention, 410)을 통해 제1 특징 행렬보다 한 차원이 많은 전역 특징 행렬인 제3 특징 행렬을 생성할 수 있다.Specifically, the self-attention block unit 400 converts the second dataset generated by the point generation unit 300 into a row corresponding to the size and a column corresponding to the dimension and performs a multi-head self-attention block unit 400. Through tansion (Multihead Self-Attention, 410), a third feature matrix, which is a global feature matrix with one more dimension than the first feature matrix, can be generated.

보다 상세하게, 멀티헤드 셀프 어탠션(410)은 셀프 어탠션을 상술한 특징 추출부(200)의 포인트 트랜스포머보다 h+1번 수행하는 것으로서 제2 특징 행렬을 임베딩 벡터로 변환하여 쿼리, 키 및 밸류 행렬을 h+1번 생성할 수 있다. 이에 따라, 멀티헤드 셀프 어탠션(410)의 출력 값은 기존의 입력값에 비해 h+1배의 차원을 갖는 행렬을 생성할 수 있다.In more detail, the multi-head self-attention 410 performs self-attention h+1 times more than the point transformer of the feature extraction unit 200, and converts the second feature matrix into an embedding vector to form a query, key, and The value matrix can be created h+1 times. Accordingly, the output value of the multihead self-attention 410 can generate a matrix with a dimension h+1 times that of the existing input value.

정제부(500)는 H개의 전역 정제 어탠션(Global Context Refining Attention, GCRA, 510)과 선형기(520) 및 픽셀 셔플(310)으로 구성되어 있으며, 제1 특징 행렬과 제3 특징 행렬을 입력하여 업 샘플링(UP-Sampling)을 수행할 수 있다. 또한, 정제부(500)에 포함되는 멀티헤드 셀프 어탠션(410) 및 픽셀 셔플(310)은 상술한 동작 방법과 동일하여, 중복되는 설명은 이하 생략될 것이다.The refinement unit 500 is composed of H Global Context Refining Attention (GCRA) 510, a linearizer 520, and a pixel shuffler 310, and inputs the first feature matrix and the third feature matrix to Up-sampling can be performed. In addition, the multi-head self-attention 410 and pixel shuffle 310 included in the purification unit 500 are the same as the above-described operation methods, so overlapping descriptions will be omitted below.

전역 정제 어탠션(510)은 멀티헤드 셀프 어탠션(410)과 배치 정규(Batch Norm, 511) 레이어 및 순방향 신경망(Feed Forward, 512)을 포함한다.The global refined attention 510 includes a multihead self-attention 410, a batch norm 511 layer, and a feed forward network 512.

전역 정제 어탠션(510)은 제1 특징 행렬을 쿼리 행렬로 사용하고, 제3 특징 행렬을 키 및 밸류 행렬로 사용하여 멀티헤드 어탠션을 수행하고 결과값에 제3 특징 행렬을 합하여 정제(Refining)하고, 안정적인 학습을 위해 배치 정규(511)를 통해 각 배치별로 평균과 분산을 이용해 정규화를 할 수 있다.The global refinement attention 510 uses the first feature matrix as a query matrix, performs multi-head attention using the third feature matrix as the key and value matrix, and adds the third feature matrix to the result to perform refining. ), and for stable learning, normalization can be performed using the mean and variance for each batch through batch normalization (511).

또한, 전역 정제 어탠션(510)은 배치 정규화된 출력값을 순방향 신경망(512)을 통해 변환하여 최종적으로 포인트들이 밀집화된 데이터셋을 생성할 수 있다.In addition, the global refinement attention 510 can transform the batch normalized output value through the forward neural network 512 to ultimately generate a dataset with dense points.

정제부(500)는 H개의 전역 정제 어탠션(510)으로 더욱 밀집화된 데이터셋을 생성할 수 있으며, 선형기(520)를 통해 출력값을 변환하고, 픽셀 셔플(310)을 이용하여 최종적으로 제3 데이터셋을 생성하고 차원을 3차원으로 고정할 수 있다.The refinement unit 500 can generate a more dense dataset with H global refinement attentions 510, convert the output value through the linearizer 520, and finally use the pixel shuffle 310 to create a more dense dataset. 3 You can create a dataset and fix the dimension to 3D.

보정부(600)는 포인트 생성부(300)의 출력값과 정제부(500)의 출력값을 이용하여 보정할 수 있다.The correction unit 600 may correct using the output value of the point generation unit 300 and the output value of the refinement unit 500.

구체적으로, 보정부(600)는 포인트 생성부(300)의 제2 데이터셋과 정제부(500)의 제3 데이터셋을 합하여 최종적으로 포인트들이 밀집화된 제4 데이터셋을 생성할 수 있다.Specifically, the correction unit 600 may combine the second dataset of the point generation unit 300 and the third dataset of the purification unit 500 to finally generate a fourth dataset with dense points.

이에 따라, 포인트 클라우드의 고해상화 장치(10)는 입력된 패치의 특징을 추출하여 저품질의 포인트 클라우드를 고품질의 포인트 클라우드로 업 샘플링을 수행할 수 있다.Accordingly, the point cloud high-resolution device 10 can extract the features of the input patch and perform up-sampling from a low-quality point cloud to a high-quality point cloud.

또한, 포인트 클라우드의 고해상화 장치(10)는 제1 데이터셋을 이용하여 각 레이어의 데이터를 생성하기 때문에 이미지 데이터가 희석되는 것을 방지할 수 있다.In addition, the point cloud high-resolution device 10 generates data for each layer using the first dataset, thereby preventing image data from being diluted.

도 2는 본 발명의 일 실시 예에 따른 포인트 클라우드의 고해상화 장치의 작동 개념도이다.Figure 2 is a conceptual diagram of the operation of a point cloud high-resolution device according to an embodiment of the present invention.

도 2를 참조하면, 입력부(100)에 입력된 패치는 3차원의 패치 사이즈(Patch Size)가 N(여기서, N은 자연수)인 패치를 제1 데이터셋(S)으로 생성할 수 있다.Referring to FIG. 2, the patch input to the input unit 100 may generate a patch with a three-dimensional patch size of N (where N is a natural number) as the first dataset (S).

특징 추출부(200)는 입력부(100)에서 수신한 제1 데이터셋(S)을 기반으로 차원이 KH-1*C일 때까지 반복적으로 포인트 트랜스포머(210)를 수행할 수 있으며, 차원에 따라 [N, C] 내지 [N, KH-1*C]행렬인 제1 특징 행렬(MFs)을 계산할 수 있다.The feature extraction unit 200 may repeatedly perform the point transformer 210 until the dimension is K H-1 *C based on the first data set (S) received from the input unit 100. Accordingly, the first feature matrices (MFs), which are [N, C] to [N, K H-1 *C] matrices, can be calculated.

포인트 생성부(300)는 입력부(100)에서 수신한 제1 데이터셋(S)을 기반으로 포인트 트랜스포머(210)를 사용하고, 픽셀 셔플(310)을 이용하여 3차원으로 고정한 [rN, 3]행렬인 제2 특징 행렬(S△)을 생성할 수 있다.The point generator 300 uses the point transformer 210 based on the first data set (S) received from the input unit 100, and fixes [rN, 3] in three dimensions using the pixel shuffle 310. A second feature matrix (S △ ), which is a matrix, can be generated.

또한, 포인트 생성부(300)는 제2 특징 행렬(S△)과 제1 데이터셋(S)을 합하여 3차원의 제2 데이터셋(Q')을 생성할 수 있다.Additionally, the point generator 300 may generate a three-dimensional second data set (Q') by combining the second feature matrix (S Δ ) and the first data set (S).

셀프 어탠션 블록부(400)는 제2 데이터셋(Q')의 행렬의 차원을 제1 데이터셋(S)의 특징으로 사용하기 위해 제2 데이터셋(Q')의 행렬을 [N, r*3]행렬로 변환하여 멀티헤드 셀프 어탠션(410)을 수행하여 [N, K'*C']행렬인 제3 특징 행렬(GFs)을 생성할 수 있다.The self-attention block unit 400 sets the matrix of the second data set (Q') to [N, r] in order to use the dimension of the matrix of the second data set (Q') as a feature of the first data set (S). *3] The third feature matrix (GFs), which is a [N, K'*C'] matrix, can be generated by converting it to a matrix and performing multihead self-attention 410.

정제부(500)는 제1 특징 행렬(MFs)을 쿼리로 사용하고, 제3 특징 행렬(GFs)을 키와 밸류로 사용하여 전역 정제 어탠션(510)을 수행하여 [N, r*3]행렬까지 차원을 줄일 수 있다.The refinement unit 500 uses the first feature matrices (MFs) as a query and the third feature matrices (GFs) as keys and values to perform a global refinement attention 510 to obtain [N, r*3]. The dimension can be reduced to a matrix.

또한, 정제부(500)는 최종적인 [N, r*3]행렬의 픽셀 셔플(310)을 수행하여 [rN, 3]행렬을 가지는 제3 데이터셋(Q'△)을 생성할 수 있다.Additionally, the refinement unit 500 may perform pixel shuffling 310 of the final [N, r*3] matrix to generate a third dataset (Q' △ ) having the [rN, 3] matrix.

보정부(600)는 행렬의 차원과 크기가 동일한 제2 데이터셋(Q')과 제3 데이터셋(Q'△)을 합하여 최종적인 [rN, 3]행렬을 가진 제4 데이터셋(Q)을 생성할 수 있다.The correction unit 600 combines the second data set (Q') and the third data set (Q' △ ), which have the same dimension and size of the matrix, to create a fourth data set (Q) with a final [rN, 3] matrix. can be created.

도 3은 본 발명의 일 실시 예에 따른 특징 추출기의 개념도이다.Figure 3 is a conceptual diagram of a feature extractor according to an embodiment of the present invention.

도 3을 참조하면, 패치 사이즈가 4인 일 실시예로서 hth 포인트 트랜스포머(210)는 h-1 특징 행렬(featurei h-1)을 h 특징 행렬(featurei h)로 갱신할 때 기준점(si-)과 인접점(Incidental Point)들로 이루어진 패치(patchi)에 벡터 셀프 어탠션(212)을 수행하여 h-1 특징 행렬(featurei h-1)을 갱신할 수 있다.Referring to FIG. 3, in an embodiment in which the patch size is 4 , the h th point transformer 210 uses a reference point ( The h-1 feature matrix (feature i h-1 ) can be updated by performing vector self-attention 212 on the patch i consisting of s i- ) and adjacent points (incidental points).

또한, hth 포인트 트랜스포머(210)는 모든 인접점들 각각의 패치에 벡터 셀프 어탠션(212)을 수행하여 각각의 특징을 갱신할 수 있다.Additionally, the h th point transformer 210 can update each feature by performing vector self-attention 212 on each patch of all adjacent points.

또한, (h+1)th 포인트 트랜스포머(210)는 hth 포인트 트랜스포머(210)처럼 h 특징 행렬(featurei h)을 h+1 특징 행렬(featurei h+1)로 갱신하기위해 패치(patch-i)에 벡터 셀프 어탠션(212)을 수행할 수 있다.In addition, the (h+1) th point transformer 210, like the h th point transformer 210, uses a patch to update the h feature matrix (feature i h ) to the h+1 feature matrix (feature i h+1 ). - Vector self-attention (212) can be performed on i ).

이에 따라, (h+1)th 포인트 트랜스포머(210)에서의 인접점(Incidental Point)들의 특징은 hth 포인트 트랜스포머(210)에서 각각의 패치에 대한 벡터 셀프 어탠션(212)을 통해 갱신되어, h 특징 행렬(featurei h)는 hth 포인트 트랜스포머(210)의 확장된 영역보다 넓은 범위의 영역을 사용하여 h+1 특징 행렬(featurei h+1)로 갱신할 수 있다.Accordingly, the characteristics of incidental points in the (h+1) th point transformer 210 are updated through the vector self-attention 212 for each patch in the h th point transformer 210, The h feature matrix (feature i h ) can be updated to the h+1 feature matrix (feature i h+1 ) using an area wider than the expanded area of the h th point transformer 210.

도 4는 본 발명의 일 실시 예에 따른 전역 정제 어탠션의 개념도이다.Figure 4 is a conceptual diagram of global purification attention according to an embodiment of the present invention.

도 4를 참조하면, 전역 정제 어탠션(510)은 [N,Fp]행렬을 가지는 제3 특징 행렬(GFs)을 Pool(key, value)으로 사용하고, [N, Fq]행렬을 가진 제1 특징 행렬(MFs)을 쿼리(Query)로 사용할 수 있다.Referring to FIG. 4, the global refinement attention 510 uses the third feature matrix (GFs) with the [N, F p ] matrix as Pool(key, value), and the global refinement attention 510 uses the third feature matrix (GFs) with the [N, F p ] matrix as Pool(key, value). The first feature matrices (MFs) can be used as a query.

또한, 전역 정제 어탠션(510)은 멀티헤드 셀프 어탠션(410)을 수행하고 [N, F-p]행렬을 갖는 출력값과 Pool값을 합하여 정제한 후 안정적인 학습을 위해 배치 정규(511)를 통해 각 배치별로 평균과 분산을 이용해 정규화를 할 수 있다.In addition, the global refinement attention (510) performs a multi-head self-attention (410), refines the output value with the [N, F- p ] matrix by summing it with the Pool value, and then uses batch normal (511) for stable learning. Through this, normalization can be performed using the mean and variance for each batch.

또한, 전역 정제 어탠션(510)은 [N, F-p]행렬을 갖는 정규화된 출력값을 순방향 신경망(512)을 통해 변환하여 차원이 줄어든 [N, Fo]행렬을 생성할 수 있다.In addition, the global refinement attention 510 can generate a [N, F o ] matrix with reduced dimension by converting the normalized output value with the [N, F- p ] matrix through the forward neural network 512.

도 5는 포인트 클라우드의 고해상화 장치의 동작 순서도이다.Figure 5 is an operation flowchart of a point cloud high-resolution device.

도 5를 참조하면 S110 단계에서, 포인트 클라우드의 고해상화 장치(10)는 입력부(100)에 영상 획득 장치로부터 제1 데이터셋(S)인 이미지를 잘라낸 패치를 입력할 수 있다.Referring to FIG. 5 , in step S110, the point cloud high-resolution device 10 may input a patch cut from an image that is the first dataset S from the image acquisition device to the input unit 100.

S120 단계에서, 특징 추출부(200)는 수신한 패치를 기반으로 다수의 포인트 트랜스포머(210)를 이용하여 제1 특징 행렬(MFs)을 생성할 수 있다.In step S120, the feature extraction unit 200 may generate a first feature matrix (MFs) using a plurality of point transformers 210 based on the received patch.

S130 단계에서, 포인트 생성부(300)는 수신한 패치를 기반으로 포인트 트랜스포머(210)와 픽셀 셔플(310)을 이용하여 제2 특징 행렬(S△)과 제2 데이터셋(Q')을 생성할 수 있다.In step S130, the point generator 300 generates a second feature matrix (S △ ) and a second dataset (Q') using the point transformer 210 and the pixel shuffle 310 based on the received patch. can do.

S140 단계에서, 셀프 어탠션 블록부(400)는 제2 특징 행렬(S△)에 셀프 어탠션을 수행하여 제3 특징 행렬(GFs)을 생성할 수 있다.In step S140, the self-attention block unit 400 may generate a third feature matrix (GFs) by performing self-attention on the second feature matrix (S Δ ).

S150 단계에서, 정제부(500)는 제1 특징 행렬(MFs)과 제3 특징 행렬(GFs)을 이용하여 업 샘플링을 수행하고 제3 데이터셋(Q'△)을 생성할 수 있다.In step S150, the refiner 500 may perform up-sampling using the first feature matrices (MFs) and the third feature matrices (GFs) and generate a third data set (Q' △ ).

S160 단계에서, 보정부(600)는 제2 데이터셋(Q')과 제3 데이터셋(Q'△)을 합하여 제4 데이터셋(Q)을 생성할 수 있다.In step S160, the correction unit 600 may generate a fourth dataset (Q) by combining the second dataset (Q') and the third dataset (Q' △ ).

도 6 정제부의 동작 순서도이다.Figure 6 is a flowchart of the operation of the purification unit.

도 6을 참조하면 S210 단계에서, 정제부(500)는 제1 특징 행렬(MFs)과 제3 특징 행렬(GFs)을 수신할 수 있다.Referring to FIG. 6, in step S210, the refinement unit 500 may receive the first feature matrix (MFs) and the third feature matrix (GFs).

S220 단계에서, 정제부(500)는 전역 정제 어탠션(510)의 제1 특징 행렬(MFs)을 쿼리 행렬로 이용하고 제3 특징 행렬(GFs)을 키, 밸류 행렬로 이용하여 업 샘플링을 수행할 수 있다.In step S220, the refinement unit 500 performs up-sampling using the first feature matrix (MFs) of the global refinement attention 510 as a query matrix and the third feature matrix (GFs) as a key and value matrix. can do.

S230 단계에서, 정제부(500)는 H개의 전역 정제 어탠션(510)을 수행하여 출력값의 차원을 감소할 수 있다.In step S230, the refinement unit 500 may reduce the dimensionality of the output value by performing H global refinement attentions 510.

S240 단계에서, 정제부(500)는 선형기(520)를 통해 출력값을 변환할 수 있다.In step S240, the purifier 500 may convert the output value through the linearizer 520.

S250 단계에서, 정제부(500)는 픽셀 셔플(310)을 이용하여 r배로 늘어난 차원 수를 조합하여 r배로 확장된 패치를 생성할 수 있다.In step S250, the refinement unit 500 may generate a patch expanded by r times by combining the number of dimensions increased by r times using the pixel shuffle 310.

S260 단계에서, 정제부(500)는 출력값을 기반으로 제3 데이터셋(Q'△)을 생성할 수 있다.In step S260, the refinement unit 500 may generate a third data set (Q' △ ) based on the output value.

도 7은 본 발명의 일 실시예에 따른 포인트 클라우드의 고해상화 프로세서를 나타내는 블록도이다.Figure 7 is a block diagram showing a high-resolution point cloud processor according to an embodiment of the present invention.

도 7을 참조하면, 메모리(700)는 프로세서(800)와 연결될 수 있고, 프로세서(800)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(700)는 프로세서(800)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 위한 명령어들(instructions)을 포함하는 소프트웨어 코드를 저장할 수 있다.Referring to FIG. 7, the memory 700 may be connected to the processor 800 and may store various information related to the operation of the processor 800. For example, memory 700 may perform some or all of the processes controlled by processor 800 or may include instructions for the description, function, procedure, proposal, method, and/or operational flowcharts of the present disclosure. ) can store software code including.

프로세서(800)는 메모리(700)를 제어하며, 메모리(700)에 저장된 명령어를 실행하여 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(800)는 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 패치를 입력받을 수 있다.The processor 800 controls the memory 700 and may be configured to execute instructions stored in the memory 700 to implement the description, function, procedure, proposal, method, and/or operation flowchart of the present disclosure. For example, the processor 800 may receive a patch from an image acquisition device, such as a camera or an image storage device, that cuts out an image centered on a feature point of an object.

또한, 프로세서(800)는 수신한 패치에 대해 H(여기서, H는 자연수)개의 레이어를 이용하여 레이어에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬(MFs)을 생성할 수 있다.Additionally, the processor 800 may use H (where H is a natural number) layers for the received patch to generate first feature matrices (MFs), which are multi-scale feature matrices for the layer.

또한, 프로세서(800)는 수신한 패치에 대해 다수의 레이어 대한 제2 특징 행렬(S△)을 생성할 수 있고, 제2 특징 행렬(S△)을 변환하여 제3 특징 행렬(GFs)을 생성할 수 있다.Additionally, the processor 800 may generate a second feature matrix (S △ ) for a plurality of layers for the received patch, and convert the second feature matrix (S △ ) to generate a third feature matrix (GFs). can do.

또한, 프로세서(800)는 H개의 레이어에 대응하는 레이어를 이용하여 제1 특징 행렬(MFs)과 제3 특징 행렬(GFs)을 기반으로 업 샘플링을 수행하고, 제2 특징 행렬(S△)을 생성하는 것의 출력값과 업 샘플링을 수행하는 것의 출력값을 합하여 보정할 수 있다.In addition, the processor 800 performs up-sampling based on the first feature matrix (MFs) and the third feature matrix (GFs) using the layers corresponding to the H layers, and uses the second feature matrix (S △ ). It can be corrected by combining the output value of what is being generated and the output value of what is being upsampled.

프로세서(800)는 수시한 이미지 패치를 제1 데이터셋(S)으로 생성하고, 제1 데이터셋(S)과 제2 특징 행렬(S△)을 합하여 제2 데이터셋(Q')을 생성할 수 있다. 또한, 프로세서(800)는 제1 특징 행렬(MFs)과 제3 특징 행렬(GFs)을 이용하여 제3 데이터셋(Q'△)을 생성하고, 제2 데이터셋(Q')과 제3 데이터셋(Q'△)을 합하여 제4 데이터셋(Q)을 생성할 수 있다.The processor 800 generates the received image patch as a first dataset (S), and generates a second dataset (Q') by combining the first dataset (S) and the second feature matrix (S △ ). You can. In addition, the processor 800 generates a third data set (Q' △ ) using the first feature matrices (MFs) and the third feature matrices (GFs), and the second data set (Q') and the third data The fourth dataset (Q) can be created by combining the three (Q' △ ).

프로세서(800)는 수신한 패치로부터 기준이 되는 기준점과 K개의 인접점을 포함하는 패치를 생성할 수 있으며, 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산할 수 있다.The processor 800 may generate a patch including a reference point and K adjacent points from the received patch, and calculate relative characteristics between the reference point and adjacent points based on the patch including the adjacent points.

프로세서(800)는 제1 특징 행렬(MFs)과 제3 특징 행렬(GFs)을 이용하여 어탠션을 수행하여 포인트 클라우드를 업 샘플링 할 수 있다.The processor 800 may up-sample the point cloud by performing attention using the first feature matrices (MFs) and the third feature matrices (GFs).

이하, 실험예를 통해서 본 발명을 보다 상세히 설명하기로 한다. 하지만, 이들은 본 발명을 보다 상세하게 설명하기 위한 것일 뿐 본 발명의 권리범위가 이에 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail through experimental examples. However, these are only for explaining the present invention in more detail and the scope of the present invention is not limited thereto.

실험예 1 : state-of-the-art method들과의 x4, x16 업 샘플링에 대한 정량적 평가 비교Experimental Example 1: Quantitative evaluation comparison of x4 and x16 upsampling with state-of-the-art methods

본 발명의 포인트 클라우드의 고해상화 방법이 다른 방법보다 더 효과적이라는 것을 증명하기위해 실험을 실시하였다.An experiment was conducted to prove that the high-resolution point cloud method of the present invention is more effective than other methods.

본 실험은 x4, x16 업 샘플링에 대한 정량적 성능비교를 요약한다. x4 업 샘플링은 2,048개의 포인트를 8,192개의 포인트로 업 샘플링한다. x16 업 샘플링은 x4 업 샘플링을 두번 반복하여 512개의 포인트를 8,192개의 포인트로 업 샘플링한다.This experiment summarizes quantitative performance comparison for x4 and x16 upsampling. x4 upsampling upsamples 2,048 points to 8,192 points. x16 upsampling repeats x4 upsampling twice to upsample 512 points to 8,192 points.

본 실험은 본 발명과 종래 기술 Dis-PU, PU-EVA 및 PU-Transformer를 비교하기 위해 CD(Chamfer Distance), HD(Hausdorff Distance), P2F(Point-to-Surface) 및 #Params로 성능을 측정한다. CD는 실제 환경 데이터(Ground Truth, GT) 포인트 셋과 예측 포인트 셋의 유사도를 각 포인트를 통해서 측정할 수 있고, HD는 실제 환경 데이터를 기준으로 예측 포인트 셋의 이상점을 측정할 수 있다.In this experiment, performance was measured using CD (Chamfer Distance), HD (Hausdorff Distance), P2F (Point-to-Surface), and #Params to compare the present invention with the prior art Dis-PU, PU-EVA, and PU-Transformer. do. CD can measure the similarity between the actual environmental data (Ground Truth, GT) point set and the predicted point set through each point, and HD can measure the outliers of the predicted point set based on the actual environmental data.

또한, P2F는 원본 매쉬와 예측 포인트 셋의 유사도를 측정하는 지표로 예측 포인트 셋의 품질을 측정하고, 파라미터의 개수를 측정하여 파라미터 복잡도를 측정할 수 있다.In addition, P2F is an indicator that measures the similarity between the original mesh and the predicted point set, and can measure the quality of the predicted point set and parameter complexity by measuring the number of parameters.

본 실험을 위한 모든 방법들은 100 epoch, batch size 64로 학습이 되었고 학습률(learning rate) 0.0001인 Adam optimizer을 사용한다. 또한, 포인트 트랜스포머(210)에서 사용되는 최근접 이웃(211) 알고리즘의 패치 사이즈는 PU-Transformer에서와 같이 20으로 설정한다.All methods for this experiment were trained with 100 epochs and batch size 64, and use the Adam optimizer with a learning rate of 0.0001. Additionally, the patch size of the nearest neighbor (211) algorithm used in the point transformer (210) is set to 20 as in the PU-Transformer.

또한, 본 발명은 학습 데이터셋에 회전, 스케일링, 무작위 섭동 및 정규화를 적용하였으며, 업 샘플링 비율 r은 4이고 입력 패치 사이즈 N은 256이다. 포인트 생성부(300)의 C'와 K'은 각각 32, 8이며, 특징 추출부(200)와 정제부(500)의 C와 K는 각각 16, 4이다. 특징 추출부(200)와 정제부(500)의 층 깊이인 H은 4이다. 마지막으로 멀티헤드 크로스 어탠션과 멀티헤드 셀프 어탠션(410)의 헤드번호는 8이다.Additionally, the present invention applied rotation, scaling, random perturbation, and normalization to the learning dataset, and the upsampling rate r was 4 and the input patch size N was 256. C' and K' of the point generation unit 300 are 32 and 8, respectively, and C and K of the feature extraction unit 200 and refinement unit 500 are 16 and 4, respectively. The layer depth H of the feature extraction unit 200 and the refinement unit 500 is 4. Lastly, the head number of the multi-head cross attention and multi-head self-attention (410) is 8.

MethodMethod x4(2048 → 8192)x4(2048 → 8192) CD(10-3)CD(10-3) HD(10-3)HD(10-3) P2F(10-3)P2F(10-3) #Params(M)#Params(M) Dis-PUDis-PU 0.27030.2703 5.501.5.501. 4.3464.346 2.1152.115 PU-EVAPU-EVA 0.29690.2969 4.8394.839 5.1035.103 2.1982.198 PU-TransformerPU-Transformer 0.26710.2671 3.1123.112 4.2024.202 2.2022.202 PU-MFA(Ours)PU-MFA(Ours) 0.23260.2326 1.0941.094 2.5452.545 2.1722.172 MethodMethod x16(512 → 8192)x16(512 → 8192) CD(10-3)CD(10-3) HD(10-3)HD(10-3) P2F(10-3)P2F(10-3) #Params(M)#Params(M) Dis-PUDis-PU 1.3411.341 28.4728.47 20.6820.68 2.1152.115 PU-EVAPU-EVA 0.86620.8662 14.5414.54 15.5415.54 2.1982.198 PU-TransformerPU-Transformer 1.0341.034 21.6121.61 17.5617.56 2.2022.202 PU-MFA(Ours)PU-MFA(Ours) 0.50100.5010 5.4145.414 9.1119.111 2.1722.172

실험 결과로서, 본 발명의 포인트 클라우드의 고해상화 방법(PU-MFA)이 파라미터 복잡도에서는 가장 효율적이지 못하지만 성능대비 가장 좋은 효율을 확인할 수 있다.As a result of the experiment, it can be confirmed that the point cloud high-resolution method (PU-MFA) of the present invention is not the most efficient in terms of parameter complexity, but has the best efficiency compared to performance.

실험예 2 : PU-GAN 데이터셋을 사용한 노이즈의 영향의 정량적 평가 비교Experimental Example 2: Comparison of quantitative evaluation of the impact of noise using PU-GAN dataset

본 실험은 다양한 노이즈를 더한 PU-GAN 테스트 데이터셋을 사용해 Dis-PU, PU-EVA, PU-Transformer 및 PU-MFA의 x4 업 샘플링 결과를 요약한다.This experiment summarizes the x4 upsampling results of Dis-PU, PU-EVA, PU-Transformer, and PU-MFA using the PU-GAN test dataset with various noises added.

노이즈의 영향은 입력 포인트 셋에 다양한 세기의 노이즈의 가우스 함수 (0, noise level)를 더하여 나온 결과물에 대해서 평가한다.The impact of noise is evaluated on the result obtained by adding a Gaussian function (0, noise level) of noise of various intensities to the input point set.

MethodMethod Various noise levels test at x4 Up-sampling(CD with 10-3)Various noise levels test at x4 Up-sampling(CD with 10 -3 ) 00 0.0010.001 0.0050.005 0.010.01 0.0150.015 0.020.02 Dis-PUDis-PU 0.27030.2703 0.27510.2751 0.29750.2975 0.32570.3257 0.34660.3466 0.37060.3706 PU-EVAPU-EVA 0.29690.2969 0.29910.2991 0.30840.3084 0.31670.3167 0.32030.3203 0.32680.3268 PU-TransformerPU-Transformer 0.26710.2671 0.27170.2717 0.29050.2905 0.31340.3134 0.33310.3331 0.35850.3585 PU-MFA(Ours)PU-MFA(Ours) 0.23260.2326 0.23760.2376 0.25470.2547 0.27640.2764 0.29890.2989 0.31950.3195

실험 결과로서, 본 발명인 PU-MFA방법에서 노이즈 세기에 대해 가장 강건성을 확인할 수 있다.As a result of the experiment, it can be confirmed that the PU-MFA method of the present invention is the most robust against noise intensity.

상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The above-described details are specific embodiments for carrying out the present invention. In addition to the above-described embodiments, the present invention will also include embodiments that can be simply changed or easily changed in design. In addition, the present invention will also include technologies that can be easily modified and implemented using the embodiments. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by the claims and equivalents of the present invention as well as the claims described later.

10 : 포인트 클라우드의 고해상화 장치
100 : 입력부 212 : 벡터 셀프 어탠션
200 : 특징 추출부 310 : 픽셀 셔플
300 : 포인트 생성부 410 : 멀티헤드 어탠션
400 : 셀프 어탠션 블록부 510 : 전역 정제 어탠션
500 : 정제부 511 : 배치 정규
600 : 보정부 512 : 순방향 신경망
210 : 포인트 트랜스포머 520 : 선형기
211 : 최근접 이웃10: High-resolution point cloud device
100: Input unit 212: Vector self-attention
200: feature extraction unit 310: pixel shuffle
300: Point generation unit 410: Multi-head attention
400: Self-attention block unit 510: Global purification attention
500: Purification unit 511: Batch regular
600: Correction unit 512: Forward neural network
210: point transformer 520: linearizer
211: Nearest neighbor

Claims (15)

카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 제1 데이터셋을 입력받는 입력부;
H(여기서, H는 자연수)개의 레이어를 이용하여 상기 제1 데이터셋에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하는 특징 추출부;
상기 제1 데이터셋의 좌표에 해당하는 제2 특징 행렬을 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하는 포인트 생성부;
상기 제2 데이터셋의 크기와 차원을 변환하여 상기 제1 특징 행렬보다 한 차원이 많은 제3 특징 행렬을 생성하는 셀프 어탠션 블록부;
상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 업 샘플링하고 제3 데이터셋을 생성하는 정제부; 및
상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성하는 보정부를 포함하고,
상기 특징 추출부는,
r(여기서, r은 자연수)배로 늘어난 상기 제1 데이터셋의 차원을 3차원으로 고정하고, 상기 제1 데이터셋의 r배로 확장된 패치를 생성하는 제1 픽셀 셔플을 포함하고,
상기 정제부는,
각각이 상기 제1 특징 행렬을 쿼리 행렬로 사용하고 상기 제3 특징 행렬을 키 및 밸류 행렬로 사용하여 상기 제1 데이터셋에 대한 결과값을 생성하고, 상기 결과값에 상기 제3 특징 행렬을 합하고 정제하여 출력값을 정규화하는 복수의 전역 정제 어탠션; 및
상기 출력값의 차원을 3차원으로 고정하여 상기 제3 데이터셋을 생성하는 제2 픽셀 셔플을 포함하는 포인트 클라우드의 고해상화 장치.An input unit that receives a first data set obtained by cropping an image centered on feature points of an object from an image acquisition device such as a camera or an image storage device;
a feature extraction unit that extracts a first feature matrix, which is a multi-scale feature matrix for the first dataset, using H (where H is a natural number) layers;
a point generator that generates a second feature matrix corresponding to the coordinates of the first dataset and generates a second dataset by combining the first dataset and the second feature matrix;
a self-attention block unit that converts the size and dimension of the second data set to generate a third feature matrix with one dimension more than the first feature matrix;
a refinement unit for up-sampling the first feature matrix and the third feature matrix using layers corresponding to the H layers and generating a third data set; and
A correction unit that generates a fourth data set by combining the second data set and the third data set,
The feature extraction unit,
A first pixel shuffle that fixes the dimension of the first data set expanded by r times (where r is a natural number) to three dimensions and generates a patch expanded by r times the first data set,
The purification unit,
Generate a result for the first dataset by using the first feature matrix as a query matrix and the third feature matrix as a key and value matrix, and add the third feature matrix to the result, and A plurality of global refinement attentions that refine and normalize the output values; and
A high-resolution point cloud apparatus including a second pixel shuffler that generates the third data set by fixing the dimension of the output value to three dimensions. 삭제delete 제1항에 있어서,
상기 특징 추출부는,
상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성하는 포인트 클라우드의 고해상화 장치.According to paragraph 1,
The feature extraction unit,
A high-resolution point cloud device that generates a patch including a reference point and K (where K is a natural number) adjacent points from the patch. 제3항에 있어서,
상기 특징 추출부는,
상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산하는 포인트 클라우드의 고해상화 장치.According to paragraph 3,
The feature extraction unit,
A high-resolution point cloud device that calculates relative characteristics between a reference point and adjacent points based on a patch including the adjacent point. 제1항에 있어서,
상기 정제부는,
상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행하는 포인트 클라우드의 고해상화 장치.According to paragraph 1,
The purification unit,
A point cloud high-resolution device that performs attention using the first feature matrix and the third feature matrix. 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 제1 데이터셋을 입력받는 단계;
H(여기서, H는 자연수)개의 레이어를 이용하여 상기 제1 데이터셋에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하는 단계;
상기 제1 데이터셋에 대한 제2 특징 행렬을 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하는 단계;
상기 제2 데이터셋의 크기와 차원을 변환하여 상기 제1 특징 행렬보다 한 차원이 많은 제3 특징 행렬을 생성하는 단계;
상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 업 샘플링하고 제3 데이터셋을 생성하는 단계; 및
상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성하는 보정부를 포함하고,
상기 제1 특징 행렬을 추출하는 단계는,
r(여기서, r은 자연수)배로 늘어난 상기 제1 데이터셋의 차원을 3차원으로 고정하고, 상기 제1 데이터셋의 r배로 확장된 패치를 생성하는 단계를 포함하고,
상기 제3 데이터셋을 생성하는 단계는,
각각이 상기 제1 특징 행렬을 쿼리 행렬로 사용하고 상기 제3 특징 행렬을 키 및 밸류 행렬로 사용하여 상기 제1 데이터셋에 대한 결과값을 생성하고, 상기 결과값에 상기 제3 특징 행렬을 합하고 정제하여 출력값을 정규화하는 단계; 및
상기 출력값의 차원을 3차원으로 고정하여 상기 제3 데이터셋을 생성하는 단계를 포함하는 포인트 클라우드의 고해상화 방법.Receiving a first data set in which an image is cropped centered on feature points of an object from an image acquisition device such as a camera or an image storage device;
Extracting a first feature matrix, which is a multi-scale feature matrix for the first dataset, using H (where H is a natural number) layers;
Generating a second feature matrix for the first dataset and combining the first dataset and the second feature matrix to generate a second dataset;
converting the size and dimension of the second data set to generate a third feature matrix with one dimension more than the first feature matrix;
up-sampling the first feature matrix and the third feature matrix using layers corresponding to the H layers and generating a third data set; and
A correction unit that generates a fourth data set by combining the second data set and the third data set,
The step of extracting the first feature matrix is:
Fixing the dimension of the first data set expanded by r times (where r is a natural number) to three dimensions, and generating a patch expanded by r times the first data set,
The step of generating the third data set is,
Generate a result value for the first dataset by using the first feature matrix as a query matrix and the third feature matrix as a key and value matrix, and add the third feature matrix to the result value, and refining and normalizing the output value; and
A high-resolution point cloud method comprising generating the third data set by fixing the dimension of the output value to 3D. 삭제delete 제6항에 있어서,
상기 제1 특징 행렬을 추출하는 단계는,
상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성하는 포인트 클라우드의 고해상화 방법.According to clause 6,
The step of extracting the first feature matrix is:
A high-resolution point cloud method for generating a patch including a reference point and K (where K is a natural number) adjacent points from the patch. 제8항에 있어서,
상기 제1 특징 행렬을 추출하는 단계는,
상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산하는 포인트 클라우드의 고해상화 방법.According to clause 8,
The step of extracting the first feature matrix is:
A high-resolution point cloud method that calculates relative features between a reference point and adjacent points based on a patch including the adjacent point. 제6항에 있어서,
상기 제3 데이터셋을 생성하는 단계는,
상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행하는 포인트 클라우드의 고해상화 방법.According to clause 6,
The step of generating the third data set is,
A high-resolution point cloud method for performing attention using the first feature matrix and the third feature matrix. 적어도 하나의 명령어를 저장하는 적어도 하나의 메모리; 및
상기 메모리에 연결되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여:
카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 물체의 특징점을 중심으로 이미지를 잘라낸 제1 데이터셋을 입력받고,
H(여기서, H는 자연수)개의 레이어를 이용하여 상기 제1 데이터셋에 대한 멀티 스케일 특징 행렬인 제1 특징 행렬을 추출하고,
상기 제1 데이터셋에 대한 제2 특징 행렬을 생성하고, 상기 제1 데이터셋과 상기 제2 특징 행렬을 합하여 제2 데이터셋을 생성하고,
상기 제2 데이터셋의 크기와 차원을 변환하여 상기 제1 특징 행렬보다 한 차원이 많은 제3 특징 행렬을 생성하고,
상기 H개의 레이어에 대응하는 레이어를 이용하여 상기 제1 특징 행렬과 상기 제3 특징 행렬을 업 샘플링하고 제3 데이터셋을 생성하고, 및
상기 제2 데이터셋과 상기 제3 데이터셋을 합하여 제4 데이터셋을 생성하는 것을 포함하고,
상기 제1 특징 행렬을 추출하는 것은,
r(여기서, r은 자연수)배로 늘어난 상기 제1 데이터셋의 차원을 3차원으로 고정하고, 상기 제1 데이터셋의 r배로 확장된 패치를 생성하는 것을 포함하고,
상기 제3 데이터셋을 생성하는 것은,
각각이 상기 제1 특징 행렬을 쿼리 행렬로 사용하고 상기 제3 특징 행렬을 키 및 밸류 행렬로 사용하여 상기 제1 데이터셋에 대한 결과값을 생성하고, 상기 결과값에 상기 제3 특징 행렬을 합하고 정제하여 출력값을 정규화하고; 및
상기 출력값의 차원을 3차원으로 고정하여 상기 제3 데이터셋을 생성하는 것을 포함하는 포인트 클라우드의 고해상화 장치.at least one memory storing at least one instruction; and
At least one processor connected to the memory,
The at least one processor executes the at least one instruction:
Receive a first data set in which the image is cut out centered on the feature points of the object from an image acquisition device such as a camera or an image storage device,
Extracting a first feature matrix, which is a multi-scale feature matrix for the first dataset, using H (where H is a natural number) layers,
Generating a second feature matrix for the first dataset, generating a second dataset by combining the first dataset and the second feature matrix,
Converting the size and dimension of the second dataset to generate a third feature matrix with one dimension more than the first feature matrix,
Up-sample the first feature matrix and the third feature matrix using layers corresponding to the H layers and generate a third dataset, and
Generating a fourth data set by combining the second data set and the third data set,
Extracting the first feature matrix includes:
It includes fixing the dimension of the first data set expanded by r times (where r is a natural number) to three dimensions, and generating a patch expanded by r times the first data set,
Creating the third data set is,
Generate a result value for the first dataset by using the first feature matrix as a query matrix and the third feature matrix as a key and value matrix, and add the third feature matrix to the result value, and Refine and normalize the output; and
A high-resolution point cloud device comprising generating the third data set by fixing the dimension of the output value to 3D. 삭제delete 제11항에 있어서,
상기 제1 특징 행렬을 추출하는 것은,
상기 패치로부터 기준이 되는 기준점과 K(여기서, K는 자연수)개의 인접점을 포함하는 패치를 생성하는 포인트 클라우드의 고해상화 장치.According to clause 11,
Extracting the first feature matrix includes:
A high-resolution point cloud device that generates a patch including a reference point and K (where K is a natural number) adjacent points from the patch. 제13항에 있어서,
상기 제1 특징 행렬을 추출하는 것은,
상기 인접점을 포함하는 패치를 기반으로 기준점과 인접점들 간의 상대적인 특징을 계산하는 포인트 클라우드의 고해상화 장치.According to clause 13,
Extracting the first feature matrix includes:
A high-resolution point cloud device that calculates relative characteristics between a reference point and adjacent points based on a patch including the adjacent point. 제11항에 있어서,
상기 제3 데이터셋을 생성하는 것은,
상기 제1 특징 행렬과 상기 제3 특징 행렬을 이용하여 어탠션을 수행하는 포인트 클라우드의 고해상화 장치.


According to clause 11,
Creating the third data set is,
A point cloud high-resolution device that performs attention using the first feature matrix and the third feature matrix.
KR1020220148645A 2022-11-09 2022-11-09 Point cloud up-sampling apparatus and method KR102663467B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220148645A KR102663467B1 (en) 2022-11-09 2022-11-09 Point cloud up-sampling apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220148645A KR102663467B1 (en) 2022-11-09 2022-11-09 Point cloud up-sampling apparatus and method

Publications (1)

Publication Number Publication Date
KR102663467B1 true KR102663467B1 (en) 2024-05-09

Family

ID=91075280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220148645A KR102663467B1 (en) 2022-11-09 2022-11-09 Point cloud up-sampling apparatus and method

Country Status (1)

Country Link
KR (1) KR102663467B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200122870A (en) 2019-04-19 2020-10-28 광운대학교 산학협력단 Acquisition method for high quality 3-dimension spatial information using photogrammetry
WO2022072940A1 (en) * 2020-10-02 2022-04-07 Google Llc Processing images using self-attention based neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200122870A (en) 2019-04-19 2020-10-28 광운대학교 산학협력단 Acquisition method for high quality 3-dimension spatial information using photogrammetry
WO2022072940A1 (en) * 2020-10-02 2022-04-07 Google Llc Processing images using self-attention based neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xian-Feng Han et al, "Dual Transformer for Point Cloud Analysis", Computer Vision and Pattern Recognition, (2021.04.27.)* *

Similar Documents

Publication Publication Date Title
CN110084734B (en) Big data ownership protection method based on object local generation countermeasure network
WO2002054758A1 (en) Adaptive prediction codeing/decoding method and device, and adapttive prediction codeintg/decoding program
CN116071553A (en) Weak supervision semantic segmentation method and device based on naive VisionTransformer
CN113269848A (en) Remote sensing image reconstruction system based on attention mechanism
KR102663467B1 (en) Point cloud up-sampling apparatus and method
CN116485815A (en) Medical image segmentation method, device and medium based on double-scale encoder network
Li et al. AIS-based vessel trajectory reconstruction with U-Net convolutional networks
CN114529793A (en) Depth image restoration system and method based on gating cycle feature fusion
Liu et al. Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces
CN114463176A (en) Improved ESRGAN-based image super-resolution reconstruction method
CN112581431A (en) Method for generating ultrasonic image from ultrasonic diagnosis report based on content maintenance and attention mechanism
CN115862039A (en) Text-to-image algorithm based on multi-scale features
CN116137043A (en) Infrared image colorization method based on convolution and transfomer
KR20230102698A (en) Device for synthesizing image using adversarial generative neural network
CN114445889A (en) Lightweight face aging method based on double attention mechanism
CN109146777B (en) Mixed image super-resolution method by using perceptual similarity of pre-training network
Zhang et al. Deep attentive generative adversarial network for photo-realistic image de-quantization
Liu et al. A selective quantization approach for optimizing quantized inference engine
CN111339825B (en) Model training method based on characteristic relation atlas learning and data classification method
CN117576119B (en) Semi-supervised left atrium segmentation method based on compression-excitation network
Arhant et al. A new deep learning neural network architecture for seafloor characterisation
CN112348806B (en) No-reference digital pathological section ambiguity evaluation method
Deng et al. DNN-Compressed Domain Visual Recognition with Feature Adaptation
Berezovsky et al. Orthoimage Super-Resolution via Deep Convolutional Neural Networks
Huang et al. A new side-match finite-state vector quantization using neural networks for image coding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant