KR102170453B1 - 3D plane extraction method and device - Google Patents
3D plane extraction method and device Download PDFInfo
- Publication number
- KR102170453B1 KR102170453B1 KR1020197001703A KR20197001703A KR102170453B1 KR 102170453 B1 KR102170453 B1 KR 102170453B1 KR 1020197001703 A KR1020197001703 A KR 1020197001703A KR 20197001703 A KR20197001703 A KR 20197001703A KR 102170453 B1 KR102170453 B1 KR 102170453B1
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- voxel
- spatial information
- information data
- voxels
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 3차원 평면추출 방법 및 그 장치에 관한 것으로, 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계;상기 공간정보 데이터를 미리 설정된 크기의 복셀(voxel)로 분할하는 단계; 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함할 수 있다. The present invention relates to a three-dimensional plane extraction method and an apparatus thereof, wherein the plane extraction method includes obtaining spatial information data using a LiDAR sensor; and converting the spatial information data into a voxel having a preset size. Dividing; Determining whether the voxel includes one plane by using the spatial information data; If the voxel includes one plane, extending the plane to another voxel adjacent to the voxel and not including one plane; Stopping the expansion of the plane when a preset condition is satisfied; And merging the divided voxels by comparing the plane parameters.
Description
본 발명은 3차원 평면추출 방법 및 그 장치에 관한 것으로, 라이다 센서를 이용하여 포인트 클라우드를 획득한 후, 3차원 객체를 분할하고 혼합하는 3D 가상 환경 구축에 관한 것이다.The present invention relates to a method and apparatus for extracting a 3D plane, and to construct a 3D virtual environment in which a 3D object is divided and mixed after acquiring a point cloud using a lidar sensor.
로봇 응용 프로그램은 깊이 센서 또는 레이저 거리 측정기를 사용하는 RGB-D 카메라 또는 3D 스캐너로부터 얻는 주변 환경에 대한 포인트 클라우드를 획득하고 처리한다. 그 중 하나는 SLAM (simultaneous localization and mapping) 또는 건물 재구성에 적용하기 위해 포인트 클라우드로부터 평면 정보를 추출하는 것이다. 따라서, 포인트 클라우드로부터 다양한 형태의 평면 추출법들이 제안되었다.The robotic application acquires and processes point clouds of the surrounding environment, obtained from an RGB-D camera or 3D scanner using a depth sensor or laser range finder. One of them is to extract the plane information from the point cloud for application to SLAM (simultaneous localization and mapping) or building reconstruction. Therefore, various types of plane extraction methods from point clouds have been proposed.
Decompose-and-merge 방법은 포인트 클라우드 데이터를 이용하는 평면 추출 알고리즘들 중 가장 유명한 것이다. 보다 구체적으로는, 이 방법은 종단 조건이 만족될 때까지 특정 크기의 복셀로 데이터를 분할한 다음, 같은 평면에 있는 것처럼 보이는 각 분할된 복셀의 데이터를 병합한다. 이 방법은 많은 어플리케이션에서 사용되며 빠른 방식으로 신뢰할 수 있는 결과를 제공한다.The decompose-and-merge method is the most popular among plane extraction algorithms using point cloud data. More specifically, this method divides data into voxels of a specific size until a termination condition is satisfied, and then merges data of each divided voxel that appears to be in the same plane. This method is used in many applications and provides reliable results in a fast manner.
그러나 이 방법은 복셀이 너무 적은 수의 포인트로 여러 번 나뉘어지면,신뢰할 수 없는 정보를 제공할 수 있으며 결국 때때로 제대로 된 정보를 제공할 수 없다. 이 문제는 포인트 클라우드의 밀도가 낮거나 상당히 변화하는 조건에서 평면 추출 알고리즘의 결과에 영향을 준다. 따라서 포인트 분포, 즉 포인트 클라우드 데이터의 수에 관계없이 평면 데이터를 확실하게 추출하는 강력한 평면 추출 알고리즘이 필요하다. However, this method can provide unreliable information if the voxel is divided into too few points many times, and eventually it cannot provide proper information sometimes. This problem affects the results of the plane extraction algorithm under conditions of low or significantly changing point cloud density. Therefore, there is a need for a powerful plane extraction algorithm that reliably extracts plane data regardless of the point distribution, that is, the number of point cloud data.
본 발명은 종래 평면 추출 방법에서 종단 조건이 만족될 때까지 복셀을 계속해서 분할하여야 하여 평면 추출 시간이 오래 걸릴 뿐만 아니라, 클라우드포인트의 수가 적은 복셀에 대해서는 정확도가 떨어지는 문제점을 해결하는 것을 목적으로 한다.An object of the present invention is to solve the problem of not only taking a long time to extract a plane, but also having a low accuracy for voxels with a small number of cloud points, since voxels must be continuously segmented until a termination condition is satisfied in a conventional plane extraction method. .
상기의 목적을 달성하기 위해 본 발명의 일 실시예에 따른 3차원 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계;상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계; 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함할 수 있다. In order to achieve the above object, a 3D plane extraction method according to an embodiment of the present invention includes obtaining spatial information data using a LiDAR sensor; 3D voxels having a preset size of the spatial information data dividing into (voxel); Determining whether the voxel includes one plane by using the spatial information data; If the voxel includes one plane, extending the plane to another voxel adjacent to the voxel and not including one plane; Stopping the expansion of the plane when a preset condition is satisfied; And merging the divided voxels by comparing the plane parameters.
본 발명의 일 실시예에 따른 공간정보 데이터는 포인트 클라우드인 것을 특징으로 할 수 있다.The spatial information data according to an embodiment of the present invention may be a point cloud.
본 발명의 일 실시예에 따른 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 할 수 있다.The step of expanding the plane according to an embodiment of the present invention may be characterized by using a Mahalanobis distance.
본 발명의 일 실시예에 따른 상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의될 수 있다.The Mahalanobis distance D M according to an embodiment of the present invention may be defined by the following equation.
여기서, Pi는 이웃한 복셀의 i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미한다.Here, P i is the i-th point of the neighboring voxel, μ is the center of the plane, and S is the covariance of the points forming the plane.
본 발명의 일 실시예에 따른 미리 설정된 조건은, 상기 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 것을 특징으로 할 수 있다.The preset condition according to an embodiment of the present invention may be characterized in that the Mahalanobis distance D M is greater than a preset reference value M th .
본 발명의 일 실시예에 따른 3차원 평면추출 장치는 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부; 상기 복셀분할부로부터 분할된 복셀이 하나의 평면을 포함하는지 상기 공간 정보 데이터를 이용하여 결정하는 평면 결정부; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함할 수 있다.A 3D plane extraction apparatus according to an embodiment of the present invention includes a data acquisition unit for acquiring spatial information data using a LiDAR sensor; A voxel dividing unit for dividing the spatial information data obtained from the data acquisition unit into 3D voxels having a preset size; A plane determination unit configured to determine whether the voxels divided by the voxel dividing unit include one plane, using the spatial information data; When the voxel includes one plane, a plane expansion unit adjacent to the voxel and extending the plane to another voxel not including one plane; A control unit for stopping expansion of the plane when a preset condition is satisfied; And a voxel merging unit for merging the divided voxels by comparing the plane parameters.
본 발명에 의하면, 분해하는 평면 수를 종래 방식에 비하여, 대폭 감소시킴으로써, 평면 추출 및 병합하는 계산시간을 단축시킬 수 있는 효과가 있다. According to the present invention, by significantly reducing the number of planes to be decomposed compared to the conventional method, it is possible to shorten the calculation time for plane extraction and merging.
또한, 본 발명은 포인트 클라우드의 밀도가 낮거나 다른 평면들이 모여서 우위를 점할 때, 즉 표면의 경계 영역에서 다른 종래 방식에 비하여 정확하게 경계를 나타내는 효과가 있다.In addition, the present invention has the effect of accurately indicating a boundary compared to other conventional methods in the boundary area of the surface when the point cloud has a low density or when other planes are gathered to gain an advantage.
도 1은 본 발명의 일 실시예에 따른 3차원 평면추출 방법의 순서도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따라 평면을 확장하는 단계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 평면을 확장한 결과를 나타내는 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 추출한 평면을 3차원 입체 영상에 적용한 결과를 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 평면 추출 알고리즘과 다른 종류의 알고리즘을 사용한 경우에서 각각의 계산 시간을 비교한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 3차원 평면추출 장치의 블록도이다.1 is a flowchart of a 3D plane extraction method according to an embodiment of the present invention.
2A to 2D are diagrams for explaining a step of expanding a plane according to an embodiment of the present invention.
3 is a diagram showing a result of expanding a plane by a plane extraction method according to an embodiment of the present invention.
4A to 4C are diagrams showing results of applying a plane extracted by a plane extraction method according to an embodiment of the present invention to a 3D stereoscopic image.
5 and 6 are graphs comparing each calculation time in the case of using a plane extraction algorithm according to an embodiment of the present invention and a different type of algorithm.
7 is a block diagram of a 3D plane extraction apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be described in detail with reference to the drawings. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component. The term and/or includes a combination of a plurality of related items or any of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it should be understood that it may be directly connected to or connected to the other component, but other components may exist in the middle. something to do. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. Throughout the specification and claims, when a certain part includes a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 3차원 평면추출 방법의 순서도이다.1 is a flowchart of a 3D plane extraction method according to an embodiment of the present invention.
3차원 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계(S110);상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계(S120); 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계(S130); 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계(S140); 미리 설정된 조건을 만족하는 경우(S150), 상기 평면에 대한 확장을 중단하고, 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계(S160)를 포함할 수 있다. 단, 상기 미리 설정된 조건을 만족하지 않는 경우라면, 복셀을 분할하는 단계(S120)로 넘어가 평면을 확장하는 단계(S140)가 반복될 수 있다.The 3D plane extraction method includes obtaining spatial information data using a LiDAR sensor (S110); dividing the spatial information data into 3D voxels having a preset size (S120); Determining whether the voxel includes one plane using the spatial information data (S130); If the voxel includes one plane, expanding the plane to another voxel adjacent to the voxel and not including one plane (S140); When a preset condition is satisfied (S150), the step of merging the divided voxels by stopping the expansion of the plane and comparing the plane parameters (S160) may be included. However, if the preset condition is not satisfied, the step of dividing the voxel (S120) and extending the plane (S140) may be repeated.
한편, 본 발명의 일 실시예에 따른 공간정보 데이터는 라이다(LiDAR) 센서를 통해 획득한 포인트 클라우드일 수 있으나, 반드시 이에 한정되는 것은 아니며 다른 종류의 데이터 유형도 포함할 수 있다. 다만, 본 발명의 일 실시예에서는 포인트 클라우드를 예시로 하여 설명한다. Meanwhile, the spatial information data according to an embodiment of the present invention may be a point cloud obtained through a LiDAR sensor, but is not limited thereto and may include other types of data. However, in an embodiment of the present invention, a point cloud will be described as an example.
본 발명의 일 실시예에 따른 3차원 평면추출 방법은 종단(terminal) 조건에 도달 할 때까지 복셀을 분해하지 않고, 오히려 분해의 각 단계가 끝나면 분해한 복셀 중 어느 하나의 복셀에 평면이 하나만 있는 경우 평면을 인접한 복셀로 확장하는 단계를 더 포함하는 것을 특징으로 한다.The three-dimensional plane extraction method according to an embodiment of the present invention does not decompose voxels until a terminal condition is reached, but rather, when each step of decomposition ends, there is only one plane in any one of the decomposed voxels. It characterized in that it further comprises the step of expanding the case plane to the adjacent voxel.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따라 평면을 확장하는 단계를 설명하기 위한 도면이다.2A to 2D are diagrams for explaining a step of expanding a plane according to an embodiment of the present invention.
도 2a를 참조하면, 라이다(LiDAR)센서로 획득한 포인트 클라우드(2001, 2002, …, n)가 제1 평면(210) 또는 제2 평면(220)에 분포된다.Referring to FIG. 2A,
그 다음 단계는 도 2b를 참조하여 설명한다. 제1 평면(210) 또는 제2 평면(220)에 분포된 포인트 클라우드(2001, 2002, …, n)가 기 설정된 크기 L 길이의 복수의 복셀(231, 232, 233, 234)로 분할된다.The next step will be described with reference to FIG. 2B. The
분할된 각각의 복셀에 대하여 포인트 클라우드가 하나의 평면을 구성하는지 결정된다.It is determined whether a point cloud constitutes one plane for each divided voxel.
각 복셀에 포함된 포인트 클라우드가 하나의 평면을 구성하는지는 평면 매개 변수를 추출함으로써 결정될 수 있다. 한편, 평면 매개 변수는 PCA(Principal Component Analysis)를 통해 구할 수 있다.Whether a point cloud included in each voxel constitutes one plane may be determined by extracting a plane parameter. Meanwhile, the plane parameter can be obtained through Principal Component Analysis (PCA).
복셀에 포함된 포인트들이 평면을 구성하는 경우, PCA는 하나의 법선 벡터(E)와 두 개의 기본 벡터를 도출하는데, 평면 매개 변수는 상기 법선 벡터(E) 및 상기 두 개의 기본 벡터로 구성되는 기준 좌표 프레임의 원점과 평면의 중심 사이의 거리를 포함한다.When the points included in the voxel constitute a plane, PCA derives one normal vector (E) and two basic vectors, and the plane parameter is a reference consisting of the normal vector (E) and the two basic vectors. Contains the distance between the origin of the coordinate frame and the center of the plane.
상술한 평면 매개 변수를 이용하여 잔존 값 r을 하기 수식 1과 같이 구한다.Using the above-described plane parameter, the residual value r is calculated as shown in
수식 1 :
여기서, k는 복셀에 포함된 포인트의 수를 의미하고, Pi는 i번째 포인트, di는 평면과 i번째 점 사이의 직교 거리를 의미한다.Here, k means the number of points included in the voxel, P i means the i-th point, and d i means the orthogonal distance between the plane and the i-th point.
상기 잔존 값 r은 특정 임계값Rth보다 작으면, 본 발명의 일 실시예에 따른 알고리즘은 복셀이 단 하나의 평면을 포함한다고 결정한다. If the residual value r is less than a specific threshold value R th , the algorithm according to an embodiment of the present invention determines that the voxel includes only one plane.
도 2b를 참조하면, 제1 복셀(231)에 포함된 포인트(3001)는 잔존 값 r이 특정 임계값Rth보다 작은 영역(241)에 있기 때문에 상기 영역(241)에 해당하는 제1 평면(210)에 포함되는 것으로 결정된다. Referring to FIG. 2B, since the
그리고 제3 복셀(233)에 포함된 포인트 및 제4 복셀(234)에 포함된 포인트도 각각 잔존 값 r이 특정 임계값Rth보다 작은 영역(242, 243)에 있기 때문에 상기 영역(242, 243)에 해당하는 제2 평면(220)에 포함되는 것으로 결정된다.In addition, since the points included in the
반면, 제2 복셀(232)에 포함된 포인트(3002)는 포인트들의 분포가 특정 평면에서 몰려있지 않고, 분산되어 있기 때문에, 잔존 값 r이 특정 임계값Rth보다 크고, 결과적으로, 어느 하나의 평면을 포함하지 않는 것으로 결정된다.On the other hand, in the
도 2b에서는 어느 하나의 평면에 포함된 포인트(3001)는 색이 채워진 것으로 표현하고, 어느 하나의 평면에 포함되지 않는 포인트(3002)는 색이 비워진 것으로 표현하여 구분하였다.In FIG. 2B, a
도 2c는 본 발명의 일 실시예에 따른 평면 추출 방법에서 평면을 확장하는 단계를 나타내는 도면이다.2C is a diagram illustrating a step of expanding a plane in the plane extraction method according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 한다. The step of extending the plane according to an embodiment of the present invention is characterized by using a Mahalanobis distance.
종래 연구에서는 유클리드 거리(Euclidean distance)만 사용하여 직교 거리를 계산함으로써 포인트가 평면에 속하는지 여부를 결정하였는데, 이러한 방법은 실질적으로 동일한 평면에 있지 않으나 직각으로 가까운 점을 제거하지 못하는 단점이 있다. In the prior study, it was determined whether or not a point belongs to a plane by calculating an orthogonal distance using only the Euclidean distance, but this method has a disadvantage in that it is not substantially in the same plane, but a point close at a right angle cannot be removed.
본 발명은 마할라노비스(Mahalanobis) 거리를 사용하여 평면을 확장하는 단계를 제안한다. 마할라노비스 거리는 데이터 집합의 분산으로 조정되는 거리를 뜻한다.The present invention proposes a step of extending the plane using the Mahalanobis distance. Mahalanobis distance refers to the distance adjusted by the variance of the data set.
분할된 복셀 중 적어도 하나에 평면이 하나만 있는 것으로 결정되면 평면을 포함하지 않는 이웃 복셀로 평면을 확장한다. When it is determined that only one plane exists in at least one of the divided voxels, the plane is expanded to neighboring voxels that do not include the plane.
도 2c를 참조하면, 제1 평면 영역(251)에 해당되는 포인트들은 평면을 포함하는 제1 복셀(231)에서 평면을 포함하지 않고 제1 복셀(231)의 이웃 복셀인 제2 복셀(232)로 확장된다.Referring to FIG. 2C, points corresponding to the first
또한, 제2 평면 영역(252)에 해당되는 포인트들도 평면을 포함하는 제3 복셀(233)에서 평면을 포함하지 않고 제3 복셀(233)의 이웃 복셀인 제2 복셀(232)로 확장된다.In addition, points corresponding to the second
도 2c를 참조하여 평면영역이 확장되는 방법을 설명하면, 하기 수식 2와 같이 정의되는 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 작을 때에만 확장을 진행하는 평면 영역에 포인트를 포함시키고, 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 클 때에는 확장을 진행하는 평면 영역에 포인트를 포함시키지 않고, 평면 확장을 중단한다. Referring to FIG. 2C, a method of extending the planar area will be described, a point in the planar area that is expanded only when the Mahalanobis distance (D M ) defined as in
수식 2 :
여기서, Pi는 이웃한 복셀의i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미하고, (A)T 는 A의 전치행렬을 의미합니다.Here, P i is the i-th point of the neighboring voxel, μ is the center of the plane, S is the covariance of the points forming the plane, and (A) T is the transpose matrix of A.
상기 수식 2가 의미하는 것은, i번째 포인트(Pi)가 평면의 중심(μ)이 되는 포인트(2000)로부터 떨어진 거리를 평면을 형성하는 포인트들의 공분산(S)으로 나눈 것인데, 포인트들이 평면의 확장 방향으로 분포되면 공분산(S)는 커지므로, 마할라노비스 거리(DM)는 작아진다. 반면, 평면의 확장 방향으로 포인트들이 분포되지 않고 다른 평면 방향으로 포인트들이 분포되면, 공분산(S)은 작아지므로, 마할라노비스 거리(DM)는 커진다.
도 2d는 본 발명의 일 실시예에 따른 평면 추출 방법에서 평면 확장 단계를 중단하는 것을 설명하기 위한 도면이다. 2D is a diagram for explaining stopping a plane expansion step in a plane extraction method according to an embodiment of the present invention.
도 2c 및 도 2d를 참조하여 설명하면, 포인트가 평면의 엣지 영역(260)에 해당될수록 마할라노비스 거리(DM)는 커지고, 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 클 때 평면 확장 단계는 중단되고, 분할된 복셀들이 병합되는 단계로 넘어가서 3차원 모델이 재구성될 수 있다. 2C and 2D, the Mahalanobis distance D M increases as the point corresponds to the
도 3은 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 평면을 확장한 결과를 나타내는 도면이다. A는 종래 방식으로 평면을 추출한 결과이고, B는 본 발명의 일 실시예에 따라 평면을 추출한 결과이다.3 is a diagram showing a result of expanding a plane by a plane extraction method according to an embodiment of the present invention. A is a result of extracting a plane in a conventional manner, and B is a result of extracting a plane according to an embodiment of the present invention.
도 3을 참조하면, 종래 방법(A)의 경우에서 평면이 얼룩덜룩하게 표현된 영역(311)이 본 발명에 따른 방법(B)에서는 깨끗하게 사라진 것을 확인할 수 있다(321).Referring to FIG. 3, it can be seen that in the case of the conventional method (A), the
특히, 평면의 경계에 인접한 포인트가 속한 영역(312, 322)의 경우에 종래 방법(A)과 본 발명에 따른 방법(B)의 결과는 뚜렷하게 비교된다.In particular, the results of the conventional method (A) and the method (B) according to the present invention are clearly compared in the case of the
종래 방법(A)에서는 평면의 경계에 인접한 포인트들이 평면에서 제외된 것으로 나타났으나(313), 본 발명에 따른 방법(B)에서는 평면의 경계에 인접한 포인트들은 평면에 포함된 것으로 나타났다(323). In the conventional method (A), points adjacent to the boundary of the plane were excluded from the plane (313), but in the method (B) according to the present invention, points adjacent to the boundary of the plane were found to be included in the plane (323). .
따라서, 평면의 경계에 인접한 포인트들은 본 발명에 따른 평면 추출 방법에 의해 인접한 평면으로 확장되기 때문에, 평면의 경계면에서 종래 방식에 비해 더 좋은 결과를 도출할 수 있다.Therefore, since points adjacent to the boundary of the plane are expanded to the adjacent plane by the plane extraction method according to the present invention, better results can be derived at the boundary of the plane compared to the conventional method.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 추출한 평면을 3차원 입체 영상에 적용한 결과를 나타내는 도면이다. 윗쪽에 있는 영상은 종래 방법인 강력한 PCA 기반 계층 적 방법(robust-PCA based hierarchical, 이하 RH라 지칭한다)에 의한 결과이고, 아래쪽에 있는 영상은 본 발명의 일 실시예에 따른 방법에 의한 결과를 나타낸다.4A to 4C are diagrams showing results of applying a plane extracted by a plane extraction method according to an embodiment of the present invention to a 3D stereoscopic image. The image at the top is the result of the robust-PCA based hierarchical method (referred to as RH hereinafter), which is a conventional method, and the image at the bottom is the result of the method according to an embodiment of the present invention. Show.
특히 A, B, C 각 영역은 포인트 클라우드의 밀도가 낮거나 가장자리가 평면의 끝에서 만나는 곳을 표시한 것으로, RH 방법에 의한 결과와 본 발명에 따른 방법의 차이를 비교하기 위해 A, B, C 영역을 확대하여 설명한다.In particular, each area A, B, C indicates a point where the density of the point cloud is low or the edge meets at the end of the plane.To compare the difference between the result of the RH method and the method according to the present invention, A, B, The explanation will be made by expanding the C area.
도 4a 내지 도 4c를 참고하면, RH 방법에 의한 결과에서는 포인트 클라우드 밀도의 부족으로 데이터가 무시되었으나, 본 발명에 따른 결과는 더 정확한 경계와 더 많은 인라이어(inliers)를 포함하는 것을 나타낸다. 명세서 전체에서 인라이어(inliers)는 마땅히 포함되어야 할 값을 지칭하고, 아웃라이어(Outliers)는 포함되지 않아야 하는 값을 지칭할 수 있다.Referring to FIGS. 4A to 4C, in the result of the RH method, data was ignored due to the lack of point cloud density, but the result according to the present invention indicates that a more accurate boundary and more inliers are included. Throughout the specification, inliers may refer to values that should be included, and outliers may refer to values that should not be included.
본 발명의 일 실시예에 따른 평면 추출 방법은 아래 표에 나타난 바와 같이 기존의 RH 방법보다 분해하는 평면수를 4362에서 1140으로 73%이하로 감소시켰고, 따라서 계산량도 대폭 감소시킬 수 있다.As shown in the table below, the plane extraction method according to an embodiment of the present invention reduces the number of planes to be decomposed from 4362 to 1140 to 73% or less, compared to the conventional RH method, and thus the calculation amount can be significantly reduced.
도 5 및 도 6은 본 발명의 일 실시예에 따른 평면 추출 알고리즘과 다른 종류의 알고리즘을 사용한 경우에서 각각의 계산 시간을 비교한 그래프이다.다른 종류의 알고리즘은 전술한 RH 방법과 그리드 기반 세그먼트 방법(grid-based segmentation, 이하 GBS라 지칭한다)이다.5 and 6 are graphs comparing calculation times between the plane extraction algorithm according to an embodiment of the present invention and the case where different types of algorithms are used. Other types of algorithms include the aforementioned RH method and the grid-based segment method. (grid-based segmentation, hereinafter referred to as GBS).
도 5는 각 포인트 클라우드 데이터 세트에 대한 각 알고리즘의 평균 계산시간을 나타낸다. x축은 서로 다른 포인트 클라우드 데이터 세트를 의미하고, y축은 평균 계산 시간을 나타내는데, 본 발명의 일 실시예에 따른 방법을 사용한 경우에서 평균 계산 시간이 모든 데이터 세트에 대해 RH 방법과 GBS 방법에 비하여 현저히 적은 것을 확인할 수 있다.5 shows the average calculation time of each algorithm for each point cloud data set. The x-axis represents different point cloud data sets, and the y-axis represents the average calculation time. In the case of using the method according to an embodiment of the present invention, the average calculation time is significantly compared to the RH method and the GBS method for all data sets. You can see less.
보다 구체적으로는, 본 발명에 따른 알고리즘이 RH 방법보다 62% 더 빠른 결과를 나타낸다.More specifically, the algorithm according to the present invention yields 62% faster results than the RH method.
도 6은 포인트 클라우드의 크기에 따른 각 알고리즘의 계산 시간을 나타낸다.6 shows the calculation time of each algorithm according to the size of the point cloud.
도 6을 참조하면, 포인트 클라우드의 포인트 개수가 증가할수록, 즉 포인트 클라우드의 크기가 클수록 계산 시간이 증가하는 것을 확인할 수 있다.Referring to FIG. 6, it can be seen that as the number of points of the point cloud increases, that is, the size of the point cloud increases, the calculation time increases.
다만, 본 발명에 의한 알고리즘은 RH 방법과 GBS 방법에 비하여 입력 데이터의 크기에 대한 영향을 덜 받는 것으로 나타났다. However, it was found that the algorithm according to the present invention is less affected by the size of the input data than the RH method and the GBS method.
도 7은 본 발명의 일 실시예에 따른 3차원 평면추출 장치의 블록도이다.7 is a block diagram of a 3D plane extraction apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 3차원 평면추출 장치는 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부; 상기 복셀분할부로부터 분할된 복셀이 하나의 평면을 포함하는지 상기 공간 정보 데이터를 이용하여 결정하는 평면 결정부; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함할 수 있다.A 3D plane extraction apparatus according to an embodiment of the present invention includes a data acquisition unit for acquiring spatial information data using a LiDAR sensor; A voxel dividing unit for dividing the spatial information data acquired from the data acquisition unit into 3D voxels having a preset size; A plane determination unit configured to determine whether the voxels divided by the voxel dividing unit include one plane, using the spatial information data; When the voxel includes one plane, a plane expansion unit adjacent to the voxel and extending the plane to another voxel not including one plane; A control unit for stopping expansion of the plane when a preset condition is satisfied; And a voxel merging unit for merging the divided voxels by comparing the plane parameters.
본 발명의 일 실시예에 따른 3차원 평면추출 장치에 관한 구체적인 설명은 평면추출 방법에 관한 설명이 동일하게 적용될 수 있다. In the detailed description of the 3D plane extraction apparatus according to an embodiment of the present invention, the description of the plane extraction method may be equally applied.
본 발명의 일 실시예에 따른 3차원 평면추출 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.The 3D plane extraction method according to an embodiment of the present invention may be implemented as a program and stored in a computer-readable recording medium (RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
Claims (10)
상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계;
상기 복셀에 포함된 공간정보 데이터가 평면을 구성하는 경우, 법선 벡터와 2개의 기본벡터로 구성되는 기준 좌표 프레임의 원점과 상기 평면의 중심 사이의 거리에 기반하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계;
상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계;
미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및
평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함하는 3차원 평면추출 방법.Obtaining spatial information data using a LiDAR sensor;
Dividing the spatial information data into 3D voxels having a preset size;
When the spatial information data included in the voxel constitutes a plane, whether the voxel includes one plane based on the distance between the origin of the reference coordinate frame composed of a normal vector and two basic vectors and the center of the plane Determining;
If the voxel includes one plane, extending the plane to another voxel adjacent to the voxel and not including one plane;
Stopping the expansion of the plane when a preset condition is satisfied; And
3D plane extraction method comprising the step of merging the divided voxels by comparing plane parameters.
상기 공간정보 데이터는 포인트 클라우드인 것을 특징으로 하는 3차원 평면추출 방법.The method of claim 1,
The spatial information data is a three-dimensional plane extraction method, characterized in that the point cloud.
상기 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 하는 3차원 평면추출 방법.The method of claim 1,
The step of expanding the plane is a three-dimensional plane extraction method, characterized in that using a Mahalanobis (Mahalanobis) distance.
상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의되는 것을 특징으로 하는 3차원 평면추출 방법.
여기서, Pi는 이웃한 복셀의 i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미함.The method of claim 3,
The Mahalanobis distance (D M ) is a three-dimensional plane extraction method, characterized in that defined by the following equation.
Here, P i is the i-th point of the adjacent voxel, μ is the center of the plane, and S is the covariance of the points forming the plane.
상기 미리 설정된 조건은, 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 3차원 평면추출 방법.The method of claim 1 or 4,
The preset condition is a three-dimensional plane extraction method in which the Mahalanobis distance (D M ) is greater than a preset reference value (M th ).
상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부;
상기 복셀분할부로부터 분할된 복셀에 포함된 공간정보 데이터가 평면을 구성하는 경우, 법선 벡터와 2개의 기본벡터로 구성되는 기준 좌표 프레임의 원점과 상기 평면의 중심 사이의 거리에 기반하여 상기 복셀이 하나의 평면을 포함하는지 여부를 결정하는 평면 결정부;
상기복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부;
미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및
평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함하는 3차원 평면추출 장치.A data acquisition unit that acquires spatial information data using a LiDAR sensor;
A voxel dividing unit for dividing the spatial information data obtained from the data acquisition unit into 3D voxels having a preset size;
When the spatial information data included in the voxels divided by the voxel dividing unit constitutes a plane, the voxels are generated based on the distance between the origin of the reference coordinate frame composed of a normal vector and two basic vectors and the center of the plane. A plane determining unit determining whether to include one plane;
When the voxel includes one plane, a plane expansion unit adjacent to the voxel and extending the plane to another voxel not including one plane;
A control unit for stopping expansion of the plane when a preset condition is satisfied; And
3D plane extraction apparatus comprising a voxel merging unit for merging the divided voxels by comparing plane parameters.
공간정보 데이터는 포인트 클라우드인 것을 특징으로 하는 3차원 평면추출 장치.The method of claim 6,
3D plane extraction device, characterized in that the spatial information data is a point cloud.
상기 평면 확장부는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 하는3차원 평면추출 장치.The method of claim 6,
The three-dimensional plane extraction device, characterized in that the plane expansion portion uses a Mahalanobis distance.
상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의되는 것을 특징으로 하는 3차원 평면추출 장치.
여기서, Pi는 이웃한 복셀의i번째 포인트, μ는 평면의 중심, S는 이웃 복셀의 포인트들의 공분산을 의미함. The method of claim 8,
The Mahalanobis distance (D M ) is a three-dimensional plane extraction device, characterized in that defined by the following equation.
Here, P i is the i-th point of the neighboring voxel, μ is the center of the plane, and S is the covariance of the points of the neighboring voxels.
상기 미리 설정된 조건은, 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 3차원 평면추출 장치.The method of claim 6 or 9,
The preset condition is that the Mahalanobis distance (D M ) is greater than a preset reference value (M th ).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180072811 | 2018-06-25 | ||
| KR1020180072811 | 2018-06-25 | ||
| PCT/KR2018/015743 WO2020004740A1 (en) | 2018-06-25 | 2018-12-12 | Three-dimensional plane extraction method and device therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200002772A KR20200002772A (en) | 2020-01-08 |
| KR102170453B1 true KR102170453B1 (en) | 2020-10-28 |
Family
ID=68987092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197001703A KR102170453B1 (en) | 2018-06-25 | 2018-12-12 | 3D plane extraction method and device |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102170453B1 (en) |
| WO (1) | WO2020004740A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113375556B (en) * | 2021-06-18 | 2024-06-04 | 盎锐(杭州)信息科技有限公司 | Full stack type actual measurement real quantity system, measurement method and laser radar |
| CN113569856B (en) * | 2021-07-13 | 2024-06-04 | 盎锐(杭州)信息科技有限公司 | Model semantic segmentation method for actual measurement and laser radar |
| CN117745728B (en) * | 2024-02-21 | 2024-05-24 | 法奥意威(苏州)机器人***有限公司 | Point cloud plane detection method and device, electronic equipment and readable storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130026853A (en) * | 2011-09-06 | 2013-03-14 | 한국전자통신연구원 | Apparatus and method for rendering of point cloud using voxel grid |
| KR101392804B1 (en) * | 2012-07-25 | 2014-05-08 | 연세대학교 산학협력단 | Indoor 3d model extraction method based on point clouds from terrestrial lidar and recording medium thereof |
| US9412040B2 (en) * | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
-
2018
- 2018-12-12 WO PCT/KR2018/015743 patent/WO2020004740A1/en active Application Filing
- 2018-12-12 KR KR1020197001703A patent/KR102170453B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| https://blog.naver.com/PostPrint.nhn?blogId=koys007&logNo=221240189510* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200002772A (en) | 2020-01-08 |
| WO2020004740A1 (en) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325998B (en) | Indoor 3D modeling method, system and related device based on point cloud data | |
| US11488308B2 (en) | Three-dimensional object detection method and system based on weighted channel features of a point cloud | |
| KR102170453B1 (en) | 3D plane extraction method and device | |
| US9412040B2 (en) | Method for extracting planes from 3D point cloud sensor data | |
| CN106156692B (en) | method and device for positioning human face edge feature points | |
| KR102472004B1 (en) | calibration method and apparatus among mutiple sensors | |
| US10762704B2 (en) | Method for establishing a deformable 3D model of an element, and associated system | |
| US9020251B2 (en) | Image processing apparatus and method | |
| US20100310154A1 (en) | Method for matching an object model to a three-dimensional point cloud | |
| CN107622480B (en) | Kinect depth image enhancement method | |
| KR101759188B1 (en) | the automatic 3D modeliing method using 2D facial image | |
| US9690985B2 (en) | Apparatus and method for recognizing object using depth image | |
| US20140168204A1 (en) | Model based video projection | |
| US8929587B2 (en) | Multi-tracking of video objects | |
| JP6787844B2 (en) | Object extractor and its superpixel labeling method | |
| KR101812664B1 (en) | Method and apparatus for extracting multi-view object with fractional boundaries | |
| CN109448093B (en) | Method and device for generating style image | |
| CN104992176B (en) | A kind of Chinese character extracting method towards an inscription on a tablet | |
| CN113838069A (en) | Point cloud segmentation method and system based on flatness constraint | |
| JP6754717B2 (en) | Object candidate area estimation device, object candidate area estimation method, and object candidate area estimation program | |
| US9916663B2 (en) | Image processing method and process simulation apparatus | |
| CN111915724A (en) | Point cloud model slice shape calculation method | |
| CN108898045B (en) | Multi-label image preprocessing method based on deep learning gesture recognition | |
| KR101001184B1 (en) | Iterative 3D head pose estimation method using a face normal vector | |
| KR100596559B1 (en) | Method of Error Compensated Singular Value Decomposition Based Head Pose Estimation for 3D Face Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |