KR102338665B1 - Apparatus and method for classficating point cloud using semantic image - Google Patents
Apparatus and method for classficating point cloud using semantic image Download PDFInfo
- Publication number
- KR102338665B1 KR102338665B1 KR1020200026097A KR20200026097A KR102338665B1 KR 102338665 B1 KR102338665 B1 KR 102338665B1 KR 1020200026097 A KR1020200026097 A KR 1020200026097A KR 20200026097 A KR20200026097 A KR 20200026097A KR 102338665 B1 KR102338665 B1 KR 102338665B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- input
- data
- vehicle
- target space
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법은, 대상 공간 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 상기 대상 공간에 대한 영상 입력을 수신하는 단계 및 상기 영상 입력에 대한 의미론적 영역 분할 결과에 기초하여 상기 포인트 클라우드 입력에 포함된 포인트 클러스터 각각을 상기 객체를 기준으로 분류하는 단계를 포함할 수 있다.A point cloud classification apparatus and method using a semantic image are disclosed, and the point cloud classification method using a semantic image according to an embodiment of the present application is a point including a plurality of three-dimensional points for an object in a target space. Receiving a cloud input and an image input for the target space, and classifying each of the point clusters included in the point cloud input based on the object based on a semantic region segmentation result of the image input can
Description
본원은 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법에 관한 것이다.The present application relates to a point cloud classification apparatus and method using a semantic image.
스마트 자동차(Smart Car)라는 용어는 기계 중심의 전통적인 자동차 기술에 전기, 전자, 정보통신 기술을 융복합한 것으로, 완성차 업체, 부품업체, ICT업체 등 다양한 산업 주체들에 의해 운전자 편의 측면과 차량 안전 측면에 초점을 두어 지속적으로 발전되어 왔으며, 이러한 스마트 자동차 관련 기술은 구체적으로 첨단 운전자 보조체계(Advanced Driver Assistance System, ADAS), 자율 주행(Autonomous Vehicle), 협업 안전체계(Cooperative Safety System) 등 안전과 관련된 분야와 커넥티드 카(Connected Car)와 같은 편의와 관련된 분야로 분류될 수 있다.The term “smart car” is a fusion of electric, electronic, and information and communication technologies with machine-oriented traditional automobile technology. It has been continuously developed with a focus on aspects, and these smart car-related technologies are specifically designed for safety and It can be classified into related fields and fields related to convenience such as connected cars.
특히, ADAS(Advanced Driver Assistance Systems) 또는 자율주행(Autonomous Vehicle)이 적용된 지능형 자동차는 주행 중인 차량의 주변 환경을 인식하기 위해 구비되는 각종 센서(예를 들어, 카메라, GPS, 레이더, LiDAR 등)로부터 획득되는 이종 유형 센싱 데이터의 융합을 통해 차량 주변 상황을 높은 정확도로 실시간 모니터링 함으로써 탑승자, 보행자 및 주변차량의 안전을 확보하고 주행 편의성을 향상시킬 수 있어야 한다.In particular, an intelligent vehicle to which ADAS (Advanced Driver Assistance Systems) or autonomous vehicle is applied is obtained from various sensors (eg, camera, GPS, radar, LiDAR, etc.) provided to recognize the surrounding environment of the driving vehicle. It should be possible to secure the safety of occupants, pedestrians and surrounding vehicles and improve driving convenience by real-time monitoring of the vehicle surroundings with high accuracy through the convergence of the acquired heterogeneous sensing data.
특히, LiDAR는 레이저로 특정 대상과의 거리를 측정하여 대상 객체의 형태를 판별하여 자동차 주변의 도로 환경을 3차원 형상으로 인지하는 센서로, 이러한 LiDAR는 주변 대상과의 거리 측정에서의 오차가 적은 정밀한 측정 성능을 제공함으로써 장애물 인지 및 동적 물체 추적 등 다양한 차량 연계 인지 시스템에 활용 가능한 이점이 있다.In particular, LiDAR is a sensor that recognizes the road environment around a car as a three-dimensional shape by measuring the distance to a specific target with a laser to determine the shape of the target object. By providing precise measurement performance, it has the advantage of being applicable to various vehicle-linked recognition systems such as obstacle recognition and dynamic object tracking.
또한, 통상적으로 자동차에는 블랙 박스 등 차량 주변 영상 정보를 획득하기 위한 카메라가 탑재되며, 이러한 카메라에 의해 획득되는 영상 정보와 전술한 LiDAR에 의해 획득되는 포인트 클라우드 형태의 센서 정보를 융합한다면, 차량 주변 도로 환경에 대한 의미론적 인지 성능을 획기적으로 향상시킬 수 있을 것이다.In addition, in general, a vehicle is equipped with a camera for acquiring image information around the vehicle, such as a black box. It will be possible to dramatically improve the semantic cognitive performance of the road environment.
본원의 배경이 되는 기술은 한국공개특허공보 제 10-2012-0114611호에 개시되어 있다.The technology that is the background of the present application is disclosed in Korean Patent Application Laid-Open No. 10-2012-0114611.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공 기능 기반의 영상 처리 기법을 통해 카메라를 통해 촬영된 영상과 라이다(LiDAR)에 의해 획득된 3차원 포인트 클라우드를 실시간 융합하는 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법을 제공하려는 것을 목적으로 한다.The present application is to solve the problems of the prior art described above, and a semantic image of real-time fusion of an image captured by a camera and a three-dimensional point cloud obtained by LiDAR through an artificial function-based image processing technique An object of the present invention is to provide a point cloud classification device and method using
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the embodiments of the present application are not limited to the technical problems described above, and other technical problems may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법은, 대상 공간 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 상기 대상 공간에 대한 영상 입력을 수신하는 단계 및 상기 영상 입력에 대한 의미론적 영역 분할 결과에 기초하여 상기 포인트 클라우드 입력에 포함된 포인트 클러스터 각각을 상기 객체를 기준으로 분류하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, the point cloud classification method using a semantic image according to an embodiment of the present application includes a point cloud input including a plurality of three-dimensional points for an object in a target space and the The method may include receiving an image input for a target space and classifying each of the point clusters included in the point cloud input based on the object based on a semantic region segmentation result of the image input.
또한, 상기 분류하는 단계는, 상기 대상 공간 내의 관심 영역에 위치한 상기 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출하는 단계, 상기 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 상기 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출하는 단계 및 상기 클러스터 데이터 및 상기 객체 분류 데이터에 기초하여 상기 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 상기 포인트 클라우드 입력을 객체 별로 분류하는 단계를 포함할 수 있다.In addition, the classifying includes: deriving cluster data obtained by clustering a plurality of three-dimensional points on the object located in the region of interest in the target space according to a predetermined criterion; deriving object classification data for each pixel of the image input by applying region division, and selecting an object label for each point cluster of the cluster data based on the cluster data and the object classification data to select the point cloud It may include classifying the input by object.
또한, 상기 클러스터 데이터를 도출하는 단계는, 상기 대상 공간에 대한 인지 중요도 및 상기 영상 입력에 대한 시야 정보를 기초로 상기 관심 영역을 설정하는 단계, 상기 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 상기 관심 영역에 포함되는 복수의 3차원 점을 추출하는 단계, 상기 추출된 복수의 3차원 점을 압축하는 단계 및 상기 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 상기 압축된 복수의 3차원 점을 군집화하는 단계를 포함할 수 있다.In addition, the step of deriving the cluster data may include setting the region of interest based on the perceived importance of the target space and visual field information for the image input, among a plurality of 3D points included in the point cloud input. extracting a plurality of 3D points included in the region of interest, compressing the extracted plurality of 3D points, and the compressed plurality of 3D points based on density information between the compressed 3D points It may include clustering the points.
또한, 상기 압축하는 단계는, 상기 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용하는 단계 및 상기 대상 공간에 대한 경사 정보에 기초하여 지반에 해당하는 복수의 3차원 점을 제거하는 단계를 포함할 수 있다.In addition, the compressing may include applying down-sampling based on a voxel grid filter to the plurality of extracted three-dimensional points and selecting a plurality of three-dimensional points corresponding to the ground based on inclination information for the target space. It may include the step of removing.
또한, 상기 포인트 클라우드 입력을 객체 별로 분류하는 단계는, 상기 클러스터 데이터 및 상기 객체 분류 데이터를 동기화하는 단계, 미리 설정된 캘리브레이션 파라미터를 활용하여 상기 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑하는 단계, 상기 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅 알고리즘을 적용하여 상기 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정하는 단계 및 상기 선정된 객체 라벨에 기초하여 상기 클러스터 데이터를 객체 별로 분류하는 단계를 포함할 수 있다.In addition, the step of classifying the point cloud input for each object includes synchronizing the cluster data and the object classification data, mapping the synchronized cluster data to a predetermined image coordinate system by using a preset calibration parameter; Selecting an object label indicating an object corresponding to each of the point clusters by applying a voting algorithm to each of the point clusters of the mapped cluster data, and classifying the cluster data for each object based on the selected object label may include
또한, 상기 대상 공간은 차량에 대한 인접 영역일 수 있다.Also, the target space may be an area adjacent to the vehicle.
또한, 상기 수신하는 단계는, 상기 차량에 탑재된 라이다 센서로부터 상기 대상 공간에 대한 포인트 클라우드 입력을 수신하고, 상기 차량에 탑재된 카메라 모듈로부터 상기 대상 공간에 대한 영상 입력을 수신할 수 있다.In addition, the receiving may include receiving a point cloud input for the target space from a lidar sensor mounted on the vehicle, and receiving an image input for the target space from a camera module mounted on the vehicle.
또한, 상기 관심 영역을 설정하는 단계는, 상기 차량으로부터 상기 대상 공간에 대한 인지 중요도를 기초로 설정된 기준 거리 내의 영역 중 상기 카메라 모듈의 촬영 방향에 부합하는 영역을 상기 관심 영역으로 설정할 수 있다.In addition, the setting of the region of interest may include setting, as the region of interest, a region corresponding to a photographing direction of the camera module among regions within a reference distance set based on the perceived importance of the target space from the vehicle.
또한, 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법은, 상기 선정된 객체 라벨에 기초하여 분류된 상기 클러스터 데이터를 시각화하여 표시하는 단계를 포함할 수 있다.In addition, the point cloud classification method using a semantic image according to an embodiment of the present application may include visualizing and displaying the cluster data classified based on the selected object label.
한편, 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치는, 대상 공간 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 상기 대상 공간에 대한 영상 입력을 수신하는 입력부, 상기 대상 공간 내의 관심 영역에 위치한 상기 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출하는 포인트 클라우드 처리부, 상기 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 상기 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출하는 이미지 처리부 및 상기 클러스터 데이터 및 상기 객체 분류 데이터에 기초하여 상기 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 상기 포인트 클라우드 입력을 객체 별로 분류하는 데이터 융합부를 포함할 수 있다.Meanwhile, the point cloud classification apparatus using a semantic image according to an embodiment of the present application includes an input unit for receiving a point cloud input including a plurality of 3D points for an object in a target space and an image input for the target space , a point cloud processing unit for deriving cluster data obtained by clustering a plurality of three-dimensional points for the object located in the region of interest in the target space according to a predetermined criterion, deep learning-based semantic region division is applied to the image input, An image processing unit for deriving object classification data for each pixel of the image input, and an object label for each point cluster of the cluster data based on the cluster data and the object classification data to select the point cloud input for each object It may include a data fusion unit for classification.
또한, 상기 포인트 클라우드 처리부는, 상기 대상 공간에 대한 인지 중요도 및 상기 영상 입력에 대한 시야 정보를 기초로 상기 관심 영역을 설정하고, 상기 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 상기 관심 영역에 포함되는 복수의 3차원 점을 추출하는 관심 영역 추출부, 상기 추출된 복수의 3차원 점을 압축하는 데이터 압축부 및 상기 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 상기 압축된 복수의 3차원 점을 군집화하는 군집화부를 포함할 수 있다.In addition, the point cloud processing unit sets the region of interest based on the perceived importance of the target space and the field of view information for the image input, and sets the region of interest in the region of interest among a plurality of 3D points included in the point cloud input. A region of interest extraction unit for extracting a plurality of included 3D points, a data compression unit for compressing the extracted plurality of 3D points, and the compressed plurality of 3D points based on density information between the compressed 3D points It may include a clustering unit for clustering the dimension points.
또한, 상기 데이터 압축부는, 상기 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용하는 샘플링부 및 상기 대상 공간에 대한 경사 정보에 기초하여 지반에 해당하는 복수의 3차원 점을 제거하는 지반 제거부를 포함할 수 있다.In addition, the data compression unit may include a sampling unit that applies down-sampling based on a voxel grid filter to the plurality of extracted 3D points, and a plurality of 3D points corresponding to the ground based on inclination information for the target space. It may include a ground removal unit to remove.
또한, 상기 데이터 융합부는, 상기 클러스터 데이터 및 상기 객체 분류 데이터를 동기화하는 동기화부, 미리 설정된 캘리브레이션 파라미터를 활용하여 상기 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑하는 변환부, 상기 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅 알고리즘을 적용하여 상기 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정하는 라벨 선정부 및 상기 선정된 객체 라벨에 기초하여 상기 클러스터 데이터를 객체 별로 분류하는 라벨 매칭부를 포함할 수 있다.In addition, the data fusion unit includes a synchronization unit that synchronizes the cluster data and the object classification data, a transformation unit that maps the synchronized cluster data to a predetermined image coordinate system using a preset calibration parameter, and the mapped cluster data. A label selecting unit for selecting an object label representing an object corresponding to each of the point clusters by applying a voting algorithm to each of the point clusters, and a label matching unit for classifying the cluster data for each object based on the selected object label. can
또한, 상기 대상 공간은 차량에 대한 인접 영역일 수 있다.Also, the target space may be an area adjacent to the vehicle.
또한, 상기 입력부는, 상기 차량에 탑재된 라이다 센서로부터 상기 대상 공간에 대한 포인트 클라우드 입력을 수신하고, 상기 차량에 탑재된 카메라 모듈로부터 상기 대상 공간에 대한 영상 입력을 수신할 수 있다.In addition, the input unit may receive a point cloud input for the target space from a lidar sensor mounted on the vehicle, and receive an image input for the target space from a camera module mounted on the vehicle.
또한, 상기 관심 영역 추출부는, 상기 차량으로부터 상기 대상 공간에 대한 인지 중요도를 기초로 설정된 기준 거리 내의 영역 중 상기 카메라 모듈의 촬영 방향에 부합하는 영역을 상기 관심 영역으로 설정할 수 있다.Also, the region of interest extractor may set a region corresponding to a photographing direction of the camera module among regions within a reference distance set based on the perceived importance of the target space from the vehicle as the region of interest.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present application. In addition to the exemplary embodiments described above, additional embodiments may exist in the drawings and detailed description.
전술한 본원의 과제 해결 수단에 의하면, 인공 기능 기반의 영상 처리 기법을 통해 카메라를 통해 촬영된 영상과 라이다(LiDAR)에 의해 획득된 3차원 포인트 클라우드를 실시간 융합하는 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, a point using a semantic image that fuses an image captured by a camera and a three-dimensional point cloud obtained by LiDAR in real time through an artificial function-based image processing technique A cloud classification apparatus and method may be provided.
전술한 본원의 과제 해결 수단에 의하면, 영상 입력과 포인트 클라우드 입력에 대한 데이터 융합(Data Fusion)을 통해 차량의 주행 환경에서 주변에 위치하는 주요 객체(차량, 보행자, 이륜차 등)를 높은 정확도로 식별할 수 있으며, 나아가 식별된 객체의 차량에 대한 상대적 위치 또는 차량으로부터의 거리를 정확하게 산출할 수 있다.According to the above-described problem solving means of the present application, through data fusion for image input and point cloud input, main objects (vehicles, pedestrians, two-wheeled vehicles, etc.) located nearby in the driving environment of the vehicle are identified with high accuracy In addition, the relative position of the identified object with respect to the vehicle or the distance from the vehicle may be accurately calculated.
전술한 본원의 과제 해결 수단에 의하면, 영상 입력의 픽셀과 포인트 클라우드 입력의 각각의 3차원 점을 매칭하며 보팅(Voting) 알고리즘을 통하여 포인트 클러스터 각각의 객체 라벨을 선정함으로써 잡음(노이즈)에 대한 강건성을 확보할 수 있다.According to the above-described problem solving means of the present application, robustness against noise (noise) by matching each 3D point of the pixel of the image input and the point cloud input and selecting the object label of each point cluster through a voting algorithm can be obtained
전술한 본원의 과제 해결 수단에 의하면, MobileNetV2 등과 같이 비교적 가벼운 심층 신경망을 활용함으로써 추론 시간을 개선하고 실시간성을 확보할 수 있다.According to the above-described problem solving means of the present application, it is possible to improve inference time and secure real-time by using a relatively light deep neural network such as MobileNetV2.
전술한 본원의 과제 해결 수단에 의하면, ROS 기반 개발 환경에서 구현할 경우, 기 개발된 자율 주행 시스템과의 융합이 용이하여 범용성이 증대될 수 있다.According to the above-described problem solving means of the present application, when implemented in an ROS-based development environment, convergence with a previously developed autonomous driving system is easy, so that versatility can be increased.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects obtainable herein are not limited to the above-described effects, and other effects may exist.
도 1은 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치를 포함하는 인지 시스템의 개략적인 구성도이다.
도 2는 대상 공간에 대한 영상 입력 및 포인트 클라우드 입력을 나타낸 도면이다.
도 3은 대상 공간에 대한 관심 영역을 설명하기 위한 개념도이다.
도 4는 복셀 그리드 필터 기반의 다운 샘플링을 설명하기 위한 개념도이다.
도 5는 복수의 3차원 점 간의 밀도 정보에 기초한 군집화를 설명하기 위한 개념도이다.
도 6a는 영상 입력에 의미론적 영역 분할을 적용하여 픽셀마다 도출되는 객체 분류 데이터를 나타낸 도면이다.
도 6b는 영상 입력으로부터 객체 분류 데이터를 도출하기 위하여 객체의 각각의 유형마다 할당된 색상을 예시적으로 나타낸 도면이다.
도 7은 포인트 클라우드 입력을 이루는 포인터 클러스터 각각에 대한 객체 라벨이 선정된 상태를 나타낸 도면이다.
도 8a는 본원의 일 실시예에 따른 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 2차원으로 시각화하여 나타낸 도면이다.
도 8b는 본원의 일 실시예에 따른 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 3차원으로 시각화하여 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 개략적인 구성도이다.
도 10a는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 포인트 클라우드 처리부의 세부 구성도이다.
도 10b는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 데이터 융합부의 세부 구성도이다.
도 11은 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법에 대한 동작 흐름도이다.
도 12는 포인트 클라우드 입력에 포함된 포인트 클러스터를 객체를 기준으로 분류하는 단계에 대한 세부 동작 흐름도이다.1 is a schematic configuration diagram of a cognitive system including a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
2 is a diagram illustrating an image input and a point cloud input to a target space.
3 is a conceptual diagram for explaining a region of interest in a target space.
4 is a conceptual diagram for explaining downsampling based on a voxel grid filter.
5 is a conceptual diagram illustrating clustering based on density information between a plurality of 3D points.
6A is a diagram illustrating object classification data derived for each pixel by applying semantic region segmentation to an image input.
6B is a diagram exemplarily showing colors assigned to each type of object in order to derive object classification data from an image input.
7 is a diagram illustrating a state in which an object label for each pointer cluster constituting a point cloud input is selected.
8A is a diagram illustrating two-dimensionally visualizing cluster data classified based on a selected object label according to an embodiment of the present application.
8B is a diagram illustrating three-dimensional visualization of cluster data classified based on a selected object label according to an embodiment of the present application.
9 is a schematic configuration diagram of a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
10A is a detailed configuration diagram of a point cloud processing unit of an apparatus for classifying a point cloud using a semantic image according to an embodiment of the present application.
10B is a detailed configuration diagram of a data fusion unit of a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
11 is an operation flowchart of a point cloud classification method using a semantic image according to an embodiment of the present application.
12 is a detailed operation flowchart of a step of classifying a point cluster included in a point cloud input based on an object.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present application may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present application in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is "connected" with another part, it is not only "directly connected" but also "electrically connected" or "indirectly connected" with another element interposed therebetween. "Including cases where
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is positioned “on”, “on”, “on”, “on”, “under”, “under”, or “under” another member, this means that a member is positioned on the other member. It includes not only the case where they are in contact, but also the case where another member exists between two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
본원은 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법에 관한 것이다.The present application relates to a point cloud classification apparatus and method using a semantic image.
도 1은 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치를 포함하는 인지 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a cognitive system including a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
도 1을 참조하면, 본원의 일 실시예에 따른 인지 시스템(10)은 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치(100)(이하에서는 '포인트 클라우드 분류 장치(100)'라 한다.) 및 차량(1)을 포함할 수 있다. 본원의 일 실시예에 따르면, 차량(1)에는 라이다 센서(미도시) 및 카메라 모듈(미도시)이 탑재될 수 있다.Referring to FIG. 1 , the
포인트 클라우드 분류 장치(100) 및 차량(1) 상호간(달리 말해, 포인트 클라우드 분류 장치(100)와 라이다 센서 및 카메라 모듈 상호간)은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The point
포인트 클라우드 분류 장치(100)는 대상 공간(A) 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 대상 공간(A)에 대한 영상 입력을 수신할 수 있다.The point
도 2는 대상 공간에 대한 영상 입력 및 포인트 클라우드 입력을 나타낸 도면이다.2 is a diagram illustrating an image input and a point cloud input to a target space.
도 2를 참조하면, 포인트 클라우드 분류 장치(100)는 차량(1)에 탑재된 카메라 모듈(미도시)로부터 대상 공간(A)에 대한 영상 입력을 수신할 수 있다(도 2의 (a)). 또한, 포인트 클라우드 분류 장치(100)는 차량(1)에 탑재된 라이다 센서(미도시)로부터 대상 공간(A)에 대한 포인트 클라우드 입력을 수신할 수 있다(도 2의 (b)).Referring to FIG. 2 , the point
여기서, 대상 공간(A)은 주행 또는 정차 중인 차량(1)에 대한 인접 영역을 의미하는 것일 수 있다.Here, the target space A may mean an area adjacent to the
포인트 클라우드 분류 장치(100)는 수신된 영상 입력에 대한 의미론적 영역 분할 결과에 기초하여 포인트 클라우드 입력에 포함된 포인트 클러스터 각각을 대상 공간(A)에 위치(등장)하는 객체를 기준으로 분류할 수 있다.The point
구체적으로, 포인트 클라우드 분류 장치(100)는 포인트 클라우드 입력으로부터 대상 공간 내의 소정의 관심 영역에 위치한 객체에 대한 복수의 3차원 점을 군집화한 클러스터 데이터를 도출할 수 있다. 또한, 포인트 클라우드 분류 장치(100)는 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 영상 입력으로부터 각각의 픽셀마다의 객체 분류 데이터를 도출할 수 있다. 또한, 포인트 클라우드 분류 장치(100)는 클러스터 데이터 및 객체 분류 데이터가 도출되고 나면, 클러스터 데이터 및 객체 분류 데이터에 기초하여 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 포인트 클라우드 입력을 객체 별로 분류하도록 동작할 수 있다.Specifically, the point
이하에서는, 포인트 클라우드 분류 장치(100)가 클러스터 데이터를 도출하는 포인트 클라우드 처리(Point Cloud Processing) 과정을 먼저 설명하고, 객체 분류 데이터를 도출하는 이미지 처리(Image Processing) 과정을 설명한 다음, 도출된 클러스터 데이터와 객체 분류 데이터를 통해 포인터 클러스터에 객체 라벨을 할당하여 포인트 클라우드 입력을 최종 분류하는 데이터 융합(Data Fusion) 과정을 설명하도록 한다. 다만, 이러한 순서는 설명의 편의를 위한 것으로 이해됨이 바람직하며, 포인트 클라우드 처리가 항상 이미지 처리에 대하여 선행되어야 하는 것은 아니다.Hereinafter, a point cloud processing process in which the point
전술한 포인트 클라우드 처리(Point Cloud Processing) 과정에서, 포인트 클라우드 분류 장치(100)는, 대상 공간(A)에 대한 인지 중요도 및 수신된 영상 입력에 대한 시야 정보를 기초로 관심 영역을 설정할 수 있다.In the aforementioned point cloud processing process, the point
도 3은 대상 공간에 대한 관심 영역을 설명하기 위한 개념도이다.3 is a conceptual diagram for explaining a region of interest in a target space.
도 3을 참조하면, 본원의 일 실시예에 따른 포인트 클라우드 분류 장치(100)는 차량(1)으로부터 대상 공간(A)에 대한 인지 중요도를 기초로 설정된 기준 거리 내의 영역(달리 말해, 차량(1)의 특정 기준점으로부터 설정된 기준 거리 이내로 떨어진 영역) 중 카메라 모듈의 촬영 방향에 부합하는 영역을 관심 영역(도 3의 ROI)으로 설정할 수 있다. 여기서, 카메라 모듈의 촬영 방향은 카메라 모듈의 시야, FoV(Field of View) 등으로 달리 지칭될 수 있다.Referring to FIG. 3 , the point
구체적으로, 도 3을 참조하면, 관심 영역(ROI) 설정을 위하여 설정된 기준 거리는 50m일 수 있으나, 이에만 한정되는 것은 아니며, 차량(1)의 유형, 차량(1)이 주행중인 도로의 규모, 차량(1)의 주행 위치 정보 등에 기초하여 기준 거리는 상이하게 설정될 수 있으며, 차량(1)이 주행되는 도중에도 변동될 수 있다. 또한, 도 3의 12시에서 6시 방향을 x축이라 하고, 12시 방향을 차량의 전방이라 할 때, 차량(1)이 전진 구동 중인 경우, x≥0에 해당하는 영역이 카메라 모듈의 촬영 방향에 부합하는 영역으로 결정되므로, 도 3의 빗금친 영역인 x<0에 해당하는 영역은 관심 영역(ROI)에 포함되지 않을 수 있다. 이와 반대로, 차량(1)이 후진 구동 중인 경우에는, x<0에 해당하는 영역이 카메라 모듈의 촬영 방향에 부합하는 영역으로 관심 영역(ROI)에 포함되는 것일 수 있다.Specifically, referring to FIG. 3 , the reference distance set for setting the region of interest (ROI) may be 50 m, but is not limited thereto, and the type of
또한, 본원의 일 실시예에 따르면, 관심 영역(ROI) 설정을 위한 기준 거리 값은 차량(1)이 전진하는 경우의 기준 거리가 차량(1)이 후진하는 경우의 기준 거리보다 크게 설정될 수 있다. 이는, 차량(1)이 전진하는 경우 통상적으로 주행 속도가 후진하는 경우에 비해 빠르므로 보다 넓은 범위에 대한 객체 식별이 요구되기 때문일 수 있다. 이와 관련하여, 본원의 일 실시예에 따르면, 관심 영역(ROI) 설정을 위한 기준 거리 값은 차량(1)의 주행 속도 정보에 기초하여 결정되는 것일 수 있다. 예를 들어, 차량(1)의 주행 속도가 빠른 경우가 주행 속도가 상대적으로 느린 경우에 비하여 관심 영역(ROI) 설정을 위한 기준 거리 값이 크게 설정되는 것일 수 있다.In addition, according to an embodiment of the present application, the reference distance value for setting the region of interest (ROI) may be set such that the reference distance when the
또한, 포인트 클라우드 분류 장치(100)는 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 설정된 관심 영역에 포함되는 복수의 3차원 점을 추출할 수 있다.Also, the point
또한, 포인트 클라우드 분류 장치(100)는 추출된 복수의 3차원 점을 압축할 수 있다. 구체적으로, 본원의 일 실시예에 따르면, 포인트 클라우드 분류 장치(100)는 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용할 수 있다.Also, the point
도 4는 복셀 그리드 필터 기반의 다운 샘플링을 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining downsampling based on a voxel grid filter.
도 4를 참조하면, 라이다 센서로부터 수신되는 포인트 클라우드 입력은 차량(1)의 주변 환경에 따라 소정 영역에 대하여 수집된 3차원 점의 수가 다른 영역에 비하여 많거나 적을 수 있으므로, 포인트 클라우드 분류 장치(100)는 이를 고려하여 포인트 클라우드 입력 내의 복수의 3차원 점의 수를 필요에 따라 줄이는 다운 샘플링(Down Sampling)을 수행함으로써 포인트 클라우드 분류 장치(100)의 연산 부하를 감소시킬 수 있다.Referring to FIG. 4 , in the point cloud input received from the lidar sensor, the number of 3D points collected for a predetermined area may be greater or less than that of other areas according to the surrounding environment of the
여기서, 복셀(Voxel)이라는 용어는 2차원 이미지에서, 2차원 이미지를 구성하는 최소 단위(picture element)인 픽셀(pixel)을 3차원으로 확장한 것을 의미하며, 2차원 이미지에 비하여 깊이 정보를 더 포함하도록 결정될 수 있다.Here, the term voxel means that in a two-dimensional image, a pixel, which is the smallest unit (picture element) constituting a two-dimensional image, is expanded in three dimensions, and the depth information is more than that of a two-dimensional image. may be decided to include.
본원의 일 실시예에 따르면, 포인트 클라우드 분류 장치(100)는 결정된 관심 영역의 크기, 포인트 클라우드 입력 내의 복수의 3차원 점의 수, 포인트 클라우드 분류 장치(100)의 연산 성능, 실시간(real-time) 연산을 위해 요구되는 연산 속도 등에 기초하여 소정의 복셀 사이즈(Leaf Size)를 결정할 수 있다. 또한, 포인트 클라우드 분류 장치(100)는 결정된 복셀 사이즈(Leaf Size)에 부합하도록 분할된 복수의 복셀 각각에 포함된 3차원 점들을 해당 복셀에 대한 중심점(대표점)으로 치환할 수 있다. 예시적으로, 도 4를 참조하면, 포인트 클라우드 분류 장치(100)에 의해 도 4의 (a)에 도시된 5개의 3차원 점을 포함하는 복셀이 도 4의 (b)에 도시된 1개의 중심점(대표점)을 포함하는 복셀로 치환될 수 있다.According to an embodiment of the present application, the point
또한, 포인트 클라우드 분류 장치(100)는 대상 공간(A)에 대한 경사 정보에 기초하여 지반(지면)에 해당하는 복수의 3차원 점을 제거할 수 있다. 본원의 일 실시예에 따르면, 포인트 클라우드 분류 장치(100)는 차량(1)에 탑재된 GPS 센서, 방위 센서 등에 기초하여 파악되는 차량(1)의 위치 정보로부터 대상 공간(A)에 대한 경사 정보를 획득하거나 별도의 교통정보 수집 서버(미도시)로부터 대상 공간(A)에 대한 경사 정보를 획득하는 것일 수 있다. 이와 관련하여, 포인트 클라우드 분류 장치(100)는 차량(1)의 주행 시 회피해야 하는 객체(장애물)와 무관한 지반에 해당하는 복수의 3차원 점을 제거함으로써 포인트 클라우드 분류 장치(100)의 연산 부하를 감소시킬 수 있다.In addition, the point
또한, 포인트 클라우드 분류 장치(100)는 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 압축된 복수의 3차원 점을 군집화하여 복수의 포인터 클러스터로 이루어진 클러스터 데이터를 생성할 수 있다.Also, the point
도 5는 복수의 3차원 점 간의 밀도 정보에 기초한 군집화를 설명하기 위한 개념도이다.5 is a conceptual diagram illustrating clustering based on density information between a plurality of 3D points.
도 5를 참조하면, 본원의 일 실시예에 따른 포인트 클라우드 분류 장치(100)는 전술한 압축 과정을 거친 복수의 3차원 점에 대하여 DBSCAN(Density-based spatial clustering of applications with noise) 방식의 군집화(클러스터링)를 적용할 수 있다.Referring to FIG. 5 , the point
구체적으로, DBSCAN 방식의 군집화는 3차원 점들이 소정의 영역에 세밀하게 밀집되어 있어 해당 영역의 밀도가 높으면, 해당 영역을 하나의 포인트 클러스터로 묶는 프로세스를 의미할 수 있다. 이러한 DBSCAN 방식의 군집화는 군집의 형태가 제한되지 않으며, 군집의 수를 지정할 필요가 없다는 이점이 있으며, DBSCAN 방식의 군집화에 의할 때, 초기 데이터로부터 근접한 데이터를 반복하여 탐색해나가는 방식으로 군집(포인트 클러스터)을 결정하게 된다.Specifically, DBSCAN clustering may refer to a process of grouping the corresponding area into one point cluster when the density of the corresponding area is high because 3D points are densely clustered in a predetermined area. DBSCAN clustering has the advantage that the form of cluster is not limited and the number of clusters does not need to be specified. point cluster).
도 5의 (a)를 참조하면, 빨간색으로 표시된 3차원 점(예를 들어, A 점 등)은 코어 포인트(Core point)를 나타내고, 노란색으로 표시된 3차원 점(예를 들어, B점 및 C점)은 보더 포인트(Border point)를 나타내고, 파란색으로 표시된 3차원 점(예를 들어, N점)은 노이즈 포인트(Noise point)를 나타낸다.Referring to (a) of FIG. 5 , the three-dimensional point (eg, point A, etc.) indicated in red indicates a core point, and the three-dimensional point indicated in yellow (eg, point B and C). point) represents a border point, and a 3D point (eg, N point) indicated in blue represents a noise point.
이와 관련하여, 포인트 클라우드 장치(100)는 먼저 DBSCAN 방식의 군집화를 통해 위한 최소 거리(Eps) 및 최소 데이터 수(MinPts)를 설정하고, 특정 3차원 점으로부터 최소 거리(Eps) 내에 해당하는 이웃 영역에 최소 데이터 수(MinPts) 이상의 3차원 점이 있으면 해당 3차원 점은 코어 포인트가 되며, 코어 포인트의 이웃 영역 안에 있는 3차원 점을 해당 3차원 점과 연결된 3차원 점으로 정의하고, 새롭게 정의된 코어 포인트의 이웃 영역 내의 3차원 점을 마찬가지로 연결된 코어 포인트로 정의하게 된다. 만약 코어 포인트로 결정된 3차원 점에 더 이상 이웃이 없으면 이 3차원 점은 보더 포인트가 되며, 보더 포인트 및 코어 포인트 중 어디에도 속하지 않는 3차원 점을 노이즈 포인트로 결정한다. 즉, 포인트 클라우드 장치(100)는 설정된 최소 거리(Eps) 및 최소 데이터 수(MinPts)에 기초하여 적어도 하나 이상의 코어 포인트 및 보더 포인트를 포함하는 포인트 클러스터를 결정할 수 있다. In this regard, the
예시적으로 도 5의 (b)를 참조하면, 포인트 클라우드 분류 장치(100)는 파란색으로 표시된 3차원 점들을 포함하는 제1포인트 클러스터 및 빨간색으로 표시된 3차원 점들을 포함하는 제2포인트 클러스터를 포함하도록 압축된 복수의 3차원 점을 군집화하여 복수의 포인터 클러스터(제1포인트 클러스터 및 제2포인트 클러스터)로 이루어진 클러스터 데이터를 생성할 수 있다.Exemplarily referring to FIG. 5B , the point
다만, 포인트 클라우드 분류 장치(100)가 활용하는 군집화 방식은 상술한 DBSCAN 방식에 한정되는 것은 아니며, 본원의 구현예에 따라 K-평균 군집화(K-means clustering) 방식 등 종래에 이미 공지되었거나 향후 개발되는 다양한 군집화 알고리즘이 적용될 수 있다.However, the clustering method utilized by the point
다음으로, 전술한 포인트 이미지 처리(Image Processing) 과정에서, 포인트 클라우드 분류 장치(100)는 카메라 모듈(미도시)로부터 획득된 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 수신된 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출할 수 있다.Next, in the above-described point image processing (Image Processing) process, the point
도 6a는 영상 입력에 의미론적 영역 분할을 적용하여 픽셀마다 도출되는 객체 분류 데이터를 나타낸 도면이고, 도 6b는 영상 입력으로부터 객체 분류 데이터를 도출하기 위하여 객체의 각각의 유형마다 할당된 색상을 예시적으로 나타낸 도면이다.6A is a diagram illustrating object classification data derived for each pixel by applying semantic region segmentation to an image input, and FIG. 6B is an example of a color assigned to each type of object in order to derive object classification data from an image input It is a drawing shown as
도 6a 및 도 6b를 참조하면, 포인트 클라우드 분류 장치(100)는 딥러닝 기반의 의미론적 영역 분할 기법을 통해 영상 입력에서 등장하는 객체에 대한 객체 분류 작업을 수행하고, 객체 분류 작업 결과에 기초하여 분류된 객체의 각각의 유형마다 할당된 색상을 객체가 탐색된 영역 내의 픽셀들에 대하여 할당할 수 있다. 여기서, 딥러닝 기반의 의미론적 영역 분할(Semantic Segmentation) 기법이란 이미지 내에서 특정 객체(도로, 나무, 건물, 자동차 등)을 검출하기 위하여 검출할 객체(달리 말해, 등장 가능한 객체)의 유형을 미리 정의하고, 정의된 객체를 탐색하도록 사전에 학습시켜 놓은 인공지능 알고리즘을 통해 입력된 영상 입력에서 탐색된 객체들 각각에 해당하는 영역이 구분될 수 있도록 영상 입력을 분할하는 것을 의미할 수 있다.6A and 6B , the point
또한, 도 6b를 참조하면, 포인트 클라우드 분류 장치(100)가 고려하는 영상 입력 내에서 등장 가능한 객체는 차도(road), 인도(sidewalk), 건물(building), 담벼락(wall), 울타리(fence), 장대(pole), 차량 라이트(t-light), 교통 신호(t-sign), 초목(vegetation), 토양(terrain), 하늘(sky), 보행자(person), 탑승자(rider), 차량(car), 트럭(truck), 버스(bus), 기차(train), 모터사이클(motorcycle), 자전거(bicycle) 등을 포함할 수 있으나, 이에만 한정되는 것은 아니다. 또한, 도 6b에 도시된 등장 객체 별로 할당된 구체적인 색상 유형은 예시적인 것으로 이해되어야 한다.Also, referring to FIG. 6B , objects that can appear within the image input considered by the point
본원의 일 실시예에 따르면, 포인트 클라우드 분류 장치(100)는 MobileNet-2기반의 DeepLabv3 모델 중 MS-COCO, Cityscapes 데이터 셋을 바탕으로 사전 훈련된 인공지능 알고리즘을 사용하여 수신된 영상 입력의 각각의 픽셀 마다의 객체 분류 데이터를 도출하는 것일 수 있으나, 이에만 한정되는 것은 아니고 종래에 이미 공지되었거나 향후 개발되는 다양한 의미론적 영역 분할 알고리즘이 적용될 수 있다. 이와 관련하여, 포인트 클라우드 분류 장치(100)가 전술한 MobileNet-2 기반의 비교적 가벼운 심층 신경망을 활용하여 객체 분류 데이터를 도출하는 경우, 추론시간 개선을 통한 빠른 연산 속도를 확보할 수 있는 이점이 있다.According to an embodiment of the present application, the point
다음으로, 앞서 설명한 과정들을 통해 도출된 클러스터 데이터와 객체 분류 데이터를 통해 포인터 클러스터에 객체 라벨을 할당하여 포인트 클라우드 입력을 최종 분류하는 데이터 융합(Data Fusion) 과정에서 포인트 클라우드 분류 장치(100)는 획득된 클러스터 데이터 및 객체 분류 데이터를 동기화할 수 있다. 여기서, 동기화는 클러스터 데이터와 객체 분류 데이터가 수집되거나 촬영된 시점을 허용 오차 범위 이내로 동기화하는 타임 스탬프 동기화를 의미하는 것일 수 있다.Next, in the data fusion process of finally classifying the point cloud input by allocating an object label to the pointer cluster through the cluster data and object classification data derived through the above-described processes, the point
또한, 포인트 클라우드 분류 장치(100)는 미리 설정된 캘리브레이션 파라미터를 활용하여 동기화된 클러스터 데이터를 대응되는 객체 분류 데이터와 연계된 소정의 영상 좌표계로 맵핑할 수 있다. 달리 말해, 포인트 클라우드 분류 장치(100)는 클러스터 데이터 내의 복수의 3차원 점(포인트)들과 객체 분류 데이터 내의 픽셀들을 미리 설정되어 있는 소정의 계산식에 의하여 매칭할 수 있다. Also, the point
또한, 포인트 클라우드 분류 장치(100)는 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅(Voting) 알고리즘을 적용하여 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정할 수 있다.Also, the point
여기서, 보팅(Voting) 알고리즘은 서로 다른 방식의 알고리즘을 결합하기 위한 앙상블(Ensemble) 기법을 의미하며, 본원에서는 포인트 클라우드 입력에 대한 포인터 클러스터 군집화 결과와 영상 입력에 대한 픽셀 별 객체 분류 결과를 결합하기 위한 프로세스를 수행하는 알고리즘을 의미할 수 있다.Here, the voting algorithm refers to an ensemble technique for combining different types of algorithms, and in the present application, a pointer cluster clustering result for a point cloud input and a pixel-by-pixel object classification result for an image input are combined. It may mean an algorithm that performs a process for
구체적으로, 본원의 일 실시예에 따르면, 클러스터 데이터와 객체 분류 데이터가 소정의 영상 좌표계로 맵핑되고 나면, 클러스터 데이터에 포함된 포인트 클러스터 각각에 포함된 복수의 3차원 점들 각각에 대하여 객체 분류 데이터 내의 복수의 픽셀들 각각이(의미론적 영상 분할 결과에 따른 라벨이) 매칭될 수 있다. 달리 말해, 하나의 포인트 클러스터에 대하여 여러 개의 픽셀들이 매칭될 수 있으며, 이 때 매칭된 픽셀들이 모두 동일한 객체에 대한 것이 아닐 수 있으므로(달리 말해, 하나의 포인트 클러스터에 대하여 매칭된 픽셀들일지라도 픽셀들에 할당된 색상이 해당 포인트 클러스터 내에서 통일되지 않을 수 있으므로), 포인트 클라우드 분류 장치(100)는 보팅 알고리즘을 통해 하나의 포인트 클러스터에 대하여 합의된 객체 라벨을 선정할 수 있다.Specifically, according to an embodiment of the present application, after the cluster data and the object classification data are mapped to a predetermined image coordinate system, for each of a plurality of 3D points included in each point cluster included in the cluster data, within the object classification data Each of the plurality of pixels (a label according to a result of semantic image segmentation) may be matched. In other words, multiple pixels may be matched for one point cluster, where the matched pixels may not all be for the same object (in other words, even pixels matched for one point cluster may be (since the color assigned to may not be uniform within the corresponding point cluster), the point
예시적으로, 클러스터 데이터와 객체 분류 데이터의 맵핑 결과, 10개의 3차원 점을 포함하는 특정 포인트 클러스터에 대하여 9개의 점은 제1객체에 대응하는 픽셀(의미론적 영상 분할 기법에 따른 제1 객체 라벨)들에 매칭되고, 1개의 점이 제2객체에 대응하는 픽셀(의미론적 영상 분할 기법에 따른 제2 객체 라벨)에 매칭되었다고 가정하면, 포인트 클라우드 분류 장치(100)는 보팅 알고리즘을 통해 해당 포인트 클러스터에 대하여는 제1객체에 해당하는 객체 라벨을 선정할 수 있다.Exemplarily, as a result of mapping the cluster data and object classification data, 9 points for a specific point cluster including 10 3D points are pixels corresponding to the first object (first object label according to the semantic image segmentation technique) ), and assuming that one point is matched with a pixel (second object label according to a semantic image segmentation technique) corresponding to the second object, the point
도 7은 포인트 클라우드 입력을 이루는 포인터 클러스터 각각에 대한 객체 라벨이 선정된 상태를 나타낸 도면이다.7 is a diagram illustrating a state in which an object label for each pointer cluster constituting a point cloud input is selected.
도 7을 참조하면, 포인트 클라우드 분류 장치(100)는 선정된 객체 라벨에 기초하여 각각의 클러스터 데이터를 객체 별로 분류할 수 있다.Referring to FIG. 7 , the point
구체적으로, 도 7과 도 6b를 함께 참조하면, 도 7의 좌측 영역(도 7 기준 9시 영역)에서는 초목(vegetation)에 해당하는 객체 라벨이 선정된 포인트 클러스터가 나타나고, 도 7의 우측 영역(도 7 기준 3시 영역)에서는 차량(car) 및 건물(building) 각각에 해당하는 객체 라벨이 선정된 포인트 클러스터가 나타난 것으로 이해될 수 있다. Specifically, referring to FIGS. 7 and 6B together, a point cluster in which an object label corresponding to vegetation is selected appears in the left area of FIG. It can be understood that in the 3 o'clock region of FIG. 7 ), a point cluster in which object labels corresponding to cars and buildings are selected respectively appear.
또한, 포인트 클라우드 분류 장치(100)는 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 시각화하여 표시할 수 있다.Also, the point
도 8a는 본원의 일 실시예에 따른 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 2차원으로 시각화하여 나타낸 도면이고, 도 8b는 본원의 일 실시예에 따른 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 3차원으로 시각화하여 나타낸 도면이다.8A is a diagram showing two-dimensionally visualizing cluster data classified based on a selected object label according to an embodiment of the present application, and FIG. It is a diagram showing the three-dimensional visualization of cluster data.
도 8a를 참조하면, 포인트 클라우드 분류 장치(100)는 영상 입력에 해당하는 2차원 이미지 상에 객체 라벨에 기초하여 분류된 클러스터 데이터가 오버레이되는 형태로 분류 결과를 시각화할 수 있다.Referring to FIG. 8A , the point
또한, 도 8b를 참조하면, 포인트 클라우드 분류 장치(100)는 포인트 클라우드 입력에 해당하는 복수의 3차원 점들을 포함하는 3차원 이미지 상에서 선정된 객체 라벨에 기초하여 포인트 클러스터들에 색상을 입힌 형태로 분류 결과를 시각화할 수 있다.In addition, referring to FIG. 8B , the point
본원의 일 실시예에 따르면, 포인트 클라우드 분류 장치(100)는 차량(1) 내부에 탑재된 별도의 디스플레이 모듈(미도시)에 시각화한 분류 결과가 표시되도록 할 수 있다. 예를 들어, 포인트 클라우드 분류 장치(100)는 차량(1) 내부에 탑재된 블랙박스 디바이스에서 촬영된 실시간 영상에 객체 라벨에 기초하여 분류된 클러스터 데이터가 오버레이되어 출력되어 운전자가 이를 시각적으로 확인할 수 있도록 구현될 수 있다.According to an embodiment of the present application, the point
또한, 포인트 클라우드 분류 장치(100)는 차량(1)에 탑재된 별도의 첨단 운전자 보조체계(Advanced Driver Assistance System, ADAS) 시스템 또는 자율 주행(Autonomous Vehicle) 시스템에 포인트 클러스터 각각을 객체 별로 분류한 결과를 제공함으로써 첨단 운전자 보조체계 시스템 또는 자율 주행 시스템이 객체 탐지 결과를 고려하여 주행 속도, 주행 방향 등을 제어하거나 운전자의 주의를 환기할 수 있는 알림을 출력하도록 동작하도록 지원할 수 있다.In addition, the point
도 9는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 개략적인 구성도이다.9 is a schematic configuration diagram of a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
도 9를 참조하면, 포인트 클라우드 분류 장치(100)는, 입력부(110), 포인트 클라우드 처리부(120), 이미지 처리부(130) 및 데이터 융합부(140)를 포함할 수 있다.Referring to FIG. 9 , the point
입력부(110)는, 대상 공간(A) 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 대상 공간(A)에 대한 영상 입력을 수신할 수 있다.The
포인트 클라우드 처리부(120)는 대상 공간(A) 내의 관심 영역에 위치한 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출할 수 있다.The point
도 10a는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 포인트 클라우드 처리부의 세부 구성도이다.10A is a detailed configuration diagram of a point cloud processing unit of an apparatus for classifying a point cloud using a semantic image according to an embodiment of the present application.
도 10a를 참조하면, 포인트 클라우드 처리부(120)는 관심 영역 추출부(121), 데이터 압축부(122) 및 군집화부(123)를 포함할 수 있다.Referring to FIG. 10A , the point
관심 영역 추출부(121)는 대상 공간에 대한 인지 중요도 및 영상 입력에 대한 시야 정보를 기초로 상기 관심 영역을 설정할 수 있다. 또한, 관심 영역 추출부(121)는 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 관심 영역에 포함되는 복수의 3차원 점을 추출할 수 있다.The region of
데이터 압축부(122)는 추출된 복수의 3차원 점을 압축할 수 있다. 본원의 일 실시예에 따르면, 데이터 압축부(122)는 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용하는 샘플링부(미도시) 및 대상 공간에 대한 경사 정보에 기초하여 지반에 해당하는 복수의 3차원 점을 제거하는 지반 제거부(미도시)를 포함할 수 있다.The
군집화부(123)는 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 데이터 압축부(122)에 의해 압축된 복수의 3차원 점을 군집화할 수 있다.The
이미지 처리부(130)는 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출할 수 있다.The
데이터 융합부(140)는 클러스터 데이터 및 객체 분류 데이터에 기초하여 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 포인트 클라우드 입력을 객체 별로 분류할 수 있다.The
도 10b는 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 장치의 데이터 융합부의 세부 구성도이다.10B is a detailed configuration diagram of a data fusion unit of a point cloud classification apparatus using a semantic image according to an embodiment of the present application.
도 10b를 참조하면, 데이터 융합부(140)는 동기화부(141), 변환부(142), 라벨 선정부(143) 및 라벨 매칭부(144)를 포함할 수 있다.Referring to FIG. 10B , the
동기화부(141)는 클러스터 데이터 및 객체 분류 데이터를 동기화할 수 있다.The
변환부(142)는 미리 설정된 캘리브레이션 파라미터를 활용하여 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑할 수 있다.The
라벨 선정부(143)는 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅(Voting) 알고리즘을 적용하여 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정할 수 있다.The
라벨 매칭부(144)는 선정된 객체 라벨에 기초하여 클러스터 데이터를 객체 별로 분류할 수 있다.The
또한, 도면에는 도시되지 않았으나, 본원의 일 실시예에 따른 포인트 클라우드 분류 장치(100)는 선정된 객체 라벨에 기초하여 분류된 클러스터 데이터를 시각화하는 시각화부(미도시)를 포함할 수 있다.In addition, although not shown in the drawings, the point
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Hereinafter, an operation flow of the present application will be briefly reviewed based on the details described above.
도 11은 본원의 일 실시예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법에 대한 동작 흐름도이다.11 is an operation flowchart of a point cloud classification method using a semantic image according to an embodiment of the present application.
도 11에 도시된 의미론적 영상을 활용한 포인트 클라우드 분류 방법은 앞서 설명된 포인트 클라우드 분류 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 포인트 클라우드 분류 장치(100)에 대하여 설명된 내용은 의미론적 영상을 활용한 포인트 클라우드 분류 방법에 대한 설명에도 동일하게 적용될 수 있다.The point cloud classification method using the semantic image shown in FIG. 11 may be performed by the point
도 11을 참조하면, 단계 S1110에서 입력부(110)는 대상 공간(A) 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 대상 공간(A)에 대한 영상 입력을 수신할 수 있다. 여기서, 대상 공간(A)은 차량(1)에 대한 인접 영역을 의미할 수 있다.Referring to FIG. 11 , in step S1110 , the
또한, 단계 S1110에서 입력부(110)는 차량(1)에 탑재된 라이다 센서로부터 대상 공간(A)에 대한 포인트 클라우드 입력을 수신할 수 있다. 또한, 입력부(110)는 차량(1)에 탑재된 카메라 모듈로부터 대상 공간(A)에 대한 영상 입력을 수신할 수 있다.Also, in step S1110 , the
다음으로, 단계 S1120에서 포인트 클라우드 분류 장치(100)는 영상 입력에 대한 의미론적 영역 분할 결과에 기초하여 포인트 클라우드 입력에 포함된 포인트 클러스터 각각을 객체를 기준으로 분류할 수 있다.Next, in step S1120 , the point
상술한 설명에서, 단계 S1110 및 S1120은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S1110 and S1120 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application. In addition, some steps may be omitted if necessary, and the order between steps may be changed.
도 12는 포인트 클라우드 입력에 포함된 포인트 클러스터를 객체를 기준으로 분류하는 단계에 대한 세부 동작 흐름도이다.12 is a detailed operation flowchart of a step of classifying a point cluster included in a point cloud input based on an object.
도 12에 도시된 포인트 클러스터를 객체를 기준으로 분류하는 단계는 앞서 설명된 포인트 클라우드 분류 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 포인트 클라우드 분류 장치(100)에 대하여 설명된 내용은 도 12에 대한 설명에도 동일하게 적용될 수 있다.The step of classifying the point cluster shown in FIG. 12 based on the object may be performed by the point
도 12를 참조하면, 단계 S1210에서 포인트 클라우드 처리부(120)는 대상 공간(A) 내의 관심 영역에 위치한 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출할 수 있다.Referring to FIG. 12 , in step S1210 , the point
또한, 단계 S1210에서 포인트 클라우드 처리부(120)의 관심 영역 추출부(121)는 공간(A)에 대한 인지 중요도 및 영상 입력에 대한 시야 정보를 기초로 관심 영역을 설정할 수 있다. 구체적으로, 관심 영역 추출부(121)는 차량(1)으로부터 대상 공간(A)에 대한 인지 중요도를 기초로 설정된 기준 거리 내의 영역 중 카메라 모듈의 촬영 방향에 부합하는 영역을 관심 영역으로 설정할 수 있다.Also, in step S1210 , the region of
또한, 단계 S1210에서 포인트 클라우드 처리부(120)의 관심 영역 추출부(121)는 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 관심 영역에 포함되는 복수의 3차원 점을 추출할 수 있다.Also, in step S1210 , the region of
또한, 단계 S1210에서 포인트 클라우드 처리부(120)의 데이터 압축부(122)는 추출된 복수의 3차원 점을 압축할 수 있다. 구체적으로, 데이터 압축부(122)는 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용할 수 있다. 또한, 데이터 압축부(122)는 대상 공간(A)에 대한 경사 정보에 기초하여 지반에 해당하는 복수의 3차원 점을 제거할 수 있다.Also, in step S1210 , the
또한, 단계 S1210에서 포인트 클라우드 처리부(120)의 군집화부(123)는 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 압축된 복수의 3차원 점을 군집화할 수 있다.Also, in step S1210, the
다음으로, 단계 S1220에서 이미지 처리부(130)는 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출할 수 있다.Next, in step S1220 , the
다음으로, 단계 S1230에서 데이터 융합부(140)는 클러스터 데이터 및 객체 분류 데이터에 기초하여 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 포인트 클라우드 입력을 객체 별로 분류할 수 있다.Next, in step S1230, the
또한, 단계 S1230에서 데이터 융합부(140)의 동기화부(141)는 클러스터 데이터 및 객체 분류 데이터를 동기화할 수 있다.Also, in step S1230, the
또한, 단계 S1230에서 데이터 융합부(140)의 변환부(142)는 미리 설정된 캘리브레이션 파라미터를 활용하여 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑할 수 있다.Also, in step S1230 , the
또한, 단계 S1230에서 데이터 융합부(140)의 라벨 선정부(143)는 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅 알고리즘을 적용하여 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정할 수 있다.Also, in step S1230, the
또한, 단계 S1230에서 데이터 융합부(140)의 라벨 매칭부(144)는 선정된 객체 라벨에 기초하여 클러스터 데이터를 객체 별로 분류할 수 있다.Also, in step S1230, the
상술한 설명에서, 단계 S1210 내지 S1230은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S1210 to S1230 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present application. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.
본원의 일 실시 예에 따른 의미론적 영상을 활용한 포인트 클라우드 분류 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The point cloud classification method using a semantic image according to an embodiment of the present application may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 전술한 의미론적 영상을 활용한 포인트 클라우드 분류 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.In addition, the point cloud classification method using the above-described semantic image may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present application is for illustration, and those of ordinary skill in the art to which the present application pertains will understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present application.
10: 의미론적 영상을 활용한 포인트 클라우드 분류 장치를 포함하는 인지 시스템
100: 의미론적 영상을 활용한 포인트 클라우드 분류 장치
110: 입력부
120: 포인트 클라우드 처리부
121: 관심 영역 추출부
122: 데이터 압축부
123: 군집화부
130: 이미지 처리부
140: 데이터 융합부
141: 동기화부
142: 변환부
143: 라벨 선정부
144: 라벨 매칭부
20: 네트워크
1: 차량
A: 대상 공간10: Cognitive system including point cloud classification device using semantic image
100: Point cloud classification device using semantic images
110: input unit
120: point cloud processing unit
121: region of interest extraction unit
122: data compression unit
123: clustering department
130: image processing unit
140: data fusion unit
141: synchronization unit
142: conversion unit
143: label selection unit
144: label matching unit
20: network
1: vehicle
A: target space
Claims (15)
대상 공간 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 상기 대상 공간에 대한 영상 입력을 수신하는 단계; 및
상기 영상 입력에 대한 의미론적 영역 분할 결과에 기초하여 상기 포인트 클라우드 입력에 포함된 포인트 클러스터 각각을 상기 객체를 기준으로 분류하는 단계,
를 포함하고,
상기 분류하는 단계는,
상기 대상 공간 내의 관심 영역에 위치한 상기 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출하는 단계,
를 포함하고,
상기 클러스터 데이터를 도출하는 단계는,
차량에 대한 인접 영역인 상기 대상 공간의 기준 거리 이내의 영역 중 상기 영상 입력을 획득하기 위하여 상기 차량에 탑재되는 카메라 모듈의 촬영 방향에 부합하는 영역을 상기 관심 영역으로 설정하는 단계;
상기 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 상기 관심 영역에 포함되는 복수의 3차원 점을 추출하는 단계;
상기 차량에 탑재된 센서 및 교통정보 수집 서버 중 적어도 하나로부터 획득된 상기 대상 공간에 대한 경사 정보에 기초하여 상기 포인트 클라우드 입력으로부터 지반에 해당하는 복수의 3차원 점을 제거하고 상기 추출된 복수의 3차원 점을 압축하는 단계; 및
상기 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 상기 압축된 복수의 3차원 점을 군집화하는 단계,
를 포함하고,
상기 기준 거리는 상기 대상 공간에 대한 인지 중요도를 기초로 하여 설정되되, 상기 차량의 유형, 상기 차량이 주행 중인 도로의 규모, 상기 차량의 주행 위치 정보 및 상기 차량의 전진 또는 후진 이동 여부 중 적어도 하나를 고려하여 설정되는 것을 특징으로 하고,
상기 군집화하는 단계는,
미리 설정된 최소 거리 및 최소 데이터 수에 기초하여 상기 압축된 복수의 3차원 점 각각을 코어 포인트, 보더 포인트 및 노이즈 포인트로 분류하고, 상기 코어 포인트 및 상기 보더 포인트를 포함하는 포인트 클러스터를 결정하는 DBSCAN(Density-based spatial clustering of applications with noise) 방식의 군집화를 적용하는 것인, 포인트 클라우드 분류 방법.In a point cloud classification method using a semantic image,
Receiving a point cloud input including a plurality of 3D points for an object in a target space and an image input for the target space; and
classifying each of the point clusters included in the point cloud input based on the object based on a result of semantic region division of the image input;
including,
The classification step is
deriving cluster data obtained by clustering a plurality of three-dimensional points on the object located in the region of interest in the target space according to a predetermined criterion;
including,
The step of deriving the cluster data comprises:
setting, as the region of interest, a region corresponding to a photographing direction of a camera module mounted on the vehicle in order to acquire the image input among regions within a reference distance of the target space, which is a region adjacent to the vehicle;
extracting a plurality of 3D points included in the ROI from among a plurality of 3D points included in the point cloud input;
A plurality of three-dimensional points corresponding to the ground are removed from the point cloud input based on inclination information for the target space obtained from at least one of a sensor mounted on the vehicle and a traffic information collection server, and the extracted three compressing dimensional points; and
clustering the compressed plurality of three-dimensional points based on density information between the compressed plurality of three-dimensional points;
including,
The reference distance is set based on the perceived importance of the target space, at least one of the type of the vehicle, the scale of the road on which the vehicle is traveling, driving location information of the vehicle, and whether the vehicle moves forward or backward It is characterized in that it is set taking into account,
The clustering step is
DBSCAN ( Density-based spatial clustering of applications with noise) method of applying clustering, a point cloud classification method.
상기 분류하는 단계는,
상기 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 상기 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출하는 단계; 및
상기 클러스터 데이터 및 상기 객체 분류 데이터에 기초하여 상기 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 상기 포인트 클라우드 입력을 객체 별로 분류하는 단계,
를 더 포함하는 것인, 포인트 클라우드 분류 방법.According to claim 1,
The classification step is
deriving object classification data for each pixel of the image input by applying deep learning-based semantic region segmentation to the image input; and
classifying the point cloud input for each object by selecting an object label for each point cluster of the cluster data based on the cluster data and the object classification data;
Further comprising a, point cloud classification method.
상기 압축하는 단계는,
상기 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용하는 단계,
를 포함하는 것인, 포인트 클라우드 분류 방법.According to claim 1,
The compressing step is
applying down-sampling based on a voxel grid filter to the plurality of extracted three-dimensional points;
That comprising a, point cloud classification method.
상기 포인트 클라우드 입력을 객체 별로 분류하는 단계는,
상기 클러스터 데이터 및 상기 객체 분류 데이터를 동기화하는 단계;
미리 설정된 캘리브레이션 파라미터를 활용하여 상기 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑하는 단계;
상기 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅 알고리즘을 적용하여 상기 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정하는 단계; 및
상기 선정된 객체 라벨에 기초하여 상기 클러스터 데이터를 객체 별로 분류하는 단계,
를 포함하는 것인, 포인트 클라우드 분류 방법.3. The method of claim 2,
Classifying the point cloud input for each object comprises:
synchronizing the cluster data and the object classification data;
mapping the synchronized cluster data to a predetermined image coordinate system using a preset calibration parameter;
selecting an object label indicating an object corresponding to each of the point clusters by applying a voting algorithm to each of the point clusters of the mapped cluster data; and
classifying the cluster data for each object based on the selected object label;
That comprising a, point cloud classification method.
상기 수신하는 단계는,
상기 차량에 탑재된 라이다 센서로부터 상기 대상 공간에 대한 포인트 클라우드 입력을 수신하고, 상기 카메라 모듈로부터 상기 대상 공간에 대한 영상 입력을 수신하는 것인, 포인트 클라우드 분류 방법.6. The method of claim 5,
The receiving step is
A point cloud classification method for receiving a point cloud input for the target space from a lidar sensor mounted on the vehicle, and receiving an image input for the target space from the camera module.
상기 선정된 객체 라벨에 기초하여 분류된 상기 클러스터 데이터를 시각화하여 표시하는 단계,
를 더 포함하는 것인, 포인트 클라우드 분류 방법.6. The method of claim 5,
Visualizing and displaying the cluster data classified based on the selected object label;
Further comprising a, point cloud classification method.
대상 공간 내의 객체에 대한 복수의 3차원 점을 포함하는 포인트 클라우드 입력 및 상기 대상 공간에 대한 영상 입력을 수신하는 입력부;
상기 대상 공간 내의 관심 영역에 위치한 상기 객체에 대한 복수의 3차원 점을 소정의 기준에 따라 군집화한 클러스터 데이터를 도출하는 포인트 클라우드 처리부;
상기 영상 입력에 딥러닝 기반의 의미론적 영역 분할을 적용하여 상기 영상 입력의 각각의 픽셀마다의 객체 분류 데이터를 도출하는 이미지 처리부; 및
상기 클러스터 데이터 및 상기 객체 분류 데이터에 기초하여 상기 클러스터 데이터의 포인트 클러스터 각각에 대한 객체 라벨을 선정하여 상기 포인트 클라우드 입력을 객체 별로 분류하는 데이터 융합부,
를 포함하고,
상기 포인트 클라우드 처리부는,
차량에 대한 인접 영역인 상기 대상 공간의 기준 거리 이내의 영역 중 상기 영상 입력을 획득하기 위하여 상기 차량에 탑재되는 카메라 모듈의 촬영 방향에 부합하는 영역을 상기 관심 영역으로 설정하고, 상기 포인트 클라우드 입력에 포함된 복수의 3차원 점 중에서 상기 관심 영역에 포함되는 복수의 3차원 점을 추출하는 관심 영역 추출부;
상기 차량에 탑재된 센서 및 교통정보 수집 서버 중 적어도 하나로부터 획득된 상기 대상 공간에 대한 경사 정보에 기초하여 상기 포인트 클라우드 입력으로부터 지반에 해당하는 복수의 3차원 점을 제거하는 지반 제거부를 포함하고, 상기 추출된 복수의 3차원 점을 압축하는 데이터 압축부; 및
상기 압축된 복수의 3차원 점 간의 밀도 정보에 기초하여 상기 압축된 복수의 3차원 점을 군집화하는 군집화부,
를 포함하고,
상기 기준 거리는 상기 대상 공간에 대한 인지 중요도를 기초로 하여 설정되되, 상기 차량의 유형, 상기 차량이 주행 중인 도로의 규모, 상기 차량의 주행 위치 정보 및 상기 차량의 전진 또는 후진 이동 여부 중 적어도 하나를 고려하여 설정되는 것을 특징으로 하고,
상기 군집화부는,
미리 설정된 최소 거리 및 최소 데이터 수에 기초하여 상기 압축된 복수의 3차원 점 각각을 코어 포인트, 보더 포인트 및 노이즈 포인트로 분류하고, 상기 코어 포인트 및 상기 보더 포인트를 포함하는 포인트 클러스터를 결정하는 DBSCAN(Density-based spatial clustering of applications with noise) 방식의 군집화를 적용하는 것인, 포인트 클라우드 분류 장치.In a point cloud classification device using a semantic image,
an input unit for receiving a point cloud input including a plurality of 3D points for an object in a target space and an image input for the target space;
a point cloud processing unit for deriving cluster data obtained by clustering a plurality of three-dimensional points on the object located in the region of interest in the target space according to a predetermined criterion;
an image processing unit for deriving object classification data for each pixel of the image input by applying deep learning-based semantic region segmentation to the image input; and
a data fusion unit that selects an object label for each point cluster of the cluster data based on the cluster data and the object classification data and classifies the point cloud input for each object;
including,
The point cloud processing unit,
In order to acquire the image input, among regions within a reference distance of the target space, which is an area adjacent to a vehicle, a region corresponding to a photographing direction of a camera module mounted on the vehicle is set as the region of interest, and the point cloud input is an ROI extracting unit for extracting a plurality of 3D points included in the ROI from among a plurality of included 3D points;
A ground removal unit for removing a plurality of three-dimensional points corresponding to the ground from the point cloud input based on inclination information for the target space obtained from at least one of a sensor mounted on the vehicle and a traffic information collection server, a data compression unit for compressing the plurality of extracted three-dimensional points; and
a clustering unit for clustering the compressed plurality of three-dimensional points based on density information between the plurality of compressed three-dimensional points;
including,
The reference distance is set based on the perceived importance of the target space, at least one of the type of the vehicle, the scale of the road on which the vehicle is traveling, driving location information of the vehicle, and whether the vehicle moves forward or backward It is characterized in that it is set taking into account,
The clustering unit,
DBSCAN ( Density-based spatial clustering of applications with noise) to apply the method of clustering, point cloud classification device.
상기 데이터 압축부는,
상기 추출된 복수의 3차원 점에 대하여 복셀 그리드 필터 기반의 다운 샘플링을 적용하는 샘플링부,
를 포함하는 것인, 포인트 클라우드 분류 장치.10. The method of claim 9,
The data compression unit,
a sampling unit that applies down-sampling based on a voxel grid filter to the plurality of extracted three-dimensional points;
That comprising a, point cloud classification device.
상기 데이터 융합부는,
상기 클러스터 데이터 및 상기 객체 분류 데이터를 동기화하는 동기화부;
미리 설정된 캘리브레이션 파라미터를 활용하여 상기 동기화된 클러스터 데이터를 소정의 영상 좌표계로 맵핑하는 변환부;
상기 맵핑된 클러스터 데이터의 포인트 클러스터 각각에 대하여 보팅 알고리즘을 적용하여 상기 포인트 클러스터 각각에 대응되는 객체를 나타내는 객체 라벨을 선정하는 라벨 선정부; 및
상기 선정된 객체 라벨에 기초하여 상기 클러스터 데이터를 객체 별로 분류하는 라벨 매칭부,
를 포함하는 것인, 포인트 클라우드 분류 장치.10. The method of claim 9,
The data fusion unit,
a synchronization unit for synchronizing the cluster data and the object classification data;
a conversion unit that maps the synchronized cluster data to a predetermined image coordinate system by using a preset calibration parameter;
a label selector for selecting an object label representing an object corresponding to each of the point clusters by applying a voting algorithm to each of the point clusters of the mapped cluster data; and
a label matching unit for classifying the cluster data for each object based on the selected object label;
That comprising a, point cloud classification device.
상기 입력부는,
상기 차량에 탑재된 라이다 센서로부터 상기 대상 공간에 대한 포인트 클라우드 입력을 수신하고, 상기 카메라 모듈로부터 상기 대상 공간에 대한 영상 입력을 수신하는 것인, 포인트 클라우드 분류 장치.13. The method of claim 12,
The input unit,
The point cloud classification apparatus that receives a point cloud input for the target space from a lidar sensor mounted on the vehicle, and receives an image input for the target space from the camera module.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026097A KR102338665B1 (en) | 2020-03-02 | 2020-03-02 | Apparatus and method for classficating point cloud using semantic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026097A KR102338665B1 (en) | 2020-03-02 | 2020-03-02 | Apparatus and method for classficating point cloud using semantic image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210111052A KR20210111052A (en) | 2021-09-10 |
| KR102338665B1 true KR102338665B1 (en) | 2021-12-10 |
Family
ID=77777427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200026097A KR102338665B1 (en) | 2020-03-02 | 2020-03-02 | Apparatus and method for classficating point cloud using semantic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102338665B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102459778B1 (en) * | 2022-05-12 | 2022-10-31 | 주식회사 유오케이 | Method for change detection using lidar and camera and computer program recorded on record-medium for executing method therefor |
| WO2023153758A1 (en) * | 2022-02-08 | 2023-08-17 | 엘지전자 주식회사 | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838125A (en) * | 2021-09-17 | 2021-12-24 | 中国第一汽车股份有限公司 | Target position determining method and device, electronic equipment and storage medium |
| KR102654087B1 (en) * | 2021-11-02 | 2024-04-02 | 연세대학교 산학협력단 | 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object |
| WO2023101510A1 (en) * | 2021-12-02 | 2023-06-08 | 엘지전자 주식회사 | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| WO2023136661A1 (en) * | 2022-01-13 | 2023-07-20 | Samsung Electronics Co., Ltd. | Methods and systems for interacting with 3d ar objects from a scene |
| KR102597652B1 (en) * | 2023-03-17 | 2023-11-03 | 주식회사 와따 | 3d point cloud clustering and deep learning convergence enhanced object detection recogniton method, computing device and computer program |
| CN116071283B (en) * | 2023-04-07 | 2023-06-16 | 湖南腾琨信息科技有限公司 | Three-dimensional point cloud image fusion method based on computer vision |
| CN117649632B (en) * | 2024-01-29 | 2024-05-07 | 杭州感想科技有限公司 | Expressway event identification method and device based on multi-source traffic data |
| CN117706942B (en) * | 2024-02-05 | 2024-04-26 | 四川大学 | Environment sensing and self-adaptive driving auxiliary electronic control method and system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101899549B1 (en) | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof |
| KR101907883B1 (en) * | 2017-05-10 | 2018-10-16 | 국방과학연구소 | Object detection and classification method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102109941B1 (en) * | 2018-01-23 | 2020-05-12 | 충북대학교 산학협력단 | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera |
-
2020
- 2020-03-02 KR KR1020200026097A patent/KR102338665B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101907883B1 (en) * | 2017-05-10 | 2018-10-16 | 국방과학연구소 | Object detection and classification method |
| KR101899549B1 (en) | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023153758A1 (en) * | 2022-02-08 | 2023-08-17 | 엘지전자 주식회사 | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device |
| KR102459778B1 (en) * | 2022-05-12 | 2022-10-31 | 주식회사 유오케이 | Method for change detection using lidar and camera and computer program recorded on record-medium for executing method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210111052A (en) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102338665B1 (en) | Apparatus and method for classficating point cloud using semantic image | |
| Zamanakos et al. | A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving | |
| US10417816B2 (en) | System and method for digital environment reconstruction | |
| CN113128348B (en) | Laser radar target detection method and system integrating semantic information | |
| US10810745B2 (en) | Method and apparatus with image segmentation | |
| Asvadi et al. | 3D object tracking using RGB and LIDAR data | |
| Matti et al. | Combining LiDAR space clustering and convolutional neural networks for pedestrian detection | |
| JP2017191608A (en) | Object recognition method, object recognition device, and classifier training method | |
| WO2012139228A1 (en) | Video-based detection of multiple object types under varying poses | |
| KR20200060194A (en) | Method of predicting depth values of lines, method of outputting 3d lines and apparatus thereof | |
| CN117058646B (en) | Complex road target detection method based on multi-mode fusion aerial view | |
| Cordts et al. | Object-level priors for stixel generation | |
| Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
| CN117576652B (en) | Road object identification method and device, storage medium and electronic equipment | |
| KR102405767B1 (en) | Apparatus and method for tracking object based on semantic point cloud | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| Kozonek et al. | On the fusion of camera and lidar for 3D object detection and classification | |
| Karantzalos et al. | Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles | |
| Wei et al. | Robust obstacle segmentation based on topological persistence in outdoor traffic scenes | |
| CN115115535A (en) | Depth map denoising method, device, medium and equipment | |
| Neelima et al. | A computer vision model for vehicle detection in traffic surveillance | |
| Zou et al. | Scene flow estimation by depth map upsampling and layer assignment for camera-LiDAR system | |
| Bhatlawande et al. | LIDAR based Detection of Small Vehicles | |
| Wang et al. | A real-time forward collision warning technique incorporating detection and depth estimation networks | |
| KR102660425B1 (en) | Server and method for obtaining 3-dimensional object information based on black-box camera image composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |