KR20200126141A - System and method for multiple object detection using multi-LiDAR - Google Patents
System and method for multiple object detection using multi-LiDAR Download PDFInfo
- Publication number
- KR20200126141A KR20200126141A KR1020190049730A KR20190049730A KR20200126141A KR 20200126141 A KR20200126141 A KR 20200126141A KR 1020190049730 A KR1020190049730 A KR 1020190049730A KR 20190049730 A KR20190049730 A KR 20190049730A KR 20200126141 A KR20200126141 A KR 20200126141A
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- ground
- module
- lidar
- clustering
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title description 5
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 description 23
- 238000013459 approach Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다중 물체 인식 기술에 관한 것으로서, 더욱 상세하게는 다중 라이다를 이용한 다중 물체 인식 기술에 관한 것이다. The present invention relates to a multi-object recognition technology, and more particularly, to a multi-object recognition technology using a multi-lider.
무인차량의 자유주행을 위해서는 전방의 동적 물체를 탐지하여 물체의 동적 움직임을 추정한 후 자율 주행 경로를 생성하여야 한다. 현재 레이다, 카메라 등을 이용한 동적물체 탐지 추적 기법에 많은 연구가 진행되고 있으며 최근 레이져 스캐너의 가격 하락에 힘입어 일반 자동차 업체들 또한 운전자 보조 시스템(driver-assistance system) 탑재가 대중화 되고 있다.For free driving of an unmanned vehicle, it is necessary to detect a dynamic object in front, estimate the dynamic movement of the object, and create an autonomous driving path. Currently, many studies are being conducted on dynamic object detection and tracking techniques using radars and cameras, and due to the recent decline in the price of laser scanners, general automobile manufacturers are also becoming popular with driver-assistance systems.
레이져 스캐너를 이용한 이동물체 탐지를 하기 위해서는 각각의 레이져 포인터를 깊이값으로 환산하여 탑재차량의 주위에 대한 포인트 클라우드(Point cloud)를 생성하게 된다. 생성된 포인트 클라우드에서 각각의 포인트는 어떠한 의미를 가지고 있지 않기 때문에 이동물체 탐지 추적을 위해서는 먼저 클러스터링 기법을 통하여 포인트들을 묶어서 하나의 물체로 표현한다.In order to detect a moving object using a laser scanner, each laser pointer is converted into a depth value to generate a point cloud around the vehicle. Since each point in the created point cloud does not have any meaning, for the detection and tracking of a moving object, the points are first grouped through a clustering technique and expressed as a single object.
이처럼, 자율 주행에서 환경 인식은 필수적이며 복잡한 도시 시나리오와 같이 복잡하고 복잡한 환경에서 견고성을 요구한다. As such, environmental awareness is essential in autonomous driving and requires robustness in complex and complex environments such as complex urban scenarios.
운전자가 관리 할 수 있는 모든 도로 및 환경 조건에서 모든 운전 업무를 수행 할 수 있는 자동화 된 주행 시스템은 국제 SAE(Society of Automotive Engineers)에서 최고 수준의 자동화로 분류된다. ADA(Advanced Driving Assists)는 상업적으로 이용 가능하지만 인간의 개입이 필요하거나 특정 환경 조건에서 작동하는 경우도 있다. 이러한 자율성의 실현은 다중 물체 인식 및 추적(Multiple Object Detection and Tracking, MODT)과 같은 관련 연구 영역에 대해 거대한 요구 사항을 제시하고, 주변 환경에서 공존하는 엔티티의 동적 속성을 이해하는 것이 전반적인 자동화를 향상시키는 데 중요하다. 이는 로컬라이제이션(localization), 매핑(mapping) 및 모션 계획(motion planning)의 품질에 직접적인 영향을 미친다. Automated driving systems capable of performing all driving tasks in all road and environmental conditions that the driver can manage is classified as the highest level of automation in the International Society of Automotive Engineers (SAE). Advanced Driving Assists (ADA) are commercially available, but may require human intervention or operate under certain environmental conditions. The realization of this autonomy presents huge requirements for related research areas such as Multiple Object Detection and Tracking (MODT), and understanding the dynamic properties of coexisting entities in the surrounding environment improves overall automation. It is important to let you do. This has a direct impact on the quality of localization, mapping and motion planning.
지난 10 년 동안 카메라에 대한 인식을 통해 수많은 MODT 접근법이 전통적으로 연구되어 왔으며, 이에 대한 자세한 검토가 이루어졌다. 이에 의하면, 물체는 2D 좌표계 또는 스테레오 설정의 3D 좌표계에서, 카메라 기준 프레임에 감지되어 각각 2D 또는 3D 궤적을 생성한다. 그러나, 정확하지 않은 카메라 기하학을 이용여 공간 정보가 산출되며, FOV(Field of view)는 제한적이다. 또한, 카메라 기반 접근법은 객체 절단, 조명 조건, 고속 타겟, 센서 모션 및 타겟 간의 상호 작용을 포함하여 다양한 문제에 직면하고 있다. Numerous MODT approaches have traditionally been studied through the perception of cameras over the past decade, and detailed reviews have been made. According to this, the object is detected by the camera reference frame in a 2D coordinate system or a 3D coordinate system with a stereo setting to generate a 2D or 3D trajectory, respectively. However, spatial information is calculated using inaccurate camera geometry, and the field of view (FOV) is limited. In addition, the camera-based approach faces a variety of challenges, including object cutting, lighting conditions, high-speed targets, sensor motion, and interactions between targets.
최근, 넓은 파노라마 배경 정보를 제공하는 라이다(Light Detector and Ranging, LiDAR)기술이 대안 기술로서 점차 대중화되고 있다. 라이다는 10-15 Hz의 합리적인 속도로 최대 100m에 이르는 넓은 파노라믹 측정을 제공하기 때문에, MODT 작업을위한 이상적인 센서이다. Recently, LiDAR (Light Detector and Ranging, LiDAR) technology, which provides wide panoramic background information, is gradually becoming popular as an alternative technology. The radar is an ideal sensor for MODT work as it provides wide panoramic measurements up to 100m at a reasonable speed of 10-15 Hz.
그러나, 라이다 기반 MODT 프레임 워크에서 효율적인 물체 인식 및 추적이 어렵고, MODT의 실제 구현에 있어서 제한된 계산 자원을 사용하여 복잡한 도시 환경의 실시간 성능을 구현하기 어렵다는 문제점이 있다. However, there are problems in that efficient object recognition and tracking is difficult in the lidar-based MODT framework, and it is difficult to implement real-time performance of a complex urban environment using limited computational resources in the actual implementation of the MODT.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 제한된 자원을 이용하여 효율적으로 다중 물체를 인식할 수 있는 다중 물체 인식 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention has been conceived to solve the above problems, and an object of the present invention is to provide a multi-object recognition system and method capable of efficiently recognizing multiple objects using limited resources.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 다중 물체 인식 시스템은 다중 라이다 센서에서 생성된 포인트 클라우드를 캘리브레이션하고, 캘리브레이션된 포인트 클라우드들을 하나의 포인트 클라우드로 병합하기 위한 라이다 캘리브레이션 모듈, 상기 라이다 캘리브레이션 모듈에서 병합된 포인트 클라우드에 대하여 지면 포인트 클라우드와 비 지면 포인트 클라우드로 구분하기 위한 지면 분류 모듈, 상기 지면 분류 모듈에서 분류된 포인트 클라우드에 대하여 하나의 물체에 속하는 포인트들을 그룹핑하고 라벨링하는 방식으로 클러스터링 작업을 수행하기 위한 포인트 클라우드 클러스터링 모듈 및 상기 포인트 클라우드 클러스터링 모듈에서 클러스터링된 포인트들에 대하여 물체를 나타내는 3D 경계 박스를 생성하고, 생성된 박스 영역을 이용하여 물체를 분류하는 박스 피팅 모듈을 포함한다. The multi-object recognition system of the present invention for achieving the above object is a lidar calibration module for calibrating point clouds generated by multiple lidar sensors and merging the calibrated point clouds into one point cloud, the lidar calibration Ground classification module for classifying point clouds merged in the module into ground point clouds and non-ground point clouds, clustering by grouping and labeling points belonging to one object for the point clouds classified in the ground classification module And a box fitting module for generating a 3D bounding box representing an object with respect to points clustered by the point cloud clustering module and a box fitting module for classifying the object using the generated box area.
상기 라이다 캘리브레이션 모듈은, 포인트 클라우드의 인덱스를 원통형 극 그리드에 분포시키고, 상기 원통형 극 그리드에서 라이다 센서가 위치한 높이와 동일한 지면 레벨을 기준으로 지면 포인트 클라우드와 비 지면 포인트 클라우드를 분류할 수 있다. The lidar calibration module may distribute the index of the point cloud to a cylindrical pole grid, and classify a ground point cloud and a non-ground point cloud based on a ground level equal to a height at which a lidar sensor is located in the cylindrical pole grid. .
상기 포인트 클라우드 클러스터링 모듈은, 비 지면 포인트 클라우드에 대하여 직사각형 3D 그리드에 분포시키고, 직사각형 3D 그리드에서 선택된 인덱스 셀 주변에 있는 인접 셀에서 연관된 포인트들을 검색하고, 연관된 포인트가 존재하는 인접 셀을 클러스터 멤버로 표시하는 방식으로 클러스터링을 수행할 수 있다. The point cloud clustering module distributes non-ground point clouds on a rectangular 3D grid, searches for related points in adjacent cells around an index cell selected from the rectangular 3D grid, and uses adjacent cells in which the associated points exist as cluster members. Clustering can be performed in a display manner.
상기 박스 피팅 모듈은, L 형 클라우드 피팅을 갖는 최소 직사각형 영역을 사용하여 3D 경계 박스의 자세를 수정하고, 수정된 3D 경계 박스의 차원을 이용하여 물체를 분류할 수 있다. The box fitting module may correct a posture of a 3D bounding box using a minimum rectangular area having an L-shaped cloud fitting, and classify an object using the modified dimension of the 3D bounding box.
본 발명의 다중 라이다를 이용한 다중 물체 인식 시스템에서의 다중 물체 인식 방법에서, 다중 라이다 센서에서 생성된 포인트 클라우드를 캘리브레이션하고, 캘리브레이션된 포인트 클라우드들을 하나의 포인트 클라우드로 병합하기 위한 라이다 캘리브레이션 단계, 상기 라이다 캘리브레이션 단계에서 병합된 포인트 클라우드에 대하여 지면 포인트 클라우드와 비 지면 포인트 클라우드로 구분하기 위한 지면 분류 단계, 상기 지면 분류 단계에서 분류된 포인트 클라우드에 대하여 하나의 물체에 속하는 포인트들을 그룹핑하고 라벨링하는 방식으로 클러스터링 작업을 수행하기 위한 포인트 클라우드 클러스터링 단계 및 상기 포인트 클라우드 클러스터링 단계에서 클러스터링된 포인트들에 대하여 물체를 나타내는 3D 경계 박스를 생성하고, 생성된 박스 영역을 이용하여 물체를 분류하는 박스 피팅 단계를 포함한다. In the method for recognizing a multi-object in a multi-object recognition system using a multi-lider of the present invention, a lidar calibration step for calibrating a point cloud generated by a multiple lidar sensor and merging the calibrated point clouds into one point cloud , A ground classification step for classifying the point cloud merged in the lidar calibration step into a ground point cloud and a non-ground point cloud, grouping and labeling points belonging to one object for the point cloud classified in the ground classification step A point cloud clustering step for performing a clustering operation in such a manner as to perform a clustering operation, and a box fitting step of creating a 3D bounding box representing an object with respect to the points clustered in the point cloud clustering step, and classifying the object using the created box area. Includes.
상기 라이다 캘리브레이션 단계는, 포인트 클라우드의 인덱스를 원통형 극 그리드에 분포시키고, 상기 원통형 극 그리드에서 라이다 센서가 위치한 높이와 동일한 지면 레벨을 기준으로 지면 포인트 클라우드와 비 지면 포인트 클라우드를 분류할 수 있다. In the lidar calibration step, the index of the point cloud is distributed to a cylindrical pole grid, and the ground point cloud and the non-ground point cloud may be classified based on a ground level equal to a height at which the lidar sensor is located in the cylindrical pole grid. .
상기 포인트 클라우드 클러스터링 단계는, 비 지면 포인트 클라우드에 대하여 직사각형 3D 그리드에 분포시키고, 직사각형 3D 그리드에서 선택된 인덱스 셀 주변에 있는 인접 셀에서 연관된 포인트들을 검색하고, 연관된 포인트가 존재하는 인접 셀을 클러스터 멤버로 표시하는 방식으로 클러스터링을 수행할 수 있다. In the point cloud clustering step, distributing non-ground point clouds on a rectangular 3D grid, searching for related points in neighboring cells around the index cell selected from the rectangular 3D grid, and selecting neighboring cells in which the associated points exist as cluster members. Clustering can be performed in a display manner.
상기 박스 피팅 단계는, L 형 클라우드 피팅을 갖는 최소 직사각형 영역을 사용하여 3D 경계 박스의 자세를 수정하고, 수정된 3D 경계 박스의 차원을 이용하여 물체를 분류할 수 있다.In the box fitting step, the posture of the 3D bounding box may be corrected using a minimum rectangular area having an L-shaped cloud fitting, and the object may be classified using the modified dimension of the 3D bounding box.
본 발명에 의하면, 다중 라이다를 이용하여 다중 물체 인식 시스템 및 방법을 제안함으로써, 보다 효율적이고 정확한 물체 인식이 가능하다는 효과가 있다. According to the present invention, there is an effect that more efficient and accurate object recognition is possible by proposing a system and method for recognizing a multi-object using a multi-lider.
또한, 본 발명에 의하면 물체 인식을 위한 연산과정을 단순화함으로써, 제한된 자원의 성능을 최대한 활용하여 물체 인식을 위한 연산을 수행할 수 있다는 장점이 있다. In addition, according to the present invention, there is an advantage in that an operation for object recognition can be performed by maximizing the performance of limited resources by simplifying the operation process for object recognition.
또한, 본 발명에 의하면, 다중 라이다를 이용하여 다중 물체를 인식할 수 있으므로, 자율 주행 차량 관련 기술에 있어서 유용하게 사용될 것으로 기대된다. In addition, according to the present invention, since multiple objects can be recognized using multiple lidars, it is expected to be usefully used in technologies related to autonomous vehicles.
도 1은 본 발명의 일 실시예에 따른 다중 물체 인식 시스템의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다중 물체 인식 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 두 가지 플랫폼을 예시한 것이다.
도 4는 본 발명의 일 실시예에 따른 지면 분류 과정을 예시한 것이다.
도 5는 본 발명의 일 실시예에 따른 클러스터링 과정을 예시한 것이다.
도 6은 본 발명의 일 실시예에 따른 박스 피팅 과정을 예시한 것이다. 1 is a block diagram showing an internal configuration of a multi-object recognition system according to an embodiment of the present invention.
2 is a flowchart illustrating a method of recognizing multiple objects according to an embodiment of the present invention.
3 illustrates two platforms according to an embodiment of the present invention.
4 illustrates a process of classifying a paper according to an embodiment of the present invention.
5 illustrates a clustering process according to an embodiment of the present invention.
6 illustrates a box fitting process according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the present invention, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.
본 발명에서는 물체 지각을 위한 다중 라이다(LiDAR)를 구비하는 MODT(Multiple Object Detection and Tracking) 프레임워크를 제안한다. The present invention proposes a MODT (Multiple Object Detection and Tracking) framework including a LiDAR for object perception.
본 발명에서 제안하는 다중 라이다를 이용한 다중 물체 인식 시스템은 라이다 포인트 클라우드(Point cloud)를 잠재적인 추적 가능한 물체에 대응되는 클라우드렛(cloudlet)으로 전 처리(pre-process)한다. 전 처리 단계에서는 초기 파라미터와 경계 박스 피팅(bounding box fitting)을 추정하는 과정이 포함된다. 그리고 이러한 과정은 추후 추적 작업을 위한 추적 모듈(tracker module)로 보내진다. 본 발명의 인식 구성 요소는 라이다 캘리브레이션(LiDAR calibration), 지면 추출(groud extraction), 포인트 클라우드 클러스터링(point cloud clustering) 및 경계 박스 피팅(bounding box fitting) 단계로 동작한다. The multi-object recognition system using multiple lidars proposed in the present invention pre-processes a lidar point cloud into a cloudlet corresponding to a potential traceable object. The pre-processing step includes a process of estimating initial parameters and bounding box fitting. And this process is sent to a tracker module for further tracking work. The recognition component of the present invention operates in the steps of LiDAR calibration, ground extraction, point cloud clustering, and bounding box fitting.
도 1은 본 발명의 일 실시예에 따른 다중 물체 인식 시스템의 내부 구성을 보여주는 블록도이다. 1 is a block diagram showing an internal configuration of a multi-object recognition system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 다중 라이다를 이용한 다중 물체 인식 시스템(100)은 라이다 캘리브레이션 모듈(110), 지면 분류(groud classification) 모듈(120), 포인트 클라우드 클러스터링 모듈(130), 박스 피팅 모듈(140)을 포함한다. Referring to FIG. 1, a
라이다 캘리브레이션 모듈(110)은 다수의 라이다 센서로부터 생성된 포인트 클라우드를 캘리브레이션하고, 캘리브레이션된 포인트 클라우드들을 하나의 포인트 클라우드로 병합한다. The
다수의 라이다 센서는 각 기준 프레임에 따라 포인트 클라우드를 생성한다. 따라서, 다수의 라이다 센서에서 생성된 포인트 클라우드들을 캘리브레이션하는 과정이 필요하다. A number of lidar sensors generate point clouds according to each reference frame. Therefore, a process of calibrating point clouds generated by a plurality of lidar sensors is required.
본 발명에서 라이다 캘리브레이션 모듈(110)에서는 각 라이다 센서에 속하는 포인트 클라우드를 캘리브레이션하기 위해 미리 정해진 변환 행렬을 사용한다. In the present invention, the
지면 분류 모듈(120)은 지면 포인트 클라우드와 비 지면(non-ground) 포인트 클라우드를 구분한다. The
포인트 클라우드 클러스터링 모듈(130)은 단일 물체에 속하는 포인트들을 그룹핑(grouping)하고 라벨링(labeling)한다. The point
박스 피팅 모듈(140)은 라이다 포인트 클라우드에서 물체를 나타내는 3D 경계 박스를 생성하고, 이 박스 영역을 이용하여, 물체를 차량 또는 보행자로 분류한다. 이는 추후 추적 작업을 초기화하기 위해 필요하다. The box
도 2는 본 발명의 일 실시예에 따른 다중 물체 인식 방법을 보여주는 흐름도이다. 2 is a flowchart showing a method of recognizing a multi-object according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 다중 물체 인식 시스템에서 다중 물체 인식 방법은 라이다 캘리브레이션 단계(S110), 지면 분류 단계(S120), 포인트 클라우드 클러스터링 단계(S130), 박스 피팅 단계(S140)를 포함한다. 2, the multi-object recognition method in the multi-object recognition system of the present invention includes a lidar calibration step (S110), a ground classification step (S120), a point cloud clustering step (S130), and a box fitting step (S140). do.
라이다 캘리브레이션 단계(S110)는 다수의 라이다 센서로부터 생성된 포인트 클라우드를 캘리브레이션하고, 캘리브레이션된 포인트 클라우드들을 하나의 포인트 클라우드로 병합하는 과정이다. The lidar calibration step (S110) is a process of calibrating a point cloud generated from a plurality of lidar sensors, and merging the calibrated point clouds into one point cloud.
다수의 라이다 센서는 각 기준 프레임에 따라 포인트 클라우드를 생성한다. 따라서, 다수의 라이다 센서에서 생성된 포인트 클라우드들을 캘리브레이션하는 과정이 필요하다. A number of lidar sensors generate point clouds according to each reference frame. Therefore, a process of calibrating point clouds generated by a plurality of lidar sensors is required.
본 발명에서 라이다 캘리브레이션 단계(S110)에서는 각 라이다 센서에 속하는 포인트 클라우드를 캘리브레이션하기 위해 미리 정해진 변환 행렬을 사용한다. In the present invention, in the lidar calibration step (S110), a predetermined transformation matrix is used to calibrate a point cloud belonging to each lidar sensor.
지면 분류 단계(S120)는 지면 포인트 클라우드와 비 지면(non-ground) 포인트 클라우드를 구분하는 과정이다. The ground classification step S120 is a process of classifying a ground point cloud and a non-ground point cloud.
포인트 클라우드 클러스터링 단계(S130)는 단일 물체에 속하는 포인트들을 그룹핑(grouping)하고 라벨링(labeling)하는 과정이다. The point cloud clustering step (S130) is a process of grouping and labeling points belonging to a single object.
박스 피팅 단계(S140)은 라이다 포인트 클라우드에서 물체를 나타내는 3D 경계 박스를 생성하고, 이 박스 영역을 이용하여, 물체를 차량 또는 보행자로 분류하는 과정이다. 이는 추후 추적 작업을 초기화하기 위해 필요하다. The box fitting step (S140) is a process of creating a 3D bounding box representing an object in the LiDAR point cloud, and classifying the object as a vehicle or a pedestrian using the box area. This is necessary in order to initiate the tracking operation later.
이제 본 발명의 다중 라이다를 이용한 다중 물체 인식 시스템을 실제 플랫폼에 구현한 실시예를 예시하고, 이를 통해 구체적인 본 발명의 구성에 대해 설명하기로 한다. Now, an embodiment in which the multiple object recognition system using the multiple lidar of the present invention is implemented on an actual platform will be exemplified, and a specific configuration of the present invention will be described through this.
도 3은 본 발명의 일 실시예에 따른 두 가지 플랫폼을 예시한 것이다. 3 illustrates two platforms according to an embodiment of the present invention.
도 3에서 (a)는 SUV(sport utility vehicle) 차량 플랫폼이고, (b)는 전기차 차량 플랫폼을 예시한 사진이다. 도 3에서 예시된 두 플랫폼에 모두 3개의 16채널 라이다 센서가 장착되어 있으며, 두 플랫폼에 본 발명에서 제안된 다중 물체 인식 시스템이 구현되고 테스트된다. In FIG. 3, (a) is an SUV (sport utility vehicle) vehicle platform, and (b) is a photograph illustrating an electric vehicle vehicle platform. Both platforms illustrated in FIG. 3 are equipped with three 16-channel lidar sensors, and the multi-object recognition system proposed in the present invention is implemented and tested on both platforms.
본 발명에서 지면 분류 모듈(120)은 지면 포인트 클라우드와 비 지면 포인트 클라우드를 구분하는 작업을 수행한다. 이 지면 분류 작업은 (a) 높이 임계치 기반, (b) 그리드(grid) 기반, (c) 스캔 기반, (d) 학습 기반으로 분류된다. 높이 임계치 기반 접근법은 평탄한 바닥을 가정하는데, 임계점 아래의 포인트 클라우드는 지면으로 간주된다. 그리드 기반 방법은 포인트 클라우드를 그리드 셀로 나누어 계산 시간을 보존하므로, 지면 및 비 지면 그리드 셀/포인트를 지정하기 위한 경사 테스트를 수행할 수 있다. 스캔 기반 방법은 단일 라이다 센서로 가정하고 연속적인 측정 링으로부터의 거리를 측정한다. 그리고, 학습 기반 방법은 기계 학습 기반 접근법을 사용하여 개별 레이저 스캔을 이미지로 학습하여 지면 영역에 주석을 단다.In the present invention, the
본 발명에서 지면 분류 모듈(120)은 비 평편 지면을 고려한 그리드 기반 접근 방식을 적용한 작업을 수행한다. 지면 분류 모듈(120)에서 수행되는 프로세스의 흐름이 도 4에 도시되어 있다. In the present invention, the
도 4는 본 발명의 일 실시예에 따른 지면 분류 과정을 예시한 것이다. 4 illustrates a process of classifying a paper according to an embodiment of the present invention.
도 4를 참조하면, 라이다 캘리브레이션 모듈(110)에서 얻은 병합된 포인트 클라우드는 유효하지 않고, 포인트 영역을 벗어나는 것을 제거하기 위해 필터링 처리되고, 지면 분류 모듈(120)에서 필터링된 포인트 클라우드의 인덱스(index)는 원통형 극 그리드로 분산된다. Referring to FIG. 4, the merged point cloud obtained from the
도 4에서 보는 바와 같이, 극 그리드는 채널(channel)로 구성되며, 채널은 원통형 극 그리드의 원점에서부터 가장 멀리 떨어진 값 까지의 수직 슬라이스이다. 그리고, 채널은 해당 영역의 가능한 포인트 수를 포함하는 빈(bin)으로 더 세분화된다. 극 그리드의 모든 빈들은 차량에서 시작하여 라이다 센서 높이와 동일한 지면 레벨인 로컬 지면 레벨을 추적하기 위해 횡단되어 있다. As shown in FIG. 4, the pole grid is composed of channels, and the channels are vertical slices from the origin of the cylindrical pole grid to the farthest value. And, the channel is further subdivided into bins containing the number of possible points in the corresponding area. All bins in the pole grid are traversed to track the local ground level, which is the ground level equal to the level of the lidar sensor starting at the vehicle.
인접 셀의 지면 레벨은 가장 낮은 포인트, 빈의 높이 및 인접 빈까지의 절대 기울기를 기반으로 추정된다. 로컬 지면 레벨은 포인트를 빈 레벨에서 지면 및 비 지면 포인트로 구분한다. 이때, 식물과 같이 임계 값 높이에 해당하지 않는 빈에 관한 포인트를 제거하기 위하여 미세 조정이 수행된다. The ground level of the adjacent cell is estimated based on the lowest point, the height of the bin, and the absolute slope to the adjacent bin. The local ground level divides points from empty levels into ground and non-ground points. At this time, fine adjustment is performed to remove points about bins that do not correspond to the threshold height, such as plants.
그리고, 비 지면 포인트를 참조하는 포인트의 인덱스는 클라우드를 필터링하는데 사용되며, 추후 처리를 위해 피드된다.And, the index of the point referring to the ungrounded point is used to filter the cloud, and is fed for later processing.
본 발명의 지면 분류 모듈(120)은 채널을 따라 일관성을 체크하는 부가적인 단계를 포함한다. 그런데, 모든 빈이 상대적으로 정확한 로컬 지면 정보를 얻으므로, 이 부가적인 단계가 필수적인 것은 아니다. The
본 발명에서 성능을 향상시키는 핵심 요소는 극 좌표와 직각 좌표 간의 전체 클라우드 변환을 피하면서, 그리드 분포에서 포인트의 인덱스를 사용하는 것이다. A key factor in improving performance in the present invention is to use the index of points in the grid distribution while avoiding the entire cloud transformation between polar coordinates and rectangular coordinates.
도 5는 본 발명의 일 실시예에 따른 클러스터링 과정을 예시한 것이다. 5 illustrates a clustering process according to an embodiment of the present invention.
도 5를 참조하면, 포인트 클라우드 클러스터링 모듈(130)은 단일 물체에 관련된 포인트들을 그룹핑하고 라벨링하는 과정을 수행한다. 5, the point
포인트 클라우드 클러스터링 작업은 다양한 응용 분야가 있으며 구현 방법도 다양하다. 포인트 클라우드 클러스터링 작업으로서 (a) 계층 기반(hierarchy-based), (b) 중심 기반, (c) 배포 기반, 및 (d) 밀도 기반 방법 등이 있다. Point cloud clustering has a variety of applications and implementation methods. Point cloud clustering tasks include (a) hierarchy-based, (b) center-based, (c) distribution-based, and (d) density-based methods.
본 발명에서는 계층 기반 방법을 통해 포인트 클라우드 클러스터링 작업을 수행하며, 구체적인 포인트 클라우드 클러스터링 수행 과정이 도 5에 도시되어 있다. In the present invention, a point cloud clustering operation is performed through a layer-based method, and a detailed point cloud clustering execution process is illustrated in FIG. 5.
도 5에서 보는 바와 같이, 포인트 클라우드 클러스터링 과정에서, 우선 지면 포인트(ground point)가 없는 포인트 클라우드가 직사각형 3D 그리드에 분포된다. 이때, 도로 조명, 교통 신호, 교량 및 나뭇 가지 등과 같은 높은 구조물 아래에 있는 물체를 클러스터링하기 위하여 3D 그리드가 사용된다. 참고로, 경사진 다중 라이다 센서가 설정된 도시 시나리오에서 2D 그리드 접근은 클러스터링에 비효율적이다. 나중에 그리드는 3D 연결 구성 요소 클러스터링으로 처리되고, 이진 이미지 클러스터링 방법으로부터 공식화된다. As shown in FIG. 5, in the point cloud clustering process, point clouds without ground points are first distributed in a rectangular 3D grid. In this case, a 3D grid is used to cluster objects under high structures such as road lighting, traffic signals, bridges and tree branches. For reference, the 2D grid approach is inefficient for clustering in an urban scenario in which multiple inclined lidar sensors are set. Later the grid is processed with 3D connected component clustering and formulated from the binary image clustering method.
인덱스 셀이 선택되고, 선택된 인덱스 셀의 주변에 있는 26 개의 인접 셀에서 최소 갯수의 포인트가 검색된다. 해당 인접 셀은 클러스터 멤버로 표시되고, 후속 검색을 위해 인덱스된다. An index cell is selected, and the minimum number of points is searched in 26 adjacent cells around the selected index cell. The adjacent cell is marked as a cluster member and indexed for subsequent search.
그리고, 클러스터를 구별하고, 모든 셀을 한번만 검색하도록 하기 위하여 셀을 라벨링(labeling)한다. In addition, the cells are labeled in order to distinguish clusters and search all cells only once.
그리고, 포인트 클라우드 클러스터링 모듈(130)은 x, y, z 차원의 임계값 한계를 설정하여 시간 복잡도를 처리한다. In addition, the point
도 5에서, x 차원은 라이다 센서 프레임에서 차량의 헤드 영역이고, 식별 가능한 클러스터가 형성될 수 있는 최대 거리를 기반으로 양의 한계와 음의 한계가 설정된다. 이와 유사하게 y 차원의 한계는 교차로에 대한 합리적인 거리를 고려하여, 건물 및 식생 등의 이상치(outlier) 클러스터링을 최소화하는 거리로 설정된다. In FIG. 5, the x dimension is the head area of the vehicle in the lidar sensor frame, and a positive limit and a negative limit are set based on a maximum distance at which an identifiable cluster can be formed. Similarly, the limit of the y-dimension is set to a distance that minimizes outlier clustering of buildings and vegetation in consideration of a reasonable distance to an intersection.
또한, z 차원의 한계는 추적가능한 가장 큰 물체보다 약간 높게 설정된다. Also, the limit of the z dimension is set slightly higher than the largest object traceable.
본 발명에서 이와 같은 클러스터링 한계를 적용하면, 보다 효율적으로 클러스터링된 포인트 클라우드를 얻을 수 있다. If the clustering limit is applied in the present invention, it is possible to obtain a clustered point cloud more efficiently.
3D 그리드에서 클러스터로 분할된 포인트 클라우드는 클러스터링된 포인트 클라우드로 변환되며, 각 클러스터는 잠재적인 추적가능한 물체와 연관된다. 그리고, 차원 필터는 이상치를 필터링하고, 물체를 분류하는데 사용된다. 또한, 클러스터의 높이와 수를 파라미터로 간주한다. Point clouds divided into clusters in the 3D grid are transformed into clustered point clouds, with each cluster associated with a potential traceable object. And, the dimensional filter is used to filter outliers and classify objects. Also, consider the height and number of clusters as parameters.
먼저, 가장 작은 추적 가능 물체 차원 및 가장 큰 추적 가능 물체 차원을 초과하는 차원을 갖는 클러스터가 필터링된다. 마찬가지로, 지면 임계값 한계를 만족하지 못하는 높은 클러스터가 필터링된다. 그리고, 추적 가능 물체에 적합한 클러스터가 다음 단계인 경계 박스 피팅 및 분류 단계로 진행된다. First, clusters with dimensions that exceed the smallest traceable object dimension and the largest traceable object dimension are filtered. Likewise, high clusters that do not satisfy the ground threshold limit are filtered out. Then, the cluster suitable for the traceable object proceeds to the next step, the bounding box fitting and classification step.
박스 피팅 모듈(140)은 경계(bound) 박스 피팅 및 물체 분류 작업을 수행한다. The box
라이다 포인트 클라우드에서 물체의 박스 피팅(Box fitting) 및 물체 분류는 라이다의 시야를 방해하는 어클루젼(occlusion)을 일으킬 수 있으므로 신중하게 수행되어야 한다. 포인트 클라우드의 박스 피팅은 효율적으로 추적할 수 있도록 물체의 중심을 찾는데 도움을 줄 뿐만 아니라, 초기 자세 추정을 제공한다. Box fitting and object classification of objects in the lidar point cloud may cause occlusion that obstructs the sight of the lidar and must be performed carefully. Box fitting of the point cloud not only helps to find the center of the object so that it can be tracked efficiently, it also provides an initial posture estimation.
본 발명에서 L 형(L-shape) 클라우드 피팅을 갖는 최소 직사각형 영역을 사용하며, 이는 최적화된 연산 및 정확도 고려사항을 만족한다. In the present invention, the smallest rectangular area with L-shape cloud fitting is used, which satisfies the optimized computation and accuracy considerations.
도 6은 본 발명의 일 실시예에 따른 박스 피팅 과정을 예시한 것이다. 6 illustrates a box fitting process according to an embodiment of the present invention.
라이다 포인트 클라우드 측정에서 물체는 항상 어클루젼(occlusion) 상태이기 때문에 최소 직사각형 영역만으로 경계 박스 피팅의 목적을 수행할 수 없고, 결국 부정확한 자세 추정에 영향을 미친다. In the LiDAR point cloud measurement, since the object is always in occlusion state, it is not possible to perform the purpose of the bounding box fitting with only the minimum rectangular area, which in turn affects inaccurate posture estimation.
따라서, 도 6에 도시된 바와 같이, 박스의 자세를 수정하기 위하여 최소 영역 직사각형 피팅에 L 형 피팅이 수행된다. Accordingly, as shown in FIG. 6, L-shaped fitting is performed on the minimum area rectangular fitting to correct the posture of the box.
도 6을 참조하면, 먼저 클러스터링된 포인트 클라우드의 차원이 계산되고, 계산된 차원으로부터 2D 직사각형 피팅의 초기 영역의 길이와 폭이 정해진다. Referring to FIG. 6, first, the dimension of the clustered point cloud is calculated, and the length and width of the initial area of the 2D rectangular fitting are determined from the calculated dimension.
다음, 클러스터에서 가장 멀리 떨어져 있는 두 포인트를 찾고, 두 포인트 사이에 직선을 생성한다. Next, find the two points farthest from the cluster, and create a straight line between the two points.
마지막으로, 클러스터링된 클라우드 내에서, 상기 직선으로부터 가장 멀리 떨어져 있는 포인트를 찾는다. 결과적으로 물체의 실제 자세(pose)의 세 코너에 대응하는 세 개의 포인트가 생성된다. Finally, in the clustered cloud, the point furthest from the straight line is found. As a result, three points are created corresponding to the three corners of the actual pose of the object.
본 발명에서는 초기 직사각형의 모서리와 대각선에서 가장 먼 포인트를 연결한 선 사이의 각도를 계산하여, 직사각형의 회전 또는 물체의 자세를 추정한다. In the present invention, the angle between the corner of the initial rectangle and the line connecting the farthest point from the diagonal line is calculated to estimate the rotation of the rectangle or the posture of the object.
그리고, 높이 정보는 3D 경계 상자를 형성하기 위한 포인트 클라우드 차원으로부터 계산된다. And, the height information is calculated from the point cloud dimension for forming the 3D bounding box.
이러한 과정은 라이타 포인트 클라우드에서 객체를 나타내는 박스를 생성하고, 물체의 위치가 박스의 중심에 인덱스된다. 결국, 추적을 초기화하기 위한 물체를 차량 또는 보행자로 분류하기 위해 박스의 차원이 사용된다. 예를 들어, 시각화를 위해, 경계 박스 매칭 차원 규칙은 3D CAD 모델로 대체될 수 있다. This process creates a box representing an object in the Laita point cloud, and the position of the object is indexed at the center of the box. Eventually, the dimensions of the box are used to classify objects for initiating tracking as vehicles or pedestrians. For example, for visualization purposes, the bounding box matching dimensional rule can be replaced with a 3D CAD model.
요약하면, 다중 라이다가 측정에 사용될 가능성을 고려하여, 추출된 클라우드는 캘리브레이팅되고 병합되고, 사용자의 차량을 중심으로 모든 측정이 수행된다. 그리고, 경사 기반 접근법을 이용하여 포인트 클라우드 세그먼트를 지면 및 비 지면 측정을 수행한다. 비 지면 포인트 클라우드에 관련된 포인트 클라우드를 클러스터링하기 위해 3D 연결 구성요소 방법이 사용된다. 그 다음, 잠재적인 추적가능 물체인 포인트 클라우드의 필터링된 클러스터에 대해 박스 피팅 과정이 수행된다. 자세 추정된 물체를 포함하는 3D 경계 박스를 피팅하기 위하여 최소 영역 직사각형과 L 형 피팅이 사용된다. 그리고, 본 발명의 물체 인식을 위한 구성요소의 마지막 단계는 엄격한 차원 기준에 기반하여 물체를 분류하는 것이다. 물체를 인식한 결과는 알려진 위치, 중심, 자세 및 가능한 물체 분류 리스트이고, 이는 추후 처리를 위한 추적 구성요소의 측정값으로 활용된다. In summary, taking into account the possibility that multiple lidars will be used for measurement, the extracted clouds are calibrated and merged, and all measurements are performed around the user's vehicle. Then, ground and non-ground measurements are performed on the point cloud segment using a slope-based approach. The 3D connection component method is used to cluster point clouds related to ungrounded point clouds. Then, a box fitting process is performed on the filtered cluster of point clouds that are potential traceable objects. In order to fit the 3D bounding box containing the posture-estimated object, the minimum area rectangle and L-shaped fitting are used. And, the final step of the component for object recognition of the present invention is to classify objects based on strict dimensional criteria. The result of recognizing an object is a list of known positions, centers, postures and possible object classifications, which are then used as measurements of tracking components for further processing.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.The present invention has been described above using several preferred embodiments, but these embodiments are illustrative and not limiting. Those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.
100 다중 물체 인식 시스템
110 라이다 캘리브레이션 모듈
120 지면 분류 모듈
130 포인트 클라우드 클러스터링 모듈;
140 박스 피팅 모듈100 multi-object recognition system
110 lidar calibration module
120 ground classification module
130 point cloud clustering module;
140 box fitting module
Claims (8)
상기 라이다 캘리브레이션 모듈에서 병합된 포인트 클라우드에 대하여 지면 포인트 클라우드와 비 지면 포인트 클라우드로 구분하기 위한 지면 분류 모듈;
상기 지면 분류 모듈에서 분류된 포인트 클라우드에 대하여 하나의 물체에 속하는 포인트들을 그룹핑하고 라벨링하는 방식으로 클러스터링 작업을 수행하기 위한 포인트 클라우드 클러스터링 모듈; 및
상기 포인트 클라우드 클러스터링 모듈에서 클러스터링된 포인트들에 대하여 물체를 나타내는 3D 경계 박스를 생성하고, 생성된 박스 영역을 이용하여 물체를 분류하는 박스 피팅 모듈을 포함하는 다중 물체 인식 시스템.
A lidar calibration module for calibrating point clouds generated by multiple lidar sensors and merging the calibrated point clouds into one point cloud;
A ground classification module for classifying a point cloud merged by the lidar calibration module into a ground point cloud and a non-ground point cloud;
A point cloud clustering module for performing a clustering operation by grouping and labeling points belonging to one object with respect to the point cloud classified by the ground classification module; And
A multi-object recognition system comprising a box fitting module that generates 3D bounding boxes representing objects with respect to points clustered in the point cloud clustering module, and classifies objects using the generated box area.
상기 라이다 캘리브레이션 모듈은, 포인트 클라우드의 인덱스를 원통형 극 그리드에 분포시키고, 상기 원통형 극 그리드에서 라이다 센서가 위치한 높이와 동일한 지면 레벨을 기준으로 지면 포인트 클라우드와 비 지면 포인트 클라우드를 분류하는 것을 특징으로 하는 다중 물체 인식 시스템.
The method according to claim 1,
The lidar calibration module distributes the index of the point cloud to a cylindrical pole grid, and classifies a ground point cloud and a non-ground point cloud based on a ground level equal to the height at which the lidar sensor is located in the cylindrical pole grid. Multi-object recognition system.
상기 포인트 클라우드 클러스터링 모듈은, 비 지면 포인트 클라우드에 대하여 직사각형 3D 그리드에 분포시키고, 직사각형 3D 그리드에서 선택된 인덱스 셀 주변에 있는 인접 셀에서 연관된 포인트들을 검색하고, 연관된 포인트가 존재하는 인접 셀을 클러스터 멤버로 표시하는 방식으로 클러스터링을 수행하는 것을 특징으로 하는 다중 물체 인식 시스템.
The method according to claim 1,
The point cloud clustering module distributes non-ground point clouds on a rectangular 3D grid, searches for related points in adjacent cells around an index cell selected from the rectangular 3D grid, and uses adjacent cells in which the associated points exist as cluster members. A multi-object recognition system, characterized in that clustering is performed in a display manner.
상기 박스 피팅 모듈은, L 형 클라우드 피팅을 갖는 최소 직사각형 영역을 사용하여 3D 경계 박스의 자세를 수정하고, 수정된 3D 경계 박스의 차원을 이용하여 물체를 분류하는 것을 특징으로 하는 다중 물체 인식 시스템.
The method according to claim 1,
The box fitting module corrects the posture of the 3D bounding box using a minimum rectangular area having an L-shaped cloud fitting, and classifies the object using the modified dimension of the 3D bounding box.
다중 라이다 센서에서 생성된 포인트 클라우드를 캘리브레이션하고, 캘리브레이션된 포인트 클라우드들을 하나의 포인트 클라우드로 병합하기 위한 라이다 캘리브레이션 단계;
상기 라이다 캘리브레이션 단계에서 병합된 포인트 클라우드에 대하여 지면 포인트 클라우드와 비 지면 포인트 클라우드로 구분하기 위한 지면 분류 단계;
상기 지면 분류 단계에서 분류된 포인트 클라우드에 대하여 하나의 물체에 속하는 포인트들을 그룹핑하고 라벨링하는 방식으로 클러스터링 작업을 수행하기 위한 포인트 클라우드 클러스터링 단계; 및
상기 포인트 클라우드 클러스터링 단계에서 클러스터링된 포인트들에 대하여 물체를 나타내는 3D 경계 박스를 생성하고, 생성된 박스 영역을 이용하여 물체를 분류하는 박스 피팅 단계를 포함하는 다중 물체 인식 방법.
In a multi-object recognition method in a multi-object recognition system using multiple lidars,
A lidar calibration step for calibrating the point clouds generated by the multiple lidar sensors and merging the calibrated point clouds into one point cloud;
A ground classification step for classifying the point cloud merged in the lidar calibration step into a ground point cloud and a non-ground point cloud;
A point cloud clustering step for performing a clustering operation by grouping and labeling points belonging to one object with respect to the point cloud classified in the ground classification step; And
And a box fitting step of generating a 3D bounding box representing an object with respect to the points clustered in the point cloud clustering step, and classifying the object using the created box area.
상기 라이다 캘리브레이션 단계는, 포인트 클라우드의 인덱스를 원통형 극 그리드에 분포시키고, 상기 원통형 극 그리드에서 라이다 센서가 위치한 높이와 동일한 지면 레벨을 기준으로 지면 포인트 클라우드와 비 지면 포인트 클라우드를 분류하는 것을 특징으로 하는 다중 물체 인식 방법.
The method of claim 5,
In the lidar calibration step, the index of the point cloud is distributed to a cylindrical pole grid, and the ground point cloud and the non-ground point cloud are classified based on a ground level equal to the height at which the lidar sensor is located in the cylindrical pole grid. Multi-object recognition method
상기 포인트 클라우드 클러스터링 단계는, 비 지면 포인트 클라우드에 대하여 직사각형 3D 그리드에 분포시키고, 직사각형 3D 그리드에서 선택된 인덱스 셀 주변에 있는 인접 셀에서 연관된 포인트들을 검색하고, 연관된 포인트가 존재하는 인접 셀을 클러스터 멤버로 표시하는 방식으로 클러스터링을 수행하는 것을 특징으로 하는 다중 물체 인식 방법.
The method of claim 5,
In the point cloud clustering step, distributing non-ground point clouds on a rectangular 3D grid, searching for related points in neighboring cells around the index cell selected from the rectangular 3D grid, and selecting neighboring cells in which the associated points exist as cluster members. A method for recognizing multiple objects, characterized in that clustering is performed in a display manner.
상기 박스 피팅 단계는, L 형 클라우드 피팅을 갖는 최소 직사각형 영역을 사용하여 3D 경계 박스의 자세를 수정하고, 수정된 3D 경계 박스의 차원을 이용하여 물체를 분류하는 것을 특징으로 하는 다중 물체 인식 방법.
The method of claim 5,
In the box fitting step, a posture of the 3D bounding box is corrected using a minimum rectangular area having an L-shaped cloud fitting, and the object is classified using the modified dimension of the 3D bounding box.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190049730A KR102195164B1 (en) | 2019-04-29 | 2019-04-29 | System and method for multiple object detection using multi-LiDAR |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190049730A KR102195164B1 (en) | 2019-04-29 | 2019-04-29 | System and method for multiple object detection using multi-LiDAR |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200126141A true KR20200126141A (en) | 2020-11-06 |
| KR102195164B1 KR102195164B1 (en) | 2020-12-24 |
Family
ID=73571795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190049730A KR102195164B1 (en) | 2019-04-29 | 2019-04-29 | System and method for multiple object detection using multi-LiDAR |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102195164B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112462347A (en) * | 2020-12-28 | 2021-03-09 | 长沙理工大学 | Laser radar point cloud rapid classification filtering algorithm based on density clustering |
| CN112859033A (en) * | 2021-02-23 | 2021-05-28 | 加特兰微电子科技(上海)有限公司 | Target detection method, device and related equipment |
| KR102275671B1 (en) * | 2021-01-19 | 2021-07-12 | (주)뷰런테크놀로지 | Object contour detection apparatus and method |
| KR102313922B1 (en) * | 2021-07-08 | 2021-10-18 | 주식회사 인피닉 | A method of increasing quality for data of connected 3D points group, and computer program recorded on record-medium for executing method thereof |
| KR102343042B1 (en) * | 2021-05-14 | 2021-12-24 | 주식회사 인피닉 | Method for improving object quality in continuous 3D data, and computer program recorded on record-medium for executing method therefor |
| KR102378649B1 (en) * | 2021-07-21 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for determining ground and non-ground of lidar point data |
| KR102378646B1 (en) * | 2021-07-21 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for applying point properties of lidar point data |
| KR20230001003A (en) * | 2021-06-23 | 2023-01-03 | (주)뷰런테크놀로지 | Method and apparatus for detecting road surface using lidar sensor |
| KR20230036243A (en) * | 2021-09-07 | 2023-03-14 | 충북대학교 산학협력단 | Real-time 3D object detection and tracking system using visual and LiDAR |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404655B1 (en) * | 2014-04-18 | 2014-06-09 | 국방과학연구소 | Power line extraction using eigenvalues ratio of 3d raw data of laser radar |
| KR101628155B1 (en) | 2015-04-23 | 2016-06-08 | 국방과학연구소 | Method for detecting and tracking unidentified multiple dynamic object in real time using Connected Component Labeling |
| KR20170071731A (en) * | 2015-12-16 | 2017-06-26 | 현대자동차주식회사 | Vehicle and controlling method for the vehicle |
| KR20170126740A (en) * | 2016-05-10 | 2017-11-20 | 서울대학교산학협력단 | Apparatus and method for detecting object |
| KR20180004151A (en) * | 2015-04-10 | 2018-01-10 | 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 | Apparatus and method for real-time mapping and localization |
| KR20190001668A (en) * | 2017-06-28 | 2019-01-07 | 현대모비스 주식회사 | Method, apparatus and system for recognizing driving environment of vehicle |
-
2019
- 2019-04-29 KR KR1020190049730A patent/KR102195164B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404655B1 (en) * | 2014-04-18 | 2014-06-09 | 국방과학연구소 | Power line extraction using eigenvalues ratio of 3d raw data of laser radar |
| KR20180004151A (en) * | 2015-04-10 | 2018-01-10 | 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 | Apparatus and method for real-time mapping and localization |
| KR101628155B1 (en) | 2015-04-23 | 2016-06-08 | 국방과학연구소 | Method for detecting and tracking unidentified multiple dynamic object in real time using Connected Component Labeling |
| KR20170071731A (en) * | 2015-12-16 | 2017-06-26 | 현대자동차주식회사 | Vehicle and controlling method for the vehicle |
| KR20170126740A (en) * | 2016-05-10 | 2017-11-20 | 서울대학교산학협력단 | Apparatus and method for detecting object |
| KR20190001668A (en) * | 2017-06-28 | 2019-01-07 | 현대모비스 주식회사 | Method, apparatus and system for recognizing driving environment of vehicle |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112462347A (en) * | 2020-12-28 | 2021-03-09 | 长沙理工大学 | Laser radar point cloud rapid classification filtering algorithm based on density clustering |
| CN112462347B (en) * | 2020-12-28 | 2023-08-15 | 长沙理工大学 | Laser radar point cloud rapid classification filtering algorithm based on density clustering |
| KR102275671B1 (en) * | 2021-01-19 | 2021-07-12 | (주)뷰런테크놀로지 | Object contour detection apparatus and method |
| CN112859033A (en) * | 2021-02-23 | 2021-05-28 | 加特兰微电子科技(上海)有限公司 | Target detection method, device and related equipment |
| KR102343042B1 (en) * | 2021-05-14 | 2021-12-24 | 주식회사 인피닉 | Method for improving object quality in continuous 3D data, and computer program recorded on record-medium for executing method therefor |
| KR20230001003A (en) * | 2021-06-23 | 2023-01-03 | (주)뷰런테크놀로지 | Method and apparatus for detecting road surface using lidar sensor |
| KR102313922B1 (en) * | 2021-07-08 | 2021-10-18 | 주식회사 인피닉 | A method of increasing quality for data of connected 3D points group, and computer program recorded on record-medium for executing method thereof |
| KR102378649B1 (en) * | 2021-07-21 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for determining ground and non-ground of lidar point data |
| KR102378646B1 (en) * | 2021-07-21 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for applying point properties of lidar point data |
| KR20230036243A (en) * | 2021-09-07 | 2023-03-14 | 충북대학교 산학협력단 | Real-time 3D object detection and tracking system using visual and LiDAR |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102195164B1 (en) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102195164B1 (en) | System and method for multiple object detection using multi-LiDAR | |
| CN112396650B (en) | Target ranging system and method based on fusion of image and laser radar | |
| WO2020052540A1 (en) | Object labeling method and apparatus, movement control method and apparatus, device, and storage medium | |
| CN108445480B (en) | Mobile platform self-adaptive extended target tracking system and method based on laser radar | |
| CN113111887B (en) | Semantic segmentation method and system based on information fusion of camera and laser radar | |
| CN106199558A (en) | Barrier method for quick | |
| CN116685873A (en) | Vehicle-road cooperation-oriented perception information fusion representation and target detection method | |
| US11774554B2 (en) | Electronic device, system and method for augmenting image data of a passive optical sensor | |
| CN112379674B (en) | Automatic driving equipment and system | |
| Benedek et al. | Positioning and perception in LIDAR point clouds | |
| KR20170126740A (en) | Apparatus and method for detecting object | |
| KR20230026130A (en) | Single stage 3-Dimension multi-object detecting apparatus and method for autonomous driving | |
| CN114325634A (en) | Method for extracting passable area in high-robustness field environment based on laser radar | |
| CN114821526A (en) | Obstacle three-dimensional frame detection method based on 4D millimeter wave radar point cloud | |
| KR20200087354A (en) | Data labeling apparatus and method for autonomous driving control | |
| Rosero et al. | Calibration and multi-sensor fusion for on-road obstacle detection | |
| CN113988197A (en) | Multi-camera and multi-laser radar based combined calibration and target fusion detection method | |
| Liu et al. | Vehicle detection and tracking with 2d laser range finders | |
| Kotur et al. | Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system | |
| KR102618680B1 (en) | Real-time 3D object detection and tracking system using visual and LiDAR | |
| US20240151855A1 (en) | Lidar-based object tracking | |
| CN116243329A (en) | High-precision multi-target non-contact ranging method based on laser radar and camera fusion | |
| CN116051818A (en) | Multi-sensor information fusion method of automatic driving system | |
| CN112946603B (en) | Road maintenance detection system based on laser radar and detection method thereof | |
| WO2022157157A1 (en) | Radar perception |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |