KR101947581B1 - Apparatus for sharing point cloud data - Google Patents
Apparatus for sharing point cloud data Download PDFInfo
- Publication number
- KR101947581B1 KR101947581B1 KR1020180014885A KR20180014885A KR101947581B1 KR 101947581 B1 KR101947581 B1 KR 101947581B1 KR 1020180014885 A KR1020180014885 A KR 1020180014885A KR 20180014885 A KR20180014885 A KR 20180014885A KR 101947581 B1 KR101947581 B1 KR 101947581B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- cloud information
- information
- vehicle
- surrounding
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000002310 reflectometry Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000001678 irradiating effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001673526 Lydia Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G01S17/936—
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 포인트 클라우드 정보 공유 장치에 관한 것으로서, 더욱 상세하게는 복수의 자율주행 차량에서 라이다(LiDAR) 센서를 통해 획득되는 포인트 클라우드 정보(point cloud data)를 공유하는 기술에 관한 것이다.The present invention relates to a point cloud information sharing apparatus, and more particularly, to a technique for sharing point cloud data obtained through a LiDAR sensor in a plurality of autonomous vehicles.
자율주행 차량은 운전자의 개입 없이 주행 중 주변환경을 인식하고 주행상황을 판단하여 차량을 제어함으로써 미리 설정된 목적지까지 스스로 주행하는 차량을 의미한다. 최근에는 이러한 자율주행 차량이 교통사고를 줄이고 교통 효율성을 높일 뿐만 아니라 탑승자의 편의를 증대시킬 수 있는 교통수단으로 큰 주목을 받고 있으며, 이와 관련된 연구개발이 활발히 진행되고 있다.An autonomous driving vehicle means a vehicle that runs on its own to a predetermined destination by recognizing the surrounding environment during driving without a driver intervention and controlling the vehicle by judging the driving situation. In recent years, such autonomous vehicles have attracted a great deal of attention as transportation means to reduce traffic accidents, improve the efficiency of transportation, and increase the convenience of passengers.
이와 같은 자율주행 차량의 주행을 위해서는 차선이나 주변차량, 보행자 등 주행환경을 인식하고 그에 기초하여 주행상황을 판단하며, 판단 결과에 따라서 조향, 가속, 감속 등과 같은 주행을 제어하는 기술이 필수적인데, 그 중에서도 정확한 주행환경 인식이 매우 중요하다.In order to drive such an autonomous vehicle, it is necessary to recognize a driving environment such as a lane, a nearby vehicle, or a pedestrian, judge the driving situation based on the driving environment, and control the driving such as steering, acceleration, deceleration, Among them, accurate driving environment is very important.
주행환경 인식을 위해 과거에는 전자기파를 이용하는 레이더가 사용되었으나 최근에는 펄스 레이저를 이용하는 라이다 센서가 사용되고 있는 추세이다. 라이다 센서는 펄스 레이저를 대상 물체에 조사하고 펄스 레이저가 해당 물체에 반사되어 되돌아오는 시간을 측정하는 것으로, 일반적으로 높은 에너지 밀도와 짧은 주기를 가지는 펄스 레이저를 생성할 수 있는 레이저의 장점을 활용한 것이다. 라이다 센서는 대상 물체까지의 거리 측정은 물론 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있어 다양한 분야에 활용되고 있다.In order to recognize the driving environment, radar using electromagnetic waves has been used in the past, but in recent years, a lidar sensor using pulse laser has been used. The laser sensor irradiates a pulsed laser to a target object and measures the time that the pulse laser is reflected back to the object. Thus, it utilizes the advantage of a laser capable of generating a pulse laser having a high energy density and a short cycle in general It is. Raidasensor is used in various fields because it can detect distance, velocity, temperature, material distribution and concentration characteristic as well as distance measurement to the object.
이와 같이 라이다 센서는 높은 에너지 밀도와 짧은 주기를 가지는 펄스 레이저를 사용하므로 라이다 센서를 사용하는 자율주행 차량의 주변 물체는 해당 펄스 레이저에 노출되고 있으며, 최근에는 이러한 펄스 레이저가 인체에 미치는 영향에 대한 관심과 연구의 필요성이 대두되고 있다. 물론 높은 에너지 밀도와 짧은 주기를 가지는 펄스 레이저는 인체에 대한 위험성뿐만 아니라 라이다 센서의 에너지 효율 측면에서도 중요한 문제이기도 하다.Since the Lidar sensor uses a pulse laser with a high energy density and a short cycle, peripheral objects of the autonomous vehicle using the Lidar sensor are exposed to the pulse laser. Recently, And the need for research is emerging. Of course, pulsed lasers with high energy density and short cycle are important not only for the human body but also for the energy efficiency of the Lada sensor.
이와 같은 문제를 해소하고자 라이다 센서의 펄스 레이저를 조사 시 에너지 레벨을 낮추는 방안이 제안되었으나 에너지 레벨이 낮은 경우 라이다 센서를 통해 획득되는 포인트 클라우드 정보의 해상도가 낮아져 자율주행 차량이 주변 물체를 인식하는데 어려움이 있어 적합하지 않은 문제가 있다.In order to solve this problem, a method of lowering the energy level when irradiating the pulsed laser of the Lada sensor has been proposed, but the energy level is low. The resolution of the point cloud information obtained through the sensor is lowered, There is a problem that is not suitable.
이에, 높은 에너지 레벨을 사용하는 종래의 라이다 센서로 인한 문제점을 해소하기 위하여 라이다 센서의 에너지 레벨을 낮추면서 차량 주변의 물체에 대한 인식률을 높일 수 있는 방안이 요구되고 있다.In order to solve the problem caused by the conventional Lada sensor using a high energy level, it is required to reduce the energy level of the Lada sensor and increase the recognition rate of objects around the vehicle.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 고에너지 레벨을 사용하는 라이다 센서로 인한 문제를 해소하기 위해, 라이다 센서의 에너지 레벨을 저감하면서 차량 주변의 물체에 대한 인식률을 높일 수 있는 방안을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art and it is an object of the present invention to reduce the energy level of the Lada sensor and increase the recognition rate for an object around the vehicle in order to solve the problem caused by the Lada sensor using a high energy level I would like to give you a plan.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 장치는 미리 정해진 에너지 레벨 이하의 밀도 및 미리 정해진 주기의 펄스 레이저를 이용하여 자차량 주변에 대한 포인트 클라우드 정보인 제1 포인트 클라우드 정보를 획득하는 라이다 센서; 상기 자차량의 주변에 존재하는 주변차량의 포인트 클라우드 정보인 제2 포인트 클라우드 정보가 획득되면, 상기 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보간에 중복되는 포인트 클라우드 정보를 추출하는 중복 포인트 클라우드 정보 추출부; 및 상기 중복되는 포인트 클라우드 정보를 이용하여 주변 물체를 추출하고 인식하는 주변 물체 인식부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a point cloud information sharing apparatus according to an embodiment of the present invention includes a point cloud information acquiring unit that acquires points cloud information about a vehicle periphery using a pulse laser having a predetermined energy level and a predetermined period, A lidar sensor for acquiring one point cloud information; When the second point cloud information, which is the point cloud information of the neighboring vehicles existing in the vicinity of the subject vehicle, is obtained, duplicate point cloud information extraction for extracting the point cloud information overlapping between the first point cloud information and the second point cloud information part; And a surrounding object recognizing unit for extracting and recognizing the surrounding objects using the overlapping point cloud information.
본 발명의 일 실시예에 따르면, 라이다 센서의 에너지 레벨을 저감하면서 일정 수준의 해상도를 가지는 포인트 클라우드 정보를 생성할 수 있다.According to an embodiment of the present invention, point cloud information having a certain level of resolution can be generated while reducing the energy level of the Lydia sensor.
또한, 미리 정해진 에너지 레벨 이하의 펄스 레이저를 조사하여 고에너지 레벨의 펄스 레이저를 조사함으로써 발생됐던 문제점들로 인한 피해를 감소시킬 수 있다.In addition, it is possible to reduce damage caused by problems caused by irradiating a pulse laser having a predetermined energy level or lower and irradiating the pulse laser with a high energy level.
또한, 주변차량들과 포인트 클라우드 정보를 공유함으로써 낮은 해상도의 포인트 클라우드 정보를 이용하더라도 차량 주변의 물체에 대한 인식률을 높일 수 있다.In addition, by sharing point cloud information with nearby vehicles, it is possible to increase the recognition rate for an object around the vehicle even if low-resolution point cloud information is used.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1은 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유에 의한 결과를 간략히 도식화한 도면이다.
도 3은 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 과정을 도시한 흐름도이다.1 is a diagram illustrating a configuration of a point cloud information sharing system according to an embodiment of the present invention.
FIG. 2 is a simplified schematic diagram of a result of point cloud information sharing according to an embodiment of the present invention. Referring to FIG.
3 is a block diagram illustrating a configuration of a point cloud information sharing apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a point cloud information sharing process according to an embodiment of the present invention.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 시스템의 구성을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유에 의한 결과를 간략히 도식화한 도면이다.FIG. 1 is a diagram illustrating a configuration of a point cloud information sharing system according to an embodiment of the present invention. FIG. 2 is a schematic diagram illustrating a result of point cloud information sharing according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 시스템(100)은 제1 차량(110), 제2 차량(120) 및 정보공유 서버(130)를 포함할 수 있다.The point cloud
각 구성요소를 간략히 설명하면, 자율주행 차량인 제1 차량(110)과 제1 차량(110)의 주변에 존재하는 자율주행 차량인 제2 차량(120)은 포인트 클라우드 획득을 위한 라이다 센서를 각각 탑재할 수 있으며, 라이다 센서로부터 획득되는 포인트 클라우드 정보를 실시간으로 공유할 수 있다. 여기서 제1 차량(110)과 제2 차량(120)간 포인트 클라우드 정보의 공유는 일 실시예로서 주변차량으로부터 포인트 클라우드 정보를 제공받을 수 있고, 다른 실시예로서 정보공유 서버(130)로부터 주변차량의 포인트 클라우드 정보를 제공받을 수 있다.The
또한, 제1 차량(110)과 제2 차량(120)은 자차량의 포인트 클라우드 정보와 주변차량의 포인트 클라우드 정보 중 서로 중복되는 포인트 클라우드 정보를 이용하여 주변 물체를 인식할 수 있다. 후술하겠지만 일반적인 라이다 센서는 고에너지 레벨의 밀도와 짧은 주기를 가지는 펄스 레이저를 이용하여 포인트 클라우드 정보를 생성하는 반면, 본 발명의 제1 차량(110)과 제2 차량(120)에 탑재되는 라이다 센서는 일반적인 고에너지 레벨의 밀도와 짧은 주기가 아닌 미리 정해진 에너지 레벨 이하의 밀도와 미리 정해진 주기를 가지는 펄스 레이저를 사용한다. 여기서 미리 정해진 에너지 레벨과 미리 정해진 주기는 실시예에 따라서 다양하게 설정될 수 있다.In addition, the
따라서 본 발명의 실시예에 따른 라이다 센서를 사용하는 경우, 일반적인 종래의 라이다 센서를 통해 획득되는 포인트 클라우드 정보의 해상도 보다는 낮은 해상도(10)를 가지게 되나, 도 2에 도시된 바와 같이 주변차량의 포인트 클라우드 정보와 중복되는 포인트 클라우드 정보(20)를 이용함으로써 낮은 해상도로 인한 단점을 보완할 수 있다. 뿐만 아니라 라이다 센서의 에너지 레벨을 낮추게 되므로 고에너지 레벨의 펄스 레이저를 사용함으로써 발생했던 종래의 문제점들로 인한 피해를 감소시킬 수 있으며 라이다 센서의 동작으로 인한 에너지 소비 또한 절감할 수 있다.Therefore, when the LIDAR sensor according to the embodiment of the present invention is used, the resolution is lower than the resolution of the point cloud information obtained through the conventional LIDAR sensor. However, as shown in FIG. 2, The
참고로, 도 2에서는 제1 차량(110)과 제2 차량(120)의 포인트 클라우드 정보가 ‘중복’되는 것을 강조하기 위해 서로 중첩되는 형태가 다소 과장되게 표현되었다. 실제 포인트 클라우드 정보들의 병합이 이루어지면 더욱 선명한 포인트 클라우드 정보의 획득이 가능하다. 또한, 제1 차량(110)과 제2 차량(120)을 자율주행 차량으로 기재하였으나 반드시 자율주행 차량으로 한정되는 것은 아니며 실시예에 따라서 제1 차량(110)과 제2 차량(120)은 라이다 센서를 탑재하여 주변의 포인트 클라우드 정보를 획득할 수 있는 다양한 이동수단을 포함할 수 있다.In FIG. 2, in order to emphasize that the point cloud information of the
이하에서는 제1 차량(110)이 주변차량인 제2 차량(120)으로부터 포인트 클라우드 정보를 제공받아 공유가 이루어지는 실시예를 설명하도록 한다. Hereinafter, an embodiment will be described in which the
도 3은 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 장치의 구성을 도시한 블록도이다.3 is a block diagram illustrating a configuration of a point cloud information sharing apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 장치(200)는 제1 차량(110)과 제2 차량(120)에 각각 포함될 수 있으며 라이다 센서(210), 주행정보 제공부(220), 중복 포인트 클라우드 정보 추출부(230), 주변 물체 인식부(240), 제어부(250) 및 저장부(260)를 포함할 수 있다.The point cloud
먼저 라이다 센서(210)에 대해 설명하면, 일반적으로 라이다 센서는 고에너지 레벨의 밀도와 짧은 주기를 가지는 펄스 레이저를 대상 물체에 조사하고, 대상 물체로부터 반사파가 수신되는 시간을 이용하여 해당 물체까지의 거리에 대한 정보를 획득할 수 있다. 반면, 본 발명의 라이다 센서(210)는 미리 정해진 에너지 레벨 이하의 밀도와 미리 정해진 주기를 가지는 펄스 레이저를 대상 물체에 조사하여 거리 정보를 획득할 수 있다. 또한, 라이다 센서(210)는 포인트 스캐닝(point scanning)을 통해 도로와 도로 주변의 물체, 예를 들어 지형물, 신호등, 표지판, 주변차량, 보행자 등에 대한 포인트 클라우드 정보를 획득할 수 있다. 여기서 포인트 클라우드 정보는 도로와 도로 주변의 물체에 대한 (x, y, z) 좌표로 구성된 포인트(데이터)의 집합으로서 반사율에 대한 정보를 포함할 수 있으며 대상 물체의 외형을 나타낼 수 있다.First, the Lidar
또한, 라이다 센서(210)는 단일 주파수를 이용하도록 구현될 수도 있고 서로 다른 다수의 주파수를 이용하는 다채널로 구현될 수도 있다. 만일 서로 다른 다수의 주파수를 이용하는 다채널로 구현되는 경우, 라이다 센서(210)는 미리 정해진 각도로 회전하면서 각 주파수별 포인트 클라우드 정보를 획득할 수도 있다.In addition, the LIDAR
한편, 주행정보 제공부(220)는 라이다 센서(210)를 통해 획득되는 포인트 클라우드 정보를 정보공유 서버(130) 및 제2 차량(120) 중 하나 이상으로 제공할 수 있다. 그리고 주행정보 제공부(220)는 GPS에 기초한 자차량(110)의 위치정보, 포인트 클라우드 정보에 포함되는 물체의 위치정보 및 각 물체에 대한 방위각 정보를 함께 제공할 수 있다. 여기서 포인트 클라우드 정보에 포함되는 물체의 위치정보는 제어부(250)에서 자차량(110)의 위치에 기반하여 계산될 수 있으며, 제어부(250)는 포인트 클라우드 정보에 포함되는 물체 중 지형물, 신호등, 표지판 등 위치가 고정된 물체를 추출하고 해당 물체의 위치정보를 획득할 수 있다. 위치가 고정된 물체의 위치정보는 제1 차량(110)의 저장소 또는 정보공유 서버(130)로부터 제공되는 맵 정보에 기초하여 획득할 수 있다.Meanwhile, the travel
참고로 정보공유 서버(130)는 제1 차량(110)이나 제2 차량(120)으로부터 수신되는 포인트 클라우드 정보들을 이용하여 맵 정보를 생성할 수 있다. 여기서 맵 정보는 도로 및 도로 주변에 존재하는 위치가 고정된 다양한 물체에 대한 위치정보와 형상정보 그리고 해당 물체의 식별자(ID)를 포함할 수 있으며 지형물, 신호등, 표지판 등 위치가 고정된 물체가 더 이상 존재하지 않거나 형태가 변경되거나 위치가 변경되더라도 제1 차량(110)이나 제2 차량(120)으로부터 실시간으로 수신되는 포인트 클라우드 정보들을 이용하여 맵 정보는 항상 최신의 것으로 관리될 수 있다. 정보공유 서버(130)는 맵 정보를 생성 시 제1 차량(110)이나 제2 차량(120)의 위치정보와 포인트 클라우드 정보에 포함되는 물체에 대한 거리, 방위각 등의 정보를 이용하여 도로의 각 위치에서 주변의 위치가 고정된 물체까지의 거리는 물론 해당 물체의 위치정보를 기록할 수 있다. 후술하겠지만 위치가 고정된 물체의 위치정보는 포인트 클라우드 정보들을 병합 시 절대좌표로 사용될 수 있다.For reference, the
한편, 중복 포인트 클라우드 정보 추출부(230)는 제2 차량(120)의 포인트 클라우드 정보가 획득되면 자차량(120)의 포인트 클라우드 정보와 제2 차량(120)의 포인트 클라우드 정보 중 서로 중복되는 포인트 클라우드 정보를 추출할 수 있다. 여기서 제2 차량(120)의 포인트 클라우드 정보 획득은 실시예에 따라서 제2 차량(120)으로부터 실시간으로 수신되거나 정보공유 서버(130)로부터 실시간으로 수신될 수 있다.On the other hand, when the point cloud information of the
이하 설명의 편의를 위하여 제1 차량(110)의 포인트 클라우드 정보를 ‘제1 포인트 클라우드 정보’로, 제2 차량(120)의 포인트 클라우드 정보를 ‘제2 포인트 클라우드 정보’로 칭하도록 한다.For convenience of explanation, the point cloud information of the
구체적으로, 중복 포인트 클라우드 정보 추출부(230)는 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합하여 서로 중복되는 포인트 클라우드 정보를 추출할 수 있다. 이를 위해 중복 포인트 클라우드 정보 추출부(230)는 서로 다른 포인트 클라우드 정보를 병합하기 위해 각 포인트 클라우드 정보에 포함되는 지형물, 신호등, 표지판 등 위치가 고정된 물체의 위치정보(좌표)를 절대좌표로 설정할 수 있다. 즉 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보 중 위치가 고정된 물체를 추출하고, 해당 물체의 위치를 기준으로 자차량(110)의 위치정보와 제2 차량(120)의 위치정보 그리고 위치가 고정된 물체에 대한 자차량(110)과 제2 차량(120)의 방위각 정보를 이용하여, 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합할 수 있으며 서로 중복되는 포인트 클라우드 정보를 추출할 수 있다.Specifically, the redundant point cloud
앞서 언급하였지만, 본 발명의 라이다 센서(210)는 일반적으로 사용되는 종래의 라이다 센서보다 에너지 레벨이 낮은 미리 정해진 밀도와 미리 정해진 주기를 가지는 펄스 레이저를 대상 물체에 조사하므로 포인트 클라우드 정보의 해상도 또한 종래의 경우보다 낮을 수 밖에 없다. 그러나 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합하는 경우 동일한 위치에 존재하는 포인트 클라우드 정보는 중복(중첩)되므로 낮은 해상도로 인한 단점을 보완할 수 있게 된다.As mentioned above, since the
여기서 중복 포인트 클라우드 정보 추출부(230)는 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보에 포함된 반사율 정보에 기초하여 각 포인트 클라우드 정보에서 주변광을 제거하고 서로 중복되는 포인트 클라우드 정보를 추출할 수 있다.Here, the redundant point cloud
참고로, 중복 포인트 클라우드 정보 추출부(230)가 주변차량인 제2 차량(120)의 포인트 클라우드 정보를 이용하여 서로 중복되는 포인트 클라우드 정보를 추출하는 것으로 설명하였지만, 제1 차량(110)의 주변에 제2 차량(120) 이외의 다른 차량들이 존재하는 경우 해당 차량들로부터 포인트 클라우드 정보를 실시간으로 직접 수신하거나 정보공유 서버(130)로부터 해당 차량들의 포인트 클라우드 정보를 실시간으로 직접 수신할 수 있다. 따라서 주변 차량들의 수가 증가할수록 서로 중복되는 포인트 클라우드 정보로 인한 해상도는 더욱 높아지게 된다.The point cloud
한편, 주변 물체 인식부(240)는 중복 포인트 클라우드 정보 추출부(230)에 의해 추출되는 중복되는 포인트 클라우드 정보를 이용하여 주변 물체를 추출하고 인식할 수 있다. 주변 물체 인식부(240)에서 인식되는 주변 물체에 대한 정보는 자율주행 차량인 제1 차량(110)의 주행 중 장애물 회피나 브레이크 작동 또는 액셀레이터 작동으로 인한 가속 등 다양한 주행 상황에서 제1 차량(110)의 주행을 제어하는데 활용될 수 있다.Meanwhile, the surrounding
한편, 제어부(250)는 포인트 클라우드 정보 공유 장치(200)의 구성요소들, 예를 들어 라이다 센서(210), 주행정보 제공부(220), 중복 포인트 클라우드 정보 추출부(230) 및 주변 물체 인식부(240)가 전술한 동작을 수행하도록 제어할 수 있으며, 후술하는 저장부(260) 또한 제어할 수 있다.The
한편, 저장부(260)는 제어부(250)가 포인트 클라우드 정보 공유 장치(200)의 구성요소들을 제어하도록 하는 알고리즘 및 알고리즘에 따른 제어 과정에서 필요하거나 파생되는 다양한 정보들을 저장할 수 있다.Meanwhile, the
도 4는 본 발명의 일 실시예에 따른 포인트 클라우드 정보 공유 과정을 도시한 흐름도이다.4 is a flowchart illustrating a point cloud information sharing process according to an embodiment of the present invention.
도 4의 과정은 제1 차량(110)과 제1 차량(110)의 주변에서 운행 중인 제2 차량(120)간 포인트 클라우드 정보 공유에 관한 것으로서, 도 3을 참고하여 설명한 포인트 클라우드 정보 공유 장치(200)는 제1 차량(110)과 제2 차량(120)에 포함되며, 제2 차량(120)으로부터 제2 포인트 클라우드 정보를 실시간으로 수신하는 실시예이다. 이하 제1 차량(110)을 중심으로 도 4의 과정을 설명하도록 한다.The process of FIG. 4 relates to point cloud information sharing between the
먼저, 제1 차량(110)은 라이다 센서를 통해, 미리 정해진 에너지 레벨 이하의 밀도와 미리 정해진 주기로 주변 물체들에게 펄스 레이저를 조사하여 제1 포인트 클라우드 정보를 획득한다(S401).First, the
여기서 제1 차량(110)은 자신의 위치정보, 제1 포인트 클라우드 정보 및 제1 포인트 클라우드 정보에 포함되는 물체에 대한 방위각 정보를 제2 차량(120) 및 정보공유 서버(130) 중 하나 이상으로 제공할 수 있다. 이 때 제1 차량(110)은 맵 정보를 이용하여 제1 포인트 클라우드 정보에 포함되는 물체 중 위치가 고정된 물체에 대한 위치정보를 제2 차량(120) 및 정보공유 서버(130) 중 하나 이상으로 제공할 수 있다.Here, the
S401 후, 제1 차량(110)은 제2 차량(120)으로부터 제2 포인트 클라우드 정보가 획득되면, 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합한다(S402).After S401, the
여기서 제2 포인트 클라우드 정보는 제1 포인트 클라우드 정보와 동일하게 제2 차량(120)에서 미리 정해진 에너지 레벨 이하의 밀도와 미리 정해진 주기로 펄스 레이저를 조사하는 라이다 센서를 통해 획득될 수 있다.Here, the second point cloud information can be obtained through the Lada sensor which irradiates the pulsed laser at a predetermined period and at a density equal to or lower than a predetermined energy level in the
그리고 제1 차량(110)은 서로 다른 포인트 클라우드 정보를 병합 시 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보에 포함된 주변 물체 중 위치가 고정된 물체의 위치정보를 기준으로 자신(110)과 제2 차량(120)의 위치정보 그리고 위치가 고정된 물체에 대한 방위각과 제2 차량(120)의 방위각 정보를 이용할 수 있다.When the
S402 후, 제1 차량(110)은 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합 후 서로 중복되는 포인트 클라우드 정보를 추출한다(S303).After S402, the
여기서 제1 차량(110)은 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보에 포함된 반사율 정보에 기초하여 각 포인트 클라우드 정보에서 주변광을 제거하고 중복되는 포인트 클라우드 정보를 추출할 수 있다.Here, the
S403 후, 제1 차량(110)은 중복되는 포인트 클라우드 정보를 이용하여 주변 물체를 추출하여 인식한 후 자율주행을 위한 차량의 제어에 활용한다(S404)After step S403, the
참고로, 제1 차량(110)은 주변 물체를 인식할 때 중복되는 포인트 클라우드 정보만을 이용하는 것은 아니며, 제1 포인트 클라우드 정보를 이용하여 주변 물체를 인식할 수 있다. For reference, the
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
100 : 포인트 클라우드 정보 공유 시스템
110 : 제1 차량
120 : 제2 차량
200 : 포인트 클라우드 정보 공유 장치
210 : 라이다 센서
220 : 주행정보 제공부
230 : 중복 포인트 클라우드 정보 추출부
240 : 주변 물체 인식부
250 : 제어부
260 : 저장소100: Point cloud information sharing system
110: first vehicle
120: second vehicle
200: Point cloud information sharing device
210:
220:
230: Redundant point cloud information extracting unit
240: peripheral object recognition unit
250:
260: Store
Claims (7)
상기 자차량의 주변에 존재하는 주변차량의 포인트 클라우드 정보인 제2 포인트 클라우드 정보가 획득되면, 상기 제1 포인트 클라우드 정보와 상기 제2 포인트 클라우드 정보에 포함된 주변 물체 중 위치가 고정된 물체의 위치정보를 기준으로 상기 자차량과 상기 주변차량의 위치정보 및 상기 위치가 고정된 물체에 대한 상기 자차량과 상기 주변차량의 방위각 정보를 이용하여, 상기 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보를 병합한 후 상기 제1 포인트 클라우드 정보와 상기 제2 포인트 클라우드 정보간에 중복되는 포인트 클라우드 정보를 추출하는 중복 포인트 클라우드 정보 추출부; 및
상기 중복되는 포인트 클라우드 정보를 이용하여 주변 물체를 추출하고 인식하는 주변 물체 인식부; 를 포함하는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
A lidar sensor for acquiring first point cloud information which is point cloud information about the subject vehicle using a pulse laser having a density lower than a predetermined energy level and a predetermined period;
When the second point cloud information which is the point cloud information of the neighboring vehicle existing in the vicinity of the subject vehicle is obtained, the position of the fixed object among the surrounding objects included in the first point cloud information and the second point cloud information The first point cloud information and the second point cloud information using the position information of the subject vehicle and the surrounding vehicle and the azimuth information of the subject vehicle and the surrounding vehicle with respect to the fixed object, A duplicate point cloud information extracting unit for extracting duplicate point cloud information between the first point cloud information and the second point cloud information after merging; And
A surrounding object recognizing unit for extracting and recognizing surrounding objects using the overlapping point cloud information; The point cloud information sharing apparatus comprising:
상기 제2 포인트 클라우드 정보는 미리 정해진 에너지 레벨 이하의 밀도 및 미리 정해진 주기의 펄스 레이저를 이용하는 상기 주변차량의 라이다 센서를 통해 획득되는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
The method according to claim 1,
Wherein the second point cloud information is obtained through a lidar sensor of the neighboring vehicle using a pulse laser having a density lower than a predetermined energy level and a predetermined period.
상기 중복 포인트 클라우드 정보 추출부는 상기 제1 포인트 클라우드 정보와 제2 포인트 클라우드 정보에서 반사율 정보에 기초하여 주변광을 제거하고 상기 중복되는 포인트 클라우드 정보를 추출하는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
The method according to claim 1,
Wherein the redundant point cloud information extracting unit removes the ambient light based on the reflectivity information in the first point cloud information and the second point cloud information and extracts the overlapped point cloud information.
상기 라이다 센서를 통해 획득되는 제1 포인트 클라우드 정보, 상기 자차량의 위치정보 및 상기 제1 포인트 클라우드 정보에 포함되는 물체에 대한 상기 자차량의 방위각 정보를 상기 주변차량 및 서버 중 하나 이상으로 제공하는 주행정보 제공부; 를 더 포함하는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
The method according to claim 1,
The first point cloud information obtained through the LIDAR sensor, the position information of the child vehicle, and the azimuth information of the child vehicle with respect to the object included in the first point cloud information, to at least one of the peripheral vehicle and the server A travel information providing unit for providing the travel information; Wherein the point cloud information sharing apparatus further comprises:
상기 중복 포인트 클라우드 정보 추출부는 상기 위치가 고정된 물체의 위치정보를 자차량의 저장소에 저장된 맵 정보 또는 외부의 서버로부터 제공받는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
The method according to claim 1,
Wherein the redundant point cloud information extracting unit is provided with map information stored in a repository of the vehicle or an external server from the location information of the fixed object.
상기 제2 포인트 클라우드 정보는 상기 주변차량 또는 서버로부터 제공되며, 상기 주변차량의 위치정보, 상기 제2 포인트 클라우드 정보에 포함되는 물체의 위치정보와 그에 대한 주변차량의 방위각 정보와 함께 제공되는 것을 특징으로 하는 포인트 클라우드 정보 공유 장치.
The method according to claim 1,
The second point cloud information is provided from the neighboring vehicle or server and is provided together with the position information of the neighboring vehicle, the position information of the object included in the second point cloud information, and the azimuth information of the neighboring vehicle. The point cloud information sharing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180014885A KR101947581B1 (en) | 2018-02-07 | 2018-02-07 | Apparatus for sharing point cloud data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180014885A KR101947581B1 (en) | 2018-02-07 | 2018-02-07 | Apparatus for sharing point cloud data |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101947581B1 true KR101947581B1 (en) | 2019-05-02 |
Family
ID=66581534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180014885A KR101947581B1 (en) | 2018-02-07 | 2018-02-07 | Apparatus for sharing point cloud data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101947581B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112099037A (en) * | 2020-09-17 | 2020-12-18 | 上海波汇科技有限公司 | Target detection method and device based on FMCW laser radar high point cloud acquisition quantity |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011204151A (en) * | 2010-03-26 | 2011-10-13 | Daihatsu Motor Co Ltd | Inter-vehicle communication method and inter-vehicle communication device |
KR20150101204A (en) * | 2014-02-26 | 2015-09-03 | 한국전자통신연구원 | Vehicle Information Sharing Apparatus and Method |
KR20150133472A (en) * | 2014-05-20 | 2015-11-30 | 현대모비스 주식회사 | System and method for sharing information using radars of vehicle |
KR20160071162A (en) * | 2014-12-11 | 2016-06-21 | 현대자동차주식회사 | Apparatus for tracking multi object using lidar and method thereof |
KR20170093608A (en) * | 2016-02-05 | 2017-08-16 | 삼성전자주식회사 | Vehicle and recognizing method of vehicle's position based on map |
-
2018
- 2018-02-07 KR KR1020180014885A patent/KR101947581B1/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011204151A (en) * | 2010-03-26 | 2011-10-13 | Daihatsu Motor Co Ltd | Inter-vehicle communication method and inter-vehicle communication device |
KR20150101204A (en) * | 2014-02-26 | 2015-09-03 | 한국전자통신연구원 | Vehicle Information Sharing Apparatus and Method |
KR20150133472A (en) * | 2014-05-20 | 2015-11-30 | 현대모비스 주식회사 | System and method for sharing information using radars of vehicle |
KR20160071162A (en) * | 2014-12-11 | 2016-06-21 | 현대자동차주식회사 | Apparatus for tracking multi object using lidar and method thereof |
KR20170093608A (en) * | 2016-02-05 | 2017-08-16 | 삼성전자주식회사 | Vehicle and recognizing method of vehicle's position based on map |
Non-Patent Citations (2)
Title |
---|
미국공개특허 2016-0035081, METHODS AND SYSTEMS FOR OBJECT DETECTION USING LASER POINT CLOUDS(2016.02.04. 공개) |
자율주행차량을 위한 두 대의 3D LIDAR 캘리브레이션 방법, 한국자동차공학회* * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112099037A (en) * | 2020-09-17 | 2020-12-18 | 上海波汇科技有限公司 | Target detection method and device based on FMCW laser radar high point cloud acquisition quantity |
CN112099037B (en) * | 2020-09-17 | 2023-11-10 | 上海波汇科技有限公司 | Target detection method and device based on FMCW laser radar Gao Dian cloud acquisition |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989666B1 (en) | Predicting trajectory intersection by another road user | |
JP6665381B2 (en) | Flash rider with adaptive illumination | |
US10627521B2 (en) | Controlling vehicle sensors based on dynamic objects | |
US10699142B2 (en) | Systems and methods for traffic signal light detection | |
CN109927719B (en) | Auxiliary driving method and system based on obstacle trajectory prediction | |
JP3619628B2 (en) | Driving environment recognition device | |
US10137890B2 (en) | Occluded obstacle classification for vehicles | |
KR101354681B1 (en) | Controlling vehicle lateral lane positioning | |
CN108375775A (en) | The method of adjustment of vehicle-mounted detection equipment and its parameter, medium, detection system | |
US11900692B2 (en) | Multi-modal, multi-technique vehicle signal detection | |
KR20220134754A (en) | Lane Detection and Tracking Techniques for Imaging Systems | |
JP2002040137A (en) | Obstacle-recognizing device for vehicle | |
CN114442101B (en) | Vehicle navigation method, device, equipment and medium based on imaging millimeter wave radar | |
US11858493B2 (en) | Method of sharing and using sensor data | |
WO2019008716A1 (en) | Non-visible measurement device and non-visible measurement method | |
US10832569B2 (en) | Vehicle detection systems | |
JP3857698B2 (en) | Driving environment recognition device | |
US20220397675A1 (en) | Imaging systems, devices and methods | |
KR101947581B1 (en) | Apparatus for sharing point cloud data | |
CN117043632A (en) | Enhancement of LIDAR road detection | |
US20220176987A1 (en) | Trajectory limiting for autonomous vehicles | |
JP2021064056A (en) | Zebra zone recognition device, vehicle control device, zebra zone recognition method, and program | |
CN116142178A (en) | Vehicle auxiliary driving method, system, medium and electronic equipment | |
US20220120900A1 (en) | Light detection and ranging device using combined pulse and continuous optical signals | |
JP2019049811A (en) | Vehicle control device, vehicle control method, and program |