KR101655606B1 - Apparatus for tracking multi object using lidar and method thereof - Google Patents
Apparatus for tracking multi object using lidar and method thereof Download PDFInfo
- Publication number
- KR101655606B1 KR101655606B1 KR1020140178540A KR20140178540A KR101655606B1 KR 101655606 B1 KR101655606 B1 KR 101655606B1 KR 1020140178540 A KR1020140178540 A KR 1020140178540A KR 20140178540 A KR20140178540 A KR 20140178540A KR 101655606 B1 KR101655606 B1 KR 101655606B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- tracking
- unit
- recognizing
- predicted area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 241001673526 Lydia Species 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
본 발명은 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법에 관한 것으로, 시간에 따른 각 오브젝트의 위치를 예측하고, 추적 이력이 오래된 오브젝트를 우선순위로, 해당 예측영역과 중첩되는 복수의 군집을 하나의 오브젝트로 인식함으로써, 정확도 높게 오브젝트를 추적할 수 있는 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 라이다를 이용한 멀티 오브젝트 추적 장치에 있어서, 추적중인 각 차량의 위치정보 및 속도정보를 시간대별로 저장하는 저장부; 상기 저장부에 저장되어 있는 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출하는 예측영역 산출부; 도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성하는 라이다; 상기 라이다에 의해 생성된 포인트 클라우드 데이터를 군집화하는 군집화부; 및 추적 이력이 오래된 차량을 우선순위로, 상기 예측영역 산출부에 의해 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식하는 추적부를 포함한다.The present invention relates to a multi-object tracking apparatus and method using lidar, and more particularly to a multi-object tracking apparatus and method for estimating a position of each object with respect to time, The object can be tracked with high accuracy, thereby providing a multi-object tracking apparatus and method using the same.
To this end, the present invention provides a multi-object tracking device using a ladder, comprising: a storage unit for storing position information and speed information of each vehicle during a time period; A predicted area calculation unit for calculating a predicted area (hereinafter referred to as a predicted area) in which each vehicle is expected to be located at a later time based on position information and speed information of each vehicle stored in the storage unit; Generating point cloud data from reflected laser pulses after emitting laser pulses toward the front of the vehicle on the road; A clustering unit for clustering the point cloud data generated by the ladder; And a tracking unit for recognizing, as a corresponding vehicle, a plurality of clusters overlapping the predicted area of each vehicle calculated by the predicted area calculating unit, with the oldest vehicle having the tracking history as a priority.
Description
본 발명은 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 도로상에서 라이다를 이용하여 복수의 차량을 정확도 높게 인식 및 추적하는 기술에 관한 것이다.
The present invention relates to a multi-object tracking apparatus and method using lidar, and more particularly to a technique for recognizing and tracking a plurality of vehicles with high accuracy using ladder on the road.
차량의 SCC(Smart Cruise Control) 시스템은 운전자가 차량의 속도와 자기 차선에 위치한 선행차량과의 거리를 설정하면, 엑셀이나 브레이크 페달을 밟지 않아도 운전자가 설정한 조건에 맞추어 차량의 속도를 유지하는 기능을 제공한다.The SCC (Smart Cruise Control) system of the vehicle is a function that maintains the speed of the vehicle in accordance with the conditions set by the driver, even if the driver does not step on the excel or brake pedal when the distance between the speed of the vehicle and the preceding vehicle .
이를 위해 라이다로부터 타겟 정보를 제공받고 차량 내 센서를 이용해 도로 곡률을 산출한 후, 타겟 차량의 위치(자기 차선, 좌측 차선, 우측 차선)를 파악함으로써, 차량의 가속/감속/정속을 제어한다.To this end, the target information is provided from the driver, the curvature of the road is calculated using the in-vehicle sensor, and the acceleration / deceleration / constant speed of the vehicle is controlled by grasping the position of the target vehicle (own lane, left lane, right lane) .
그러나, 라이더에 의해 측정된 선행차량의 위치 및 이격거리의 부정확성으로 인해, SCC 시스템에 잘못된 가속/감속/정속의 빈도수를 증가시켜 SCC 시스템의 성능에 대한 신뢰도를 떨어뜨리는 경우가 발생하고 있다.However, due to the inaccuracy of the position and spacing distance of the preceding vehicle measured by the rider, there is a case where reliability of the SCC system is lowered by increasing the frequency of erroneous acceleration / deceleration / constant speed in the SCC system.
종래의 라이더를 이용한 멀티 오브젝트 추적 기술은, 라이더를 이용하여 수집한 포인트 클라우드 데이터를 군집화 알고리즘을 통해 군집화한 후 각 오브젝트와 1:1 매칭시켜 각각의 오브젝트를 추적하였다.Conventionally, the multi-object tracking technology using a rider has clustered the point cloud data collected using a rider through a clustering algorithm and then tracked each object by 1: 1 matching each object.
그러나, 실제 도로 상황에서는 군집화가 정확하게 이루어지기 어렵기 때문에 하나의 오브젝트에 대한 복수의 군집이 발생하는 경우가 많다.However, in an actual road situation, clustering is difficult to be accurately performed, so that a plurality of clusters for one object often occur.
이 경우, 종래에는 특정 조건을 만족시키는 하나의 군집을 하나의 오브젝트로 인식했기 때문에, 오브젝트의 위치에 오차가 발생하고 이로 인해 오브젝트의 속도에도 오차가 발생하는 문제점이 있었다.In this case, conventionally, since one cluster satisfying a specific condition is recognized as one object, an error occurs in the position of the object, which causes an error in the speed of the object.
이해를 돕기 위해, 도 2를 참고로 설명하면 종래에는 T=1 시점에서의 제 1 차량(210)은 T=2 시점에서 ②번 군집과 매칭되고, T=1 시점에서의 제 2 차량(220)은 T=2 시점에서 ③번 군집과 매칭된다. 그외 ①④⑤⑥ 군집은 신규 오브젝트로 인식하였다.
2, the
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 시간에 따른 각 오브젝트의 위치를 예측하고, 추적 이력이 오래된 오브젝트를 우선순위로, 해당 예측영역과 중첩되는 복수의 군집을 하나의 오브젝트로 인식함으로써, 정확도 높게 오브젝트를 추적할 수 있는 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법을 제공하는데 그 목적이 있다.According to an aspect of the present invention, there is provided a method of predicting the position of each object in time, And tracking the object with high accuracy by recognizing the object. The object of the present invention is to provide a multi-object tracking apparatus and method using the same.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 라이다를 이용한 멀티 오브젝트 추적 장치에 있어서, 추적중인 각 차량의 위치정보 및 속도정보를 시간대별로 저장하는 저장부; 상기 저장부에 저장되어 있는 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출하는 예측영역 산출부; 도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성하는 라이다; 상기 라이다에 의해 생성된 포인트 클라우드 데이터를 군집화하는 군집화부; 및 추적 이력이 오래된 차량을 우선순위로, 상기 예측영역 산출부에 의해 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식하는 추적부를 포함한다.According to another aspect of the present invention, there is provided a multi-object tracking system using a ladder, comprising: a storage unit for storing location information and speed information of each vehicle during a time period; A predicted area calculation unit for calculating a predicted area (hereinafter referred to as a predicted area) in which each vehicle is expected to be located at a later time based on position information and speed information of each vehicle stored in the storage unit; Generating point cloud data from reflected laser pulses after emitting laser pulses toward the front of the vehicle on the road; A clustering unit for clustering the point cloud data generated by the ladder; And a tracking unit for recognizing, as a corresponding vehicle, a plurality of clusters overlapping the predicted area of each vehicle calculated by the predicted area calculating unit, with the oldest vehicle having the tracking history as a priority.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 라이다를 이용한 멀티 오브젝트 추적 방법에 있어서, 저장부가 추적중인 각 차량의 위치정보 및 속도정보를 시간대별로 저장하는 단계; 예측영역 산출부가 상기 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출하는 단계; 라이다가 도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성하는 단계; 군집화부가 상기 포인트 클라우드 데이터를 군집화하는 단계; 및 추적부가 추적 이력이 오래된 차량을 우선순위로, 상기 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a method of tracking a multi-object using a ladder, comprising: storing location information and speed information of each vehicle being tracked by a storage unit by time zone; Calculating a region (hereinafter referred to as predicted region) in which each vehicle is expected to be located at a later time based on position information and speed information of each vehicle by the time zone; Generating point cloud data from reflected laser pulses after Lida fires a laser pulse toward the front of the vehicle on the road; The clustering unit clustering the point cloud data; And recognizing, as a corresponding vehicle, a plurality of clusters overlapping with the predicted area of each of the calculated vehicles, with the tracking unit having an older tracking history as a priority.
상기와 같은 본 발명은, 시간에 따른 각 오브젝트의 위치를 예측하고, 추적 이력이 오래된 오브젝트를 우선순위로, 해당 예측영역과 중첩되는 복수의 군집을 하나의 오브젝트로 인식함으로써, 정확도 높게 오브젝트를 추적할 수 있는 효과가 있다.
According to the present invention as described above, the position of each object with respect to time is predicted, and a plurality of clusters overlapping with the predicted region are recognized as one object, There is an effect that can be done.
도 1 은 본 발명에 따른 라이다를 이용한 멀티 오브젝트 추적 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 추적부의 기능에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 추적부가 차량 군집과 예측영역을 중첩한 일예시도,
도 4 는 본 발명에 따른 추적부가 차량 군집과 예측영역을 중첩한 다른 예시도,
도 5 는 본 발명에 따른 추적부가 가드레일 군집과 예측영역을 중첩한 일예시도,
도 6 은 본 발명에 따른 추적부가 가드레일 군집과 예측영역을 중첩한 다른 예시도,
도 7 은 본 발명에 따른 라이다를 이용한 멀티 오브젝트 추적 방법에 대한 일실시예 흐름도이다.FIG. 1 is a block diagram of a multi-object tracking apparatus using a ladder according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of an embodiment of the function of the tracking unit according to the present invention,
FIG. 3 is a diagram illustrating an example in which a tracking unit according to an exemplary embodiment of the present invention is superimposed on a vehicle cluster and a prediction region,
FIG. 4 is a diagram illustrating another example in which a tracking unit according to the present invention superimposes a vehicle cluster and a prediction region,
5 is a view illustrating an example in which a tracking section cluster and a prediction region are overlapped with each other according to an embodiment of the present invention.
FIG. 6 is a view showing another example where the tracking section according to the present invention superimposes a guard rail cluster and a prediction region,
FIG. 7 is a flowchart illustrating a method of tracking a multi-object using a ladder according to an embodiment of the present invention.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명에 따른 라이다를 이용한 멀티 오브젝트 추적 장치의 일실시예 구성도로서, 이하에서는 오브젝트의 일례로 차량을 예로 들어 설명하기로 한다.FIG. 1 is a block diagram of a multi-object tracking apparatus using a ladder according to an embodiment of the present invention. Hereinafter, a vehicle will be described as an example of an object.
도 1에 도시된 바와 같이, 본 발명에 따른 라이다를 이용한 멀티 오브젝트 추적 장치는, 저장부(10), 예측영역 산출부(20), 라이다(LiDAR)(30), 군집화부(40), 및 추적부(50)를 포함한다.1, a multi-object tracking apparatus using ladder according to the present invention includes a
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 추적부(50)에 의해 추적중인 각 차량의 위치정보 및 속도정보를 시간대별로 저장한다.First, the
예측영역 산출부(20)는 저장부(10)에 저장되어 있는 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간(T=2)에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출한다.The predicted
이러한 예측영역 산출부(20)는 추적부(50)의 제어하에 군집화부(40)와 동기를 맞춘다. 즉, 군집화부(40)에서 군집화한 시점(T=2)에 맞춰 예측영역을 산출한다.The prediction
라이다(30)는 도로상에서 차량의 전방을 향해 레이저펄스(70KHz)를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성한다.The
군집화부(40)는 라이다(30)에 의해 생성된 포인트 클라우드 데이터를 군집화한다. 이때, 군집화부(40)는 차량 모델링 또는 가드레일 모델링을 적용하여 포인트 클라우드 데이터를 군집화(외곽 형태를 유추)하며, 구체적인 군집화 알고리즘은 주지 관용의 기술로서 그 상세 설명을 생략한다.The
추적부(50)는 추적 이력이 오래된 차량을 우선순위로, 예측영역 산출부(20)에 의해 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식한다. 여기서, 우선순위는 추적 시간이 오래된 순서, 또는 추적 횟수가 많은 순서를 의미한다.The
또한, 추적부(50)는 특정 차량의 예측영역과 중첩되는 군집이 존재하지 않는 경우에는 임계거리 이내의 군집을 상기 특정 차량으로 인식한다. 이때, 임계거리를 초과하는 군집에 대해서는 새로운 차량으로 인식하여 새로운 ID를 부여한다.The
또한, 추적부(50)는 추적중인 차량이 사라진 경우에 해당 차량에 부여한 ID를 회수한다.In addition, the
본 발명에서 라이다(30)에 의해 성성된 포인트 클라우드 데이터를 기반으로 중첩 영역을 추적하는 이유는 라이다(30)의 특성상 차량의 외곽 형태를 정확히 추출할 수 있기 때문이다.The reason for tracing the overlap area based on the point cloud data generated by the Lada 30 according to the present invention is that the outer shape of the vehicle can be accurately extracted due to the characteristic of
부가적으로, 본 발명은 추적부(50)에 의해 새로운 차량이 인식된 경우에 ID를 부여하는 ID 관리부(미도시)를 더 포함할 수도 있다. 이러한 ID 관리부는 추적부(50)에 의해 추적중인 차량이 사라진 경우에 부여한 ID를 회수(回收)하는 기능을 더 수행한다.In addition, the present invention may further include an ID management unit (not shown) for giving an ID when a new vehicle is recognized by the
이하, 도 2를 참조하여 추적부(50)에 대해 좀 더 상세히 살펴보기로 한다.Hereinafter, the
도 2 는 본 발명에 따른 추적부의 기능에 대한 일실시예 설명도이다.2 is an explanatory view of an embodiment of the function of the tracking unit according to the present invention.
도 2에서, '210'은 T=1 시점에서의 제 1 차량을 나타내고, '220'은 T=1 시점에서의 제 2 차량을 나타내며, '211'은 T=2 시점에서 제 1 차량(210)이 위치할 것으로 예상되는 영역(제 1 예측영역)을 나타내며, '221'은 T=2 시점에서 제 2 차량(220)이 위치할 것으로 예상되는 영역(제 2 예측영역)을 나타낸다. 이때, 제 1 차량(210) 및 제 2 차량(220)은 모두 추적중인 오브젝트이다.In FIG. 2, '210' represents the first vehicle at time T = 1, '220' represents the second vehicle at time T = 1, '211' (First predictive region) where the
추적부(50)는 제 1 예측영역(211)과 중첩되는 ① 군집과 ② 군집을 병합한 후 병합된 결과를 T=2 시점에서의 제 1 차량(210)으로 인식하고, 제 2 예측영역(221)과 중첩되는 ③ 군집과 ⑤번 군집을 병합한 후 병합된 결과를 T=2 시점에서의 제 2 차량(220)으로 인식한다.The
이때, 제 1 예측영역(211)과 제 2 예측영역(221)에 공통으로 중첩되는 ④번 군집은 우선순위가 높은 차량에 할당한다. 즉, 제 1 차량(210)의 우선순위가 제 2 차량(220)보다 높으면 ④번 군집은 제 1 차량에 포함된다.At this time, the cluster (4), which is commonly overlapped with the first
실제 복수의 군집과 예측영역을 중첩한 결과는 도 3 및 도 4에 도시된 바와 같다. 도 3 및 도 4에서, 보라색으로 표현된 부분은 차량 모델링을 적용하여 추출한 군집을 나타내고, 회색으로 표현된 부분은 예측영역을 나타내며, 빨간색으로 표현된 부분은 중첩 결과를 나타낸다. 이는 도 5 및 도 6에도 동일하게 적용되며, 도 5 및 도 6은 가드레일 모델링을 적용한 경우의 중첩 결과를 나타내는 일예시도이다.The results obtained by superposing a plurality of actual clusters and prediction regions are as shown in Figs. 3 and 4. In FIG. 3 and FIG. 4, the portion represented by purple is a cluster extracted by applying vehicle modeling, the portion represented by gray represents a prediction region, and the portion represented by red represents an overlapping result. This is also applied to FIGS. 5 and 6, and FIGS. 5 and 6 illustrate examples of overlapping results when guardrail modeling is applied.
도 7 은 본 발명에 따른 라이다를 이용한 멀티 오브젝트 추적 방법에 대한 일실시예 흐름도이다.FIG. 7 is a flowchart illustrating a method of tracking a multi-object using a ladder according to an embodiment of the present invention.
먼저, 저장부(10)가 추적중인 각 차량의 위치정보 및 속도정보를 시간대별로 저장한다(701).First, the
이후, 예측영역 산출부(20)가 상기 저장부(10)에 저장되어 있는 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출한다(702).Thereafter, based on the position information and the speed information of each vehicle according to the time zone stored in the
이후, 라이다(30)가 도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성한다(703).Thereafter, the
이후, 군집화부(40)가 상기 라이다(30)에 의해 생성된 포인트 클라우드 데이터를 군집화한다(704).Then, the
이후, 추적부(50)가 추적 이력이 오래된 차량을 우선순위로, 상기 예측영역 산출부(20)에 의해 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식한다(705).Thereafter, the
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.Meanwhile, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the created program is stored in a computer-readable recording medium (information storage medium), and is read and executed by a computer to implement the method of the present invention. And the recording medium includes all types of recording media readable by a computer.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.
10 : 저장부
20 : 예측영역 산출부
30 : 라이다
40 : 군집화부
50 : 추적부10:
20: prediction area calculating unit
30: Rada
40: clustering part
50:
Claims (7)
상기 저장부에 저장되어 있는 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출하는 예측영역 산출부;
도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성하는 라이다;
상기 라이다에 의해 생성된 포인트 클라우드 데이터를 군집화하는 군집화부; 및
추적 이력이 오래된 차량을 우선순위로, 상기 예측영역 산출부에 의해 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식하는 추적부를 포함하되,
상기 우선순위는,
추적 시간이 오래된 순서, 추적 횟수가 많은 순서 중 어느 하나인 것을 특징으로 하는 라이다를 이용한 멀티 오브젝트 추적 장치.
A storage unit for storing location information and speed information of each vehicle being tracked for each time slot;
A predicted area calculation unit for calculating a predicted area (hereinafter referred to as a predicted area) in which each vehicle is expected to be located at a later time based on position information and speed information of each vehicle stored in the storage unit;
Generating point cloud data from reflected laser pulses after emitting laser pulses toward the front of the vehicle on the road;
A clustering unit for clustering the point cloud data generated by the ladder; And
And a tracking unit for recognizing, as a corresponding vehicle, a plurality of clusters overlapping a predicted area of each vehicle calculated by the predicted area calculating unit, with the oldest vehicle having the tracking history as a priority,
The priority order may be,
The tracking time is old, and the tracking number is high.
상기 추적부는,
특정 차량의 예측영역과 중첩되는 군집이 존재하지 않는 경우에는 임계거리 이내의 군집을 상기 특정 차량으로 인식하는 라이다를 이용한 멀티 오브젝트 추적 장치.
The method according to claim 1,
The tracking unit includes:
And recognizing a cluster within a critical distance as the specific vehicle when there is no cluster overlapping the predicted region of the specific vehicle.
상기 추적부는,
상기 임계거리를 초과하는 군집에 대해서는 새로운 차량으로 인식하는 라이다를 이용한 멀티 오브젝트 추적 장치.
3. The method of claim 2,
The tracking unit includes:
And recognizing a cluster that exceeds the critical distance as a new vehicle.
상기 추적부는,
상기 새로운 차량에 ID를 부여하는 것을 특징으로 하는 라이다를 이용한 멀티 오브젝트 추적 장치.
The method of claim 3,
The tracking unit includes:
And an ID is assigned to the new vehicle.
예측영역 산출부가 상기 시간대별 각 차량의 위치정보 및 속도정보를 기반으로 이후 시간에 각 차량이 위치할 것으로 예상되는 영역(이하, 예측영역)을 산출하는 단계;
라이다가 도로상에서 차량의 전방을 향해 레이저펄스를 발사한 후 반사되는 레이저펄스로부터 포인트 클라우드 데이터를 생성하는 단계;
군집화부가 상기 포인트 클라우드 데이터를 군집화하는 단계; 및
추적부가 추적 이력이 오래된 차량을 우선순위로, 상기 산출된 각 차량의 예측영역과 중첩되는 복수의 군집을 해당 차량으로 인식하는 단계를 포함하되,
상기 우선순위는,
추적 시간이 오래된 순서, 추적 횟수가 많은 순서 중 어느 하나인 것을 특징으로 하는 라이다를 이용한 멀티 오브젝트 추적 방법.
Storing location information and speed information of each vehicle in which the storage unit is tracking by time zone;
Calculating a region (hereinafter referred to as predicted region) in which each vehicle is expected to be located at a later time based on position information and speed information of each vehicle by the time zone;
Generating point cloud data from reflected laser pulses after Lida fires a laser pulse toward the front of the vehicle on the road;
The clustering unit clustering the point cloud data; And
Wherein the tracking section includes a step of recognizing, as a corresponding vehicle, a plurality of clusters overlapping with the predicted area of each of the calculated vehicles,
The priority order may be,
The tracking time is in an old order, and the tracking number is a large number.
상기 차량 인식단계는,
특정 차량의 예측영역과 중첩되는 군집이 존재하지 않는 경우에는 임계거리 이내의 군집을 상기 특정 차량으로 인식하는 라이다를 이용한 멀티 오브젝트 추적 방법.
6. The method of claim 5,
The vehicle recognizing step includes:
And recognizing a cluster within a critical distance as the specific vehicle when there is no cluster overlapping the predicted region of the specific vehicle.
상기 차량 인식단계는,
상기 임계거리를 초과하는 군집에 대해서는 새로운 차량으로 인식하는 라이다를 이용한 멀티 오브젝트 추적 방법.The method according to claim 6,
The vehicle recognizing step includes:
And recognizing the clusters exceeding the critical distance as a new vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140178540A KR101655606B1 (en) | 2014-12-11 | 2014-12-11 | Apparatus for tracking multi object using lidar and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140178540A KR101655606B1 (en) | 2014-12-11 | 2014-12-11 | Apparatus for tracking multi object using lidar and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160071162A KR20160071162A (en) | 2016-06-21 |
KR101655606B1 true KR101655606B1 (en) | 2016-09-07 |
Family
ID=56353768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140178540A KR101655606B1 (en) | 2014-12-11 | 2014-12-11 | Apparatus for tracking multi object using lidar and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101655606B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366282B2 (en) | 2016-06-09 | 2019-07-30 | Daegu Gyeongbuk Institute Of Science And Technology | Human detection apparatus and method using low-resolution two-dimensional (2D) light detection and ranging (LIDAR) sensor |
KR102168288B1 (en) | 2019-05-20 | 2020-10-21 | 충북대학교 산학협력단 | System and method for tracking multiple object using multi-LiDAR |
EP4138044A1 (en) | 2021-08-17 | 2023-02-22 | Chungbuk National University Industry-Academic Cooperation Foundation | Single-stage 3-dimension multi-object detecting apparatus and method for autonomous driving |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102198810B1 (en) | 2017-01-03 | 2021-01-05 | 한국자동차연구원 | Apparatus and method for tracking object |
KR101947581B1 (en) * | 2018-02-07 | 2019-05-02 | 주식회사 에스더블유엠 | Apparatus for sharing point cloud data |
US11449067B1 (en) * | 2018-08-03 | 2022-09-20 | GM Global Technology Operations LLC | Conflict resolver for a lidar data segmentation system of an autonomous vehicle |
KR20200028217A (en) * | 2018-09-06 | 2020-03-16 | 현대자동차주식회사 | Apparatus for controlling driving of a vehicle and method thereof |
US10878580B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method |
CN110458055B (en) * | 2019-07-29 | 2021-10-15 | 江苏必得科技股份有限公司 | Obstacle detection method and system |
KR102083913B1 (en) * | 2019-09-03 | 2020-03-04 | 주식회사 모빌테크 | Apparatus for building map using LiDAR |
WO2022141912A1 (en) * | 2021-01-01 | 2022-07-07 | 杜豫川 | Vehicle-road collaboration-oriented sensing information fusion representation and target detection method |
CN113706586B (en) * | 2021-10-29 | 2022-03-18 | 深圳市城市交通规划设计研究中心股份有限公司 | Target tracking method and device based on multi-point position perception and storage medium |
KR20230137552A (en) | 2022-03-22 | 2023-10-05 | 엘지이노텍 주식회사 | LiDAR module |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198323A (en) | 2002-12-19 | 2004-07-15 | Denso Corp | Object recognition device for vehicle |
KR100720595B1 (en) * | 2006-08-02 | 2007-05-21 | 주식회사 아이센텍이엔씨 | Smart video monitoring system and method communicating with auto-tracking radar system |
JP5222946B2 (en) * | 2007-10-09 | 2013-06-26 | ピルツ ゲーエムベーハー アンド コー.カーゲー | How to make object model compatible with 3D point cloud |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013174568A (en) * | 2012-02-27 | 2013-09-05 | Fujitsu Ltd | Moving body tracking device, moving body tracking method, and program |
-
2014
- 2014-12-11 KR KR1020140178540A patent/KR101655606B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198323A (en) | 2002-12-19 | 2004-07-15 | Denso Corp | Object recognition device for vehicle |
KR100720595B1 (en) * | 2006-08-02 | 2007-05-21 | 주식회사 아이센텍이엔씨 | Smart video monitoring system and method communicating with auto-tracking radar system |
JP5222946B2 (en) * | 2007-10-09 | 2013-06-26 | ピルツ ゲーエムベーハー アンド コー.カーゲー | How to make object model compatible with 3D point cloud |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366282B2 (en) | 2016-06-09 | 2019-07-30 | Daegu Gyeongbuk Institute Of Science And Technology | Human detection apparatus and method using low-resolution two-dimensional (2D) light detection and ranging (LIDAR) sensor |
KR102168288B1 (en) | 2019-05-20 | 2020-10-21 | 충북대학교 산학협력단 | System and method for tracking multiple object using multi-LiDAR |
EP4138044A1 (en) | 2021-08-17 | 2023-02-22 | Chungbuk National University Industry-Academic Cooperation Foundation | Single-stage 3-dimension multi-object detecting apparatus and method for autonomous driving |
KR20230026130A (en) | 2021-08-17 | 2023-02-24 | 충북대학교 산학협력단 | Single stage 3-Dimension multi-object detecting apparatus and method for autonomous driving |
Also Published As
Publication number | Publication date |
---|---|
KR20160071162A (en) | 2016-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101655606B1 (en) | Apparatus for tracking multi object using lidar and method thereof | |
CN106255899B (en) | Device for signaling an object to a navigation module of a vehicle equipped with such a device | |
US20230025414A1 (en) | Method for identifying abnormal driving behavior | |
US11430227B2 (en) | Method, computer program product, and driver assistance system for determining one or more lanes of a road in an environment of a vehicle | |
JP5938569B2 (en) | Advanced driver support system considering azimuth information and operation method thereof | |
JP2018152056A (en) | Risk-based driver assistance for approaching intersections with limited visibility | |
US10369993B2 (en) | Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free | |
CN104210439A (en) | Method and system for generating road map using data of position sensor of vehicle | |
KR20200014931A (en) | Vehicle information storage method, vehicle driving control method, and vehicle information storage device | |
CN114750759B (en) | Method, device, equipment and medium for determining following target | |
CN105788360B (en) | A kind of methods, devices and systems of vehicle collision avoidance | |
Jeong et al. | Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments | |
KR101503473B1 (en) | System and method for deciding driving situation of vehicle | |
US20200218259A1 (en) | Vehicle monitoring and control infrastructure | |
Wang et al. | Overcoming challenges of validation automated driving and identification of critical scenarios | |
KR20200040559A (en) | Apparatus and method for predicting concurrent lane change vehicle and vehicle including the same | |
CN114008551A (en) | Automated root cause analysis of faults in autonomous vehicles | |
CN116872921A (en) | Method and system for avoiding risks of vehicle, vehicle and storage medium | |
CN114077541A (en) | Method and system for validating automatic control software for an autonomous vehicle | |
CN113335311B (en) | Vehicle collision detection method and device, vehicle and storage medium | |
US11919544B2 (en) | Method and device for operating an automated vehicle | |
JP2017191478A (en) | Collision avoidance system, information processing apparatus, collision avoidance program, and information processing program | |
KR102652486B1 (en) | Method for predicting traffic light information by using lidar and server using the same | |
KR102350197B1 (en) | Apparatus and method for setting driving route | |
CN113302108A (en) | Method, device, computer program and computer program product for operating a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190827 Year of fee payment: 4 |