KR101937267B1 - Tracking system for vehicle and operating method thererof - Google Patents

Tracking system for vehicle and operating method thererof Download PDF

Info

Publication number
KR101937267B1
KR101937267B1 KR1020170122861A KR20170122861A KR101937267B1 KR 101937267 B1 KR101937267 B1 KR 101937267B1 KR 1020170122861 A KR1020170122861 A KR 1020170122861A KR 20170122861 A KR20170122861 A KR 20170122861A KR 101937267 B1 KR101937267 B1 KR 101937267B1
Authority
KR
South Korea
Prior art keywords
track
tracks
target
clustering
unique
Prior art date
Application number
KR1020170122861A
Other languages
Korean (ko)
Inventor
김봉주
금병직
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020170122861A priority Critical patent/KR101937267B1/en
Application granted granted Critical
Publication of KR101937267B1 publication Critical patent/KR101937267B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided are a tracking system for a vehicle for solving a multi-track generation problem and an operation method thereof. According to the present invention, the operation method for the tracking system for a vehicle comprises the steps of: performing data-related filtering on a detection signal received from at least one sensor; managing a track by generating a new track or maintaining the existing track or deleting the existing track on a filtered signal; clustering tracks using a geometric distance; and extracting a representative value of the clustered tracks as a unique track.

Description

차량용 트래킹 시스템 및 그것의 동작 방법{TRACKING SYSTEM FOR VEHICLE AND OPERATING METHOD THEREROF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a tracking system for a vehicle,

본 발명은 차량용 트래킹 시스템 및 그것의 동작 방법에 관한 것이다.The present invention relates to a vehicle tracking system and a method of operation thereof.

일반적으로 차량에는 운전자 및 탑승자 보호와 운행 보조 및 승차감의 향상을 위한 다양한 시스템들이 탑재되고 있으며, 이러한 시스템들은 다양한 센서 및 정보통신기술을 활용하여 개량 발전되고 있다. 그 중에서도 카메라를 통한 영상 센서를 이용하여 차선을 인식하고 자동 조향을 행하는 기술이 실용화되고 있는데, 일반적으로 자동차에 구비되는 영상 인식 처리장치는 운행되는 도로 차선의 영상 정보와 후속 주행하는 자동차에 관한 영상 정보 및 좌우 차선의 영상 정보를 검출한 후 표시수단을 통해 디스플레이 하여 운전자에게 편리한 차선의 인식과 운행되는 도로의 상황 및 주변 차량의 운행 정보를 제공하는 것이다. 영상 센서 및 레이더를 통해 수집된 영상 정보 및 레이더 정보를 융합하여 필요한 정보를 추출해서 사용할 수 있는 센서 퓨전 시스템이 개발되고 있다.Generally, various systems are installed in the vehicle for protecting the driver and passengers, improving the driving assistance and ride comfort, and these systems are being improved by utilizing various sensors and information communication technologies. In particular, a technology for recognizing lanes and performing automatic steering by using an image sensor through a camera has been put into practical use. In general, an image recognition processing apparatus provided in an automobile is provided with image information of a running lane and images Information on the left and right lanes, and displays the information on the display means through the display means, thereby providing convenient lane recognition for the driver, and information on the state of the road and the driving information of the surrounding vehicles. A sensor fusion system capable of extracting necessary information by fusing image information and radar information collected through an image sensor and a radar has been developed.

등록특허: 10-1196298, 등록일: 2012년 10월 25일, 발명의 명칭: 고속 트랙융합 방법.Registered Patent: 10-1196298, Registered: October 25, 2012, Title of invention: Fast Track Fusion Method. 공개번호: 10-2017-0066382, 공개일: 2017년 06월 14일, 발명의 명칭: 다중 센서 트래킹 시스템 및 방법.Publication No. 10-2017-0066382, published on June 14, 2017, entitled: Multiple Sensor Tracking System and Method. 일본공개특허: 제2011-501252호, 공개일: 2011년 1월 6일, 발명의 명칭: 영상 데이터 처리를 위한 방법 및 시스템.Japanese Patent Application Laid-Open No. 2011-501252, filed on Jan. 6, 2011, entitled " METHOD AND SYSTEM FOR IMAGE DATA PROCESSING.

본 발명의 목적은 다중 트랙 생성 문제를 개선하는 차량용 트래킹 시스템 및 그것의 동작 방법을 제공하는데 있다.It is an object of the present invention to provide a vehicle tracking system and a method of operation thereof for improving multi-track generation problems.

본 발명의 실시 예에 따른 차량용 트래킹 시스템의 동작 방법은: 적어도 하나의 센서로부터 수신된 검출 신호를 데이터 연관 필터링하는 단계; 상기 필터링된 신호에 대하여 새로운 트랙을 생성하거나 기존 트랙을 유지하거나 상기 기존 트랙을 삭제함으로써 트랙을 관리하는 단계; 기하학적 거리를 이용하여 트랙들을 클러스터링하는 단계; 및 상기 클러스터링된 트랙들의 대표값을 고유 트랙으로 추출하는 단계를 포함할 수 있다.A method of operating a tracking system for a vehicle according to an embodiment of the present invention includes: data-associating filtering a detection signal received from at least one sensor; Managing a track by creating a new track for the filtered signal, maintaining an existing track, or deleting the existing track; Clustering tracks using a geometric distance; And extracting a representative value of the clustered tracks as a unique track.

실시 예에 있어서, 상기 적어도 하나의 센서는 멀티 센서이거나 싱글 센서를 포함할 수 있다.In an embodiment, the at least one sensor may be a multi-sensor or a single sensor.

실시 예에 있어서, 상기 멀티 센서는 레이다, 라이다(LIDAR), 혹은 카메라 중 적어도 2개를 포함할 수 있다.In an embodiment, the multi-sensor may include at least two of radar, LIDAR, or camera.

실시 예에 있어서, 상기 데이터 연관 필터는 칼만 필터를 포함할 수 있다.In an embodiment, the data association filter may comprise a Kalman filter.

실시 예에 있어서, 상기 트랙을 관리하는 단계는, 타겟의 개수만큼 트랙을 초기화시키는 단계를 포함할 수 있다.In an embodiment, managing the track may include initializing the track by the number of targets.

실시 예에 있어서, 상기 트랙을 관리하는 단계는, 잠재 타겟 초기화 및 잠재 타겟을 업데이트 하는 단계를 더 포함할 수 있다.In an embodiment, managing the track may further comprise updating the potential target and updating the potential target.

실시 예에 있어서, 상기 트랙들을 클러스터링하는 단계는, 상기 기하학적 거리가 사전에 결정된 거리 이내에 있는 트랙들의 좌표값들의 평균값으로 대체하는 단계를 포함할 수 있다.In an embodiment, the step of clustering the tracks may comprise replacing the geometric distance with an average value of the coordinate values of the tracks within a predetermined distance.

실시 예에 있어서, 상기 고유 트랙으로 추출하는 단계는, 동일한 값을 갖는 트랙들에 대하여 하나의 트랙만을 남기고 나머지 트랙들을 초기화시키는 단계를 포함할 수 있다.In one embodiment, extracting with the unique track may include initializing the remaining tracks, leaving only one track for the tracks having the same value.

실시 예에 있어서, 상기 대표값은 상기 기하학적 거리가 기준값 이내의 트랙들의 좌표값들의 합산값을 상기 클러스터링된 트랙들의 개수로 나눔으로 계산될 수 있다.In one embodiment, the representative value may be calculated by dividing the sum of the coordinate values of the tracks whose geometric distance is within the reference value by the number of the clustered tracks.

실시 예에 있어서, 환경 요소 분리 로직에 의해 주행 차선 좌표를 이용하여 상기 검출 신호를 분리하는 단계를 더 포함할 수 있다.In an embodiment, the method may further include separating the detection signal using the driving lane coordinate by the environmental element separation logic.

본 발명의 실시 예에 따른 차량용 트래킹 시스템은, 타겟에 대한 제 1 검출 신호를 출력하는 카메라; 상기 타겟에 대한 제 2 검출 신호를 출력하는 라이다; 상기 타겟에 대한 제 3 검출 신호를 출력하는 레이다; 및 상기 제 1 내지 제 3 검출 신호들을 데이터 연관 필터링하고, 상기 필터링 신호에 대하여 새로운 트랙을 생성하거나 기존 트랙을 유지하거나 상기 기존 트랙을 삭제하고, 다중 트랙 발생시 기하학적 거리를 이용하여 클러스터링을 수행하고, 상기 클러스터링된 트랙들의 대표값을 고유 트랙으로 추출하는 트랙 융합 모듈을 포함할 수 있다.A vehicle tracking system according to an embodiment of the present invention includes: a camera for outputting a first detection signal for a target; And outputs a second detection signal for the target; A radar for outputting a third detection signal for the target; And performing a data-related filtering on the first to third detection signals, generating a new track for the filtering signal, maintaining an existing track, deleting the existing track, performing clustering using a geometric distance when generating a multi- And a track fusion module for extracting the representative value of the clustered tracks as a unique track.

실시 예에 있어서, 상기 트랙 융합 모듈은, 상기 제 1 내지 제 3 검출 신호들을 환경 좌표를 이용하여 분리하는 제 환경 요소 분리 로직; 상기 분리된 신호들을 데이터 연관 필터링하고 및 상기 필터링된 신호에 대응하는 트랙 생성, 유지, 삭제를 관리하는 데이터 연관 필터 및 트랙 매니저; 및 상기 다중 트랙 발생시 클러스터링을 수행하고, 상기 클러스터링된 트랙들의 좌표값의 합산한 값을 상기 클러스터링된 트랙들의 개수로 나눔으로써 상기 고유 트랙을 추출하는 클러스터링 및 고유 트랙 추출 로직을 포함할 수 있다.In an exemplary embodiment, the track fusion module may include an environmental element separation logic that separates the first through third detection signals using environment coordinates; A data association filter and a track manager for data association filtering the separated signals and managing generation, maintenance and deletion of tracks corresponding to the filtered signals; And clustering and unique track extraction logic for performing clustering at the occurrence of the multiple tracks and dividing the sum of the coordinate values of the clustered tracks by the number of the clustered tracks to extract the unique tracks.

실시 예에 있어서, 상기 데이터 연관 필터 및 트랙 매니저는, 칼만 필터를 이용하여 트랙 예측을 수행하고, 상기 트랙 예측 결과로써 트랙 및 트랙 상태를 업데이트할 수 있다.In an embodiment, the data association filter and the track manager may perform track prediction using a Kalman filter and update the track and track states with the track prediction result.

실시 예에 있어서, 상기 클러스터링 및 고유 트랙 추출 로직은, 트랙들의 기하학적 거리가 사전에 결정된 거리 이내에 있는 경우 개별 트랙들의 좌표값을 평균값으로 대체하고, 상기 대체된 평균값을 갖는 동일한 트랙들 중에서 어느 하나의 트랙을 남기고, 나머지 트랙들을 초기화시킬 수 있다.In an embodiment, the clustering and unique track extraction logic is configured to replace the coordinate values of individual tracks with an average value when the geometric distance of the tracks is within a predetermined distance, and to replace any one of the same tracks with the replaced average value Leaving the track and initializing the remaining tracks.

본 발명의 실시 예에 따른 차량용 트래킹 시스템 및 그것의 동작 방법은, 다중 트랙 생성 이후에 기하학적 거리를 근거로 한 클러스터링 기법을 이용하여 간단하게 트랙 융합을 수행할 수 있다.The vehicle tracking system and the operation method thereof according to the embodiment of the present invention can perform the track fusion simply by using the clustering technique based on the geometric distance after generating the multiple tracks.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 차량용 트래킹 시스템을 예시적으로 보여주는 도면이다.
도 2은 도 1에 도시된 트랙 융합 모듈을 예시적으로 보여주는 도면이다.
도 3는 본 발명의 실시 예에 따른 데이터 연관 필터 및 트랙 매니저의 동작 방법에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 클러스터링 및 고유 트랙 추출 로직의 동작을 개념적으로 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 차량용 트래킹 시스템의 트랙 융합 기법을 적용하기 전과 후의 트랙 상태를 보여주는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of this application, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention. However, the technical features of the present embodiment are not limited to the specific drawings, and the features disclosed in the drawings may be combined with each other to constitute a new embodiment.
1 is an exemplary illustration of a tracking system for a vehicle according to an embodiment of the present invention.
FIG. 2 is an exemplary illustration of the track fusing module shown in FIG. 1. FIG.
FIG. 3 illustrates an exemplary operation of a data association filter and a track manager according to an embodiment of the present invention. Referring to FIG.
4 is a conceptual illustration of the operation of clustering and unique track extraction logic according to an embodiment of the present invention.
FIG. 5 is a diagram showing track states before and after applying the track fusion technique of the vehicle tracking system according to the embodiment of the present invention.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In this application, the terms "comprises" or "having" are intended to specify the presence of stated features, integers, steps, operations, components, parts, or combinations thereof, wherein one or more other features, , Steps, operations, components, parts, or combinations thereof, as a matter of course. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .

도 1은 본 발명의 실시 예에 따른 차량용 트래킹 시스템(100)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 차량용 트래킹 시스템(100)은 레이다(110), 카메라(120), 라이다(LIDAR; Light Detection and Ranging, 130), 및 트랙 융합 모듈(140)을 포함할 수 있다.Figure 1 is an exemplary illustration of a vehicle tracking system 100 in accordance with an embodiment of the present invention. Referring to Figure 1, a vehicle tracking system 100 may include a radar 110, a camera 120, a light detection and ranging (LIDAR) 130, and a track fusion module 140.

레이다(110), 카메라(120), 및 라이다(130)의 각각은 타겟에 대한 위치 정보에 대응하는 제 1, 제 2, 및 제 3 검출 신호들(예, 트랙 1, 트랙 2, 트랙 3)을 발생할 수 있다.Second, and third detection signals (e.g., Track 1, Track 2, and Track 3) corresponding to position information for the target, respectively, of the radar 110, the camera 120, ).

트랙 융합 모듈(140)은 레이다(110), 카메라(120), 및 라이다(130)로부터 검출 신호들(트랙 1, 트랙 2, 및 트랙 3)을 수신하고, 수신된 검출 신호들을 필터링함으로써 타겟에 대한 트랙을 생성/유지/삭제하도록 구현될 수 있다. 실시 예에 있어서, 트랙 융합 모듈(140)은 펌웨어/소프트웨어/하드웨어적으로 구현될 수 있다.The track fusion module 140 receives the detection signals (track 1, track 2, and track 3) from the radar 110, the camera 120, and the ladder 130, / RTI > may be implemented to create / maintain / delete tracks for the < / RTI > In an embodiment, the track fusion module 140 may be implemented in firmware / software / hardware.

한편, 도 1에 도시된 차량용 트래킹 시스템(100)은, 레이다(110), 카메라(120), 및 라이다(130)를 갖는 멀티 센서(multi sensor)로 구현되었다. 하지만, 본 발명의 차량용 트래킹 시스템이 이러한 구조에 제한되지 않는다고 이해되어야 할 것이다. 본 발명의 차량용 트래킹 시스템은 다양한 종류의 멀티 센서 혹은 하나의 싱글 센서(single sensor)로부터 타겟을 트래킹 할 수 있다고 이해되어야 할 것이다.On the other hand, the vehicle tracking system 100 shown in Fig. 1 is implemented with a multi-sensor having a radar 110, a camera 120, and a ladder 130. However, it should be understood that the vehicle tracking system of the present invention is not limited to this structure. It should be understood that the vehicle tracking system of the present invention can track a target from various types of multi-sensors or from a single sensor.

본 발명의 차량용 트래킹 시스템(100)은 로직의 구조가 단순한 새로운 트랙 융합(track fusion) 기법을 제안한다.The vehicle tracking system 100 of the present invention proposes a new track fusion technique in which the structure of logic is simple.

일반적으로 트래킹 시스템(tracking system)은 NN(nearest neighbor), PDA(probabilistic data association), MHT(multi-hypothesis tracking)과 같은 타겟에 대한 데이터 연관 필터(data association filter; DA Filter) 기법과 이를 통해 생성된 트랙들을 관리하기 위한 트랙 매니저(track manager) 기술을 이용한다. 멀티 센서(multi-sensor)를 사용하는 경우, 이러한 기술이 센서마다 적용되어야 하므로, 다중 트랙이 생성되는 문제점이 있다. 싱글 센서(single-sensor)를 사용하더라도 저가형 안테나를 사용하는 경우, 동일 타겟에 대해 손실(loss)과 검출이 빈번히 발생됨으로써, 하나의 타겟에 있어서 기존 트랙이 소멸되지 않고 유지되는 상황에서 동일 타겟에 대한 신규 트랙이 생성되고, 이에 따라 다중 트랙 생성 문제가 발생될 수 있다.In general, a tracking system is a data association filter (DA filter) technique for targets such as nearest neighbor (NN), probabilistic data association (PDA), and multi-hypothesis tracking (MHT) Quot; track manager " technology for managing tracks that have been tracked. In the case of using a multi-sensor, since this technique must be applied to each sensor, there is a problem that multiple tracks are generated. In the case of using a low-cost antenna even when a single sensor is used, loss and detection are frequently generated for the same target, so that in a situation where existing tracks are maintained in a single target without being lost, A new track for a new track may be generated, thereby causing a problem of generating a multi-track.

이러한 다중 트랙 문제를 해결하기 위해 종래의 기술은 T2TA(track-to-track association) 방법을 사용한다. T2TA는 타겟에 대해 트랙을 생성시키는 구조와 비슷하다. 즉, 트랙들의 거리에 대한 분산 값이 일정 값 이내인 경우, 트랙들이 서로 융합된다. 데이터 연관 기법과 트랙 상태에 대해 예측과 갱신을 수행함으로써, 트랙들을 생성시키는 로직과 구조가 유사하다. 이는 전체 로직의 복잡도를 증가시키고 튜닝이 힘들어 지는 단점을 유발한다. 또한, 기존의 트래킹 시스템에서 클러스터링(clustering) 기법은, 연산량을 줄이고 트래킹 성능을 개선시키기 위해 데이터 연관 필터 이전 단계에서 수행되고 있다.To solve this multi-track problem, conventional techniques use a track-to-track association (T2TA) method. T2TA is similar to the structure that creates a track for a target. That is, when the dispersion value of the distances of the tracks is within a certain value, the tracks are fused with each other. By performing prediction and update on the data association technique and track state, the structure is similar to the logic that creates the tracks. This increases the complexity of the overall logic and leads to the disadvantage that tuning becomes difficult. In addition, in the conventional tracking system, the clustering method is performed in the previous stage of the data association filter in order to reduce the amount of computation and improve the tracking performance.

본 발명의 실시 예에 따른 차량용 트래킹 시스템(100)은 다중 트랙이 생성될 경우 클러스터링 기법을 사용하여 트랙을 융합(fusion)시킴으로써, 트랙 매니저(track manager) 이후 단계에서 클러스터링 로직(clustering logic)을 적용시킬 수 있다.The tracking system 100 for a vehicle according to an embodiment of the present invention may apply clustering logic at a later stage of a track manager by fusing tracks using clustering techniques when multiple tracks are created .

실시 예에 있어서, 클러스터링 기법은, 특정 영역에 집중되어 나타나는 데이터에 대한 대표 값을 계산하기 위하여 각 트랙들의 기하학적 거리(euclidean distance)가 일정 기준(threshold) 값 이내인 트랙들의 좌표 값들의 합산 값을 이들 좌표들의 개수로 나누는 방법(즉, 평균값)을 이용할 수 있다.In the embodiment, the clustering technique is a method of calculating a representative value of data concentrated in a specific area by calculating a sum of coordinate values of tracks whose euclidean distances are within a threshold value The method of dividing by the number of these coordinates (i.e., the average value) can be used.

실시 예에 있어서, 클러스터링 기법은 동일한 좌표 값을 갖는 트랙들을 다수 생성시키므로, 동일 트랙들의 유일한 트랙(unique track)을 추출하는 로직을 필요로 한다. 이러한 유일한 트랙 추출 로직은 트랙 자신과 동일한 좌표 값에 해당되는 인덱스들을 초기화 시키는 방법으로 구현될 수 있다.In the embodiment, the clustering technique generates a plurality of tracks having the same coordinate value, and thus requires logic to extract a unique track of the same tracks. This unique track extraction logic can be implemented in such a way as to initialize the indexes corresponding to the same coordinate value as the track itself.

본 발명의 실시 예에 따른 차량용 트래킹 시스템(100)은 일반적인 트랙 융합 기술과 비교하여 로직이 간단하고, 단일 튜닝 인자만으로 트랙 융합을 할 수 있다.The vehicle tracking system 100 according to the embodiment of the present invention has a simple logic and can perform track fusion only with a single tuning factor as compared with a general track fusion technique.

도 2은 도 1에 도시된 트랙 융합 모듈(140)을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 트랙 융합 모듈(140)은 환경 요소 분리 로직(141), 데이터 연관 필터 및 트랙 매니저(142), 및 클러스터링 및 고유 트랙 추출 로직(143)을 포함할 수 있다.FIG. 2 is an exemplary illustration of the track fusing module 140 shown in FIG. Referring to FIG. 2, the track fusion module 140 may include environmental element separation logic 141, a data association filter and a track manager 142, and clustering and unique track extraction logic 143.

복수의 센서들 혹은 싱글 센서로부터 검출된 타겟과 관련된 오리지널 신호들이 트랙 융합 모듈(140)에 수신될 수 있다. 수신된 오리지널 신호들은 환경 요소 분리 로직에 의거하여 분리될 수 있다. 이후, 데이터 연관 필터에서 검출 신호에 대한 트랙과의 연관 관계가 계산될 수 있다. 트랙 매니저는 기존 트랙과의 연관 관계에 따라, 기존 트랙에 융합할 지, 새로운 트랙을 생성할 지를 결정할 수 있다. 이후, 클러스터링 로직에 의거하여 복수의 트랙들이 클러스터링 될 수 있다. 이후 클러스터링 된 트랙이 추출될 수 있다.The original signals associated with the target detected from the plurality of sensors or the single sensor can be received by the track fusion module 140. [ The received original signals can be separated based on the environmental element separation logic. Then, the association with the track of the detection signal in the data association filter can be calculated. The track manager can determine whether to fuse to an existing track or create a new track based on its association with an existing track. Thereafter, a plurality of tracks can be clustered based on the clustering logic. Clustering tracks can then be extracted.

한편, 환경 요소 분리 로직(141)은 다음과 같이 실행 될 수 있다. 우선, 주행 차선(ego lane)에 포함된 좌표를 제거한 후 나머지 좌표들을 인덱싱하고 횡 방향 좌표의 부호를 기준으로 좌, 우측 차선에 대한 좌표 그룹으로 재할당할 수 있다. 여기서 ego lane은 카메라 모듈이 있는 경우, 카메라 모듈에서 출력된 차선 신호를 이용하여 차선 좌표가 계산될 수 있다. 만약 카메라 모듈이 없다면, ego lane은 (±threshold [m]) 라고 가정하여 ego lane 좌표를 상수 처리 할 수 있으며, 이 경우 실제 ego lane에 대한 오차가 발생할 수 있다. 만약, 전방 이동 물체에 대한 트래킹 로직에 의해 이동 물체들에 대한 궤적이 있는 경우라면, 자기 차량의 궤적과 일치하는 상대 차량의 궤적을 선정한 후 해당 궤적의 좌, 우측 사전에 결정된 거리 (±threshold [m])에 ego lane을 생성시킬 수 있다. 재 할당된 좌, 우측 차선에 대한 좌표 그룹에 대한 확률 밀도 값이 계산될 수 있다. 좌, 우측 차선에 대한 좌표 그룹의 확률 밀도 값이 특정 threshold 값 이내인 경우, 좌, 우측 차선에 대한 좌표 그룹들의 횡 방향 좌표에 대한 평균을 계산한다. 여기서, 확률 밀도 값에 대한 threshold 값은 튜닝 인자이며, 적절한 값을 선정해야 한다. 좌, 우측 차선에 대한 좌표 그룹의 횡 방향 좌표에 대한 평균 값을 기준으로 평균 보다 크거나 작은 좌표 값 들을 다시 서브 그룹화시킨다. 좌, 우측 차선에 대한 좌표 그룹에 대한 개별 서브 그룹 내의 좌표의 총 개수를 구하여 일정 개수 이상이라면, 환경 인자로 여기고 환경 좌표에 등록시키고, 최초 센서의 출력 좌표에서 환경 좌표가 제거될 수 있다.On the other hand, the environmental element separation logic 141 can be executed as follows. First, after eliminating the coordinates included in the ego lane, the remaining coordinates can be indexed and reassigned to the left and right lane coordinate groups based on the signs of the lateral coordinates. Where ego lane has a camera module, lane coordinates can be calculated using the lane signal output from the camera module. If there is no camera module, the ego lane can assume a constant (± threshold [m]) and process the ego lane coordinates constantly, which can lead to errors in the actual ego lane. If there is a trajectory for the moving objects by the tracking logic for the forward moving object, the trajectory of the opponent vehicle matching the trajectory of the subject vehicle is selected, and the predetermined distance (± threshold [ m]) to create an ego lane. The probability density values for the coordinate groups for the reallocated left and right lanes can be calculated. If the probability density values of the coordinate groups for the left and right lanes are within a certain threshold value, an average is calculated for the lateral coordinates of the coordinate groups for the left and right lanes. Here, the threshold value for the probability density value is a tuning factor, and an appropriate value should be selected. Grouping coordinate values larger or smaller than the average based on the average value of the lateral coordinates of the coordinate group for the left and right lanes. The total number of the coordinates in the individual subgroups for the coordinate groups for the left and right lanes is calculated. If the total number is greater than a predetermined number, the environmental coordinates are regarded as environmental factors and registered in the environment coordinates, and the environment coordinates can be removed from the output coordinates of the first sensor.

도 3는 본 발명의 실시 예에 따른 데이터 연관 필터 및 트랙 매니저(142)의 동작 방법에 대한 실시 예를 예시적으로 보여주는 도면이다.3 is an exemplary diagram illustrating an embodiment of a method of operating a data association filter and a track manager 142 according to an embodiment of the present invention.

기존의 각 타겟에 대해 칼만 필터(Kalman filter)를 이용하여 트랙 예측(propagation)이 될 수 있다. 결과로써 트랙 및 트랙 상태가 업데이트 될 수 있다(S110).For each existing target, it can be track propagation using a Kalman filter. As a result, the track and track statuses can be updated (S110).

주어진 측정치에 대해 기존의 타겟과의 연관 관계를 조사하여 측정치 중에서 기존의 타겟과 연관 가능성이 높은 측정치를 선정하는 데이터 유효화 과정 (gating)이 수행될 수 있다. 그 결과로써 새로운 타겟과 삭제 타겟이 판별될 수 있다(S120).A data validation process (gating) may be performed by examining the association with an existing target for a given measurement and selecting a measure that is highly likely to be associated with an existing target among the measurements. As a result, a new target and a deletion target can be discriminated (S120).

한편, 상술된 유효화된 측정치는 다음의 식을 만족할 것이다.On the other hand, the above-mentioned validated measurement will satisfy the following equation.

Figure 112017092981034-pat00001
Figure 112017092981034-pat00001

여기서 z 는 측정치이고, R는 측정 오차 공분산이고,

Figure 112017092981034-pat00002
는 타겟의 예측치이고, P는 오차 공분산이다.Where z is the measurement, R is the measurement error covariance,
Figure 112017092981034-pat00002
Is the predicted value of the target, and P is the error covariance.

개개의 측정치와 타겟을 연관시키는 연관 사건 중에서 타당한 사건(feasible event)의 사후 확률이 계산될 수 있다. 여기서, 타당한 사건이란, 다음의 조건을 만족하는 사건을 의미한다. 하나의 측정치는 두 개 이상의 타겟들로부터 기인할 수 없고, 하나의 타겟으로부터 기인할 수 있는 측정치의 수는 1개 이하이고, 임의의 타겟과 각각의 측정치 간의 연관 확률은 이 연관 관계를 포함하는 모든 연관 사건에 대한 결합 확률의 합으로 주어진다. 여기서 결합 확률은 개개의 측정치와 타겟을 연관시키는 연관 사건 중 타당한 사건(feasible event)의 사후 확률의 합이다.The posterior probability of a feasible event among the associative events that associate the individual measures with the target can be calculated. Here, a reasonable event means an event that satisfies the following conditions. One measure can not originate from two or more targets, the number of measures that can be attributed to one target is one or less, and the probability of association between any target and each measure is the sum of all Is given as the sum of the joint probabilities for the association events. Where the joint probability is the sum of the posterior probabilities of the feasible events among the associative events that associate the individual measures with the target.

즉, 기존 타겟의 수를 T, 측정치의 수를

Figure 112017092981034-pat00003
, 시간 k까지의 측정치의 누적 집합을
Figure 112017092981034-pat00004
라하고, 측정치
Figure 112017092981034-pat00005
가 타겟 t로부터 기인하는 사건을
Figure 112017092981034-pat00006
라 하면, 이 때의 확률
Figure 112017092981034-pat00007
Figure 112017092981034-pat00008
는 다음과 같이 주어질 수 있다.That is, if the number of existing targets is T, the number of measurement values is
Figure 112017092981034-pat00003
, A cumulative set of measurements up to time k
Figure 112017092981034-pat00004
, And the measured value
Figure 112017092981034-pat00005
To the target t
Figure 112017092981034-pat00006
, The probability at this time
Figure 112017092981034-pat00007
Figure 112017092981034-pat00008
Can be given as follows.

이후에, 개개의 측정치와 타겟을 연관시키는 연관 사건 중 타당한 사건(feasible event)의 사후 확률이 계산될 수 있다.Thereafter, the posterior probability of a feasible event among the associative events that associate the individual measure with the target can be calculated.

Figure 112017092981034-pat00009
Figure 112017092981034-pat00009

j = 1, … ,

Figure 112017092981034-pat00010
, t = 0, 1, …, T,
Figure 112017092981034-pat00011
는 모든 연관 사건을 나타내며,
Figure 112017092981034-pat00012
을 포함하는 사건은 다음과 같은 타겟 - 측정치 연관 지시자
Figure 112017092981034-pat00013
에 의해 선택될 수 있다.j = 1, ... ,
Figure 112017092981034-pat00010
, t = 0, 1, ... , T,
Figure 112017092981034-pat00011
Represents all associative events,
Figure 112017092981034-pat00012
An event including a target-measure association indicator < RTI ID = 0.0 >
Figure 112017092981034-pat00013
Lt; / RTI >

Figure 112017092981034-pat00014
= 1 경우에, 타겟 t와 측정치
Figure 112017092981034-pat00015
가 연관된다. 즉, 마할라노비스 거리 값이 게이트 레벨(gate level)에 포함되는 경우의 확률로 단일 사건에 대한 확률인 주변 확률(marginal probability)이다.
Figure 112017092981034-pat00014
= 1, the target t and the measured value
Figure 112017092981034-pat00015
Lt; / RTI > That is, the probability that a Mahalanobis distance value is included in a gate level is a marginal probability of a single event.

Figure 112017092981034-pat00016
= 0인 나머지 경우
Figure 112017092981034-pat00017
는 시간 k까지의 측정치의 누적 집합이 생성된 이후의 모든 연관 사건에 대한 조건부 확률(conditional probability)이며, 다음과 같이 주어진다.
Figure 112017092981034-pat00016
= 0 otherwise
Figure 112017092981034-pat00017
Is the conditional probability for all associative events after the cumulative set of measurements up to time k has been generated,

Figure 112017092981034-pat00018
Figure 112017092981034-pat00018

여기서, λ는 클러터 밀도이며,

Figure 112017092981034-pat00019
는 정규 확률 밀도를 나타내고,
Figure 112017092981034-pat00020
,
Figure 112017092981034-pat00021
, ф는 각각 이진 측정치 연관 지시자, 이진 타겟 검출 지시자, 사건
Figure 112017092981034-pat00022
Figure 112017092981034-pat00023
에서 타겟에 연관되지 않은 측정치의 수를 나타낸다.Where lambda is the clutter density,
Figure 112017092981034-pat00019
Represents a normal probability density,
Figure 112017092981034-pat00020
,
Figure 112017092981034-pat00021
, < / RTI > are each a binary measure association indicator, a binary target detection indicator, an event
Figure 112017092981034-pat00022
Figure 112017092981034-pat00023
Represents the number of measurements not associated with the target.

연관 확률

Figure 112017092981034-pat00024
를 가중치로 하여 각 측정치를 이용한 기존의 타겟에 대한 측정치가 갱신될 수 있다.Association probability
Figure 112017092981034-pat00024
The measured value for the existing target using each measurement value can be updated.

Figure 112017092981034-pat00025
Figure 112017092981034-pat00025

Figure 112017092981034-pat00026
Figure 112017092981034-pat00026

이때, 갱신된 상태 추정치에 대한 오차 공분산 행렬은 다음과 같이 주어진다.At this time, the error covariance matrix for the updated state estimates is given as follows.

Figure 112017092981034-pat00027
Figure 112017092981034-pat00027

Figure 112017092981034-pat00028
Figure 112017092981034-pat00028

Figure 112017092981034-pat00029
Figure 112017092981034-pat00029

여기서, W(k)는 칼만 필터 이득 행렬이고,

Figure 112017092981034-pat00030
는
Figure 112017092981034-pat00031
의 조건 하에서의 이노베이션으로 다음과 같이 정의된다.Where W (k) is the Kalman filter gain matrix,
Figure 112017092981034-pat00030
The
Figure 112017092981034-pat00031
Is defined as follows by the innovation under the condition of.

Figure 112017092981034-pat00032
Figure 112017092981034-pat00032

타겟 초기화 기법에 의해 새로운 타겟을 설정함으로써 타겟 초기화가 되고(S130), 잘못된 타겟은 타겟 폐기 기법에 의해 폐기될 수 있다(S135). 이후 잠재 타겟 초기화 및 잠재 타겟이 업데이트 될 수 있다(S140).The target is initialized by setting a new target by the target initialization technique (S130), and the wrong target may be discarded by the target discarding technique (S135). Thereafter, the potential target initialization and the potential target may be updated (S140).

도 4는 본 발명의 실시 예에 따른 클러스터링 및 고유 트랙 추출 로직(143)의 동작을 개념적으로 설명하는 도면이다. 4 is a conceptual illustration of the operation of the clustering and unique track extraction logic 143 according to an embodiment of the present invention.

클러스터링 및 고유 트랙 추출 로직(143)은 아래와 같이 동작할 수 있다. 트랙들(트랙1 ~ 트랙4) 간의 기하학적 거리(euclidean distance)가 사전에 결정된 거리 이내의 경우 개별 트랙들의 좌표 값은 이들의 평균값으로 대체될 수 있다(트랙 융합).The clustering and unique track extraction logic 143 may operate as follows. If the euclidean distance between the tracks (track 1 to track 4) is within a predetermined distance, the coordinate values of the individual tracks can be replaced by their average value (track fusion).

만일

Figure 112017092981034-pat00033
<
Figure 112017092981034-pat00034
, 그러면
Figure 112017092981034-pat00035
이다.if
Figure 112017092981034-pat00033
<
Figure 112017092981034-pat00034
, then
Figure 112017092981034-pat00035
to be.

여기서,

Figure 112017092981034-pat00036
는 트랙의 x, y좌표이며,
Figure 112017092981034-pat00037
는 기하학적 거리(euclidean distance),
Figure 112017092981034-pat00038
는 기하학적 거리(euclidean distance)가 사전에 결정된 거리 이내인 트랙들의 개수를 나타낸다.here,
Figure 112017092981034-pat00036
Is the x and y coordinates of the track,
Figure 112017092981034-pat00037
Is the geometric distance (euclidean distance),
Figure 112017092981034-pat00038
Represents the number of tracks whose euclidean distance is within a predetermined distance.

이후에, 같은 값을 갖는 트랙들에 대해 하나의 트랙만을 남기고 나머지 트랙들은 초기화된다.Thereafter, the remaining tracks are initialized leaving only one track for the tracks having the same value.

만일,

Figure 112017092981034-pat00039
, 그러면
Figure 112017092981034-pat00040
이다.if,
Figure 112017092981034-pat00039
, then
Figure 112017092981034-pat00040
to be.

본 발명에 따른 단계들 및/또는 동작들은 기술분야의 통상의 기술자에 의해 이해될 수 있는 것과 같이, 다른 순서로, 또는 병렬적으로, 또는 다른 에포크(epoch) 등을 위해 다른 실시 예들에서 동시에 일어날 수 있다.The steps and / or operations in accordance with the present invention may occur in different orders, in parallel, or concurrently in other embodiments for other epochs or the like, as may be understood by one of ordinary skill in the art .

실시 예에 따라서는, 단계들 및/또는 동작들의 일부 또는 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/또는 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 또는 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합으로 구현될 수 있다.Depending on the embodiment, some or all of the steps and / or operations may be performed on one or more non-transitory computer-readable media, including instructions, programs, interactive data structures, At least some of which may be implemented or performed using one or more processors. The one or more non-transitory computer-readable media can be, by way of example, software, firmware, hardware, and / or any combination thereof. Further, the functions of the "module" discussed herein may be implemented in software, firmware, hardware, and / or any combination thereof.

본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/또는 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/또는 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다. One or more non-transitory computer-readable media and / or means for implementing / performing one or more operations / steps / modules of embodiments of the present invention may be implemented as application-specific integrated circuits (ASICs), standard integrated circuits, But are not limited to, controllers that perform appropriate instructions, including microcontrollers, and / or embedded controllers, field-programmable gate arrays (FPGAs), complex programmable logic devices (CPLDs) .

일반적인 트래킹 시스템은 타겟 좌표의 손실(loss) 발생 시를 대비하여 이전 값을 유지하는 기능과 신규 타겟 감지 시 신규 트랙을 생성하는 기능을 수행한다. 그런데, 저가형 LADAR는 안테나 성능 문제로 전방 타겟의 손실이나 유령 타겟(ghost target) 문제점을 갖는다. 특히, 빈번하게 타겟 손실(target loss) 후 다시 감지되는 경우, 이전 트랙이 유지되는 상태에서 신규 트랙이 생성되는 문제로 인해, 싱글 센서(single sensor)를 사용하는 경우에도 다중 트랙이 생성될 수 있다.A general tracking system performs a function of maintaining a previous value in case of loss of target coordinates and a function of generating a new track when detecting a new target. However, the low-cost LADAR has a problem of loss of a front target and a problem of a ghost target due to an antenna performance problem. In particular, when a target sensor is frequently detected after a target loss, multiple tracks can be generated even when a single sensor is used due to the problem that a new track is generated in a state in which a previous track is maintained .

반면에, 본 발명의 실시 예에 따른 차량용 트래킹 시스템은 트랙을 생성, 유지, 삭제하는 트랙 매니저 단계 이후에 클러스터링 로직을 적용시킴으로써, 다중 트랙을 융합시킬 수 있다. 본 발명의 클러스터링 기법은 특정 영역에 집중되어 나타나는 데이터에 대한 대표 값을 계산할 수 있다. 여기서 대표 값은, 각 트랙들의 기하학적 거리(euclidean distance)가 일정 기준(threshold) 값 이내인 트랙들의 좌표 값들의 합산 값을 이들 좌표들의 개수로 나눔으로 계산될 수 있다. 이러한 트랙 융합 방법은 동일한 좌표 값을 가지는 트랙들을 다수 생성시키므로, 동일 트랙들의 고유 트랙(unique track)을 추출하는 로직이 필요하다. 포 루프(for loop)를 돌며 동일 좌표 값을 갖는 인덱스들이 초기화될 수 있다.On the other hand, a vehicle tracking system according to an embodiment of the present invention may apply the clustering logic after the track manager step of creating, maintaining, and deleting tracks, thereby fusing multiple tracks. The clustering technique of the present invention can calculate a representative value of data concentrated in a specific area. Here, the representative value can be calculated by dividing the sum of the coordinate values of the tracks whose euclidean distance of each track is within a threshold value by the number of these coordinates. Since such a track fusing method generates a plurality of tracks having the same coordinate value, logic is required to extract a unique track of the same tracks. Indexes having the same coordinate values can be initialized by for looping.

본 발명의 실시 예에 따른 차량용 트래킹 시스템(100)은 기존 트랙 융합 방법 대비 로직이 간단한 반면 단일 튜닝 인자만으로도 성능이 기존 대비 유사한 장점을 갖는다.The tracking system 100 for a vehicle according to the embodiment of the present invention has a simple logic compared to an existing track fusion method, but has merits similar in performance to a conventional one even with a single tuning factor alone.

도 5는 본 발명의 실시 예에 따른 차량용 트래킹 시스템(100)의 트랙 융합 기법을 적용하기 전과 후의 트랙 상태를 보여주는 도면이다. 도 5의 (a)는 트랙 융합 기법 사용 전의 상태로, 복수의 원신호들과 복수의 다중 트랙들이 도시된다. 도 5의 (b)는 트랙 융합 기법 사용 후의 상태로, 원신호들에 대응하는 4개의 트랙들이 도시된다.5 is a diagram showing a track state before and after applying the track fusion technique of the vehicle tracking system 100 according to the embodiment of the present invention. 5 (a) shows a plurality of original signals and a plurality of multiple tracks in a state before using the track fusion technique. FIG. 5 (b) shows the four tracks corresponding to the original signals in a state after using the track fusion technique.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.The above-described contents of the present invention are only specific examples for carrying out the invention. The present invention will include not only concrete and practical means themselves, but also technical ideas which are abstract and conceptual ideas that can be utilized as future technologies.

100: 차량용 트래킹 시스템
110: 레이다
120: 카메라
130: 라이다
140: 트랙 융합 모듈100: Vehicle Tracking System
110: Radar
120: camera
130: Rada
140: Track fusion module

Claims (14)

차량용 트래킹 시스템의 동작 방법에 있어서:
적어도 하나의 센서로부터 수신된 검출 신호를 데이터 연관 필터링하는 단계;
상기 필터링된 신호에 대하여 새로운 트랙을 생성하거나 기존 트랙을 유지하거나 상기 기존 트랙을 삭제함으로써 트랙을 관리하는 단계;
기하학적 거리를 이용하여 트랙들을 클러스터링하는 단계;
상기 클러스터링된 트랙들의 대표값을 고유 트랙으로 추출하는 단계; 및
환경 요소 분리 로직에 의해 주행 차선 좌표를 이용하여 상기 검출 신호를 분리하는 단계를 포함하는 방법. A method of operating a tracking system for a vehicle comprising:
Performing data-association filtering of the detection signal received from at least one sensor;
Managing a track by creating a new track for the filtered signal, maintaining an existing track, or deleting the existing track;
Clustering tracks using a geometric distance;
Extracting a representative value of the clustered tracks as a unique track; And
And separating the detection signal using the driving lane coordinates by the environmental element separation logic. 제 1 항에 있어서,
상기 적어도 하나의 센서는 멀티 센서이거나 싱글 센서인 방법.The method according to claim 1,
Wherein the at least one sensor is a multi-sensor or a single sensor. 제 2 항에 있어서,
상기 멀티 센서는 레이다, 라이다(LIDAR), 혹은 카메라 중 적어도 2개를 포함하는 방법.3. The method of claim 2,
Wherein the multi-sensor comprises at least two of radar, LIDAR, or camera. 제 1 항에 있어서,
상기 데이터 연관 필터는 칼만 필터를 포함하는 방법.The method according to claim 1,
Wherein the data association filter comprises a Kalman filter. 제 1 항에 있어서,
상기 트랙을 관리하는 단계는,
타겟의 개수만큼 트랙을 초기화시키는 단계를 포함하는 방법.The method according to claim 1,
The step of managing the track comprises:
And initializing the track by the number of targets. 제 5 항에 있어서,
상기 트랙을 관리하는 단계는,
잠재 타겟 초기화 및 잠재 타겟을 업데이트 하는 단계를 더 포함하는 방법.6. The method of claim 5,
The step of managing the track comprises:
Further comprising the step of initializing the potential target and updating the potential target. 제 1 항에 있어서,
상기 트랙들을 클러스터링하는 단계는,
상기 기하학적 거리가 사전에 결정된 거리 이내에 있는 트랙들의 좌표값들의 평균값으로 대체하는 단계를 포함하는 방법.The method according to claim 1,
Clustering the tracks comprises:
And replacing the geometric distance with an average value of the coordinate values of the tracks within a predetermined distance. 제 7 항에 있어서,
상기 고유 트랙으로 추출하는 단계는,
동일한 값을 갖는 트랙들에 대하여 하나의 트랙만을 남기고 나머지 트랙들을 초기화시키는 단계를 포함하는 방법.8. The method of claim 7,
Wherein the step of extracting with the unique track comprises:
And initializing the remaining tracks leaving only one track for the tracks having the same value. 제 1 항에 있어서,
상기 대표값은 상기 기하학적 거리가 기준값 이내의 트랙들의 좌표값들의 합산값을 상기 클러스터링된 트랙들의 개수로 나눔으로 계산되는 방법.The method according to claim 1,
Wherein the representative value is calculated by dividing a sum of coordinate values of tracks whose geometric distance is within a reference value by the number of the clustered tracks. 삭제delete 타겟에 대한 제 1 검출 신호를 출력하는 카메라;
상기 타겟에 대한 제 2 검출 신호를 출력하는 라이다;
상기 타겟에 대한 제 3 검출 신호를 출력하는 레이다; 및
상기 제 1 내지 제 3 검출 신호들을 데이터 연관 필터링하고, 상기 필터링 신호에 대하여 새로운 트랙을 생성하거나 기존 트랙을 유지하거나 상기 기존 트랙을 삭제하고, 다중 트랙 발생시 기하학적 거리를 이용하여 클러스터링을 수행하고, 상기 클러스터링된 트랙들의 대표값을 고유 트랙으로 추출하는 트랙 융합 모듈을 포함하고,
상기 트랙 융합 모듈은,
상기 제 1 내지 제 3 검출 신호들을 환경 좌표를 이용하여 분리하는 제 환경 요소 분리 로직;
상기 분리된 신호들을 데이터 연관 필터링하고 및 상기 필터링된 신호에 대응하는 트랙 생성, 유지, 삭제를 관리하는 데이터 연관 필터 및 트랙 매니저; 및
상기 다중 트랙 발생시 클러스터링을 수행하고, 상기 클러스터링된 트랙들의 좌표값의 합산한 값을 상기 클러스터링된 트랙들의 개수로 나눔으로써 상기 고유 트랙을 추출하는 클러스터링 및 고유 트랙 추출 로직을 포함하는 차량용 트래킹 시스템. A camera for outputting a first detection signal for the target;
And outputs a second detection signal for the target;
A radar for outputting a third detection signal for the target; And
Performing a data association filtering on the first to third detection signals, generating a new track for the filtering signal, maintaining an existing track, deleting the existing track, performing clustering using a geometric distance when generating a multi-track, And a track convergence module for extracting representative values of the clustered tracks as unique tracks,
Wherein the track fusion module comprises:
An environmental element separation logic for separating the first to third detection signals using environment coordinates;
A data association filter and a track manager for data association filtering the separated signals and managing generation, maintenance and deletion of tracks corresponding to the filtered signals; And
Clustering and unique track extraction logic for performing clustering at the occurrence of the multiple tracks and dividing the sum of the coordinate values of the clustered tracks by the number of the clustered tracks to extract the unique tracks. 삭제delete 제 11 항에 있어서,
상기 데이터 연관 필터 및 트랙 매니저는, 칼만 필터를 이용하여 트랙 예측을 수행하고, 상기 트랙 예측 결과로써 트랙 및 트랙 상태를 업데이트하는 차량용 트래킹 시스템.12. The method of claim 11,
Wherein the data association filter and the track manager perform track prediction using a Kalman filter and update the track and track status with the track prediction result. 제 11 항에 있어서,
상기 클러스터링 및 고유 트랙 추출 로직은, 트랙들의 기하학적 거리가 사전에 결정된 거리 이내에 있는 경우 개별 트랙들의 좌표값을 평균값으로 대체하고, 상기 대체된 평균값을 갖는 동일한 트랙들 중에서 어느 하나의 트랙을 남기고, 나머지 트랙들을 초기화시키는 차량용 트래킹 시스템.12. The method of claim 11,
Wherein the clustering and unique track extraction logic replaces the coordinate values of the individual tracks with an average value when the geometric distance of the tracks is within a predetermined distance and leaves any one of the same tracks with the replaced average value, Tracking system for a vehicle that initializes tracks.
KR1020170122861A 2017-09-22 2017-09-22 Tracking system for vehicle and operating method thererof KR101937267B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170122861A KR101937267B1 (en) 2017-09-22 2017-09-22 Tracking system for vehicle and operating method thererof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170122861A KR101937267B1 (en) 2017-09-22 2017-09-22 Tracking system for vehicle and operating method thererof

Publications (1)

Publication Number Publication Date
KR101937267B1 true KR101937267B1 (en) 2019-01-10

Family

ID=65020834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122861A KR101937267B1 (en) 2017-09-22 2017-09-22 Tracking system for vehicle and operating method thererof

Country Status (1)

Country Link
KR (1) KR101937267B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441788A (en) * 2019-07-31 2019-11-12 北京理工大学 A kind of unmanned boat environment perception method based on single line laser radar
KR102168288B1 (en) * 2019-05-20 2020-10-21 충북대학교 산학협력단 System and method for tracking multiple object using multi-LiDAR
KR20210011585A (en) * 2019-07-23 2021-02-02 충북대학교 산학협력단 Method and Apparatus for Tracking Vehicle Location Using Extended Kalman Filter

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196298B1 (en) * 2011-11-16 2012-11-06 국방과학연구소 Method of fast track merging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196298B1 (en) * 2011-11-16 2012-11-06 국방과학연구소 Method of fast track merging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
신성근 외 2명. AEB 시스템을 위한 보행자 추적 알고리즘 개발. 한국자동차공학회 춘계학술대회, 2015년, pp. 617-622.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102168288B1 (en) * 2019-05-20 2020-10-21 충북대학교 산학협력단 System and method for tracking multiple object using multi-LiDAR
KR20210011585A (en) * 2019-07-23 2021-02-02 충북대학교 산학협력단 Method and Apparatus for Tracking Vehicle Location Using Extended Kalman Filter
KR102311227B1 (en) * 2019-07-23 2021-10-13 충북대학교 산학협력단 Method and Apparatus for Tracking Vehicle Location Using Extended Kalman Filter
CN110441788A (en) * 2019-07-31 2019-11-12 北京理工大学 A kind of unmanned boat environment perception method based on single line laser radar
CN110441788B (en) * 2019-07-31 2021-06-04 北京理工大学 Unmanned ship environment sensing method based on single line laser radar

Similar Documents

Publication Publication Date Title
US20220326350A1 (en) Multisensor data fusion method and apparatus to obtain static and dynamic environment fratures
CN110781949B (en) Asynchronous serial multi-sensor-based flight path data fusion method and storage medium
US10220841B2 (en) Method and system for assisting a driver of a vehicle in driving the vehicle, vehicle and computer program
KR101937267B1 (en) Tracking system for vehicle and operating method thererof
US11958480B2 (en) Electronic control device and operation method
KR102569900B1 (en) Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same
CN113269811A (en) Data fusion method and device and electronic equipment
CN114842445A (en) Target detection method, device, equipment and medium based on multi-path fusion
CN112598715A (en) Multi-sensor-based multi-target tracking method, system and computer readable medium
EP3467545A1 (en) Object classification
KR102592830B1 (en) Apparatus and method for predicting sensor fusion target in vehicle and vehicle including the same
CN115848412A (en) Perception fusion method, device, equipment and storage medium
US20230288210A1 (en) Method and device for determining a position of a vehicle in a road network
CN112213117B (en) Vehicle testing method, device, equipment and storage medium
CN114817765A (en) Map-based target course disambiguation
US11555913B2 (en) Object recognition device and object recognition method
EP4012603B1 (en) Method for classifying a tracked object
EP4239574A1 (en) Object tracking device and object tracking method
EP4239616A1 (en) Object tracking device and object tracking method
EP4102474A1 (en) Method and system for determining moving/stationary state of tracking target based on neural network
US20240200970A1 (en) Environmental Reference Map Building Based on Occupancy Grid
US12013919B2 (en) Method for classifying a tracked object
EP4386319A1 (en) Method for building a reference map, and a control unit and software for the same
Janz et al. Post-processing of multi-target trajectories for traffic safety analysis
WO2023228722A1 (en) Image recognition system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant