KR20180041525A - 차량의 물체 트래킹 시스템 및 그 제어 방법 - Google Patents

차량의 물체 트래킹 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20180041525A
KR20180041525A KR1020160133803A KR20160133803A KR20180041525A KR 20180041525 A KR20180041525 A KR 20180041525A KR 1020160133803 A KR1020160133803 A KR 1020160133803A KR 20160133803 A KR20160133803 A KR 20160133803A KR 20180041525 A KR20180041525 A KR 20180041525A
Authority
KR
South Korea
Prior art keywords
tracking
vehicle
sensed
image
kalman filter
Prior art date
Application number
KR1020160133803A
Other languages
English (en)
Inventor
Kumar Singh Jitesh
Naidu Hitesh
Kallakuri Sankalp
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020160133803A priority Critical patent/KR20180041525A/ko
Publication of KR20180041525A publication Critical patent/KR20180041525A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B60W2550/10—
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0202—Two or more dimensional filters; Filters for complex signals
    • H03H2017/0205—Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 차량의 물체 트래킹 제어 방법 및 차량의 물체 트래킹 시스템이 개시된다. 본 발명의 실시예에 따른 차량의 물체 트래킹 제어 방법은 보행자 인식 시스템 및 그 제어 방법이 개시된다. 본 발명의 실시예에 따른 차량의 보행자 인식 방법은 차량의 외부 영상을 촬영하는 단계와 상기 촬영된 영상에 포함된 물체를 감지(Detection)하는 단계와 상기 차량의 전방에 레이더 신호를 송수신하여 물체를 감지하는 단계와 상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1 트래킹하는 단계 및 상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2트래킹(Tracking)을 수행하는 단계를 포함한다.

Description

차량의 물체 트래킹 시스템 및 그 제어 방법{OBJECT TRACKING SYSTEM IN A VEHICLE AND METHOD THEREOF}
본 발명은 차량에 설치된 적어도 하나 이상의 센서를 기초로 차량 전방의 물체를 인식하고, 인식한 물체를 트래킹(Tracking)하는 시스템 및 그 제어 방법에 관한 것이다.
오늘날 운전자가 외부 상황을 감지하지 못하는 경우를 대비하여 차량 전방에 설치된 카메라가 촬영한 영상으로부터 보행자를 인식하여 차량의 전방에 보행자가 위치함을 운전자에게 알려주는 시스템이 개발되고 있다.
예를 들어, 야간에는 운전 시야가 급격히 감소하기 때문에 운전자가 보행자를 보지 못하는 경우가 발생할 수 있다. 이러한 경우를 방지하기 위하여 근적외선 카메라나 원적외선 카메라와 같은 센서를 이용하여 운전자가 시야를 확보할 수 있도록 하거나 야간 보행자 인식을 통해 사전 경고하는 시스템에 관한 연구의 진행이 계속되고 있다.
또한, 보행자 보호와 관련하여, 차량에 탑재된 카메라를 이용하여 보행자를 사전에 인식하고, 운전자에게 경보를 해주거나 차량을 제어하여 제동하는 구성을 통해 보행자 사고를 미연에 방지하기 위한 시스템이 개발되고 있다.
뿐만 아니라, 차량 전방에 설치된 레이더를 이용하여 차량 전방의 물체를 감지하여 차량의 전방에 보행자가 위치함을 운전자에게 알려주는 시스템 또한 개발되고 있다.
다만, 차량 전방에 설치된 레이더의 경우 3차원 좌표계(X,Y,Z)를 이용하여 물체를 감지함과 달리, 카메라를 통하여 획득한 영상을 통하여는 2차원 정보를 획득하는 바, 레이더 센서 및 카메라 센서의 융합을 통하여 보행자를 포함하는 물체의 위치 및 이동을 통한 트래킹의 정확성을 향상시키기 위한 기술 개발이 계속되고 있다.
이에 본 발명의 실시예들은 레이더 센서 및 카메라 센서 모두를 사용하여 물체 감지에 실패하였을 경우에도 물체를 지속적으로 트래킹(Tracking)하고자 한다.
본 발명의 일 측면에 따르면, 차량의 외부 영상을 촬영하는 단계;와 상기 촬영된 영상에 포함된 물체를 감지(Detection)하는 단계;와 상기 차량의 전방에 레이더 신호를 송수신하여 물체를 감지하는 단계;와 상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1 트래킹하는 단계; 및 상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2트래킹(Tracking)을 수행하는 단계; 를 포함하는 차량의 물체 트래킹 제어 방법이 제공될 수 있다.
또한, 상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1트래킹하는 단계;는 상기 감지된 물체와 상기 차량 사이의 거리 및 레이더 센서의 해상도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹할 수 있다.
또한, 상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2트래킹(Tracking)을 수행하는 단계;는 상기 감지된 물체를 CSK(Circulant Tracking by detection with Kernels)기법을 기초로 트래킹하는 단계; 및 상기 감지된 물체의 위치 및 상기 차량의 속도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 단계;를 포함할 수 있다.
또한, 제 1 트래킹 정보 및 제2 트래킹 정보는 상호 교환할 수 있다.
본 발명의 다른 일 측면에 따르면, 차량의 외부 영상을 촬영하여, 영상에 포함된 물체를 감지하는 영상 촬영부;와 상기 차량의 전방에 레이더 신호를 송수신하여 물체를 감지하는 레이더 센서부;와 상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1 트래킹하고, 상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2 트래킹하는 제어부;를 포함하는 차량의 물체 트래킹 시스템이 제공될 수 있다.
또한, 상기 영상에 포함된 물체를 바운딩 박스(Bounding Box)로 표시하여 운전자에게 보여주는 표시부;를 더 포함할 수 있다.
또한, 상기 제어부는 상기 감지된 물체의 3차원 정보를 기초로 상기 차량 사이의 거리 및 레이더 센서의 해상도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 제 1 칼만필터 변환부;와 상기 감지된 물체의 2차원 정보를 기초로 CSK(Circulant Tracking by detection with Kernels)기법으로 트래킹하는 트래킹부; 및 상기 감지된 물체의 2차원 위치 및 상기 차량의 속도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 제 2 칼만필터 변환부;를 더 포함할 수 있다.
또한, 상기 제 1 칼만 필터 변환부의 제 1 트래킹 정보와 상기 제 2 칼만 필터 변환부의 제 2 트래킹 정보는 상호 교환될 수 있다.
이에 본 발명의 실시예들은 레이더 센서 및 카메라 센서 모두를 사용하여 물체 감지에 실패하였을 경우에도 물체를 지속적으로 트래킹(Tracking)할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물체 트래킹 시스템의 구성 블록도이다.
도 2는 본 발명의 일 실시예에 따른 물체 트래킹 시스템을 장착한 차량의 외관 사시도이다.
도 3은 본 발명의 일 실시예에 따른 물체 트래킹 시스템의 제어 방법을 설명하기 위하여 도시된 차량의 인식된 보행를 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 물체 트래킹 시스템의 동작을 설명하는 구성 블록도이다.
도 5는 본 발명의 일 실시예에 따른 트래킹 방법을 설명하기 위한 좌표계를 도시한 개략도이다.
도 6은 본 발명의 일 실시예에 따른 물체 트래킹 방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 물체 트래킹 방법을 나타낸 순서도이다.
이하에서는 본 발명의 실시 예를 첨부 도면을 참조하여 상세히 설명한다. 이하의 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달하기 위해 제시하는 것이다. 본 발명은 여기서 제시한 실시 예만으로 한정되지 않고 다른 형태로 구체화될 수도 있다. 도면은 본 발명을 명확히 하기 위해 설명과 관계 없는 부분의 도시를 생략하고, 이해를 돕기 위해 구성요소의 크기를 다소 과장하여 표현할 수 있다.
도 1은 본 발명에 따른 물체의 트래킹 시스템(1)의 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 물체 트래킹 시스템(1)을 장착한 차량(2)의 외관 사시도이고, 도 3은 본 발명의 일 실시예에 따른 물체 트래킹 시스템의 제어 방법을 설명하기 위하여 도시된 차량의 인식된 보행를 나타낸 개략도이다.
도 1을 참조하면, 물체의 트래킹 시스템(1)은 레이더 센서부(10), 영상 촬영부(20), 제어부(30) 표시부(40)를 포함한다.
레이더 센서부(10)는 레이더 모듈(11)을 포함하는 것으로, 도 2에 도시된 바와 같이, 레이더 모듈(11)은 차량 전방의 차량 또는 보행자를 포함하는 하나 이상의 물체를 감지하기 위하여 차량(2) 전방 후드(hood)의 아래쪽에 위치할 수 있다.
이러한 레이더 모듈(11)은 차량(2)의 전방에 존재하는 차량 또는 보행자를 감지하는 것으로, 레이더 센서(미도시)를 포함한다. 이 때, 레이더 센서는 77GHZ 레이더가 통상적으로 사용될 수 있으며, 레이더를 송신하고, 그 수신되는 시간을 측정하여 전방에 감지한 차량 또는 보행자와 같은 하나 이상의 물체와의 거리를 산출할 있다.
특히, 레이더 센서(미도시)를 포함하는 레이더 모듈(11)은 감지한 전방의 물체에 대하여 3차원 위치 정보를 포함하는 것으로, 구체적으로, 차량(2)의 진행 방향을 Y축이라고 할 때, Y축과 각각의 수평축을 X축 및 Z축으로 하여 물체의 위치 정보를 획득할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 차량(2)의 진행 방향을 Y축이라 할 때, 레이더 센서를 통하여 인식한 보행자의 위치 정보에 대하여 X, Y, Z 좌표를 산출할 수 있다.
따라서, 레이더 센서를 통하여 획득한 물체의 좌표를 포함하는 위치 정보는 제어부(30)에 전송될 수 있다.
다음으로, 영상 촬영부(20)는 차량(2) 전방의 영상을 획득한다. 구체적으로, 영상 촬영부(20)는 카메라 모듈(21)을 포함하는 것으로, 도 2에 도시된 바와 같이, 카메라 센서(21)는 차량의 프런트 윈도(17) 뒤에 위치한 백미러(22) 하단 또는 상단에 설치되어 전방의 영상을 촬영할 수 있다.
이러한, 카메라 모듈(21)은 카메라 센서(미도시)를 포함하는데, 대개 1채널 이상의 카메라를 사용하는데 보통 그 이미지 센서로 CMOS를 사용한다. CMOS 이미지 센서는 노출된 이미지를 전기적인 형태로 바꾸어 전송하는 반도체 소자이다. 다만, 이에 한정되는 것은 아니고, CCD(Change Coupled Device)이미지 센서(미도시)로 구현될 수도 있다.
이때, 카메라 모듈(21)는 카메라 센서로 획득한 영상에서 물체를 감지(Detection)을 할 수 있다. 구체적으로, 카메라 센서(미도시)로부터 촬영된 물체의 움직임을 검출하고, 물체의 영역을 추출하며, 복수의 물체를 구분할 수 있다. 이 때 해당되는 물체란 영상 처리의 인식 대상이 되는 것으로, 예를 들어, 풍경, 전경, 특정 사물, 보행자 등의 물체가 될 수 있으며, 인식 대상이 되는 물체에는 그 제한이 없다.
먼저, 획득한 이미지에서 물체의 윤곽을 이웃한 RGB값의 편차를 이용하여 추출하며, 이전 영상과 비교하여 윤곽의 변화를 분석하여 물체의 움직임을 판별할 수 있다.
또한, 검지한 영역구간을 설정구간들의 집합으로 하여 물체의 움직임이 발생한 영역을 구할 수 있다.
또한, 하나의 영상에서 두 개 이상의 물체가 합쳐지거나 나눠질 수 있어, 정확한 물체의 영역을 구분하기 위하여 객체추적을 통한 물체의 추정 위치와 크기를 산출하여 해당 물체의 위치와 영역을 추출할 수도 있다.
이 때, 카메라 모듈(21)은 획득한 영상 정보를 포함하여 추출한 물체의 정보를 일정 시간 간격으로 제어부(20)로 송신한다.
따라서, 카메라 모듈(21)은 영상에서 촬영된 물체의 움직임의 검출, 물체의 영역, 복수의 물체 겹친 정보를 제어부(20)로 전송하는데, 이러한 물체는 획득한 영상의 2차원 정보를 기초로 위치 정보가 산출될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 카메라 모듈(21)을 통하여 획득한 영상에 포함된 보행자는 도시된 바와 같이 2차원의 U,V축 좌표 정보로 획득될 수 있다.
다음으로, 본 발명에 따른 물체의 트래킹 시스템(1)의 제어부(30)는 물체의 트래킹 시스템(1)을 총괄 제어한다.
구체적으로, 제어부(30)는 물체의 트래킹 시스템(1)에 포함된 각종 구성 장치와 제어부(20) 사이에서의 데이터 출입을 매개하며, 레이더 센서부(10) 또는 영상 촬영부(20)를 통하여 감지한 물체의 좌표 정보를 기초로 트레킹을 수행하는 메인 프로세서(Main Processor)(31)와 메인 프로세서, 프로그램 및 데이터를 기억하는 메모리(32)를 포함할 수 있다.
특히, 도 4는 본 발명의 일 실시예에 따른 물체 트래킹 시스템의 동작을 설명하는 구성 블록도이다.
이와 같은 제어부(30)는 도 4에 도시된 바와 같이, 감지한 물체의 트래킹(Tracking)을 단계적으로 수행하는 본 발명은 소프트웨어적으로 제 1 칼만필터 변환부(33), 트래킹부(34), 및 제 2 칼만필터 변환부(35)를 포함한다. 이러한, 제 1 칼만필터 변환부(33), 트래킹부(34), 및 제 2 칼만필터 변환부(35)는 물체의 감지(Detection) 이후 단계로 진행된다.
먼저, 제 1 칼만 필터 변환부(33)는 단순 칼만 필터(Simple Kalman-Filter)를 사용하여 물체의 트래킹을 진행한다.
구체적으로, 하기 설명하는 [식 1] 내지 [식 4]를 통하여 제 1 칼만 필터 변환부(33)는 물체의 3차원 좌표를 이용한 트래킹을 수행할 수 있다.
[식 1]
Figure pat00001
단, Xk는 특정 시간 K[sec] 에서 감지된 물체의 상태 벡터를 의미하는 것으로, x는 시점 K[sec]에서 X축에서의 위치 및 X'은 시점 K[sec]에서의 X축 방향의 속도를 의미한다. 뿐만 아니라, 물체에 가해지는 가속도를 a 로 정의하면, 뉴턴의 운동 법칙에 의하여 하기 [식 2] 내지 [식 4]가 성립할 수 있다.
[식 2]
Figure pat00002
[식 3]
Figure pat00003
[식 4]
Figure pat00004
단,
Figure pat00005
및 는
Figure pat00006
시간 K[sec]에 관계없이 일정한 것으로,
Figure pat00007
는 상태 변경 매트릭스(State transition matrix)이고, β는 평균이 0이고 표준편차가 일정한 가속도에 대한 노이즈(Random White Gaussian Noise)를 의미하고,
Figure pat00008
는 가속도에 곱하여지는 곱수(Multiplier)이다.
또한, [식 1] 내지 [식 4]에서는 X축에 대하여 물체의 상태 벡터에 대하여 설명하였으나, Y축 및 Z축에 대하여 동일하게 특정 시간 K[sec]에서의 감지한 물체의 상태 벡터가 존재할 수 있다.
따라서, 제 1 칼만필터 변환부(33)는 [식 1] 내지 [식 4]를 통하여 물체에 대한 트래킹을 수행할 수 있다.
이러한 제 1 칼만필터 변환부(33)는 레이더 센서부(10)에 포함된 레이더 모듈(11)을 통하여 획득한 물체와의 거리 및 레이더 해상도에 의존한 노이즈 모델을 포함한 것이 특징이다.
이 때, 레이더 해상도는 레이더 모듈(11)의 복셀(Volume element)를 의미하는 좌우(azimuth), 상하(elevation) 및 거리(range)에 의해 정의되는 것으로, 최소 복셀의 크기가 레이더의 해상도 능력을 의미한다.
제 1 칼만필터 변환부(33)에서 레이더 센서부(10)를 통하여 획득한 물체의 3차원 좌표에 기초한 트래킹을 수행하면, 트래킹부(34)에서는 기존의 CSK(Circulant
Tracking By Detection with kernels)방법에 의한 물체의 트래킹을 수행한다.
구체적으로, 트래킹부(34)는 영상 촬영부(20)에 포함된 카메라 모듈(21)에서 감지한 물체에 대하여 Haar-Like Feature기법을 적용하여 물체를 추출한 다음, 이에 대하여 Kernelized 최소 자승법(Kernelized least squares)을 활용한 분류기를 통하여 물체를 트래킹한다.
이 때, Haar-Like Feature 기법이란, 영상에서 영역과 영역의 밝기 차를 이용한 것으로 사각형 모양에 따른 기본 feature 들에 따라 다수 조합하여 다양한 위치 및 크기에서 물체에 대한 특징을 추출하는 방법을 말한다.
또한, Kernelized 최소 자승법(Kernelized least squares)을 활용한 분류기는 다양한 위치 및 크기의 물체에 대한 특징을 포함하는 사각형 모양에 대한 물체 또는 배경의 분류를 수행하는 방법을 의미한다.
따라서, 트래킹부(34)는 영상 촬영부(20)에 포함된 카메라 모듈(21)에서 감지한 2차원의 물체에 대한 트래킹을 수행할 수 있다.
다음으로, 제 2 칼만 필터 변환부(35)에서는 2차원 평면에서 적용된 칼만 필터에 따른 트래킹을 수행한다.
구체적으로, 도 5는 제 2 칼만필터 변환부(35) 에 따른 트래킹 방법을 설명하기 위한 좌표계를 도시한 개략도이다.
즉, 영상을 평면의 가로 및 세로 축을 U, V 축이라고 할 때, 감지한 물체에 대하여 사각형 모형의 바운딩 박스(bounding box)(100)를 도시하였다. 구체적으로, (a)는 영상의 평면 좌표계에 있어서, 시간 K-2[sec]에 감지된 물체의 바운딩 박스(100)의 위치를 표시하고 있고, (b)는 영상의 평면 좌표계에 있어서, 시간 K-1[sec]에 감지된 물체의 바운딩 박스(100)의 위치(영상의 중심으로부터의 거리 정보를 포함하는)를 표시하고 있고, (c)는 영상의 평면 좌표계에 있어서, 시간 K[sec]에 감지된 물체의 바운딩 박스(100)를 나타낸다.
이 때, 시간 K-2[sec]에서 바운딩 박스(100)의 좌측 상단의 꼭지점의 좌표를 U1k-2라 하고, 해당 꼭지점의 속도를 V1k -2, 시간 K-2[sec]에서 바운딩 박스(100)의 우측 하단의 꼭지점의 좌표를 U2k -2라 하고, 해당 꼭지점의 속도를 V2k -2이라고 할 수 있다.
또한, 시간 K-1[sec]에서 바운딩 박스(100)의 좌측 상단의 꼭지점의 좌표를 U1k-1라 하고, 해당 꼭지점의 속도를 V1k -1, 시간 K-1[sec]에서 바운딩 박스(100)의 우측 하단의 꼭지점의 좌표를 U2k -1라 하고, 해당 꼭지점의 속도를 V2k -1이라고 할 수 있다.
이 때, 시간 K[sec]에서 바운딩 박스(100)의 좌측 상단의 꼭지점의 좌표를 U1k라 하고, 해당 꼭지점의 속도를 V1k, 시간 K[sec]에서 바운딩 박스(100)의 우측 하단의 꼭지점의 좌표를 U2k라 하고, 해당 꼭지점의 속도를 V2k이라고 나타낼 수 있다.
따라서, 제 2 칼만필터 변환부(35)에서는 바운딩 박스(100)의 위치 정보 및 속도 정보를 기초로 트래킹을 수행할 수 있다. 다만, 제 1 칼만필터 변환부(35)에서 적용된 칼만 필터와 달리, 본 단계에 따른 제 2 칼만필터 변환부(35)에서는 차량(2)의 속도와 감지한 물체의 영상의 중심으로부터의 거리 정보에 의존한 노이즈 모델을 포함한 것이 특징이다.
이에 본 발명에 따른 물체 트래킹 시스템(1)에 있어서, 제어부(30)는 제 1 칼만필터 변환부(33), 트래킹부(34) 및 제 2 칼만필터 변환부(35)에서 레이더 센서부(10) 또는 영상 촬영부(20)에서 감지한 물체의 위치 정보를 기초로 트래킹 함에 따라, 레이더 센서부(10)의 레이더 모듈(11) 또는 영상 촬영부(20)의 카메라 모듈(21)에서 물체 감지 실패 시 또는 트래킹 실패 시 대체 가능할 수 있다.
다음으로, 메인 프로세서(31)에서 처리한 정보는 메모리(32)에 저장될 수 있다.
즉, 메모리(32)는 물체 트래킹 시스템(1)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터와 레이더 센서부(10) 및 영상 촬영부(20)에서 획득한 정보 및 메인 프로세서(31)에서 처리된 물체 트래킹 정보를 포함하는 각종 제어 신호 등을 임시로 기억할 수 있다.
특히, 메모리(32)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다.
구체적으로, 비휘발성 메모리는 물체 트래킹 시스템(1)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터 등을 반 영구적으로 저장할 수 있으며, 휘발성 메모리는 비휘발성 메모리로부터 제어 프로그램 및 제어 데이터를 불러와 임시로 기억할 수 있으며, 영상 촬영부(20) 및 레이더 센서부(10)에서 획득한 정보 및 제어부(30)에서 처리한 트래킹 정보를 임시로 저장할 수 있다.
다음으로, 표시부(40)는 제어부(30)에서 인식 및 추적한 물체 정보를 디스플레이에 의하여 운전자에게 보여줄 수 있으며, 도시되지는 않았으나 본 발명에 따른 물체 트래킹 시스템(1)은 경고부(미도시)를 포함하여 인식 및 추적한 물체가 차량과 근접한 경우에 이를 경고할 수 있는 것으로 예를 들어, 음향을 이용한 경고가 가능할 수 있다.
이상에서는 일 실시예에 따른 물체 트래킹 시스템(1)의 구성에 대하여 설명하였다.
이하에서는 일 실시에에 따른 물체 트래킹 시스템(1)의 동작에 대하여 설명한다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 물체 트래킹 시스템(1)의 동작 방법을 나타낸 순서도이다.
구체적으로, 도 6은 레이더 모듈(11)에서 감지한 물체를 제어부(30) 내 제1 칼만 필터 변환부(33)를 통하여 물체를 트래킹하는 방법을 설명한 순서도이고, 도 7은 카메라 모듈(21)에서 감지한 물체를 제어부(30) 내 트래킹부(34) 및 제2 칼만 필터 변환부(35)를 통하여 물체를 트래킹하는 방법을 설명한 순서도이다.
도 6에 도시된 바와 같이, 레이더 모듈(11)이 동작을 하여 본 발명에 따른 물체 트래킹 제어 방법이 동작을 시작한다(S10).
이 때, 레이더 모듈(11)이 차량 전방의 물체를 감지한다(S20). 구체적으로, 레이더 모듈(11)은 레이더를 전방 물체에 송신하고, 돌아오는 데 걸리는 시간, 방향 정보를 토대로 전방 물체의 3차원 좌표를 산출할 수 있다(S30). 따라서, 감지된 전방 물체의 3차원 좌표를 제어부(30)로 송신하여, 물체 트래킹 시스템(1)은 해당 물체의 위치와 속도 정보를 기초로 물체의 트래킹을 수행한다(S40).
구체적으로, 본 발명의 물체 트래킹 시스템(1) 내 포함된 제 1 칼만 필터 변환부(33)는 단순 칼만 필터(Simple Kalman-Filter)를 사용하여 물체의 트래킹을 진행하는데, 이러한 제 1 칼만필터 변환부(33)는 레이더 센서부(10)에 포함된 레이더 모듈(11)을 통하여 획득한 물체와의 거리 및 레이더 해상도에 의존한 노이즈 모델을 포함하여 물체를 트래킹 할 수 있다.
다음으로, 도 7에 도시된 바와 같이, 물체 트래킹 시스템(1) 내 카메라 모듈(21)이 동작하여 본 발명에 따른 물체 트래킹 제어 방법이 동작을 시작한다(S15).
이 때, 카메라 모듈(21)은 전방 영상을 획득한다(S25). 구체적으로, 물체 트래킹 시스템(1)이 확보한 전방 영상은 2차원 정보를 가지는 것으로, 획득한 영상 속에 포함된 물체를 감지한다(S35).
예를 들어, 감지한 물체를 보행자라고 할 때, 보행자의 외곽에 사각형 모형의 바운딩 박스(Bounding Box)를 표시하여, 바운딩 박스의 이동을 트래킹 할 수 있다.
즉, 본 발명에 따른 물체 트래킹 시스템(1)은 감지된 물체의 위치와, 물체 트래킹 시스템(1)을 탑재한 차량(2)의 속도를 기초로 감지한 물체의 트래킹을 수행한다(S45). 구체적으로, 제어부(30) 내 포함된 트래킹부(34)에서는 영상 촬영부(20)에 포함된 카메라 모듈(21)에서 감지한 물체에 대하여 Haar-Like Feature기법을 적용하여 물체를 추출한 다음, 이에 대하여 Kernelized 최소 자승법(Kernelized least squares)을 활용한 분류기를 통하여 물체를 트래킹을 수행한다.
또한, 제어부(30) 내 포함된 제2 칼만 필터 변환부(35)에서는 2차원 평면에서 적용된 칼만 필터에 따른 트래킹을 수행하는 것으로, 제 2 칼만필터 변환부(35)에서는 바운딩 박스(100)의 위치 정보 및 속도 정보를 기초로 트래킹을 수행할 수 있다.
도 6 및 도 7에서는 병렬적으로 각기 레이더 모듈(11) 또는 카메라 모듈(21)을 통하여 감지한 물체를 트래킹하는 방법을 나타낸 순서도이나, 동일한 제어부(30) 내 트래킹이 이루어지는 것으로, 레이더 모듈(11)을 통하여 물체의 감지가 실패하거나, 카메라 모듈(21)을 통하여 물체 감지가 실패한 경우, 제 1 칼만 필터 변환부(33), 트래킹부(34), 및 제 2 칼만필터 변환부(35)에서 수행된 트래킹 방법을 통하여 물체의 트래킹을 대체할 수 있다.
이상에서는 개시된 발명의 일 실시예에 대하여 도시하고 설명하였지만, 개시된 발명은 상술한 특정의 실시예에 한정되지 아니하며 청구범위에서 청구하는 요지를 벗어남 없이 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형실시가 가능함을 물론이고 이러한 변형실시들은 개시된 발명으로부터 개별적으로 이해될 수 없다.
1: 물체 트래킹 시스템
2: 차량

Claims (8)

  1. 차량의 외부 영상을 촬영하는 단계;
    상기 촬영된 영상에 포함된 물체를 감지(Detection)하는 단계;
    상기 차량의 전방에 레이더 신호를 송수신하여 물체를 감지하는 단계;
    상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1 트래킹하는 단계; 및
    상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2트래킹(Tracking)을 수행하는 단계; 를 포함하는 차량의 물체 트래킹 제어 방법.
  2. 제 1항에 있어서,
    상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1트래킹하는 단계;는
    상기 감지된 물체와 상기 차량 사이의 거리 및 레이더 센서의 해상도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 차량의 물체 트래킹 제어 방법.
  3. 제 1항에 있어서,
    상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2트래킹(Tracking)을 수행하는 단계;는
    상기 감지된 물체를 CSK(Circulant Tracking by detection with Kernels)기법을 기초로 트래킹하는 단계; 및
    상기 감지된 물체의 위치 및 상기 차량의 속도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 단계;를 포함하는 차량의 물체 트래킹 제어 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    제 1 트래킹 정보 및 제2 트래킹 정보는 상호 교환하는 차량의 물체 트래킹 제어 방법.
  5. 차량의 외부 영상을 촬영하여, 영상에 포함된 물체를 감지하는 영상 촬영부;
    상기 차량의 전방에 레이더 신호를 송수신하여 물체를 감지하는 레이더 센서부;
    상기 레이더 신호를 기초로 감지된 물체의 3차원 정보를 기초로 상기 물체를 제 1 트래킹하고, 상기 촬영된 영상 내 감지된 물체의 2차원 정보를 기초로 상기 물체를 제 2 트래킹하는 제어부;를 포함하는 차량의 물체 트래킹 시스템.
  6. 제 5항에 있어서,
    상기 영상에 포함된 물체를 바운딩 박스(Bounding Box)로 표시하여 운전자에게 보여주는 표시부;를 더 포함하는 차량의 물체 트래킹 시스템.
  7. 제 6항에 있어서,
    상기 제어부는
    상기 감지된 물체의 3차원 정보를 기초로 상기 차량 사이의 거리 및 레이더 센서의 해상도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 제 1 칼만필터 변환부;
    상기 감지된 물체의 2차원 정보를 기초로 CSK(Circulant Tracking by detection with Kernels)기법으로 트래킹하는 트래킹부; 및
    상기 감지된 물체의 2차원 위치 및 상기 차량의 속도에 대한 노이즈 모델을 포함한 칼만 필터(Kalman-Filter)를 적용하여 트래킹하는 제 2 칼만필터 변환부;를 더 포함하는 차량의 물체 트래킹 시스템.
  8. 제 7항에 있어서,
    상기 제 1 칼만 필터 변환부의 제 1 트래킹 정보와 상기 제 2 칼만 필터 변환부의 제 2 트래킹 정보는 상호 교환되는 차량의 물체 트래킹 시스템.
KR1020160133803A 2016-10-14 2016-10-14 차량의 물체 트래킹 시스템 및 그 제어 방법 KR20180041525A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160133803A KR20180041525A (ko) 2016-10-14 2016-10-14 차량의 물체 트래킹 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160133803A KR20180041525A (ko) 2016-10-14 2016-10-14 차량의 물체 트래킹 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20180041525A true KR20180041525A (ko) 2018-04-24

Family

ID=62084990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160133803A KR20180041525A (ko) 2016-10-14 2016-10-14 차량의 물체 트래킹 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20180041525A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585332A (en) * 2019-02-12 2021-01-13 Chidziva Pasihapaori Vehicle with moving object detector
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332218A (ja) * 2004-05-20 2005-12-02 Nissan Motor Co Ltd 運転支援装置
KR20120034352A (ko) * 2010-10-01 2012-04-12 한국전자통신연구원 장애물 감지 시스템 및 방법
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物***置検出を向上する方法
KR20140004291A (ko) * 2012-06-29 2014-01-13 엘지이노텍 주식회사 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
KR20160091040A (ko) * 2015-01-23 2016-08-02 엘지전자 주식회사 차량 및 차량의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332218A (ja) * 2004-05-20 2005-12-02 Nissan Motor Co Ltd 運転支援装置
KR20120034352A (ko) * 2010-10-01 2012-04-12 한국전자통신연구원 장애물 감지 시스템 및 방법
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物***置検出を向上する方法
KR20140004291A (ko) * 2012-06-29 2014-01-13 엘지이노텍 주식회사 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
KR20160091040A (ko) * 2015-01-23 2016-08-02 엘지전자 주식회사 차량 및 차량의 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김귀식, 정수웅, 이상근. (2015). 효과적인 업데이트 모델을 이용한 개선된 CSK TRACKER. 대한전자공학회 학술대회, , 580_581. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585332A (en) * 2019-02-12 2021-01-13 Chidziva Pasihapaori Vehicle with moving object detector
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Similar Documents

Publication Publication Date Title
KR101967305B1 (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
JP6623044B2 (ja) ステレオカメラ装置
KR101327736B1 (ko) Ａｖｍ탑뷰 기반 주차지원 시스템
JP4876118B2 (ja) 立体物出現検知装置
US9898671B2 (en) Vehicle vision system with structure and motion estimation
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
JP4173902B2 (ja) 車両周辺監視装置
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
EP2924655B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2014154898A (ja) 物体検知装置
JP2018503195A (ja) 物体検出方法及び物体検出装置
KR101491305B1 (ko) 장애물 검출 장치 및 방법
EP3207523B1 (en) Obstacle detection apparatus and method
KR20180041525A (ko) 차량의 물체 트래킹 시스템 및 그 제어 방법
KR20190134303A (ko) 영상 인식 장치 및 그 방법
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
JP6466679B2 (ja) 物体検出装置
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP3994954B2 (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application