KR20240036550A - Apparatus for sensor fusion of vehicle and method thereof - Google Patents

Apparatus for sensor fusion of vehicle and method thereof Download PDF

Info

Publication number
KR20240036550A
KR20240036550A KR1020240034917A KR20240034917A KR20240036550A KR 20240036550 A KR20240036550 A KR 20240036550A KR 1020240034917 A KR1020240034917 A KR 1020240034917A KR 20240034917 A KR20240034917 A KR 20240034917A KR 20240036550 A KR20240036550 A KR 20240036550A
Authority
KR
South Korea
Prior art keywords
object information
fusion
sensor
lidar
information
Prior art date
Application number
KR1020240034917A
Other languages
Korean (ko)
Inventor
이건용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020240034917A priority Critical patent/KR20240036550A/en
Publication of KR20240036550A publication Critical patent/KR20240036550A/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성하는 제1 센서 융합부; 및 상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보, 및 상기 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하고, 상기 카메라 오브젝트 정보를 이용하여 상기 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하여 상기 라이다 오브젝트 정보를 보정한 후, 상기 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성하는 제2 센서 융합부를 포함하고, 상기 갱신은 상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가하여 수행되고, 상기 제2 센서 융합부는, 상기 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 트랙킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력한다.The present invention is dynamic object information obtained through a camera sensor and a radar sensor mounted on a vehicle, respectively, and is a first sensor that generates primary fusion object information by fusing camera object information and radar object information through a predefined fusion algorithm. fusion part; And preprocessing is performed to synchronize the camera object information, the primary fusion object information, and the LiDAR object information obtained through a LiDAR sensor mounted on the vehicle, and the synchronized LIDAR is processed using the camera object information. After correcting the LiDAR object information by adding attribute information according to the type of the object to the object information, the first fusion object information is updated based on the corrected LiDAR object information to generate final fusion object information. and a second sensor fusion unit, wherein the update is performed by adding static object information of the corrected lidar object information to the first fusion object information, and the second sensor fusion unit is configured to provide information on the final fusion object information. After tracking the object through prediction, data association, and update methods, the location information of the object is output through post-processing.

Description

차량의 센서 융합 장치 및 방법{APPARATUS FOR SENSOR FUSION OF VEHICLE AND METHOD THEREOF}Sensor fusion device and method for vehicle {APPARATUS FOR SENSOR FUSION OF VEHICLE AND METHOD THEREOF}

본 발명은 차량의 센서 융합 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량에 장착된 복수의 센서에 의해 획득된 오브젝트 정보를 융합하는 차량의 센서 융합 장치 및 방법에 관한 것이다.The present invention relates to a sensor fusion device and method for a vehicle, and more particularly, to a sensor fusion device and method for a vehicle that fuses object information obtained by a plurality of sensors mounted on the vehicle.

자율 주행 차량이란 주행 시 외부정보 감지 및 처리기능을 통해 주변의 환경을 인식하여 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말한다. 자율 주행 차량은 운전자가 조향휠, 가속페달 또는 브레이크 등을 조작하지 않아도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 목적지까지 주행할 수 있다. 예를 들어, 직선 도로에서는 가속을 수행하고, 곡선 도로에서는 도로의 곡률에 대응하여 주행 방향을 변경하면서 감속을 수행할 수 있다.An autonomous vehicle refers to a vehicle that recognizes the surrounding environment through external information detection and processing functions when driving, determines its own driving path, and drives independently using its own power. Self-driving vehicles can drive to their destination on their own, preventing collisions with obstacles in the driving path and adjusting vehicle speed and driving direction according to the shape of the road, without the driver having to operate the steering wheel, accelerator pedal, or brakes. there is. For example, acceleration can be performed on a straight road, and deceleration can be performed on a curved road by changing the driving direction in response to the curvature of the road.

자율 주행 차량에 적용되는 측위 시스템은 GPS(Global Positioning System) 및 각종센서(Radar, LiDAR, Camera 등)를 이용하여 구축한 도로맵 정보를 바탕으로, 주행 중 획득되는 GPS 위치데이터 및 차량에 탑재된 센서를 통해 획득되는 센서 데이터 등을 통해 차량의 현재 위치를 결정한다. 자율 주행의 안정성을 확보하기 위해서는 차량의 현재 위치를 정확하게 파악하는 것이 중요하며, 이를 위해 GPS의 위치 정확도를 향상시킬 수 있는 DGPS(Differential GPS), RTK-DGPS(Real Time Kinematic-DGPS) 등을 사용하기도 한다. 또한, 필연적으로 발생하는 GPS 위치 데이터의 오차를 보정하기 위해 미리 구축하여 놓은 도로맵과 센서 데이터를 비교하는 맵매칭 기술이 적용되기도 한다.The positioning system applied to autonomous vehicles is based on road map information constructed using GPS (Global Positioning System) and various sensors (Radar, LiDAR, Camera, etc.), GPS location data acquired while driving, and The current location of the vehicle is determined through sensor data obtained through sensors. In order to ensure the stability of autonomous driving, it is important to accurately determine the current location of the vehicle, and for this purpose, DGPS (Differential GPS) and RTK-DGPS (Real Time Kinematic-DGPS), which can improve the location accuracy of GPS, are used. Sometimes it happens. In addition, map matching technology that compares sensor data with a pre-constructed road map is sometimes applied to correct errors in GPS location data that inevitably occur.

또한, 차량의 현재 위치와 함께, 차량에 장착된 센서를 통해 차량 주위에 존재하는 오브젝트를 정확하게 검출하여 차량의 주행 제어에 활용하여야 하며, 자율 주행 차량에 적용되는 센싱 시스템의 고도화에 따라 그 센서의 수가 증가하고 있는 현재의 기술 수준을 고려하면, 각 센서를 통해 획득된 주변 오브젝트 정보를 융합하여 보다 정확하게 주변 오브젝트를 검출할 수 있는 아키텍처가 요구된다.In addition, along with the current location of the vehicle, objects existing around the vehicle must be accurately detected through sensors mounted on the vehicle and used to control the vehicle's driving. As the sensing system applied to autonomous vehicles becomes more advanced, the sensor's Considering the current level of technology, which is increasing in number, an architecture that can detect surrounding objects more accurately by fusing surrounding object information acquired through each sensor is required.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0098071호(2017.08.29. 공개)에 개시되어 있다.The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 10-2017-0098071 (published on August 29, 2017).

본 발명의 일 측면에 따른 목적은 차량의 장착된 복수의 객체 검출 센서, 특히 카메라 센서, 레이더 센서 및 라이다 센서를 통해 획득된 오브젝트 정보를 융합하여 오브젝트에 대한 검출 오차가 최소화될 수 있는 차량의 센서 융합 장치 및 방법을 제공하는 것이다.The purpose of one aspect of the present invention is to develop a vehicle in which detection errors for objects can be minimized by fusing object information obtained through a plurality of object detection sensors mounted on a vehicle, especially camera sensors, radar sensors, and lidar sensors. To provide a sensor fusion device and method.

본 발명의 일 측면에 따른 차량의 센서 융합 장치는 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성하는 제1 센서 융합부; 및 상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보, 및 상기 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하고, 상기 카메라 오브젝트 정보를 이용하여 상기 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하여 상기 라이다 오브젝트 정보를 보정한 후, 상기 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성하는 제2 센서 융합부를 포함하고, 상기 갱신은 상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가하여 수행되고, 상기 제2 센서 융합부는, 상기 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 트랙킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력한다.A sensor fusion device for a vehicle according to one aspect of the present invention is dynamic object information obtained through a camera sensor and a radar sensor respectively mounted on the vehicle, and fuses the camera object information and radar object information through a predefined fusion algorithm to obtain 1 A first sensor fusion unit that generates primary fusion object information; And preprocessing is performed to synchronize the camera object information, the primary fusion object information, and the LiDAR object information obtained through a LiDAR sensor mounted on the vehicle, and the synchronized LIDAR is processed using the camera object information. After correcting the LiDAR object information by adding attribute information according to the type of the object to the object information, the first fusion object information is updated based on the corrected LiDAR object information to generate final fusion object information. and a second sensor fusion unit, wherein the update is performed by adding static object information of the corrected lidar object information to the first fusion object information, and the second sensor fusion unit is configured to provide information on the final fusion object information. After tracking the object through prediction, data association, and update methods, the location information of the object is output through post-processing.

본 발명의 일 측면에 따른 차량의 센서 융합 방법은 제1 센서 융합부가, 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성하는 단계; 제2 센서 융합부가, 상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보, 및 상기 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하는 단계; 상기 제2 센서 융합부가, 상기 카메라 오브젝트 정보를 이용하여 상기 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하여 상기 라이다 오브젝트 정보를 보정하는 단계; 및 상기 제2 센서 융합부가, 상기 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성하는 단계;를 포함하고, 상기 갱신은 상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가하여 수행되고, 상기 제2 센서 융합부는, 상기 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 트랙킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력한다.In the sensor fusion method for a vehicle according to an aspect of the present invention, the first sensor fusion unit fuses dynamic object information, respectively acquired through a camera sensor and a radar sensor mounted on the vehicle, to predefined camera object information and radar object information. Generating primary fusion object information by fusing through an algorithm; A second sensor fusion unit performing preprocessing to synchronize the camera object information, the primary fusion object information, and the LiDAR object information obtained through a LiDAR sensor mounted on the vehicle; The second sensor fusion unit corrects the LiDAR object information by adding attribute information according to the type of the object to the synchronized LiDAR object information using the camera object information; And a step of the second sensor fusion unit updating the first fusion object information based on the corrected LiDAR object information to generate final fusion object information, wherein the update is performed using the corrected LiDAR object information. is performed by adding static object information to the first fusion object information, and the second sensor fusion unit predicts, data associates, and updates the corresponding object for the final fusion object information. After tracking is performed using this method, the location information of the object is output through post-processing.

본 발명의 일 측면에 따르면, 본 발명은 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트랙킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.According to one aspect of the present invention, the present invention detects objects around the vehicle by first fusion of camera object information and radar object information, then correcting the first fusion result through lidar object information and performing tracking post-processing. Errors can be minimized.

도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하기 위한 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a sensor fusion device for a vehicle according to an embodiment of the present invention.
Figure 2 is a block diagram showing the detailed configuration of a sensor fusion device for a vehicle according to an embodiment of the present invention.
Figure 3 is an example diagram showing the FOV (Field of View) of a front camera, front radar, corner radar, and front lidar applied to a sensor fusion device for a vehicle according to an embodiment of the present invention.
Figure 4 is a functional block diagram for explaining the operation of the preprocessing unit and the measurement value fusion unit of the second sensor fusion unit in the sensor fusion device for a vehicle according to an embodiment of the present invention.
Figure 5 is a flowchart for explaining a sensor fusion method for a vehicle according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 센서 융합 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of a sensor fusion device and method for a vehicle according to the present invention will be described with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이며, 도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 보인 예시도이고, 도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하기 위한 기능 블록도이다.FIG. 1 is a block diagram for explaining a sensor fusion device for a vehicle according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the detailed configuration of a sensor fusion device for a vehicle according to an embodiment of the present invention. , FIG. 3 is an exemplary diagram showing the FOV (Field of View) of the front camera, front radar, corner radar, and front lidar applied to the sensor fusion device of a vehicle according to an embodiment of the present invention, and FIG. This is a functional block diagram for explaining the operation of the preprocessing unit and the measurement value fusion unit of the second sensor fusion unit in the sensor fusion device for a vehicle according to an embodiment of.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 차량의 센서 융합 장치는 제1 센서 융합부(100) 및 제2 센서 융합부(200)를 포함할 수 있고, 제2 센서 융합부(200)는 전처리부(210), 측정치 융합부(220), 트랙킹부(230) 및 후처리부(240)를 포함할 수 있다.Referring to Figures 1 and 2, the sensor fusion device for a vehicle according to an embodiment of the present invention may include a first sensor fusion unit 100 and a second sensor fusion unit 200, and the second sensor fusion unit 200 The unit 200 may include a pre-processing unit 210, a measurement fusion unit 220, a tracking unit 230, and a post-processing unit 240.

제1 센서 융합부(100)는 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성할 수 있다. 여기서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변에서 움직이는 동적 오브젝트(예: 타차량, 자전거, 보행자 등)의 정보를 의미하며, 예를 들어 동적 오브젝트의 위치, 방향(헤딩각), 가속도, 속도, 형상 및 크기, 종류와, 동적 오브젝트의 존재에 대한 정보가 동적 오브젝트 정보에 해당될 수 있다. 이에 따라, 제1 센서 융합부(100)는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성할 수 있으며, 융합 알고리즘에 따른 오브젝트 융합 과정에서 소정 정보(예: 차량 자세 정보 등)가 필요할 경우에는 C-CAN 통신을 통해 전달받을 수도 있다.The first sensor fusion unit 100 may fuse camera object information and radar object information obtained through a camera sensor and a radar sensor mounted on the vehicle, respectively, through a predefined fusion algorithm to generate primary fusion object information. . Here, the camera object information and radar object information refer to information on dynamic objects (e.g., other vehicles, bicycles, pedestrians, etc.) moving around the vehicle, such as the position, direction (heading angle), acceleration, and Information about speed, shape and size, type, and existence of a dynamic object may correspond to dynamic object information. Accordingly, the first sensor fusion unit 100 can generate primary fusion object information by fusing camera object information and radar object information through a predefined fusion algorithm, and generates predetermined information during the object fusion process according to the fusion algorithm. If necessary (e.g. vehicle attitude information, etc.), it can be received through C-CAN communication.

제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하고, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보를 부가하여 라이다 오브젝트 정보를 보정한 후, 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 여기서, 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트(예: 신호등, 이정표, 고정 장애물 등)의 정보를 포함할 수 있다.The second sensor fusion unit 200 performs preprocessing to synchronize camera object information, primary fusion object information, and LiDAR object information acquired through a LiDAR sensor mounted on the vehicle, and synchronized LiDAR object information. After correcting the LiDAR object information by adding attribute information of the corresponding object, the final fusion object information can be generated by updating the first fusion object information based on the corrected LiDAR object information. Here, the LIDAR object information may include information on dynamic objects and static objects (e.g., traffic lights, signposts, fixed obstacles, etc.) located around the vehicle.

본 실시예에서 카메라 센서는 전방 카메라 센서를 포함할 수 있고, 레이더 센서는 전방 레이더 및 코너 레이더를 포함할 수 있으며, 라이다 센서는 전방 라이다 센서를 포함할 수 있다. 도 3은 각 센서의 FOV(Field Of View)의 예시를 도시하고 있으며, 다만 각 센서의 FOV는 설계자의 의도와 실험적 결과에 기초하여 다양한 범위로 설계될 수도 있다.In this embodiment, the camera sensor may include a front camera sensor, the radar sensor may include a front radar and a corner radar, and the LiDAR sensor may include a front LiDAR sensor. Figure 3 shows an example of the FOV (Field of View) of each sensor, however, the FOV of each sensor may be designed in various ranges based on the designer's intention and experimental results.

이하에서는 제2 센서 융합부(200)의 기능을 그 하위 구성을 통해 구체적으로 설명한다. 도 2에 도시된 것과 같이 제2 센서 융합부(200)는 전처리부(210), 측정치 융합부(220), 트랙킹부(230) 및 후처리부(240)를 포함할 수 있다. 도 4는 전처리부(210) 및 측정치 융합부(220)의 동작을 설명하기 위한 기능 블록도로서, 이하의 전처리부(210) 및 측정치 융합부(220)의 동작 설명은 도 4를 참조하기로 한다.Hereinafter, the function of the second sensor fusion unit 200 will be described in detail through its sub-configurations. As shown in FIG. 2, the second sensor fusion unit 200 may include a pre-processing unit 210, a measurement fusion unit 220, a tracking unit 230, and a post-processing unit 240. FIG. 4 is a functional block diagram for explaining the operation of the pre-processing unit 210 and the measurement fusion unit 220. The following description of the operation of the pre-processing unit 210 and the measurement fusion unit 220 will refer to FIG. 4. do.

전처리부(210)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리(Pre-Processing)를 수행할 수 있다. 여기서, 오브젝트 정보의 동기화는 좌표 동기화 및 시간 동기화를 의미할 수 있다.The pre-processing unit 210 may perform pre-processing to synchronize camera object information, primary fusion object information, and LiDAR object information acquired through a LiDAR sensor mounted on the vehicle. Here, synchronization of object information may mean coordinate synchronization and time synchronization.

구체적으로, 전처리부(210)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행할 수 있으며, 이를 위해 전처리부(210)에는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 좌표로 변화하기 위한 변환 매트릭스가 미리 정의되어 있을 수 있다. 그리고, 전처리부(210)는 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행할 수 있다. 나아가, 전처리부(210)는 자차량의 움직임과, 각 오브젝트 정보에 반영된 해당 오브젝트의 움직임을 고려하여 해당 오브젝트에 대한 위치를 보상할 수도 있다.Specifically, the preprocessor 210 can perform coordinate synchronization by converting the coordinates of the camera object information and the first fusion object information into the coordinate system of the LiDAR sensor. To this end, the preprocessor 210 includes camera object information and 1 A transformation matrix for changing the coordinates of car fusion object information into LiDAR coordinates may be predefined. Additionally, the preprocessor 210 may perform time synchronization to match the times of the coordinate-synchronized camera object information and primary fusion object information with the lidar object information. Furthermore, the preprocessor 210 may compensate for the position of the corresponding object by considering the movement of the host vehicle and the movement of the corresponding object reflected in each object information.

측정치 융합부(Measuring Fusion Unit, 200)는 전처리부(210)에 의해 좌표 동기화 및 시간 동기화가 이루어진 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보를 부가하여 라이다 오브젝트 정보를 보정할 수 있다. 라이다 오브젝트 정보가 보정된 상태라 함은 라이다 센서에 의해 획득된 라이다 오브젝트 정보의 동기화가 이루어진 후 해당 오브젝트의 속성 정보가 부가된 상태인 것으로 표기한다. 이때, 측정치 융합부(220)는 카메라 오브젝트 정보를 이용하여, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류(예: 승용차, 트럭, 자전거, 보행자 등)에 따른 속성 정보(Flag)를 부가할 수 있다.The Measuring Fusion Unit (200) may correct the LiDAR object information by adding attribute information of the object to the LiDAR object information for which coordinates and time synchronization have been achieved by the preprocessor (210). The state in which the LiDAR object information is corrected refers to the state in which the attribute information of the object is added after synchronization of the LiDAR object information acquired by the LiDAR sensor is achieved. At this time, the measurement fusion unit 220 can use the camera object information to add attribute information (Flag) according to the type of object (e.g., car, truck, bicycle, pedestrian, etc.) to the synchronized lidar object information. there is.

그리고, 측정치 융합부(220)는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 구체적으로는, 측정치 융합부(220)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식을 통해 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 1차 융합 오브젝트 정보는 동적 오브젝트 정보인 카메라 오브젝트 정보 및 레이더 오브젝트 정보의 융합 정보이므로, 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가함으로써, 최종 융합 오브젝트 정보에는 차량 주변의 동적 오브젝트 및 정적 오브젝트 정보가 반영되게 되며, 최종 융합 오브젝트 정보에 대한 해당 오브젝트의 속성 정보도 포함되게 된다.Additionally, the measurement fusion unit 220 may update the first fusion object information based on the corrected LIDAR object information to generate final fusion object information. Specifically, the measurement fusion unit 220 updates the primary fusion object information by adding static object information reflected in the corrected LiDAR object information to the primary fusion object information to generate final fusion object information. can do. Since the first fusion object information is fusion information of camera object information and radar object information, which are dynamic object information, by adding the static object information reflected in the lidar object information to the first fusion object information, the final fusion object information includes the surrounding areas of the vehicle. The dynamic object and static object information of is reflected, and the attribute information of the corresponding object for the final fused object information is also included.

트랙킹부(230)는 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 미리 정의된 트랙킹 알고리즘을 이용하여 트랙킹(Tracking)을 수행할 수 있다. 도 2에 도시된 것과 같이 트랙킹부(230)는 일반적인 타겟 추적 알고리즘에 따라 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 해당 오브젝트를 트랙킹할 수 있다. 1차 융합 오브젝트 정보 및 라이다 오브젝트 정보는 각각 별도의 트랙킹 과정을 통해 획득되는 정보로서, 트랙킹부(230)를 통해 추가적인 트랙킹을 수행함으로써 해당 오브젝트에 대한 트랙킹 오차를 감소시킬 수 있다.The tracking unit 230 may perform tracking of the corresponding object for the final fused object information using a predefined tracking algorithm. As shown in FIG. 2, the tracking unit 230 can track the object through prediction, data association, and update methods according to a general target tracking algorithm. The primary fusion object information and lidar object information are information acquired through separate tracking processes, and the tracking error for the corresponding object can be reduced by performing additional tracking through the tracking unit 230.

이후, 후처리부(240)는 후처리(Post-Processing)를 통해 트랙킹되는 해당 오브젝트의 위치 정보를 최종적으로 출력할 수 있으며, 해당 오브젝트의 위치 정보와 함께 방향(헤딩각), 가속도, 속도, 형상 및 크기, 종류에 대한 정보도 출력할 수 있다.Afterwards, the post-processing unit 240 can finally output the position information of the object being tracked through post-processing, and the direction (heading angle), acceleration, speed, and shape along with the position information of the object. Information on size and type can also be output.

도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.Figure 5 is a flowchart for explaining a sensor fusion method for a vehicle according to an embodiment of the present invention.

도 5를 참조하여 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하면, 먼저 제1 센서 융합부(100)는 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성한다(S100). 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트의 정보를 의미한다.When explaining the sensor fusion method of a vehicle according to an embodiment of the present invention with reference to FIG. 5, first, the first sensor fusion unit 100 receives camera object information and camera object information respectively acquired through a camera sensor and a radar sensor mounted on the vehicle. Radar object information is fused through a predefined fusion algorithm to generate primary fusion object information (S100). Camera object information and radar object information refer to information on dynamic objects located around the vehicle.

이어서, 제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행한다(S200). 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트의 정보를 포함한다.Next, the second sensor fusion unit 200 performs preprocessing to synchronize the camera object information, the first fusion object information, and the LiDAR object information acquired through the LiDAR sensor mounted on the vehicle (S200). Lidar object information includes information on dynamic objects and static objects located around the vehicle.

S200 단계에서, 제2 센서 융합부(200)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행하고, 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행하여 전처리를 수행한다.In step S200, the second sensor fusion unit 200 performs coordinate synchronization by converting the coordinates of the camera object information and the first fusion object information into the coordinate system of the LiDAR sensor, and coordinate-synchronized camera object information and the first fusion object. Preprocessing is performed by performing time synchronization to match the time of the information and the lidar object information.

이어서, 제2 센서 융합부(200)는 S200 단계를 통해 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보를 부가하여 라이다 오브젝트 정보를 보정한다(S300). S300 단계에서, 제2 센서 융합부(200)는 카메라 오브젝트 정보를 이용하여, S200 단계를 통해 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가한다.Next, the second sensor fusion unit 200 corrects the LiDAR object information by adding attribute information of the object to the LiDAR object information synchronized through step S200 (S300). In step S300, the second sensor fusion unit 200 uses camera object information to add attribute information according to the type of the object to the LiDAR object information synchronized through step S200.

이어서, 제2 센서 융합부(200)는 S200 단계 및 S300 단계를 통해 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신한다(S400). S400 단계에서, 제2 센서 융합부(200)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식을 통해 1차 융합 오브젝트 정보를 갱신한다. S400 단계를 통해 최종 융합 오브젝트 정보가 생성된다.Subsequently, the second sensor fusion unit 200 updates the first fusion object information based on the lidar object information corrected through steps S200 and S300 (S400). In step S400, the second sensor fusion unit 200 updates the primary fusion object information by adding static object information reflected in the corrected lidar object information to the primary fusion object information. Final fusion object information is generated through step S400.

이어서, 제2 센서 융합부(200)는 S400 단계에서 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 미리 정의된 트랙킹 알고리즘을 이용하여 트래킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력하며(S500), 해당 오브젝트의 위치 정보와 함께 방향(헤딩각), 가속도, 속도, 형상 및 크기, 종류에 대한 정보도 출력할 수 있다.Subsequently, the second sensor fusion unit 200 tracks the object for the final fusion object information using a predefined tracking algorithm in step S400, and then outputs the location information of the object through post-processing ( S500), along with the location information of the object, information on direction (heading angle), acceleration, speed, shape, size, and type can also be output.

이와 같이 본 실시예는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트랙킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.In this way, in this embodiment, the detection error for objects around the vehicle can be minimized by first fusion of camera object information and radar object information, then correcting the first fusion result through lidar object information and performing tracking post-processing. there is.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will recognize that various modifications and other equivalent embodiments can be made therefrom. You will understand. Therefore, the true technical protection scope of the present invention should be determined by the scope of the patent claims below.

100: 제1 센서 융합부
200: 제2 센서 융합부
210: 전처리부
220: 측정치 융합부
230: 트랙킹부
240: 후처리부100: First sensor fusion unit
200: Second sensor fusion unit
210: preprocessing unit
220: Measurement fusion unit
230: Tracking unit
240: Post-processing unit

Claims (4)

차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성하는 제1 센서 융합부; 및
상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보, 및 상기 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하고, 상기 카메라 오브젝트 정보를 이용하여 상기 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하여 상기 라이다 오브젝트 정보를 보정한 후, 상기 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성하는 제2 센서 융합부를 포함하고,
상기 갱신은 상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가하여 수행되고,
상기 제2 센서 융합부는, 상기 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 트랙킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력하는 것을 특징으로 하는 차량의 센서 융합 장치.A first sensor fusion unit that generates primary fusion object information by fusing the camera object information and radar object information as dynamic object information acquired through a camera sensor and a radar sensor respectively mounted on the vehicle through a predefined fusion algorithm; and
Perform preprocessing to synchronize the camera object information, the primary fusion object information, and the LiDAR object information acquired through the LiDAR sensor mounted on the vehicle, and use the camera object information to After correcting the LiDAR object information by adding attribute information according to the type of the object to the object information, the first fusion object information is updated based on the corrected LiDAR object information to generate final fusion object information. It includes a second sensor fusion unit,
The update is performed by adding static object information of the corrected lidar object information to the primary fusion object information,
The second sensor fusion unit tracks the object for the final fusion object information through prediction, data association, and update methods, and then determines the location of the object through post-processing. A sensor fusion device for a vehicle, characterized in that it outputs information. 제1항에 있어서,
상기 제2 센서 융합부는, 상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보의 좌표를 상기 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행하고, 상기 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 상기 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행하여 상기 전처리를 수행하는 것을 특징으로 하는 차량의 센서 융합 장치.According to paragraph 1,
The second sensor fusion unit performs coordinate synchronization by converting the coordinates of the camera object information and the first fusion object information into the coordinate system of the LiDAR sensor, and the coordinate-synchronized camera object information and the first fusion object information A sensor fusion device for a vehicle, characterized in that the preprocessing is performed by performing time synchronization to match the time of the lidar object information. 제1 센서 융합부가, 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성하는 단계;
제2 센서 융합부가, 상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보, 및 상기 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행하는 단계;
상기 제2 센서 융합부가, 상기 카메라 오브젝트 정보를 이용하여 상기 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하여 상기 라이다 오브젝트 정보를 보정하는 단계; 및
상기 제2 센서 융합부가, 상기 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성하는 단계;를 포함하고,
상기 갱신은 상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가하여 수행되고,
상기 제2 센서 융합부는, 상기 최종 융합 오브젝트 정보에 대한 해당 오브젝트를 예측(Prediction), 데이터 연관(Data Association) 및 업데이트(Update) 방식을 통해 트랙킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력하는 것을 특징으로 하는 차량의 센서 융합 방법.The first sensor fusion unit generates first fusion object information by fusing dynamic object information obtained through a camera sensor and a radar sensor mounted on the vehicle, respectively, and camera object information and radar object information through a predefined fusion algorithm. step;
A second sensor fusion unit performing preprocessing to synchronize the camera object information, the primary fusion object information, and the LiDAR object information obtained through a LiDAR sensor mounted on the vehicle;
The second sensor fusion unit corrects the LiDAR object information by adding attribute information according to the type of the object to the synchronized LiDAR object information using the camera object information; and
A step of the second sensor fusion unit updating the first fusion object information based on the corrected lidar object information to generate final fusion object information,
The update is performed by adding static object information of the corrected lidar object information to the primary fusion object information,
The second sensor fusion unit tracks the object for the final fusion object information through prediction, data association, and update methods, and then determines the location of the object through post-processing. A sensor fusion method for a vehicle characterized by outputting information. 제3항에 있어서,
상기 전처리를 수행하는 단계에서, 상기 제2 센서 융합부는,
상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보의 좌표를 상기 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행하고, 상기 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 상기 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행하여 상기 전처리를 수행하는 것을 특징으로 하는 차량의 센서 융합 방법.
According to paragraph 3,
In the step of performing the preprocessing, the second sensor fusion unit,
Coordinate synchronization is performed by converting the coordinates of the camera object information and the first fusion object information into the coordinate system of the LiDAR sensor, and the time of the coordinate-synchronized camera object information and the first fusion object information and the LiDAR object information A sensor fusion method for a vehicle, characterized in that the preprocessing is performed by performing time synchronization to match.
KR1020240034917A 2019-02-26 2024-03-13 Apparatus for sensor fusion of vehicle and method thereof KR20240036550A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240034917A KR20240036550A (en) 2019-02-26 2024-03-13 Apparatus for sensor fusion of vehicle and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190022270A KR102656945B1 (en) 2019-02-26 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof
KR1020240034917A KR20240036550A (en) 2019-02-26 2024-03-13 Apparatus for sensor fusion of vehicle and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022270A Division KR102656945B1 (en) 2019-02-26 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof

Publications (1)

Publication Number Publication Date
KR20240036550A true KR20240036550A (en) 2024-03-20

Family

ID=72471558

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190022270A KR102656945B1 (en) 2019-02-26 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof
KR1020240034917A KR20240036550A (en) 2019-02-26 2024-03-13 Apparatus for sensor fusion of vehicle and method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190022270A KR102656945B1 (en) 2019-02-26 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof

Country Status (1)

Country Link
KR (2) KR102656945B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541430B1 (en) * 2021-04-02 2023-06-13 인하대학교 산학협력단 System and Method for Automated Evaluation of Driving Ability of Self-Driving Cars
KR102614378B1 (en) * 2022-09-30 2023-12-15 한국전자기술연구원 Autonomous vehicle location fine asynchronization method based on CCTV video

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137288A (en) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp Device and method for monitoring surroundings of vehicle
CN110036308B (en) * 2016-12-06 2023-04-18 本田技研工业株式会社 Vehicle peripheral information acquisition device and vehicle
JP6637472B2 (en) * 2017-07-06 2020-01-29 本田技研工業株式会社 Information processing method and information processing apparatus

Also Published As

Publication number Publication date
KR102656945B1 (en) 2024-04-12
KR20200106234A (en) 2020-09-14

Similar Documents

Publication Publication Date Title
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
CN109669451B (en) Autonomous driving support apparatus and method
US11167758B2 (en) Vehicle position correction method and vehicle position correction device for drive-assisted vehicle
KR20240036550A (en) Apparatus for sensor fusion of vehicle and method thereof
US9058247B2 (en) Risk potential calculation apparatus
JP6809531B2 (en) Vehicle determination method, travel route correction method, vehicle determination device, and travel route correction device
WO2015122121A1 (en) Host vehicle travel position specification device and host vehicle travel position specification program product
JPWO2017056247A1 (en) Travel control method and travel control apparatus
US20210349463A1 (en) Traveling Trajectory Correction Method, Traveling Control Method, and Traveling Trajectory Correction Device
JP7349561B2 (en) Map information correction method, driving support method, and map information correction device
US20190094883A1 (en) Position determination apparatus and method for vehicle
WO2019065564A1 (en) Automatic driving controller and method
US20180122238A1 (en) Vehicle Periphery Information Verification Device and Method
CN111194397B (en) Method for operating a navigation system
KR102336654B1 (en) Method And Apparatus for Sensor Fusion of Vehicle
KR20210083237A (en) Apparatus for determining position of vehicle and method thereof
JP6314744B2 (en) Moving object track prediction device
JP2023151345A (en) Travel path shape estimation device and method
JP2022139009A (en) Drive support device, drive support method, and program
KR20220078831A (en) Driver assistance system and driver assistance method
KR20220111763A (en) Apparatus and method for tracking vehicle based on v2v communication and lidar
US12008905B2 (en) Curb detection system for commercial vehicles
JP7378591B2 (en) Travel route generation device
US20230245469A1 (en) Method and processor circuit for localizing a motor vehicle in an environment during a driving operation and accordingly equipped motor vehicle
JP2022129177A (en) Driving support method and driving support device

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal