KR20150142542A - Intergrated sensor system of the vehicles - Google Patents

Intergrated sensor system of the vehicles Download PDF

Info

Publication number
KR20150142542A
KR20150142542A KR1020140071711A KR20140071711A KR20150142542A KR 20150142542 A KR20150142542 A KR 20150142542A KR 1020140071711 A KR1020140071711 A KR 1020140071711A KR 20140071711 A KR20140071711 A KR 20140071711A KR 20150142542 A KR20150142542 A KR 20150142542A
Authority
KR
South Korea
Prior art keywords
vehicle
front vehicle
data
detected
lidar
Prior art date
Application number
KR1020140071711A
Other languages
Korean (ko)
Inventor
김영신
김원겸
류수용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140071711A priority Critical patent/KR20150142542A/en
Publication of KR20150142542A publication Critical patent/KR20150142542A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/002—Integrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided is an integrated sensor system of a vehicle comprising: a lidar sensor module which senses a first front vehicle located in the running direction of a vehicle and generates lidar data; a camera sensor module which generates image data including a second front vehicle located in the running direction of the vehicle; and a vehicle recognition module which generates integrated data by applying a set sensor fusion algorithm to the lidar data and the image data, and detects and senses the first and second front vehicle as the same vehicle or just the first vehicle based on the integrated data.

Description

자동차의 통합센서 시스템{Intergrated sensor system of the vehicles}[0001] The present invention relates to an integrated sensor system of the vehicles,

본 발명은 자동차의 통합센서 시스템에 관한 것으로써, 더욱 상세하게는 차량의 진행방향에 위치한 전방차량에 대한 검출 정확도 및 검출율을 높이기 용이한 자동차의 통합센서 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an integrated sensor system of an automobile, and more particularly, to an integrated sensor system of an automobile which is easy to increase detection accuracy and detection rate for a front vehicle located in the traveling direction of the vehicle.

라이다(Lidar) 센서와 카메라 센서는 차량 전방의 장애물을 관측하여 충돌 경보 혹은 AEB를 작동시키기 위한 목적으로 사용된다. Lidar sensors and camera sensors are used to observe obstacles in front of the vehicle and to operate collision alarms or AEBs.

라이다 센서는 물체 검출 신뢰성 및 거리 정확도는 높지만 물체 분류가 어려운 반면, 카메라는 물체 분류는 가능하지만 거리 정확도와 검출율이 낮으며 환경에 민감한 단점을 갖고 있다. Although the Raidasensor has high object detection reliability and distance accuracy, it is difficult to classify objects, while cameras can classify objects, but have low distance accuracy and detection rate and are environmentally sensitive.

따라서, 두 센서를 상호보완적으로 퓨전하여 통합 센서 시스템의 성능 및 신뢰성을 높이는 것이 필요하다.Therefore, it is necessary to enhance the performance and reliability of the integrated sensor system by complementarily fusing the two sensors.

하지만, 통합 센서 시스템은 일반적으로 두 센서에서 모두 물체가 검출된 경우에만 물체 검출로 판단하고 하나의 센서에서 물체 검출이 되지 않은 경우에는 미검출로 판단하고 검출된 정보를 버리는 방법을 사용하고 있어, 물체 검출이 된 경우의 신뢰성은 높여주는 반면 물체 검출율은 오히려 낮출수 있다.However, in the integrated sensor system, in general, both of the sensors detect an object only when the object is detected, and when one object does not detect the object, it is determined that the object is not detected and the detected information is discarded, The reliability of the object detection is increased, but the object detection rate can be lowered.

최근 들어, 통합 센서 시스템을 적용하여, 물체 검출에 대한 정확도 및 검출율을 높이기 위한 연구가 진행 중에 있다.In recent years, research is underway to increase the accuracy and detection rate for object detection by applying an integrated sensor system.

본 발명의 목적은, 차량의 진행방향에 위치한 전방차량에 대한 검출 정확도 및 검출율을 높이기 용이한 자동차의 통합센서 시스템을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an integrated sensor system for an automobile which is easy to increase detection accuracy and detection rate for a forward vehicle located in the traveling direction of the vehicle.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 진행방향에 위치한 제1 전방차량을 감지하여, 라이다 데이터를 생성하는 라이다 센서모듈, 상기 차량의 진행방향에 위치한 제2 전방차량을 포함하는 영상 데이터를 생성하는 카메라 센서모듈 및 상기 라이다 데이터 및 상기 영상 데이터를 설정된 센서퓨전 알고리즘을 적용하여 통합 데이터를 생성하고, 상기 통합 데이터를 기반으로 상기 제1, 2 전방차량을 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 차량인식모듈을 포함한다.An integrated sensor system of a vehicle according to the present invention includes a Lada sensor module for sensing a first front vehicle located in a traveling direction of a vehicle and generating Lada data, and a second front vehicle positioned in a traveling direction of the vehicle A camera sensor module for generating image data, generating integrated data by applying the LIDAR data and the sensor fusion algorithm set for the image data, detecting the first and second front vehicles as the same vehicle based on the integrated data, Or a vehicle recognition module for detecting and recognizing only the first front vehicle.

여기서, 상기 라이다 센서모듈은, 상기 제1 전방차량으로 제1 신호를 송신하는 송신부, 상기 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부 및 상기 제1, 2 신호를 기반으로 상기 제1 전방차량의 거리정보를 포함하는 상기 라이다 데이터를 생성하는 센서제어부를 포함한다.The LIDAR sensor module includes a transmitter for transmitting a first signal to the first front vehicle, a receiver for receiving a second signal reflected from the first front vehicle, and a receiver for receiving the second signal reflected from the first front vehicle, And a sensor control unit for generating the LIDAR data including the distance information of the first preceding vehicle.

또한, 상기 센서제어부는, 상기 제1 신호 송신후 상기 제2 신호가 수신되는 소요시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량의 거리정보를 산출하여, 상기 라이다 데이터를 생성한다.The sensor control unit may calculate the distance information of the first preceding vehicle according to the time required for receiving the second signal and the signal size of the second signal after transmitting the first signal, do.

여기서, 상기 차량인식모듈은, 상기 라이다 데이터 및 상기 영상 데이터를 시간 순서로 정렬하여, 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 설정된 영상 좌표계에 따라 상기 제1 전방차량의 위치좌표를 산출하는 좌표 산출부, 상기 제1 전방차량의 위치좌표와 상기 영상에 포함된 상기 제2 전방차량의 위치좌표가 매칭되는지 판단하는 위치 매칭부 및 상기 제1, 2 전방차량의 위치 좌표가 서로 매칭되면 상기 동일 차량으로 판단하여 상기 동일 차량으로 검출인식하고, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제1 전방차량만 검출인식하는 차량 인식부를 포함한다.Here, the vehicle recognition module arranges the LIDAR data and the image data in chronological order, and sets the distance information of the first front vehicle included in the LIDAR data to the distance information of the first front vehicle A position matching unit for determining whether the position coordinates of the first front vehicle and the second front vehicle included in the image are matched and a position matching unit for determining the position coordinates of the first and second front vehicles If the position coordinates of the first and second front vehicles do not match, the vehicle recognition unit recognizes only the first front vehicle and recognizes the first front vehicle if the position coordinates of the first and second preceding vehicles do not match.

상기 제1, 2 전방차량의 위치 좌표는, 상기 제1, 2 전방차량 각각의 중심 좌표이다.The position coordinates of the first and second front vehicles are center coordinates of the first and second front vehicles.

상기 차량 인식부는, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제2 전방차량을 미검출 인식한다.The vehicle recognizing unit recognizes that the second preceding vehicle is not detected if the position coordinates of the first and second preceding vehicles do not match.

상기 차량인식모듈은, 상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 경우, 충돌 경고 또는 속도를 제어한다.The vehicle recognition module controls the collision warning or the speed when detecting the first and second front vehicles as the same vehicle or recognizing only the first front vehicle.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 진행방향에 위치한 전방차량을 라이다 센서모듈 및 카메라 센서모듈에서 감지한 데이터를 통합하여, 전방차량에 대한 검출 인식에 대한 정확도 및 검출율을 높일 수 있는 이점이 있다.The integrated sensor system of the automobile according to the present invention integrates data detected by the Lada sensor module and the camera sensor module in the front vehicle located in the traveling direction of the vehicle to increase the accuracy and detection rate for detection recognition for the front vehicle There is an advantage to be able to.

또한, 본 발명에 따른 자동차의 통합센서 시스템은, 라이다 센서모듈에서 감지한 전방차량과 카메라 센서모듈에서 감지한 전방차량이 서로 매칭되지 않으면, 라이다 센서모듈에서 감지한 전방차량만을 검출 인식하도록 함으로써, 검출 인식에 대한 정확도를 높일 수 있는 이점이 있다.In addition, the integrated sensor system of the vehicle according to the present invention can detect and recognize only the front vehicle detected by the Raida sensor module if the front vehicle detected by the Raida sensor module and the front vehicle detected by the camera sensor module do not match each other Thus, there is an advantage that accuracy in detection recognition can be increased.

도 1은 본 발명에 따른 자동차의 통합센서 시스템을 나타낸 시스템도이다.
도 2는 도 1에 나타낸 자동차의 통합센서 시스템에 대한 제어 구성을 나타낸 제어블록도이다.
도 3은 도 2에 나타낸 차량인식모듈에서 전방차량의 검출여부를 확인하기 위해 설정된 표이다.1 is a system diagram showing an integrated sensor system of a vehicle according to the present invention.
Fig. 2 is a control block diagram showing a control configuration for the integrated sensor system of the automobile shown in Fig. 1. Fig.
FIG. 3 is a table for confirming whether or not a vehicle ahead is detected in the vehicle recognition module shown in FIG. 2. FIG.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 발광소자를 이루는 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.Further, the angles and directions mentioned in the course of describing the structure of the present invention are based on those described in the drawings. In the description of the structure of the light emitting device in the specification, reference points and positional relationship with respect to angles are not explicitly referred to, refer to the related drawings.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에 대한 인식범위를 나타낸 시스템도 및 도 2는 도 1에 나타낸 자동차의 통합센서 시스템에 대한 제어 구성을 나타낸 제어블록도이다.FIG. 1 is a system diagram showing a recognition range for an integrated sensor system of an automobile according to the present invention, and FIG. 2 is a control block diagram showing a control system for an integrated sensor system of the automobile shown in FIG.

도 1 및 도 2를 참조하면, 자동차의 통합센서 시스템은 차량의 중앙부, 즉 윈드쉴드(windshield)에 장착되며, 차량의 진행방향을 위치한 장애물 및 전방차량을 감지할 수 있다.Referring to FIGS. 1 and 2, an integrated sensor system of an automobile is installed in a central portion of a vehicle, that is, a windshield, and can detect an obstacle and a forward vehicle in which a traveling direction of the vehicle is located.

실시 예에서, 통합센서 시스템은 라이다 센서모듈(110), 카메라 센서모듈(120) 및 차량인식모듈(130)을 포함할 수 있다.In an embodiment, the integrated sensor system may include a lidar sensor module 110, a camera sensor module 120, and a vehicle recognition module 130.

여기서, 라이다 센서모듈(110) 및 카메라 센서모듈(120)은 별도의 센서모듈인 것으로 나타내고 설명하지만, 하나의 통합센서 모듈로 구현될 수 있으며, 이에 한정을 두지 않는다.Here, the LIDAR sensor module 110 and the camera sensor module 120 are illustrated as being separate sensor modules, but they may be implemented as one integrated sensor module, but are not limited thereto.

도 1(a)는 통합센서 시스템에 대하여 상면 또는 평면으로 감지하는 범위를 나타낸 것이며, 도 1(b)는 통합센서 시스템에서 차량의 측면으로 감지하는 범위를 나타낸 것이다.FIG. 1 (a) shows the sensing range of the integrated sensor system on the upper surface or the plane, and FIG. 1 (b) shows the sensing range on the side of the vehicle in the integrated sensor system.

도 1(a) 및 도 1(b)에 나타낸 바와 같이, 통합센서 시스템은 차량의 전방방향으로 라이다 센서모듈(110)의 제1, 2 범위(①, ②)에 위치한 장애물 또는 전방차량을 검출할 수 있으며, 카메라모듈(120)의 제2, 3 범위(②, ③)에 위치한 장애물 또는 전방차량을 검출할 수 있다.As shown in Figs. 1 (a) and 1 (b), the integrated sensor system includes an obstacle located in the first and second ranges (1, 2) of the LIDAR sensor module 110 in the front direction of the vehicle, And can detect obstacles or forward vehicles located in the second and third ranges (②, ③) of the camera module 120.

여기서, 카메라모듈(120)은 카메라 센서 또는 렌즈의 촛점거리 이내에 해당되는 제1 범위(①)에서 장애물 또는 전방차량을 감지할 수 없다.Here, the camera module 120 can not detect the obstacle or the forward vehicle in the first range (①) within the focal distance of the camera sensor or the lens.

라이다 센서모듈(110)은 차량의 전면에서 제1 범위(①), 즉 도로 또는 지면 이전까지 감지하는 범위로써, 카메라모듈(120)은 감지하지 않으며, 차량인식모듈(130)은 제1 범위(①)에서 장애물 또는 전방차량을 감지한 라이다 데이터가 입력되면 제1 범위(①)에 장애물 또는 전방차량이 위치한 것으로 검출인식할 수 있다.The camera module 120 does not detect the vehicle sensor module 110 and the vehicle recognition module 130 detects the first range (1) (1), an obstacle or a preceding vehicle can be recognized as being located in the first range (1) when the Lada data for detecting the obstacle or the preceding vehicle is inputted.

이때, 라이다 센서모듈(110)은 제1, 2 범위(①, ②)로 제1 신호를 송신하는 송신부(112), 제1, 2 범위(①, ②)에 위치한 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부(114) 및 상기 제1, 2 신호를 기반으로 상기 제1 전방차량을 검출할 수 있으며, 상기 제1 전방차량 검출시 거리정보를 포함하는 라이다 데이터를 생성하는 센서제어부(116)를 포함할 수 있다.At this time, the RIDAR sensor module 110 includes a transmitter 112 for transmitting a first signal in a first and a second range (① and ②), a reflection unit for receiving a reflection from a first front vehicle located in the first and second ranges (① and ②) And a second front vehicle detecting unit for detecting the first front vehicle based on the first and second signals and generating the LAD data including the distance information when the first front vehicle is detected And a sensor control unit 116.

즉, 센서제어부(116)은 송신부(112)에서 상기 제1 신호 송신 후 수신부(114)에서 상기 제2 신호 수신시까지 소요된 시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량과 상기 차량과의 이격거리, 즉 거리정보를 산출하여 상기 라이다 데이터를 생성할 수 있다.That is, the sensor control unit 116 controls the first front vehicle 100 and the second front vehicle 100 according to the time taken from the transmitting unit 112 to the reception of the second signal from the receiving unit 114 after the first signal transmission and the signal size of the second signal, The LIDAR data can be generated by calculating the distance from the vehicle, that is, the distance information.

카메라 센서모듈(120)은 제2, 3 범위(②, ③)에 위치한 제2 전방차량을 포함하는 영상을 촬영하고, 영상 데이터를 생성할 수 있다.The camera sensor module 120 may capture an image including the second forward vehicle located in the second and third ranges (2, 3), and generate image data.

여기서, 차량인식모듈(130)은 좌표산출부(132), 위치 매칭부(134) 및 차량인식부(136)을 포함할 수 있다.Here, the vehicle recognition module 130 may include a coordinate calculation unit 132, a position matching unit 134, and a vehicle recognition unit 136.

좌표산출부(132)는 상기 라이다 데이터 및 상기 영상 데이터가 입력되면, 상기 라이다 데이터 및 상기 영상 데이터 각각의 입력시간을 시간 동기화시켜, 시간 순서대로 입력되는 데이터들을 정렬할 수 있다.The coordinate calculator 132 may time-synchronize the input times of the Ladar data and the image data, and sort the input data in time order, when the Ladar data and the image data are input.

이후, 좌표산출부(132)는 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 기반으로 설정된 영상좌표계에 따라 변환된 상기 제1 전방차량의 위치좌표를 산출한다.The coordinate calculating unit 132 then calculates the position coordinates of the first front vehicle transformed according to the image coordinate system set based on the distance information of the first preceding vehicle included in the RLayer data.

실시 예에서, 좌표산출부(132)는 상기 영상에 대응하는 상기 영상 좌표계를 적용하여 상기 제1 전방차량의 거리정보에 대응하는 위치좌표를 산출하는 것으로 나타내었으나, 상기 영상 좌표계 외에 다른 좌표계로 상기 제1 전방차량의 위치좌표를 산출할 수 있으며, 이에 한정을 두지 않는다.In the embodiment, the coordinate calculation unit 132 calculates the position coordinates corresponding to the distance information of the first preceding vehicle by applying the image coordinate system corresponding to the image. However, the coordinate calculation unit 132 may calculate the position coordinates The position coordinates of the first front vehicle can be calculated, but the present invention is not limited thereto.

위치 매칭부(134)는 상기 제1 전방차량의 위치좌표를 상기 영상 데이터에 포함된 상기 제2 전방차량의 위치좌표와 설정된 오차범위 내에서 서로 매칭되는지 판단한다.The position matching unit 134 determines whether the position coordinates of the first front vehicle match with the position coordinates of the second front vehicle included in the image data within a predetermined error range.

또한, 위치 매칭부(134)는 상기 제1 전방차량의 위치좌표를 상기 영상 데이터로 구현된 상기 영상에 오버랩시켜, 오버랩된 위치가 상기 영상에 포함된 상기 제2 전방차량에 위치하는지 확인하여 매칭여부를 판단할 수 있으며, 이에 한정을 두지 않는다.In addition, the position matching unit 134 overlaps the position coordinates of the first front vehicle with the image implemented by the image data to check whether the overlapped position is located in the second front vehicle included in the image, , But is not limited thereto.

차량인식부(136)는 위치 매칭부(134)로부터 상기 제1, 2 전방차량의 위치좌표가 서로 매칭되는 경우, 상기 제1, 2 전방차량이 동일 차량으로 판단하여, 상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식할 수 있다.When the position coordinates of the first and second preceding vehicles match each other from the position matching unit 134, the vehicle recognizing unit 136 determines that the first and second preceding vehicles are the same vehicle, The vehicle can be detected and recognized as the same vehicle.

또한, 차량인식부(136)는 위치 매칭부(134)로부터 상기 제1, 2 전방차량의 위치좌표가 서로 매칭되지 않으면, 상기 제1 전방차량만을 검출인식할 수 있으며, 상기 제2 전방차량을 미검출인식할 수 있다.If the position coordinates of the first and second preceding vehicles do not match each other from the position matching unit 134, the vehicle recognizing unit 136 can detect and recognize only the first preceding vehicle, It can be recognized and detected.

도 3은 도 2에 나타낸 차량인식모듈에서 전방차량의 검출여부를 확인하기 위해 설정된 표이다.FIG. 3 is a table for confirming whether or not a vehicle ahead is detected in the vehicle recognition module shown in FIG. 2. FIG.

도 3을 참조하면, 차량인식모듈(130)은 라이다 센서모듈(110)에서 입력된 라이다 데이터를 기반으로 제1 전방차량의 영상좌표 및 카메라 센서모듈(120)에서 입력된 영상 데이터를 기반으로 제2 전방차량의 영상좌표가 서로 매칭되는지 판단한다.Referring to FIG. 3, the vehicle recognition module 130 receives image coordinates of the first forward vehicle and image data input from the camera sensor module 120 based on the Lydia data input from the Lydia sensor module 110, It is determined whether the image coordinates of the second preceding vehicle match each other.

이때, 도 3에 나타낸 바와 같이, 차량인식모듈(130)은 제1 내지 제3 범위(①, ②, ③) 내에서 라이다 센서모듈(110)에서 전달된 상기 라이다 데이터에 제1, 2 범위(①, ②)에서 제1 전방차량이 검출되고, 카메라 센서모듈(120)에서 전달된 상기 영상 데이터에 제2, 3 범위(②, ③)에서 제2 전방차량이 검출됨을 알 수 있다.As shown in FIG. 3, the vehicle recognition module 130 recognizes the first and second (first, second, and third) ranges of the LIDAR data transmitted from the LIDAR sensor module 110 in the first to third ranges It can be seen that the first front vehicle is detected in the range (1, 2), and the second forward vehicle is detected in the second, third range (2, 3) to the image data transmitted from the camera sensor module 120.

이때, 차량인식모듈(130)은 제1 범위(①) 내에 라이다 센서모듈(110)에서 검출된 제1 전방차량을 검출인식하고, 제2 범위(②) 내에 라이다 센서모듈(110) 및 카메라 센서모듈(120) 각각에서 검출된 제1, 2 전방차량을 동일 차량으로 검출인식한다.At this time, the vehicle recognition module 130 detects and recognizes the first front vehicle detected by the RI sensor module 110 in the first range (1), and detects the first front vehicle detected by the RI sensor module 110 and And detects the first and second preceding vehicles detected by the respective camera sensor modules 120 as the same vehicle.

차량인식모듈(130)은 제3 범위(③) 내에 카메라 센서모듈(120)에서 검출한 제2 전방차량을 미검출인식한다.The vehicle recognition module 130 detects and recognizes the second preceding vehicle detected by the camera sensor module 120 in the third range (3).

본 발명에 따른 자동차의 통합센서 시스템은 라이다 센서모듈(110) 및 카메라 센서모듈(120)에서 동일한 범위 내에 존재하는 장애물 또는 전방차량을 검출하는 경우 및 라이다 센서모듈(110)에서 검출한 장애물 또는 전방차량 만을 검출인식하도록 함으로써, 검출 정확성 및 오검출을 낮출 수 있는 이점이 있다.The integrated sensor system of the automobile according to the present invention can detect the obstacle or the forward vehicle existing in the same range in the lidar sensor module 110 and the camera sensor module 120 and the obstacle detected in the obstacle detected in the lidar sensor module 110 Or only the front vehicle is detected and recognized, there is an advantage that the detection accuracy and erroneous detection can be lowered.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

Claims (7)

차량의 진행방향에 위치한 제1 전방차량을 감지하여, 라이다 데이터를 생성하는 라이다 센서모듈;
상기 차량의 진행방향에 위치한 제2 전방차량을 포함하는 영상 데이터를 생성하는 카메라 센서모듈; 및
상기 라이다 데이터 및 상기 영상 데이터를 설정된 센서퓨전 알고리즘을 적용하여 통합 데이터를 생성하고, 상기 통합 데이터를 기반으로 상기 제1, 2 전방차량을 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 차량인식모듈;을 포함하는 자동차의 통합센서 시스템.A LIDAR sensor module for sensing a first front vehicle located in a traveling direction of the vehicle and generating LIDAR data;
A camera sensor module for generating image data including a second forward vehicle located in a traveling direction of the vehicle; And
The integrated data is generated by applying the LIDAR data and the image data to the sensor fusion algorithm, and the first and second front vehicles are detected and recognized as the same vehicle based on the integrated data, or only the first front vehicle And a vehicle recognition module for detecting and recognizing the vehicle. 제 1 항에 있어서,
상기 라이다 센서모듈은,
상기 제1 전방차량으로 제1 신호를 송신하는 송신부;
상기 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부; 및
상기 제1, 2 신호를 기반으로 상기 제1 전방차량의 거리정보를 포함하는 상기 라이다 데이터를 생성하는 센서제어부;를 포함하는 자동차의 통합센서 시스템.The method according to claim 1,
The LIDAR sensor module includes:
A transmitter for transmitting a first signal to the first front vehicle;
A receiver for receiving a second signal reflected from the first front vehicle; And
And a sensor controller for generating the Länder data including distance information of the first front vehicle based on the first and second signals. 제 2 항에 있어서,
상기 센서제어부는,
상기 제1 신호 송신후 상기 제2 신호가 수신되는 소요시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량의 거리정보를 산출하여, 상기 라이다 데이터를 생성하는 자동차의 통합센서 시스템.3. The method of claim 2,
The sensor control unit,
Calculates the distance information of the first front vehicle according to the time required for receiving the second signal and the signal size of the second signal after transmitting the first signal, and generates the Läda data. 제 1 항에 있어서,
상기 차량인식모듈은,
상기 라이다 데이터 및 상기 영상 데이터를 시간 순서로 정렬하여, 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 설정된 영상 좌표계에 따라 상기 제1 전방차량의 위치좌표를 산출하는 좌표 산출부;
상기 제1 전방차량의 위치좌표와 상기 영상에 포함된 상기 제2 전방차량의 위치좌표가 매칭되는지 판단하는 위치 매칭부; 및
상기 제1, 2 전방차량의 위치 좌표가 서로 매칭되면 상기 동일 차량으로 판단하여 상기 동일 차량으로 검출인식하고, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제1 전방차량만 검출인식하는 차량 인식부;를 포함하는 자동차의 통합센서 시스템. The method according to claim 1,
The vehicle recognition module includes:
Calculating a position coordinate of the first front vehicle according to a set image coordinate system by arranging the LIDAR data and the image data in chronological order and setting distance information of the first front vehicle included in the LIDAR data, ;
A position matching unit for determining whether the position coordinates of the first front vehicle and the position coordinates of the second front vehicle included in the image match; And
If the position coordinates of the first and second preceding vehicles are matched with each other, it is determined that the vehicle is the same vehicle and detected and recognized as the same vehicle. If the coordinates of the first and second preceding vehicles do not match, An integrated sensor system for a vehicle. 제 4 항에 있어서,
상기 제1, 2 전방차량의 위치 좌표는,
상기 제1, 2 전방차량 각각의 중심 좌표인 자동차의 통합센서 시스템.5. The method of claim 4,
The position coordinates of the first and second front vehicle
And the center coordinates of the first and second front vehicles, respectively. 제 4 항에 있어서,
상기 차량 인식부는,
상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제2 전방차량을 미검출 인식하는 자동차의 통합센서 시스템.5. The method of claim 4,
The vehicle recognizing unit
And if the position coordinates of the first and second front vehicles do not match, the second front vehicle is not detected. 제 1 항에 있어서,
상기 차량인식모듈은,
상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 경우, 충돌 경고 또는 속도를 제어하는 자동차의 통합센서 시스템.The method according to claim 1,
The vehicle recognition module includes:
Wherein the first and second preceding vehicles are detected as the same vehicle or only the first front vehicle is detected and recognized.
KR1020140071711A 2014-06-12 2014-06-12 Intergrated sensor system of the vehicles KR20150142542A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140071711A KR20150142542A (en) 2014-06-12 2014-06-12 Intergrated sensor system of the vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140071711A KR20150142542A (en) 2014-06-12 2014-06-12 Intergrated sensor system of the vehicles

Publications (1)

Publication Number Publication Date
KR20150142542A true KR20150142542A (en) 2015-12-22

Family

ID=55081810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140071711A KR20150142542A (en) 2014-06-12 2014-06-12 Intergrated sensor system of the vehicles

Country Status (1)

Country Link
KR (1) KR20150142542A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system
KR20190060336A (en) * 2017-11-24 2019-06-03 현대자동차주식회사 System and Method for correcting parameter for determining obstacle
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module
KR20190060336A (en) * 2017-11-24 2019-06-03 현대자동차주식회사 System and Method for correcting parameter for determining obstacle
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging

Similar Documents

Publication Publication Date Title
KR102302782B1 (en) System and method for correcting position information
JP6369390B2 (en) Lane junction determination device
KR20160013736A (en) Intergrated sensor system of the vehicles
JP6361366B2 (en) Object recognition device
US9809223B2 (en) Driving assistant for vehicles
US9880554B2 (en) Misrecognition determination device
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
US20170053533A1 (en) Object Recognition Apparatus and Vehicle Travel Controller Using Same
KR101787996B1 (en) Apparatus of estimating traffic lane in vehicle, control method of thereof
KR101558786B1 (en) Apparatus and method for recognizing driving lane of vehicle
US10436899B2 (en) Object detection apparatus
US10836388B2 (en) Vehicle control method and apparatus
US8625850B2 (en) Environment recognition device and environment recognition method
GB2484794A (en) Determining a restricted detection range of a sensor of a vehicle
KR20190060341A (en) Radar-camera fusion system and target detecting method using the same
US11150333B2 (en) Object sensing apparatus and object sensing method
KR20150142542A (en) Intergrated sensor system of the vehicles
US20200108832A1 (en) Apparatus and method for controlling reverse driving
KR20150137631A (en) Apparatus for recognizing parking lot and control method thereof
US20180356218A1 (en) Driving assistance system mounted in vehicle
JP2017215214A (en) Moving object detection device, program and record medium
KR20150142543A (en) Intergrated sensor system of the vehicles
CN110888135B (en) Target identification method and device, storage medium and vehicle
KR101704635B1 (en) Method and apparatus for detecting target using radar and image raster data
KR20160131196A (en) Device for detecting an obstacle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application