KR20230132104A

KR20230132104A - Apparatus and method for sensor fault diagnosis using sensor fusion algorithm and sliding mode observer

Info

Publication number: KR20230132104A
Application number: KR1020220029205A
Authority: KR
Inventors: 조하나; 전광기
Original assignee: 한국자동차연구원
Priority date: 2022-03-08
Filing date: 2022-03-08
Publication date: 2023-09-15

Abstract

본 발명은 센서 융합 알고리즘과 슬라이딩 모드 관측기를 이용하여 환경인지 센서 및 내부 센서의 고장을 진단하는 장치와 방법에 관한 것이다. 본 발명에 따른 가속도 센서 고장 진단기는, 환경인지 센서에서 전방 차량과 자차량 간의 상대 가속도 데이터를 수집하는 트랙 데이터 생성 모듈과, GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성하는 데이터 전처리 모듈과, 가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집하고, 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단하는 센서 고장 진단 모듈을 포함한다.The present invention relates to an apparatus and method for diagnosing failures in environmental perception sensors and internal sensors using a sensor fusion algorithm and a sliding mode observer. The acceleration sensor failure diagnosis device according to the present invention includes a track data generation module that collects relative acceleration data between the vehicle ahead and the host vehicle from an environmental recognition sensor, collects speed data of the host vehicle from a GPS sensor, and differentiates the speed data. A data preprocessing module that generates first acceleration data, collects acceleration data (second acceleration data) of the host vehicle from an acceleration sensor, and performs sliding based on the relative acceleration data, the first acceleration data, and the second acceleration data. It includes a sensor failure diagnosis module that determines whether the acceleration sensor is broken using a mode observer.

Description

센서 융합 알고리즘과 슬라이딩 모드 관측기를 이용한 센서 고장 진단 장치 및 방법{APPARATUS AND METHOD FOR SENSOR FAULT DIAGNOSIS USING SENSOR FUSION ALGORITHM AND SLIDING MODE OBSERVER}Sensor failure diagnosis device and method using sensor fusion algorithm and sliding mode observer {APPARATUS AND METHOD FOR SENSOR FAULT DIAGNOSIS USING SENSOR FUSION ALGORITHM AND SLIDING MODE OBSERVER}

본 발명은 센서 융합 알고리즘과 슬라이딩 모드 관측기를 이용하여 환경인지 센서 및 내부 센서의 고장을 진단하는 장치와 방법에 관한 것이다.The present invention relates to an apparatus and method for diagnosing failures in environmental perception sensors and internal sensors using a sensor fusion algorithm and a sliding mode observer.

자율주행 자동차, 초소형 플라잉 카(flying car) 등의 새로운 교통 수단이 개발 또는 도입되고 있다. 이러한 교통 수단은 라이다, 레이더, 초음파 센서 등 다양한 센서를 이용하여 환경을 인지하며, 제어 단계에서는 인지된 환경에 따라 가속도 제어 등이 수행된다. 이러한 과정에서 환경인지 센서나 차량 내부 센서의 고장은 치명적인 사고로 이어질 수 있다. 이미 센서의 신뢰성을 높이기 위한 다양한 고장진단 기술들이 개발되고 있으나, 다른 센서의 데이터를 신뢰할 수 있다는 전제 하에 대상 센서의 고장 여부를 판단하는 것이 일반적이다. 환경 인지 센서나 제어를 위한 차량 내부 센서의 신호만으로 센서 상호 간 고장을 진단하는 경우, 별도의 센서가 추가되지 않아도 된다는 장점이 있으나, 진단을 위한 데이터를 제공하는 특정 센서의 고장에 대하여 강건성을 확보할 수 있는지 여부가 진단 결과의 신뢰성과 관련하여 문제된다.New means of transportation, such as self-driving cars and ultra-small flying cars, are being developed or introduced. These means of transportation perceive the environment using various sensors such as lidar, radar, and ultrasonic sensors, and in the control stage, acceleration control, etc. is performed according to the perceived environment. In this process, failure of environmental sensors or sensors inside the vehicle can lead to a fatal accident. Various fault diagnosis technologies are already being developed to increase the reliability of sensors, but it is common to determine whether a target sensor has failed under the premise that data from other sensors can be trusted. When diagnosing inter-sensor failures using only signals from environmental awareness sensors or internal vehicle sensors for control, there is an advantage in not having to add additional sensors, but ensuring robustness against failures in specific sensors that provide data for diagnosis. Whether or not it can be done is an issue with regard to the reliability of the diagnostic results.

본 발명은 자율주행차, 드론, 플라잉 카 등에서 활용되는 환경인지 센서와 가속도 센서의 고장을 예측하기 위하여, 센서 융합 데이터와 상태 공간 모델식을 이용하여 환경 정보를 예측하고, 예측된 정보를 기반으로 환경인지 센서에 대한 고장을 진단하고, 슬라이딩 모드 관측기를 이용하여 내부 센서에 대한 고장을 진단할 수 있는 센서 고장 진단 장치 및 방법을 제공하는 것을 그 목적으로 한다.The present invention predicts environmental information using sensor fusion data and state space model equations to predict failures of environmental perception sensors and acceleration sensors used in autonomous vehicles, drones, flying cars, etc., and based on the predicted information, The purpose is to provide a sensor failure diagnosis device and method that can diagnose failures in environmental sensors and internal sensors using a sliding mode observer.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가속도 센서 고장 진단기는, 환경인지 센서에서 전방 차량과 자차량 간의 상대 가속도 데이터를 수집하는 트랙 데이터 생성 모듈; GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성하는 데이터 전처리 모듈; 및 가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집하고, 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단하는 센서 고장 진단 모듈;을 포함한다.An acceleration sensor failure diagnosis device according to an embodiment of the present invention for achieving the above object includes a track data generation module that collects relative acceleration data between the front vehicle and the own vehicle from an environmental recognition sensor; a data pre-processing module that collects speed data of the vehicle from a GPS sensor and differentiates the speed data to generate first acceleration data; and collecting acceleration data (second acceleration data) of the own vehicle from an acceleration sensor, and determining whether the acceleration sensor is broken using a sliding mode observer based on the relative acceleration data, the first acceleration data, and the second acceleration data. It includes a sensor failure diagnosis module that determines.

본 발명의 일 실시예에서, 상기 센서 고장 진단 모듈은, 상기 상대 가속도 데이터 및 상기 제1 가속도 데이터를 기초로 상기 전방 차량의 가속도를 산출하고, 상기 산출된 전방 차량의 가속도와 상기 제2 가속도 데이터를 기초로 상기 전방 차량의 상대 가속도를 산출하며, 상기 산출된 상대 가속도를 상기 슬라이딩 모드 관측기에 입력할 수 있다.In one embodiment of the present invention, the sensor failure diagnosis module calculates the acceleration of the preceding vehicle based on the relative acceleration data and the first acceleration data, and the calculated acceleration of the preceding vehicle and the second acceleration data Based on this, the relative acceleration of the vehicle ahead is calculated, and the calculated relative acceleration can be input to the sliding mode observer.

본 발명의 일 실시예에서, 상기 센서 고장 진단 모듈은, 상기 슬라이딩 모드 관측기의 출력값을 기초로 주입 항(injection term)을 계산하고, 상기 주입 항을 소정의 전달함수에 입력하여 출력된 고장 신호를 기초로 상기 가속도 센서의 고장 여부를 판단할 수 있다.In one embodiment of the present invention, the sensor failure diagnosis module calculates an injection term based on the output value of the sliding mode observer, inputs the injection term into a predetermined transfer function, and generates an output failure signal. Based on this, it can be determined whether the acceleration sensor is broken.

그리고, 본 발명의 일 실시예에 따른 GPS 센서 고장 진단기는, 환경인지 센서에서 전방 차량에 관한 센서 데이터를 수집하여 상기 전방 차량에 관한 트랙 데이터를 생성하는 트랙 데이터 생성 모듈; 상기 트랙 데이터를 기초로 상기 전방 차량에 관한 예측 트랙을 생성하는 트랙 예측 모듈; 가속도 센서에서 자차량의 가속도 데이터를 수집하고, 상기 가속도 센서에서 수집한 가속도 데이터를 적분하여 제1 속도 데이터를 생성하는 데이터 전처리 모듈; 및 상기 환경인지 센서에서 자차량과 상기 전방 차량 간의 상대 속도 데이터를 수집하고, 자차량의 GPS 센서에서 자차량의 속도 데이터(제2 속도 데이터)를 수집하며, 상기 상대 속도 데이터, 상기 제1 속도 데이터, 상기 제2 속도 데이터 및 상기 예측 트랙을 기초로 상기 GPS 센서의 고장 여부를 판단하는 센서 고장 진단 모듈;을 포함한다.And, a GPS sensor failure diagnosis device according to an embodiment of the present invention includes a track data generation module that collects sensor data about the vehicle ahead from an environmental recognition sensor and generates track data about the vehicle ahead; a track prediction module that generates a predicted track for the vehicle ahead based on the track data; a data preprocessing module that collects acceleration data of the host vehicle from an acceleration sensor and integrates the acceleration data collected from the acceleration sensor to generate first speed data; and collecting relative speed data between the own vehicle and the preceding vehicle from the environment recognition sensor, and collecting speed data (second speed data) of the own vehicle from the GPS sensor of the own vehicle, wherein the relative speed data and the first speed are collected. It includes a sensor failure diagnosis module that determines whether the GPS sensor is broken based on data, the second speed data, and the predicted track.

본 발명의 일 실시예에서, 상기 센서 고장 진단 모듈은, 상기 상대 속도 데이터와 상기 제1 속도 데이터를 기초로 상기 전방 차량의 속도를 산출하고, 상기 전방 차량의 속도와 상기 제2 속도 데이터를 기초로 상기 전방 차량의 상대 속도를 산출하며, 상기 산출된 전방 차량의 상대 속도와 상기 예측 트랙에 포함된 상기 전방 차량의 예측된 상대 속도를 비교하여 상기 GPS 센서의 고장 여부를 판단할 수 있다.In one embodiment of the present invention, the sensor failure diagnosis module calculates the speed of the preceding vehicle based on the relative speed data and the first speed data, and calculates the speed of the preceding vehicle based on the speed of the preceding vehicle and the second speed data. The relative speed of the preceding vehicle is calculated, and whether the GPS sensor is broken can be determined by comparing the calculated relative speed of the preceding vehicle with the predicted relative speed of the preceding vehicle included in the predicted track.

그리고, 본 발명의 일 실시예에 따른 가속도 센서 고장 진단 방법은, (a) 환경인지 센서에서 자차량과 전방 차량 간 상대 가속도 데이터를 수집하는 단계; (b) GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성하는 단계; 및 (c) 가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집하는 단계; 및 (d) 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단하는 단계;를 포함한다.And, an acceleration sensor failure diagnosis method according to an embodiment of the present invention includes the steps of: (a) collecting relative acceleration data between the own vehicle and the vehicle ahead from an environmental recognition sensor; (b) collecting speed data of the host vehicle from a GPS sensor and differentiating the speed data to generate first acceleration data; and (c) collecting acceleration data (second acceleration data) of the host vehicle from an acceleration sensor; and (d) determining whether the acceleration sensor is broken using a sliding mode observer based on the relative acceleration data, the first acceleration data, and the second acceleration data.

본 발명의 일 실시예에서, 상기 (d) 단계는, 상기 상대 가속도 데이터 및 상기 제1 가속도 데이터를 기초로 상기 전방 차량의 가속도를 산출하고, 상기 산출된 전방 차량의 가속도와 상기 제2 가속도 데이터를 기초로 상기 전방 차량의 상대 가속도를 산출하며, 상기 산출된 상대 가속도를 상기 슬라이딩 모드 관측기에 입력하는 것일 수 있다.In one embodiment of the present invention, step (d) calculates the acceleration of the preceding vehicle based on the relative acceleration data and the first acceleration data, and calculates the acceleration of the preceding vehicle and the second acceleration data. The relative acceleration of the vehicle ahead may be calculated based on , and the calculated relative acceleration may be input to the sliding mode observer.

본 발명의 일 실시예에서, 상기 (d) 단계는, 상기 슬라이딩 모드 관측기의 출력값을 기초로 주입 항(injection term)을 계산하고, 상기 주입 항을 소정의 전달함수에 입력하여 출력된 고장 신호를 기초로 상기 가속도 센서의 고장 여부를 판단하는 것일 수 있다.In one embodiment of the present invention, step (d) calculates an injection term based on the output value of the sliding mode observer, inputs the injection term into a predetermined transfer function, and outputs a fault signal. Based on this, it may be determined whether the acceleration sensor is broken.

본 발명을 통해, 자율주행차, 드론, 플라잉카 등에서 활용하는 환경인지 센서의 고장을 예측 가능하여 불필요한 센서 측정 데이터를 소거해 센서 융합 정확도를 높일 수 있다는 효과가 있다.Through the present invention, it is possible to predict failures in environmental perception sensors used in self-driving cars, drones, flying cars, etc., thereby eliminating unnecessary sensor measurement data and improving sensor fusion accuracy.

본 발명을 통해, 전방 물체에 대한 센싱 정확도를 높여 충돌 방지, 회피 등의 시스템의 정확성을 향상시킬 수 있다는 효과가 있다.The present invention has the effect of improving the accuracy of systems such as collision prevention and avoidance by increasing the sensing accuracy of objects in front.

본 발명을 통해, 별도의 평가 장비 없이 환경인지 센서 및 내부 센서의 고장 여부를 확인할 수 있다는 효과가 있다.Through the present invention, there is an effect that it is possible to check whether the environmental recognition sensor and the internal sensor are broken without separate evaluation equipment.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 발명의 일 실시예에 따른 센서 고장 진단기의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 센서 고장 진단기의 동작을 설명하기 위한 참고도.
도 3a는 상태 공간 모델과 상태 공간 모델을 이용하여 복수의 예측 트랙을 산출하는 과정을 나타낸 도면.
도 3b는 상태 공간 모델을 이용하여 산출한 복수의 예측 트랙과 트랙 데이터 간의 마할라노비스 거리를 나타낸 도면.
도 4는 최대 예측 트랙 및 최소 예측 트랙을 기준으로 정상 범위를 설정한 모습을 나타낸 도면.
도 5는 환경인지 센서가 모두 정상인 경우의 센서 데이터 포인트를 나타낸 도면.
도 6은 비전 센서가 고장인 경우의 센서 데이터 포인트를 나타낸 도면.
도 7은 레이더 센서가 고장인 경우의 센서 데이터 포인트를 나타낸 도면.
도 8은 센서 데이터의 게이트 통과 횟수를 기반으로 비전 센서의 고장을 확정하는 과정을 설명하기 위한 도면.
도 9는 GPS 센서에서 수집된 속도 데이터와 트랙 데이터 중 상대 가속도 데이터를 이용하여 전방 물체의 가속도를 추정하는 과정을 나타낸 도면.
도 10은 슬라이딩 모드 관측기의 구성과 그 수학적 모델을 나타낸 도면.
도 11 및 도 12는 고장이 발생한 시스템에 관한 슬라이딩 모드 관측기의 수학적 모델을 나타낸 도면.
도 13은 본 발명의 일 실시예에 따른 가속도 센서 고장 진단 방법을 설명하기 위한 도면.1 is a block diagram showing the configuration of a sensor failure diagnostic device according to an embodiment of the present invention.
Figure 2 is a reference diagram for explaining the operation of a sensor failure diagnosis device according to an embodiment of the present invention.
Figure 3a is a diagram showing a process for calculating a plurality of prediction tracks using a state space model and a state space model.
Figure 3b is a diagram showing the Mahalanobis distance between a plurality of predicted tracks and track data calculated using a state space model.
Figure 4 is a diagram showing a normal range set based on the maximum prediction track and minimum prediction track.
Figure 5 is a diagram showing sensor data points when all environmental sensors are normal.
Figure 6 is a diagram showing sensor data points when the vision sensor fails.
Figure 7 is a diagram showing sensor data points when a radar sensor fails.
FIG. 8 is a diagram illustrating a process for determining a failure of a vision sensor based on the number of times sensor data passes through a gate.
Figure 9 is a diagram showing the process of estimating the acceleration of a front object using relative acceleration data among the speed data and track data collected from the GPS sensor.
Figure 10 is a diagram showing the configuration of a sliding mode observer and its mathematical model.
11 and 12 are diagrams showing a mathematical model of a sliding mode observer for a failed system.
Figure 13 is a diagram for explaining a method for diagnosing an acceleration sensor failure according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The present embodiments only serve to ensure that the disclosure of the present invention is complete and that common knowledge in the technical field to which the present invention pertains is not limited. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Meanwhile, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” means that a referenced element, step, operation and/or element precludes the presence of one or more other elements, steps, operations and/or elements. or does not rule out addition.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate overall understanding in describing the present invention, the same reference numbers will be used for the same means regardless of the drawing numbers.

도 1은 본 발명의 일 실시예에 따른 센서 고장 진단기(100)의 구성을 나타낸 블록도이다.Figure 1 is a block diagram showing the configuration of a sensor failure diagnosis device 100 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 센서 고장 진단기(100)는 트랙 데이터 생성 모듈(110), 트랙 예측 모듈(120), 데이터 전처리 모듈(130) 및 센서 고장 진단 모듈(140)을 포함한다. 도 1에 도시된 센서 고장 진단기(100)는 일 실시예에 따른 것이고, 본 발명에 따른 센서 고장 진단기(100)의 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.The sensor failure diagnosis device 100 according to an embodiment of the present invention includes a track data generation module 110, a track prediction module 120, a data preprocessing module 130, and a sensor failure diagnosis module 140. The sensor failure diagnosis device 100 shown in FIG. 1 is according to one embodiment, and the components of the sensor failure diagnosis device 100 according to the present invention are not limited to the embodiment shown in FIG. 1, and may be added as needed. , may be changed or deleted.

트랙 데이터 생성 모듈(110)은 환경인지 센서에서 센서 데이터를 수집하여 객체에 관한 트랙 데이터를 생성한다. 환경인지 센서가 복수 개의 센서로 구성된 경우, 트랙 데이터 생성 모듈(110)은 센서 데이터를 융합하여 트랙 데이터를 생성할 수 있다. 이때 트랙 데이터 생성 모듈(110)은 GNN(Global Nearest Neighbor) 기법을 이용하여 트랙 데이터를 산출할 수 있다.The track data generation module 110 collects sensor data from an environmental recognition sensor and generates track data about an object. When the environmental recognition sensor consists of a plurality of sensors, the track data generation module 110 may fuse the sensor data to generate track data. At this time, the track data generation module 110 may calculate track data using the Global Nearest Neighbor (GNN) technique.

트랙 데이터 생성 모듈(110)은 생성한 트랙 데이터를 센서 고장 진단기(100)의 내부 저장소에 저장하거나, 트랙 예측 모듈(120)이나 센서 고장 진단 모듈(140)에 제공할 수 있다.The track data generation module 110 may store the generated track data in the internal storage of the sensor failure diagnosis device 100 or provide it to the track prediction module 120 or the sensor failure diagnosis module 140.

환경인지 센서는 객체에 관한 데이터를 생성하는데, 여기서 객체는 장애물이나 이동물체 등일 수 있다. 환경인지 센서가 자율주행 장치에 탑재되는 경우, 객체는 전방 차량(선행 차량)이나 비행체 등이 될 수 있다. 환경인지 센서는 비전(vision) 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서 등을 포함할 수 있다. 비전 센서는 감지 영역에 이미지를 생성하고 처리하는 센서이고, 레이더 센서는 물체까지의 거리(상대 거리), 상대 속도를 측정하는 센서로, 비전 센서와 레이더 센서를 포함하는 자율주행장치는 비전 센서 및 레이더 센서의 융합 데이터를 자율주행에 이용할 수 있다. 환경인지 센서가 센싱하는 객체 정보는 자율주행 자동차 또는 플라잉 카 등(이하 '자차량'으로 약칭)과 객체 간의 상대 거리, 상대 속도 및 상대 가속도 중 적어도 어느 하나를 포함할 수 있다.Environmental awareness sensors generate data about objects, where the objects may be obstacles or moving objects. When an environmental recognition sensor is mounted on an autonomous driving device, the object may be a vehicle in front (leading vehicle) or an aircraft. Environmental awareness sensors may include vision sensors, RADAR sensors, LiDAR sensors, etc. A vision sensor is a sensor that generates and processes images in the detection area, and a radar sensor is a sensor that measures the distance to an object (relative distance) and relative speed. Autonomous driving devices that include vision sensors and radar sensors are equipped with vision sensors and radar sensors. Fusion data from radar sensors can be used for autonomous driving. The object information sensed by the environmental recognition sensor may include at least one of the relative distance, relative speed, and relative acceleration between an autonomous vehicle or a flying car (hereinafter abbreviated as 'self-vehicle') and the object.

트랙 데이터 생성 모듈(110)은 비전 센서 데이터와 레이더 센서 데이터의 융합 데이터를 이용하여 객체와의 상대 거리 데이터, 상대 속도 데이터, 및 상대 가속도 데이터를 생성하거나, 하나의 환경인지 센서에서 자차량과 객체 간의 상대 거리 데이터, 상대 속도 데이터, 및 상대 가속도 데이터를 수집할 수도 있다.The track data generation module 110 generates relative distance data, relative speed data, and relative acceleration data with an object using fusion data of vision sensor data and radar sensor data, or generates relative distance data, relative speed data, and relative acceleration data from one environment recognition sensor. Relative distance data, relative velocity data, and relative acceleration data may be collected.

트랙 예측 모듈(120)은 특정한 시점을 기준으로 그 이전 시점의 트랙 데이터에서 상기 특정한 시점 이후 시점에 대한 트랙을 예측할 수 있다. 본 발명에서는 특정한 시점의 트랙 데이터(트랙 데이터 생성 모듈(110)에서 생성한 트랙 데이터를 의미함)를 기초로 상기 특정한 시점 이후 시점에 대하여 예측된 트랙을 예측 트랙(predicted track)으로 칭한다. 트랙 예측 모듈(120)은 트랙 데이터를 기초로 예측 트랙을 생성하며, 예측 트랙을 센서 고장 진단 모듈(140)에 제공한다.The track prediction module 120 can predict a track for a time point after a specific point in time based on track data at a previous point in time. In the present invention, a track predicted for a time point after a specific point in time based on track data (meaning track data generated by the track data generation module 110) at a specific point in time is called a predicted track. The track prediction module 120 generates a prediction track based on track data and provides the prediction track to the sensor failure diagnosis module 140.

데이터 전처리 모듈(130)은 센서 데이터를 전처리하여 센서 고장 진단 모듈(140)에 전달한다. 즉, 데이터 전처리 모듈(130)은 전처리된 센서 데이터를 센서 고장 진단 모듈(140)에 전달한다. 예를 들어, 데이터 전처리 모듈(130)은 GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 가속도 데이터를 생성한 후, 생성된 가속도 데이터를 센서 고장 진단 모듈(140)에 전달할 수 있으며, 내부 센서인 가속도 센서에서 자차량의 가속도 데이터를 수집하고, 상기 가속도 센서에서 수집한 가속도 데이터를 적분하여 속도 데이터를 생성한 후, 생성된 속도 데이터를 센서 고장 진단 모듈(140)에 전달할 수 있다.The data preprocessing module 130 preprocesses sensor data and transmits it to the sensor failure diagnosis module 140. That is, the data pre-processing module 130 transmits the pre-processed sensor data to the sensor failure diagnosis module 140. For example, the data pre-processing module 130 collects speed data of the own vehicle from a GPS sensor, differentiates the speed data to generate acceleration data, and then transmits the generated acceleration data to the sensor failure diagnosis module 140. It is possible to collect acceleration data of the own vehicle from an acceleration sensor, which is an internal sensor, integrate the acceleration data collected from the acceleration sensor to generate speed data, and then transmit the generated speed data to the sensor failure diagnosis module 140. You can.

센서 고장 진단 모듈(140)은 센서 데이터와 전처리된 센서 데이터를 기초로 센서의 고장 여부를 판단한다. 센서 고장 진단 모듈(140)은 현재 시점에 대한 예측 트랙과 현재의 객체 정보(환경인지 센서의 센서 데이터, 예를 들어 c(상대 거리), v_rel(상대 속도), a_rel(상대 가속도))를 비교하여 환경인지 센서의 고장 여부를 판단한다. The sensor failure diagnosis module 140 determines whether the sensor is broken based on sensor data and preprocessed sensor data. The sensor failure diagnosis module 140 provides a prediction track for the current time and current object information (sensor data from an environmental recognition sensor, e.g., c (relative distance), v _rel (relative speed), a _rel (relative acceleration)). Compare to determine whether the environment or sensor is broken.

또한 센서 고장 진단 모듈(140)은 GPS 센서에서 수집한 자차량의 속도 데이터와, 데이터 전처리 모듈(130)이 가속도 센서의 가속도 데이터를 적분하여 생성한 속도 데이터를 기초로 GPS 센서의 고장 여부를 판단할 수 있다. In addition, the sensor failure diagnosis module 140 determines whether the GPS sensor is broken based on the speed data of the own vehicle collected from the GPS sensor and the speed data generated by integrating the acceleration data of the acceleration sensor by the data pre-processing module 130. can do.

또한 센서 고장 진단 모듈(140)은 내부 센서인 가속도 센서에서 수집한 자차량의 가속도 데이터, 데이터 전처리 모듈(130)이 GPS 센서의 속도 데이터를 미분하여 생성한 가속도 데이터 및 트랙 데이터 생성 모듈(110)에서 전달받은 상대 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단할 수 있다. 다만, 센서 고장 진단 모듈(140)은 상기 상대 가속도 데이터를 환경인지 센서에서 직접적으로 수신할 수도 있다.In addition, the sensor failure diagnosis module 140 includes acceleration data of the own vehicle collected from an acceleration sensor, which is an internal sensor, acceleration data generated by the data preprocessing module 130 by differentiating the speed data of the GPS sensor, and track data generation module 110. Based on the relative acceleration data received from , it can be determined whether the acceleration sensor is broken using a sliding mode observer. However, the sensor failure diagnosis module 140 may directly receive the relative acceleration data from the environmental recognition sensor.

도 2는 본 발명의 일 실시예에 따른 센서 고장 진단기(100)의 동작을 설명하기 위한 참고도이다. 도 2를 참조하여 센서 고장 진단기(100)의 센서 고장 진단 과정을 설명한다.Figure 2 is a reference diagram for explaining the operation of the sensor failure diagnosis device 100 according to an embodiment of the present invention. Referring to FIG. 2, the sensor failure diagnosis process of the sensor failure diagnosis device 100 will be described.

도 2의 실시예에서, 센서 고장 진단기(100)에 데이터를 제공하는 센서는 환경인지 센서(environment sensor), GPS 센서 및 자차량의 내부 센서인 가속도 센서(acceleration sensor) 등이다.In the embodiment of FIG. 2, sensors that provide data to the sensor failure diagnosis device 100 include an environment sensor, a GPS sensor, and an acceleration sensor that is an internal sensor of the vehicle.

환경인지 센서는 비전 센서, 레이더 센서 및 라이다 센서 등으로 구성될 수 있다. 트랙 데이터 생성 모듈(110)은 환경인지 센서에서 객체와의 상대거리(c, clearance), 상대 속도(v_rel), 상대 가속도(a_rel)를 수신한다. 센서 고장 진단기(100)은 환경인지 센서의 고장 여부를 판단하기 위하여, 먼저 트랙 데이터 생성 모듈(110)을 통해 환경인지 센서에서 제공한 데이터를 기초로 객체에 관한 트랙 데이터를 생성한다. 이 경우, 트랙 데이터 생성 모듈(110)은 GNN(Global Nearest Neighbor) 기법을 이용하여 환경인지 센서 데이터를 기초로 트랙 데이터를 산출할 수 있다. GNN 기법은 트랙 데이터 산출을 위한 센서 융합(sensor fusion) 알고리즘으로서, 데이터 학습과 분류에 활용된다. GNN 기법은 이전의 학습된 데이터를 이용하여 새로운 데이터에 대한 가장 가까운 결과값을 도출한다. 여기서, 트랙 데이터(track data)는 시간에 따른 객체의 항적(경로)을 나타낸 데이터로서, 시간에 따른 전방 차량의 상대 데이터(거리, 속도, 가속도)가 포함된다. 센서 고장 진단기(100)는 객체의 트랙 데이터를 자율주행에 이용함과 동시에, 환경인지 센서의 고장여부를 판단하는데 이용할 수 있다.Environmental awareness sensors may consist of vision sensors, radar sensors, and lidar sensors. The track data generation module 110 receives the relative distance (c, clearance), relative speed (v _rel ), and relative acceleration (a _rel ) to the object from the environment recognition sensor. In order to determine whether the environmental recognition sensor has failed, the sensor failure diagnosis device 100 first generates track data about the object based on data provided by the environmental recognition sensor through the track data generation module 110. In this case, the track data generation module 110 may calculate track data based on environmental sensor data using the Global Nearest Neighbor (GNN) technique. The GNN technique is a sensor fusion algorithm for calculating track data and is used for data learning and classification. The GNN technique uses previously learned data to derive the closest result for new data. Here, track data is data showing the trajectory (path) of an object over time, and includes relative data (distance, speed, acceleration) of the vehicle ahead over time. The sensor failure diagnosis device 100 can use the object's track data for autonomous driving and at the same time use it to determine whether an environmental sensor has failed.

트랙 데이터 생성 모듈(110)에서 산출된 트랙 데이터는 센서 고장 진단기(100)의 내부 저장소에 저장될 수 있다. 상기 저장소는 메모리로서, 비휘발성 또는 휘발성 메모리일 수 있다. 상기 저장소는 센서 고장 진단기(100)에서 생성되는 데이터, 센서 고장 진단기(100)가 수집한 센서 데이터를 저장하거나, 센서 고장 진단기(100)에서 수행되는 명령어 또는 프로그램 등을 저장할 수 있다.Track data calculated by the track data generation module 110 may be stored in the internal storage of the sensor failure diagnosis device 100. The storage is memory, which may be non-volatile or volatile memory. The storage may store data generated by the sensor fault diagnostic device 100, sensor data collected by the sensor fault diagnostic device 100, or store commands or programs executed by the sensor fault diagnostic device 100.

트랙 예측 모듈(120)은 상태 공간 모델을 이용하여 이전 시점의 트랙 데이터에 기초하여 현재 시점의 예측 트랙을 생성할 수 있다. 또한, 트랙 예측 모듈(120)은 이전 시점의 트랙 데이터에 기초하여 현재 시점에 대한 복수의 예측 트랙을 생성할 수 있는데, 이는 예측의 정확도를 높이기 위한 것이다. 여기서, 상태 공간 모델(state-space model)은 입력변수, 출력변수 및 상태변수 간의 관계를 미분방정식으로 표현하는 모델이다(도 3a 참조). 트랙 예측 모듈(120)은 수학식 1과 같은 상태 공간 모델을 이용하여 현재 시점에 대한 복수의 트랙을 예측한다.The track prediction module 120 may generate a predicted track at the current time based on track data at a previous time using a state space model. Additionally, the track prediction module 120 may generate a plurality of prediction tracks for the current time based on track data from a previous time, which is intended to increase prediction accuracy. Here, the state-space model is a model that expresses the relationship between input variables, output variables, and state variables by differential equations (see Figure 3a). The track prediction module 120 predicts a plurality of tracks for the current time using a state space model as shown in Equation 1.

수학식 1에서, X_k는 현재 시점(k)의 상태 벡터, X_k-1는 이전 상태 벡터(직전 시점(k-1)의 상태 벡터), A는 상태 행렬(시스템 행렬)이다. 트랙 예측 모듈(120)은 별도의 추가 입력 없이, 이전 상태 벡터 및 상태 행렬을 이용하여 현재 시점의 상태 벡터를 도출한다. 상태 벡터(X_k)는 X축 위치(PosX), Y축 위치(PosY), X축 속도(VelX), Y축 속도(VelY), X축 가속도(AccX), Y축 가속도(AccY)로 나타내고, 상태 행렬(A)은 도 3a에 도시된 바와 같은 행렬을 이용할 수 있다.In Equation ₁ , X _k is the state vector at the current time point (k), The track prediction module 120 derives the current state vector using the previous state vector and state matrix without any additional input. The state vector (X _k ) is expressed as X-axis position (PosX), Y-axis position (PosY), X-axis velocity (VelX), Y-axis velocity (VelY), , the state matrix (A) may use a matrix as shown in FIG. 3A.

트랙 예측 모듈(120)은 직전 상태 벡터뿐만 아니라 그 이전의 상태 벡터들을 이용하여 현재 시점에 대한 복수의 예측 트랙을 생성할 수 있다. 도 3a에 도시된 바와 같이, 트랙 예측 모듈(120)은 k-1 시점의 트랙 데이터(Track_k-1)에 상태행렬 A을 곱하고, k-2 시점의 트랙 데이터(Track_k-2)에 상태행렬의 제곱(A² ₎을 곱하고, k-3 시점의 트랙 데이터(Track_k-3)에 상태행렬의 세제곱(A³ ₎을 곱하여 현재 시점에 대한 복수의 예측 트랙을 생성할 수 있다.The track prediction module 120 may generate a plurality of prediction tracks for the current time using not only the immediately preceding state vector but also previous state vectors. As shown in FIG. 3A, the track prediction module 120 multiplies the track data (Track k-1) at time point _k-1 by the state matrix A, and calculates the state to the track data (Track k-2) at time point _k-2 . A plurality of prediction tracks for the current time can be generated by multiplying the square of the matrix (A ² ₎ and multiplying the track data at time point k-3 (Track _k-3 ⁾ _by the cube of the state matrix (A 3 ).

트랙 예측 모듈(120)은 직전 시점(k-1)의 트랙 데이터를 기초로 직전 시점(k-1)의 오차공분산을 구하고, 직전 시점(k-1)의 오차공분산을 기초로 현재 시점에 대한 각각의 예측 트랙과 직전 시점(k-1)의 트랙 데이터 간의 마할라노비스 거리를 산출한다. 참고로, 마할라노비스 거리(Mahalanobis Distance)는 서로 다른 특징 간의 상관관계의 정도를 나타내는 거리로, 수학식 2에 따라 계산할 수 있다.The track prediction module 120 calculates the error covariance of the previous time point (k-1) based on the track data of the previous time point (k-1), and calculates the error covariance of the previous time point (k-1) based on the error covariance of the previous time point (k-1). The Mahalanobis distance between each predicted track and the track data at the previous time point (k-1) is calculated. For reference, Mahalanobis Distance is a distance that indicates the degree of correlation between different features and can be calculated according to Equation 2.

수학식 2에서, Σ^-1은 공분산 행렬의 역행렬, X와 Y는 마할라노비스 거리의 산출 대상이 되는 두 개의 값을 나타낸다. 예를 들어, X가 직전 시점(k-1)의 트랙 데이터(Track_k-1)이고, Y가 직전 시점(k-1)을 기초로 생성된 현재 시점(k)에 대한 예측 트랙(Predicted Track_k,k-1)인 경우, D(X,Y)는 상기 트랙 데이터와 상기 예측 트랙 간의 마할라노비스 거리이다(도 3b 참조).In Equation 2, Σ ^-1 represents the inverse matrix of the covariance matrix, and X and Y represent the two values for which the Mahalanobis distance is calculated. _For example, _k,k-1 ), D(X,Y) is the Mahalanobis distance between the track data and the predicted track (see Figure 3b).

트랙 예측 모듈(120)은 직전 시점(k-1)의 트랙 데이터(Track_k-1)와의 마할라노비스 거리가 소정의 허용 범위 이내인 복수의 예측 트랙 중에서 마할라노비스 거리가 최대인 예측 트랙(Predicted Track_k,max, 이하 '최대 예측 트랙')과 마할라노비스 거리가 최소인 예측 트랙(Predicted Track_k,min, 이하 '최소 예측 트랙')을 도출한다(도 3b 참조). 직전 시점(k-1)의 트랙 데이터(Track_k-1)와 현재 시점에 대한 예측 트랙에 대한 마할라노비스 거리가 과도하게 길 경우, 해당 예측 트랙 은 오차 범위를 벗어나는 예측 데이터일 수 있으므로, 상기 마할라노비스 거리에 대한 허용 범위를 설정하여, 허용 범위 이내인 예측 트랙만 이용한다. 여기서, 마할라노비스 거리에 대한 허용 범위는 사용자에 의해 설정되거나, 적용환경에 따라 달라질 수 있다. 허용 범위 내인 예측 트랙 중 마할라노비스 거리가 최대인 최대 예측 트랙 및 마할라노비스 거리가 최소인 최소 예측 트랙을 도출하여, 센서의 고장여부를 판단하는 예측 트랙으로 이용한다.The track prediction module 120 is a prediction track with the maximum Mahalanobis distance among a plurality of prediction tracks whose Mahalanobis distance with the track data (Track _k-1 ) of the previous time point (k-1) is within a predetermined allowable range ( Predicted Track _k,max , hereinafter referred to as 'maximum predicted track') and a predicted track with the minimum Mahalanobis distance (Predicted Track _k,min , hereinafter referred to as 'minimum predicted track') are derived (see Figure 3b). If the Mahalanobis distance between the track data (Track k-1) of the previous time point ( _k-1 ) and the prediction track for the current time point is excessively long, the corresponding prediction track may be prediction data outside the error range. By setting an acceptable range for the Mahalanobis distance, only prediction tracks that are within the acceptable range are used. Here, the allowable range for the Mahalanobis distance may be set by the user or may vary depending on the application environment. Among the prediction tracks within the allowable range, the maximum prediction track with the maximum Mahalanobis distance and the minimum prediction track with the minimum Mahalanobis distance are derived and used as prediction tracks to determine whether the sensor is broken.

도 3b에 도시한 바와 같이, 예측 트랙 Predicted Track_k,k-3및Predicted Track_k,k-n는 허용 범위를 벗어나므로, 이들을 제외한 예측 트랙 중 마할라노비스 거리가 최대인 예측 트랙(Predicted Track_k,t-1)을 최대 예측 트랙(Predicted Track _k,Max)으로 설정하고, 마할라노비스 거리가 최소인 예측 트랙(Predicted Track_k,t-2)을 최소 예측 트랙(Predicted Track_k,Min)으로 설정할 수 있다.As shown in Figure 3b, the predicted tracks Predicted Track _k,k-3 andSince Predicted Track _k,kn is outside the allowable range, among the predicted tracks excluding these, the predicted track (Predicted Track _k,t-1 ) with the maximum Mahalanobis distance is set as the maximum predicted track (Predicted Track _k,Max ), The predicted track with the minimum Mahalanobis distance (Predicted Track _k,t-2 ) can be set as the minimum predicted track (Predicted Track _k,Min ).

이후, 센서 고장 진단 모듈(140)은 상기 최대 예측 트랙의 오차공분산을 기초로 환경인지 센서가 센싱하는 현재 시점의 객체 데이터와 최대 예측 트랙 간의 제1 마할라노비스 거리를 산출하고, 최소 예측 트랙의 오차공분산을 기초로 환경인지 센서가 센싱하는 현재 시점의 객체 데이터와 최소 예측 트랙 간의 제2 마할라노비스 거리를 산출한다. 그리고, 센서 고장 진단 모듈(140)은 제1 마할라노비스 거리가 소정의 범위(제1 범위)를 벗어나고, 제2 마할라노비스 거리가 소정의 범위(제2 범위)를 벗어나는 경우, 환경인지 센서에 고장이 있다고 판단할 수 있다.Afterwards, the sensor failure diagnosis module 140 calculates the first Mahalanobis distance between the current object data sensed by the environment recognition sensor and the maximum prediction track based on the error covariance of the maximum prediction track, and the minimum prediction track. Based on the error covariance, the second Mahalanobis distance between the current object data sensed by the environmental recognition sensor and the minimum predicted track is calculated. And, when the first Mahalanobis distance is outside a predetermined range (first range) and the second Mahalanobis distance is outside a predetermined range (second range), the sensor failure diagnosis module 140 uses an environmental recognition sensor. It can be determined that there is a malfunction.

도 4는 최대 예측 트랙 및 최소 예측 트랙을 기준으로 정상 범위를 설정한 모습을 나타낸 도면이다. 센서 고장 진단 모듈(140)은 현재 시점의 객체 데이터에 대한 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 정상 범위인지 판단하기 위해 최대 예측 트랙을 기초로 제1 범위를 설정하고, 최소 예측 트랙을 기초로 제2 범위를 설정한다. 예를 들어, 센서 고장 진단 모듈(140)은 최대 예측 트랙(Predicted Track_k,Max)을 중심으로 제1 범위를 설정하고, 최소 예측 트랙(Predicted Track_k,Min)을 중심으로 제2 범위를 설정할 수 있다. 제1 범위 및 제2 범위는 사용자에 의해 설정되거나, 적용환경에 따라 달라질 수 있다. 제1 범위나 제2 범위를 설정함에 있어서, 최대 예측 트랙 및 최소 예측 트랙을 도출 시 활용되는 허용 범위(트랙 데이터와의 거리)와 동일한 범위(거리)가 적용될 수 있다.Figure 4 is a diagram showing a normal range set based on the maximum prediction track and minimum prediction track. The sensor failure diagnosis module 140 sets the first range based on the maximum prediction track to determine whether the first Mahalanobis distance and the second Mahalanobis distance for the object data at the current time are in the normal range, and sets the first range based on the minimum prediction track. The second range is set based on the track. For example, the sensor failure diagnosis module 140 sets the first range around the maximum predicted track (Predicted Track _k,Max ) and sets the second range around the minimum predicted track (Predicted Track _k,Min ). You can. The first range and the second range may be set by the user or may vary depending on the application environment. When setting the first range or the second range, the same range (distance) as the allowable range (distance from track data) used when deriving the maximum prediction track and minimum prediction track can be applied.

센서 고장 진단 모듈(140)은 수학식 2에 따라 최대 예측 트랙의 오차공분산을 기초로 환경인지 센서가 센싱한 현재 시점의 객체 데이터와 최대 예측 트랙 간의 제1 마할라노비스 거리를 산출하고, 최소 예측 트랙의 오차공분산을 기초로 환경인지 센서가 센싱한 현재 시점의 객체 데이터와 최소 예측 트랙 간의 제2 마할라노비스 거리를 산출한다. 센서 고장 진단 모듈(140)은 제1 마할라노비스 거리가 제1 범위를 벗어나고, 제2 마할라노비스 거리가 제2 범위를 벗어나는 경우, 해당 센서에 고장이 있다고 판단할 수 있다. 또한, 센서 고장 진단 모듈(140)은 제1 마할라노비스 거리가 제1 범위 이내이거나, 제2 마할라노비스 거리가 제2 범위 이내인 경우, 해당 센서가 정상 동작한다고 판단할 수 있다. 또한, 센서 고장 진단 모듈(140)은 제1 마할라노비스 거리 또는 제2 마할라노비스 거리 중 하나의 마할라노비스 거리가 제1 범위 또는 제2 범위를 벗어나는 경우에는, 해당 센서가 정상 동작한다고 판단하거나, 정상적으로 동작하고 있지만 고장가능성이 있다고 판단할 수도 있다.The sensor failure diagnosis module 140 calculates the first Mahalanobis distance between the current object data sensed by the environment recognition sensor and the maximum prediction track based on the error covariance of the maximum prediction track according to Equation 2, and the minimum prediction Based on the error covariance of the track, the second Mahalanobis distance between the current object data sensed by the environmental recognition sensor and the minimum predicted track is calculated. When the first Mahalanobis distance is outside the first range and the second Mahalanobis distance is outside the second range, the sensor failure diagnosis module 140 may determine that the corresponding sensor has a failure. Additionally, the sensor failure diagnosis module 140 may determine that the corresponding sensor operates normally when the first Mahalanobis distance is within the first range or the second Mahalanobis distance is within the second range. In addition, the sensor failure diagnosis module 140 determines that the corresponding sensor is operating normally when the Mahalanobis distance of either the first Mahalanobis distance or the second Mahalanobis distance is outside the first range or the second range. Alternatively, it may be judged that there is a possibility of failure even though it is operating normally.

환경인지 센서가 복수의 센서를 포함하는 경우, 센서 고장 진단 모듈(140)은 센서 각각의 고장여부를 판단할 수 있다. 환경인지 센서는 동종의 복수의 센서를 포함할 수도 있고, 이종의 센서를 포함할 수도 있다. 예를 들어, 환경인지 센서가 비전 센서 및 레이더 센서를 포함하는 경우, 센서 고장 진단 모듈(140)은 상기 비전 센서 및 상기 레이터 센서 각각의 고장여부를 판단할 수 있다. 센서 고장 진단 모듈(140)은 각 센서의 데이터(센서 데이터)와 각각의 제1 마할라노비스 거리 및 제2 마할라노비스 거리를 산출하여, 제1 범위 또는 제2 범위 내인지 판단하여, 센서 각각의 고장여부를 판단할 수 있다.When the environmental recognition sensor includes a plurality of sensors, the sensor failure diagnosis module 140 can determine whether each sensor is broken. The environmental recognition sensor may include a plurality of sensors of the same type or may include sensors of different types. For example, when the environmental recognition sensor includes a vision sensor and a radar sensor, the sensor failure diagnosis module 140 may determine whether each of the vision sensor and the radar sensor is broken. The sensor failure diagnosis module 140 calculates the data (sensor data) of each sensor and each first Mahalanobis distance and the second Mahalanobis distance, determines whether it is within the first range or the second range, and determines whether each sensor It is possible to determine whether or not there is a malfunction.

도 5는 환경인지 센서가 모두 정상인 경우의 센서 데이터 포인트를 나타낸 도면이다. 도 5에 도시된 바와 같이, 비전 센서의 데이터(Vision detect)에 대한 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 각각 제1 범위 및 제2 범위 이내인 경우, 센서 고장 진단 모듈(140)은 비전 센서가 정상동작한다고 판단한다. 레이더 센서의 데이터(Radar detect) 역시, 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 각각 제1 범위 및 제2 범위 이내인 바, 센서 고장 진단 모듈(140)은 레이더 센서 또한 정상동작하고 있다고 판단한다.Figure 5 is a diagram showing sensor data points when all environmental sensors are normal. As shown in FIG. 5, when the first Mahalanobis distance and the second Mahalanobis distance for the data (Vision detect) of the vision sensor are within the first range and the second range, respectively, the sensor failure diagnosis module 140 ) determines that the vision sensor is operating normally. Data from the radar sensor (Radar detect) also shows that the first Mahalanobis distance and the second Mahalanobis distance are within the first range and the second range, respectively, so the sensor failure diagnosis module 140 also operates normally. I judge that there is.

도 6은 비전 센서가 고장인 경우의 센서 데이터 포인트를 나타낸 도면이다. 도 6에 도시한 바와 같이, 비전 센서에 대한 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 각각 제1 범위 및 제2 범위를 벗어나는 경우, 센서 고장 진단 모듈(140)은 비전 센서에 고장이 있다고 판단하되, 레이더 센서에 대한 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 각각 제1 범위 및 제2 범위 이내인 바, 레이더 센서는 정상동작한다고 판단할 수 있다. 즉, 센서 고장 진단 모듈(140)은 센서마다 개별적으로 정상동작 여부를 판단할 수 있다.Figure 6 is a diagram showing sensor data points when the vision sensor fails. As shown in FIG. 6, when the first Mahalanobis distance and the second Mahalanobis distance to the vision sensor are outside the first range and the second range, respectively, the sensor failure diagnosis module 140 detects a failure in the vision sensor. However, since the first Mahalanobis distance and the second Mahalanobis distance to the radar sensor are within the first range and the second range, respectively, it can be determined that the radar sensor is operating normally. That is, the sensor failure diagnosis module 140 can individually determine whether each sensor is operating normally.

도 7은 레이더 센서가 고장인 경우의 센서 데이터 포인트를 나타낸 도면이다. 도 7의 경우, 비전 센서에 대한 제1 마할라노비스 거리는 제1 범위를 벗어났으나, 제2 마할라노비스 거리가 제2 범위 이내인 바, 센서 고장 진단 모듈(140)은 비전 센서가 정상동작한다고 판단하고, 레이더 센서에 대한 제1 마할라노비스 거리 및 제2 마할라노비스 거리가 각각 제1 범위 및 제2 범위를 벗어났으므로, 레이더 센서에 고장이 있다고 판단할 수 있다.Figure 7 is a diagram showing sensor data points when a radar sensor fails. In the case of FIG. 7, the first Mahalanobis distance to the vision sensor is outside the first range, but the second Mahalanobis distance is within the second range, so the sensor failure diagnosis module 140 determines that the vision sensor operates normally. Since the first Mahalanobis distance and the second Mahalanobis distance to the radar sensor are outside the first range and the second range, respectively, it can be determined that the radar sensor has a failure.

센서 고장 진단 모듈(140)은 복수의 센서에 대해 각각 고장여부를 판단하고, 특정 센서에 고장이 있다고 판단한 경우, 해당 센서에 대한 고장 플래그(Fault Flag)를 트랙 데이터 생성 모듈(110)에 전달한다. 고장 플래그는 0 또는 1의 값을 가지는데, 특정 센서가 고장일 경우, 해당 센서에 대한 고장 플래그가 1로 설정된다. 트랙 데이터 생성 모듈(110)은 객체에 대한 트랙 데이터를 생성함에 있어서, 고장 플래그(Fault Flag)가 부여된 센서 데이터를 제외할 수 있다. 예를 들어, 트랙 데이터 생성 모듈(110)은 환경인지 센서에서 측정된 센서 데이터를 융합함에 있어서, 센서별 고장 플래그를 기초로 칼만 필터(Kalman Filter)를 계산할 때 활용하는 측정 노이즈 값을 변경하여, 고장이 발생한 센서에 대한 센서 데이터의 노이즈를 높여 정상적인 센서에 대한 의존도를 높일 수 있다. 이를 통해, 트랙 데이터 생성 모듈(110)은 트랙 데이터 생성에 있어서 잘못된 정보를 제외할 수 있고, 객체 정보의 신뢰성을 높일 수 있다. 센서 고장 진단기(100)는 정확하고 신뢰성 높은 객체정보를 이용하여 센서 융합의 정확도를 높일 수 있다. 이를 통해 자율주행에 있어서, 충돌 방지, 회피 등 시스템의 정확성을 향상시킬 수 있다.The sensor failure diagnosis module 140 determines whether each of the plurality of sensors has a failure, and when it determines that a specific sensor has a failure, it transmits a fault flag for the corresponding sensor to the track data generation module 110. . The failure flag has a value of 0 or 1. If a specific sensor fails, the failure flag for that sensor is set to 1. When generating track data for an object, the track data generation module 110 may exclude sensor data to which a fault flag is assigned. For example, when fusing sensor data measured from an environmental recognition sensor, the track data generation module 110 changes the measurement noise value used when calculating a Kalman Filter based on the fault flag for each sensor, By increasing the noise of sensor data for faulty sensors, dependence on normal sensors can be increased. Through this, the track data generation module 110 can exclude incorrect information when generating track data and increase the reliability of object information. The sensor failure diagnosis device 100 can increase the accuracy of sensor fusion by using accurate and reliable object information. Through this, the accuracy of the system, such as collision prevention and avoidance, can be improved in autonomous driving.

센서 고장 진단 모듈(140)은 현재 시점의 예측 트랙 데이터와 환경인지 센서가 센싱하는 현재 시점의 객체 정보가 소정의 범위를 벗어나는 경우, 고장 플래그를 생성하되, 상기 고장 플래그가 소정의 시간 이상 계속되거나, 소정의 시간 이내에 기 설정된 수 이상 생성되는 경우, 비로소 상기 센서부에 고장이 있다고 판단할 수 있다. 일시적인 오류 또는 오작동임에도 해당 센서를 이용하지 않는 경우, 객체에 대한 트랙 데이터의 정확성이 떨어질 수 있는 바, 센서 고장 진단 모듈(140)은 소정의 시간 동안의 결과를 이용하여 고장 여부(Fault_flag__{environment sensor})를 판단할 수 있다. 여기서, 상기 '소정의 시간'은 사용자에 의해 설정되거나, 적용환경에 따라 달라질 수 있다.The sensor failure diagnosis module 140 generates a failure flag when the current prediction track data and the current object information sensed by the environment recognition sensor are outside a predetermined range, and the failure flag continues for more than a predetermined time or , if more than a preset number are generated within a predetermined time, it can be determined that there is a failure in the sensor unit. If the corresponding sensor is not used even if it is a temporary error or malfunction, the accuracy of track data for the object may decrease, and the sensor failure diagnosis module 140 uses the results for a predetermined period of time to determine whether the sensor has failed (Fault_flag_ _{environment sensor} ). can be judged. Here, the 'predetermined time' may be set by the user or may vary depending on the application environment.

도 8은 센서 데이터의 게이트 통과 횟수를 기반으로 비전 센서의 고장을 확정하는 과정을 설명하기 위한 도면이다. 본 발명에서 게이트를 통과한다는 의미는, 최대 예측 트랙과 최소 예측 트랙을 기초로 도출한 제1 범위와 제2 범위에 포함된다는 의미일 수 있다. 다른 예로, 사용자의 설정이나 적용환경에 따라 제1 범위 및 제2 범위 중 어느 하나만이 게이트 통과의 기준이 될 수도 있다.Figure 8 is a diagram for explaining the process of determining a failure of a vision sensor based on the number of times sensor data passes through the gate. In the present invention, passing the gate may mean being included in the first and second ranges derived based on the maximum prediction track and the minimum prediction track. As another example, depending on the user's settings or application environment, only one of the first range and the second range may be the standard for gate passage.

도 8에 도시된 바와 같이, 센서 고장 진단 모듈(140)은 5 주기동안 고장 플래그 여부를 판단하여 센서의 고장 여부를 판단할 수 있다. 본 예시에서, 비전 센서는 5회 동안 3번의 고장 플래그가 생성되었고, 레이더 센서는 1번의 고장 플래그가 생성되었는데, 센서 고장 진단 모듈(140)은 비전 센서를 고장으로 판단(확정)하고, 레이더 센서는 고장이 아닌 것으로 판단할 수 있다. 판단 횟수나 판단 시간은 사용자 또는 적용환경에 따라 달라질 수 있음은 당연하다.As shown in FIG. 8, the sensor failure diagnosis module 140 can determine whether the sensor has failed by determining whether there is a failure flag for 5 cycles. In this example, the vision sensor generated 3 failure flags over 5 times, and the radar sensor generated 1 failure flag. The sensor failure diagnosis module 140 determines (confirms) that the vision sensor is failure, and the radar sensor can be judged not to be a failure. It is natural that the number of judgments or judgment times may vary depending on the user or application environment.

다시 도 2로 돌아와, 센서 고장 진단기(100)의 GPS 센서에 관한 고장 진단 과정을 설명한다. 데이터 전처리 모듈(130)은 가속도 센서에서 자차량의 가속도 데이터(a_s)를 수집하고, 가속도 센서에서 수집한 가속도 데이터(a_s)를 적분하여 속도 데이터(v_s,ACC)를 생성하여 센서 고장 진단 모듈(140)에 전달한다. 센서 고장 진단 모듈(140)은 GPS 센서에서 수집된 자차량의 속도 데이터(v_s,GPS)와 데이터 전처리 모듈(130)이 가속도 센서에서 수집한 가속도 데이터(a_s)를 적분하여 얻은 속도 데이터(v_s,ACC)를 기초로 GPS 센서의 고장 여부(Fault_flag__GPS)를 판단한다.Returning to FIG. 2, the fault diagnosis process for the GPS sensor of the sensor fault diagnosis device 100 will be described. The data _pre _- processing module ₁₃₀ collects acceleration data (as It is transmitted to the diagnostic module 140. The sensor failure diagnosis module 140 integrates the vehicle's speed data (v _{s, GPS} ) collected from the GPS sensor and the acceleration data (a _s ) collected from the acceleration sensor by the data pre-processing module 130. Speed data ( Based on v _s,ACC ), it is determined whether the GPS sensor is broken (Fault_flag_ _GPS ).

또한, 센서 고장 진단 모듈(140)는 환경인지 센서 또는 트랙 데이터 생성 모듈(110)에서 객체에 대한 상대 속도(v_rel)를 수신하여 GPS 센서의 고장 여부 판단에 활용할 수 있다. 예를 들어, 센서 고장 진단 모듈(140)은 가속도 센서에서 수집한 가속도 데이터(a_s)를 적분하여 얻은 속도 데이터(v_s,ACC)에 객체(전방 물체)의 상대 속도(v_rel)에 더하여 객체의 속도(v_p)를 추정할 수 있고, 객체의 속도(v_p)에서 GPS 센서에서 수집된 자차량의 속도 데이터(v_s,GPS)를 차감하여 객체의 상대 속도(v_rel')를 구한 후, 객체의 상대 속도(v_rel')와 트랙 예측 모듈(120)의 예측값(객체의 예측된 상대 속도)과 비교하여 GPS 센서의 고장 여부를 판단할 수 있다.In addition, the sensor failure diagnosis module 140 may receive the relative speed (v _rel ) with respect to the object from the environmental recognition sensor or the track data generation module 110 and use it to determine whether the GPS sensor has failed. For example, the sensor failure diagnosis module 140 adds the relative velocity (v _rel ) of the object (front object) to the velocity data (v _s,ACC ) obtained by integrating the acceleration data (a _s ) collected from the acceleration sensor. The object's speed (v _p ) can be estimated, and the object's relative speed (v _rel ') can be calculated by subtracting the vehicle's speed data (v _{s, GPS} ) collected from the GPS sensor from the object's speed (v _p ). After obtaining the object's relative speed (v _rel ') and the predicted value of the track prediction module 120 (the predicted relative speed of the object), it can be determined whether the GPS sensor is broken.

하기에는, 센서 고장 진단기(100)의 가속도 센서(자차량의 내부 센서)에 관한 고장 진단 과정을 설명한다. 트랙 데이터 생성 모듈(110)은 환경인지 센서에서 자차량과 객체 간 상대 가속도 데이터(a_rel)를 수집하여 센서 고장 진단 모듈(140)에 전달한다. 다만, 자차량과 객체 간 상대 가속도 데이터(a_rel)는 환경인지 센서에서 센서 고장 진단 모듈(140)에 직접 전달될 수도 있다. 그리고, 데이터 전처리 모듈(130)은 GPS 센서에서 자차량의 속도 데이터(v_s)를 수집하고, 상기 속도 데이터를 미분하여 가속도 데이터(a_s,GPS)를 생성하여 센서 고장 진단 모듈(140)에 전달한다. Below, the fault diagnosis process for the acceleration sensor (internal sensor of the own vehicle) of the sensor fault diagnosis device 100 will be described. The track data generation module 110 collects relative acceleration data (a _rel ) between the host vehicle and the object from the environmental recognition sensor and transmits it to the sensor failure diagnosis module 140. However, the relative acceleration data (a _rel ) between the vehicle and the object may be directly transmitted from the environmental recognition sensor to the sensor failure diagnosis module 140. In addition, the data pre-processing module 130 collects the vehicle's speed data (v _s ) from the GPS sensor, differentiates the speed data to generate acceleration data (a _{s, GPS} ), and transmits the data to the sensor failure diagnosis module 140. Deliver.

센서 고장 진단 모듈(140)은 가속도 센서에서 자차량의 가속도 데이터(as,_ACC)를 수집한다. 그리고 센서 고장 진단 모듈(140)은 상대 가속도 데이터(a_rel)와 상기 두 가지의 가속도 데이터(a_s,GPS, a_s,ACC)를 기초로 슬라이딩 모드 관측기(sliding mode observer)를 이용하여 가속도 센서의 고장 여부(Fault flat__{Acc_sensor})를 판단한다. 슬라이딩 모드 관측기를 활용하여 가속도 센서의 고장 여부를 판단하는 과정에 대해서는 도 9 내지 도 11을 참조하여 설명한다.The sensor failure diagnosis module 140 collects acceleration data (as, _ACC ) of the own vehicle from an acceleration sensor. And the sensor failure diagnosis module 140 uses a sliding mode observer based on the relative acceleration data (a _rel ) and the two acceleration data (a _{s, GPS} , a _{s, ACC} ) to detect the acceleration sensor. Determine whether there is a fault (Fault _{flat_Acc_sensor} ). The process of determining whether the acceleration sensor is broken using the sliding mode observer will be described with reference to FIGS. 9 to 11.

도 9는 GPS 센서에서 수집된 속도 데이터와 상대 가속도 데이터를 이용하여 전방 물체의 가속도를 추정하는 과정을 나타낸 도면이다. 본 발명이 자율주행에 적용될 경우, 전방 물체는 전방 차량(선행 차량)이나 전방에 위치한 비행체가 될 수 있다.Figure 9 is a diagram showing the process of estimating the acceleration of a front object using speed data and relative acceleration data collected from a GPS sensor. When the present invention is applied to autonomous driving, the object ahead may be a vehicle in front (leading vehicle) or an aircraft located in front.

센서 고장 진단 모듈(140)은 전방 물체의 상대 가속도(a_rel)를 환경인지 센서에서 직접적으로 수집하거나, 트랙 데이터 생성 모듈(110)을 통하여 수집한다. 그리고, 데이터 전처리 모듈(130)은 GPS 센서에서 자차량의 속도 데이터(v_s)를 수집하고, 상기 속도 데이터를 미분하여 가속도 데이터(a_s,GPS)를 생성하여 센서 고장 진단 모듈(140)에 전달한다. 센서 고장 진단 모듈(140)은 GPS 센서에서 수집한 자차량의 속도 데이터(v_s)를 미분하여 얻은 가속도 데이터(a_s,GPS)에 전방 물체의 상대 가속도(a_rel)을 합산하여 전방 물체의 가속도(a_p)를 추정한다.The sensor failure diagnosis module 140 collects the relative acceleration (a _rel ) of the front object directly from the environment recognition sensor or through the track data generation module 110. In addition, the data pre-processing module 130 collects the vehicle's speed data (v _s ) from the GPS sensor, differentiates the speed data to generate acceleration data (a _{s, GPS} ), and transmits the data to the sensor failure diagnosis module 140. Deliver. The sensor failure diagnosis module 140 adds the relative acceleration (a _rel ) of the front object to the acceleration data (a _{s, GPS} ) obtained by differentiating the own vehicle's speed data (v _s ) collected from the GPS sensor to determine the relative acceleration of the front object. Estimate acceleration (a _p ).

그리고, 센서 고장 진단 모듈(140)은 가속도 센서에서 자차량의 가속도 데이터(a_s,ACC)를 수집하고, 전방 물체의 가속도(a_p)에서 자차량의 가속도(a_s,ACC)를 차감하여 전방 물체의 상대 가속도(a_rel'= a_p- a_s,ACC)을 구한다. 이와 같이 구한 상대 가속도는 슬라이딩 모드 관측기의 입력(u = a_p- a_s,ACC)으로 사용된다.Additionally, the sensor failure diagnosis module 140 collects acceleration data ( _{as,ACC) of the host vehicle from the acceleration sensor, and subtracts the acceleration (as,} _ACC ) of the host vehicle from the acceleration (a _p ) of the object in front. Find the relative acceleration (a _rel '= a _p - a _s,ACC ) of the object in front. The relative acceleration obtained in this way is used as the input (u = a _p - a _s,ACC ) of the sliding mode observer.

도 10은 슬라이딩 모드 관측기의 구성과 그 수학적 모델을 나타낸 도면이다. 본 발명에서 슬라이딩 모드 관측기는 센서 고장 진단 모듈(140)이 자차량의 내부 센서(예:가속도 센서)의 고장을 진단하기 위해 이용한다. 도 10은 슬라이딩 모드 관측기의 일반적인 구성으로서, 센서의 고장이 발생하지 않는 경우 적용되는 수학적 모델을 도시하고 있다. 일반적인 관측기와 비교하여 슬라이딩 모드 관측기가 갖는 특징은, 좌표 변환(coordinate transformation)을 통해 상태변수와 출력변수에 대한 수렴성을 확보한다는 점이다.Figure 10 is a diagram showing the configuration of a sliding mode observer and its mathematical model. In the present invention, the sliding mode observer is used by the sensor failure diagnosis module 140 to diagnose a failure of an internal sensor (eg, acceleration sensor) of the vehicle. Figure 10 is a general configuration of a sliding mode observer and shows a mathematical model applied when a sensor failure does not occur. The characteristic of a sliding mode observer compared to a general observer is that it secures convergence for state variables and output variables through coordinate transformation.

도 10에 도시된 상태 방정식에서 u는 입력 변수이고, y는 실제 시스템(actual system)의 출력 변수이며,

은 본 관측기의 출력 변수이다. 입력 변수 u는 전술한 바와 같이 (a_p- a_s,ACC)로서, 상대 가속도(a_rel')이다. 본 실시예에서 상태 변수 벡터 x는 본 관측기에서 추정하고자 하는 값으로서, 상대 거리(x₁, clearance)와 상대 속도(x₂, relative velocity)를 그 성분으로 한다. 즉, x는 [c v_rel]과 같다. 관측 행렬 C가 [1 1]일 경우, y는 c + v_rel이 된다. T는 좌표 변환에 사용되는 변환 행렬을 의미한다. 변환 행렬 T를 적용하여 좌표 변환한 결과 x는 x_t로 매핑되고, 상태 방정식과 출력 방정식의 각 행렬은 A_t, B_t, C_t로 변환된다. In the state equation shown in Figure 10, u is an input variable, y is an output variable of the actual system,

is the output variable of this observer. As described above, the input variable u is (a _p - a _s,ACC ), which is the relative acceleration (a _rel '). In this embodiment, the state variable vector x is a value to be estimated by this observer, and its components include relative distance (x ₁ , clearance) and relative velocity (x ₂ , relative velocity). In other words, x is equal to [cv _rel ]. If the observation matrix C is [1 1], y becomes c + v _rel . T refers to the transformation matrix used for coordinate transformation. As a result of coordinate transformation by applying the transformation matrix T, x is mapped to x _t , and each matrix of the state equation and output equation is converted to A _t , B _t , and C _t .

한편, 좌표 변환으로 얻은, 슬라이딩 모드 관측기 상태 방정식과 출력 방정식에서 v는 주입 항(injection term)인데, 일반적으로 주입 항(injection term)을 통해 e_y(출력오차, 즉

- y)를 0으로 수렴하게 만들어 관측기가 실제 시스템과 비슷한 상태변수를 추정하며 관측할 수 있도록 하며, 본 발명에서도 같은 이유로 사용된다. 도 10에 도시된 바와 같이 v는 ρsign(e_y)로 구한다. ρ는 주입 항의 크기(magnitude of injection term)이고, sign(e_y)는 e_y가 양수이면 +1, e_y가 음수이면 -1, e_y가 0이면 0의 값을 가진다. 주입 항(injection term) v에 적절한 설계 변수를 튜닝 인자로 하는 전달 함수를 적용하여 센서의 고장 신호를 검출할 수 있다.Meanwhile, in the sliding mode observer state equation and output equation obtained by coordinate transformation, v is an injection term, and generally, through the injection term, e _y (output error, i.e.

- y) converges to 0, allowing the observer to estimate and observe state variables similar to the actual system, and is also used in the present invention for the same reason. As shown in Figure 10, v is obtained as ρsign(e _y ). ρ is the magnitude of injection term, and sign(e _y ) has the value of +1 if e _y is positive, -1 if e _y is negative, and 0 if e _y is 0. The sensor failure signal can be detected by applying a transfer function with an appropriate design variable as a tuning factor to the injection term v .

도 11 및 도 12는 고장이 발생한 시스템에 관한 슬라이딩 모드 관측기의 수학적 모델을 나타낸 도면이다. 도 10에 있는 슬라이딩 모드 관측기의 수학적 모델과는 달리, 도 11 및 도 12의 수학적 모델의 상태 방정식에는 센서의 고장에 의한 영향을 의미하는 외란 인자(D*f, D_t*f)가 더 포함되어 있다. 즉, 도 11 및 도 12의 수학적 모델은 고장이 발생한 시스템을 모델링한 것이다.Figures 11 and 12 are diagrams showing a mathematical model of a sliding mode observer for a system in which a failure has occurred. Unlike the mathematical model of the sliding mode observer in Figure 10, the state equation of the mathematical model in Figures 11 and 12 further includes disturbance factors (D*f, D _t *f), which indicate the influence of sensor failure. It is done. That is, the mathematical models in FIGS. 11 and 12 model a system in which a failure has occurred.

도 11의 상태 방정식에 좌표 변환을 적용하면

에 관한 상태 방정식(관측기 상태 방정식)을 얻을 수 있으며, 이 방정식에 G_n v 항이 포함된다. 여기서 G_n은 게인 행렬(gain matrix)이고 v는 전술한 대로 주입 항(injection term)이다.Applying the coordinate transformation to the state equation in Figure 11 gives

The state equation (observer state equation) can be obtained, and this equation includes the G _n v term. Here, G _n is the gain matrix and v is the injection term as described above.

도 12에 나타난 바와 같이 관측기 오차방정식(

에 관한 식)에서 e와

는 유한 시간 내에 0으로 수렴하며, 그 결과 고장 신호 f와 주입 항 v의 관계식을 유도할 수 있다. 즉, 불연속적인 입력 신호 v로 고장 진단을 할 수 있다. (G_n/D_t)을 특정할 수 없으므로 (G_n/D_t)를 1차 지연 시스템(1st order delay system)인 전달함수(1/(τs+1))로 변환한 후, 고장 신호를 인가하여 전달함수에 포함된 설계변수인 τ를 튜닝한다. 이 경우에 τ는 전달함수의 출력인 f_rec이 고장 신호와 대응되도록 튜닝된다. τ의 튜닝이 완료되면, 전달함수가 정해진다. 센서 고장 진단 모듈(140)은 불연속적 인력 신호 v를 전달함수(1/(τs+1))에 입력하여 고장 신호(f_rec)를 출력하고, 고장 신호(f_rec)를 확인하여 센서의 고장 여부를 판단할 수 있다.As shown in Figure 12, the observer error equation (

In the equation), e and

converges to 0 within a finite time, and as a result, the relationship between the failure signal f and the injection term v can be derived. In other words, fault diagnosis can be made with a discontinuous input signal v . Since (G _n /D _t ) cannot be specified, convert (G _n /D _t ) to the transfer function (1/(τs+1)), which is a 1st order delay system, and then send the fault signal to Apply this to tune the design variable τ included in the transfer function. In this case, τ is tuned so that f _rec , the output of the transfer function, corresponds to the fault signal. Once tuning of τ is completed, the transfer function is determined. The sensor failure diagnosis module 140 inputs the discontinuous attraction signal v into the transfer function (1/(τs+1)), outputs a failure signal (f _rec ), and checks the failure signal (f _rec ) to determine if the sensor is malfunctioning. You can judge whether or not.

결국, 본 발명의 일 실시예에서 센서 고장 진단 모듈(140)은 전방 물체의 상대 가속도(a_rel), GPS 센서에서 수집한 자차량의 속도 데이터(v_s)를 미분하여 얻은 가속도 데이터(a_s,GPS) 및 가속도 센서에서 얻은 자차량의 가속도 데이터(a_s,ACC)를 기초로 슬라이딩 모드 관측기를 이용하여 불연속적인 입력 신호(v, 주입 항(injection term))를 얻은 후, 상기 불연속적인 입력 신호(v)를 전달함수에 입력하여 고장 신호(f_rec)를 출력하고, 상기 고장 신호(f_rec)를 확인하여 가속도 센서의 고장 여부를 판단할 수 있다. _Ultimately , in one embodiment of the present invention, the sensor _failure diagnosis module 140 uses acceleration data (a _{s ,GPS} ) and acceleration data of the vehicle obtained from the acceleration sensor ( _as,ACC ), a discontinuous input signal ( v , injection term) is obtained using a sliding mode observer, and then the discontinuous input A signal ( v ) is input into the transfer function to output a failure signal (f _rec ), and the failure signal (f _rec ) can be checked to determine whether the acceleration sensor is broken.

도 13은 본 발명의 일 실시예에 따른 가속도 센서 고장 진단 방법을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 가속도 센서 고장 진단 방법은 S210 단계 내지 S240 단계를 포함하여 구성된다. 각 단계에 대한 상세한 내용은 도 1 내지 도 12에 전술한 내용을 참조하여 이해할 수 있을 것이다.Figure 13 is a diagram for explaining a method for diagnosing an acceleration sensor failure according to an embodiment of the present invention. The acceleration sensor failure diagnosis method according to an embodiment of the present invention includes steps S210 to S240. Detailed information about each step can be understood by referring to the contents described above in FIGS. 1 to 12.

S210 단계는 상대 가속도 데이터를 수집하는 단계이다. 본 단계에서 센서 고장 진단기(100)는 환경인지 센서에서 자차량과 객체 간 상대 가속도 데이터를 수집한다. Step S210 is a step of collecting relative acceleration data. In this step, the sensor failure diagnosis device 100 collects relative acceleration data between the host vehicle and the object from the environmental recognition sensor.

S220 단계는 제1 가속도 데이터를 생성하는 단계이다. 본 단계에서 센서 고장 진단기(100)는 GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성한다.Step S220 is a step of generating first acceleration data. In this step, the sensor failure diagnosis device 100 collects speed data of the host vehicle from the GPS sensor and differentiates the speed data to generate first acceleration data.

S230 단계는 제2 가속도 데이터를 수집하는 단계이다. 본 단계에서 센서 고장 진단기(100)는 가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집한다.Step S230 is a step of collecting second acceleration data. In this step, the sensor failure diagnosis device 100 collects acceleration data (second acceleration data) of the host vehicle from the acceleration sensor.

S240 단계는 가속도 센서의 고장 여부를 판단하는 단계이다. 본 단계에서 센서 고장 진단기(100)는 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단한다.Step S240 is a step to determine whether the acceleration sensor is broken. In this step, the sensor failure diagnosis device 100 determines whether the acceleration sensor is broken using a sliding mode observer based on the relative acceleration data, the first acceleration data, and the second acceleration data.

한편 도 13을 참조한 설명에서, 각 단계는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 12의 내용은 도 13의 내용에 적용될 수 있다. 또한, 도 13의 내용은 도 1 내지 도 12의 내용에 적용될 수 있다.Meanwhile, in the description referring to FIG. 13, each step may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Additionally, some steps may be omitted or the order between steps may be changed as needed. In addition, even if other omitted content, the content of FIGS. 1 to 12 can be applied to the content of FIG. 13. Additionally, the content of FIG. 13 may be applied to the content of FIGS. 1 to 12.

전술한 가속도 센서 고장 진단 방법은 도면에 제시된 흐름도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.The above-described acceleration sensor failure diagnosis method was explained with reference to the flowchart shown in the drawing. For simplicity of illustration, the method is shown and described as a series of blocks; however, the invention is not limited to the order of the blocks, and some blocks may occur simultaneously or in a different order than shown and described herein with other blocks. Various other branches, flow paths, and sequences of blocks may be implemented that achieve the same or similar results. Additionally, not all blocks shown may be required for implementation of the methods described herein.

본 실시예에서 사용되는 '~모듈'이라는 용어는 소프트웨어 또는 하드웨어 구성요소일 수 있으며, '~모듈'는 어떤 역할들을 수행한다. 그렇지만 '~모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~모듈'들로 결합되거나 추가적인 구성요소들과 '~모듈'들로 더 분리될 수 있다.The term '˜module' used in this embodiment may be a software or hardware component, and the '˜module' performs certain roles. However, '~module' is not limited to software or hardware. The '˜module' may be configured to reside on an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '˜module' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided within components and '~modules' may be combined into a smaller number of components and '~modules' or may be further separated into additional components and '~modules'.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can do it.

100: 센서 고장 진단기
110: 트랙 데이터 생성 모듈
120: 트랙 예측 모듈
130: 데이터 전처리 모듈
140: 센서 고장 진단 모듈100: Sensor fault diagnosis device
110: Track data generation module
120: Track prediction module
130: Data preprocessing module
140: Sensor failure diagnosis module

Claims

환경인지 센서에서 전방 차량과 자차량 간의 상대 가속도 데이터를 수집하는 트랙 데이터 생성 모듈;
GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성하는 데이터 전처리 모듈; 및
가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집하고, 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단하는 센서 고장 진단 모듈;
을 포함하는 가속도 센서 고장 진단기.A track data generation module that collects relative acceleration data between the vehicle ahead and the host vehicle from an environmental recognition sensor;
a data pre-processing module that collects speed data of the vehicle from a GPS sensor and differentiates the speed data to generate first acceleration data; and
Collects acceleration data (second acceleration data) of the own vehicle from an acceleration sensor, and determines whether the acceleration sensor is broken using a sliding mode observer based on the relative acceleration data, the first acceleration data, and the second acceleration data. A sensor failure diagnosis module that determines;
Acceleration sensor fault diagnosis device including.

제1항에 있어서, 상기 센서 고장 진단 모듈은,
상기 상대 가속도 데이터 및 상기 제1 가속도 데이터를 기초로 상기 전방 차량의 가속도를 산출하고, 상기 산출된 전방 차량의 가속도와 상기 제2 가속도 데이터를 기초로 상기 전방 차량의 상대 가속도를 산출하며, 상기 산출된 상대 가속도를 상기 슬라이딩 모드 관측기에 입력하는 것
인 가속도 센서 고장 진단기.The method of claim 1, wherein the sensor failure diagnosis module,
Calculating the acceleration of the preceding vehicle based on the relative acceleration data and the first acceleration data, calculating the relative acceleration of the preceding vehicle based on the calculated acceleration of the preceding vehicle and the second acceleration data, and calculating Inputting the relative acceleration into the sliding mode observer
Acceleration sensor fault diagnosis device.

제1항에 있어서, 상기 센서 고장 진단 모듈은,
상기 슬라이딩 모드 관측기의 출력값을 기초로 주입 항(injection term)을 계산하고, 상기 주입 항을 소정의 전달함수에 입력하여 출력된 고장 신호를 기초로 상기 가속도 센서의 고장 여부를 판단하는 것
인 가속도 센서 고장 진단기.The method of claim 1, wherein the sensor failure diagnosis module,
Calculating an injection term based on the output value of the sliding mode observer, inputting the injection term into a predetermined transfer function, and determining whether the acceleration sensor is broken based on the output failure signal.
Acceleration sensor fault diagnosis device.

환경인지 센서에서 전방 차량에 관한 센서 데이터를 수집하여 상기 전방 차량에 관한 트랙 데이터를 생성하는 트랙 데이터 생성 모듈;
상기 트랙 데이터를 기초로 상기 전방 차량에 관한 예측 트랙을 생성하는 트랙 예측 모듈;
가속도 센서에서 자차량의 가속도 데이터를 수집하고, 상기 가속도 센서에서 수집한 가속도 데이터를 적분하여 제1 속도 데이터를 생성하는 데이터 전처리 모듈; 및
상기 환경인지 센서에서 자차량과 상기 전방 차량 간의 상대 속도 데이터를 수집하고, 자차량의 GPS 센서에서 자차량의 속도 데이터(제2 속도 데이터)를 수집하며, 상기 상대 속도 데이터, 상기 제1 속도 데이터, 상기 제2 속도 데이터 및 상기 예측 트랙을 기초로 상기 GPS 센서의 고장 여부를 판단하는 센서 고장 진단 모듈;
을 포함하는 GPS 센서 고장 진단기.a track data generation module that collects sensor data about the vehicle ahead from an environmental recognition sensor and generates track data about the vehicle ahead;
a track prediction module that generates a predicted track for the vehicle ahead based on the track data;
a data preprocessing module that collects acceleration data of the host vehicle from an acceleration sensor and integrates the acceleration data collected from the acceleration sensor to generate first speed data; and
Relative speed data between the host vehicle and the preceding vehicle is collected from the environment recognition sensor, and speed data (second speed data) of the host vehicle is collected from the GPS sensor of the host vehicle, and the relative speed data and the first speed data are collected. , a sensor failure diagnosis module that determines whether the GPS sensor is broken based on the second speed data and the predicted track;
GPS sensor fault diagnosis device including.

제4항에 있어서, 상기 센서 고장 진단 모듈은,
상기 상대 속도 데이터와 상기 제1 속도 데이터를 기초로 상기 전방 차량의 속도를 산출하고, 상기 전방 차량의 속도와 상기 제2 속도 데이터를 기초로 상기 전방 차량의 상대 속도를 산출하며, 상기 산출된 전방 차량의 상대 속도와 상기 예측 트랙에 포함된 상기 전방 차량의 예측된 상대 속도를 비교하여 상기 GPS 센서의 고장 여부를 판단하는 것
인 GPS 센서 고장 진단기.The method of claim 4, wherein the sensor failure diagnosis module,
Calculate the speed of the vehicle ahead based on the relative speed data and the first speed data, calculate the relative speed of the vehicle ahead based on the speed of the vehicle ahead and the second speed data, and calculate the relative speed of the vehicle ahead based on the calculated speed data. Determining whether the GPS sensor is broken by comparing the relative speed of the vehicle with the predicted relative speed of the vehicle ahead included in the predicted track.
In-GPS sensor fault diagnosis device.

(a) 환경인지 센서에서 자차량과 전방 차량 간 상대 가속도 데이터를 수집하는 단계;
(b) GPS 센서에서 자차량의 속도 데이터를 수집하고, 상기 속도 데이터를 미분하여 제1 가속도 데이터를 생성하는 단계; 및
(c) 가속도 센서에서 자차량의 가속도 데이터(제2 가속도 데이터)를 수집하는 단계; 및
(d) 상기 상대 가속도 데이터, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터를 기초로 슬라이딩 모드 관측기를 이용하여 상기 가속도 센서의 고장 여부를 판단하는 단계;
를 포함하는 가속도 센서 고장 진단 방법.(a) collecting relative acceleration data between the own vehicle and the vehicle ahead from the environmental recognition sensor;
(b) collecting speed data of the host vehicle from a GPS sensor and differentiating the speed data to generate first acceleration data; and
(c) collecting acceleration data (second acceleration data) of the host vehicle from an acceleration sensor; and
(d) determining whether the acceleration sensor is broken using a sliding mode observer based on the relative acceleration data, the first acceleration data, and the second acceleration data;
An acceleration sensor failure diagnosis method including.

제6항에 있어서, 상기 (d) 단계는,
상기 상대 가속도 데이터 및 상기 제1 가속도 데이터를 기초로 상기 전방 차량의 가속도를 산출하고, 상기 산출된 전방 차량의 가속도와 상기 제2 가속도 데이터를 기초로 상기 전방 차량의 상대 가속도를 산출하며, 상기 산출된 상대 가속도를 상기 슬라이딩 모드 관측기에 입력하는 것
인 가속도 센서 고장 진단 방법.The method of claim 6, wherein step (d) is,
Calculating the acceleration of the preceding vehicle based on the relative acceleration data and the first acceleration data, calculating the relative acceleration of the preceding vehicle based on the calculated acceleration of the preceding vehicle and the second acceleration data, and calculating Inputting the relative acceleration into the sliding mode observer
How to diagnose acceleration sensor failure.

제6항에 있어서, 상기 (d) 단계는,
상기 슬라이딩 모드 관측기의 출력값을 기초로 주입 항(injection term)을 계산하고, 상기 주입 항을 소정의 전달함수에 입력하여 출력된 고장 신호를 기초로 상기 가속도 센서의 고장 여부를 판단하는 것
인 가속도 센서 고장 진단 방법.The method of claim 6, wherein step (d) is,
Calculating an injection term based on the output value of the sliding mode observer, inputting the injection term into a predetermined transfer function, and determining whether the acceleration sensor is broken based on the output failure signal.
How to diagnose acceleration sensor failure.