KR101967339B1 - 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 - Google Patents
심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR101967339B1 KR101967339B1 KR1020180026490A KR20180026490A KR101967339B1 KR 101967339 B1 KR101967339 B1 KR 101967339B1 KR 1020180026490 A KR1020180026490 A KR 1020180026490A KR 20180026490 A KR20180026490 A KR 20180026490A KR 101967339 B1 KR101967339 B1 KR 101967339B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- output
- reliability
- sensors
- information
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0225—Failure correction strategy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
- G06F11/0739—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in automotive or aircraft systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/0215—Sensor drifts or sensor failures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
- B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2306/00—Other features of vehicle sub-units
- B60Y2306/15—Failure diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
본 발명은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법에 관한 것으로, 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하는 것이다.
Description
본 발명은 운전자보조시스템에 관한 것으로, 구체적으로 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법에 관한 것이다.
최근 운전자 편의 및 안전을 위해서 다양한 운전자보조시스템(Advanced Driver Assistance Systems, ADAS)이 개발되어 사용되고 있다.
예를 들어, 차량의 전방 차량을 인식하여 일정 거리를 유지하면서 차량속도를 자동으로 제어하는 스마트 크루즈 컨트롤(Smart Cruise Control, SCC), 운전자 부주의로 인해 차량이 방향 지시등 없이 차선을 이탈 시 조향을 제어하여 차선 안으로 복귀할 수 있도록 보조해주는 차선유지 보조시스템(Lane Keeping Assist System, LKAS), 주차공간을 인식하여 운전자 대신 주차를 수행해주는 주차조향보조 시스템(Smart Parking Assist System, SPAS) 등 다양한 시스템들이 차량에 적용되고 있고, 적용범위 및 기능이 점차 확대되고 있는 추세이다.
이와 같은 시스템들은 운전자가 주행하는 환경을 인식하여 주행상황에 맞추어 보조를 하기 위해 레이더(RADAR), 라이더(LIDAR), 카메라, 초음파 센서 등 다양한 센서를 장착되어 운전자의 눈과 같은 역할을 수행한다.
운전자보조시스템은 센서를 통해 획득한 거리 및 속도 등 다양한 주변환경에 대한 정보를 바탕으로 차량의 가감속 또는 조향 등에 대한 보조제어를 수행한다.
따라서, 운전자보조시스템에서 실시간으로 센서의 오동작 여부를 판단하여 오차를 보정하는 기능은 필수적이라고 할 수 있다.
이와 같은 첨단 운전자 지원 시스템에서 센서는 외부 환경을 인지하는 유일한 경로이다. 이러한 센서 및 센싱 정보 전달 체계에 이상이 발생할 경우 ADAS 시스템의 심대한 결함 발생이 불가피하다.
그리고 자율주행 시스템으로 향하는 ADAS의 기술 발전 방향에서 여러 종류, 다수의 센서 사용이 불가피하다. 이러한 방대한 센서 데이터를 효과적으로 검수하는 자동화된 알고리즘이 반드시 필요하다.
또한, 센서의 이상동작이 감지되더라도 주행 상황에 따라 운행을 즉각적으로 중단할 수 없는 경우가 많다.
뿐만 아니라 추후 기술의 발전에 따라 수동 운전에 미숙한 차량 이용객이 늘어날 것으로 전망되므로 수리를 위한 차량의 이동 가능성을 높이는 것이 중요하다.
따라서, 일부 센서의 고장이 감지되었을 시 이를 보완할 수 있는 백업 알고리즘에 관한 기술의 개발이 요구되고 있다.
특히, 센서 간 상호 검증을 위한 기술 개발이 요구되고 있다.
지역, 시간, 날씨 등 센서가 작동하는 다양한 환경에 대해 살펴봐야 하는 모든 검증 케이스를 확보하는 것은 물리적으로 어려울 뿐 아니라 비효율적이다.
센서들이 인지하는 영역이 겹치는 경우가 많으며 인지 영역이 겹치지 않는다 하더라도 날씨나 조도 정보와 같이 센서들이 공통으로 영향을 받는 요인들이 다수 존재한다.
대규모 파손이 아닌 이상 다수의 센서가 동시에 고장날 확률 낮기 때문에 센서 간 공유되는 정보를 통해 상호 검증하는 방식을 도입하여 보다 효율적이고 포괄적인 센서 검증이 가능하도록 하는 것이 필요하다.
본 발명은 이와 같은 종래 기술의 운전자보조시스템 등의 다수의 센서를 이용하는 시스템에서의 문제를 해결하기 위한 것으로, 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 적용하여 센서 고장 진단의 정확성을 높인 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 적용하여 운전자 보조시스템의 신뢰도를 높일 수 있도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하여 개별 센서 진단의 정확도를 높인 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 정확한 판별이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하는 것을 특징으로 한다.
여기서, 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치가 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것을 특징으로 한다.
그리고 개별 센서 진단부는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 정보 압축기와,개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기와,연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기와,상기 개별 입력 신뢰도 측정기와 동적 정보 신뢰도 측정기의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 한다.
그리고 상기 정보 압축기는, 심층 학습(deep learning) 모델 중 데이터 압축을 위하여 오토인코더(auto-encoder)와 이미지 데이터 압축을 위한 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것을 특징으로 한다.
그리고 상기 개별 입력 신뢰도 측정기는, 비선형 추론을 위하여 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것을 특징으로 한다.
그리고 상기 동적 정보 신뢰도 측정기는, 심층 학습 모델 중 시계열 데이터 분석을 위하여 재발성 신경망(recurrent neural network, RNN)의 장단기 기억(long short-term memory,LSTM) 구조를 갖는 것을 특징으로 한다.
그리고 개별 센서 진단부는, 개별 센서들의 센서 블랙 아웃(black out)및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정하는 것을 특징으로 한다.
그리고 센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 구성을 포함하는 것을 특징으로 한다.
그리고 센서 간 상호 진단부는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기와,추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부와,검증 대상 센서에 대해 센서 출력 예측부에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부를 포함하는 것을 특징으로 한다.
그리고 공통 정보 추출기는, 데이터 간 비선형 관계 분석을 위하여 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것을 특징으로 한다.
그리고 센서 출력 예측부는, 공통 정보 추출기에서 사용되는 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 출력값을 취득하는 것을 특징으로 한다.
그리고 센서 출력 검증부는, 정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여, 센서 출력과 센서 출력 예측부에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것을 특징으로 한다.
그리고 상기 통합 진단부는, 개별 센서 진단부에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 가중치를 낮게 하여 다른 센서들의 신뢰도 판별시에 영향력을 최소화하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계와, 각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계와, 상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계를 포함하는 것을 특징으로 한다.
여기서, 개별 센서 진단 단계는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와, 상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함하는 것을 특징으로 한다.
그리고 센서 간 상호 진단 단계는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와, 검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한다.
둘째, 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한다.
셋째, 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 적용하여 센서 고장 진단의 정확성을 높인다.
넷째, ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 적용하여 운전자 보조시스템의 신뢰도를 높일 수 있다.
다섯째, 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하여 개별 센서 진단의 정확도를 높인다.
여섯째, 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있다.
일곱째, 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 정확한 판별이 가능하도록 한다.
도 1은 오토 인코더의 일 예를 나타낸 구성도
도 2는 오토 인코더를 이용한 데이터 복원의 일 예를 나타낸 구성도
도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 구성도
도 4는 ADAS 센서의 동작 오류 발생의 일 예를 나타낸 구성도
도 5는 본 발명에 따른 다중 모달 센서 네트워크의 개요를 나타낸 구성도
도 6은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성도
도 7은 본 발명에 따른 센서 간 상호 진단을 위한 검증 모듈의 구성도
도 8은 센서 출력 예측의 개요를 나타낸 구성도
도 9는 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 나타낸 플로우 차트
도 2는 오토 인코더를 이용한 데이터 복원의 일 예를 나타낸 구성도
도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 구성도
도 4는 ADAS 센서의 동작 오류 발생의 일 예를 나타낸 구성도
도 5는 본 발명에 따른 다중 모달 센서 네트워크의 개요를 나타낸 구성도
도 6은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성도
도 7은 본 발명에 따른 센서 간 상호 진단을 위한 검증 모듈의 구성도
도 8은 센서 출력 예측의 개요를 나타낸 구성도
도 9는 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 오토 인코더의 일 예를 나타낸 구성도이고, 도 2는 오토 인코더를 이용한 데이터 복원의 일 예를 나타낸 구성도이다.
그리고 도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 구성도이고, 도 4는 ADAS 센서의 동작 오류 발생의 일 예를 나타낸 구성도이다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증을 하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.
이를 위하여, 본 발명은 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 포함할 수 있다.
본 발명은 ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 포함할 수 있다.
본 발명은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하는 구성을 포함할 수 있다.
본 발명은 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하고, 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하는 구성을 포함할 수 있다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하는 개별 센서 진단부와, 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 0에서 1사이의 수치로 정량적 평가하는 센서 간 상호 진단부와, 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 0에서 1사이 수치로 정량적 평가하는 통합 진단부를 포함한다.
도 1에서와 같은 인공 신경망의 한 종류인 오토인코더(auto-encoder,AE)는 방대한 학습 데이터를 바탕으로 입력 데이터에 대한 효율적인 정보 압축법을 수립하는데 유용한 것으로, 정보의 압축화 과정에서 입력 데이터에 내포되어 있는 고차원(혹은 개념적) 정보를 추출하기 때문에 도 2에서와 같은 잡음 제거 및 복원 등에도 널리 사용되고 있다.
도 2는 오토인코더(AE)를 사용한 데이터 복원 예를 나타낸 것으로, 좌측은 원본이고 중앙은 원본 중 일부를 가린 이미지이고, 우측은 가운데 이미지를 입력으로 주었을 시 AE가 복원한 얼굴을 나타낸 것이다.
도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 것으로, 심층 학습 (deep learning) 알고리즘의 일종인 다중 모달 심층 오토인코더(multi-modal deep auto-encoder)는 오토 인코더의 일종으로, 입력받는 데이터의 종류가 다양하고 보다 복잡한 구조를 갖고 있다.
이를 통해 이종(異種) 입력 데이터 사이에 존재하는 공통의 정보(도 3의 shared representation)를 추출하는데 탁월한 성능을 보이고, 뿐만 아니라 추출한 공통 정보를 기반으로 누락되거나 오염된 입력값의 본래 값을 추론하는데 우수한 특성을 갖는다.
본 발명은 ADAS에서 활용하는 다양한 센서의 이상 동작의 감지와 해당 센서를 위한 보완하기 위하여 MMDAE를 사용한다.
ADAS 센서의 동작 오류 발생은 다음과 같은 상황에서 발생할 수 있다.
ADAS는 센서의 기계적 고장에 대한 판별은 가능하나 아래와 같은 센서 오류에 대해서는 판별이 불가능하다.
도 4에서와 같이, 눈, 비와 같은 이물질 등에 의한 가려짐, 역광이나 조명과 같은 외부 방해 요소에 의한 비정상 작동, 보행자 탐지 등 인지 추론과정에서의 오류 등의 상황이 있다.
현재의 센서 고장 진단 기술들은 유한한 경우의 고정 항목에 대해 고장 유무를 판별하는 방식을 사용하고 있어, 다양한 상황 하에서 발생하는 무한에 가까운 고장 조합에 모두 대응하기 어렵다.
특히, 보행자 탐지와 같이 인지 과정에서 추론이 개입하는 분야에서는 단순한 규칙이나 양성(positive) 방식의 고장 진단은 그 효용성이 낮다.
본 발명은 이와 같은 문제를 해결하기 위하여 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.
도 5는 본 발명에 따른 다중 모달 센서 네트워크의 개요를 나타낸 구성도이다.
본 발명은 도 5에서와 같이 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것으로, 개별 센서 진단 구성, 센서 간 상호 진단 구성, 통합 진단 구성을 포함한다.
그리고 고장난 센서의 백업을 위하여 고장나지 않은 센서들의 정보를 기반으로 고장난 센서가 정상 작동 시 출력할 것으로 기대되는 예측값을 산출하는 센서 복원 구성을 포함한다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성은 다음과 같다.
도 6은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성도이다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 개별 센서 진단을 위하여 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 한다.
도 6에서와 같이, 매 시간 출력되는 고차원 센서의 출력을 저차원 특징 벡터로 압축하는 정보 압축기(100)와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기(300)와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기(200)와, 개별 입력 신뢰도 측정기(300)와 동적 정보 신뢰도 측정기(200)의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기(400)를 포함한다.
여기서, 정보 압축기(100)는 심층 학습(deep learning) 모델 중 데이터 압축에 강점을 갖고 있는 오토인코더(auto-encoder)에 이미지 데이터 압축에 강점을 갖고 있는 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것이 바람직하다.
그리고 개별 입력 신뢰도 측정기(300)는 비선형 추론에 강점을 갖는 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것이 바람직하다.
그리고 동적 정보 신뢰도 측정기(200)는 심층 학습 모델 중 시계열 데이터 분석에서 가장 좋은 성능을 보이고 있는 재발성 신경망(recurrent neural network, RNN), 그 중에서도 장단기 기억(long short-term memory,LSTM) 구조를 적용하는 것이 바람직하다.
본 발명은 센서 고장 진단 알고리즘의 성능 평가를 위해 아래와 같은 개별 센서들의 센서 블랙 아웃(black out) 및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정할 수 있고, 이로 제한되지 않는다.
그리고 센서 보완 알고리즘의 경우 깊이 측정 카메라(depth camera) 출력의 복원을 포함하는 것으로, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원, 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 구성을 포함할 수 있다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치에서 센서 간 상호 진단을 위한 구성은 다음과 같다.
도 7은 본 발명에 따른 센서 간 상호 진단을 위한 검증 모듈의 구성도이다.
본 발명은 센서 간 상호 진단을 위하여 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 0에서 1사이의 수치로 정량적 평가하는 구성을 포함한다.
이를 위하여, 도 7에서와 같이, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기(71)와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부(72)와, 검증 대상 센서에 대해 센서 출력 예측부(72)에서 얻은 결과와 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부(73)를 포함한다.
여기서, 공통 정보 추출기(71)는 데이터 간 비선형 관계 분석에 강점을 갖는 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것이 바람직하다.
그리고 센서 출력 예측부(72)는 공통 정보 추출기(71)에서 사용된 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 개략적인 출력값을취득한다.
그리고 센서 출력 검증부(73)는 정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여, 센서 출력과 센서 출력 예측부(72)에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것이 바람직하다.
도 8은 센서 출력 예측의 개요를 나타낸 구성도이다.
그리고 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 통합 진단을 위한 구성을 포함한다.
본 발명에 따른 통합 진단을 위한 구성은 개별 센서 진단 구성과 센서 간 상호 진단 구성의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 0에서 1사이 수치로 정량적 평가하는 것이다.
이를 위하여 개별 센서 진단 알고리즘에서 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있도록 한다.
즉, 개별 센서 진단 알고리즘에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시킴으로써 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 판별 정확성을 높인다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 구체적으로 설명하면 다음과 같다.
본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계와, 각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계와, 상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계를 포함한다.
여기서, 개별 센서 진단 단계는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와, 상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함한다.
그리고 센서 간 상호 진단 단계는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와, 검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함한다.
도 9는 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 나타낸 플로우 차트이다.
먼저, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출한다.(S901)
이어, MMDAE를 잡음 제거(denoising) 방식으로 학습하고(S902), 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환한다.(S903)
그리고 다층 퍼셉트론(multi-layer perceptron) 기반 회귀 분석기(regressor)를 이용하여 검증 대상 센서에 대해 센서 출력 예측 결과와 실제 출력을 비교하여 최종 신뢰도를 산정한다.(S904)
이어, 산정된 신뢰도를 기준으로 센서 고장 진단 및 백업을 수행한다.(S905)
이상에서 설명한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증을 하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 정보 압축기 200. 동적 정보 신뢰도 측정기
300. 개별 입력 신뢰도 측정기 400. 최종 신뢰도 측정기
300. 개별 입력 신뢰도 측정기 400. 최종 신뢰도 측정기
Claims (16)
- 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;
각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;
상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하고,
센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 1 항에 있어서, 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치가 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
- 제 1 항에 있어서, 개별 센서 진단부는,
매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 정보 압축기와,
개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기와,
연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기와,
상기 개별 입력 신뢰도 측정기와 동적 정보 신뢰도 측정기의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 3 항에 있어서, 상기 정보 압축기는,
심층 학습(deep learning) 모델 중 데이터 압축을 위하여 오토인코더(auto-encoder)와 이미지 데이터 압축을 위한 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 3 항에 있어서, 상기 개별 입력 신뢰도 측정기는,
비선형 추론을 위하여 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 3 항에 있어서, 상기 동적 정보 신뢰도 측정기는,
심층 학습 모델 중 시계열 데이터 분석을 위하여 재발성 신경망(recurrent neural network, RNN)의 장단기 기억(long short-term memory,LSTM) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 1 항에 있어서, 개별 센서 진단부는,
개별 센서들의 센서 블랙 아웃(black out) 및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 삭제
- 제 1 항에 있어서, 센서 간 상호 진단부는,
검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기와,
추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부와,
검증 대상 센서에 대해 센서 출력 예측부에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 9 항에 있어서, 공통 정보 추출기는,
데이터 간 비선형 관계 분석을 위하여 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 9 항에 있어서, 센서 출력 예측부는,
공통 정보 추출기에서 사용되는 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 출력값을 취득하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 9 항에 있어서, 센서 출력 검증부는,
정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여,
센서 출력과 센서 출력 예측부에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 제 1 항에 있어서, 상기 통합 진단부는,
개별 센서 진단부에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 가중치를 낮게 하여 다른 센서들의 신뢰도 판별시에 영향력을 최소화하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치. - 이종 센서로 결합된 다중모달 센서 네트워크에서의 센서 고장 진단 및 백업을 위하여,
각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계;
각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계;
상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계;를 포함하고,
센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법. - 제 14 항에 있어서, 개별 센서 진단 단계는,
매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와,
개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와,
연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와,
상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법. - 제 14 항에 있어서, 센서 간 상호 진단 단계는,
검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와,
추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와,
검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180026490A KR101967339B1 (ko) | 2018-03-06 | 2018-03-06 | 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 |
US16/191,577 US10946864B2 (en) | 2018-03-06 | 2018-11-15 | Apparatus and method for fault diagnosis and back-up of advanced driver assistance system sensors based on deep learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180026490A KR101967339B1 (ko) | 2018-03-06 | 2018-03-06 | 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101967339B1 true KR101967339B1 (ko) | 2019-04-09 |
Family
ID=66167455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180026490A KR101967339B1 (ko) | 2018-03-06 | 2018-03-06 | 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10946864B2 (ko) |
KR (1) | KR101967339B1 (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110525423A (zh) * | 2019-09-06 | 2019-12-03 | 湘潭大学 | 基于可靠度预测的复杂机电***安全服役控制***及方法 |
KR20200126935A (ko) * | 2019-04-29 | 2020-11-09 | 모셔널 에이디 엘엘씨 | 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법 |
KR20220045541A (ko) * | 2020-10-05 | 2022-04-12 | 서울대학교산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
WO2022075543A1 (ko) * | 2020-10-05 | 2022-04-14 | 서울대학교 산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
KR20230099753A (ko) * | 2021-12-27 | 2023-07-05 | 주식회사 현대케피코 | 지능형 차량 제어 시스템 및 그것의 오류 검출 방법 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
CN111891134B (zh) * | 2019-05-06 | 2022-09-30 | 北京百度网讯科技有限公司 | 自动驾驶处理***和片上***、监测处理模块的方法 |
US20210182386A1 (en) * | 2019-12-11 | 2021-06-17 | Samsung Electronics Co., Ltd. | Electronic apparatus that monitors a safety function and a controlling method thereof |
CN111190413A (zh) * | 2020-01-14 | 2020-05-22 | 深圳市道通科技股份有限公司 | 一种adas***的处理方法及汽车诊断设备 |
CN112629905A (zh) * | 2020-12-22 | 2021-04-09 | 杭州未名信科科技有限公司 | 基于深度学习的设备异常检测方法、***及计算机介质 |
CN113867322A (zh) * | 2021-10-25 | 2021-12-31 | 武汉极目智能技术有限公司 | 高级辅助驾驶***安装质量的在线监控方法及监控*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269215A (ja) * | 2007-04-19 | 2008-11-06 | Nippon Telegr & Teleph Corp <Ntt> | 特異パターン検出システム、モデル学習装置、特異パターン検出方法、及び、コンピュータプログラム |
KR20150011620A (ko) | 2013-07-23 | 2015-02-02 | 현대오트론 주식회사 | 차간 거리용 센서 고장 보상 시스템 및 방법 |
WO2017094267A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社Preferred Networks | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 |
KR20170068059A (ko) | 2015-12-09 | 2017-06-19 | 현대자동차주식회사 | 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3221184B2 (ja) * | 1993-10-13 | 2001-10-22 | 株式会社日立製作所 | 故障診断装置および方法 |
US7181334B2 (en) * | 2003-05-14 | 2007-02-20 | General Motors Corporation | Method and apparatus to diagnose intake airflow |
DE102006032727A1 (de) * | 2006-07-14 | 2008-01-31 | Lucas Automotive Gmbh | Verfahren und Vorrichtung zur Plausibilitätskontrolle von Messwerten im Kraftfahrzeugumfeld |
US20110153035A1 (en) * | 2009-12-22 | 2011-06-23 | Caterpillar Inc. | Sensor Failure Detection System And Method |
US9221396B1 (en) * | 2012-09-27 | 2015-12-29 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
JP6076751B2 (ja) * | 2013-01-22 | 2017-02-08 | 株式会社日立製作所 | 異常診断方法およびその装置 |
US9445057B2 (en) * | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
DE102014220925A1 (de) * | 2014-10-15 | 2016-04-21 | Conti Temic Microelectronic Gmbh | System und Vorrichtung zur funktionalen Plausibilisierung von Sensordaten und Sensoranordnung mit funktionaler Plausibilisierung von Sensordaten |
EP3234870A1 (en) * | 2014-12-19 | 2017-10-25 | United Technologies Corporation | Sensor data fusion for prognostics and health monitoring |
GB201501534D0 (en) * | 2015-01-30 | 2015-03-18 | Rolls Royce Plc | Methods and systems for detecting, classifying and/or mitigating sensor error |
US10235629B2 (en) * | 2015-06-05 | 2019-03-19 | Southwest Research Institute | Sensor data confidence estimation based on statistical analysis |
US10732582B2 (en) * | 2015-12-26 | 2020-08-04 | Intel Corporation | Technologies for managing sensor malfunctions |
US10410113B2 (en) * | 2016-01-14 | 2019-09-10 | Preferred Networks, Inc. | Time series data adaptation and sensor fusion systems, methods, and apparatus |
US10204461B2 (en) * | 2016-07-19 | 2019-02-12 | GM Global Technology Operations LLC | Detection and reconstruction of sensor faults |
US9855894B1 (en) * | 2016-09-16 | 2018-01-02 | Volkswagen Aktiengesellschaft | Apparatus, system and methods for providing real-time sensor feedback and graphically translating sensor confidence data |
JP6599294B2 (ja) * | 2016-09-20 | 2019-10-30 | 株式会社東芝 | 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム |
US10318827B2 (en) * | 2016-12-19 | 2019-06-11 | Waymo Llc | Object detection neural networks |
US10678244B2 (en) * | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11042155B2 (en) * | 2017-06-06 | 2021-06-22 | Plusai Limited | Method and system for closed loop perception in autonomous driving vehicles |
WO2019017935A1 (en) * | 2017-07-19 | 2019-01-24 | Intel Corporation | COMPENSATION OF SENSOR DEFICIENCY IN A NETWORK OF HETEROGENEOUS SENSORS |
US10551838B2 (en) * | 2017-08-08 | 2020-02-04 | Nio Usa, Inc. | Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application |
US11487988B2 (en) * | 2017-08-31 | 2022-11-01 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
US11989861B2 (en) * | 2017-11-28 | 2024-05-21 | Intel Corporation | Deep learning-based real-time detection and correction of compromised sensors in autonomous machines |
WO2019161300A1 (en) * | 2018-02-18 | 2019-08-22 | Nvidia Corporation | Detecting objects and determining confidence scores |
KR102061810B1 (ko) * | 2018-03-23 | 2020-01-02 | 단국대학교 산학협력단 | 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법 |
US11214268B2 (en) * | 2018-12-28 | 2022-01-04 | Intel Corporation | Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles |
-
2018
- 2018-03-06 KR KR1020180026490A patent/KR101967339B1/ko active IP Right Grant
- 2018-11-15 US US16/191,577 patent/US10946864B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269215A (ja) * | 2007-04-19 | 2008-11-06 | Nippon Telegr & Teleph Corp <Ntt> | 特異パターン検出システム、モデル学習装置、特異パターン検出方法、及び、コンピュータプログラム |
KR20150011620A (ko) | 2013-07-23 | 2015-02-02 | 현대오트론 주식회사 | 차간 거리용 센서 고장 보상 시스템 및 방법 |
WO2017094267A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社Preferred Networks | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 |
KR20170068059A (ko) | 2015-12-09 | 2017-06-19 | 현대자동차주식회사 | 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법 |
KR101786237B1 (ko) * | 2015-12-09 | 2017-10-17 | 현대자동차주식회사 | 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200126935A (ko) * | 2019-04-29 | 2020-11-09 | 모셔널 에이디 엘엘씨 | 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법 |
KR102306142B1 (ko) | 2019-04-29 | 2021-09-30 | 모셔널 에이디 엘엘씨 | 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법 |
US11548526B2 (en) | 2019-04-29 | 2023-01-10 | Motional Ad Llc | Systems and methods for implementing an autonomous vehicle response to sensor failure |
KR20230091844A (ko) * | 2019-04-29 | 2023-06-23 | 모셔널 에이디 엘엘씨 | 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법 |
KR102652687B1 (ko) * | 2019-04-29 | 2024-03-28 | 모셔널 에이디 엘엘씨 | 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법 |
CN110525423A (zh) * | 2019-09-06 | 2019-12-03 | 湘潭大学 | 基于可靠度预测的复杂机电***安全服役控制***及方法 |
KR20220045541A (ko) * | 2020-10-05 | 2022-04-12 | 서울대학교산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
WO2022075543A1 (ko) * | 2020-10-05 | 2022-04-14 | 서울대학교 산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
KR102413958B1 (ko) * | 2020-10-05 | 2022-06-28 | 서울대학교산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
KR20230099753A (ko) * | 2021-12-27 | 2023-07-05 | 주식회사 현대케피코 | 지능형 차량 제어 시스템 및 그것의 오류 검출 방법 |
KR102642950B1 (ko) | 2021-12-27 | 2024-03-04 | 주식회사 현대케피코 | 지능형 차량 제어 시스템 및 그것의 오류 검출 방법 |
Also Published As
Publication number | Publication date |
---|---|
US10946864B2 (en) | 2021-03-16 |
US20190276041A1 (en) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101967339B1 (ko) | 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 | |
KR102061810B1 (ko) | 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법 | |
CN110494866B (zh) | 用于对象识别的多个传感器的数据的融合 | |
KR102158497B1 (ko) | 자율주행 평가시스템 | |
KR20210002018A (ko) | 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법 | |
WO2020096941A1 (en) | Systems and methods for evaluating perception system quality | |
US20220264081A1 (en) | Sensing performance evaluation and diagnosis system and sensing performance evaluation and diagnosis method for external-environment recognition sensor | |
CN112783135B (zh) | 诊断车辆的感知***的***和方法 | |
KR101934777B1 (ko) | 빅데이터 및 인공지능 학습 기반의 스크린도어 관리시스템 | |
KR102492858B1 (ko) | 자율 주행 시스템의 페일 세이프 기능 보장 장치 및 방법 | |
KR102416474B1 (ko) | 기계학습 기반 고장 진단 장치 및 방법 | |
CN114330473A (zh) | 感知***错误检测和重新验证 | |
KR101565030B1 (ko) | 데이터 분석을 이용한 자동차의 오류 판단 시스템 및 그 방법 | |
JP2019095836A (ja) | 診断システム | |
CN113095125A (zh) | 基于场景连续性来诊断感知*** | |
US20230366981A1 (en) | Method for Determining a Sensor Degradation Status | |
KR102368427B1 (ko) | 인공지능 알고리즘을 이용한 자율주행 동적운행 위험도 분석 및 평가 방법과, 이를 이용한 자율주행 평가시스템 | |
KR20180055433A (ko) | 페일-세이프 기능을 갖는 자율 주행 시스템 및 이의 방법 | |
CN112052714A (zh) | 用于对飞行器传感器建模的数据驱动的机器学习 | |
US20210300394A1 (en) | Method for Monitoring a Vehicle System for Detecting an Environment of a Vehicle | |
CN110333517B (zh) | 障碍物感知方法、装置及存储介质 | |
KR20210060779A (ko) | 차량센서의 이상 진단 장치 및 그 방법 | |
KR102303406B1 (ko) | 산업설비의 이상유무 진단장치 및 방법 | |
WO2023228722A1 (ja) | 画像認識システム | |
KR102261840B1 (ko) | 군집비행에서의 개체 간 고장검출 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |