KR102334775B1 - Vehicle autonomous driving monitoring system - Google Patents

Vehicle autonomous driving monitoring system Download PDF

Info

Publication number
KR102334775B1
KR102334775B1 KR1020200077824A KR20200077824A KR102334775B1 KR 102334775 B1 KR102334775 B1 KR 102334775B1 KR 1020200077824 A KR1020200077824 A KR 1020200077824A KR 20200077824 A KR20200077824 A KR 20200077824A KR 102334775 B1 KR102334775 B1 KR 102334775B1
Authority
KR
South Korea
Prior art keywords
vehicle
driving
autonomous driving
event
unit
Prior art date
Application number
KR1020200077824A
Other languages
Korean (ko)
Other versions
KR102334775B9 (en
Inventor
이창형
이민호
Original Assignee
주식회사 이아우토반
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이아우토반 filed Critical 주식회사 이아우토반
Priority to KR1020200077824A priority Critical patent/KR102334775B1/en
Application granted granted Critical
Publication of KR102334775B1 publication Critical patent/KR102334775B1/en
Publication of KR102334775B9 publication Critical patent/KR102334775B9/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00259—Surveillance operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/30—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating rear of vehicle, e.g. by means of reflecting surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/43—Indexing codes relating to other road users or special conditions following vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to an autonomous driving monitoring system for a vehicle. The autonomous driving monitoring system for a vehicle includes: an image collection part collecting images of the interior and exterior of a vehicle performing autonomous driving; a data collection part collecting driving data of the vehicle performed in accordance with an autonomous driving signal generated for the driving control of the autonomous driving; a storage part storing the collected images and driving data; and a monitoring part controlling the operation of the storage part so as to store images and driving data collected from a moment before a set time to a moment after the set time, with respect to an event occurrence moment, when an event occurs. Accordingly, the autonomous driving monitoring system for a vehicle can bring about the effects of accurately analyzing the cause for the occurrence of an abnormal situation and accurately determining whether a driver intervenes to take control when the abnormal situation occurs during autonomous driving.

Description

차량의 자율주행 모니터링 시스템{Vehicle autonomous driving monitoring system}Vehicle autonomous driving monitoring system {Vehicle autonomous driving monitoring system}

본 발명은 차량의 자율주행 모니터링 시스템에 관한 것으로, 더욱 상세하게는 차량 자율주행시 사고발생, 자율주행 오작동과 같은 이상 상황을 감지하고 이상 상황이 발생하면 이상 상황 발생 시점 전후의 차량 내외부 영상 및 차량 운행 데이터를 저장하여 자율주행시 발생한 이상 상황의 발생 원인을 정확하게 분석 가능하도록 하는 차량의 자율주행 모니터링 시스템을 제공하는 것이다.The present invention relates to an autonomous driving monitoring system for a vehicle, and more particularly, detecting abnormal situations such as accidents and autonomous driving malfunctions during autonomous driving of the vehicle. To provide an autonomous driving monitoring system for a vehicle that stores data to accurately analyze the cause of abnormal situations occurring during autonomous driving.

자율주행 차량(Autonomous Vehicle)은 운전자가 조작하지 않아도 스스로 목적지까지 주행하는 차량으로, 운전자의 탑승 여부에 상관없이 차량이 독립적으로 도로의 상황 등을 판단해 자율주행 할 수 있는 기술을 갖춘 차량을 의미한다.An autonomous vehicle is a vehicle that travels to its destination by itself without the driver's manipulation. do.

이러한 자율주행 운행 중에는 자율주행이 정상적으로 운행되고 있는지 감시가 이루어지며 자율주행 운행 중에 오작동 또는 차량 사고 등의 이상 상황이 발생하였을 때에는 이상 상황의 발생 원인을 분석하기 위해 이상 상황 발생 시점에서부터 차량 운행 데이터 또는 차량 주변 영상을 수집하여 저장한다.During the autonomous driving operation, whether the autonomous driving is operating normally is monitored, and when an abnormal situation such as a malfunction or a vehicle accident occurs during autonomous driving operation, in order to analyze the cause of the abnormal situation, the vehicle operation data or It collects and stores images around the vehicle.

하지만, 차량에 이상 상황이 발생한 시점에서부터 저장된 차량 운행 데이터 또는 차량 주변 영상만으로 이상 상황의 발생 원인을 정확하게 분석하기에는 한계가 존재한다.However, there is a limit in accurately analyzing the cause of the abnormal situation only from the stored vehicle driving data or images around the vehicle from the point in time when the abnormal situation occurs in the vehicle.

한편, 미국자동차공학회(SAE)의 가이드라인에 따르면 자율주행 차량 기술은 기술 수준에 따라 레벨 0에서 레벨 5까지의 6단계로 구분한다. 레벨 0의 차량은 전혀 자율주행 기능이 없는 차량으로 차선이탈 및 전방추돌경고 장치가 정착됐지만 차량 스스로 방향을 바꾸거나 감속을 할 수 없는 차량이 레벨 0에 포함된다. 레벨 1 차량은 차량 스스로 제어하는 능력을 갖춰 차량이 충돌이나 차선이탈 위험을 감지해 스스로 속도를 줄이거나 방향을 전환할 수 있는 차량이며 레벨 2 차량은 레벨 1 차량의 기능을 복합적으로 수행하는 차량이다. 예를 들어 차량이 스스로 조향하면서 가속이나 감속한다면 레벨 2에 해당한다. 레벨 3의 차량은 조향, 가속, 감속, 추월 가능하고 운전자가 계속 운전대를 잡고 있거나 브레이크나 가속페달에 발을 올리지 않아도 되는 차량으로 실질적인 자율주행이 가능한 차량이다. 레벨 4의 차량은 운전자가 차량의 운전 개입 요청을 즉시 응하지 못해도 차량 스스로 안전주행을 하거나 속도를 줄여 안전한 곳에 주차할 수 있는 수준이고, 레벨 5는 완전 자율주행 단계로 운전자가 원하는 목적지를 말하고 나서는 운전에 전혀 개입하지 않아도 되는 수준을 의미한다.On the other hand, according to the guidelines of the Society of Automotive Engineers (SAE), autonomous vehicle technology is divided into six stages from level 0 to level 5 according to the technology level. Level 0 vehicles are vehicles that do not have autonomous driving functions at all, and vehicles that have lane departure and forward collision warning systems installed but cannot change direction or slow down on their own are included in level 0 vehicles. A level 1 vehicle is a vehicle that has the ability to self-control, so that the vehicle can reduce its speed or change direction by detecting the risk of a collision or lane departure. A level 2 vehicle is a vehicle that performs the functions of a level 1 vehicle in combination. . For example, if a vehicle accelerates or decelerates while steering itself, it is level 2. Level 3 vehicles are capable of steering, acceleration, deceleration, and overtaking, and are vehicles that do not require the driver to keep their hands on the steering wheel or put their feet on the brake or accelerator pedal. A level 4 vehicle is a level where the vehicle can safely drive itself or park in a safe place by reducing the speed even if the driver does not immediately respond to the driver's request for intervention. This means that there is no need to intervene at all.

현 시점은 레벨 2 또는 레벨 3의 자율주행 차량의 상용화를 준비하는 시점으로, 상술한 바와 같이 레벨 2의 자율주행 차량은 운전자의 부분적인 운전 조작 개입이 필이 요구되며 또한 레벨 3의 자율주행 차량은 자율주행 중에 운전자가 자의 또는 타의에 의해 운전 조작에 개입하는 상황이 발생할 수 있다.The current time is the time to prepare for the commercialization of level 2 or level 3 autonomous vehicles. As described above, level 2 autonomous vehicles require partial driver intervention in driving, and also level 3 autonomous vehicles. During autonomous driving, a situation may arise in which the driver voluntarily or unwillingly intervenes in driving operation.

이와 같은 레벨 2 또는 레벨 3의 자율주행 차량에서 자율주행 운행 중에 오작동 또는 차량 사고 등의 이상 상황이 발생하였을 때 발생한 이상 상황의 원인이 운전자의 운전 조작 개입에 의한 것일 수 있다. 하지만, 이를 판단하기 위해서는 이상 상황의 발생 시점에서의 운전자의 운전 조작 개입이 있었는지 확인이 이루어져야 하는데 이상 시점으로부터 수집된 운행 데이터 또는 차량 주변 영상을 통해서는 운전자의 운전 조작 개입이 있었는지 확인할 수 없다는 문제점이 존재한다.When an abnormal situation such as a malfunction or a vehicle accident occurs during autonomous driving in the level 2 or level 3 autonomous driving vehicle, the cause of the abnormal situation may be due to the driver's intervention in driving manipulation. However, in order to determine this, it is necessary to check whether there was any driver intervention at the time of the occurrence of the abnormal situation. A problem exists.

대한민국 공개특허 제10-2019-0017339호Republic of Korea Patent Publication No. 10-2019-0017339

본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 차량 자율주행시 자율주행 오작동과 같은 이상 상황을 감지하고 이상 상황이 발생하면 이상 상황 발생 시점 전후시간 동안 수집된 차량 내외부 영상 및 차량 운행 데이터를 저장하여, 자율주행시 발생한 이상 상황에서의 운전자의 조작 개입 여부 및 이상 상황 발생 원인을 정확하게 분석 가능하도록 하는 차량의 자율주행 모니터링 시스템을 제공하는 것이다.The present invention is to solve the problems of the prior art mentioned above, and an object of the present invention is to detect an abnormal situation such as an autonomous driving malfunction during autonomous driving of a vehicle, and collect it during the time before and after the abnormal situation occurs when an abnormal situation occurs It is to provide an autonomous driving monitoring system of a vehicle that can accurately analyze whether the driver intervenes in an abnormal situation that occurs during autonomous driving and the cause of the abnormal situation by storing the internal and external images of the vehicle and vehicle operation data.

본 발명이 이루고자 하는 또 다른 목적은, 차량이 자율주행 중인지 여부를 후방 차량에게 알리고 자율주행 중에 이상 상황이 발생하면 이상 상황이 발생하였음을 후방 차량에 알려, 후방 차량이 이상 상황에 따른 사고 발생을 사전에 대비 가능하도록 하는 자율주행 모니터링 시스템을 제공하는 것이다.Another object of the present invention is to notify the rear vehicle of whether the vehicle is autonomously driving or not, and if an abnormal situation occurs during autonomous driving, inform the rear vehicle that the abnormal situation has occurred, so that the rear vehicle prevents the occurrence of an accident according to the abnormal situation It is to provide an autonomous driving monitoring system that enables preparation in advance.

본 발명이 이루고자 하는 다른 목적은, 이상 상황 발생시 발생한 이상 상황의 정확한 원인 분석이 이뤄지기에 충분한 시간동안 수집된 데이터 및 영상이 저장되도록 하되, 구비된 저장 장치의 저장 용량을 고려하여 저장되는 시간 길이가 조절되도록 하여 저장 장치의 용량 초과 발생을 방지하도록 하는 자율주행 모니터링 시스템을 제공하는 것이다.Another object of the present invention is to ensure that the collected data and images are stored for a sufficient time for accurate cause analysis of the abnormal situation that occurs when an abnormal situation occurs, but the length of time stored in consideration of the storage capacity of the provided storage device is It is to provide an autonomous driving monitoring system to prevent the occurrence of excess capacity of the storage device.

본 발명의 일 실시예에 따른 차량의 자율주행 모니터링 시스템은, 자율주행 중인 차량 내부 및 외부의 영상을 수집하는 영상 수집부와, 자율주행의 운행 제어를 위해 생성된 자율주행 신호에 따라 수행된 차량의 운행 데이터를 수집하는 데이터 수집부와, 수집된 영상 및 운행 데이터가 저장되는 저장부, 그리고 이벤트가 발생하면 이벤트 발생 시점을 기준으로 설정 시간 이전 시점에서부터 설정 시간 이후 시점까지 수집된 영상 및 운행 데이터가 저장되도록 저장부를 작동 제어하는 감시부를 포함한다.An autonomous driving monitoring system for a vehicle according to an embodiment of the present invention includes an image collecting unit that collects images inside and outside a vehicle in autonomous driving, and a vehicle performed according to an autonomous driving signal generated for operation control of autonomous driving. A data collection unit that collects driving data of and a monitoring unit for controlling the operation of the storage unit to be stored.

이때, 감시부는 자율주행 신호와 운행 데이터를 비교하여 이벤트 발생 여부를 판단하는 이벤트 판단부와, 이벤트가 발생하면 영상 및 운행 데이터가 저장되도록 저장부를 작동 제어하는 저장 제어부를 포함할 수 있다.In this case, the monitoring unit may include an event determination unit that determines whether an event occurs by comparing the autonomous driving signal and driving data, and a storage control unit that operates and controls the storage unit to store images and driving data when an event occurs.

또한, 이벤트 판단부는, 운행 데이터와 자율주행 제어 신호에 따른 목표 제어값 간의 차이값이 오차 허용 범위를 벗어나거나 또는 제어 신호 생성 시점과 운행 데이터 수집 시점 간에 시간차가 허용 시간을 초과하면 이벤트가 발생한 것으로 판단할 수 있다.In addition, the event determination unit determines that an event has occurred when the difference between the driving data and the target control value according to the autonomous driving control signal is out of an tolerance range or when the time difference between the control signal generation time and the driving data collection time exceeds the allowable time. can judge

또한, 저장 제어부는 이벤트 발생시 저장되는 영상 및 운행 데이터의 시간 길이를 저장부의 잔여 용량에 비례하게 설정할 수 있다.In addition, the storage control unit may set the length of time of the image and driving data to be stored when an event occurs in proportion to the remaining capacity of the storage unit.

또한, 저장부는 영상 및 운행 데이터가 저장되면 저장된 영상 및 운행 데이터를 외부 서버에 전송할 수 있다.Also, when the image and the driving data are stored, the storage unit may transmit the stored image and the driving data to an external server.

또한, 영상 수집부는 차량의 전방, 차량의 후방, 핸들, 변속 레버, 브레이크 페달 및 가속 페달을 향해 영상을 수집하도록 배치되는 다수개의 영상 수집장치가 구비될 수 있다.Also, the image collecting unit may include a plurality of image collecting devices arranged to collect images toward the front of the vehicle, the rear of the vehicle, a steering wheel, a shift lever, a brake pedal, and an accelerator pedal.

또한, 다수개의 영상 수집장치 중 브레이크 페달 및 가속 페달을 향해 영상을 수집하도록 배치되는 영상 수집장치는 수동주행 모드시 차체에 매립된 상태로 배치되고 자율주행 모드시 노출되어 영상을 수집할 수 있다.Also, among the plurality of image collecting devices, the image collecting device disposed to collect images toward the brake pedal and the accelerator pedal may be disposed in a state embedded in the vehicle body in the manual driving mode and exposed in the autonomous driving mode to collect images.

또한, 차량의 자율주행 모니터링 시스템은 후방을 향해 배치되어 차량의 주행 상태에 대한 알림 메시지가 출력되는 전광판을 더 포함하고, 감시부는 차량이 자율주행 모드로 운행 중인지 여부에 대한 알림 메시지가 출력되도록 전광판을 출력 제어하는 출력 제어부를 포함할 수 있다.In addition, the autonomous driving monitoring system of the vehicle further includes an electronic display that is disposed toward the rear to output a notification message about the driving state of the vehicle, and the monitoring unit outputs a notification message about whether the vehicle is operating in the autonomous driving mode. It may include an output control unit for controlling the output.

또한, 출력 제어부는 이벤트가 발생하면 이벤트가 발생하였음을 알리는 알림 메시지가 출력되도록 전광판을 출력 제어할 수 있다.In addition, when an event occurs, the output control unit may output control the electronic sign board to output a notification message indicating that the event has occurred.

본 발명에 의하면, 차량 자율주행시 이벤트가 발생하면 이벤트 발생 시점을 기준으로 설정 시간 이점 시점에서부터 설정 시간 이후 시점까지 수집된 영상 및 운행 데이터를 저장함으로써 이상 상황의 발생 원인의 정확한 분석을 가능하도록 하며, 차량의 주변뿐 아니라 핸들, 변속 레버, 브레이크 페달 및 가속 페달과 같은 운전 조작 장치들을 향해 영상을 수집함으로써 자율주행시 발생한 이상 상황에서의 운전자의 조작 개입이 있었는지를 정확하게 판단할 수 있도록 한다.According to the present invention, when an event occurs during autonomous vehicle driving, it is possible to accurately analyze the cause of the abnormal situation by storing the images and driving data collected from the time point of the set time advantage to the time point after the set time based on the time of occurrence of the event, By collecting images not only around the vehicle but also toward driving control devices such as the steering wheel, shift lever, brake pedal, and accelerator pedal, it is possible to accurately determine whether the driver's manipulation has occurred in abnormal situations that occur during autonomous driving.

또한, 차량 후방을 향해 배치되는 전광판을 통해 차량이 자율주행 중에 이상 상황이 발생하면 이상 상황이 발생하였음을 후방 차량에 알려, 후방 차량이 이상 상황에 따른 사고 발생을 사전에 대비 가능하도록 함으로써 이상 상황 발생으로 인한 후방 차량과의 사고 발생을 방지할 수 있다.In addition, if an abnormal situation occurs while the vehicle is autonomously driving through an electronic display placed toward the rear of the vehicle, the vehicle in the rear informs the rear vehicle that the abnormal situation has occurred, so that the rear vehicle can prepare for an accident due to the abnormal situation in advance. It is possible to prevent an accident with the vehicle in the rear due to the occurrence.

또한, 이벤트 발생시 저장되는 영상 및 운행 데이터의 시간 길이를 구비된 저장 장치의 잔여 저장 용량에 비례하도록 설정함으로써 이상 상황 발생시 발생한 이상 상황의 정확한 원인 분석이 이뤄지기에 충분한 시간동안 수집된 데이터 및 영상이 저장되도록 하면서도 저장 장치의 용량이 초과되어 기존의 저장된 데이터 및 영상이 삭제되거나 또는 새로 발생한 이벤트에 대한 데이터 및 영상이 저장되지 못하는 것을 방지할 수 있다.In addition, by setting the length of time of the image and driving data to be stored when an event occurs in proportion to the remaining storage capacity of the provided storage device, the collected data and images are stored for a sufficient period of time to accurately analyze the cause of the abnormal situation when an abnormal situation occurs. However, it is possible to prevent previously stored data and images from being deleted or from being unable to store data and images for a newly occurred event due to the capacity of the storage device being exceeded.

도 1은 본 발명의 일 실시예에 따른 차량의 자율주행 모니터링 시스템의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 수집 장치, 표시장치 및 전광판의 배치 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 감시부의 동작 특성을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 감시부의 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 자율주행 모니터링 방법을 도시한 순서도이다.
도 6a와 도 6b는 본 발명의 일 실시예에 따른 저장 제어부의 동작 특성을 설명하기 위해 도시한 도면이다.1 is a functional block diagram of an autonomous driving monitoring system for a vehicle according to an embodiment of the present invention.
2 is a diagram illustrating an example of arrangement of an image collection device, a display device, and an electric sign board according to an embodiment of the present invention.
3 is a diagram illustrating the operation characteristics of the monitoring unit according to an embodiment of the present invention.
4 is a functional block diagram of a monitoring unit according to an embodiment of the present invention.
5 is a flowchart illustrating a method for monitoring autonomous driving of a vehicle according to an embodiment of the present invention.
6A and 6B are diagrams for explaining the operation characteristics of the storage control unit according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, it should be noted that in adding reference numerals to the components of each drawing, the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 차량의 자율주행 모니터링 시스템의 기능 블록도이고, 도 2는 본 발명의 일 실시예에 따른 영상 수집 장치, 표시장치 및 전광판의 배치 예를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 감시부의 동작 특성을 설명하기 위해 도시한 도면이다.1 is a functional block diagram of an autonomous driving monitoring system for a vehicle according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating an example of arrangement of an image collection device, a display device, and an electric sign board according to an embodiment of the present invention. , FIG. 3 is a diagram illustrating the operation characteristics of a monitoring unit according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 실시예에 따른 차량의 자율주행 모니터링 시스템(이하, '모니터링 시스템이라 한다)에는 차량 내부 및 외부의 영상을 수집하는 영상 수집부(10)와, 차량의 운행 데이터를 수집하는 데이터 수집부(20)와, 수집된 영상 및 운행 데이터가 저장되는 저장부(30)와, 이벤트 발생을 판단하고 이벤트가 발생하면 수집된 영상 및 운행 데이터가 저장되도록 저장부(30)를 제어하는 감시부(40)와, 수집한 차량 운행 데이터를 운전자에게 출력하는 표시장치(50), 그리고 차량의 운행 중인 모드(자율주행 모드/수동주행 모드)를 후방 차량을 향해 출력하는 전광판(60)이 포함될 수 있다.As shown in FIG. 1 , the autonomous driving monitoring system for a vehicle (hereinafter, referred to as a 'monitoring system) according to the present embodiment includes an image collecting unit 10 that collects images inside and outside the vehicle, and driving data of the vehicle. A data collection unit 20 for collecting the data, a storage unit 30 for storing the collected images and driving data, and a storage unit 30 to determine the occurrence of an event and to store the collected images and driving data when the event occurs A monitoring unit 40 controlling 60) may be included.

영상 수집부(10)는 차량의 내부 및 외부의 영상을 수집한다. 영상 수집부(10)는 차량이 자율주행에 의해 운행되는 자율주행 모드 또는 차량이 운전자에 의해 운행되는 수동주행 모드에서 영상을 수집할 수 있으며, 바람직하게, 영상 수집부(10)는 자율주행 모드에서는 차량의 내부 및 외부 영상을 모두 수집하며 수동 주행 모드에서는 차량의 외부 영상만 수집할 수 있다. 이는 본 실시에에 따른 모니터링 시스템에서 수집된 차량 내부 영상은 자율주행 시 운전자의 운행 조작 개입 유무를 판단하기 위해 사용되는 것으로 수동모드에서는 차량 내부 영상의 수집 의미가 없기 때문이며 불필요하게 수집된 차량 내부 영상의 저장공간 차지를 방지하고 과도한 운전자 사생활 침해를 방지하기 위함이다.The image collecting unit 10 collects images inside and outside the vehicle. The image collection unit 10 may collect images in an autonomous driving mode in which the vehicle is operated by autonomous driving or a manual driving mode in which the vehicle is operated by a driver, and preferably, the image collection unit 10 is configured in an autonomous driving mode In this mode, both internal and external images of the vehicle are collected, and only the external images of the vehicle can be collected in the manual driving mode. This is because the vehicle interior image collected by the monitoring system according to this embodiment is used to determine whether the driver intervenes in driving operation during autonomous driving, and there is no meaning in collecting the vehicle interior image in the manual mode. This is to prevent occupancy of storage space and to prevent excessive invasion of driver's privacy.

영상 수집부(10)는 차량의 내부 및 외부의 영상을 수집하기 위해 다수개의 영상 수집장치(11~14)가 구비될 수 있다. 도 2를 참조하여 보다 구체적으로 설명하면 영상 수집부(10)에는 차량의 전방을 향해 배치되어 차량 전방의 영상을 수집하는 제1 영상 수집 장치(11)와, 차량의 후방을 향해 배치되어 차량 후방의 영상을 수집하는 제2 영상 수집 장치(12)와, 차량의 핸들 및 변속 레버를 향해 배치되어 핸들 및 변속 레버를 대상으로 하는 영상을 수집하는 제3 영상 수집 장치(13), 그리고 차량의 브레이크 페달 및 가속 페달을 향해 영상을 수집하도록 배치되어 브레이크 페달 및 가속 페달을 대상으로 하는 영상을 수집하는 제4 영상 수집 장치(14)가 구비될 수 있다.The image collecting unit 10 may be provided with a plurality of image collecting devices 11 to 14 to collect images inside and outside the vehicle. In more detail with reference to FIG. 2 , the image collecting unit 10 includes a first image collecting device 11 disposed toward the front of the vehicle to collect an image of the front of the vehicle, and a first image collecting device 11 disposed toward the rear of the vehicle and disposed toward the rear of the vehicle. A second image collecting device 12 for collecting images of the vehicle, a third image collecting device 13 disposed toward the steering wheel and shift lever of the vehicle to collect images targeting the steering wheel and shift lever, and a brake of the vehicle A fourth image collecting device 14 that is arranged to collect images toward the pedal and accelerator pedal and collects images targeting the brake pedal and accelerator pedal may be provided.

그리고 제1 내지 제4 영상 수집장치(11, 12, 13, 14)에서 수집된 영상은 이벤트 발생시 저장부(30)에 저장되어 이벤트 발생 원인을 분석하는 자료로 사용될 수 있다. 구체적으로, 제1 내지 제2 영상 수집장치(11, 12)에서 수집된 영상은 이벤트 발생시점 전후에 차량 전방 및 후방의 상황을 확인할 수 있는 자료로 사용되며 제3 내지 제4 영상 수집장치(13, 14)에서 수집된 영상은 이벤트 발생 시점 전후에 운전자가 핸들, 변속 레버, 브레이크 페달 및 가속 페달을 조작하였는지를 확인하는 자료로 사용될 수 있다.In addition, the images collected by the first to fourth image collecting devices 11, 12, 13, and 14 may be stored in the storage unit 30 when an event occurs and used as data for analyzing the cause of the event. Specifically, the images collected by the first to second image collecting devices 11 and 12 are used as data for checking the situation of the front and rear of the vehicle before and after the event occurs, and the third to fourth image collecting devices 13 , 14) can be used as data to confirm whether the driver operated the steering wheel, shift lever, brake pedal, and accelerator pedal before and after the event occurred.

일반적으로 브레이크 페달 및 가속 페달은 구석진 곳에 배치되기 때문에 운전자의 브레이크 페달 및 가속 페달 조작 여부를 확인 가능한 영상을 수집하기 위해서 제4 영상 수집장치(14)는 브레이크 페달 및 가속 페달의 부근에 배치될 수 있는데, 이와 같이 브레이크 페달 및 가속 페달의 부근에 배치되는 제4 영상 수집장치(14)는 수동주행 모드시 브레이크 페달 및 가속 페달을 조작하는 운전자에게 불편함을 줄 수 있다. 이를 방지하기 위해 제4 영상 수집장치(14)는 수동주행 모드시 차체에 매립된 상태로 배치되고 자율주행 모드시 외부로 노출되어 영상을 수집할 수 있다.In general, since the brake pedal and the accelerator pedal are arranged in a corner, the fourth image collecting device 14 may be arranged near the brake pedal and the accelerator pedal in order to collect an image capable of confirming whether the driver operates the brake pedal and the accelerator pedal. However, as described above, the fourth image collecting device 14 disposed near the brake pedal and the accelerator pedal may give inconvenience to a driver who operates the brake pedal and the accelerator pedal in the manual driving mode. To prevent this, the fourth image collecting device 14 may be disposed in a state of being embedded in the vehicle body in the manual driving mode and exposed to the outside in the autonomous driving mode to collect images.

한편, 본 실시예에 따른 모니터링 시스템이 적용되는 자율주행 차량은 자율주행의 운행 제어를 위해 주행 제어부(c)에서 생성된 자율주행 신호에 따라 각 장치가 동작 제어됨으로써 자율주행이 이루어지는데, 데이터 수집부(20)는 자율주행 신호에 따라 수행된 차량의 운행 데이터를 수집한다. 여기서 데이터 수집부(20)에 의해 수집되는 운행 데이터는 주행 제어부(c)가 자율주행의 운행을 제어하기 위한 정보로도 사용될 수 있으며, 운행 데이터에는 엔진 RPM, 주행 속도, 차량의 조향 방향, 브레이크 압력 등이 포함될 수 있다.Meanwhile, in the autonomous driving vehicle to which the monitoring system according to the present embodiment is applied, autonomous driving is performed by operating each device according to the autonomous driving signal generated by the driving control unit c to control the operation of autonomous driving. The unit 20 collects driving data of the vehicle performed according to the autonomous driving signal. Here, the driving data collected by the data collection unit 20 may be used as information for the driving controller c to control the driving of autonomous driving, and the driving data includes engine RPM, driving speed, vehicle steering direction, and brake pressure, etc. may be included.

영상 수집부(10)와 데이터 수집부(20)에서 수집된 영상 및 데이터는 저장부(30)에 저장될 수 있다. 보다 구체적으로 설명하면 영상 수집부(10)와 데이터 수집부(20)에서 수집된 영상 및 운행 데이터는 저장부(30)에 임시 저장되고 저장부(30)에 임시 저장된 영상 및 운행 데이터 중 일부는 감시부(40)의 제어에 의해 영구 저장되며 임시 저장된 영상 및 운행 데이터 중 영구 저장되지 않은 영상 및 운행 데이터는 임시 저장 시점으로부터 소정 시간이 지나거나 또는 소정 용량의 새로운 영상 및 운행 데이터가 임시 저장되면 삭제될 수 있다.The images and data collected by the image collection unit 10 and the data collection unit 20 may be stored in the storage unit 30 . In more detail, the images and driving data collected by the image collecting unit 10 and the data collecting unit 20 are temporarily stored in the storage unit 30 , and some of the images and driving data temporarily stored in the storage 30 are Images and driving data that are permanently stored under the control of the monitoring unit 40 and are not permanently stored among the temporarily stored images and driving data are temporarily stored when a predetermined time elapses or new images and driving data of a predetermined capacity are temporarily stored. may be deleted.

바람직하게, 저장부(30)는 영상 및 운행 데이터가 영구 저장되면 영구 저장된 영상 및 운행 데이터를 통신 연결된 외부 서버로 전송할 수 있다. 이때, 저장부(30)는 외부 서버로 전송한 영상 및 운행 데이터를 삭제할 수도 있지만 바람직하게는 삭제하지 않고 영상 및 운행 데이터가 저장부(30) 및 외부 서버에 이중으로 저장되도록 할 수 있다. Preferably, when the image and driving data are permanently stored, the storage unit 30 may transmit the permanently stored image and driving data to an external server through which communication is connected. In this case, the storage unit 30 may delete the image and the operation data transmitted to the external server, but preferably, the image and the operation data are stored in the storage unit 30 and the external server in a double manner without deletion.

감시부(40)는 이벤트 발생을 판단할 수 있다. 여기서 이벤트란 차량에 발생하는 이상 상황으로 차량 또는 차량 주변에 발생한 물리적인 충격, 자율주행 중의 오작동 등이 포함될 수 있다.The monitoring unit 40 may determine the occurrence of an event. Here, an event is an abnormal situation that occurs in a vehicle, and may include a physical shock occurring in or around the vehicle, a malfunction during autonomous driving, and the like.

감시부(40)는 별도의 충격 감지 센서가 차량 또는 차량 주변에서 발생한 충격을 감지하면 감지한 충격 정보를 수신하고 수신한 충격 정보에 기초하여 이벤트 발생을 판단할 수 있으며, 주행 제어부(c)에서 생성된 자율주행 신호와 데이터 수집부(20)에서 수집된 운행 데이터를 수신하고 수신한 자율주행 신호와 운행 데이터에 기초하여 이벤트 발생을 판단할 수 있다.The monitoring unit 40 may receive the detected shock information when a separate shock sensor detects an impact occurring in the vehicle or around the vehicle, and may determine the occurrence of an event based on the received shock information, and in the driving control unit (c) The generated autonomous driving signal and driving data collected by the data collection unit 20 may be received, and the occurrence of an event may be determined based on the received autonomous driving signal and driving data.

그리고 감시부(40)는 이벤트가 발생하면 이벤트 발생 시점을 기준으로 설정 시간 이점 시점에서부터 설정 시간 이후 시점까지 수집된 영상 및 운행 데이터가 저장부(30)에 영구 저장되도록 저장부(30)를 작동 제어할 수 있다. 도 3을 예로 하여 설명하면 감시부(40)는 이벤트가 발생하면 이벤트 발생 시점(ta)을 기준으로 10초 전 시점(t1)으로부터 10초 후 시점(t2)까지 20초 동안 수집된 영상 및 운행 데이터가 영구 저장되도록 저장부(30)를 작동 제어할 수 있다. And when an event occurs, the monitoring unit 40 operates the storage unit 30 to permanently store the collected images and driving data from the set time advantage point to the set time point after the set time based on the event occurrence time point. can be controlled Referring to the FIG. 3 example monitoring unit 40 is an event occurs, the collected for 20 seconds for the event occurrence time point (t a) the time after 10 seconds from 10 seconds before the time (t 1) by (t 2) The storage unit 30 may be operated and controlled so that images and driving data are permanently stored.

이와 같이 본 실시예에 따른 모니터링 시스템은 이벤트 발생시 이벤트 발생 시점에서 소정 시간 이전에서부터 소정 시간 이후 시점까지 수집한 영상 및 운행 데이터를 저장하므로 이벤트 발생 전후의 차량 주변 상황, 운전자의 조작 개입 여부, 차량의 운행 데이터 등을 확인할 수 있어 이벤트 발생 원인의 정확한 분석을 가능하게 하는 효과가 있다.As such, the monitoring system according to the present embodiment stores images and driving data collected from a predetermined time before a predetermined time to a time after a predetermined time at the time of occurrence of an event when an event occurs. It has the effect of enabling an accurate analysis of the cause of an event by being able to check driving data, etc.

한편, 표시장치(50)는 운전석의 주변에 배치되며 자율주행 중에 수집되는 운행 데이터 또는 제1 영상 수집장치(11)에서 수집된 전방 영상 또는 제2 영상 수집장치(12)에서 수집된 후방 영상 등이 출력될 수 있다. Meanwhile, the display device 50 is disposed around the driver's seat and includes driving data collected during autonomous driving or a front image collected by the first image collecting device 11 or a rear image collected by the second image collecting device 12 , etc. This can be output.

이때, 감시부(40)는 이벤트가 발생하면 이벤트 메시지가 표시장치(50)에서 출력되도록 표시장치(50)를 출력 제어할 수 있다. 바람직하게, 표시장치(50)는 빛, 문자, 숫자, 기호 등의 시각적 출력 수단과, 음성, 경고음과 같은 청각적인 출력 수단과, 진동, 압축공기 등의 촉각적인 출력 수단 중 둘 이상의 수단이 구비되며, 감시부(40)는 이벤트가 발생하면 표시장치(50)에서 시각적, 청각적, 초각적 출력 수단 중 적어도 두 가지 수단이 출력되도록 표시장치(50)를 출력 제어할 수 있다.In this case, the monitoring unit 40 may output control the display device 50 to output an event message from the display device 50 when an event occurs. Preferably, the display device 50 includes at least two of a visual output means such as light, letters, numbers, and symbols, an audible output means such as voice and warning sound, and a tactile output means such as vibration and compressed air. In addition, when an event occurs, the monitoring unit 40 may output control the display device 50 so that at least two of the visual, auditory, and hypervisual output means are output from the display device 50 .

전광판(60)은 차량의 뒷 유리에 장착되어 차량의 운행 중인 모드를 문자 출력하여 차량이 운행 중인 모드를 후방 차량의 운전자에게 알린다. 구체적으로, 전광판(60)은 주행 제어부(c)에서 자율주행 신호가 생성되는 동안에는 '자율주행'과 같이 자율주행 모드로 운행되고 있음을 알 수 있게 하는 문구를 출력하고 주행 제어부(c)에서 자율주행 신호가 생성되지 않는 동안에는 '수동주행'과 같이 수동주행 모드로 운행되고 있음을 알 수 있게 하는 문구가 출력될 수 있다.The electric sign 60 is mounted on the rear glass of the vehicle and outputs the driving mode of the vehicle as a text message to notify the driver of the rear vehicle of the mode in which the vehicle is running. Specifically, while the autonomous driving signal is generated by the driving control unit (c), the electronic display panel 60 outputs a phrase indicating that the vehicle is being operated in the autonomous driving mode, such as 'autonomous driving', and autonomously from the driving control unit c). While the driving signal is not generated, a phrase indicating that the vehicle is being driven in the manual driving mode, such as 'manual driving', may be output.

바람직하게, 차량에 별도의 운전자 인식장치가 구비되어 운전자가 탑승하면 생체인식 또는 운전면허증 스캔 등을 통해 운전자를 식별하는 경우, 탑승한 운전자의 식별정보에 기초하여 운전자가 최초로 면허를 발급받은 날로부터 1년이 지나지 않은 경우, 전광판(60)은 수동주행 모드에서 출력되는 수동주행에 관련된 문구를 대체하여 운전자가 초보운전임을 알리는 문구를 출력할 수 있다.Preferably, when a separate driver recognition device is provided in the vehicle to identify the driver through biometric recognition or a driver's license scan when the driver gets on board, based on the identification information of the riding driver, from the date the driver is first issued a license If one year has not passed, the electronic display 60 may output a phrase indicating that the driver is a beginner driving by replacing the phrase related to manual driving output in the manual driving mode.

도 4는 본 발명의 일 실시예에 따른 감시부의 기능 블록도이고, 도 5는 본 발명의 일 실시예에 따른 차량의 자율주행 모니터링 방법을 도시한 순서도이며, 도 6a와 도 6b는 본 발명의 일 실시예에 따른 저장 제어부의 동작 특성을 설명하기 위해 도시한 도면이다.4 is a functional block diagram of a monitoring unit according to an embodiment of the present invention, FIG. 5 is a flowchart illustrating a method for monitoring autonomous driving of a vehicle according to an embodiment of the present invention, and FIGS. 6A and 6B are diagrams of the present invention It is a diagram illustrating the operation characteristics of the storage control unit according to an embodiment.

도 4를 참조하여 본 실시예에 따른 감시부(40)를 보다 구체적으로 살펴보면, 감시부(40)는 이벤트 발생 여부를 판단하는 이벤트 판단부(41)와, 영상 및 운행 데이터가 저장되도록 저장부(30)를 저장 제어하는 저장 제어부(42), 그리고 표시장치(50)와 전광판(60)에 이벤트 메시지가 출력되도록 표시장치(50) 및 전광판(60)을 출력 제어하는 출력 제어부(43)를 포함할 수 있다. Referring to the monitoring unit 40 according to the present embodiment in more detail with reference to FIG. 4 , the monitoring unit 40 includes an event determination unit 41 that determines whether an event has occurred, and a storage unit to store images and driving data. A storage control unit 42 for storing and controlling the 30, and an output control unit 43 for controlling the output of the display device 50 and the electronic display panel 60 so that an event message is output to the display device 50 and the electric sign board 60 may include

이벤트 판단부(41)는 별도의 충격 감지 센서로부터 차량 주변 또는 차량에 충격이 감지되면 감지된 충격량이 임계량을 초과하였는지 판단하고 임계량을 초과하였다면 이벤트가 발생한 것으로 판단할 수 있다.The event determination unit 41 may determine whether the detected amount of impact exceeds a threshold amount when an impact is sensed in the vicinity of the vehicle or the vehicle from a separate impact sensor, and if the threshold amount is exceeded, it may be determined that an event has occurred.

또한, 이벤트 판단부(41)는 주행 제어부(c)에서 생성된 자율주행 신호와 데이터 수집부(20)에서 수집된 운행 데이터를 비교하여 이벤트 발생 여부를 판단할 수 있다. 보다 구체적으로 설명하면 이벤트 판단부(41)는 운행 데이터와 자율주행 제어 신호에 따른 목표 제어값 간의 차이값이 오차 허용 범위를 벗어나면 이벤트가 발생한 것으로 판단할 수 있다. 구체적인 예를 통해 설명하면 이벤트 판단부(41)는 자율주행 제어 신호에 따른 목표 속도가 60km/h이고 오차 허용 범위가 ±3km/h일 때 수집된 차량 속도가 65km/h인 경우 이벤트가 발생한 것으로 판단할 수 있다. In addition, the event determination unit 41 may determine whether an event has occurred by comparing the autonomous driving signal generated by the driving control unit c with the driving data collected by the data collecting unit 20 . More specifically, the event determination unit 41 may determine that an event has occurred when a difference value between the driving data and the target control value according to the autonomous driving control signal is out of an allowable error range. Explaining through a specific example, when the target speed according to the autonomous driving control signal is 60 km/h and the error tolerance is ±3 km/h, the event determination unit 41 determines that an event has occurred when the collected vehicle speed is 65 km/h can judge

또한, 이벤트 판단부(41)는 자율주행 제어 신호의 생성 시점과 생상된 자율주행 제어 신호에 따른 운행 데이터 수집 시점 간에 시간차가 허용 시간을 초과하면 이벤트가 발생한 것으로 판단할 수 있다. 바람직하게, 이벤트 판단부(41)는 주행 제어 신호가 생성되고 설정된 시간이 경과하였음에도 생성된 주행 제어 신호에 따른 운행 데이터가 수집되지 않았다면 이벤트가 발생한 것으로 판단할 수 있다. 이는 차량내 통신에 문제가 생긴 경우 이벤트가 발생한 것으로 판단하기 위함이다.Also, the event determining unit 41 may determine that an event has occurred when the time difference between the generation of the autonomous driving control signal and the collection of driving data according to the generated autonomous driving control signal exceeds an allowable time. Preferably, the event determination unit 41 may determine that an event has occurred if the driving data according to the generated driving control signal is not collected even after a set time has elapsed after the driving control signal is generated. This is to determine that an event has occurred when there is a problem in in-vehicle communication.

도 5를 참조하여 저장 제어부(42)와 출력 제어부(43)에 관하여 보다 구체적으로 살펴보면, 우선 자율주행 모드가 시작되고(S11), 영상 수집부(10) 및 데이터 수집부(20)에서 영상 및 주행 데이터를 수집한다(S12). 이때 수집한 영상 및 주행 데이터는 저장부(30) 임시 저장될 수 있다.Referring in more detail to the storage control unit 42 and the output control unit 43 with reference to FIG. 5 , the autonomous driving mode is first started ( S11 ), and the image and Driving data is collected (S12). In this case, the collected image and driving data may be temporarily stored in the storage unit 30 .

이벤트 판단부(41)가 이벤트가 발생하였는지 판단하고(S13), 이벤트가 발생하지 않으면(S13-N), 저장부(30)는 임시 저장한 영상 및 주행 데이터 중 설정 시간이 경과한 영상 및 주행 데이터를 삭제한다(S14).The event determination unit 41 determines whether an event has occurred (S13), and if the event does not occur (S13-N), the storage unit 30 temporarily stores images and driving data for which a set time has elapsed and driving Data is deleted (S14).

만약 이벤트가 발생하였다면(S13-Y), 저장 제어부(42)는 임시 저장된 영상 및 운행 데이터 중 이벤트 발생 시점의 설정시간 이전 시점부터 이벤트 발생 시점의 설정시간 이후 시점까지 수집된 영상 및 운행 데이터를 영구 저장하고(S15), 영구 저장된 영상 및 운행 데이터를 외부 서버로 전송하여 백업이 이루어질 수 있도록 한다(S16).If an event occurs (S13-Y), the storage control unit 42 permanently stores the collected images and driving data from a time before the set time of the event occurrence time to a time after the set time of the event occurrence time among the temporarily stored images and driving data. It stores (S15), and transmits the permanently stored image and operation data to an external server so that a backup can be made (S16).

이때, 저장 제어부(42)는 이벤트 발생시 저장되는 영상 및 운행 데이터의 시간 길이를 탄력적으로 설정할 수 있다. 저장 제어부(42)는 이벤트 발생시 저장되는 영상 및 운행 데이터의 시간 길이를 저장부(30)의 잔여 용량에 비례하게 설정할 수 있다. 도 6a 및 도 6b를 예로 하여 설명하면, 저장 제어부(42)는 잔여 용량이 75% 이상인 경우에는 이벤트 발생 시점의 15초 이전 시점부터 15초 이후 시점까지의 총 30초 동안 수집된 영상 및 운행 데이터를 영구 저장하고, 잔여 용량이 25% 미만인 경우에는 이벤트 발생 시점의 5초 이전 시점부터 5초 이후 시점까지의 총 10초 동안 수집된 영상 및 운행 데이터를 영구 저장할 수 있다. 그리고 저장 제어부(42)는 저장부(30)의 잔여 용량이 25% 이상이고 75% 미만이 경우에는 이벤트 발생 시점의 10초 이전 시점부터 10초 이후 시점까지 총 20초 동안 수집된 영상 및 운행 데이터를 영구 저장할 수 있다.In this case, the storage control unit 42 may flexibly set the length of time of the image and driving data to be stored when an event occurs. The storage control unit 42 may set the length of time of the image and driving data to be stored when an event occurs in proportion to the remaining capacity of the storage unit 30 . 6A and 6B as an example, when the remaining capacity is 75% or more, the storage controller 42 collects images and driving data for a total of 30 seconds from 15 seconds before the event occurrence to 15 seconds after the event occurs. is permanently stored, and if the remaining capacity is less than 25%, images and operation data collected for a total of 10 seconds from 5 seconds before to 5 seconds after the event occurrence can be permanently stored. And when the remaining capacity of the storage unit 30 is 25% or more and less than 75%, the storage control unit 42 collects images and driving data collected for a total of 20 seconds from 10 seconds before the event occurrence to 10 seconds after. can be stored permanently.

이로써, 본 실시예에 따른 모니터링 시스템은 이상 상황 발생시 발생한 이상 상황의 정확한 원인 분석이 이뤄지기에 충분한 시간동안 수집된 데이터 및 영상이 저장되도록 하면서도 저장 장치의 용량이 초과되어 기존의 저장된 데이터 및 영상이 삭제되거나 또는 새로 발생한 이벤트에 대한 데이터 및 영상이 저장되지 못하는 것을 방지할 수 있다.Accordingly, the monitoring system according to the present embodiment allows the data and images collected for a sufficient time to be accurately analyzed for the cause of the abnormal situation occurring when the abnormal situation occurs, while the capacity of the storage device is exceeded and the existing stored data and images are deleted. It is possible to prevent data and images for new or newly generated events from being saved.

다시, 도 5로 돌아가서 영상 및 주행 데이터가 영구 저장되고 저장된 영상 및 주행 데이터가 외부 서버로 전송되면, 출력 제어부(43)는 발생한 이벤트에 대한 메시지가 출력되도록 표시장치(50) 및 전광판(60)을 출력 제어한다(S17). 보다 구체적으로 설명하면, 출력 제어부(43)는 이벤트 발생시 발생한 이벤트에 대한 상세 정보가 출력되도록 제1 이벤트 메시지를 생성하여 생성한 제1 이벤트 메시지가 출력되도록 표시장치(50)를 출력 제어하고, 발생한 이벤트에 대한 간단한 정보가 출력되도록 제2 이벤트 메시지를 생성하여 생성한 제2 이벤트 메시지가 출력되도록 전광판(60)을 출력 제어할 수 있다. 바람직하게, 제1 이벤트 메시지에는 발생한 이벤트의 종류, 이벤트의 원인이 된 장치(예를 들면 브레이크) 및 상세한 수치값 등이 포함될 수 있으며, 제2 이벤트 메시지는 '이상 발생'과 같은 이상 상황이 발생하였음을 알 수 있도록 하는 간단한 메시지일 수 있다.5 again, when the image and driving data are permanently stored and the stored image and driving data are transmitted to an external server, the output control unit 43 outputs a message about the event that has occurred. to control the output (S17). More specifically, the output control unit 43 generates a first event message so that detailed information on an event that has occurred when an event occurs and outputs the generated first event message to output the generated first event message, By generating the second event message so that simple information about the event is output, the electric sign 60 may be output-controlled so that the generated second event message is output. Preferably, the first event message may include a type of an event that occurred, a device that caused the event (for example, a brake), and detailed numerical values, and the second event message may include an abnormal situation such as 'abnormal occurrence'. It may be a simple message to let you know that you have done it.

때문에, 이벤트가 발생하면 운전자는 발생한 이벤트에 대한 상세한 상황을 알 수 있으며, 후방 차량의 운전자는 전방 차량에 이상 상황이 발생하였음을 직관적으로 판단하고 이상 상황에 대하여 사전에 대비 가능하도록 함으로써 이상 상황 발생으로 인한 후방 차량과의 사고 발생을 방지할 수 있다.Therefore, when an event occurs, the driver can know the detailed situation of the event that occurred, and the driver of the rear vehicle intuitively determines that an abnormal situation has occurred in the front vehicle and prepares for the abnormal situation in advance. Accidents with the vehicle behind you can be prevented.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10: 영상 수집부
11: 제1 영상 수집장치
12: 제2 영상 수집장치
13: 제3 영상 수집장치
14: 제4 영상 수집장치
20: 데이터 수집부
30: 저장부
40: 감시부
41: 이벤트 판단부
42: 저장 제어부
43: 출력 제어부
50: 표시장치
60: 전광판
C: 주행 제어부10: image collection unit
11: first image collecting device
12: second image collecting device
13: third image collecting device
14: fourth image collecting device
20: data collection unit
30: storage
40: watchdog
41: event judgment unit
42: storage control
43: output control
50: display device
60: electric sign
C: drive control

Claims (9)

자율주행 중인 차량 내부 및 외부의 영상을 수집하는 영상 수집부;
상기 자율주행의 운행 제어를 위해 생성된 자율주행 신호에 따라 수행된 차량의 운행 데이터를 수집하는 데이터 수집부;
수집된 상기 영상 및 상기 운행 데이터가 저장되는 저장부; 및
이벤트가 발생하면 상기 이벤트 발생 시점을 기준으로 설정 시간 이전 시점에서부터 설정 시간 이후 시점까지 수집된 상기 영상 및 상기 운행 데이터가 저장되도록 상기 저장부를 작동 제어하는 감시부를 포함하고,
상기 감시부는 상기 이벤트가 발생하면 상기 영상 및 상기 운행 데이터가 저장되도록 상기 저장부를 작동 제어하는 저장 제어부를 포함하며,
상기 저장 제어부는 상기 이벤트 발생시 저장되는 상기 영상 및 상기 운행 데이터의 시간 길이를 상기 저장부의 잔여 용량에 비례하게 설정하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
an image collecting unit that collects images inside and outside the autonomously driving vehicle;
a data collection unit configured to collect driving data of a vehicle performed according to an autonomous driving signal generated for driving control of the autonomous driving;
a storage unit for storing the collected images and the driving data; and
When an event occurs, a monitoring unit operating and controlling the storage unit to store the image and the driving data collected from a time point before a set time to a time point after the set time based on the time of occurrence of the event,
The monitoring unit includes a storage control unit that operates and controls the storage unit to store the image and the driving data when the event occurs,
The storage control unit sets the length of time of the image and the driving data to be stored when the event occurs in proportion to the remaining capacity of the storage unit.
 제 1 항에 있어서, 상기 감시부는
상기 자율주행 신호와 상기 운행 데이터를 비교하여 상기 이벤트 발생 여부를 판단하는 이벤트 판단부를 더 포함하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
The method of claim 1, wherein the monitoring unit
The autonomous driving monitoring system of the vehicle according to claim 1, further comprising an event determination unit that compares the autonomous driving signal with the driving data to determine whether the event has occurred.
 제 2 항에 있어서,
상기 이벤트 판단부는, 상기 운행 데이터와 상기 자율주행 신호에 따른 목표 제어값 간의 차이값이 오차 허용 범위를 벗어나거나 또는 상기 자율주행 신호 생성 시점과 상기 운행 데이터 수집 시점 간에 시간차가 허용 시간을 초과하면 상기 이벤트가 발생한 것으로 판단하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
3. The method of claim 2,
The event determination unit may be configured to: When a difference value between the driving data and a target control value according to the autonomous driving signal is out of an tolerance range or when a time difference between the autonomous driving signal generation time and the driving data collection time exceeds an allowable time, the An autonomous driving monitoring system for a vehicle, characterized in that it is determined that an event has occurred.
 삭제delete 제 2 항에 있어서,
상기 저장부는 상기 영상 및 상기 운행 데이터가 저장되면 저장된 상기 영상 및 상기 운행 데이터를 외부 서버에 전송하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
3. The method of claim 2,
The autonomous driving monitoring system of a vehicle, wherein the storage unit transmits the stored image and the driving data to an external server when the image and the driving data are stored.
 제 1 항에 있어서,
상기 영상 수집부는 상기 차량의 전방, 상기 차량의 후방, 핸들, 변속 레버, 브레이크 페달 및 가속 페달을 향해 영상을 수집하도록 배치되는 다수개의 영상 수집장치가 구비되는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
The method of claim 1,
The image collecting unit is an autonomous driving monitoring system for a vehicle, characterized in that it is provided with a plurality of image collecting devices arranged to collect images toward the front of the vehicle, the rear of the vehicle, a steering wheel, a shift lever, a brake pedal, and an accelerator pedal. .
 제 6 항에 있어서,
다수개의 상기 영상 수집장치 중 상기 브레이크 페달 및 가속 페달을 향해 영상을 수집하도록 배치되는 상기 영상 수집장치는 수동주행 모드시 차체에 매립된 상태로 배치되고 자율주행 모드시 노출되어 영상을 수집하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
7. The method of claim 6,
Among the plurality of image collecting devices, the image collecting device arranged to collect images toward the brake pedal and the accelerator pedal is disposed in a state of being embedded in a vehicle body in a manual driving mode and exposed in an autonomous driving mode to collect images Autonomous driving monitoring system for vehicles with
 제 1 항에 있어서, 상기 차량의 자율주행 모니터링 시스템은
후방을 향해 배치되어 상기 차량의 주행 상태에 대한 알림 메시지가 출력되는 전광판을 더 포함하고,
상기 감시부는 상기 차량이 자율주행 모드로 운행 중인지 여부에 대한 알림 메시지가 출력되도록 상기 전광판을 출력 제어하는 출력 제어부를 포함하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
According to claim 1, wherein the autonomous driving monitoring system of the vehicle
Further comprising an electric sign that is disposed toward the rear and outputs a notification message about the driving state of the vehicle,
and the monitoring unit includes an output control unit for outputting control of the electronic display panel to output a notification message as to whether the vehicle is operating in the autonomous driving mode.
 제 8 항에 있어서,
상기 출력 제어부는 상기 이벤트가 발생하면 상기 이벤트가 발생하였음을 알리는 알림 메시지가 출력되도록 상기 전광판을 출력 제어하는 것을 특징으로 하는 차량의 자율주행 모니터링 시스템.
9. The method of claim 8,
When the event occurs, the output control unit output-controls the electronic display panel to output a notification message indicating that the event has occurred.
KR1020200077824A 2020-06-25 2020-06-25 Vehicle autonomous driving monitoring system KR102334775B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077824A KR102334775B1 (en) 2020-06-25 2020-06-25 Vehicle autonomous driving monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077824A KR102334775B1 (en) 2020-06-25 2020-06-25 Vehicle autonomous driving monitoring system

Publications (2)

Publication Number Publication Date
KR102334775B1 true KR102334775B1 (en) 2021-12-07
KR102334775B9 KR102334775B9 (en) 2022-09-30

Family

ID=78868091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077824A KR102334775B1 (en) 2020-06-25 2020-06-25 Vehicle autonomous driving monitoring system

Country Status (1)

Country Link
KR (1) KR102334775B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4242989A1 (en) * 2022-03-09 2023-09-13 Zenseact AB Dynamic adjustment of an event segment length of a vehicle event recording buffer
KR102658832B1 (en) * 2022-10-26 2024-04-18 단국대학교 산학협력단 Method for analyzing vehicle forensic and computing device for executint the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010067692A1 (en) * 2008-12-12 2010-06-17 Canon Kabushiki Kaisha Image sensing apparatus and method for controlling the same
KR20140101145A (en) * 2013-02-08 2014-08-19 나홍수 A black box storing the state value of acceleration
KR20150112087A (en) * 2014-03-26 2015-10-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Method and system for storing representative images of video event data recorder
KR20190017339A (en) 2017-08-11 2019-02-20 현대모비스 주식회사 Apparatus for storing information of autonomous vehicle and method thereof
KR20190061693A (en) * 2017-11-28 2019-06-05 쌍용자동차 주식회사 Integrated monitoring device of autonomous vehicle and method thereof
EP3509038A1 (en) * 2016-09-05 2019-07-10 Nec Corporation Drive recorder
US20190228228A1 (en) * 2016-09-05 2019-07-25 Nec Corporation Driving condition recording device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010067692A1 (en) * 2008-12-12 2010-06-17 Canon Kabushiki Kaisha Image sensing apparatus and method for controlling the same
KR20140101145A (en) * 2013-02-08 2014-08-19 나홍수 A black box storing the state value of acceleration
KR20150112087A (en) * 2014-03-26 2015-10-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Method and system for storing representative images of video event data recorder
EP3509038A1 (en) * 2016-09-05 2019-07-10 Nec Corporation Drive recorder
US20190228228A1 (en) * 2016-09-05 2019-07-25 Nec Corporation Driving condition recording device
KR20190017339A (en) 2017-08-11 2019-02-20 현대모비스 주식회사 Apparatus for storing information of autonomous vehicle and method thereof
KR20190061693A (en) * 2017-11-28 2019-06-05 쌍용자동차 주식회사 Integrated monitoring device of autonomous vehicle and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4242989A1 (en) * 2022-03-09 2023-09-13 Zenseact AB Dynamic adjustment of an event segment length of a vehicle event recording buffer
KR102658832B1 (en) * 2022-10-26 2024-04-18 단국대학교 산학협력단 Method for analyzing vehicle forensic and computing device for executint the same

Also Published As

Publication number Publication date
KR102334775B9 (en) 2022-09-30

Similar Documents

Publication Publication Date Title
JP5824702B2 (en) Driving behavior detection method and apparatus
US8330620B2 (en) Method for producing a localized warning of dangerous situations for vehicles
US20130211687A1 (en) Method for Operating a Brake Assist Device and Brake Assist Device for a Vehicle
CN109830002A (en) Event data record method, apparatus of driving a vehicle and event data recorder
KR20170012301A (en) Method, device, and system for generating driving behavior guidance information
CN108137054A (en) The replacement of sensor measurement data
KR102334775B1 (en) Vehicle autonomous driving monitoring system
KR20100011002A (en) Gateway eletronic control apparatus for a vehicle and travel information recording method thereof
JP4671242B2 (en) Vehicle control device
US20210086766A1 (en) Method for executing a function of a motor vehicle
CN110774993B (en) Vehicle fault detection method and device and vehicle
CN105128729B (en) A kind of braking lamp control system and its control method based on CAN network
KR20190061348A (en) Safety driving device and method thereof
GB2518156A (en) A system and method for damage detection in a vehicle
CN107512174B (en) Vehicle active speed limiting device
CN111186442A (en) Vehicle control method and device
JP2018142334A (en) Vehicle information processing system, on-vehicle device and information processing device
KR20190017339A (en) Apparatus for storing information of autonomous vehicle and method thereof
JP4696831B2 (en) Vehicle driving support device
CN112193196B (en) Vehicle with a steering wheel
CN111800314B (en) Automatic driving fault monitoring system
CN111800508B (en) Automatic driving fault monitoring method based on big data
SE1150301A1 (en) Vehicles with a tachograph
KR20210031167A (en) Vehicle sudden unintended acceleration detection system
US20160159379A1 (en) Data communication system for locomotive consist

Legal Events

Date Code Title Description
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]