KR101984284B1 - Automated Driver-Managing System Using Machine Learning Model, and Method Thereof - Google Patents
Automated Driver-Managing System Using Machine Learning Model, and Method Thereof Download PDFInfo
- Publication number
- KR101984284B1 KR101984284B1 KR1020180011931A KR20180011931A KR101984284B1 KR 101984284 B1 KR101984284 B1 KR 101984284B1 KR 1020180011931 A KR1020180011931 A KR 1020180011931A KR 20180011931 A KR20180011931 A KR 20180011931A KR 101984284 B1 KR101984284 B1 KR 101984284B1
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- information
- vehicle
- driving
- unit
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims description 24
- 238000007726 management method Methods 0.000 claims description 158
- 230000008451 emotion Effects 0.000 claims description 37
- 230000001133 acceleration Effects 0.000 claims description 36
- 206010041349 Somnolence Diseases 0.000 claims description 33
- 238000011156 evaluation Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007958 sleep Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000013707 sensory perception of sound Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 기계학습모델을 이용한 자동화된 운전자관리 시스템에 관한 것으로서, 보다 상세하게는, 차량을 운행하는 운전자의 운전자영상 및 차량운행정보를 기초로, 기계학습모델을 이용하여 보다 정확한 운전점수결과를 자동적으로 제공하여 차량을 운행하는 운전자의 안전을 유도하는, 기계학습모델을 이용한 자동화된 운전자관리 시스템에 관한 것이다.The present invention relates to an automated driver management system using a machine learning model. More specifically, the present invention relates to an automated driver management system using a machine learning model based on a driver's image and a vehicle driving information of a driver And more particularly, to an automated driver management system using a machine learning model that automatically provides the safety of the driver who drives the vehicle.
종래의 기술은 운행되는 차량의 운행상태를 판별하여 차량이 차선을 이탈하는 경우 경보음을 발생하는 등의 방법으로 운전자에게 주의를 주거나, 단순히 운전자의 눈의 움직임을 파악하여 상기 운전자가 졸음 운전을 하고 있는 것으로 판단되는 경우 경보음을 발생하는 등의 방법으로 운전자에게 주의를 주어, 운전자가 운행하는 차량의 사고를 방지하도록 하였다.The conventional technique discriminates the driving state of the vehicle being operated and gives a warning to the driver by, for example, generating a warning sound when the vehicle leaves the lane, or simply grasps the motion of the driver's eyes, The driver is cautioned by generating a warning sound or the like to prevent the accident of the vehicle that the driver is driving.
다만, 차량의 운행상태 및 운전자의 상태를 모두 고려하여, 차량이 잠시 정차 중인 경우와 같이 차량의 운행상태를 고려하여, 정차 중에는 운전자가 눈을 감고 있는 경우라도 운전자에게 경보의 발생을 유보하는 등의 종합적인 판단이 가능한 운전자 경보 발생 시스템에 대한 요구가 발생하였다.However, in consideration of the driving state of the vehicle and the state of the driver, it is necessary to consider the driving state of the vehicle, such as when the vehicle is stopped for a while, There has been a demand for a driver alarm system capable of comprehensive judgment of the driver.
또한, 보복운전 혹은 난폭운전 등으로 발생할 수 있는 사고를 방지하기 위하여 운전자의 표정으로부터 운전자의 부정적인 감정을 인식하는 등의 방법으로 수행되는 운전자 경보 발생 시스템에 대한 요구가 발생하였다.Also, in order to prevent accidents caused by repetitive driving or abrupt driving, there has been a demand for a driver alarm generating system which is performed in such a manner as recognizing the driver's negative emotions from the expressions of the driver.
따라서, 이와 같이 차량의 운행상태 및 운전자의 상태를 종합적으로 고려하는 시스템의 개발과 이러한 시스템을 관리하는 서버에 대한 연구가 진행되고 있다.Therefore, the development of a system that comprehensively considers the driving state of the vehicle and the driver's state and the server that manages such a system are being studied.
본 발명의 목적은 차량을 운행하는 운전자의 운전자영상 및 차량운행정보를 기초로, 기계학습모델을 이용하여 보다 정확한 운전점수결과를 자동적으로 제공하여 차량을 운행하는 운전자의 안전을 유도하는, 기계학습모델을 이용한 자동화된 운전자관리 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a vehicle learning system that automatically provides a more accurate driving score result using a machine learning model based on a driver's image and vehicle driving information of a driver who drives the vehicle, And to provide an automated driver management system using the model.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일실시예는, 기계학습 모델을 이용한 자동화된 운전자 관리시스템으로서, 차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식부; 운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집부; 상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론부; 및 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론부;를 포함하는, 운전자관리 시스템을 제공한다.According to an aspect of the present invention, there is provided an automated driver management system using a machine learning model, the system comprising: a driver image recognition unit for generating driver image information of a driver operating a vehicle; A vehicle driving information collecting unit for collecting at least one vehicle driving information on a vehicle that the driver is operating in real time; A driver state inferring unit for deriving at least one driver state information for the driver related to an accident based on the driver image information in real time; And a driving score estimating unit for generating a driving score of the driver who operates the vehicle for a predetermined time unit based on the basic data including the at least one driver state information and the at least one vehicle driving information, Management system.
본 발명의 일 실시예에서는, 상기 운전자 관리시스템은, 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리부;를 더 포함할 수 있다.According to an embodiment of the present invention, the driver management system may further include a driver characteristic information acquisition unit that, when the possibility of an accident occurrence is high based on driver characteristic information including the at least one driver state information, the at least one vehicle driving information, And a driver alarm management unit for determining whether an alarm is generated for the driver.
본 발명의 일 실시예에서는, 상기 운전자경보관리부는, 상기 운전자특징정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 실시간으로 설정하는 운전자별임계값설정부; 및 실시간으로 1 이상의 상기 운전자상태정보와 1 이상의 상기 운전자상태정보 각각에 설정된 임계값을 비교하여 상기 운전자의 상태를 판별하는 운전자상태정보판별부;를 포함하고, 상기 운전자상태정보판별부는, 1 이상의 상기 운전자상태정보 중 하나라도 상기 운전자상태정보 각각에 설정된 임계값 보다 큰 경우, 상기 운전자를 이상상태로 판별하고, 1 이상의 상기 운전자상태정보 모두가 상기 운전자상태정보 각각에 설정된 임계값 보다 작은 경우, 상기 운전자를 정상상태로 판별할 수 있다.In an embodiment of the present invention, the driver's alarm management unit may include driver characteristic information including driver characteristic information, one or more vehicle driving information, and driver-specific history information, A driver-specific threshold value setting unit for setting a threshold value in each of the driver state information in real time; And a driver state information determiner for comparing the at least one driver state information with at least one of the at least one driver state information to determine a state of the driver, When the driver state information is greater than a threshold value set for each of the driver state information, the driver is determined as an abnormal state, and when all of the one or more driver state information is smaller than a threshold value set for each of the driver state information, The driver can be determined as a normal state.
본 발명의 일 실시예에서는, 상기 운전자경보관리부는, 상기 운전자상태정보판별부에서 상기 운전자의 상태가 이상상태로 판별되는 경우, 상기 운전자의 신체적 특이사항을 포함하는 운전자특징정보를 기초로 상기 운전자에 대한 경보 발생장치를 선별하여, 선별된 경보 발생장치에 대한 제어신호를 생성하는 경보발생제어부;를 더 포함할 수 있다.According to an embodiment of the present invention, when the driver's state information is determined to be abnormal in the driver's condition information determination unit, the driver's alarm management unit may determine, based on the driver's characteristic information including the physical characteristics of the driver, And an alarm generation control unit for selecting an alarm generating apparatus for the selected alarm generating apparatus and generating a control signal for the selected alarm generating apparatus.
본 발명의 일 실시예에서는, 상기 운전자상태추론부는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 졸음여부에 대한 졸음상태정보를 생성하는 졸음상태추론부;를 포함하고, 상기 졸음상태정보는 차량을 운행하는 운전자의 눈의 움직임을 기초로 도출될 수 있다.According to an embodiment of the present invention, the driver state inferring unit includes a drowsiness state inferencing unit that generates drowsiness state information on whether the driver is drowsy, which can cause an accident based on the inputted driver image information, The drowsy state information can be derived based on the motion of the eyes of the driver operating the vehicle.
본 발명의 일 실시예에서는, 상기 운전자상태추론부는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 집중 여부에 대한 집중상태정보를 생성하는 집중상태추론부;를 포함하고, 상기 집중상태정보는 차량을 운행하는 운전자의 머리의 움직임을 기초로 도출될 수 있다.According to an embodiment of the present invention, the driver state inferring unit may include a centralized state inferring unit that generates centralized state information on the concentration of the driver capable of causing an accident based on the inputted driver image information, The concentrated state information can be derived based on the motion of the driver's head.
본 발명의 일 실시예에서는, 상기 운전자상태추론부는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 감정에 대한 감정상태정보를 생성하는 감정상태추론부;를 포함하고, 상기 감정상태정보는 상기 차량을 운행하는 운전자의 얼굴이미지를 기초로 인공신경망 모델에 의하여 도출될 수 있다.According to an embodiment of the present invention, the driver state inferring unit may include an emotion state inferring unit that generates emotion state information on an emotion of the driver that can cause an accident based on the input driver image information, The emotion state information can be derived by an artificial neural network model based on the face image of the driver who is driving the vehicle.
본 발명의 일 실시예에서는, 상기 차량운행정보수집부는, 상기 운전자가 운행 중인 차량의 차량속도정보를 실시간으로 수집하는 차량속도정보수집부; 및 운전자가 운행 중인 차량의 차량가속도정보를 실시간으로 수집하는 차량가속도정보수집부;를 포함할 수 있다.In an embodiment of the present invention, the vehicle driving information collecting unit may include a vehicle speed information collecting unit that collects vehicle speed information of a vehicle that the driver is operating in real time; And a vehicle acceleration information collection unit for collecting, in real time, vehicle acceleration information of a vehicle that the driver is driving.
본 발명의 일 실시예에서는, 상기 차량속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값이고, 상기 차량가속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값일 수 있다.In one embodiment of the present invention, the vehicle speed information is a predetermined range value normalized by a preset reference value, and the vehicle acceleration information may be a predetermined range value normalized by a preset reference value.
본 발명의 일 실시예에서는, 상기 운전자 관리시스템은, 기설정된 기간 동안 누적되어 입력된 상기 운전점수를 기초로 상기 운전자에 대한 운전평가데이터를 생성하는 운전자별평가부; 상기 운전평가 데이터 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 관리하는 운전자정보관리부; 및 운송업체별로 등록된 운전자의 상기 운전평가데이터 및 상기 운전자특징정보를 관리하는 운송업체관리부;를 더 포함할 수 있다.According to an embodiment of the present invention, the driver management system may include: a driver-specific evaluating unit that generates driving evaluation data for the driver based on the driving points accumulated cumulatively for a predetermined period; A driver information management unit for managing driver feature information including the operation evaluation data and driver-specific history information; And a transportation company management unit for managing the operation evaluation data and the driver characteristic information of the driver registered for each transportation company.
본 발명의 일 실시예에서는, 상기 운전점수추론부는, 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 운행정보를 기초로 운전점수 감점사항에 대하여 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출할 수 있다.In an embodiment of the present invention, the driving point inferring unit determines driving point scoring matters on the basis of the at least one driver state information and the at least one driving information, and stores the driver's initial driving score The driving score can be calculated.
본 발명의 일 실시예에서는, 상기 운전점수추론부는, 상기 운전자에 대한 경보의 발생여부를 운전점수 추가 감점사항으로 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출할 수 있다.In an embodiment of the present invention, the driving point inferring unit determines whether an alarm for the driver is generated as a driving point addition point and subtracts the initial driving point of the driver during a predetermined unit of time, The score can be calculated.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 기계학습 모델을 이용한 자동화된 운전자 관리방법으로서, 차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식단계; 운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집단계; 상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론단계; 및 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론단계;를 포함하는, 운전자 관리방법을 제공한다.According to an aspect of the present invention, there is provided an automated driver management method using a machine learning model implemented by a computing device including at least one processor and at least one memory, A driver image recognition step of generating driver image information; A vehicle driving information collection step of collecting, in real time, one or more vehicle driving information on a vehicle that the driver is driving; A driver state inference step of deriving one or more driver state information related to an accident related to the driver in real time based on the driver image information; And a driving point inference step of generating a driving point of the driver who drives the vehicle for a predetermined time unit based on the at least one driver state information and the basic data including the at least one vehicle driving information, Provide a management method.
본 발명의 일 실시예에서는, 상기 운전자 관리방법은, 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리단계;를 더 포함할 수 있다.In one embodiment of the present invention, the driver management method further includes a step of, when the possibility of an accident is high based on the driver's feature information including the at least one driver's state information, the at least one vehicle's driving information, And a driver alarm management step of determining whether an alarm is generated for the driver.
본 발명의 일 실시예에 따르면, 학습된 인공신경망 모델에 의하여 차량을 운행하는 운전자 표정변화를 기초로 운전자의 감정변화를 추론함으로써, 운전자의 난폭운전에 대비할 수 있다.According to the embodiment of the present invention, the driver's emotional change can be deduced based on the driver's facial expression change in which the vehicle is operated by the learned neural network model, so that the driver can be prepared for the rude operation.
본 발명의 일 실시예에 따르면, 운전자에 대한 상태정보 및 차량에 대한 운행정보를 모두 고려하여, 운전자의 차량운행상황에 맞는 경보를 발생할 수 있다.According to an embodiment of the present invention, an alarm may be generated in accordance with the driving situation of the driver by considering both the state information on the driver and the driving information on the vehicle.
본 발명이 일 실시예에 따르면, 운전자가 운행 중인 차량의 속도가 높은 경우에 운전자에게 경보를 발생하는 기준을 낮추어줌으로써, 사고의 발생을 예방할 수 있다.According to an embodiment of the present invention, when a speed of a vehicle being driven by a driver is high, a criterion for generating an alarm to the driver is lowered, thereby preventing an accident from occurring.
본 발명의 일 실시예에 따르면, 운송업체에 등록된 운전자의 운전자평가데이터를 생성함으로써, 운송업체가 이러한 운전자평가데이터를 기초로 등록된 운전자를 관리할 수 있다.According to the embodiment of the present invention, the carrier can manage the registered driver based on the driver evaluation data by generating the driver evaluation data of the driver registered with the carrier.
본 발명의 일 실시예에 따르면, 운송업체에 따라 운송업체데이터를 생성함으로써, 운송업체데이터를 제공받는 보험업체가 이러한 운송업체데이터를 기초로 보험료를 산정할 수 있다.According to one embodiment of the present invention, by creating the carrier data according to the carrier, the insurance company receiving the carrier data can calculate the insurance premium based on such carrier data.
도 1은 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템의 동작환경을 예시적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템의 내부구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 운전자경보관리부의 동작환경을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 운전자경보관리부의 내부구성을 개략적으로 도시한다.
도 5은 본 발명의 일 실시예에 따른 운전자상태추론부의 내부구성을 개략적으로 도시한다.
도 6는 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템에 사용되는 학습된 인공신경망 모델의 동작과정을 개략적으로 도시한다.
도 7는 본 발명의 일 실시예에 따른 차량운행정보수집부의 내부구성을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 운전점수추론부의 동작환경을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 운전점수추론부의 동작환경을 예시적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 운전자별평가부의 동작환경을 개략적으로 도시한다.
도 11는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.1 is an exemplary diagram illustrating an operating environment of an automated operator management system according to an embodiment of the present invention.
2 schematically illustrates an internal configuration of an automated driver management system according to an embodiment of the present invention.
FIG. 3 schematically illustrates the operating environment of the driver alarm management unit according to an embodiment of the present invention.
FIG. 4 schematically shows an internal configuration of a driver alarm management unit according to an embodiment of the present invention.
FIG. 5 schematically shows an internal configuration of a driver state inference unit according to an embodiment of the present invention.
FIG. 6 schematically illustrates the operation of a learned neural network model used in an automated driver management system according to an embodiment of the present invention.
7 schematically shows an internal configuration of a vehicle driving information collecting unit according to an embodiment of the present invention.
FIG. 8 schematically shows the operating environment of the driving point estimating unit according to an embodiment of the present invention.
FIG. 9 exemplarily illustrates an operating environment of the driving point estimating unit according to an embodiment of the present invention.
FIG. 10 schematically shows the operating environment of the driver-specific evaluation unit according to an embodiment of the present invention.
11 illustrates an exemplary internal configuration of a computing device according to an embodiment of the present invention.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.In the following, various embodiments and / or aspects are now described with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth in order to provide a thorough understanding of one or more aspects. However, it will also be appreciated by those of ordinary skill in the art that such aspect (s) may be practiced without these specific details. The following description and the annexed drawings set forth in detail certain illustrative aspects of one or more aspects. It is to be understood, however, that such aspects are illustrative and that some of the various ways of practicing various aspects of the principles of various aspects may be utilized, and that the description set forth is intended to include all such aspects and their equivalents.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.In addition, various aspects and features will be presented by a system that may include multiple devices, components and / or modules, and so forth. It should be understood that the various systems may include additional devices, components and / or modules, etc., and / or may not include all of the devices, components, modules, etc. discussed in connection with the drawings Must be understood and understood.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.As used herein, the terms " an embodiment, " " an embodiment, " " an embodiment, " " an embodiment ", etc. are intended to indicate that any aspect or design described is better or worse than other aspects or designs. . The terms 'component', 'module', 'system', 'interface', etc. used in the following generally refer to a computer-related entity, And a combination of software and software.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.It is also to be understood that the term " comprises " and / or " comprising " means that the feature and / or component is present, but does not exclude the presence or addition of one or more other features, components and / It should be understood that it does not.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Also, terms including ordinal numbers such as first, second, etc. may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, in the embodiments of the present invention, all terms used herein, including technical or scientific terms, unless otherwise defined, are intended to be inclusive in a manner that is generally understood by those of ordinary skill in the art to which this invention belongs. Have the same meaning. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and, unless explicitly defined in the embodiments of the present invention, are intended to mean ideal or overly formal .
도 1은 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템의 동작환경을 예시적으로 도시한 도면이다.1 is an exemplary diagram illustrating an operating environment of an automated operator management system according to an embodiment of the present invention.
본 발명의 일 실시예는 전술한 종래기술의 문제점들을 고려한 시스템을 제공한다. 본 발명에서는, 기본적으로 차량을 운행하는 운전자의 운전자영상 및 차량운행정보를 입력받고, 딥러닝과 같은 기계학습기술을 통한 학습된 모델을 통하여 상기 차량을 운행하는 운전자의 운전점수를 도출한다. 이와 같이 도출된 상기 차량을 운행하는 운전자의 운전점수를 기초로 상기 운전자의 운행 중 사고 발생 위험이 커지는 경우, 상기 운전자에게 적절한 경보를 통하여 사고 발생에 대한 경각심을 환기할 수 있다.One embodiment of the present invention provides a system that takes into account the problems of the prior art described above. In the present invention, the driver's image and the vehicle driving information of the driver who drives the vehicle are basically received, and the driving score of the driver who drives the vehicle is derived through a learned model through a machine learning technique such as deep learning. When the risk of an accident occurring during driving of the driver becomes large based on the driving score of the driver driving the vehicle, the driver can be alerted of the accident through an appropriate alarm.
이하에서는, 상기 운전자 관리시스템을 도 1에 도시된 바와 같이 상기 운전자 관리시스템을 구성하는 운전자관리장치(1000) 및 운전자관리서버(2000)를 통하여 설명하도록 한다.Hereinafter, the driver management system will be described with reference to the driver management apparatus 1000 and the driver management server 2000 constituting the driver management system as shown in FIG.
다만, 상기 운전자관리장치(1000) 및 상기 운전자관리서버(2000)를 구성하는 하위 부/모듈은 사용자에 따라 선택될 수 있는 하나의 실시예로서, 사용자는 이하에서 설명되는 상기 운전자관리장치(1000)를 구성하는 하위 부/모듈을 상기 운전자관리서버(2000)를 구성하도록 구현하거나, 혹은 상기 운전자관리서버(2000)를 구성하는 하위 부/모듈을 상기 운전자관리장치(1000)를 구성하도록 구현할 수 있다. However, the lower part / module constituting the driver management apparatus 1000 and the driver management server 2000 may be selected according to the user, and the user may select the driver management apparatus 1000 Module constituting the driver management server 2000 can be implemented to constitute the driver management server 2000 or the lower part / module constituting the driver management server 2000 can be configured to constitute the driver management apparatus 1000 have.
즉, 상기 운전자관리장치(1000)는 차량에 설치가 가능하거나 상기 운전자에 의하여 휴대가 가능한 장치로서, 사용자는 필요에 따라 상기 운전자 관리시스템을 구성하는 하위 부/모듈이 상기 운전자관리장치(1000)를 구성하도록 구현할 수 있다. That is, the driver management apparatus 1000 is a device that can be installed in the vehicle or can be carried by the driver, and the user can use the lower portion / module, which constitutes the driver management system, As shown in FIG.
또한 상기 운전자관리서버(2000)는 상기 운전자관리장치(1000)와 네트워크 통신망을 이용하여 연결되어 대용량의 데이터 처리 혹은 복잡한 연산을 수행하기 위한 시스템으로서, 사용자는 필요에 따라 상기 운전자 관리시스템을 구성하는 하위 부/모듈이 상기 운전자관리서버(2000)를 구성하도록 구현할 수 있다.Also, the driver management server 2000 is a system for performing a large-capacity data processing or a complicated operation by being connected to the driver's management apparatus 1000 through a network communication network. The user may configure the driver management system And the lower part / module constitute the driver management server 2000.
결국 상기 운전자관리장치(1000) 및 상기 운전자관리서버(2000)를 구성하는 하위 부/모듈은 상기 운전자 관리시스템에 포함되는 부/모듈이다. 즉, 사용자의 선택에 의하여 상기 운전자 관리시스템에 포함되는 부/모듈을 상기 운전자관리장치(1000), 혹은 상기 운전자관리서버(2000)를 구성하도록 구현하거나, 혹은 상기 운전자관리장치(1000) 및 상기 운전자관리서버(2000)에 의하여 구분하지 않고 운전자 관리시스템 전체를 구성하도록 구현될 수 있다.As a result, the lower part / module constituting the driver management device 1000 and the driver management server 2000 are sub-modules included in the driver management system. That is, the sub-module included in the driver management system may be implemented by the user to configure the driver management apparatus 1000 or the driver management server 2000, The driver management server 2000 may be configured to configure the entire driver management system without being distinguished by the driver management server 2000.
상기 실시예에 따른 자동화된 운전자 관리시스템은, 차량을 운행하는 운전자의 운전점수를 생성하기 위한 기초데이터를 입력받고, 상기 운전자에 대한 경보 발생장치를 선별하여 제어신호를 생성하는 운전자관리장치(1000); 및 상기 운전자관리장치(1000)로부터 입력된 상기 기초데이터를 기초로 상기 운전점수 생성하여, 이를 기초로 차량을 운행하는 운전자를 관리하고, 상기 운전점수 및 사고를 유발할 수 있는 1 이상의 히스토리를 포함하는 운전자정보를 기초로 운전자특징정보를 생성하여 상기 운전자관리장치로 전송하는 운전자관리서버(2000);를 포함할 수 있다.The automated driver's management system according to the embodiment includes a driver management device 1000 for receiving basic data for generating a driving score of a driver who drives a vehicle and selecting an alarm generating device for the driver to generate a control signal ); And a driving history generating unit for generating the driving score based on the basic data input from the driver's management apparatus and managing the driver who operates the vehicle based on the driving score, And a driver management server 2000 for generating driver characteristic information based on the driver information and transmitting the generated driver characteristic information to the driver management apparatus.
여기서, 본 발명인 운전자관리 시스템을 구성하는 운전자관리장치(1000) 및 운전자관리서버(2000)의 전체 혹은 세부 결과들을 도출하는 모듈/부는 학습된 모델에 해당할 수 있다. 또한, 운전자영상 및 차량운행정보는 운전자의 차량에 설치된 영상기록장치 혹은 위치측정장치의 데이터를 입력 받는 등의 형식으로 추출될 수 있다. Here, the module / unit for deriving all or the detailed results of the driver management apparatus 1000 and the driver management server 2000 constituting the driver management system of the present invention may correspond to the learned model. Further, the driver's image and the vehicle driving information can be extracted in the form of receiving data of the video recording apparatus or the position measuring apparatus installed in the driver's vehicle.
본 발명의 일 실시예에 따른 자동화된 운전자관리시스템을 구성하는 상기 운전자관리장치(1000)는 상기 차량을 운행하는 운전자의 운전자영상을 통하여 상기 운전자의 상태를 추론하는 모델을 포함한다. 구체적으로, 본 발명에서는 운전자영상에 포함된 얼굴 부분을 별도로 검출하고 CNN, RNN 등과 같은 계층을 조합하여 시공간을 고려한 인공 신경망 기술을 이용하거나, 특정한 알고리즘을 이용하여 상기 차량을 운행하는 운전자의 상태를 판별하는 모델을 포함한다.The driver's management apparatus 1000 constituting an automated driver's management system according to an embodiment of the present invention includes a model for inferring the driver's state through a driver's image of the driver driving the vehicle. Specifically, in the present invention, the face portion included in the driver image is separately detected, and an artificial neural network technology considering time and space is used by combining layers such as CNN and RNN, or a state of a driver operating the vehicle using a specific algorithm And includes a model for discrimination.
또한, 본 발명의 일 실시예에 따른 자동화된 운전자관리시스템을 구성하는 상기 운전자관리장치(1000)는 상기 차량을 운행하는 운전자의 상태 및 상기 차량을 운행하는 운전자의 차량운행정보를 통하여 상기 운전점수를 도출하는 모델을 포함한다. 구체적으로, 본 발명에서는 상기 운전자의 상태, 차량속도정보 및 차량가속도정보를 포함하는 상기 차량운행정보, 및 상기 운전자특징정보를 기초로 CNN, RNN 등과 같은 계층을 조합하여 시공간을 고려한 인공 신경망 기술을 이용하거나, 특정한 알고리즘을 이용하여 상기 차량의 운행 상태를 판별하는 모델을 포함한다.Further, the driver's management apparatus 1000 constituting the automated driver's management system according to an embodiment of the present invention may calculate the driving score " 0 " through the driver ' . Specifically, in the present invention, an artificial neural network technology that takes time and space into account by combining layers such as CNN, RNN, etc. based on the vehicle driving information including the driver's state, vehicle speed information, and vehicle acceleration information, Or a model for determining the running state of the vehicle using a specific algorithm.
그리고 이러한 상기 차량을 운행하는 운전자의 상태 및 차량의 운행정보에 기초하여 어느 정도의 가중치로 운전점수에 영향을 줄 것인지를 자동으로 조절할 수 있도록 구성한다. 바람직하게는 이와 같은 가중치에 대해서도 학습하도록 모델을 구성할 수 있다.The degree of influence on the driving score can be automatically adjusted based on the state of the driver operating the vehicle and the driving information of the vehicle. Preferably, the model can also be configured to learn about such weights.
즉, 이와 같은 구성에서 차량을 운행하는 운전자의 운전자영상 및 차량운행정보가 입력되는 경우에, 우선적으로 차량을 운행하는 운전자의 운전자영상으로부터 추론된 상기 운전자의 상태를 기초로 기설정된 조건을 만족하는지 여부를 판별한다.That is, in the case where the driver's image and the vehicle driving information of the driver who operates the vehicle are input in the above-described configuration, it is determined whether or not the predetermined condition is satisfied based on the driver's condition deduced from the driver's image of the driver .
추론된 상기 운전자의 상태를 기초로 기설정된 조건을 만족하는지 여부를 판별 하여 상기 운전자의 상태가 이상상태인 경우에는, 상기 운전자에게 적절한 경보를 발생할 수 있는 제어신호를 생성하여 상기 운전자에게 사고발생에 대한 경각심을 환기시킴으로써, 사고발생 가능성을 낮출 수 있다.Wherein the controller generates a control signal capable of generating an appropriate alarm to the driver when the driver is in an abnormal state, It is possible to reduce the possibility of an accident by ventilating the alert.
또한, 추론된 상기 운전자의 상태 및 차량운행정보로부터 추론된 상기 차량의 운행상태를 기초로 상기 운전자 점수를 도출하여, 상기 운전자점수를 기초로 상기 운전자를 관리할 수 있다.Further, the driver's score can be derived based on the inferred driving state of the vehicle derived from the driver's state and vehicle driving information, and the driver can be managed based on the driver's score.
결국 이와 같은 방법으로 자동화된 운전자관리 시스템을 통해 차량을 운행하는 운전자의 사고를 미연에 방지하고, 운전자를 관리할 수 있다.As a result, the automated driver management system can prevent the driver from accidentally operating the vehicle and manage the driver.
바람직하게는, 상기 운전자별 히스토리 정보는 상기 운전자에게 경보를 발생하는 경보발생장치를 선별하기 위한 상기 운전자의 신체적인 정보를 포함할 수 있다.Preferably, the driver-specific history information may include physical information of the driver for selecting an alarm generating apparatus for generating an alarm to the driver.
본 발명의 일 실시예에 따르면, 경보를 발생하는 경보발생장치를 선별하기 위한 상기 운전자의 신체적인 정보란, 상기 운전자가 색약 혹은 색맹인 경우, 상기 운전자에 대한 경보장치는 불빛의 색을 이용하는 경보발생장치는 선별하지 않도록 한다. 또한, 상기 운전자의 청력이 약한 경우, 상기 운전자에 대한 경보장치는 소리를 이용한 경보발생장치가 아닌 다른 종류의 경보발생장치를 선별하도록 하거나, 혹은 소리를 이용한 경보발생장치를 선별하더라도 경보발생장치의 음량을 크게 하여 상기 운전자에게 경보를 발생하도록 한다.According to an embodiment of the present invention, the physical information of the driver for selecting an alarm generating device for generating an alarm is an alarm for the driver when the driver is faint or color blind, The generating device should not be selected. In addition, when the hearing of the driver is weak, the alarm device for the driver may select a different type of alarm generating device than the alarm generating device using sound, or even if the alarm generating device using sound is selected, The volume is increased and an alarm is generated to the driver.
이와 같이 상기 운전자의 신체적인 정보는 상기 운전자 혹은 상기 운전자가 속해있는 운송업체에 의하여 직접입력 될 수 있다.Thus, the physical information of the driver can be directly input by the driver or the transportation company to which the driver belongs.
바람직하게는, 후술하는 바와 같이 상기 운전자별 히스토리 정보는 상기 운전자의 사고이력 히스토리, 혹은 상기 운전자의 기설정된 기간 동안의 수면상태 히스토리 등을 포함할 수 있다.Preferably, as described later, the driver-specific history information may include an accident history history of the driver, a sleep state history of the driver for a predetermined period, and the like.
즉, 상기 운전자관리장치(1000)는 추론된 상기 운전자의 상태를 기초로 상기 운전자에게 적절한 경보를 통하여 사고발생에 대한 경각심을 환기할 수 있지만, 추론된 상기 운전자의 상태 및 상기 운전자특징정보를 모두 고려하여 상기 운전자에게 경보를 발생한다.That is, the driver's management apparatus 1000 can remind the driver of the occurrence of an accident through appropriate alarms based on the inferred driver's state, but it is also possible that the inferred state of the driver and the driver's feature information are all And generates an alarm to the driver.
본 발명의 일 실시예에 따르면, 상기 운전자특징정보에 포함된 상기 운전자의 사고이력 히스토리에 상기 운전자의 사고이력 많은 경우에는, 상대적으로 낮은 값의 상기 기설정된 조건 설정하여 상기 운전자에 대한 경보를 발생할 수 있고, 반면에 상기 운전자특징정보에 포함된 상기 운전자의 사고이력 히스토리에 상기 운전자의 사고이력이 없거나 거의 없는 경우에는, 상대적으로 높은 상기 기설정된 조건에도 상기 운전자에 대한 경보를 발생하지 않을 수 있다.According to an embodiment of the present invention, when there is a history of an accident history of the driver in the driver's accident history history included in the driver's feature information, an alarm for the driver is generated by setting the predetermined condition of a relatively low value If there is no accident history of the driver in the driver's accident history history included in the driver's feature information, the alarm for the driver may not be generated even in the relatively high predetermined condition .
이와 같이 상기 운전자의 기설정된 기간 동안의 수면상태 히스토리는 상기 운전자가 직접입력하거나, 혹은 상기 운전자의 신체에 부착된 웨어러블 장치에 의하여 측정되어 상기 운전자관리서버에 입력되도록 설정할 수 있다.As described above, the sleep state history of the driver for a predetermined period can be set by the driver directly or by being measured by the wearable device attached to the body of the driver and inputted to the driver management server.
상기 운전자에 대한 경보발생에 대하여는 자세하게 후술하도록 한다.The generation of an alarm for the driver will be described later in detail.
도 1에 도시된 바와 같이 상기 실시예에 따르면, 운전자영상 및 차량운행정보가 입력되고, 자동화된 운전자관리 시스템을 구성하는 운전자관리장치(1000)는 운전자영상 및 차량운행정보로부터 운전점수를 자동적으로 고려하고, 운전자관리서버(2000)로부터 수신한 운전자특징정보를 고려하여 운전자에게 사고 발생에 대한 경보를 발생시킬 수 있다.As shown in FIG. 1, according to the embodiment, the driver's image and the vehicle driving information are inputted, and the driver's management apparatus 1000 constituting the automated driver management system automatically calculates the driving score from the driver's image and the vehicle driving information And may generate an alarm for the occurrence of an accident to the driver in consideration of the driver characteristic information received from the driver management server 2000.
상기 운전자관리장치(1000)는 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에 의하여 구현되거나, 혹은 연산, 저장, 및 통신 기능을 수행할 수 있는 스마트 기기를 포함하는 사용자 단말기에 연결되는 장치에 의하여 구현될 수 있다.The operator management apparatus 1000 may be implemented by a computing device having one or more processors and one or more memories, or by a device coupled to a user terminal including a smart device capable of computing, storing, Can be implemented.
다만, 상술한 바와 같이, 본 발명의 일 실시예에 따른 자동화된 운전자관리시스템을 구성하는 상기 운전자관리장치(1000)를 구성하는 모듈/부의 추론과정에서 도출되는 전체 혹은 세부 결과들은, 이러한 전체 혹은 세부 결과들을 도출하기 위하여 상기 운전자관리장치(1000)에서 수집된 정보가 상기 운전자관리서버(2000)로 전송됨으로써, 상기 운전자관리서버(2000)의 모듈/부에 의하여 도출될 수도 있다.However, as described above, the whole or detailed results derived from the inference process of the module / unit constituting the driver management apparatus 1000 constituting the automated driver management system according to the embodiment of the present invention can be applied to the entire or detailed result Information derived from the driver's management apparatus 1000 may be transmitted to the driver's management server 2000 to derive detailed results by the module / department of the driver's management server 2000.
도 2는 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템의 내부구성을 개략적으로 도시한다.2 schematically illustrates an internal configuration of an automated driver management system according to an embodiment of the present invention.
상기 실시예에 따른 자동화된 운전자관리 시스템은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에 의하여 구현될 수 있다.An automated operator management system in accordance with this embodiment may be implemented by a computing device having one or more processors and one or more memories.
이와 같은 컴퓨팅장치는 프로세서(A), 버스(프로세서, 메모리, 네트워크 인터페이스 사이의 양방향 화살표에 해당), 네트워크 인터페이스(B) 및 메모리(C)를 포함할 수 있다. 메모리(C)에는 OS(운영체제), 및 인공신경망을 구현하는 데 있어서 학습된 학습데이터로서 후술하는 본 발명의 추론 혹은 예측을 하는 모듈에서 이용되는 추론부학습데이터가 저장되어 있을 수 있다. 혹은 상기 추론부학습데이터는 딥러닝이 진행된 모델링 정보 자체를 의미할 수도 있다. 프로세서(A)에서는 운전자영상인식부(100), 차량운행정보수집부(110), 운전자상태추론부(120), 운전점수추론부(130), 운전자경보관리부(140), 운전자별평가부(150), 운전자정보관리부(160), 및 운송업체정보관리부(170)가 실행될 수 있다. 다른 실시예들에서 자동화된 운전자 관리시스템은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.Such a computing device may include a processor A, a bus (corresponding to a bi-directional arrow between the processor, memory, and the network interface), a network interface B, and a memory C. The memory C may store inference unit learning data used in an OS (operating system) and a module for inferring or predicting according to the present invention as learning data learned in implementing an artificial neural network. Alternatively, the inference unit learning data may refer to the modeling information itself in which the deep learning is performed. The processor A includes a driver
또한 상술한 바와 같이, 상기 운전자관리서버의 프로세서(A)의 하부 모듈의 동작이 상기 운전자관리장치(1000) 혹은 상기 운전자관리서버(2000)에서 수행될 수 있도록 구성될 수도 있다.Also, the operation of the lower module of the processor A of the driver management server may be performed in the driver management apparatus 1000 or the driver management server 2000, as described above.
메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(B)를 통해 메모리에 로딩될 수도 있다.The memory may be a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive. These software components may be loaded from a computer readable recording medium separate from the memory using a drive mechanism (not shown). Such a computer-readable recording medium may include a computer-readable recording medium (not shown) such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, or a memory card. In other embodiments, the software components may be loaded into the memory via the network interface (B) rather than from a computer readable recording medium.
버스는 컴퓨팅 장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.The bus may enable communication and data transfer between components of the computing device. The bus may be configured using a high-speed serial bus, a parallel bus, a Storage Area Network (SAN), and / or other suitable communication technology.
네트워크 인터페이스(B)는 자동화된 운전자 관리시스템을 구현하는 컴퓨팅장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스(B)는 자동화된 운전자 관리시스템을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다. Network interface (B) may be a computer hardware component for connecting a computing device implementing an automated operator management system to a computer network. The network interface (B) can connect an automated operator management system to a computer network via a wireless or wired connection.
프로세서(A)는 기본적인 산술, 로직, 운전자 관리시스템, 운전자관리서버(2000), 운전자관리장치(1000)를 구현하는 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(C) 또는 네트워크 인터페이스(B)에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 운전자영상인식부(100), 차량운행정보수집부(110), 운전자상태추론부(120), 운전점수추론부(130), 운전자경보관리부(140), 운전자별평가부(150), 운전자정보관리부(160), 및 운송업체정보관리부(170)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.Processor A may be configured to process instructions of a computer program by performing input / output operations that implement basic arithmetic, logic, driver management system, operator management server 2000, and operator management device 1000. [ The command may be provided by the memory C or the network interface B and via the bus to the processor. The processor includes a driver
상기 운전자영상인식부(100), 차량운행정보수집부(110), 운전자상태추론부(120), 운전점수추론부(130), 운전자경보관리부(140), 운전자별평가부(150), 운전자정보관리부(160), 및 운송업체정보관리부(170)는 이하에서 설명하게 될 운전자관리방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 자동화된 운전자관리방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.The driver
한편, 이와 같은 상기 컴퓨팅 장치는 바람직하게는 개인용 컴퓨터 혹은 서버에 해당하고, 경우에 따라서는 스마트 폰(smart phone)과, 태블릿(tablet)과, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 ‘PDA’라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 ‘PMP’라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 ‘HMD’라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.Preferably, the computing device corresponds to a personal computer or a server, and may be a smart phone, a tablet, a mobile phone, a videophone, an e-book reader e a notebook PC, a netbook PC, a personal digital assistant (PDA), a portable personal computer (PC) A mobile multimedia device, a portable multimedia player (PMP), an MP3 player, a mobile medical device, a camera, a wearable device (e.g., a head- Electronic devices such as a head-mounted device (HMD), an electronic apparel, an electronic bracelet, an electronic necklace, an electronic app apparel, an electronic tattoo, or a smart watch ) And the like.
즉, 본 발명의 일 실시예 따른 자동화된 운전자 관리시스템은 차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식부(100); 운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집부(110); 상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론부(120); 및 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론부(130);를 포함하고, 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리부(140);를 더 포함하고, 기설정된 기간 동안 누적되어 입력된 상기 운전점수를 기초로 상기 운전자에 대한 운전평가데이터를 생성하는 운전자별평가부(150); 상기 운전평가 데이터 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 관리하는 운전자정보관리부(160); 및 운송업체별로 등록된 운전자의 상기 운전평가데이터 및 상기 운전자특징정보를 관리하는 운송업체관리부(170);를 더 포함할 수 있다.That is, an automated driver management system according to an embodiment of the present invention includes a driver image recognizing unit 100 for generating driver image information of a driver operating a vehicle; A vehicle driving information collection unit 110 for collecting at least one vehicle driving information on a vehicle in operation in real time; A driver state inferring unit 120 for deriving at least one driver state information for the driver related to an accident based on the driver image information in real time; And a driving score estimating unit (130) for generating a driving score of the driver who travels the vehicle during a predetermined time unit based on the at least one driver state information and the basic data including the at least one vehicle driving information A driver alarm for determining whether or not an alarm is generated for the driver when the possibility of an accident is high based on driver characteristic information including the at least one driver state information, the at least one vehicle driving information, and driver- A driver-evaluating unit (150) for generating driving evaluation data for the driver based on the driving points accumulated cumulatively for a predetermined period; A driver information management unit 160 for managing driver feature information including the operation evaluation data and driver-specific history information; And a carrier management unit (170) for managing the operation evaluation data and the driver characteristic information of the driver registered for each carrier.
이하에서는, 상기 운전자 관리시스템의 세부 구성요소에 대하여 상술하도록 한다.Hereinafter, the detailed components of the driver management system will be described in detail.
상기 실시예에 따르면, 상기 운전자 관리시스템은, 차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식부(100); 운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집부(110); 상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론부(120); 및 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론부(130);를 포함할 수 있다.According to the embodiment, the driver management system includes a driver image recognizing unit (100) for generating driver image information of a driver who drives the vehicle; A vehicle driving
상기 운전자영상인식부(100)는 차량을 운행하는 운전자의 상기 운전자영상정보를 생성한다.The driver
구체적으로 상기 운전자영상인식부(100)는 차량에 설치된 영상기록장치를 통하여 기록되는 차량을 운행하는 운전자의 영상을 실시간으로 입력 받는다. 이와 같이 상기 차량에 설치된 영상기록장치 통하여 기록되는 상기 운전자의 영상으로부터 상기 운전자상태추론부(120)에서 차량을 운행하는 운전자의 상태를 추론할 수 있게 하는 상기 운전자영상정보를 추출할 수 있다.Specifically, the driver
상기 운전자상태추론부(120)는 입력된 상기 운전자영상정보를 기초로 입력된 영상처리 알고리즘에 의하여 상기 운전자에 대한 1 이상의 운전자상태정보를 생성할 수 있다. 또한, 1 이상의 학습된 인공신경망 모델에 의하여 사고를 유발할 수 있는 상기 운전자에 대한 1 이상의 운전자상태정보를 생성할 수도 있다.The driver
이와 같은 사고를 유발할 수 있는 상기 운전자에 대한 1 이상의 운전자상태정보는 딥러닝과 같은 기계학습기술을 통한 1 이상의 학습된 인공신경망 모델을 통하여 상기 운전자영상정보로부터 사용자의 상태를 추론할 수 있는 사용자의 안면부위의 영상을 추출하고, 상기 운전자영상정보로부터 특정 부분을 추출한 상기 운전자영상정보를 기초로 차량을 운행하는 상기 운전자의 상태에 대한 추론이 가능하며, 후술하는 상기 운전자의 졸음상태, 상기 운전자의 집중상태, 및 상기 운전자의 감정상태를 포함할 수 있다. One or more driver state information for the driver that may cause such an accident may be generated by a user who can infer the state of the user from the driver image information through at least one learned neural network model through a machine learning technique such as deep learning It is possible to deduce the state of the driver who operates the vehicle based on the driver image information in which the image of the face region is extracted and a specific portion is extracted from the driver image information. A concentration state, and an emotional state of the driver.
상기 차량운행정보수집부(110)는 상기 운전자가 운행 중인 차량에 설치된 측정기기를 통하여 측정되는 1 이상의 차량운행정보를 실시간으로 입력 받는다. 이와 같이 상기 차량에 설치된 측정기기를 통하여 측정되는 차량속도정보, 차량가속도정보, 혹은 차량 운행방향을 포함하는 1 이상의 상기 차량운행정보를 기초로 상기 운전점수추론부(130)에서 상기 운전점수를 도출할 수 있다.The vehicle travel
혹은, 상기 차량에 설치된 측정기기를 통하여 측정되는 차량속도정보 및 차량 가속도정보를 포함하는 1 이상의 상기 차량운행정보를 기초로 상기 운전자경보관리부(140)에서 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별할 수 있다.Alternatively, when there is a high possibility of an accident in the driver
상기 차량에 설치된 측정기기는 차량속도, 및 차량가속도를 포함하는 1 이상의 상기 차량운행정보를 측정할 수 있는 GPS장치, 속도계, 가속도계 및 스마트기기 등과 같은 기기로서, 상기 차량에 설치된 측정기기는 다음과 같이 구현될 수 있다.The measuring device installed in the vehicle is a device such as a GPS device, a speedometer, an accelerometer and a smart device capable of measuring one or more of the vehicle driving information including a vehicle speed and a vehicle acceleration, Can be implemented together.
구체적으로, 상기 차량에 설치된 측정기기는 1) 상기 운전자관리 시스템에 연결가능한 GPS장치, 속도계, 및 가속도계 등을 차량에 장착하여 1 이상의 상기 차량운행정보를 측정함으로써 구현되거나, 2) 상기 운전자 관리시스템에 연결 가능한 네비게이션을 차량에 장착하여 네비게이션의 기능에 의하여 1 이상의 상기 차량운행정보를 측정함으로써 구현되거나, 3) 상술한 바와 같이 상기 운전자 관리시스템을 구성하는 일부 모듈을 차량에 장착 가능한 운전자관리장치(1000)로 구현함에 있어서, 상기 운전자관리장치(1000) 내부에 1 이상의 상기 차량운행정보를 측정할 수 있는 모듈이 포함되도록 함으로써 구현되거나, 4) 상기 운전자가 휴대하여 상기 운전자 관리시스템에 유/무선으로 연결가능한 스마트기기의 내부 기능에 의하여 구현될 수 있다. Specifically, the measurement instrument installed in the vehicle may be implemented by 1) measuring at least one vehicle driving information by mounting a GPS device, a speedometer, and an accelerometer, which are connectable to the driver management system, to the vehicle, or 2) (3) a driver management apparatus capable of mounting some of the modules constituting the driver management system in the vehicle as described above (for example, 1000), the driver management apparatus 1000 may be implemented by including at least one module capable of measuring the vehicle driving information, or 4) Which can be connected to the smart device.
다만, 이에 한정되지 않고, 이와 같은 차량운행정보는 차량 운행상태를 파악할 수 있도록 하는 측정 가능한 모든 종류의 요소를 포함할 수 있고, 상기 차량에 설치된 측정기기는 상기 차량운행정보를 측정할 수 있는 모든 종류의 측정기기를 포함할 수 있다.However, the present invention is not limited to this, and the vehicle operation information may include all kinds of measurable elements that enable the user to grasp the vehicle running state, and the measuring instrument installed in the vehicle may be any device capable of measuring the vehicle operation information Or a measuring instrument of a kind.
상기 운전점수추론부(130)는 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 단위의 시간 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성할 수 있다.The driving
또한, 상기 운전점수추론부(130)은 상기 운전자상태추론부(120)로부터 입력되는 상기 1 이상의 운전자상태정보, 상기 차량운행정보수집부(110)으로부터 입력되는 상기 1 이상의 차량운행정보를 기초로 학습된 인공신경망 모델에 의하여 차량을 운행하는 운전자의 상기 운전점수를 생성할 수도 있다.The driving
이와 같이 누적되어 입력되는 상기 운전점수로 상기 운전자에 대한 평가를 할 수 있다.The driver can be evaluated on the basis of the driving points accumulated cumulatively.
상기 운전점수추론부(130)에서 상기 운전점수가 생성되는 세부과정에 대하여는 자세하게 후술하도록 한다.The detailed process of generating the driving score in the driving
바람직하게는 상기 운전자 관리시스템을 구성하는 하위 모듈이 상술한 바와 같이 상기 운전자관리장치(1000) 및 상기 운전자관리서버(2000)에 의하여 구현되는 경우, 상기 운전자관리장치(1000)는 통신부를 더 포함할 수 있고, 상기 통신부(미도시)는 연결된 네트워크망을 통하여 상기 운전자관리장치(1000)에서 생성될 수 있는 상기 운전점수를 상기 운전자관리서버(2000)로 전송하고, 상기 운전자특징정보를 상기 운전자관리서버(2000)로부터 수신할 수 있다.Preferably, when the lower module constituting the driver management system is implemented by the driver management apparatus 1000 and the driver management server 2000 as described above, the driver management apparatus 1000 further includes a communication unit The communication unit (not shown) transmits the driving score, which can be generated in the driver management apparatus 1000, to the driver management server 2000 through the connected network, and transmits the driver characteristic information to the driver From the management server 2000.
상기 통신부(미도시)에 연결된 네트워크망은 유무선통신방식으로 상기 운전점수를 전송하거나 혹은 상기 운전자특징정보를 수신할 수 있는 모든 종류의 통신방식을 포함할 수 있고, 바람직하게는 상기 운전자가 휴대하는 스마트 기기와 같은 사용자 단말기를 이용하여 상기 운전자관리서버(2000)와 연결될 수 있다.The network connected to the communication unit (not shown) may include all kinds of communication methods capable of transmitting the driving score or receiving the driver's characteristic information in a wired / wireless communication manner. Preferably, And may be connected to the driver management server 2000 using a user terminal such as a smart device.
상기 운전자 관리시스템을 구성하는 상기 운전자별평가부(150), 상기 운전자정보관리부(160), 및 상기 운송업체정보관리부(170)에 대해서는 자세하게 후술하도록 한다.The driver-
도 3은 본 발명의 일 실시예에 따른 운전자경보관리부의 동작환경을 개략적으로 도시한다.FIG. 3 schematically illustrates the operating environment of the driver alarm management unit according to an embodiment of the present invention.
상기 실시예에 따르면, 상기 운전자 관리시스템은, 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리부(140);를 더 포함할 수 있다.According to the embodiment, the driver's management system may be configured such that when the possibility of an accident is high based on driver's feature information including the at least one driver's state information, the at least one vehicle's driving information, and driver's history information, And a driver
즉, 상기 운전자경보관리부(140)는 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보 및 운전자별 히스토리 정보가 포함된 상기 운전자특징정보를 기초로 사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하여 상기 운전자에 대한 경보를 발생함으로써, 상기 운전자가 운행 중에 발생할 수 있는 사고를 미연에 방지할 수 있다.That is, the driver
도 4는 본 발명의 일 실시예에 따른 운전자경보관리부의 내부구성을 개략적으로 도시한다.FIG. 4 schematically shows an internal configuration of a driver alarm management unit according to an embodiment of the present invention.
상기 실시예에 따르면, 바람직하게는 상기 운전자경보관리부(140)는, 상기 운전자특징정보, 상기 1 이상의 차량운행정보, 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 실시간으로 설정하는 운전자별임계값설정부(141); 및 실시간으로 1 이상의 상기 운전자상태정보와 1 이상의 상기 운전자상태정보 각각에 설정된 임계값을 비교하여 상기 운전자의 상태를 판별하는 운전자상태정보판별부(142);를 포함하고, 상기 운전자상태정보판별부(142)는, 1 이상의 상기 운전자상태정보 중 하나라도 상기 운전자상태정보 각각에 설정된 임계값 보다 큰 경우, 상기 운전자를 이상상태로 판별하고, 1 이상의 상기 운전자상태정보 모두가 상기 운전자상태정보 각각에 설정된 임계값 보다 작은 경우, 상기 운전자를 정상상태로 판별할 수 있다.According to the embodiment, the driver's
더욱 바람직하게는, 상기 운전자경보관리부(140)는, 상기 운전자상태정보판별부(142)에서 상기 운전자의 상태가 이상상태로 판별되는 경우, 상기 운전자의 신체적 특이사항을 포함하는 운전자특징정보를 기초로 상기 운전자에 대한 경보 발생장치를 선별하여, 선별된 경보 발생장치에 대한 제어신호를 생성하는 경보발생제어부(143);를 더 포함할 수 있다.More preferably, when the driver's state is determined to be abnormal by the driver
또한, 운전자별임계값설정부(141)는 1 이상의 상기 운전자상태정보 각각에 대하여 운전자상태정보임계값의 초기값을 설정하고, 상기 운전자특징정보를 기초로 학습된 인공신경망 모델에 의하여 상기 초기값을 조절할 수 있다.In addition, the driver-specific
구체적으로, 상기 운전자별임계값설정부(141) 운전자별로 사고 유발과 관련된 1 이상의 상기 운전자상태정보 각각에 임계값을 설정한다. Specifically, the driver-specific threshold
또한, 상기 운전자별임계값설정부(141)는 1 이상의 상기 운전자상태정보 각각에 대하여 운전자상태정보임계값의 초기값을 설정하고, 상기 운전자특징정보를 기초로 학습된 인공신경망 모델에 의하여 상기 초기값을 조절하는 방식으로 임계값을 설정할 수도 있다.In addition, the driver-specific
즉, 후술하는 졸음상태정보, 상기 집중상태정보, 혹은 감정상태정보를 포함하는 상기 1 이상의 운전자상태정보로부터 상기 운전자상태정보 각각에 운전자상태정보임계값의 초기값을 설정한다.That is, an initial value of the driver state information threshold value is set in each of the driver state information from the one or more driver state information including drowsiness state information, concentrated state information, or emotion state information, which will be described later.
상기 운전자상태정보임계값은 상기 1 이상의 운전자상태정보가 상기 운전자상태정보임계값 이상일 때, 상기 운전자의 상태가 사고 유발 위험성이 높은 이상상태로 판별하기 위하여 사용되는 값으로서, 상기 운전자상태정보가 상기 운전자상태정보임계값 이하일 때에는, 상기 운전자를 정상상태로 판별하여 사고 유발 위험성이 낮다고 판별할 수 있다.Wherein the driver state information threshold value is a value used for determining that the driver's state is an abnormal state in which the risk of an accident is high when the one or more driver state information is greater than or equal to the driver state information threshold value, When the value is equal to or smaller than the driver state information threshold value, it is possible to determine that the driver is in a normal state and that the risk of an accident is low.
본 발명의 일 실시예에 따르면, 상기 1 이상의 운전자상태정보에 상기 졸음상태정보, 상기 집중상태정보, 및 상기 감정상태정보가 포함될 때, 상기 졸음상태정보는 A, 상기 집중상태정보는 B, 및 상기 감정상태정보를 C라 하면, 상기 졸음상태정보에 해당하는 상기 운전자상태정보임계값을 
기본적으로 상기 운전자상태정보임계값은 상기 차량운행정보수집부(110)에서 수집되는 후술하는 상기 운전자가 운행 중인 차량에 대한 차량속도정보, 혹은 차량가속도정보를 포함하는 1 이상의 차량운행정보를 기초로 설정될 수 있다.Basically, the driver state information threshold value is calculated based on one or more vehicle driving information including vehicle speed information or vehicle acceleration information for the vehicle being driven by the driver, which will be described later, collected by the vehicle driving
구체적으로, 상기 차량속도정보는 상기 운전자상태정보임계값을 설정하는데 있어서 가장 중요한 요소가 된다.Specifically, the vehicle speed information is the most important factor in setting the driver state information threshold value.
즉, 빠른 속도로 운행중인 차량의 운전자는 짧은 순간의 졸음이나, 짧은 순간의 집중결여에도 사고유발 위험성이 높고 큰 사고로 이어질 수 있기 때문에, 상기 운전자상태정보임계값을 상대적으로 낮은 값으로 설정하여 짧은 순간의 졸음이나 짧은 순간의 집중결여에 의하여서도 상기 운전자에 대한 경보가 발생할 수 있도록 설정할 수 있다.That is, the driver of the vehicle traveling at a high speed is liable to cause an accident even in case of short-term drowsiness or lack of concentration for a short period of time, leading to a large accident. Therefore, the driver state information threshold value is set to a relatively low value It is possible to set an alert for the driver to be generated by short-lived drowsiness or short-lived concentration deficiencies.
또한, 느린 속도로 운행중인 차량의 운전자는 짧은 순간의 졸음이나, 짧은 순간의 집중결여에도 사고유발 위험성이 상대적으로 낮기 대문에, 상기 운전자상태정보임계값을 상대적으로 높은 값으로 설정하여 짧은 순간의 졸음이나 짧은 순간의 집중결여에 의하여서도 상기 운전자에 대한 경보가 발생하지 않도록 설정할 수 있다.In addition, since the driver of a vehicle running at a slow speed has a relatively low risk of causing an accident even at a short moment of drowsiness or short concentration of concentration, the driver state information threshold value is set to a relatively high value, It is possible to prevent an alert for the driver from occurring due to drowsiness or lack of concentration in a short period of time.
예를 들어, 상기 차량이 정지한 경우에는, 상기 운전자가 눈을 감고 잠이 들거나, 혹은 상기 운전자가 다른 용무 중이어서 운전에 집중을 하지 않더라도 사고 유발 위험성이 극히 낮기 때문에 상기 운전자상태정보 임계값을 큰 값을 갖도록 설정하여 경보가 발생하지 않도록 할 수 있다.For example, when the vehicle is stopped, the risk of an accident is extremely low even if the driver does not concentrate on driving because the driver closes his eyes or sleeps or the driver is busy. Therefore, the driver state information threshold value It is possible to prevent the alarm from occurring by setting it to have a large value.
또한 상기 차량의 가속도정보의 경우에도 상기 운전자가 운행중인 차량의 가속도가 높을수록 사고유발 위험성이 높고 큰 사고로 이어질 수 있기 때문에, 상기 운전자상태정보임계값을 상대적으로 낮은 값으로 설정하고, 상기 운전자가 운행중인 차량의 가속도가 낮을수록 상대적으로 높은 값으로 설정할 수 있다.Also, in the case of the acceleration information of the vehicle, the higher the acceleration of the vehicle that the driver is driving, the higher the risk of accident occurrence and the greater the accident. Therefore, the driver state information threshold is set to a relatively low value, Can be set to a relatively high value as the acceleration of the vehicle in operation is low.
또한, 상기 운전자별임계값설정부(141)는 상기 운전자가 운행 중인 차량에 대한 차량속도정보, 혹은 차량가속도정보를 포함하는 1 이상의 차량운행정보에 더하여 상기 운전자특징정보를 기초로 상기 운전자상태정보임계값을 설정할 수 있다.In addition, the driver-specific
즉, 상기 운전자별임계값설정부(141)는 상술한 바와 같이 기본적으로 차량운행정보수집부(110)에서 수집되는 상기 운전자가 운행 중인 차량에 대한 차량속도정보, 혹은 차량가속도정보를 포함하는 1 이상의 차량운행정보를 기초로 상기 운전자상태정보임계값을 설정하지만, 상기 운전자특징정보를 고려하여 상기 운전자상태정보임계값을 조절할 수 있다.In other words, the driver-specific threshold
즉, 상기 운전자특징정보는 사고를 유발할 수 있는 운전자별 히스토리 정보가 포함된 값으로서, 상기 운전자별 히스토리에 상기 운전자의 사고이력이 포함되고, 상기 운전자의 사고이력이 다수(多數)인 경우에는, 이러한 상기 운전정보를 기초로 생성된 상기 운전자특징정보를 통하여 상기 운전자상태정보임계값을 낮게 잡음으로서, 상기 1 이상의 운전자상태정보의 값이 일반적인 경우보다 상대적으로 낮은 경우에도 상기 운전자를 이상상태로 판별하여 사고 유발 위험성이 높다고 판별할 수 있다.That is, the driver characteristic information is a value including driver-specific history information that can cause an accident. If the driver's accident history is included in the driver-specific history, and the driver's accident history is a large number, The driver state information threshold value is lowered through the driver feature information generated based on the operation information, and even when the value of the at least one driver state information is relatively lower than a general case, It can be judged that the risk of accidents is high.
상기 운전자가 처음 상기 운전자 관리시스템을 사용하는 경우에는, 상기 운전자상태정보임계값의 초기값은 상기 운전점수관리서버에서 입력되는 운전자특징정보만으로 설정될 수 있다. In a case where the driver uses the driver management system for the first time, the initial value of the driver state information threshold may be set to only driver characteristic information input from the driving score management server.
다만, 이와 같은 상기 운전자상태정보임계값의 초기값은 상기 운전자임계값설정부를 구성하는 학습된 인공신경망 모델을 사용하여 누적되어 저장되는 상기 운전자의 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 상기 운전자특징정보를 기초로 적절한 값으로 조절될 수 있다. However, the initial value of the driver state information threshold value may be determined based on at least one driver state information of the driver accumulated and stored using the learned neural network model constituting the driver threshold value setting unit, And an appropriate value based on the driver characteristic information.
또는, 이와 같은 상기 운전자상태정보임계값은 상기 1 이상의 운전자상태정보, 상기 1 이상의 차량운행정보, 및 상기 운전자별히스토리 정보가 포함된 운전자특징정보를 기초로 상기 운전자별임계값설정부의 연산에 의하여 설정되는 것 이외에, 상기 운전자 혹은 상기 운전자 관리시스템을 운영하는 운전자에 의하여 수동으로 직접 입력될 수도 있다.Alternatively, the driver state information threshold value may be calculated by the operation of the driver threshold value setting unit based on the driver feature information including the at least one driver state information, the at least one vehicle driving information, and the driver-specific history information It may be directly input manually by the driver or the driver who operates the driver management system.
구체적으로, 본 발명의 일 실시예에 따르면, 상기 운전자별임계값설정부의 상기 운전자별임계값을 상기 운전자 혹은 상기 운영자에 의하여 낮음, 중간, 및 높음의 3단계로 설정될 수 있다. Specifically, according to an embodiment of the present invention, the driver-specific threshold value of the driver-specific threshold value setting unit may be set to three levels of low, middle, and high by the driver or the operator.
상기 운전자가 상기 운전자별임계값을 낮음으로 설정한다면, 상기 1 이상의 운전자상태정보에 의하여 판별되는 낮은 사고유발 가능성에서도 경보가 울릴 수 있다.If the driver sets the driver-specific threshold value to low, the alarm may also be triggered at a low possibility of occurrence, which is determined by the one or more driver state information.
혹은 상기 운전자가 상기 운전자별임계값을 높음으로 설정한다면, 상기 1 이상의 운전자상태정보에 의하여 판별되는 높은 사고유발 가능성에서만 경보가 울릴 수 있는 등, 상기 운전자 혹은 상기 운영자에 의하여 상기 운전자별임계값을 설정할 수도 있다. Alternatively, if the driver sets the driver-specific threshold value to high, the driver or the operator may alert the driver only at a high possibility of an accident, which is determined by the at least one driver state information. It can also be set.
본 발명의 일 실시예에 따르면, 상기 졸음상태정보(A), 상기 집중상태정보(B), 및 상기 감정상태정보(C)를 포함하는 상기 1 이상의 운전자상태정보의 값은 0에서 1 사이의 범위를 갖는 값을 가질 수 있다.According to an embodiment of the present invention, the value of the at least one driver state information including the drowsiness state information A, the centralized state information B, and the emotion state information C is 0 to 1 Range. ≪ / RTI >
따라서, 상기 1 이상의 운전자상태정보 각각에 설정된 상기 운전자상태정보임계값(
다만, 상기 운전점수를 생성하기 위하여 사용되는 규칙에 따라 상기 1 이상의 운전자상태정보 및 상기 1 이상의 운전자상태정보 각각에 설정된 운전자상태정보임계값이 설정될 수 있으며, 본 발명의 일 실시예에 따르면, 상기 1 이상의 운전자상태정보(A, B, C)가 -1 이상이고, 1 이하의 범위의 값을 갖도록 설정될 수 있고, 이에 따라 상기 1 이상의 운전자상태정보 각각에 설정된 운전자상태정보임계값(
상기 운전자상태정보판별부(142)는 실시간으로 1 이상의 상기 운전자상태정보와 1 이상의 상기 운전자상태정보 각각에 설정된 임계값을 비교하여 상기 운전자의 상태를 판별할 수 있다.The driver
즉, 상술한 실시예에 따르면, 상기 졸음상태정보(A)를 상기 졸음상태정보에 해당하는 운전자상태정보임계값(
구체적으로, 상기 운전자상태정보판별부(142)는 1 이상의 상기 운전자상태정보 중 하나라도 상기 운전자상태정보 각각에 설정된 임계값 보다 큰 경우, 상기 운전자를 이상상태로 판별하고, 1 이상의 상기 운전자상태정보 모두가 상기 운전자상태정보 각각에 설정된 임계값 보다 작은 경우, 상기 운전자를 정상상태로 판별한다.Specifically, the driver
상기 경보발생제어부(143)는 상기 운전자상태정보판별부(142)에서 상기 운전자의 상태가 이상상태로 판별되는 경우에는 사고유발 가능성이 높다고 판단하여, 상기 운전자의 신체적 특이사항을 포함하는 운전자특징정보를 기초로 상기 운전자에 대한 경보 발생장치를 선별하여, 선별된 경보 발생장치에 대한 제어신호를 생성한다.If the driver's state is determined to be abnormal in the driver
이와 같은 방법으로 선별된 경보 발생장치에서 발생하는 경보에 의하여 상기 운전자에 대하여 사고 발생에 대한 경각심을 환기시킴으로써 사고발생 가능성을 낮출 수 있다.The alarm generated by the selected alarm generating device can be used to alert the driver of the occurrence of an accident, thereby reducing the possibility of an accident.
본 발명의 일 실시예에 따르면, 상기 경보 발생장치는 상기 운전자에게 청각에 의한 경보를 발생할 수 있는 스피커, 상기 운전자에게 시각에 의한 경보를 발생할 수 있는 조명, 상기 운전자에게 진동에 의한 경보를 발생할 수 있는 기계장치, 및 상기 운전자에게 전기신호를 이용한 충격을 가하여 경보를 발생할 수 있는 전기자극장치를 포함할 수 있다.According to an embodiment of the present invention, the alarm generating device may generate a warning signal to the driver, a speaker capable of generating an audible alarm, And an electric stimulation device capable of generating an alarm by applying an impact using an electric signal to the driver.
구체적으로, 상기 스피커를 상기 경보 발생장치로 선별하는 경우, 상기 스피커를 통하여 나오는 경보음을 통하여 상기 운전자가 청각으로 인식할 수 있는 경보를 발생할 수 있다.Specifically, when the speaker is selected by the alarm generating device, an alarm that the driver can perceive audibly through an alarm sound generated through the speaker can be generated.
상기 조명을 상기 경보 발생장치로 선별하는 경우, 상기 조명의 밝기 변화, 상기 조명의 깜빡임, 혹은 상기 조명의 색변화 등으로 인하여 상기 운전자가 시각으로 인식할 수 있는 경보를 발생할 수 있다.When the light is selected by the alarm generating device, an alarm that the driver recognizes as time can be generated due to a change in brightness of the illumination, a blinking of the illumination, or a color change of the illumination.
상기 기계장치를 상기 경보 발생장치로 선별하는 경우, 상기 운전자의 신체에 접촉되어 있는 상기 기계장치에 강한 진동을 발생하여 상기 운전자가 진동에 의하여 인식할 수 있는 경보를 발생할 수 있다.When the mechanical device is selected by the alarm generating device, a strong vibration is generated in the mechanical device in contact with the body of the driver so that the driver can generate an alarm that can be recognized by the vibration.
상기 전기자극장치를 상기 경보발생장치로 선별하는 경우, 상기 운전자의 신체에 접촉되어 있는 상기 전기자극장치에 전기신호를 발생하여 상기 운전자가 전기신호에 의한 충격을 인식할 수 있는 경보를 발생할 수 있다.When the electric stimulation apparatus is selected by the alarm generating apparatus, an electric signal may be generated in the electric stimulation apparatus in contact with the body of the driver so that the driver can generate an alarm capable of recognizing an impact caused by the electric signal .
이와 같은 경보 발생장치는 상기 스피커 혹은 상기 조명과 같이 상기 운전자가 운행하는 차량에 기존에 설치되어 있는 장치를 이용하여 경보를 발생할 수 있는 장치일 수 있고, 또한 상기 부가적으로 상기 운전자가 운행하는 차량에 설치되는 장치를 이용하여 경보를 발생할 수 있는 장치일 수 있다.Such an alarm generating device may be an apparatus which can generate an alarm by using a device installed in a vehicle operated by the driver such as the speaker or the illumination, Which can generate an alarm by using an apparatus installed in the apparatus.
상기 경보 발생장치는 위의 실시예에 한정되지 않고, 상기 운전자가 시각, 청각, 혹은 촉각 등의 감각에 의하여 인식할 수 있는 경보를 발생하는 모든 종류의 장치를 포함할 수 있다.The alarm generating device is not limited to the above embodiment, and may include any type of device that generates an alarm that the driver can recognize by a sense of sight, hearing, or tactile sense.
다만, 상기 경보발생제어부(143)에서는 상기 실시예와 같은 다양한 종류의 경보 발생장치 중 하나를 선별하기 위하여 상술한 바와 같이 상기 운전자특징정보를 고려할 수 있다.However, the
즉, 상기 경보발생제어부(143)는 상기 운전자특징정보에 포함된 상기 운전자의 신체적인 정보를 고려하여 상기 경보 발생장치 중 하나를 선별할 수 있다.That is, the
본 발명의 실시예에 따르면, 상기 운전자가 색맹, 색약, 혹은 눈부심이 심하거나 밝은 대낮에 운행을 하는 경우, 선별되는 상기 경보발생장치는 상기 운전자가 시각으로 인식할 수 있는 경보 발생장치 보다 다른 감각에 의하여 인식할 수 있는 경보 발생장치를 선별할 수 있다.According to the embodiment of the present invention, when the driver travels in color blindness, color weakness, or glare or in bright daylight, the selected alarm generating device generates a different sensation than the alarm generating device It is possible to select an alarm generating device that can be recognized by the user.
또한 상기 운전자의 청력이 약한 경우, 선별되는 상기 경보발생장치는 상기 운전자가 청각으로 인식할 수 있는 경보 발생장치 보다 다른 감각에 의하여 인식할 수 있는 경보 발생장치를 선별할 수 있다.In addition, when the hearing of the driver is weak, the selected alarm generating device can select an alarm generating device that can recognize by a different sensation than an alarm generating device that the driver can perceive audibly.
상기 경보발생제어부(143)는 상기 운전자상태정보판별부(142)에서 1 이상의 상기 운전자상태정보 중에서 상기 운전자를 이상상태로 판별하게 하는 운전자상태정보의 값과 그 임계값의 크기의 차이를 고려하여 상기 운전자에 대한 경보의 세기를 판별할 수 있다.The alarm
즉, 상기 운전자상태정보의 값에 따라 상기 운전자에게 경보를 발생하는 경우에는, 상기 운전자를 이상상태로 판별하게 하는 상기 운전자상태정보의 값과 그 임계값의 차이가 클수록 더 강한 경보가 발생하도록 한다.That is, when an alarm is generated to the driver according to the value of the driver state information, a stronger alarm is generated as the difference between the value of the driver state information for discriminating the driver as an abnormal state and the threshold value is larger .
또한, 상기 운전자특징정보에 포함된 상기 운전의 신체적인 정보를 고려하여 상기 경보의 세기를 판별할 수 있다. 즉, 상기 운전자의 청력이 약한 경우에 상기 스피커를 상기 경보 발생장치로 선별할 때에는, 일반적인 경우보다 더 큰 경보음을 발생하여 상기 운전자가 상기 경보음을 인식할 수 있도록 한다.Also, the strength of the alarm can be determined by taking physical information of the driving included in the driver characteristic information into consideration. That is, when the audiences of the driver are weak, when the speaker is selected by the alarm generator, a larger alarm sound is generated than in the general case, so that the driver can recognize the alarm sound.
본 발명의 일 실시예에 따르면, 바람직하게는, 상기 운전자상태정보판별부(142)는, 상기 운전자를 이상상태로 판별하는 경우, 상기 운전자상태정보 각각에 설정된 임계값의 세분화된 단계별임계값에 따라 이상상태정도(程度)를 판별하고, 상기 경보발생제어부(143)는, 상기 단계별임계값에 따라 판별되는 상기 이상상태정도에 따라 상기 경보발생장치를 구별하여 선별하거나, 혹은 상기 단계별임계값에 따라 판별되는 이상상태정도에 따라 선별된 상기 경보발생장치의 경보세기가 구별되는 제어신호를 생성할 수 있다.According to an embodiment of the present invention, when the driver is determined to be in an abnormal state, the driver
구체적으로, 상기 운전자상태정보판별부(142)는 상기 세분화된 단계별임계값에 따라 이상상태정도를 판별하고, 상기 경보발생제어부(143)는 상기 세분화된 단계별임계값에 따라 판별되는 상기 이상상태정도에 따라 발생되는 경보를 구분하도록 한다.Specifically, the driver
예를들어, 상기 단계별임계값을 낮은 단계의 임계값인 THRESHOLD 1로부터 THRESHOLD 3까지 설정한다면, 상기 운전자상태정보판별부(142)는 상기 운전자가 상기 운전자의 상태가 낮은 단계의 임계값인 THRESHOLD 1 이상 THRESHOLD 2 미만의 범위에 있는 경우, 중간 단계의 임계값인 THRESHOLD 2 이상 THRESHOLD 3 미만의 범위에 있는 경우, 및 높은 단계의 임계값인 THRESHOLD 3 이상의 범위에 있는 경우로 구분하여 상기 이상상태정도를 판별한다.For example, if the step-by-step threshold value is set from THRESHOLD 1 to THRESHOLD 3, which is a lower threshold value, the driver
또한, 경보발생제어부(143)는 상기 운전자의 이상상태정도가 THRESHOLD 1 이상 THRESHOLD 2 미만의 범위에 있는 경우에는 약한 경보음을 발생하도록 제어신호를 생성하고, 상기 운전자의 이상상태정도가 THRESHOLD 2 이상 THRESHOLD 3 미만의 범위에 있는 경우에는 매우 강한 경보음을 발생하도록 제어신호를 생성하고, 상기 운전자의 이상상태정도가 THRESHOLD 3 이상의 범위에 있는 경우에는 이와 같은 경보음뿐만이 아닌 상기 경보발생제어부(143)에 의하여 제어될 수 있는 웨어러블 장치, 혹은 조명에 의한 경보가 발생하도록 제어신호를 생성할 수 있다.The alarm
이와 같이, 상기 운전자경보관리부(140)는, 상기 운전자경보관리부(140)를 구성하는 상기 운전자별임계값설정부(141) 및 상기 운전자상태정보판별부(142)를 이용하여 1 이상의 상기 운전자상태정보, 1 이상의 상기 차량운행정보, 및 상기 운전자특징정보를 기초로 상기 운전자에 대한 경보의 발생여부를 판별하고, 상기 운전자에게 경보를 발생하는 경우에는 상기 1 이상의 상기 운전자 상태정보, 상기 운전자별임계값, 및 상기 운전자특징정보를 기초로 경보 발생장치 선별하고, 경보의 세기를 판별하여, 선별된 경보발생장치에 대한 제어신호를 생성할 수 있다.The driver
도 5은 본 발명의 일 실시예에 따른 운전자상태추론부의 내부구성을 개략적으로 도시한다.FIG. 5 schematically shows an internal configuration of a driver state inference unit according to an embodiment of the present invention.
이하에서는 졸음상태추론부(121), 집중상태추론부(122), 및 감정상태추론부(123)을 포함하는 상기 운전상태추론부(120)의 세부구성과 그 동작에 대하여 설명하도록 한다.Hereinafter, the detailed configuration and operation of the driving
상기 실시예에 따르면, 바람직하게는, 상기 운전자상태추론부(120)는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 졸음여부에 대한 졸음상태정보를 생성하는 졸음상태추론부(121);를 포함하고, 상기 졸음상태정보는 차량을 운행하는 운전자의 눈의 움직임을 기초로 도출될 수 있다.According to the embodiment, preferably, the driver
또한, 상기 졸음상태추론부(121)는 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 졸음여부에 대한 졸음상태정보를 생성하고, 상기 졸음상태정보는 차량을 운행하는 운전자의 눈의 움직임을 기초로 상기 졸음상태추론부(121)에 영상처리 알고리즘에 의하여 도출되는 기설정 된 값이거나, 혹은 인공신경망 모델에 의하여 도출된 기설정 된 값일 수 있다.In addition, the drowsiness
구체적으로, 상기 졸음상태정보는 차량을 운행하는 운전자의 눈의 움직임을 기초로, 영상처리 알고리즘에 의하여 도출되거나, 혹은 인공신경망모델에 의하여 도출된 0 이상이고, 1 이하인 확률값 혹은 이산값일 수 있다.Specifically, the drowsiness state information may be a probability value or a discrete value derived from an image processing algorithm based on the motion of the eyes of the driver who drives the vehicle, or 0 or more, which is derived from the artificial neural network model,
즉, 상기 졸음상태추론부(121)은 입력된 상기 운전자영상정보를 기초로 학습된 인공신경망 모델에 의하여 사고를 유발할 수 있는 상기 운전자의 졸음여부에 대한 상기 졸음상태정보를 생성할 수 있다. That is, the drowsiness
본 발명의 일 실시예에 따르면, 상기 졸음상태추론부(121)는 상기 운전자영상정보 중 상기 운전자의 얼굴을 검출하고 눈의 위치를 파악하고, 눈의 위치가 파악 된 경우, 상기 운전자의 눈의 깜빡임 정도, 눈의 동작 정도, 혹은 눈을 감고 있는 정도 등을 포함하는 상기 운전자의 복합적인 눈의 움직임을 파악할 수 있다.According to an embodiment of the present invention, the
이에 더하여 상기 졸음상태정보는 학습된 인공신경망 모델에 의하여 상기 운전자의 복합적인 눈의 움직임으로부터 0 이상이고, 1 이하의 값을 갖도록 수치화 될 수 있다. 즉, 상기 운전자가 졸음이 없는 경우를 0으로 하여 최대 1의 값을 갖도록 수치화 될 수 있다.In addition, the drowsiness state information may be numerically expressed by a learned artificial neural network model so as to have a value of 0 or more and a value of 1 or less from the complex eye movement of the driver. That is, the driver can be numerically expressed as having a maximum value of 1 by setting the case where the driver is not drowsy to zero.
상기 실시예에 따르면, 상기 운전자상태추론부(120)는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 집중 여부에 대한 집중상태정보를 생성하는 집중상태추론부(122);를 포함하고, 상기 집중상태정보는 차량을 운행하는 운전자의 머리의 움직임을 기초로 도출될 수 있다.According to the embodiment, the driver
또한, 상기 집중상태추론부(122)는 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 집중 여부에 대한 집중상태정보를 생성하고, 상기 집중상태정보는 차량을 운행하는 운전자의 머리의 움직임을 기초로 상기 집중상태추론부에 입력된 영상처리 알고리즘에 의하여 도출되는 기설정된 값이거나, 혹은 차량을 운행하는 운전자의 머리의 움직임을 기초로 인공신경망 모델에 의하여 도출되는 기설정 된 값일 수 있다.In addition, the centralized
구체적으로, 상기 집중상태정보는 차량을 운행하는 운전자의 머리의 움직임을 기초로, 입력된 영상처리 알고리즘에 의하여 도출되거나, 혹은 인공신경망 모델에 의하여 도출된 0 이상이고, 1 이하인 확률값 혹은 이산값일 수 있다.Specifically, the concentrated state information may be a probability value or a discrete value that is 0 or more, which is derived by an input image processing algorithm or derived by an artificial neural network model, based on the motion of the driver's head, have.
즉, 상기 집중상태추론부(122)는 입력된 상기 운전자영상정보를 기초로 학습된 인공신경망 모델에 의하여 사고를 유발할 수 있는 상기 운전자의 집중여부에 대한 상기 집중상태정보를 생성할 수 있다. That is, the centralized
발명의 일 실시예에 따르면, 상기 집중상태추론부(122)는 상기 운전자영상정보 중 상기 운전자의 머리부위를 검출하여, 상기 운전자의 전방 주시 정도 등을 포함하는 상기 운전자의 머리의 움직임을 파악할 수 있다.According to an embodiment of the present invention, the concentrated
이에 더하여 상기 집중상태정보는 학습된 인공신경망 모델에 의하여 상기 상기 운전자의 머리의 움직임으로부터 0 이상이고, 1 이하의 값을 갖도록 수치화 될 수 있다. 즉, 상기 운전자가 집중도가 낮은 경우를 0으로 하여 최대 1의 값을 갖도록 수치화 될 수 있다.In addition, the convergence state information may be numerically expressed by a learned neural network model so as to have a value of 0 or more and a value of 1 or less from the movement of the driver's head. That is, the driver can be numerically expressed as having a maximum value of 1 with 0 as the case of low concentration.
상기 실시예에 따르면, 상기 운전자상태추론부(120)는, 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 감정에 대한 감정상태정보를 생성하는 감정상태추론부(123);를 포함하고, 상기 감정상태정보는 상기 차량을 운행하는 운전자의 얼굴이미지를 기초로 인공신경망 모델에 의하여 도출될 수 있다.According to the embodiment, the driver
또한, 감정상태추론부(123)는 입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 감정에 대한 감정상태정보를 생성하고, 상기 감정상태정보는 상기 차량을 운행하는 운전자의 표정변화를 기초로 인공신경망 모델에 의하여 도출된 기설정된 값일 수 있다.Also, the emotion
바람직하게는, 상기 감정상태정보는 차량을 운행하는 운전자의 표정변화를 기초로 인공신경망 모델에 의하여 도출된 0 이상이고, 1 이하인 확률값 혹은 이산값일 수 있다.Preferably, the emotion state information may be a probability value or a discrete value of 0 or more, which is derived from an artificial neural network model based on a change in facial expression of a driver who travels the vehicle.
구체적으로, 상기 감정상태추론부(121)은 입력된 상기 운전자영상정보를 기초로 학습된 인공신경망 모델에 의하여 사고를 유발할 수 있는 상기 운전자의 감정에 대한 상기 감정상태정보를 생성할 수 있다. Specifically, the emotion
본 발명의 일 실시예에 따르면, 상기 감정상태추론부(121)는 상기 운전자영상정보 중 상기 운전자의 얼굴을 검출하고 검출된 얼굴에서 표현되는 상기 운전자의 표정으로부터, 상기 운전자의 얼굴에 표현되는 행복, 놀람, 화남, 불쾌함, 두려움 등을 포함하는 상기 운전자의 감정을 파악할 수 있다. 일 실시예에 따르면, 분노 등과 같이 부정적인 감정이 상기 운전자의 표정에 표현되는 경우, 상기 운전자가 난폭운전을 하여 사고를 유발할 수 있는 확률이 높다고 추론될 수 있다.According to an embodiment of the present invention, the emotion
이에 더하여 상기 감정상태정보는 학습된 인공신경망 모델에 의하여 상기 상기 운전자의 표정으로부터 0 이상이고, 1 이하의 값을 갖도록 수치화 될 수 있다. 즉, 상기 운전자의 표정으로부터 난폭운전을 유발할 수 있는 놀람, 화남, 불쾌함, 및 두려움 등을 포함하는 부정적인 감정이 최대 1의 값을 갖도록 하여 수치화 될 수 있다.In addition, the emotion state information may be numerically expressed by a learned artificial neural network model so as to have a value of 0 or more and a value of 1 or less from the expression of the driver. That is, negative emotions including surprise, angryness, unpleasantness, and fear that can induce abrupt driving from the expressions of the driver can be numerically expressed with a maximum value of 1.
이상과 같이, 상기 운전자영상정보를 기초로 상기 운전상태추론부(120)를 구성하는 상기 졸음상태추론부(121), 상기 집중상태추론부(122), 및 상기 감정상태추론부(123)에서 학습된 인공신경망 모델에 의하여 도출된 상기 졸음상태정보, 상기 집중상태정보, 및 감정상태정보를 포함하는 상기 사고를 유발할 수 있는 상기 운전자에 대한 1 이상의 운전자상태정보가 상기 운전점수추론부(1400)에 입력되어 상기 운전점수를 생성하는데 기초가 된다.As described above, in the sleep
도 6는 본 발명의 일 실시예에 따른 자동화된 운전자관리 시스템에 사용되는 학습된 인공신경망 모델의 동작과정을 개략적으로 도시한다.FIG. 6 schematically illustrates the operation of a learned neural network model used in an automated driver management system according to an embodiment of the present invention.
상기 운전상태추론부(120)을 구성하는 상기 졸음상태추론부(121), 상기 집중상태추론부(122), 및 상기 감정상태추론부(123)에서 사용되는 학습된 인공신경망 모델은 도 6에 도시된 바와 같은 동작을 수행한다.The learned neural network model used in the drowsiness
상기 운전상태추론부(120)은 졸음상태추론부(121), 상기 집중상태추론부(122), 및 상기 감정상태추론부(123)에 상기 운전자의 상태를 판별할 수 있는 학습데이터를 통하여 학습된 인공신경망 모델을 사용할 수 있다.The driving
즉, 상기 학습데이터로 제공된 상기 운전자의 영상을 통하여 정답과 출력을 비교하여 오류를 계산하여 오류를 줄여나가는 방식으로 계속되는 학습을 진행하게 된다.That is, the learning is continued in such a manner that the correct answer and the output are compared through the image of the driver provided by the learning data, and the error is calculated and the error is reduced.
이와 같은 방식으로 학습된 인공신경망 모델에 의하여 상기 운자자의 영상을 기초로 상기 운전자의 운전자상태정보를 추론할 수 있다.The driver's state information of the driver can be inferred based on the image of the driver by the artificial neural network model learned in this way.
도 7는 본 발명의 일 실시예에 따른 차량운행정보수집부의 내부구성을 개략적으로 도시한다.7 schematically shows an internal configuration of a vehicle driving information collecting unit according to an embodiment of the present invention.
상기 실시예에 따르면, 바람직하게는, 상기 차량운행정보수집부(110)는, 상기 운전자가 운행 중인 차량의 차량속도정보를 실시간으로 수집하는 차량속도정보수집부(111); 및 운전자가 운행 중인 차량의 차량가속도정보를 실시간으로 수집하는 차량가속도정보수집부(112);를 포함할 수 있다.According to the embodiment, the vehicle driving
즉, 차량속도정보수집부(111)는 측정장치를 통하여 측정된 운전자가 운행 중인 차량의 차량속도정보를 실시간으로 수집하고, 차량가속도정보수집부(112)는 측정장치를 통하여 측정된 운전자가 운행 중인 차량의 차량가속도정보를 실시간으로 수집할 수 있다.That is, the vehicle speed
상기 차량운행정보수집부(110)는 상술한 바와 같이, 상기 운전자가 운행 중인 차량에 설치된 측정기기를 통하여 측정되는 1 이상의 차량운행정보를 실시간으로 입력 받는다. 이와 같이 상기 차량에 설치된 측정기기를 통하여 측정되는 차량속도정보 및 차량가속도정보를 포함하는 1 이상의 상기 차량운행정보를 기초로 상기 운전점수추론부(130)에서 상기 운전점수를 도출할 수 있다.As described above, the vehicle driving
상기 차량에 설치된 측정기기는 차량속도, 및 차량가속도를 포함하는 1 이상의 상기 차량운행정보를 측정할 수 있는 차량에 설치되는 GPS장치, 속도계, 가속도계 혹은 상기 운전자가 휴대하여 설치된 어플리케이션 프로그램으로 실행되는 스마트기기 등과 같은 기기로서, 상기 차량에 설치된 측정기기는 다음과 같이 구현될 수 있다.The measuring device installed in the vehicle may be a GPS device, a speedometer, an accelerometer installed in a vehicle capable of measuring one or more of the vehicle driving information including a vehicle speed and a vehicle acceleration, or a smart As a device such as a device, a measurement device installed in the vehicle can be implemented as follows.
구체적으로, 상기 차량에 설치된 측정기기는 1) 상기 운전자관리 시스템에 연결가능한 GPS장치, 속도계, 및 가속도계 등을 차량에 장착하여 1 이상의 상기 차량운행정보를 측정함으로써 구현되거나, 2) 상기 운전자 관리시스템에 연결 가능한 네비게이션을 차량에 장착하여 네비게이션의 기능에 의하여 1 이상의 상기 차량운행정보를 측정함으로써 구현되거나, 3) 상술한 바와 같이 상기 운전자 관리시스템을 구성하는 일부 모듈을 차량에 장착 가능한 운전자관리장치(1000)로 구현함에 있어서, 상기 운전자관리장치(1000) 내부에 1 이상의 상기 차량운행정보를 측정할 수 있는 모듈이 포함되도록 함으로써 구현되거나, 4) 상기 운전자가 휴대하여 상기 운전자 관리시스템에 유/무선으로 연결가능한 스마트기기의 내부 기능에 의하여 구현될 수 있다. Specifically, the measurement instrument installed in the vehicle may be implemented by 1) measuring at least one vehicle driving information by mounting a GPS device, a speedometer, and an accelerometer, which are connectable to the driver management system, to the vehicle, or 2) (3) a driver management apparatus capable of mounting some of the modules constituting the driver management system in the vehicle as described above (for example, 1000), the driver management apparatus 1000 may be implemented by including at least one module capable of measuring the vehicle driving information, or 4) Which can be connected to the smart device.
다만, 이에 한정되지 않고, 이와 같은 차량운행정보는 차량 운행상태를 파악할 수 있도록 하는 측정 가능한 모든 종류의 요소를 포함할 수 있고, 상기 차량에 설치된 측정기기는 상기 차량운행정보를 측정할 수 있는 모든 종류의 측정기기를 포함할 수 있다.However, the present invention is not limited to this, and the vehicle operation information may include all kinds of measurable elements that enable the user to grasp the vehicle running state, and the measuring instrument installed in the vehicle may be any device capable of measuring the vehicle operation information Or a measuring instrument of a kind.
이와 같은 차량속도정보를 수집하기 위하여 상기 차량속도정보수집부(111)는 측정장치를 통하여 측정된 운전자가 운행 중인 차량의 차량속도를 실시간으로 수집한다.In order to collect the vehicle speed information, the vehicle speed
또한, 상기 차량가속도정보를 수집하기 위하여 상기 차량가속도정보수집부(112)는 측정장치를 통하여 측정된 운전자가 운행 중인 차량의 차량가속도를 실시간으로 수집한다.Also, in order to collect the vehicle acceleration information, the vehicle acceleration
바람직하게는, 상기 차량속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값이고, 상기 차량가속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값일 수 있다.Preferably, the vehicle speed information is a value of a predetermined range normalized by a preset reference value, and the vehicle acceleration information may be a predetermined range value normalized by a preset reference value.
더욱 바람직하게는, 상기 차량속도정보는 기설정된 최대속도값에 의하여 정규화된 차량의 속도를 기초로 인공신경망 모델에 의하여 sigmoid 함수를 이용하여 도출된 기설정된 범위의 값이고, 상기 차량가속도정보는 차량의 가속도를 기초로 인공신경망 모델에 의하여 도출된 기설정된 범위의 값일 수 있다.More preferably, the vehicle speed information is a value of a predetermined range derived by using the sigmoid function by the artificial neural network model based on the speed of the vehicle normalized by the predetermined maximum speed value, May be a value of a predetermined range derived by an artificial neural network model based on the acceleration of the vehicle.
이와 같이 도출된 상기 차량속도정보 및 상기 차량가속도정보는 학습된 인공신경망 모델에 의하여 도출된 0 이상이고, 1 이하인 확률값 혹은 이산값일 수 있다.The vehicle speed information and the vehicle acceleration information thus derived may be a probability value or a discrete value of 0 or more, which is derived from the learned artificial neural network model and is 1 or less.
이와 같이 수집된 상기 차량속도정보 및 상기 차량가속도정보를 포함하는 1 이상의 차량운행정보는 상술한 바와 같이 상기 운전자경보관리부(140)에 입력되어 상기 1 이상의 운전자상태정보, 및 상기 운전자특징정보와 함께 상기 운전자임계값을 설정하는데 기초가 되고, 상기 운전점수추론부(130)에 입력되어 상기 1 이상의 운전자상태정보와 함께 상기 운전점수를 생성하는데 기초가 된다.The one or more pieces of vehicle driving information including the vehicle speed information and the vehicle acceleration information thus collected are input to the driver
도 8은 본 발명의 일 실시예에 따른 운전점수추론부의 동작환경을 개략적으로 도시한다.FIG. 8 schematically shows the operating environment of the driving point estimating unit according to an embodiment of the present invention.
상기 실시예에 따르면, 상기 운전점수추론부(130)는 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 운행정보를 기초로 운전점수 감점사항에 대하여 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출할 수 있다. According to the embodiment, the driving
구체적으로, 상기 운전점수는 상기 차량을 운행하는 운전자를 평가하는 있는 자료로서 활용될 수 있다. 즉, 이러한 운전점수는 기설정된 단위의 시간 동안에 산출되고 누적되어 저장됨으로써, 후술하는 상기 운전자별평가부(150), 상기 운전자정보관리부(160), 및 상기 운송업체관리부(170)에서 사용된다.Specifically, the driving score may be utilized as data for evaluating a driver who is driving the vehicle. That is, the driving score is calculated and accumulated during a predetermined unit of time to be used in the driver-
상기 운전점수는 상기 운전자의 초기 운전점수로부터 상기 1 이상의 운전자상태정보, 및 상기 1 이상의 운행정보를 기초로 운전점수 감점사항에 대하여 판별하여 차감하는 방식으로 산출될 수 있다.The driving score may be calculated by subtracting the driving score from the initial driving score of the driver based on the at least one driver state information and the at least one driving information, and subtracting the driving score from the initial driving score.
예를 들어 운전점수가 산출되는 상기 기설정된 단위의 시간을 5분이라 하면, 상기 운전자가 30분 동안 상기 차량을 운행한다면 0~5분, 6~10분, 11~15분, 16~20분, 21분~25분, 26분~30분 사이의 총 6개의 운전점수 
0~5분 사이의 운전점수 
상기 운전점수 감점사항이란 1 이상의 운전자상태정보, 및 1 이상의 운행정보를 기초로 사고를 유발할 수 있는 요인으로서, 본 발명의 일 실시예에 따르면, 1 이상의 상기 운행정보에 포함되는 차량속도정보 혹은 차량가속도정보에 따라 상기 운전자가 과속, 급가속, 급제동, 급작스러운 차선변경 여부 등을 수치화 하여 상기 운전자의 초기 운전점수로부터 빼어줄 수 있고, 혹은 1 이상의 상기 운전자상태정보에 포함되는 졸음상태, 집중상태, 감정상태에 따라 상기 운전자가 상습적인 졸음, 운전 중에 딴짓, 혹은 난폭운전을 유발하는 감정상태의 표출 여부 등을 수치화 하여 상기 운전자의 초기 운전점수로부터 빼어줄 수 있다.According to one embodiment of the present invention, the driving point scoring matter is a factor that can cause an accident based on one or more driver's condition information and one or more driving information, The driver may subtract the initial driving score of the driver by expressing the speed, rapid acceleration, sudden braking, sudden change of lane, etc., according to the acceleration information, or may calculate the drowsiness state, , The driver can subtract the initial driving score of the driver by quantifying the driver's sleepiness, whether the driver is sleeping during driving, expressing the emotional state causing the driver's driving, and the like.
즉, 기설정된 단위의 시간 동안 사고를 유발할 수 있는 다양한 요인을 수치화 하여 상기 운전자의 초기 운전점수로부터 빼어주고, 차량을 운행하는 운전자 별로 운전점수가 누적되어 저장됨으로써, 낮은 운전점수를 얻는 상기 운전자를 관리하는데 활용될 수 있다.That is, various factors that may cause an accident during a predetermined unit of time are quantified and subtracted from the initial driving score of the driver, and the driving points are accumulated and stored for each driver who drives the vehicle, It can be used for management.
도 9는 본 발명의 일 실시예에 따른 운전점수추론부의 동작환경을 예시적으로 도시한다.FIG. 9 exemplarily illustrates an operating environment of the driving point estimating unit according to an embodiment of the present invention.
바람직하게는, 상기 운전점수추론부(130)는 상기 운전자에 대한 경보의 발생여부를 운전점수 추가 감점사항으로 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출할 수 있다.Preferably, the driving
즉, 상술한 운전점수 감점사항에 더하여 사고를 유발할 수 있는 개연성이 높아 상기 운전자경보관리부(140)에서 상기 운전자에 대한 경보를 발생한 경우에는 추가로 감점을 하여 상기 운전점수를 산출할 수 있다.That is, in addition to the above-mentioned driving score deduction points, when the driver's
도 10은 본 발명의 일 실시예에 따른 운전자별평가부의 동작환경을 개략적으로 도시한다.FIG. 10 schematically shows the operating environment of the driver-specific evaluation unit according to an embodiment of the present invention.
상술한 바와 같이, 상기 운전자 관리시스템은 기설정된 기간 동안 누적되어 입력된 상기 운전점수를 기초로 상기 운전자에 대한 운전평가데이터를 생성하는 상기 운전자별평가부(150); 상기 운전평가데이터 및 상기 운전자별 히스토리 정보가 포함된 운전자특징정보를 관리하는 운전자정보관리부(160); 및 운송업체별로 등록된 운전자의 상기 운전평가데이터 및 상기 운전자특징정보를 관리하는 상기 운송업체정보관리부(170);를 더 포함할 수 있다.As described above, the driver management system includes the driver-specific evaluating
도 10에 도시된 바와 같이 상기 운전자별평가부(150)는 기설정된 기간 동안 누적되어 입력된 상기 운전점수를 기초로 상기 운전자에 대한 운전평가데이터를 생성할 수 있다.As shown in FIG. 10, the driver-
즉, 상기 운전자 관리시스템 운영자는 상기 운전점수가 누적되도록 기간을 설정하고, 설정된 기간 동안 입력된 상기 운전점수를 기초로 상기 운전자에 대한 평가가 가능한 데이터를 생성한다.That is, the operator management system operator sets a period in which the driving points are accumulated, and generates data that can be evaluated for the driver based on the driving points input during the set period.
이와 같은 상기 운전자평가데이터를 기초로 상기 운전자정보관리부(160) 및 상기 운송업체정보관리부(170)에서 운전자특징정보 및 운전자별특징정보를 생성하여 관리하게 된다.The driver
상기 운전자정보관리부(160)는 상기 운전자별평가부(150)에서 입력되는 상기 운전평가데이터 및 상기 운전자정보가 포함된 상기 운전자특징정보를 생성하여 상기 운전자경보관리부(140)에 전송하거나, 혹은 지속적으로 업데이트 되는 상기 운전평가데이터 및 상기 운전자정보가 포함된 상기 운전자특징정보를 기초로 상기 운전자를 관리할 수 있는 데이터를 생성한다.The driver
상기 운송업체정보관리부는(170)는 상기 운송업체에 등록된 운전자별로 상기 운전자별평가부(150)에서 지속적으로 업데이트 되어 입력되는 상기 운전평가데이터 및 상기 운전자정보가 포함된 상기 운전자별특징정보를 기초로 상기 운송업체에 등록된 운전자를 관리할 수 있는 데이터를 생성한다. The transport company
이와 같은 운전자별특징정보는 상기 운송업체에 제공되거나 혹은 상기 운송업체가 등록된 보험회사에 제공되어, 상기 운송업체에 등록된 운전자를 관리할 수 있도록 한다.Such driver-specific feature information may be provided to the carrier or to the insurance company to which the carrier is registered so that the carrier registered with the carrier can be managed.
도 11는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.11 illustrates an exemplary internal configuration of a computing device according to an embodiment of the present invention.
도 11에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(111300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 운전자관리장치(1000)에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.11, the
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.At this point, accessing
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input / output subsystem 11400 may couple various input / output peripherals to the
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Or as described above,
이러한 도 12의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 13에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.12 is merely an example of the
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.The methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment can be configured as a PC-based program or an application dedicated to a mobile terminal. An application to which the present invention is applied can be installed in a user terminal through a file provided by a file distribution system. For example, the file distribution system may include a file transfer unit (not shown) for transferring the file according to a request from the user terminal.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computing device and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (14)
차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식부;
운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집부;
상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론부;
상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론부; 및
사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리부를 포함하고,
상기 운전자경보관리부는,
사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 설정하는 운전자별임계값설정부; 및
실시간으로 1 이상의 상기 운전자상태정보와 1 이상의 상기 운전자상태정보 각각에 설정된 임계값을 비교하여 상기 운전자의 상태를 판별하는 운전자상태정보판별부;를 포함하고,
상기 운전자별임계값설정부는 운전자별 히스토리 정보가 포함된 운전자특징정보에 기초하여 운전자별로 상기 운전자에 대한 1 이상의 운전자상태정보의 임계값의 초기값을 설정하고,
상기 운전자별임계값설정부는 상기 차량운행정보수집부에 수집되는 차량속도정보 혹은 차량가속도정보에 기초하여 상기 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 실시간으로 설정하고,
상기 운전자별임계값설정부는 상대적으로 빠른 속도로 운행중인 차량에 대하여 상기 운전자상태정보의 임계값을 상대적으로 느린 속도로 운행중인 차량보다 낮은 값으로 설정하거나, 상대적으로 빠른 가속도로 운행중인 차량에 대하여 상기 운전자상태정보의 임계값을 상대적으로 느린 가속도로 운행중인 차량보다 낮은 값으로 설정하는, 운전자관리 시스템.
An automated driver management system using a machine learning model,
A driver image recognizing unit for generating driver image information of a driver operating the vehicle;
A vehicle driving information collecting unit for collecting at least one vehicle driving information on a vehicle that the driver is operating in real time;
A driver state inferring unit for deriving at least one driver state information for the driver related to an accident based on the driver image information in real time;
A driving score inference unit for generating a driving score of the driver who travels the vehicle during a predetermined time unit based on the at least one driver state information and basic data including the at least one vehicle driving information; And
And a driver alarm management unit for determining whether an alarm is generated for the driver when the possibility of an accident is high,
The driver alarm management unit,
A driver-specific threshold value setting unit for setting a threshold value in each of at least one driver condition information for the driver related to the accident occurrence; And
And a driver state information determiner for comparing the at least one driver state information with at least one threshold value set in the driver state information in real time to determine the state of the driver,
The threshold value setting unit for the driver sets an initial value of a threshold value of at least one driver state information for the driver for each driver based on driver feature information including driver-specific history information,
The threshold setting unit for the driver sets a threshold value in each of at least one driver state information for the driver related to the accident based on the vehicle speed information or the vehicle acceleration information collected in the vehicle driving information collection unit in real time,
The threshold value setting unit for the driver sets the threshold value of the driver state information at a relatively low speed to a value lower than that of the running vehicle for a vehicle running at a relatively high speed or for a vehicle that is running at a relatively high acceleration And sets a threshold value of the driver state information to a value lower than a vehicle that is running at a relatively slow acceleration.
상기 운전자경보관리부는,
상기 운전자상태정보판별부에서 상기 운전자의 상태가 이상상태로 판별되는 경우, 상기 운전자의 신체적 특이사항을 포함하는 운전자특징정보를 기초로 상기 운전자에 대한 경보 발생장치를 선별하여, 선별된 경보 발생장치에 대한 제어신호를 생성하는 경보발생제어부;를 더 포함하는, 운전자 관리시스템.
The method according to claim 1,
The driver alarm management unit,
When the driver's state information discriminating unit discriminates the driver's state as an abnormal state, the alarm generating apparatus for the driver is selected based on the driver's characteristic information including the physical uniqueness of the driver, And an alarm generation control unit for generating a control signal for the driver.
상기 운전자상태추론부는,
입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 졸음여부에 대한 졸음상태정보를 생성하는 졸음상태추론부;를 포함하고,
상기 졸음상태정보는 차량을 운행하는 운전자의 눈의 움직임을 기초로 도출되는, 운전자관리 시스템.
The method according to claim 1,
The driver state inferring unit,
And a drowsiness state inference unit for generating drowsiness state information on whether the driver is drowsy, which can cause an accident based on the input driver image information,
Wherein the drowsy state information is derived based on a motion of a driver's eye.
상기 운전자상태추론부는,
입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 집중 여부에 대한 집중상태정보를 생성하는 집중상태추론부;를 포함하고,
상기 집중상태정보는 차량을 운행하는 운전자의 머리의 움직임을 기초로 도출되는, 운전자관리 시스템.
The method according to claim 1,
The driver state inferring unit,
And a centralized state inference unit for generating centralized state information on the concentration of the driver capable of causing an accident based on the input driver image information,
Wherein the centralized state information is derived based on a motion of a driver's head operating the vehicle.
상기 운전자상태추론부는,
입력된 상기 운전자영상정보를 기초로 사고를 유발할 수 있는 상기 운전자의 감정에 대한 감정상태정보를 생성하는 감정상태추론부;를 포함하고,
상기 감정상태정보는 상기 차량을 운행하는 운전자의 얼굴이미지를 기초로 인공신경망 모델에 의하여 도출되는, 운전자관리 시스템.
The method according to claim 1,
The driver state inferring unit,
And an emotion state inferring unit for generating emotion state information on an emotion of the driver that can cause an accident based on the input driver image information,
Wherein the emotion state information is derived from an artificial neural network model based on a face image of a driver operating the vehicle.
상기 차량운행정보수집부는,
상기 운전자가 운행 중인 차량의 차량속도정보를 실시간으로 수집하는 차량속도정보수집부; 및
운전자가 운행 중인 차량의 차량가속도정보를 실시간으로 수집하는 차량가속도정보수집부;를 포함하는, 운전자관리 시스템.
The method according to claim 1,
The vehicle driving information collecting unit,
A vehicle speed information collecting unit for collecting, in real time, vehicle speed information of the vehicle being operated by the driver; And
And a vehicle acceleration information collection unit for collecting, in real time, vehicle acceleration information of a vehicle that the driver is driving.
상기 차량속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값이고,
상기 차량가속도정보는 기설정된 기준값에 의하여 정규화된 기설정된 범위의 값인, 운전자관리 시스템.
The method of claim 8,
Wherein the vehicle speed information is a value of a predetermined range normalized by a preset reference value,
Wherein the vehicle acceleration information is a value of a predetermined range normalized by a preset reference value.
상기 운전자 관리시스템은,
기설정된 기간 동안 누적되어 입력된 상기 운전점수를 기초로 상기 운전자에 대한 운전평가데이터를 생성하는 운전자별평가부;
상기 운전평가 데이터 및 운전자별 히스토리 정보가 포함된 운전자특징정보를 관리하는 운전자정보관리부; 및
운송업체별로 등록된 운전자의 상기 운전평가데이터 및 상기 운전자특징정보를 관리하는 운송업체관리부;를 더 포함하는, 운전자 관리시스템.
The method according to claim 1,
Wherein the driver management system comprises:
A driver-specific evaluator for generating driving evaluation data for the driver based on the driving points accumulated cumulatively for a predetermined period of time;
A driver information management unit for managing driver feature information including the operation evaluation data and driver-specific history information; And
And a transportation company management unit for managing the operation evaluation data and the driver characteristic information of the driver registered for each transportation company.
상기 운전점수추론부는,
상기 1 이상의 운전자상태정보, 및 상기 1 이상의 운행정보를 기초로 운전점수 감점사항에 대하여 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출하는, 운전자 관리시스템.
The method of claim 10,
The driving-
The driver's score is calculated in such a manner that the driver's score is subtracted from the driver's initial driving score during a predetermined unit of time based on the one or more driver's state information and the one or more driving information, system.
상기 운전점수추론부는,
상기 운전자에 대한 경보의 발생여부를 운전점수 추가 감점사항으로 판별하여 기설정된 단위의 시간 동안에 상기 운전자의 초기운전점수로부터 차감하는 방식으로 상기 운전점수를 산출하는, 운전자 관리시스템.
The method of claim 11,
The driving-
Wherein the driver's score is calculated by subtracting the driver's initial driving score from the driver's initial driving score during a predetermined unit of time by determining whether or not an alarm for the driver is generated as a driving point additional point.
차량을 운행하는 운전자의 운전자영상정보를 생성하는 운전자영상인식단계;
운전자가 운행 중인 차량에 대한 1 이상의 차량운행정보를 실시간으로 수집하는 차량운행정보수집단계;
상기 운전자영상정보를 기초로 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보를 실시간으로 도출하는 운전자상태추론단계;
상기 1 이상의 운전자상태정보, 및 상기 1 이상의 차량운행정보를 포함하는 기초데이터를 기초로 기설정된 시간 단위 동안에 차량을 운행하는 상기 운전자의 운전점수를 생성하는 운전점수추론단계; 및
사고유발 가능성이 높은 경우에 상기 운전자에 대한 경보의 발생여부를 판별하는 운전자경보관리단계를 포함하고,
상기 운전자경보관리단계는,
사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 설정하는 운전자별임계값설정단계; 및
실시간으로 1 이상의 상기 운전자상태정보와 1 이상의 상기 운전자상태정보 각각에 설정된 임계값을 비교하여 상기 운전자의 상태를 판별하는 운전자상태정보판별단계;를 포함하고,
상기 운전자별임계값설정단계는 운전자별 히스토리 정보가 포함된 운전자특징정보에 기초하여 운전자별로 상기 운전자에 대한 1 이상의 운전자상태정보의 임계값의 초기값을 설정하고,
상기 운전자별임계값설정단계는 상기 차량운행정보수집단계에서 수집되는 차량속도정보 혹은 차량가속도정보에 기초하여 상기 사고 유발과 관련된 상기 운전자에 대한 1 이상의 운전자상태정보 각각에 임계값을 실시간으로 설정하고,
상기 운전자별임계값설정단계는 상대적으로 빠른 속도로 운행중인 차량에 대하여 상기 운전자상태정보의 임계값을 상대적으로 느린 속도로 운행중인 차량보다 낮은 값으로 설정하거나, 상대적으로 빠른 가속도로 운행중인 차량에 대하여 상기 운전자상태정보의 임계값을 상대적으로 느린 가속도로 운행중인 차량보다 낮은 값으로 설정하는, 운전자 관리방법.
An automated driver management method using a machine learning model implemented in a computing device comprising at least one processor and at least one memory,
A driver image recognition step of generating driver image information of a driver who drives the vehicle;
A vehicle driving information collection step of collecting, in real time, one or more vehicle driving information on a vehicle that the driver is driving;
A driver state inference step of deriving one or more driver state information related to an accident related to the driver in real time based on the driver image information;
A driving score inference step of generating a driving score of the driver who drives the vehicle for a predetermined time unit based on the basic data including the at least one driver state information and the at least one vehicle driving information; And
And a driver alarm management step of determining whether an alarm is generated for the driver when the possibility of an accident is high,
Wherein the driver alarm management step comprises:
A driver-specific threshold value setting step of setting a threshold value in each of at least one driver condition information for the driver related to the accident occurrence; And
And a driver state information discriminating step of discriminating a state of the driver by comparing at least one of the driver state information and at least one of the driver state information with a threshold value set in real time,
The threshold setting step for the driver may set an initial value of a threshold value of at least one driver state information for the driver for each driver based on driver feature information including driver-specific history information,
The threshold value setting step for the driver sets a threshold value in each of at least one driver state information for the driver related to the accident based on vehicle speed information or vehicle acceleration information collected in the vehicle driving information collection step in real time ,
The threshold value setting step for the driver may set the threshold value of the driver state information to a value lower than the driving vehicle at a relatively slow speed for a vehicle traveling at a relatively high speed, Wherein the threshold value of the driver state information is set to a value lower than a vehicle traveling at a relatively slow acceleration.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170159829 | 2017-11-28 | ||
| KR20170159829 | 2017-11-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101984284B1 true KR101984284B1 (en) | 2019-05-30 |
Family
ID=66675556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180011931A KR101984284B1 (en) | 2017-11-28 | 2018-01-31 | Automated Driver-Managing System Using Machine Learning Model, and Method Thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101984284B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027859A (en) * | 2019-12-11 | 2020-04-17 | 公安部交通管理科学研究所 | Driving risk prevention method and system based on motor vehicle state monitoring data mining |
| KR102149175B1 (en) * | 2019-12-13 | 2020-08-28 | 제주특별자치도 | Vehicle accident detection and emergency call service system based on data and method for processing thereof |
| KR102150034B1 (en) * | 2019-12-13 | 2020-08-31 | 제주특별자치도 | SAFE DRIVING SUPPORT SYSTEM BASED ON MOBILE IoT AGENT AND METHOD FOR PROCESSING THEREOF |
| KR20200140514A (en) * | 2019-06-07 | 2020-12-16 | 주식회사 쿠프파이맵스 | Apparatus and method for providing driver insurance product based on driving information |
| KR20210096431A (en) | 2020-01-28 | 2021-08-05 | 연세대학교 산학협력단 | Apparatus for Detecting Emergency Situation while Driving through Facial Expression Classification |
| KR102323692B1 (en) * | 2020-07-03 | 2021-11-12 | 주식회사 쏘카 | Method and apparatus for evaluating driver using adas |
| KR102411864B1 (en) | 2021-08-31 | 2022-06-22 | (주)에이아이매틱스 | System and method for managing driving information of shared vehicle to guarantee driver's anonymity |
| WO2023090530A1 (en) * | 2021-11-16 | 2023-05-25 | 부산대학교 산학협력단 | Driver incentive provision system and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000268297A (en) * | 1999-03-16 | 2000-09-29 | Nissan Motor Co Ltd | Safety drive evaluation device |
| JP2004240828A (en) * | 2003-02-07 | 2004-08-26 | Horiba Ltd | Operation control system |
| KR20170107373A (en) * | 2016-03-15 | 2017-09-25 | 제록스 코포레이션 | System and method for providing context-specific vehicular driver interactions |
-
2018
- 2018-01-31 KR KR1020180011931A patent/KR101984284B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000268297A (en) * | 1999-03-16 | 2000-09-29 | Nissan Motor Co Ltd | Safety drive evaluation device |
| JP2004240828A (en) * | 2003-02-07 | 2004-08-26 | Horiba Ltd | Operation control system |
| KR20170107373A (en) * | 2016-03-15 | 2017-09-25 | 제록스 코포레이션 | System and method for providing context-specific vehicular driver interactions |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200140514A (en) * | 2019-06-07 | 2020-12-16 | 주식회사 쿠프파이맵스 | Apparatus and method for providing driver insurance product based on driving information |
| KR102312984B1 (en) * | 2019-06-07 | 2021-10-14 | 주식회사 쿠프파이맵스 | Apparatus and method for providing driver insurance product based on driving information |
| CN111027859A (en) * | 2019-12-11 | 2020-04-17 | 公安部交通管理科学研究所 | Driving risk prevention method and system based on motor vehicle state monitoring data mining |
| CN111027859B (en) * | 2019-12-11 | 2021-11-30 | 公安部交通管理科学研究所 | Driving risk prevention method and system based on motor vehicle state monitoring data mining |
| KR102149175B1 (en) * | 2019-12-13 | 2020-08-28 | 제주특별자치도 | Vehicle accident detection and emergency call service system based on data and method for processing thereof |
| KR102150034B1 (en) * | 2019-12-13 | 2020-08-31 | 제주특별자치도 | SAFE DRIVING SUPPORT SYSTEM BASED ON MOBILE IoT AGENT AND METHOD FOR PROCESSING THEREOF |
| WO2021118304A1 (en) * | 2019-12-13 | 2021-06-17 | 제이아이엔시스템 주식회사 | Mobile iot integration-based safe driving support system and processing method thereof |
| KR20210096431A (en) | 2020-01-28 | 2021-08-05 | 연세대학교 산학협력단 | Apparatus for Detecting Emergency Situation while Driving through Facial Expression Classification |
| KR102323692B1 (en) * | 2020-07-03 | 2021-11-12 | 주식회사 쏘카 | Method and apparatus for evaluating driver using adas |
| KR102411864B1 (en) | 2021-08-31 | 2022-06-22 | (주)에이아이매틱스 | System and method for managing driving information of shared vehicle to guarantee driver's anonymity |
| WO2023033325A1 (en) | 2021-08-31 | 2023-03-09 | (주)에이아이매틱스 | Shared vehicle driving information management system and method guaranteeing driver's anonymity |
| WO2023090530A1 (en) * | 2021-11-16 | 2023-05-25 | 부산대학교 산학협력단 | Driver incentive provision system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101984284B1 (en) | Automated Driver-Managing System Using Machine Learning Model, and Method Thereof | |
| US20220095975A1 (en) | Detection of cognitive state of a driver | |
| Galarza et al. | Real time driver drowsiness detection based on driver’s face image behavior using a system of human computer interaction implemented in a smartphone | |
| US10827927B2 (en) | Avoidance of cognitive impairment events | |
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| Costa et al. | Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system | |
| CN102098955A (en) | Method and device for the detection of microsleep events | |
| US10877444B1 (en) | System and method for biofeedback including relevance assessment | |
| WO2008133746A1 (en) | Systems and methods for detecting unsafe conditions | |
| KR102426902B1 (en) | Providing prsonalized traning system for cognitive rehabilitaion based on artificial intelligence | |
| US11937930B2 (en) | Cognitive state-based seamless stimuli | |
| Sankar et al. | Machine learning system for indolence perception | |
| US11772674B2 (en) | Systems and methods for increasing the safety of voice conversations between drivers and remote parties | |
| Damousis et al. | Fuzzy fusion of eyelid activity indicators for hypovigilance-related accident prediction | |
| Pandey et al. | A survey on visual and non-visual features in Driver’s drowsiness detection | |
| JP2022042248A (en) | Drowsiness determination program, drowsiness determination device, and drowsiness determination method | |
| Kim et al. | Context-based rider assistant system for two wheeled self-balancing vehicles | |
| Barisic et al. | Driver model for Take-Over-Request in autonomous vehicles | |
| Damousis et al. | A fuzzy expert system for the early warning of accidents due to driver hypo-vigilance | |
| Al-Gburi et al. | State of the Art in Drivers’ Attention Monitoring–A Systematic Literature Review | |
| Gupta et al. | Real time driver drowsiness detecion using transfer learning | |
| KR102476829B1 (en) | Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof | |
| Ortega et al. | Open your eyes: Eyelid aperture estimation in Driver Monitoring Systems | |
| Singh et al. | Enhanced Driver Drowsiness Detection using Deep Learning | |
| Nagdeote et al. | An Approach to Detect Driver Drowsiness in Real Time using Facial Landmarks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |