KR20160067681A - Method for analyzing driving concentration level of driver - Google Patents

Method for analyzing driving concentration level of driver Download PDF

Info

Publication number
KR20160067681A
KR20160067681A KR1020140173388A KR20140173388A KR20160067681A KR 20160067681 A KR20160067681 A KR 20160067681A KR 1020140173388 A KR1020140173388 A KR 1020140173388A KR 20140173388 A KR20140173388 A KR 20140173388A KR 20160067681 A KR20160067681 A KR 20160067681A
Authority
KR
South Korea
Prior art keywords
concentration level
information
driver
biometric information
external environment
Prior art date
Application number
KR1020140173388A
Other languages
Korean (ko)
Other versions
KR102401607B1 (en
Inventor
장영민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140173388A priority Critical patent/KR102401607B1/en
Publication of KR20160067681A publication Critical patent/KR20160067681A/en
Application granted granted Critical
Publication of KR102401607B1 publication Critical patent/KR102401607B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention comprises: a step of enabling an external environment variable removal module to detect biometric information of a driver to remove external environment static of the biometric information; a step of enabling a concentration index generating module to extract characteristic information from the biometric information where the external environment static is removed; a step of enabling the concentration index generating module to generate a driving concentration level index based on the characteristic information; and a step of enabling a driving concentration level determination module to compare the driving concentration level index with the reference driving concentration level index of the already registered driver and analyze the driving concentration level index to determine a driving concentration level.

Description

운전자의 운행 집중도 레벨 분석방법{METHOD FOR ANALYZING DRIVING CONCENTRATION LEVEL OF DRIVER}METHOD FOR ANALYZING DRIVING CONCENTRATION LEVEL OF DRIVER [0002]

본 발명은 운전자의 운행 집중도 레벨 분석방법에 관한 것으로서, 보다 상세하게는 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하는 운전자의 운행 집중도 레벨 분석방법에 관한 것이다.
The present invention relates to a method of analyzing a driving concentration level of a driver, and more particularly, to a method of analyzing a driving concentration level of a driver who analyzes a driving concentration level of a driver using biometric information of a driver.

최근 운전자 생체정보를 기반으로 운전자의 상태(감성,의도,집중도)를 모니터링하기 위한 연구가 많이 이루어지고 있다. 운전자의 집중도를 분석하는 운전자의 운행 집중도 레벨 분석 방법은 차량의 조향각도, 사용자의 뇌파정보 및 시선정보를 이용하였다. Recently, many studies have been conducted to monitor driver 's condition (emotion, intention, concentration) based on driver biometric information. The driver 's concentration level analysis method used to analyze the driver' s concentration was based on the steering angle of the vehicle, the user 's brain wave information, and the gaze information.

즉, 종래의 운전자의 운행 집중도 레벨 분석방법은 차량 주행중 조향각의 변화와 전방 카메라 센서를 통해 취득된 차량운행상태 정보를 근거로 운전자의 운전 집중도를 판정할 수 있는 인덱스를 산출하거나, 머리의 전두엽 영역에서 발생하는 신호를 SMR파, Mid-Bata파, Theta 주파수 영역으로 분류한 후 집중도 추출 알고리즘을 적용하여 집중도 지표를 추출하거나, 또는 디스플레이 장치에 표시되는 주행 정보 및 주행 상황에 따라 운전자가 시선을 집중하는 시간과 인지하는 시간에 대한 반응 속도를 정량화하고 학습하여 운전자의 집중도를 분석하였다. That is, in the conventional method of analyzing the operating concentration level of a driver, an index capable of determining the driving concentration of the driver is calculated based on the change of the steering angle during running of the vehicle and the information of the vehicle running state acquired through the front camera sensor, The center-bass wave, and the theta frequency domain, and then extracts the concentration index by applying a concentration extraction algorithm, or extracts the concentration index by extracting the concentration index from the concentration information of the SMR wave, We analyzed the driver 's concentration by quantifying and learning the reaction time and the recognition time.

그러나, 종래의 운전자의 운행 집중도 레벨 분석방법은 운전자의 집중도를 분석하기 위하여 생체신호나 차량의 조향각도 또는 핸들의 변화되는 각도 등과 같이 간단한 정보를 이용하고 있다. 그 결과, 환경에 대한 변화 및 다수의 운전자의 운전 습관이나 상태에 대한 정보를 전혀 고려하지 않고, 일정한 경계치 값을 이용하여 단순하고 부정확한 문제점이 있었다. However, the conventional driver's concentration level analysis method uses simple information such as a bio-signal, a steering angle of a vehicle, or an angle of a steering wheel to analyze a driver's concentration. As a result, there has been a problem of simple and inaccurate use of a certain threshold value without any consideration of changes in the environment and information on the driving habits and conditions of a large number of drivers.

이로 인하여 종래의 운전자의 운행 집중도 레벨 분석방법은 운행중의 다양한 환경에서 운전자의 집중도 분석에 대한 오류 상황 발생 빈도수가 높아질 수 있고, 다수의 운전자 개개인의 특성을 반영하지 못했다. 게다가, 분석 오류 발생률이 높고, 운전자의 집중도 판별 분석이 부정확하게 이루어지는 문제점이 있었다. Therefore, the conventional method of analyzing the driving concentration level of the driver can increase the frequency of occurrence of the error situation in the concentration analysis of the driver in various environments during the operation and does not reflect the characteristics of the individual drivers. In addition, there is a problem that the rate of occurrence of analysis error is high and the analysis of the concentration of the driver is performed incorrectly.

본 발명의 배경기술은 대한민국 특허등록번호 제10-1338582호(2013.12.02)에 개시되어 있다.
The background art of the present invention is disclosed in Korean Patent Registration No. 10-1338582 (Feb.

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a vehicle driving assist system The present invention provides a method for analyzing a driving concentration level of a driver, which can prevent a driver from being carelessly operated.

본 발명의 다른 목적은 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다. It is another object of the present invention to provide a method of analyzing a driving concentration level of a driver, which can ensure stability and comfort of vehicle operation based on a driver concentration level.

본 발명의 또 다른 목적은 외부환경과 운전자의 생체정보를 분석하고 기 등록된 기준 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for analyzing a driving concentration level of a driver who analyzes an external environment and a driver's biometric information and compares the registered reference concentration level index with a previously registered reference concentration level index to define an optimum driving concentration level suitable for the driving situation Method.

본 발명의 또 다른 목적은 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for eliminating external environment variables occurring in a vehicle and applying a base-line model for measuring only the concentration level, which is a psychological factor of a driver, And a method of analyzing the concentration level.

본 발명의 또 다른 목적은 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킨 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
It is another object of the present invention to provide a method of analyzing a driver's operation concentration level that improves the usability of a mechanism for analyzing driver concentration by storing information in a cloud-based Big data space .

본 발명의 일 측면에 따른 운전자의 운행 집중도 레벨 분석방법은 외부환경변수 제거 모듈이 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계; 집중도지표 생성 모듈이 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계; 상기 집중도지표 생성 모듈이 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및 운행집중도레벨 판별 모듈이 상기 운행 집중도 레벨 지표를 기 등록된 운전자의 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a method for analyzing a driving concentration level of a driver, the method comprising: an external environment variable removing module detecting biometric information of a driver and removing external environmental noise from the biometric information; Extracting feature information from the biometric information from which the environmental noise has been removed; The concentration index generating module generating a driving concentration level index based on the characteristic information; And the operation concentration level determining module compares the operation concentration level indicator with a reference operation concentration level indicator of the registered operator to determine the operation concentration level.

본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 상기 시선정보에 대해 기 저장된 기저선 모델을 적용하여 상기 외부환경잡음을 제거하는 것을 특징으로 한다. In the present invention, the step of removing the external environmental noise with respect to the biometric information is characterized by removing the external environmental noise by applying a pre-stored baseline model to the visual information.

본 발명에서, 상기 생체정보는 운전자의 시선정보와 뇌파정보 중 어느 하나 이상을 포함하는 것을 특징으로 한다. In the present invention, the biometric information may include at least one of visual information of a driver and brain wave information.

본 발명에서, 상기 시선정보는 응시점, 응시시간, 응시횟수, 동공크기 및 눈깜박임을 포함하는 것을 특징으로 한다. In the present invention, the gaze information includes a gaze point, a gaze time, a gaze count, a pupil size, and an eye blink.

본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 상기 기저선 모델을 적용하여 외부 밝기에 따른 동공크기 변화, 동공 적응시간, 눈깜박임 변화에 대한 외부환경잡음을 제거하는 것을 특징으로 한다. In the present invention, the step of removing the external environmental noise with respect to the biometric information may include removing the external environmental noise due to the variation of the pupil size, the pupil adaptation time, and the flicker of the eye according to the external brightness by applying the baseline model .

본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 ICA 필터를 통해 상기 뇌파정보에서 운전자의 움직임 잡음을 제거하여 뇌신호 정보를 검출하는 것을 특징으로 한다. In the present invention, the step of removing the external environment noise with respect to the biometric information may include detecting brain signal information by removing the motion noise of the driver from the brain wave information through the ICA filter.

본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 패턴인식 알고리즘을 이용하여 상기 생체정보로부터 상기 특징정보를 추출하는 것을 특징으로 한다. In the present invention, the step of extracting the feature information from the biometric information is characterized by extracting the feature information from the biometric information using a pattern recognition algorithm.

본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 응시시간, 응시횟수, 동공크기 변화, 동공기울기 변화 및 눈 깜박임 횟수 중 어느 하나 이상에 대해 상기 특징정보를 추출하는 것을 특징으로 한다. In the present invention, the step of extracting the feature information from the biometric information extracts the feature information on at least one of the time of gazing, the number of times of gazing, the change of the pupil size, the change of the pupil slope, and the number of eye flicker.

본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출하는 것을 특징으로 한다. In the present invention, the step of extracting the feature information from the biometric information includes the steps of: Fp1 and Fp2 regions of the frontal region related to the concentration of the brain region, O1 and O2 regions of the Visual Coltex region, Cz regions of the ground, The brain signal is extracted from the region.

본 발명에서, 상기 운행 집중도 레벨 지표의 영역은 응시시간과 응시횟수, 동공크기, 동공기울기, 눈깜박임, 뇌신호 알파, 뇌신호 베타를 포함하는 것을 특징으로 한다. In the present invention, the area of the operation concentration level indicator includes an examination time, a number of times of observation, a pupil size, a pupil slope, an eye flicker, a brain signal alpha, and a brain signal beta.

본 발명에서, 상기 운행 집중도 레벨을 판별하는 단계는 계층적 SVM(Support Vector Machine)을 이용하여 운전자 집중도 레벨의 카테고리를 분류하는 단계; 및 상기 카테고리를 분류한 상태에서, Naive Bayes 확률 모델을 이용하여 상기 운행 집중도 레벨을 정의하는 단계를 포함하는 것을 특징으로 한다. In the present invention, the step of determining the operation concentration level may include: classifying categories of the operator concentration level using a hierarchical SVM (Support Vector Machine); And defining the operation concentration level using the Naive Bayes probability model in a state where the category is classified.

본 발명에서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는 상기 운전자 집중도 레벨을 평범한 상태와 집중도 발생 상태로 분류하는 단계; 및 상기 집중도 발생 상태에서 집중도 완전 저하 및 집중도 유지 상태로 분류하는 단계를 포함하는 것을 특징으로 한다. In the present invention, classifying the category of the driver concentration level may include classifying the driver concentration level into a normal state and a concentration occurrence state; And a step of classifying the state into the state of full concentration reduction and the state of concentration holding in the concentration occurrence state.

본 발명에서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는 상기 카테고리는 상기 운행 집중도 레벨 지표와 상기 기준 운행 집중도 레벨 지표 간의 유클리디안 디스턴스를 이용한 유사도를 기반으로 판별되는 것을 특징으로 한다. In the present invention, the step of classifying the category of the driver concentration level is characterized in that the category is discriminated based on the degree of similarity using the euclidean distance between the driving concentration level indicator and the reference driving concentration level indicator.

본 발명에서, 상기 운행 집중도 레벨을 정의하는 단계는 상기 생체정보 및 외부환경정보를 Naive Bayes 확률 모델을 통해 인지하여 상기 운행 집중도 레벨을 정의하는 것을 특징으로 한다. In the present invention, the step of defining the operation concentration level defines the operation concentration level by recognizing the biometric information and the external environment information through the Naive Bayes probability model.

본 발명에서, 상기 운행 집중도 레벨은 기 설정된 단계로 구분되는 것을 특징으로 한다. In the present invention, the operation concentration level is divided into predetermined levels.

본 발명의 다른 측면에 따른 운전자의 운행 집중도 레벨 분석방법은 관리 서버가 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표의 기준값을 검출하여 운행집중도 분석 모듈로 전달하는 단계; 상기 운행집중도 분석 모듈이 운전자의 생체정보로부터 특징정보를 추출하여 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하며, 상기 기준값을 토대로 상기 기준 운행 집중도 레벨 지표를 변경한 후, 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계; 및 상기 운행집중도레벨 출력 모듈이 상기 운행 집중도 레벨을 출력하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, a method for analyzing a driving concentration level of a driver according to another aspect of the present invention is a method in which a management server detects a reference value of a previously registered reference operating concentration level index according to a degree of similarity between a driver's biometric information and external environment information, ; The operation concentration information analyzing module extracts feature information from the driver's biometric information, generates a driving concentration level indicator based on the characteristic information, changes the reference driving concentration level indicator based on the reference value, Comparing the level with the reference operating concentration level indicator to determine the operating concentration level; And the operation concentration level output module outputs the operation concentration level.

본 발명은 운전자 얼굴 인식모듈이 운전자의 얼굴을 인식하고, 외부환경 검출 모듈이 외부환경정보를 검출하면, 판단 모듈이 상기 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 상기 외부환경 검출 모듈의 상기 외부환경정보가 기 등록되어 있는지 여부에 따라 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 단계를 더 포함하는 것을 특징으로 한다. In the present invention, when the driver's face recognizing module recognizes the face of the driver and the external environment detecting module detects the external environment information, the judgment module detects the driver's face recognition result of the driver face recognizing module and the external environment of the external environment detecting module And transmitting the biometric information and the external environment information to the management server according to whether the information is already registered.

본 발명에서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 상기 운전자 얼굴이 인식되지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다. In the present invention, if the driver's face is not recognized as a result of the driver's face recognition, the determination module transmits the biometric information and the external environment information to the management server.

본 발명에서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 인식된 상기 운전자 얼굴이 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다. In the present invention, the determination module transmits the biometric information and the external environment information to the management server if the driver's face recognized as the driver face recognition result is not previously registered.

본 발명에서, 상기 판단 모듈은 상기 외부환경정보가 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다. In the present invention, the determination module transmits the biometric information and the external environment information to the management server if the external environment information is not registered yet.

본 발명에서, 상기 판단 모듈은 상기 생체정보 또는 상기 외부환경정보에 따라 상기 기준 운행 집중도 레벨 지표의 기준값을 검출하여 상기 운행집중도 분석 모듈로 전달하고, 상기 운행집중도 분석 모듈은 상기 기준 운행 집중도 레벨 지표의 기준값에 따라 상기 기준 운행 집중도 레벨 지표를 변경하는 것을 특징으로 한다. In the present invention, the determination module detects a reference value of the reference operation concentration level indicator according to the biometric information or the external environment information, and transmits the detected reference value to the operation concentration information analysis module. The operation concentration information analysis module calculates the reference operation concentration level index The reference operating concentration level indicator is changed according to the reference value of the reference operating concentration level indicator.

본 발명에서, 상기 관리 서버는 상기 판단 모듈로부터 전달받은 상기 생체정보와 상기 외부환경정보를 기 저장된 생체정보 및 외부환경정보와 각각 비교하여 유사도에 따라 기준 운행 집중도 레벨 지표의 기준값을 검출한 후 검출된 상기 기준 운행 집중도 레벨 지표의 기준값을 상기 운행집중도 분석 모듈로 전달하는 것을 특징으로 한다. In the present invention, the management server compares the biometric information and the external environment information received from the determination module with previously stored biometric information and external environment information, detects a reference value of the reference operation concentration level indicator according to the degree of similarity, And transmits the reference value of the reference operating concentration level indicator to the operating concentration analyzing module.

본 발명에서, 상기 운행 집중도 레벨을 판별하는 단계는 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계; 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계; 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 한다.
In the present invention, the step of discriminating the driving concentration level may include the steps of: detecting the driver's biometric information and removing the external environmental noise with respect to the biometric information; Extracting feature information from the biometric information from which the external environmental noise has been removed; Generating a driving concentration level indicator based on the feature information; And comparing the operating concentration level index with the reference operating concentration level index to determine the operating concentration level.

본 발명은 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 한다. The present invention analyzes the driving concentration level of the driver using the biometric information of the driver and prevents driving carelessness that may occur when the vehicle is driven based on the measured driving concentration level so that the driver can safely operate the vehicle.

본 발명은 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 한다. The present invention makes it possible to secure the stability and comfort of the vehicle operation based on the driver concentration level.

본 발명은 외부환경과 운전자의 생체정보를 분석하고 기 등록된 기준 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하고, 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨다. The present invention analyzes an external environment and a driver's biometric information and compares and discriminates with a previously registered reference concentration level indicator to define an optimal operation concentration level suitable for a driving situation and to calculate an external environment variable And the base-line model for measuring only the concentration level, which is the psychological factor of the driver, is applied to improve the efficiency of driver concentration analysis.

본 발명은 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킬 수 있다.
The present invention can improve the usability of the mechanism for analyzing driver concentration by storing information in a cloud-based Big data space and using it for searching.

도 1 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 운전자 인식 모듈의 동작을 개념적으로 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 빛의 강도 변화에 대한 외부환경변수 제거를 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 동공크기에 대한 외부환경변수 제거를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 눈깜박임에 대한 외부환경변수 제거를 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 뇌신호에 대한 외부환경변수 제거를 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 뇌신호의 특징을 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 운행 집중도 레벨 지표를 예시적으로 나타낸 도면이다.
도 9 는 본 발명의 일 실시예에 따른 운행집중도레벨 판별 모듈의 동작 과정을 도시한 도면이다.
도 10 은 본 발명의 일 실시예에 따른 관리 서버가 운행 집중도 레벨 지표의 기준값을 생성하는 과정을 도시한 도면이다.
도 11 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법의 순서도이다.
도 12 는 본 발명의 일 실시예에 따른 운행 집중도 레벨 판별 단계를 도시한 순서도이다. 1 is a block diagram of an apparatus for analyzing a driving concentration level of a driver according to an embodiment of the present invention.
2 is a conceptual diagram illustrating an operation of the driver recognition module according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating removal of an external environment variable with respect to a light intensity change of an external environment variable removal module according to an embodiment of the present invention.
4 is a diagram illustrating removal of an external environment variable with respect to a pupil size of an external environment variable removal module according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating removal of an external environment variable for blinking of an external environment variable removing module according to an exemplary embodiment of the present invention. Referring to FIG.
6 is a diagram illustrating removal of an external environment variable for a brain signal of an external environment variable removal module according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating characteristics of a brain signal according to an embodiment of the present invention.
8 is a diagram illustrating an exemplary operation concentration level indicator according to an embodiment of the present invention.
9 is a flowchart illustrating an operation of the operation concentration level determining module according to an embodiment of the present invention.
10 is a diagram illustrating a process of generating a reference value of a driving concentration level indicator by the management server according to an embodiment of the present invention.
11 is a flowchart of a method of analyzing a driver's operation concentration level according to an embodiment of the present invention.
12 is a flowchart showing the operation concentration level determination step according to an embodiment of the present invention.

이하에서는 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다. Hereinafter, a method of analyzing a driver's operation concentration level according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. Further, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the user, the intention or custom of the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 운전자 인식 모듈의 동작을 개념적으로 나타낸 도면이며, 도 3 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 빛의 강도 변화에 대한 외부환경변수 제거를 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 동공크기에 대한 외부환경변수 제거를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 눈깜박임에 대한 외부환경변수 제거를 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 뇌신호에 대한 외부환경변수 제거를 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 뇌신호의 특징을 나타낸 도면이며, 도 8 은 본 발명의 일 실시예에 따른 운행 집중도 레벨 지표를 예시적으로 나타낸 도면이며, 도 9 는 본 발명의 일 실시예에 따른 운행집중도레벨 판별 모듈의 동작 과정을 도시한 도면이며, 도 10 은 본 발명의 일 실시예에 따른 관리 서버가 운행 집중도 레벨 지표의 기준값을 생성하는 과정을 도시한 도면이다.FIG. 1 is a block diagram of a driver's operating concentration level analyzing apparatus according to an embodiment of the present invention. FIG. 2 is a conceptual view illustrating an operation of a driver recognition module according to an embodiment of the present invention. FIG. 4 is a graph illustrating the removal of an external environment variable with respect to a change in light intensity of an external environment variable removing module according to an exemplary embodiment of the present invention. FIG. FIG. 5 is a diagram illustrating removal of an external environment variable for blinking of an external environment variable removing module according to an exemplary embodiment of the present invention. FIG. 6 is a flowchart illustrating a method for removing an external environment variable according to an exemplary embodiment of the present invention. FIG. 7 is a diagram illustrating a feature of a brain signal according to an embodiment of the present invention, and FIG. 8 is a diagram illustrating a brain signal according to an embodiment of the present invention. FIG. 9 is a flowchart illustrating an operation of the operation concentration level determining module according to an embodiment of the present invention. FIG. 10 is a flowchart illustrating an operation of the present invention FIG. 4 is a diagram illustrating a process of the management server according to an exemplary embodiment of the present invention to generate a reference value of the operation concentration level indicator.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치는 외부환경 검출 모듈(10), 운전자 인식 모듈(20), 판단 모듈(30), 생체정보 검출 모듈(40), 운행집중도 분석 모듈(50), 관리 서버(60) 및 운행집중도 분석 모듈(50)을 포함한다. Referring to FIG. 1, an apparatus for analyzing a driving concentration level of a driver according to an embodiment of the present invention includes an external environment detection module 10, a driver recognition module 20, a determination module 30, a biological information detection module 40, A driving concentration analysis module 50, a management server 60, and a driving concentration analysis module 50. [

외부환경 검출 모듈(10)은 차량의 외부환경을 검출하고, 검출된 외부환경정보를 판단 모듈(30)에 입력한다. 외부환경정보에는 날씨 정보, 도로노면상태 정보, 차량 이동량 정보, 고속도로 정보, 도심도로 정보, 차량 상태 정보 등이 포함될 수 있다. 외부환경정보는 차량에 기 설치된 센서를 통해 검출될 수 있으나, 상기한 센서 등을 통해 검출된 정보를 바탕으로 별도로 계산 및 추정될 수도 있다. The external environment detection module 10 detects the external environment of the vehicle and inputs the detected external environment information to the determination module 30. [ The external environment information may include weather information, road surface state information, vehicle movement amount information, highway information, city road information, vehicle state information, and the like. The external environment information may be detected through a sensor installed in the vehicle, but it may be separately calculated and estimated based on the information detected through the sensor or the like.

운전자 인식 모듈(20)은 운전자 얼굴의 시각 정보 및 청각 정보를 이용하여 운전자 얼굴을 인식하는 것으로써, 시각 정보와 청각 정보를 융합한 융합 정보를 이용하여 운전자 개인인증을 한다. 이에 인식된 운전자 정보는 개인 및 상황에 맞는 경계치 값으로 설정된다. The driver recognition module 20 recognizes the driver's face using the time information and the hearing information of the driver's face and carries out the driver's individual authentication using the fusion information in which the time information and the auditory information are fused. The perceived driver information is set to a threshold value suitable for the individual and the situation.

이를 위해, 운전자 인식 모듈(20)은 도 2 에 도시된 바와 같이 생물학 기반의 선택적 주의집중 모델과 Adaboost 방법을 융합하여 얼굴을 검출하며, MFCC(Mel Frequency Cepstral Coefficient) 정보를 이용하여 음성정보에 대해 13차원의 특징점을 추출한다. 2, the driver recognition module 20 detects faces by blending the bi-based selective attention model with the Adaboost method, and uses the Mel Frequency Cepstral Coefficient (MFCC) Extract feature points of 13 dimensions.

운전자 인식 모듈(20)은 영상에 대해서는 I-(2D)2LDA 방법을 이용하고 음성정보에 대해서는 I-LDA 방법을 이용하여 운전자를 인식함으로써, 영상과 음성의 개인인증을 대표하는 대표 성분을 표현하는 시각 특징정보 및 청각 특징정보를 각각 추출한다. 이어 운전자 인식 모듈(20)은 상기한 바와 같이 추출한 시각 특징정보와 청각 특징정보를 동시 입력으로 하고 점진적으로 운전자를 식별할 수 있는 기계학습 알고리즘인 모델을 이용하여 운전자를 판별 분석한다. The driver recognition module 20 recognizes the driver by using the I- (2D) 2 LDA method for the image and the I-LDA method for the voice information, thereby expressing the representative component representative of the personal authentication of the image and voice And extracts the visual feature information and the auditory feature information. Then, the driver recognition module 20 discriminates and analyzes the driver by using a model, which is a machine learning algorithm, capable of simultaneously identifying the driver with visual feature information and auditory feature information extracted as described above.

판단 모듈(30)은 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 외부환경 검출 모듈(10)의 외부환경정보가 기 등록되어 존재하는지 여부에 따라 관리 서버(60)로 생체정보와 외부환경정보를 전달한다. 여기서 생체정보에 대해서는 후술한다. The judgment module 30 transmits the biometric information and the external environment information to the management server 60 according to the driver face recognition result of the driver face recognition module and the external environment information of the external environment detection module 10, do. The biometric information will be described later.

더욱 상세히 설명하면, 판단 모듈(30)은 인식된 운전자가 기 등록되어 있고 외부환경정보가 기 등록되어 존재하고 있으면 상기한 생체정보와 외부환경정보를 관리 서버(60)로 전달하지 않는다. More specifically, the determination module 30 does not transmit the biometric information and external environment information to the management server 60 if the recognized driver is already registered and the external environment information is pre-registered and exists.

반면에, 판단 모듈(30)은 운전자 인식결과 운전자가 인식되지 않거나 또는 운전자가 기 등록되어 있더라도 외부환경정보가 등록되어 있지 않으면 관리 서버(60)로 생체정보와 외부환경정보를 전달함과 더불어, 기준 운행 집중도 레벨 지표의 기준값을 운행집중도 분석 모듈(50)로 전달한다. 운행 집중도 레벨 지표 및 그 기준값에 대해서는 후술한다. On the other hand, if the external environment information is not registered even if the driver is not recognized or the driver is already registered, the determination module 30 transmits the biometric information and the external environment information to the management server 60, And transmits the reference value of the reference operating concentration level index to the operating concentration analysis module 50. [ The operation concentration level index and its reference value will be described later.

여기서, 판단 모듈(30)이 기준 운행 집중도 레벨 지표의 기준값을 운행집중도 분석 모듈(50)로 전달하는 이유는, 현재 운전자가 응시하고 있는 외부 영역의 밝기정보(조명)와, 주행하고 있는 장소(고속도로, 도심), 복잡도(교통량), 환경(도로노면상태,날씨) 등의 정보를 토대로, 외부 상황에 따라서 운행 집중도의 기준값이 다르게 적용하기 위함이다. 이와 같이 운행 집중도 레벨의 기준값을 다르게 적용하여 차량 운행 집중도의 정확도를 높일 수 있다. 일 예로, 외부 영역의 밝기 값과 관련하여, 동공크기 및 눈깜박임의 외부환경 잡음을 제거하여 운전자의 심리적 요소만을 고려하여 집중도 레벨을 정의하기 위함이다. 또한, 장소와 복잡도 및 환경과 관련하여, 외부 날씨, 교통량, 운행 장소에 따라 운전자의 운행 집중도 레벨 지표의 기준값을 다르게 설정하여 운행 집중도 레벨 판별 분석의 정확도를 높일 수 있다. The reason why the determination module 30 transmits the reference value of the reference operating concentration level indicator to the operating concentration analysis module 50 is that the brightness information (illumination) of the outside area currently being looked at by the driver, (Traffic), environment (road surface condition, weather), etc., the reference value of the operating concentration is applied differently according to the external situation. In this way, the reference value of the driving concentration level can be applied differently, and the accuracy of the vehicle driving concentration can be increased. For example, with respect to the brightness value of the outside area, the concentration level is defined by removing only the psychological elements of the driver by removing the pupil size and the external environmental noise of the blinking. In addition, with respect to location, complexity, and environment, it is possible to increase the accuracy of the operation concentration level discrimination analysis by setting the reference value of the driver's operation concentration level index differently according to the external weather, traffic volume, and operating location.

생체정보 검출 모듈(40)은 운전자의 생체정보를 검출하는 것으로서, 운전자의 뇌파정보(알파 신호, 베타 신호)를 검출하는 뇌파정보 검출기(41) 및 운전자의 시선정보를 검출하는 시선 추적기(42)를 포함한다. 이러한 생체정보 검출 모듈(40)은 웨어러블 형태로 제작될 수 있다.The biometric information detection module 40 detects the biometric information of the driver and includes an EEG information detector 41 for detecting the brain wave information (alpha signal, beta signal) of the driver, a gaze tracker 42 for detecting the driver's gaze information, . The bio-information detection module 40 may be manufactured in a wearable fashion.

운행집중도 분석 모듈(50)은 생체정보 검출 모듈(40)에 의해 검출된 운전자의 생체정보에 대해 외부환경잡음을 제거하고 외부환경잡음이 제거된 생체정보로부터 특징정보를 추출하여 이 특징정보를 기반으로 운행 집중도 레벨 지표를 생성한다. 이어 운행집중도 분석 모듈(50)은 생성된 운행 집중도 레벨 지표를 기 등록된 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별한다. 여기서, 기준 운행 집중도 레벨 지표에는 차량에 저장되는 것으로서 사전에 등록된 운전자에 의해 학습된 기준 집중도 레벨 지표, 및 관리 서버(60)에 의해 관리되는 것으로서 다수의 운전자에 의해 획득되어 평균적인 생체정보 및 외부환경정보를 기반으로 생성된 기준 집중도 레벨 지표가 있다. 이에 대해서는 후술한다. The operation concentration analysis module 50 removes the external environment noise from the driver's biometric information detected by the biometric information detection module 40, extracts the feature information from the biometric information from which the external environmental noise has been removed, To generate a running concentration level indicator. The operation concentration information analyzing module 50 determines the operation concentration level by comparing the generated operation concentration level indicator with the previously registered reference operation concentration level indicator. Here, the reference operating concentration level indicator includes a reference concentration level indicator that is stored in the vehicle and learned by a driver registered in advance, and an average biometric information acquired by a plurality of drivers as managed by the management server 60 There is a reference concentration level index generated based on external environmental information. This will be described later.

운행집중도 분석 모듈(50)은 운전자의 생체정보에서 외부환경변수를 제거하는 외부환경변수 제거 모듈(51)과, 외부환경변수가 제거된 생체정보로부터 특징정보를 검출 추출하고 이 특징정보를 기반으로 운행 집중도 지표를 생성하는 집중도지표 생성 모듈(52) 및 생성된 운행 집중도 지표와 기준 집중도 레벨 지표를 비교하여 운행 집중도 레벨을 판별하는 운행집중도레벨 판별 모듈(53)을 포함한다. The operation concentration analysis module 50 includes an external environment variable removal module 51 for removing an external environment variable from the driver's biometric information, a feature extraction unit 51 for extracting and extracting the feature information from the biometric information from which the external environment variable is removed, And an operation concentration level determining module 53 for determining the operation concentration level by comparing the generated operation concentration indicator and the reference concentration level indicator to generate the operation concentration indicator.

외부환경변수 제거 모듈(51)은 운전자 안구 운동 및 뇌파 정보에 대하여 외부환경변수를 제거한다. 외부환경변수 제거 모듈(51)은 복잡한 실세계 및 차량 환경내에서 즉각적으로 반응하는 동공크기변화나 눈 깜박임 등의 안구운동, 및 뇌파정보에 대해 외부환경잡음을 제거하여 운전자의 심리적 요소만을 검출하며, 이를 위해 운전자의 생체정보 각각에 대해 기 설정된 기저선(Base-line) 모델을 적용한다. The external environment variable removing module 51 removes external environment variables for the driver's eye movement and brain wave information. The external environment parameter removal module 51 detects only the psychological elements of the driver by removing the external environmental noise from the eye movement such as the pupil size change, the eye blinking, and the EEG information, which are instantaneously reacted in the complex real world and the vehicle environment, For this, a predetermined base-line model is applied to each of the driver's biometric information.

시선정보에는 응시점, 응시시간, 응시횟수, 동공크기, 및 눈 깜박임 등의 정보가 포함되며, 이들 중 외부 환경변화에 대하여 동공크기와 눈 깜박임 변화가 민감하게 반응한다. 동공크기는 외부 빛의 강도에 따라 적응적으로 조절되어 빛의 양을 받아들이며(생물학적), 이에 인지 심리학적 요소를 포함하고 있다. The gaze information includes information such as gaze point, gaze time, number of gaze, pupil size, and blinking. The pupil size is adaptively adjusted according to the intensity of the external light to accept the amount of light (biological) and includes the cognitive psychological elements.

명암도 변화에 따른 동공크기가 변화하므로, 외부환경변수 제거 모듈(51)은 도 3 에 도시된 바와 같이 최적화 알고리즘을 통하여 대표 곡선을 추출하고 운전자가 응시하고 있는 영역의 빛의 강도(밝기 변화)에 따른 적응 수식을 도출하여 이를 토대로 외부환경변화에 대한 외부환경잡음을 제거한다. Since the pupil size changes according to the intensity variation, the external environment variable elimination module 51 extracts the representative curve through the optimization algorithm as shown in FIG. 3, and calculates the intensity of the light (brightness change) And then removes the external environmental noise due to the change of the external environment based on the adaptive expression.

또한 동공은 갑작스럽게 변화하는 환경내에서 적응시간을 필요로 한다(생물학적). 이에 갑작스럽게 변화하는 환경에 적응하는 시간은 인지 심리학적 요소가 아니므로, 외부환경변수 제거 모듈(51)은 적응하는 시간을 제거하여 측정한다. 즉, 외부환경변수 제거 모듈(51)은 도 4 에 도시된 바와 같이 영상의 밝기 변화에 따른 동공 적응 시간을 체크하고, 피험자를 대상으로 얻은 각 동공 크기 변화 곡선에 대해 각 자극레벨의 대표곡선을 추출한 후, 얻어진 대표곡선을 기준으로 동공 적응 시간, 예를 들어 3.22초를 검출한다. The pupil also requires adaptation time within a suddenly changing environment (biological). Since the time to adapt to the suddenly changing environment is not a cognitive psychological factor, the external environment variable elimination module 51 measures time by eliminating adaptation time. That is, the external environment variable removing module 51 checks the pupil adaptation time according to the brightness change of the image as shown in FIG. 4, and calculates a representative curve of each stimulus level for each pupil size change curve obtained for the subject After extraction, pupil adaptation time, for example 3.22 seconds, is detected based on the obtained representative curve.

또한, 눈 깜박임의 경우에 있어서는, 보통의 평범한 사람들은 분당 14회의 눈 깜박임 변화를 보이나, 긴장을 한다거나 극도로 스트레스가 심한 경우 분당 60회의 눈 깜박임 변화도 보인다. 이를 닐슨효과라 한다. 이에 외부환경변수 제거 모듈(51)은 평상시 운전자의 눈 깜박임 변화를 체크하여 운행상황에서 집중도에 따른 눈 깜박임의 기저선 모델을 체크한다. 일 예로, 도 5 를 참조하면, 피험자를 대상으로 6단계의 밝기 강도가 다른 자극 영상에 대해 30초간 아무런 심리적 영향없이 눈 깜박임 횟수를 측정할 경우, 각 자극 밝기 영상에서 피험자의 눈 깜박임 횟수는 평균 7회임을 확인할 수 있다. 따라서, 도 5 에 도시된 바와 같이 특징을 기반으로 눈깜박임의 기저선 모델을 체크할 수 있다. Also, in the case of blinking, the average normal person has 14 blinks per minute change, but 60 blinks per minute is also observed when he is nervous or extremely stressed. This is called the Nielsen effect. The external environment variable removing module 51 checks the change of the blink of the driver's eyes at normal times and checks the baseline model of blinking according to the concentration in the driving situation. For example, referring to FIG. 5, when the number of eye flicker is measured for 30 seconds for a stimulus image having six levels of brightness intensity for a subject, without any psychological influence, the number of flickers of the subject in each stimulus brightness image is averaged 7 can be confirmed. Accordingly, it is possible to check the baseline model of eye flicker based on the characteristic as shown in FIG.

또한, 사람의 뇌파 정보는 어떠한 생각을 할때 심지어는 꿈을 꾸고 있을때도 뇌파 정보는 추출된다. 따라서, 운전자의 움직임 정보에 의한 뇌파 정보는 운전자의 심리적 요소인 집중도와는 별게로 불필요한 노이즈잡음 정보로써 제거해야 하는 정보이다. 이에 외부환경변수 제거 모듈(51)은 운전자가 운행중에 얻어진 뇌파정보에 대해 운전자의 집중도와 관련된 뇌파 정보를 추출하기 위하여 ICA(ICA(Independent Component Analysis) 필터를 이용하여 운전자의 움직임 잡음을 제거하고 실질적인 집중도와 관련되 뇌 신호(알파, 베타)만을 추출한다. 즉, 외부환경변수 제거 모듈(51)은 22개의 뇌 영역에서 측정된 뇌파 원신호에서 ICA 필터(독립성분 분석 필터)를 이용하여 운전자의 움직임 정보를 제거한다. 도 6 에는 22개의 뇌 영역에서 ICA 필터를 통해 제거된 순수한 뇌신호 정보가 도시되었다. In addition, EEG information is extracted even when a person has some idea or even a dream. Therefore, the brain wave information based on the driver's motion information is information that should be removed as unnecessary noise noise information separately from the concentration, which is the psychological factor of the driver. The external environment variable removing module 51 removes the driver's motion noise using an ICA (ICA (Independent Component Analysis) filter to extract brain wave information related to the driver's concentration on the brain wave information obtained during the operation of the driver, (51) extracts only the brain signals (alpha, beta) related to the concentration. That is, the external environment variable elimination module (51) uses the ICA filter (Independent Component Analysis Filter) 6 shows the pure brain signal information removed through the ICA filter in 22 brain regions.

집중도지표 생성 모듈(52)은 상기한 바와 같이 외부환경변수가 제거된 생체정보로부터 특징정보를 검출하고 이 특징정보를 기반으로 해당 운행환경에서의 운행 집중도 지표를 생성한다. The concentration index index generating module 52 detects the feature information from the biometric information from which the external environment variables are removed as described above, and generates the driving concentration index in the corresponding driving environment based on the characteristic information.

즉, 집중도지표 생성 모듈(52)은 시선정보(응시시간, 응시횟수, 동공크기변화, 동공기울기 변화, 눈 깜박임 횟수)에 대해서는 PCA(Passive cutaneous anaphylaxis reaction), LDA(Linear discriminate analysis) 및 BPR(Bio pattern recognition) 등의 패턴인식 알고리즘을 이용하여 특징정보를 검출하고, 뇌파정보에 대해서는 뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출함으로써, 6축의 운행 집중도 레벨 지표를 추출한다. 도 7 에는 뇌신호의 종류와 뇌의 상태 등이 도시되었다. 한편, 상기한 바와 같이 생성된 운행 집중도 레벨 지표에는 도 8 에 도시된 바와 같이 응시시간, 눈깜박임, 동공크기, 동공기울기, 뇌신호 알파, 및 뇌신호 베타가 포함된다. That is, the concentration index generating module 52 calculates passive cutaneous anaphylaxis reaction (PCA), linear discriminate analysis (LDA), and BPR (eye blinking) And the pattern recognition algorithm such as Bio pattern recognition. In the EEG information, the Fp1 and Fp2 regions, the O1 and O2 regions, and the Cz region of the ground, which are related to the concentration of the brain region, And the brain signal is extracted for the A1 and A2 regions to be the reference, thereby extracting the six-axis operating concentration level index. In FIG. 7, types of brain signals and brain states are shown. On the other hand, as shown in FIG. 8, the operation concentration level index generated as described above includes the gazing time, eye flicker, pupil size, pupil slope, brain signal alpha, and brain signal beta.

집중도레벨 판별 모듈(53)은 차량 운행중 운전자의 생체정보를 토대로 운전자의 운행 집중도 레벨을 판별하는 것으로서, 상기한 바와 같이 생성된 운행 집중도 레벨 지표를 기계학습 알고리즘을 이용하여 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 관리 서버(60)에 기 등록된 기준 운행 집중도 레벨 지표와 비교 판별 분석한다. The concentration level determining module 53 determines the driving concentration level of the driver based on the biometric information of the driver while the vehicle is in motion. The concentration level determining module 53 is configured to calculate the driving concentration level index, which is generated as described above, The concentration level indicator, or the reference operating concentration level indicator previously registered in the management server 60. [

운행집중도레벨 판별 모듈(53)은 도 9 에 도시된 바와 같이, 생체정보를 입력으로 받고 Multi-class SVM(Support Vector Machine)를 이용하여 각 운행 집중도 레벨에 맞도록 운행 집중도 레벨의 카테고리를 분류한다. 이 경우, Multi-class SVM(Support Vector Machine)는 현재의 차량 주행 환경내에서 8번을 거쳐 얻어진 운전자의 집중도 레벨 지표가 어디에 분류되는지, 즉 평범한 상태인지 또는 집중도 발생 상태인지로 분류하고, 집중도 발생 상태에서는 집중도 완전 저하 또는 집중도 유지 상태로 분류한다. 이 경우, 생성된 운행 집중도 레벨 지표와 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 생성된 운행 집중도 레벨 지표와 관리 서버(60)의 기준 운행 집중도 레벨 지표간의 유클리디안 디스턴스를 이용하여 유사도가 ±20% 내외일 경우 동일한 것으로 판단한다. As shown in FIG. 9, the operation concentration level determining module 53 receives the biometric information and classifies the category of the operation concentration level according to each operation concentration level using a multi-class SVM (Support Vector Machine) . In this case, the multi-class SVM (Support Vector Machine) classifies the concentration level indicator of the driver obtained through No. 8 in the current driving environment of the vehicle into whether it is a normal state or a concentration occurrence state, State is classified as a state where the concentration is completely lowered or the concentration is maintained. In this case, the degree of similarity is calculated using the euclidean distance between the generated operating concentration level index, the reference operating concentration level indicator of the pre-registered driver, or the generated operating concentration level indicator and the reference operating concentration level indicator of the management server 60 If it is within ± 20%, it is judged to be the same.

이어, 집중도레벨 판별 모듈(53)은 확률 모델 기반의 운행 집중도 레벨을 표시하는 Naive bayes를 이용하여 카테고리(Multi-class SVM(Support Vector Machine)에 의해 분류)내에서 운전자의 생체정보 및 환경정보를 기반으로 가장 최적의 운행 집중도 레벨을 분류한다. 이 경우, 집중도 카테고리가 집중도 유지 상태에 있는 상황에서, 운행 집중도 레벨은 0~100%까지 총 5단계로 정의될 수 있으며, 일 예로 집중도 레벨 하(1~19%), 집중도 레벨 중하(20~39%), 집중도 레벨 중(40~59%), 집중도 레벨 상중(60~79%), 및 집중도 레벨 상(80~100%) 등으로 정의될 수 있다. Then, the concentration level determination module 53 uses the Naive bayes representing the operation concentration level based on the probability model to classify the biometric information and environment information of the driver in a category (classified by a multi-class SVM (Support Vector Machine)) And classifies the most optimal driving concentration level on the basis of. In this case, the operation concentration level can be defined as a total of five levels from 0 to 100% in a situation where the concentration category is in the maintenance state of concentration. For example, the concentration level (1 to 19%), 39%), concentration level (40 ~ 59%), concentration level (60 ~ 79%) and concentration level (80 ~ 100%).

관리 서버(60)는 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표를 검출하여 운행집중도 분석 모듈(50)로 전달한다. 여기서, 관리 서버(60)는 클라우드 서버 등이 채용될 수 있다. 이를 통해 운전자 집중도 분석을 위한 메커니즘에 대한 사용 가용성을 향상시킬 수 있다. The management server 60 detects a previously registered reference operating concentration level index according to the degree of similarity between the biometric information of the driver and the external environment information, and transmits the detected reference operating concentration level index to the operating concentration analysis module 50. Here, the management server 60 may employ a cloud server or the like. This can improve the usability of the mechanism for driver concentration analysis.

관리 서버(60)는 외부환경정보 및 운전자의 생체정보를 저장하고, 운전자가 등록되지 않은 운전자이거나, 등록이 되었다 하더라도 운전자가 처음으로 겪는 외부상황(날씨, 도로 노면, 교통량, 도심, 고속도로 등)일 때, 기존 수많은 다른 차량의 운전자로부터 수집된 정보(운행 집중도 레벨 및 생체정보)에서 가장 일치하는 정보를 검색한다. 이와 같이 검색된 정보는 운전자 집중도 카테고리 분류 및 집중도 레벨 지표의 기준값을 검출하는데 활용된다. The management server 60 stores the external environment information and the biometric information of the driver and displays the external environment (weather, road surface, traffic volume, city center, highway, etc.) experienced by the driver for the first time even if the driver is not registered, , The most matching information is retrieved from information collected from drivers of many existing vehicles (operating concentration level and biometric information). The information thus retrieved is used to detect the reference value of the driver concentration category classification and concentration level indicator.

즉, 관리 서버(60)는 도 10 에 도시된 바와 같이, 다량한 차량의 ADAS(Advanced Driver Assistance System) 정보 뿐만 아니라, 날씨, 교통량, 차종, 도심, 고속도로, 속력 등의 정보 및 운전자를 통해 얻어지 운행 집중도 관련 생체 정보를 무선 통신망을 통해 수집한다. 이어 관리 서버(60)는 하둡 맵-리듀스 프로그램(Hadoop map-reduce program)을 실행시킨다. 하둡 맵 리듀스 프로그램은 얻어진 차량 외부 및 운전자의 운행 집중도 데이터를 Output value로 설정하고 이를 리듀서로 보내고, 리듀서는 맵퍼로부터 받은 Output Key, Value를 Input Key, Value로 사용한다. 하둡 맵리듀스 프로그램에 입력된 현재 운행 중인 차량의 데이터와 기존 저장되어진 차량 외부환경정보와 운전자의 생체정보를 Input Key로 비교하여 가장 유사한 값을 최적의 데이터 값으로 설정하여 HDFS(Hadoop Distributed File System)에 결과 파일로 저장하는 구조를 가진다. That is, as shown in FIG. 10, the management server 60 acquires not only ADAS (Advanced Driver Assistance System) information of a large number of vehicles but also information such as weather, traffic volume, vehicle type, city center, highway, And collects biometric information related to the driving center concentration through the wireless communication network. The management server 60 then executes a Hadoop map-reduce program. The Hadoop Map Reduce program sets the output data of the vehicle outside and the driver to the output value and sends it to the reducer. The reducer uses the output key and value received from the mapper as the input key and the value. The Hadoop Distributed File System (HDFS) is set up by setting the most similar value as the optimal data value by comparing the data of the currently running vehicle entered in the Hadoop MapleDue program, the stored environment information of the vehicle and the biometric information of the driver, As a result file.

마지막으로, 운행집중도레벨 출력부(70)는 운행 집중도 레벨을 음성, 핵팁, 공조, 영상 중 어느 하나 이상을 이용하여 출력하되, 단계별로 서로 방식으로 출력한다. 일 예로, 운행 집중도 레벨 출력부는 집중도 완전 저하 상태에서는 운전자의 안전운행을 지원하기 위해 음성장치, 햅틱장치, 공조장치, 영상장치 등의 장치를 이용하여 알람 경고 서비스를 제공한다. 또한 집중도 레벨 하 상태에서는 운전자를 자각시키기 위해 공조장치, 음성장치, 영상장치 등을 통해 알람 경고 서비스를 제공하며, 집중도 레벨 중하 상태에서는 영상장치와 음성장치를 이용하여 위험 경고 서비스를 제공하며, 집중도 레벨 중이나 상중 상태에서는 다양한 영상 장치와 음성 장치 등으로 다양한 색상과 음성으로 알람 경고 서비스를 제공한다. Lastly, the operation concentration level output unit 70 outputs the operation concentration level using one or more of voice, nucleus tip, air conditioning, and image, and outputs them in a step-by-step manner. For example, the operation concentration level output unit provides an alarm warning service using a device such as a voice device, a haptic device, an air conditioner, and a video device to support a safe operation of the driver in a state where the concentration is completely lowered. In addition, the alarm alert service is provided through the air conditioner, the audio device, and the image device to awaken the driver in the concentration level lower state. In the middle level of the concentration level, the danger warning service is provided using the video device and the audio device, In the middle or upper level, various alarms are provided in various colors and sounds by various video devices and audio devices.

이하, 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법을 도 11 과 도 12 를 참조하여 상세하게 설명한다. Hereinafter, a method of analyzing a driver's operation concentration level according to an embodiment of the present invention will be described in detail with reference to FIGS. 11 and 12. FIG.

도 11 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법의 순서도이고, 도 12 는 본 발명의 일 실시예에 따른 운행 집중도 레벨 판별 단계를 도시한 순서도이다. FIG. 11 is a flowchart illustrating a method of analyzing a driver's operation concentration level according to an exemplary embodiment of the present invention, and FIG. 12 is a flowchart illustrating an operation concentration level determination step according to an embodiment of the present invention.

도 11 을 참조하면, 먼저 생체정보 검출 모듈(40)이 운전자의 생체정보, 즉 시선정보와 뇌파정보를 검출하고(S110), 검출된 생체정보를 운행집중도 분석 모듈(50)로 입력한다. 11, first, the biometric information detection module 40 detects the biometric information of the driver, that is, the sight line information and the brain wave information (S110), and inputs the detected biometric information to the driving concentration analysis module 50. FIG.

운행집중도 분석 모듈(50)의 외부환경변수 제거 모듈(51)은 검출된 생체정보 중 뇌파정보에서 외부환경잡음인 뇌파 잡음을 기 저장된 기저선 모델을 이용하여 제거하고(S120), 외부환경잡음이 제거된 뇌파정보를 집중도지표 생성 모듈(52)로 입력한다.The external environment variable removing module 51 of the operation concentration analysis module 50 removes EEG noise, which is external environmental noise, from the EEG information among the detected biometric information using a pre-stored baseline model (S120) And inputs the brain wave information to the concentration index index generation module 52. [

집중도지표 생성 모듈(52)은 외부환경잡음이 제거된 뇌파정보로부터 뇌파정보의 특징정보를 검출한다(S130). The concentration index generating module 52 detects the feature information of the brain wave information from the brain wave information from which the external environmental noise is removed (S130).

한편, 외부환경변수 제거 모듈(51)은 시선정보에서 외부환경잡음인 시선잡음을 기저선 모델을 이용하여 제거하고(S140), 외부환경잡음을 제거한 시선정보를 운행집중도 분석 모듈(50)로 입력한다.Meanwhile, the external environment variable removing module 51 removes the visual noise, which is the external environmental noise, from the visual information using the baseline model (S140), and inputs the visual information from which the external environmental noise is removed to the driving concentration analysis module 50 .

외부환경변수 제거 모듈(51)은 외부환경잡음이 제거된 시선정보로부터 특징정보를 검출하고(S150), 검출된 시선정보의 특징정보를 집중도지표 생성 모듈(52)로 입력한다.The external environment variable removing module 51 detects feature information from the sight line information from which the external environmental noise is removed (S150), and inputs the feature information of the detected sight line information to the concentration indicator generating module 52. [

집중도지표 생성 모듈(52)은 상기한 바와 같이 각각 입력받은 뇌파정보의 특징정보와 시선정보의 특징정보를 이용하여 운행 집중도 레벨 지표를 생성한다(S160). The concentration index generating module 52 generates the driving concentration level index using the characteristic information of the EEG information and the characteristic information of the visual information, as described above (S160).

한편, 외부환경 검출 모듈(10)은 차량의 외부환경을 검출하여 외부환경정보를 생성하여 판단 모듈(30)로 입력하는 한편, 운전자 인식 모듈(20)은 운전자의 시각정보 및 청각정보를 검출한다(S210). Meanwhile, the external environment detection module 10 detects the external environment of the vehicle, generates external environment information and inputs the information to the determination module 30, and the driver recognition module 20 detects the driver's visual information and audible information (S210).

이 경우 운전자 인식 모듈(20)은 운전자의 얼굴을 인식하고(S220), 인식 결과를 판단 모듈(30)에 입력한다. In this case, the driver recognition module 20 recognizes the face of the driver (S220), and inputs the recognition result to the determination module 30.

판단 모듈(30)은 운전자 인식 모듈(20)의 인식 결과 운전자가 기 등록된 운전자 정보 중에 존재하는지 여부를 판단하고(S220), 판단 결과 운전자가 존재하는 것으로 판단되면, 검출된 외부환경정보가 기 등록되어 존재하는지 여부를 판단한다(S230). The determination module 30 determines whether or not the driver of the recognition result of the driver recognition module 20 is present in the pre-registered driver information (S220). If it is determined that the driver exists, It is determined whether it is registered or not (S230).

단계(S230)에서의 판단 결과 외부환경정보가 존재하면, 운행집중도레벨 판별 모듈(53)은 상기한 생체정보와 외부환경정보를 토대로 학습을 통해 기 등록된 운전자의 기준 운행 집중도 레벨 지표를 검출한다(S220),As a result of the determination in step S230, if the external environment information exists, the operation concentration level determining module 53 detects the reference operation concentration level indicator of the driver who has been previously registered through learning based on the biometric information and the external environment information (S220),

반면에, 단계(S230)에서의 판단 결과 운전자가 존재하지 않거나, 단계(S240)에서의 판단 결과 외부환경정보가 존재하지 않으면, 판단 모듈(30)은 해당 생체정보 및 외부환경정보를 관리 서버(60)로 전달한다. On the other hand, if the driver does not exist as a result of the determination in step S230, or if the external environment information does not exist as a result of the determination in step S240, the determination module 30 transmits the corresponding biometric information and external environment information to the management server 60).

이에 관리 서버(60)는 판단 모듈(30)로부터 전달받은 생체정보 및 외부환경정보를 이용하여 기준 운행 집중도 레벨의 기준값을 검출(S310)하여 운행집중도레벨 판별 모듈(53)로 입력한다. The management server 60 detects (S310) a reference value of the reference operation concentration level using the biometric information and the external environment information transmitted from the determination module 30 and inputs the reference value to the operation concentration level determination module 53. [

이때, 운행집중도레벨 판별 모듈(53)은 상기한 바와 가티 판단 모듈(30) 또는 관리 서버(60)로부터 전달받은 기준값을 이용하여 기준 운행 집중도 판별 레벨을 검출한다(S320). At this time, the operation concentration level determining module 53 detects the reference operation concentration level by using the reference value received from the Gatty judgment module 30 or the management server 60 as described above (S320).

이와 같이 생체정보 및 외부환경정보를 토대로 운행 집중도 레벨 지표의 기준값을 다르게 적용운전자 차량 운행 집중도의 정확도를 높일 수 있다. Thus, the reference value of the operation concentration level indicator can be applied differently based on the biometric information and the external environment information, and the accuracy of the driver vehicle driving concentration can be increased.

한편, 상기한 바와 같이 운행 집중도 지표 및 기준 운행 집중도 지표(단계(S250)에서 검출된 기준 운행 집중도 지표, 또는 단계(S320)에서 검출된 기준 운행 집중도 지표)가 검출되면, 운행집중도레벨 판별 모듈(53)은 운행 집중도 레벨 지표를 기준 운행 집중도 레벨 지표(단계(S250)에서 검출된 기준 운행 집중도 지표, 또는 단계(S320)에서 검출된 기준 운행 집중도 지표 중 어느 하나)와 비교 분석하여 운행 집중도 레벨을 판별한다(S400). On the other hand, if the operation concentration indicator and the reference operation concentration indicator (the reference operation concentration indicator detected at step S250 or the reference operation concentration indicator detected at step S320) are detected as described above, the operation concentration level determining module 53 compares the operating concentration level index with the reference operating concentration level indicator (either the reference operating concentration indicator detected at step S250 or the reference operating concentration indicator detected at step S320) to determine the operating concentration level (S400).

즉, 도 12 에 도시된 바와 같이, 운행집중도레벨 판별 모듈(53)은 생체정보의 특징정보를 입력으로 받고 Multi-class SVM(Support Vector Machine)를 이용하여 각 운행 집중도 레벨에 맞도록 운행 집중도 레벨의 카테고리를 분류한다(S410). That is, as shown in FIG. 12, the operation concentration level determining module 53 receives the feature information of the biometric information as an input and uses a multi-class SVM (Support Vector Machine) to set the operation concentration level (S410).

이 경우, 운전자집중도레벨판별 모듈은 Multi-class SVM(Support Vector Machine)를 이용하여 운행 집중도 레벨이 평범한 상태인지 또는 집중도 발생 상태인지로 분류하고, 집중도 발생 상태이면(S420), 집중도 완전 저하 또는 집중도 유지 상태로 분류한다(S430). 이 경우, 생성된 운행 집중도 레벨 지표와 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 생성된 운행 집중도 레벨 지표와 관리 서버(60)의 기준 운행 집중도 레벨 지표간의 유클리디안 디스턴스를 이용하여 유사도 ±20% 내외는 동일한 것으로 판단한다. In this case, the driver concentration level determining module classifies whether the operation concentration level is a normal state or a concentration occurrence state using a multi-class SVM (Support Vector Machine). If the concentration concentration occurrence state is present (S420) It is classified into the maintenance state (S430). In this case, the similarity degree is calculated using the euclidian distance between the generated operating concentration level index, the reference operating concentration level indicator of the pre-registered driver, or the generated operating concentration level indicator and the reference operating concentration level indicator of the management server 60 20% are considered to be the same.

이어 운전자집중도레벨 판별 모듈은 확률 모델 기반의 운행 집중도 레벨을 표시하는 Naive bayes를 통해, Multi-class SVM(Support Vector Machine)에 의해 분류된 카테고리내에서 운전자의 생체정보 및 환경정보를 기반으로 가장 최적의 운행 집중도 레벨을 분류한다(S440).Then, the driver concentration level discrimination module determines the optimum level based on the driver's biometric information and environment information in the category classified by the multi-class SVM (Support Vector Machine) through the Naive bayes indicating the operation concentration level based on the probability model (S440). ≪ / RTI >

일 예로, 운전자집중도레벨판별 모듈은 집중도 레벨 하(1~19%), 집중도 레벨 중하(20~39%), 집중도 레벨 중(40~59%), 집중도 레벨 상중(60~79%), 및 집중도 레벨 상(80~100%) 등으로 판별한다. For example, the driver concentration level determination module may be used to determine the concentration level (1 to 19%), the concentration level (20 to 39%), the concentration level (40 to 59% (80 to 100%), and the like.

상기한 바와 같이 운행 집중도 레벨이 분류되면, 운행집중도레벨 출력부(70)는 도 11 에 도시된 바와 같이 운행 집중도 레벨을 출력한다(S450). When the operation concentration level is classified as described above, the operation concentration level output unit 70 outputs the operation concentration level as shown in FIG. 11 (S450).

이 경우, 운행집중도레벨 출력부(70)는 집중도 레벨 완전 저하 상태에서는 음성장치, 핵틱장치, 공조장치, 영상장치 등을 이용하여 알람 경고 서비스를 제공하고, 집중도 레벨 하 상태에서는 공조장치와 음성장치 및 영상장치를 이용하여 운전자를 자각시키기 위한 동작을 수행하며, 집중도 레벨 중하 상태에서 영상장치와 음성장치를 이용하여 위험을 경고하며, 집중도 레벨 중 상태에서는 영상장치의 영상을 주황색으로 표시하여 집중이 필요함을 알리는 메시지를 출력하며, 집중도 레벨 상중 상태에서는 영상장치를 통해 안전함을 알리는 집중도 표시를 수행하며, 집중도 레벨 상 상태에서는 안전함을 알리는 집중도 표시를 수행한다. In this case, the operation concentration level output section 70 provides the alarm warning service using the audio device, the horn device, the air conditioner, the video device, and the like in the state of completely lowering the concentration level, And a video device to alert the driver of the risk. In the state of the concentration level, the image of the video device is displayed in an orange color, And displays a message indicating that the message is required. In the case of the concentration level, the display device displays a message indicating that the message is safe through the image device, and displays a message indicating that the message is safe.

이와 같은 본 실시예는 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 한다. In this embodiment, the driving concentration level of the driver is analyzed using the biometric information of the driver, and the driver's carelessness caused by the driving operation based on the measured driving concentration level is prevented, do.

또한, 본 실시예는 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 한다. In addition, the present embodiment makes it possible to secure the stability and comfort of the vehicle operation based on the driver concentration level.

또한, 본 실시예는 외부환경과 운전자의 생체정보를 분석하고 기 등록된 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하고, 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨다. In addition, this embodiment analyzes the external environment and the driver's biometric information, compares and discriminates with the previously registered concentration level indicator to define the optimal operation concentration level suitable for the driving situation, By applying the base-line model to remove the variables and measure only the concentration level, which is the driver's psychological factor, the efficiency of driver concentration analysis is improved.

게다가, 본 실시예는 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킬 수 있다. In addition, this embodiment can improve the usability of the mechanism for driver concentration analysis by storing information in a cloud-based Big data space and using it for searching.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, I will understand. Accordingly, the true scope of the present invention should be determined by the following claims.

10: 외부환경 검출 모듈
20: 운전자 인식 모듈
30: 판단 모듈
40: 생체정보 검출 모듈
41: 뇌파정보 검출기
42: 시선 추적기
50: 운행집중도 분석 모듈
51: 외부환경변수 제거 모듈
52: 집중도지표 생성 모듈
53: 운행집중도레벨 판별 모듈
60: 관리서버
70: 운행집중도레벨 출력부 10: External environment detection module
20: Driver identification module
30: Judgment module
40: Biometric information detection module
41: EEG information detector
42: Eye Tracker
50: Operation concentration analysis module
51: External environment variable removal module
52: concentration indicator index generation module
53: Operation concentration level discrimination module
60: management server
70: Operation concentration level output section

Claims (23)

외부환경변수 제거 모듈이 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계;
집중도지표 생성 모듈이 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계;
상기 집중도지표 생성 모듈이 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및
운행집중도레벨 판별 모듈이 상기 운행 집중도 레벨 지표를 기 등록된 운전자의 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 운전자의 운행 집중도 레벨 분석방법.
The external environment variable removing module detects biometric information of the driver and removes external environmental noise from the biometric information;
Extracting feature information from the biometric information from which the environmental noise has been removed;
The concentration index generating module generating a driving concentration level index based on the characteristic information; And
And the operation concentration level judging module compares the operation concentration level indicator with the reference operation concentration level indicator of the registered operator to determine the operation concentration level.
제 1 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
상기 시선정보에 대해 기 저장된 기저선 모델을 적용하여 상기 외부환경잡음을 제거하는 것을 특징으로 하는 운전자 운행 집중도 레벨 분석방법.
2. The method of claim 1, wherein removing the external environmental noise with respect to the biometric information comprises:
Wherein the external environment noise is removed by applying a pre-stored baseline model to the sight line information.
제 2 항에 있어서, 상기 생체정보는 운전자의 시선정보와 뇌파정보 중 어느 하나 이상을 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
The method according to claim 2, wherein the biometric information includes at least one of visual information of the driver and brain wave information.
제 3 항에 있어서, 상기 시선정보는 응시점, 응시시간, 응시횟수, 동공크기 및 눈깜박임을 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
4. The method of claim 3, wherein the gaze information includes a gaze point, a gaze time, a gaze count, a pupil size, and an eye blink.
제 4 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
상기 기저선 모델을 적용하여 외부 밝기에 따른 동공크기 변화, 동공 적응시간, 눈깜박임 변화에 대한 외부환경잡음을 제거하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
5. The method of claim 4, wherein removing the external environmental noise with respect to the biometric information comprises:
Wherein the baseline model is applied to remove an external environmental noise due to a pupil size change, a pupil adaptation time, and a blinking change according to external brightness.
제 2 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
ICA 필터를 통해 상기 뇌파정보에서 운전자의 움직임 잡음을 제거하여 뇌신호 정보를 검출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
3. The method of claim 2, wherein removing the external environmental noise with respect to the biometric information comprises:
And the brain signal information is detected by removing the motion noise of the driver from the brain wave information through the ICA filter.
제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
패턴인식 알고리즘을 이용하여 상기 생체정보로부터 상기 특징정보를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
2. The method according to claim 1, wherein the step of extracting feature information from the biometric information comprises:
Wherein the feature information is extracted from the biometric information using a pattern recognition algorithm.
제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
응시시간, 응시횟수, 동공크기 변화, 동공기울기 변화 및 눈 깜박임 횟수 중 어느 하나 이상에 대해 상기 특징정보를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
2. The method according to claim 1, wherein the step of extracting feature information from the biometric information comprises:
Wherein the characteristic information is extracted for at least one of a gazing time, a gazing time, a pupil size change, a pupil tilt change, and a blinking number of eyes.
제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
2. The method according to claim 1, wherein the step of extracting feature information from the biometric information comprises:
A driver's operation characterized by extracting brain signals for Fp1 and Fp2 regions on the frontal side of the brain region, O1 and O2 regions for Visual Coltex regions, Cz region for ground, and A1 and A2 regions for reference Methods of concentration level analysis.
제 1 항에 있어서, 상기 운행 집중도 레벨 지표의 영역은 응시시간과 응시횟수, 동공크기, 동공기울기, 눈깜박임, 뇌신호 알파, 뇌신호 베타를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
The method according to claim 1, wherein the area of the driving concentration level indicator includes an examination time and a number of times of observation, a pupil size, a pupil slope, an eye flicker, a brain signal alpha, .
제 1 항에 있어서, 상기 운행 집중도 레벨을 판별하는 단계는
계층적 SVM(Support Vector Machine)을 이용하여 운전자 집중도 레벨의 카테고리를 분류하는 단계; 및
상기 카테고리를 분류한 상태에서, Naive Bayes 확률 모델을 이용하여 상기 운행 집중도 레벨을 정의하는 단계를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
The method of claim 1, wherein the step of determining the operating concentration level
Classifying categories of driver concentration levels using a hierarchical SVM (Support Vector Machine); And
And defining the operating concentration level by using a Naive Bayes probability model in the category classified state.
제 11 항에 있어서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는
상기 운전자 집중도 레벨을 평범한 상태와 집중도 발생 상태로 분류하는 단계; 및
상기 집중도 발생 상태에서 집중도 완전 저하 및 집중도 유지 상태로 분류하는 단계를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
12. The method of claim 11, wherein classifying the category of driver concentration levels comprises:
Classifying the driver concentration level into a normal state and a concentration occurrence state; And
And classifying the concentration level of the concentration level into the concentration degree of complete decline and concentration level maintenance state in the concentration occurrence state.
제 12 항에 있어서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는
상기 카테고리는 상기 운행 집중도 레벨 지표와 상기 기준 운행 집중도 레벨 지표 간의 유클리디안 디스턴스를 이용한 유사도를 기반으로 판별되는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
13. The method of claim 12, wherein classifying the category of driver concentration levels comprises:
Wherein the category is determined on the basis of a degree of similarity using the euclidean distance between the driving concentration level indicator and the reference driving concentration level indicator.
제 12 항에 있어서, 상기 운행 집중도 레벨을 정의하는 단계는
상기 생체정보 및 외부환경정보를 Naive Bayes 확률 모델을 통해 인지하여 상기 운행 집중도 레벨을 정의하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
13. The method of claim 12, wherein defining the operating concentration level comprises:
Wherein the operation concentration level is defined by recognizing the biometric information and external environment information through a Naive Bayes probability model.
제 14 항에 있어서, 상기 운행 집중도 레벨은 기 설정된 단계로 구분되는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
15. The method according to claim 14, wherein the driving concentration level is divided into predetermined levels.
관리 서버가 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표의 기준값을 검출하여 운행집중도 분석 모듈로 전달하는 단계;
상기 운행집중도 분석 모듈이 운전자의 생체정보로부터 특징정보를 추출하여 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하며, 상기 기준값을 토대로 상기 기준 운행 집중도 레벨 지표를 변경한 후, 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계; 및
상기 운행집중도레벨 출력 모듈이 상기 운행 집중도 레벨을 출력하는 단계를 포함하는 운전자의 운행 집중도 레벨 분석방법.
Detecting a reference value of a previously registered reference operation concentration level indicator based on the degree of similarity between the biometric information and the external environment information of the driver and transmitting the detected reference value to the operation concentration analysis module;
The operation concentration information analyzing module extracts feature information from the driver's biometric information, generates a driving concentration level indicator based on the characteristic information, changes the reference driving concentration level indicator based on the reference value, Comparing the level with the reference operating concentration level indicator to determine the operating concentration level; And
And the operation concentration level output module outputs the operation concentration level.
제 16 항에 있어서,
운전자 얼굴 인식모듈이 운전자의 얼굴을 인식하고, 외부환경 검출 모듈이 외부환경정보를 검출하면, 판단 모듈이 상기 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 상기 외부환경 검출 모듈의 상기 외부환경정보가 기 등록되어 있는지 여부에 따라 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 단계를 더 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
17. The method of claim 16,
When the driver's face recognition module recognizes the driver's face and the external environment detection module detects the external environment information, the determination module determines that the driver's face recognition result of the driver's face recognition module and the external environment information of the external environment detection module And transmitting the biometric information and the external environment information to the management server according to whether or not the biometric information is registered.
제 17 항에 있어서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 상기 운전자 얼굴이 인식되지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
18. The method of claim 17, wherein the determination module transmits the biometric information and the external environment information to the management server when the driver's face is not recognized as a result of the driver's face recognition.
제 17 항에 있어서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 인식된 상기 운전자 얼굴이 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
18. The method according to claim 17, wherein the determination module transmits the biometric information and the external environment information to the management server if the driver's face recognized as the driver face recognition result is not previously registered. Level analysis method.
제 19 항에 있어서, 상기 판단 모듈은 상기 외부환경정보가 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
20. The method according to claim 19, wherein the determination module transmits the biometric information and the external environment information to the management server if the external environment information is not previously registered.
제 16 항에 있어서, 상기 판단 모듈은 상기 생체정보 또는 상기 외부환경정보에 따라 상기 기준 운행 집중도 레벨 지표의 기준값을 검출하여 상기 운행집중도 분석 모듈로 전달하고, 상기 운행집중도 분석 모듈은 상기 기준 운행 집중도 레벨 지표의 기준값에 따라 상기 기준 운행 집중도 레벨 지표를 변경하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
17. The system of claim 16, wherein the determination module detects a reference value of the reference operating concentration level indicator according to the biometric information or the external environment information and transmits the detected reference value to the operating concentration analyzing module, Wherein the reference operating concentration level indicator is changed according to a reference value of the level indicator.
제 16 항에 있어서, 상기 관리 서버는 상기 판단 모듈로부터 전달받은 상기 생체정보와 상기 외부환경정보를 기 저장된 생체정보 및 외부환경정보와 각각 비교하여 유사도에 따라 기준 운행 집중도 레벨 지표의 기준값을 검출한 후 검출된 상기 기준 운행 집중도 레벨 지표의 기준값을 상기 운행집중도 분석 모듈로 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
17. The method of claim 16, wherein the management server compares the biometric information and the external environment information received from the determination module with previously stored biometric information and external environment information, respectively, and detects a reference value of the reference driving concentration level index according to the degree of similarity And transmitting a reference value of the reference operating concentration level index detected after the operating concentration concentration level to the operating concentration analysis module.
제 16 항에 있어서, 상기 운행 집중도 레벨을 판별하는 단계는
운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계;
상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계;
상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및
상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법. 17. The method of claim 16, wherein determining the operating concentration level comprises:
Detecting a driver's biometric information and removing external environmental noise from the biometric information;
Extracting feature information from the biometric information from which the external environmental noise has been removed;
Generating a driving concentration level indicator based on the feature information; And
And comparing the operating concentration level index with the reference operating concentration level index to determine a driving concentration level.
KR1020140173388A 2014-12-04 2014-12-04 Method for analyzing driving concentration level of driver KR102401607B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173388A KR102401607B1 (en) 2014-12-04 2014-12-04 Method for analyzing driving concentration level of driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173388A KR102401607B1 (en) 2014-12-04 2014-12-04 Method for analyzing driving concentration level of driver

Publications (2)

Publication Number Publication Date
KR20160067681A true KR20160067681A (en) 2016-06-14
KR102401607B1 KR102401607B1 (en) 2022-05-25

Family

ID=56191882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173388A KR102401607B1 (en) 2014-12-04 2014-12-04 Method for analyzing driving concentration level of driver

Country Status (1)

Country Link
KR (1) KR102401607B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235741A1 (en) * 2018-06-05 2019-12-12 국방과학연구소 Apparatus and method for quantifying awareness of pilot
KR20200020313A (en) * 2018-08-17 2020-02-26 현대자동차주식회사 Vehicle and control method for the same
CN115268718A (en) * 2022-09-23 2022-11-01 深圳市心流科技有限公司 Image display method, device, terminal and storage medium for concentration training

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0920157A (en) * 1995-07-10 1997-01-21 Nissan Diesel Motor Co Ltd Vigilance drop detector
JP2003061939A (en) * 2001-08-28 2003-03-04 Pioneer Electronic Corp Information providing system, information providing method, information providing program, server in information providing system, and terminal of information providing system
JP2010057664A (en) * 2008-09-03 2010-03-18 Mazda Motor Corp Occupant physical condition management device for vehicle
JP2011198170A (en) * 2010-03-23 2011-10-06 Oki Software Co Ltd System and server for identifying user, mobile device, user identifying program, and program of mobile device
KR20120046230A (en) * 2009-07-09 2012-05-09 아이신세이끼가부시끼가이샤 State detecting device, state detecting method, and program
JP2012118951A (en) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd On-vehicle device and driving support system
JP2012239475A (en) * 2011-05-13 2012-12-10 Honda Motor Co Ltd Brain activity measurement apparatus, brain activity measurement method, brain activity estimation apparatus, and brain activity estimation method
KR20130068056A (en) * 2011-12-15 2013-06-25 동국대학교 산학협력단 Apparatus and method for measuring eeg
KR20140022312A (en) * 2012-08-14 2014-02-24 엘지전자 주식회사 Device for measuring vital signs of drivers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0920157A (en) * 1995-07-10 1997-01-21 Nissan Diesel Motor Co Ltd Vigilance drop detector
JP2003061939A (en) * 2001-08-28 2003-03-04 Pioneer Electronic Corp Information providing system, information providing method, information providing program, server in information providing system, and terminal of information providing system
JP2010057664A (en) * 2008-09-03 2010-03-18 Mazda Motor Corp Occupant physical condition management device for vehicle
KR20120046230A (en) * 2009-07-09 2012-05-09 아이신세이끼가부시끼가이샤 State detecting device, state detecting method, and program
JP2011198170A (en) * 2010-03-23 2011-10-06 Oki Software Co Ltd System and server for identifying user, mobile device, user identifying program, and program of mobile device
JP2012118951A (en) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd On-vehicle device and driving support system
JP2012239475A (en) * 2011-05-13 2012-12-10 Honda Motor Co Ltd Brain activity measurement apparatus, brain activity measurement method, brain activity estimation apparatus, and brain activity estimation method
KR20130068056A (en) * 2011-12-15 2013-06-25 동국대학교 산학협력단 Apparatus and method for measuring eeg
KR20140022312A (en) * 2012-08-14 2014-02-24 엘지전자 주식회사 Device for measuring vital signs of drivers

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235741A1 (en) * 2018-06-05 2019-12-12 국방과학연구소 Apparatus and method for quantifying awareness of pilot
KR20200020313A (en) * 2018-08-17 2020-02-26 현대자동차주식회사 Vehicle and control method for the same
CN115268718A (en) * 2022-09-23 2022-11-01 深圳市心流科技有限公司 Image display method, device, terminal and storage medium for concentration training

Also Published As

Publication number Publication date
KR102401607B1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
KR102305914B1 (en) Driving management methods and systems, in-vehicle intelligent systems, electronic devices, media
US20220095975A1 (en) Detection of cognitive state of a driver
Dong et al. Driver inattention monitoring system for intelligent vehicles: A review
US20170267251A1 (en) System And Method For Providing Context-Specific Vehicular Driver Interactions
KR101276770B1 (en) Advanced driver assistance system for safety driving using driver adaptive irregular behavior detection
WO2008127465A1 (en) Real-time driving danger level prediction
Wu et al. Reasoning-based framework for driving safety monitoring using driving event recognition
KR20210086014A (en) A integrated driver status determination and notification service system for driver drowsiness and carelessness diagnosis based on driver image and bio-metric and vehicle driving information
KR20160067681A (en) Method for analyzing driving concentration level of driver
Guria et al. Iot-enabled driver drowsiness detection using machine learning
Wongphanngam et al. Fatigue warning system for driver nodding off using depth image from Kinect
CN114601478A (en) Method, device and equipment for improving alertness of driver and readable storage medium
Kannan et al. Driver drowsiness detection and alert system
Mašanović et al. Driver monitoring using the in-vehicle camera
Mittal et al. Driver drowsiness detection using machine learning and image processing
Santhiya et al. Improved Authentication and Drowsiness Detection from Facial Features using Deep Learning Framework in Real Time Environments
AU2021103045A4 (en) Drowsy detection using image processing
Neeraja et al. DL-Based Somnolence Detection for Improved Driver Safety and Alertness Monitoring
Ahir et al. Driver inattention monitoring system: A review
CN113901866A (en) Fatigue driving early warning method based on machine vision
Rathod et al. Camera based driver distraction system using image processing
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Jyothi et al. Drowsiness Detection of Driver
Ibrahim et al. The Application of Driving Fatigue Detection and Monitoring Technologies in Transportation Sector: A Review
Rozali et al. Driver drowsiness detection and monitoring system (DDDMS)

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right