KR101866768B1 - Apparatus and method of considering driver's characteristics - Google Patents

Apparatus and method of considering driver's characteristics Download PDF

Info

Publication number
KR101866768B1
KR101866768B1 KR1020160088636A KR20160088636A KR101866768B1 KR 101866768 B1 KR101866768 B1 KR 101866768B1 KR 1020160088636 A KR1020160088636 A KR 1020160088636A KR 20160088636 A KR20160088636 A KR 20160088636A KR 101866768 B1 KR101866768 B1 KR 101866768B1
Authority
KR
South Korea
Prior art keywords
driver
driving
state
specific
model
Prior art date
Application number
KR1020160088636A
Other languages
Korean (ko)
Other versions
KR20180007511A (en
Inventor
양지현
임세준
한지혁
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020160088636A priority Critical patent/KR101866768B1/en
Publication of KR20180007511A publication Critical patent/KR20180007511A/en
Application granted granted Critical
Publication of KR101866768B1 publication Critical patent/KR101866768B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Abstract

본 발명은 본 발명은 운전자 특성을 고려한 운전 지원 기술에 관한 것으로, 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센서, 운전자의 음성을 수신하는 음성 센서 및 차량의 운행상태를 수신하는 차량 센서를 포함하는 운전환경 센싱부, 상기 운전자 이미지를 기초로 운전자 특성을 결정하여 특정 운전자 모델을 선택하는 운전자 모델 결정부 및 상기 운전자 이미지를 통해 획득된 운전자 제스처, 상기 운전자의 음성 및 상기 차량의 운행상태를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도와 운전 상태를 결정하는 운전자 상태 결정부를 포함한다.The present invention relates to a driving support technique in consideration of driver characteristics, and more particularly, to a driving assistance technique that includes a camera sensor that captures a driver and generates a driver image, a voice sensor that receives a driver's voice, A driver's model determining unit for determining a driver's characteristic based on the driver image and selecting a specific driver's model, a driver's gesture obtained through the driver's image, a voice of the driver, and a driving state of the vehicle, And a driver state determining unit for determining the driving intention and the driving state of the driver based on the driver's model.

Description

운전자 특성을 고려한 운전 지원 장치 및 방법{APPARATUS AND METHOD OF CONSIDERING DRIVER'S CHARACTERISTICS}[0001] APPARATUS AND METHOD OF CONSIDERING DRIVER'S CHARACTERISTICS [0002]

본 발명은 운전자 특성을 고려한 운전 지원 기술에 관한 것으로, 보다 상세하게는, 운전자 특성을 실시간으로 분석하여 적합한 판단 모델을 자동으로 선택하도록 지원함으로써 다양한 성별과 연령대를 가지는 운전자의 비정상상태를 효과적으로 판단할 수 있는 운전자 특성을 고려한 운전 지원 장치 및 방법에 관한 것이다.[0001] The present invention relates to a driving support technology in consideration of driver characteristics, and more particularly, it relates to a driving support technology considering a driver characteristic, and more specifically, by analyzing driver characteristics in real time and automatically selecting an appropriate judgment model, And more particularly, to a driving support apparatus and method considering driver characteristics.

교통사고의 높은 비율을 차지하는 원인 중 하나는 인간 오류이다. 안전한 운전에 필요한 주의의 문제는 운전자의 판단 실수, 정보 처리 지연 등으로 이어지고 교통사고가 발생할 가능성이 커진다. 이에 따라 다양한 연구기관과 상용자동차 업체에서는 운전자 상태 판단 시스템을 개발하고 있다. 하지만 운전자의 특성이 다양한 만큼 많은 요소를 분석할 수 있어야 다양한 운전자의 특성에 맞는 정상적인 판단을 할 수 있다.One of the reasons for the high proportion of traffic accidents is human error. Problems of attention required for safe driving lead to driver's judgment error, information processing delay, etc., and the possibility of a traffic accident increases. As a result, various research institutes and commercial vehicle companies are developing a system to determine the driver's condition. However, it is necessary to be able to analyze as many factors as the characteristics of the driver, so that it can make a normal judgment according to the characteristics of various drivers.

한국등록특허 제10-0732149호(2007.06.19)는 차량 또는 운전자의 상태를 감지하는 감지 모듈과, 상기 감지된 결과를 분석하고 제어하는 제어부와, 상기 제어된 정보를 통신망으로 송신하는 RF 송신부를 포함하여 구성되는 것을 특징으로 하고, 또한, 상기의 목적을 달성하기 위하여 선행기술2에 따른 차량 및 운전자 감지 방법은 차량 또는 운전자의 상태를 감지하는 과정과, 상기 감지된 결과를 분석하고 제어하는 과정과, 상기 제어된 정보를 통신망으로 송신하는 과정으로 이루어지는 것을 특징으로 한다.Korean Patent Registration No. 10-0732149 (June 19, 2007) discloses a radio communication system including a detection module for detecting a state of a vehicle or a driver, a controller for analyzing and controlling the detected result, and an RF transmitter for transmitting the controlled information to a communication network In order to achieve the above object, the vehicle and driver sensing method according to the prior art 2 includes the steps of sensing a state of a vehicle or a driver, analyzing and controlling the sensed result And transmitting the controlled information to a communication network.

한국등록특허 제10-0742112호(2007.07.18)는 운전자의 활동 상태를 분류하는 방법에 있어서, C4.5, RIPPER 및 2차 분류기 중 적어도 하나이고, 운전 활동에 대응하는 제1 운전 상태와 비-운전 활동에 대응하는 제2 운전 상태를 적어도 인식하도록 동작하는 적어도 2-상태 활동 분류기로서 통계 분류기를 구성하는 통계 분류기 제공단계; 적어도 하나의 차량 조작 상태에 관한 센서 데이터를 수신하는 단계; 상기 센서 데이터에 기초하여 상기 운전자 활동을 상기 적어도 제1 및 제2 운전 상태들 중 하나로 상기 구성된 통계 분류기를 사용하여 분류하는 단계; 및 상기 차량의 운전자에게 이벤트를 송신할지의 여부를 결정하기 위해 상기 적어도 제1 및 제2 운전 상태들 중 상기 분류된 상태를 이용하는 단계를 포함한다.Korean Patent No. 10-0742112 (Jul. 18, 2007) discloses a method of classifying an activity state of a driver, the method comprising at least one of C4.5, RIPPER, and a secondary classifier, - providing a statistical classifier constituting a statistical classifier as at least a two-state activity classifier operative to at least recognize a second operating state corresponding to a driving activity; Receiving sensor data relating to at least one vehicle operating condition; Classifying the driver activity based on the sensor data using one of the at least first and second operating states using the configured statistical classifier; And using the classified one of the at least first and second operating conditions to determine whether to transmit an event to the driver of the vehicle.

한국등록특허 제10-0732149호(2007.06.19)Korean Patent No. 10-0732149 (Jun. 19, 2007) 한국등록특허 제10-0742112호(2007.07.18)Korean Patent No. 10-0742112 (2007.07.18)

본 발명의 일 실시예는 운전자 특성을 실시간으로 분석하고 적합한 판단 모델을 자동으로 선택하여 운전자 상태를 판단하는 운전자 특성을 고려한 운전 지원 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a driving support apparatus and method considering a driver characteristic that analyzes a driver characteristic in real time and automatically selects a proper judgment model to determine a driver's state.

본 발명의 일 실시예는 다양한 성별과 연령대를 가지는 운전자의 비정상상태를 효과적으로 판단할 수 있는 운전자 특성을 고려한 운전 지원 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a driving support apparatus and method considering a driver characteristic that can effectively determine an abnormal state of a driver having various sexes and ages.

본 발명의 일 실시예는 다양한 특성을 가지는 운전자를 대상으로 주행 중 위험상황 발생 시 경고를 주는 기술에 활용될 수 있는 운전자 특성을 고려한 운전 지원 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a driving support apparatus and method considering a driver characteristic that can be utilized in a technique of giving a warning when a dangerous situation occurs during driving to a driver having various characteristics.

실시예들 중에서, 운전자 특성을 고려한 운전 지원 장치는 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센서, 운전자의 음성을 수신하는 음성 센서 및 차량의 운행상태를 수신하는 차량 센서를 포함하는 운전환경 센싱부, 상기 운전자 이미지를 기초로 운전자 특성을 결정하여 특정 운전자 모델을 선택하는 운전자 모델 결정부 및 상기 운전자 이미지를 통해 획득된 운전자 제스처, 상기 운전자의 음성 및 상기 차량의 운행상태를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도와 운전 상태를 결정하는 운전자 상태 결정부를 포함한다.Among the embodiments, the driving support device considering the driver characteristics includes a driving environment sensing part including a camera sensor that picks up a driver and generates a driver image, a voice sensor that receives voice of the driver, and a vehicle sensor that receives the driving state of the vehicle A driver model determining unit for determining a driver characteristic based on the driver image to select a specific driver model, and a driver gesture obtained through the driver image, a voice of the driver, and a driving state of the vehicle, to the specific driver model And determines a driving intention and a driving state of the driver.

상기 운전자 특성은 상기 운전자의 성별 및 연령에 대한 특성을 포함할 수 있다.The driver characteristics may include characteristics of the driver with respect to sex and age.

상기 운전자 모델 결정부는 상기 운전자 특성이 결정되면 미리 설정된 복수의 운전자 모델 중에서 해당 운전자 특성과 대응되는 특정 운전자 모델을 선택할 수 있다.When the driver characteristic is determined, the driver model determining unit may select a specific driver model corresponding to the driver characteristic among a plurality of driver models set in advance.

상기 운전자 모델 결정부는 특정 시간 구간 동안 수집된 상기 운전자 이미지를 가공하여 복수의 전처리 변수들을 생성할 수 있다.The driver model determiner may generate the plurality of preprocessing parameters by processing the driver image collected during a specific time period.

상기 복수의 전처리 변수들 각각은 정규 분포, 로그-정규 분포 및 절단-정규 분포를 포함하는 복수의 분포들 중에서 특정 분포와 연관될 수 있다.Each of the plurality of preprocessing variables may be associated with a particular one of a plurality of distributions including a normal distribution, a log-normal distribution, and a truncation-normal distribution.

상기 특정 운전자 모델은 상기 복수의 전처리 변수들 각각을 분석하고 상기 운전자의 운전 의도와 운전 상태를 결정하기 위하여 미리 설정된 특정 결정기준 및 조건부확률을 가질 수 있다.The specific driver model may have a predetermined determination criterion and conditional probability to analyze each of the plurality of preprocessing parameters and determine a driving intention and a driving state of the driver.

상기 운전자 상태 결정부는 상기 특정 운전자 모델이 가지는 상기 특정 결정기준 및 조건부 확률을 기초로 상기 복수의 전처리 변수들을 분석하여 상기 운전자의 운전 의도와 운전 상태를 결정할 수 있다.The driver state determination unit may determine the driving intention and the driving state of the driver by analyzing the plurality of preprocessing parameters based on the specific determination criterion and the conditional probability of the specific driver model.

상기 운전자 상태 결정부는 상기 차량의 운행상태가 주행 모드에 진입하면 상기 차량의 운행상태 및 상기 운전자의 음성을 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도에 대한 제1 계측을 수행할 수 있다.The driver state determination unit may perform the first measurement of the driving intention of the driver by reflecting the driving state of the vehicle and the driver's voice to the specific driver model when the driving state of the vehicle enters the driving mode.

상기 운전자 상태 결정부는 상기 차량의 운행상태는 주행 모드에 진입하였으나 상기 운전자의 음성이 특정 기준에 부합되지 않으면 상기 차량의 운행상태 및 상기 운전자 제스처를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도에 대한 제2 계측을 수행할 수 있다.The driver state determination unit may reflect the driving state of the vehicle and the driver's gesture to the specific driver's model if the driving state of the vehicle enters the driving mode but the voice of the driver does not meet the specific criteria, The second measurement can be performed.

상기 운전자 상태 결정부는 상기 제1 혹은 제2 계측에 따른 상기 운전자의 운전 의도가 정상 상태에 해당하는 특정 기준에 부합되면 상기 운전자의 운전 상태를 정상 상태로 결정할 수 있다.The driver state determining unit may determine the driver's driving state to be a normal state when the driving intention of the driver according to the first or second measurement meets a specific criterion corresponding to a normal state.

상기 운전자 상태 결정부는 상기 제1 혹은 제2 계측에 따른 상기 운전자에게 운전 의도가 비정상 상태에 해당하는 특정 기준에 부합되면 상기 운전자의 운전 상태를 비정상 상태로 판단하고 졸음, 주의분산 및 주행 과부하 중에서 하나로 결정할 수 있다.If the driver's intention of the driver according to the first or second measurement meets a specific criterion corresponding to the abnormal state, the driver state determination unit determines the driver's state as an abnormal state and selects one of the states of drowsiness, attention dispersion, You can decide.

상기 운전자 상태 결정부는 상기 운전자의 운전 상태가 비정상 상태로 결정되면 경고 메시지 혹은 경고음을 출력할 수 있다.The driver state determining unit may output a warning message or a warning sound when the driver's operating state is determined to be abnormal.

실시예들 중에서, 운전자 특성을 고려한 운전 지원 장치에서 수행되는 운전자 특성을 고려한 운전 지원 방법은 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센싱 단계, 운전자의 음성을 수신하는 음성 센싱 단계 및 차량의 운행상태를 수신하는 차량 센싱 단계를 포함하는 운전환경 센싱 단계, 상기 운전자 이미지를 기초로 운전자 특성을 결정하여 특정 운전자 모델을 선택하는 운전자 모델 결정 단계 및 상기 운전자 이미지를 통해 획득된 운전자 제스처, 상기 운전자의 음성 및 상기 차량의 운행상태를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도와 운전 상태를 결정하는 운전자 상태 결정 단계를 포함한다.Among the embodiments, a driving support method considering a driver characteristic in a driving support device considering driver characteristics includes a camera sensing step of sensing a driver and generating a driver image, a voice sensing step of receiving a driver's voice, A driver's environment sensing step of sensing a driver's environment based on the driver's image, a driver's model determination step of selecting a specific driver's model based on the driver's image, a driver's gesture obtained through the driver's image, And a driver state determining step of determining the driving intention and the driving state of the driver by reflecting the driving state of the vehicle to the specific driver model.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

본 발명의 일 실시예에 따른 운전자 특성을 고려한 운전 지원 장치 및 방법은 운전자 특성을 실시간으로 분석하고 적합한 판단 모델을 자동으로 선택하여 운전자 상태를 판단할 수 있다.The driving support apparatus and method considering driver characteristics according to an embodiment of the present invention can analyze the driver characteristics in real time and automatically determine a proper driver's state by selecting a proper determination model.

본 발명의 일 실시예에 따른 운전자 특성을 고려한 운전 지원 장치 및 방법은 다양한 성별과 연령대를 가지는 운전자의 비정상상태를 효과적으로 판단할 수 있다.The driving support apparatus and method considering driver characteristics according to an embodiment of the present invention can effectively determine an abnormal state of a driver having various sexes and ages.

본 발명의 일 실시예에 따른 운전자 특성을 고려한 운전 지원 장치 및 방법은 다양한 특성을 가지는 운전자를 대상으로 주행 중 위험상황 발생 시 경고를 주는 기술에 활용될 수 있다.The driving support device and method considering the driver characteristics according to an embodiment of the present invention can be utilized in a technique of giving a warning when a dangerous situation occurs while driving to a driver having various characteristics.

도 1은 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치를 설명하는 도면이다.
도 2는 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.
도 3은 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.
도 5는 본 발명의 실시예에서 운전자 특성이 (남성, 20~30대 연령)에 해당하는 경우 운전자의 운전 상태를 결정하는 조건을 나타내는 도면이다.
도 6은 본 발명의 실시예에서 운전자 특성이 (여성, 20~30대 연령)에 해당하는 경우 운전자의 운전 상태를 결정하는 조건을 나타내는 도면이다.
도 7은 본 발명의 실시예에서 운전자 특성이 (남성, 40~50대 연령)에 해당하는 경우 운전자의 운전 상태를 결정하는 조건을 나타내는 도면이다.
도 8은 본 발명의 실시예에서 운전자 특성이 (여성, 40~50대 연령)에 해당하는 경우 운전자의 운전 상태를 결정하는 조건을 나타내는 도면이다.FIG. 1 is a view for explaining a driving support apparatus considering driver characteristics according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of a driving support device in consideration of driver characteristics according to an embodiment of the present invention.
FIG. 3 is a flowchart for explaining an operation of an operation supporting device in consideration of driver characteristics according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating an operation of the driving support device in consideration of driver characteristics according to an embodiment of the present invention.
FIG. 5 is a diagram showing a condition for determining a driving state of a driver when the driver characteristic (male, 20 to 30 age) corresponds to the embodiment of the present invention.
FIG. 6 is a diagram showing a condition for determining a driving state of a driver when the driver characteristic (female, 20 to 30 age) corresponds to the embodiment of the present invention.
FIG. 7 is a diagram showing a condition for determining a driving state of a driver when the driver characteristic (male, 40 to 50 age group) corresponds to the embodiment of the present invention.
FIG. 8 is a diagram showing a condition for determining a driving state of a driver when the driver characteristics (female, 40 to 50 age group) are included in the embodiment of the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치를 설명하는 도면이다.FIG. 1 is a view for explaining a driving support apparatus considering driver characteristics according to an embodiment of the present invention.

도 1을 참조하면, 운전자 특성을 고려한 운전 지원 장치(100)는 운전환경 센싱부(110), 제어부(120), 운전자 모델 결정부(130) 및 운전자 상태 결정부(140)를 포함한다.Referring to FIG. 1, a driving support apparatus 100 considering a driver characteristic includes an operating environment sensing unit 110, a control unit 120, a driver model determination unit 130, and a driver state determination unit 140.

운전자 특성을 고려한 운전 지원 장치(100)는 운전자 특성을 실시간으로 분석하고 적합한 판단 모델을 자동으로 선택하여 운전자 상태를 판단하는 기능을 제공하는 컴퓨팅 장치에 해당할 수 있다. 일 실시예에서, 운전자 특성을 고려한 운전 지원 장치(100)는 차량과 전기적으로 연결되거나 네트워크를 통해 연결될 수 있고, 차량 내부에 포함되는 차량의 제어 유닛으로서 구현될 수도 있다. 운전자 특성을 고려한 운전 지원 장치(100)는 운전환경 센싱부(110), 제어부(120), 운전자 모델 결정부(130) 및 운전자 상태 결정부(140)를 포함하고, 이들 간에 전기적 신호를 송수신하도록 설계될 수 있다. 일 실시예에서, 운전자 특성을 고려한 운전 지원 장치(100)는 다양한 성별과 연령대를 가지는 운전자의 비정상상태를 효과적으로 판단할 수 있다.The driving support apparatus 100 considering the driver characteristics may correspond to a computing apparatus that provides a function of analyzing the driver's characteristics in real time and automatically determining a proper judgment model to determine the driver's state. In one embodiment, the driving support device 100 considering the driver characteristics may be electrically connected to the vehicle or connected via a network, and may be implemented as a control unit of the vehicle included in the vehicle. The driving assistance apparatus 100 considering the driver characteristics includes an operating environment sensing unit 110, a control unit 120, a driver model determining unit 130 and a driver state determining unit 140, Can be designed. In one embodiment, the driving support device 100 considering the driver characteristics can effectively determine the abnormal state of the driver having various sexes and ages.

운전환경 센싱부(110)는 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센서(112), 운전자의 음성을 수신하는 음성 센서(114) 및 차량의 운행상태를 수신하는 차량 센서(116)를 포함할 수 있다. 일 실시예에서, 카메라 센서(112)는 렌즈를 통해서 피사체의 형상이 들어와 이미지 센서에 닿게 되면 빛이 전기신호로 바뀌어 메모리에 저장되는 구조를 가지는 이미지 센서에 해당할 수 있고, 음성 센서(114)는 음성 크기 및 특정 주파수의 소리를 인식할 수 있는 음향 센서에 해당할 수 있으며, 차량 센서(116)는 차량 내의 정보를 감지할 수 있는 센서로서 차량 내 액츄에이터들의 구동을 감지할 수 있는 센서에 해당할 수 있으나 차량의 ECU(전자제어유닛, Electronic Control Unit)로부터 운행 상태를 수신 받을 수 있는 모듈에 해당할 수도 있다. 운전환경 센싱부(110)는 그 밖에 운전자의 생체 정보를 감지할 수 있는 바이오 센서 등을 더 포함할 수 있다.The driving environment sensing unit 110 includes a camera sensor 112 for sensing a driver and generating a driver image, a voice sensor 114 for receiving a driver's voice, and a vehicle sensor 116 for receiving a driving state of the vehicle . In one embodiment, the camera sensor 112 may correspond to an image sensor having a structure in which the shape of a subject enters through a lens and is converted into an electric signal and stored in a memory when the image sensor is brought into contact with the image sensor. The vehicle sensor 116 may correspond to a sensor capable of sensing the driving of the actuators in the vehicle and may be a sensor capable of sensing information in the vehicle. But it may correspond to a module capable of receiving the running status from the ECU (electronic control unit) of the vehicle. The driving environment sensing unit 110 may further include a biosensor or the like capable of sensing biometric information of the driver.

제어부(120)는 운전자 특성을 고려한 운전 지원 장치(100)의 전반적인 동작을 제어하고, 운전환경 센싱부(110), 운전자 모델 결정부(130) 및 운전자 상태 결정부(140)와 전기적으로 연결되어 이들 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.The control unit 120 controls the overall operation of the driving support apparatus 100 considering the driver characteristics and is electrically connected to the operation environment sensing unit 110, the driver model determination unit 130, and the driver state determination unit 140 The control flow or data flow between them can be controlled.

운전자 모델 결정부(130)는 운전자 이미지를 기초로 운전자 특성을 결정하여 특정 운전자 모델을 선택할 수 있다. 여기에서, 운전자 특성은 운전자에 따라 다르게 가질 수 있는 특수한 성질에 대한 것으로, 일 실시예에서, 운전자 특성은 운전자의 성별 및 연령에 대한 특성을 포함할 수 있다. 예를 들어, 운전자 모델 결정부(130)는 운전자 이미지를 기초로 '남성' 혹은 '여성'의 성별 특성과 '20~30대 연령' 혹은 '40~50대 연령'의 연령 특성을 포함하는 운전자 특성을 결정할 수 있다.The driver model determining unit 130 can select a specific driver model by determining driver characteristics based on the driver image. Here, the driver characteristic is a special characteristic that may be different depending on the driver, and in one embodiment, the driver characteristic may include characteristics of the driver's sex and age. For example, the driver's model determining unit 130 may determine the driver's behavior based on the driver's image based on the sex characteristics of 'male' or 'female' and the age characteristics of '20 th to 30 th ages' Characteristics can be determined.

운전자 모델 결정부(130)는 운전자 특성이 결정되면 미리 설정된 복수의 운전자 모델 중에서 해당 운전자 특성과 대응되는 특정 운전자 모델을 선택할 수 있다. 예를 들어, 운전자 모델 결정부(130)는 운전자 특성이 결정되면 해당 운전자가 (남성, 20~30대 연령), (여성, 20~30대 연령), (남성, 40~50대 연령) 및 (여성, 40~50대 연령)에 대한 네 가지 그룹 중에서 어떤 그룹에 해당하는지 결정할 수 있고, 이후의 운전자 판단을 실행함에 있어 해당 그룹과 연관되는 특정 운전자 모델을 선택하여 적용할 수 있다.When the driver characteristic is determined, the driver model determining unit 130 can select a specific driver model corresponding to the driver characteristic among a plurality of driver models set in advance. For example, when the driver's characteristics are determined, the driver's model determining unit 130 determines whether the corresponding driver (male, 20 to 30 years old), (female, 20 to 30 years old), (male, (Female, 40-50 age group), and can select and apply the specific driver model associated with the group in performing subsequent driver judgment.

운전자 모델 결정부(130)는 특정 시간 구간 동안 수집된 운전자 이미지를 가공하여 복수의 전처리 변수들을 생성할 수 있다. 이와 같은 전처리 변수 생성 과정은 절대적 수치의 개인차를 해결하기 위한 목적을 갖는다. 일 실시예에서, 운전자 모델 결정부(130)는 운전자 이미지를 적어도 하나의 방법으로 가공하여 서로 다른 특성을 가지는 적어도 하나의 전처리 변수를 생성함으로써 해당 변수들의 값이 확률 분포 상에서 어떤 위치에 있는지 분석 가능하도록 할 수 있다. 예를 들어, 운전자 모델 결정부(130)는 운전자 이미지에서 '얼굴 좌표 정보'에 대한 데이터를 '얼굴 방향'을 분석하는 방법으로 가공하여 '얼굴 방향'에 대한 전처리 변수를 생성할 수 있고, 해당 변수의 값은 특정한 의미를 가지는 값을 가질 수 있다. 상기에서는 운전자 이미지를 통한 얼굴 좌표 정보의 전처리 가공에 대하여 서술하였으나, 운전자 모델 결정부(130)는 음성 센서(114)에 의해 수신되는 음성의 진폭 정보, 차량 센서(116)에 의해 수신되는 종방향 가속도 정보, 바이오 센서에 의해 수신되는 심장박동수 및 체온 등 다양한 데이터를 가공하여 복수의 전처리 변수들을 생성할 수 있다.The driver model determining unit 130 may generate a plurality of preprocessing parameters by processing the collected driver images during a specific time period. This preprocessing variable generation process has the purpose of solving individual differences of absolute values. In one embodiment, the driver model determiner 130 may analyze the driver image in at least one manner to generate at least one preprocessing variable having different characteristics so that the values of the variables are located on the probability distribution . For example, the driver model determining unit 130 can generate the preprocessing parameter for the 'face direction' by processing the 'face coordinate information' in the driver image by analyzing the 'face direction' The value of a variable can have a value with a specific meaning. The driver model determination unit 130 may determine the amplitude information of the voice received by the voice sensor 114 and the amplitude information of the voice received by the vehicle sensor 116 in the longitudinal direction A plurality of preprocessing parameters can be generated by processing various data such as acceleration information, heart rate received by the biosensor, and body temperature.

일 실시예에서, 복수의 전처리 변수들 각각은 정규 분포, 로그-정규 분포 및 절단-정규 분포를 포함하는 복수의 분포들 중에서 특정 분포와 연관될 수 있다. 상기 서술한 것처럼, 복수의 전처리 변수들 각각은 다른 특성을 가지고 있기 때문에 해당 특성을 반영할 수 있는 정규 분포와 연관되어 있을 수 있고, 이에 따라 분석될 수 있다. 일 실시예에서, 전처리 변수의 범위가 음수부터 양수까지를 포함하는 경우에는 정규 분포와, 전처리 변수의 범위가 양수만을 갖는 경우에는 로그-정규 분포와, 변수의 범위가 특정 범위로 정해진 경우에는 절단-정규 분포와 연관되어 있을 수 있다. 예를 들어, '10초 동안 얼굴 방향이 정면인 비율'에 해당하는 전처리 변수는 로그-정규 분포와 연관되어 있을 수 있고, '10초 동안 대화 정도가 3이상인 비율'에 해당하는 전처리 변수는 절단-정규 분포와 연관되어 있을 수 있다.In one embodiment, each of the plurality of preprocessing variables may be associated with a particular distribution from among a plurality of distributions including a normal distribution, a log-normal distribution, and a truncation-normal distribution. As described above, since each of the plurality of preprocessing variables has different characteristics, it can be associated with a normal distribution that can reflect the characteristic and can be analyzed accordingly. In one embodiment, when the range of the preprocessing variable includes a negative number to a positive number, the normal distribution and the log-normal distribution when the range of the preprocessing variable has only a positive number, - It may be associated with a normal distribution. For example, a preprocessing variable corresponding to the ratio of face orientation to face orientation for 10 seconds may be associated with the log-normal distribution, - It may be associated with a normal distribution.

일 실시예에서, 특정 운전자 모델은 복수의 전처리 변수들 각각을 분석하고 운전자의 운전 의도와 운전 상태를 결정하기 위하여 미리 설정된 특정 결정기준 및 조건부확률을 가질 수 있다. 여기에서, 특정 결정기준 및 조건부확률은 복수의 전처리 변수들 각각을 분석하기 위한 기준 값에 해당한다. 보다 구체적으로, 결정기준은 연속형인 전처리 변수를 이산형으로 변환하기 위한 기준값으로, 해당 변수와 연관된 정규 분포 상에서 해당 변수의 값이 확률 분포 상 어떤 위치에 있기 때문에 어떠한 의미를 갖는지 분석되기 위하여 필요한 기준에 해당하고, 조건부확률은 결정기준을 기준으로 한 우도확률(likelihood probability)로서, 전처리 변수의 값이 결정기준보다 크거나 같으면 '반응 있음(Signal)', 작으면 '반응 없음(Noise)'로 정의할 수 있다. 예를 들어, (남성, 20~30대 연령)에 해당하는 운전자 특성을 가지는 운전자와 (여성, 40~50대 연령)에 해당하는 운전자 특성을 가지는 운전자는 '10초 평균 눈 깜빡임 횟수'에 해당하는 전처리 변수에 대하여 동일한 값을 가지더라도 서로 다른 결정기준과 조건부확률을 가지고, 이에 따라 운전자의 운전 의도 또는 운전 상태는 다른 결과를 가질 수 있다. 이처럼, 복수의 운전자 모델들 각각은 해당 운전자 모델과 대응되는 운전자 특성에 따라 미리 설정된 최적화된 결정기준 및 조건부확률을 가질 수 있고, 이에 따라 운전자 모델 결정부(130)는 운전자의 운전 의도와 운전 상태를 운전자 특성에 따라 다르게 분석하여 판단할 수 있다.In one embodiment, a particular driver model may have predetermined predetermined criteria and conditional probabilities to analyze each of a plurality of preprocessing parameters and to determine a driving intention and driving state of the driver. Here, the specific decision criterion and the conditional probability correspond to a reference value for analyzing each of a plurality of preprocessing variables. More specifically, the decision criterion is a reference value for converting a continuous pre-processing variable into a discrete form. In this case, the criterion necessary for analyzing the significance of the value of the variable on the normal distribution associated with the variable, And the conditional probability is a likelihood probability based on the decision criterion. If the value of the preprocessing variable is greater than or equal to the decision criterion, it is determined as 'Noise' Can be defined. For example, a driver having a driver characteristic corresponding to (male, 20 to 30 age) and a driver having a driver characteristic corresponding to (female, 40 to 50 age) corresponds to the '10 second average eye blinking frequency' Even if they have the same value for the preprocessing variables, the driver's intention or the driving state of the driver may have different results. As described above, each of the plurality of driver models can have an optimized determination criterion and a conditional probability set in advance according to the driver characteristic corresponding to the corresponding driver model. Accordingly, the driver model determination unit 130 determines the driver's intention Can be determined by analyzing differently according to driver characteristics.

운전자 상태 결정부(140)는 운전자 이미지를 통해 획득된 운전자 제스처, 운전자의 음성 및 차량의 운행상태를 특정 운전자 모델에 반영하여 운전자의 운전 의도와 운전 상태를 결정할 수 있다. 여기에서, 운전자 제스처는 특정 시간 구간 동안 운전자의 신체 일부에 특정 기준 이상의 변화량을 가지는 움직임이 발생하는지의 여부에 해당할 수 있다. 여기에서, 변화량에 관한 특정 기준은 다음의 수학식에 따라 결정될 수 있다.The driver state determination unit 140 can determine the driving intention and driving state of the driver by reflecting the driver gesture obtained through the driver image, the voice of the driver, and the driving state of the vehicle to the specific driver model. Here, the driver gesture may correspond to whether or not a motion having a variation amount exceeding a specific reference occurs in a part of the driver's body during a specific time period. Here, the specific criterion for the amount of change can be determined according to the following equation.

[수학식][Mathematical Expression]

S = Gesture(Extract_Image(driver(n)), Extract_Image(driver(n-1)))S = Gesture (Extract_Image (driver (n)), Extract_Image (driver (n-1)))

만일 S > 임계값이면, 특정 기준 이상의 변화량이 발생If S > threshold value, a change amount exceeding a certain reference value occurs

그렇지 않다면, 특정 기준 미만의 변화량이 발생Otherwise, a change below a certain criterion occurs.

- driver(n)은 운전자가 포함된 가장 최근 시간의 이미지로서, 현재의 시간을 포함- driver (n) is the image of the most recent time including the driver, including the current time

- driver(n-1)은 운전자가 포함된 다음 최근 시간의 이미지로서, 현재의 시간을 미포함- driver (n-1) is the image of the next most recent time that the driver included, not including the current time

- Extract_Image 함수는 입력 이미지에 관해 운전자의 윤곽을 기초로 배경을 삭제하고 운전자 이미지를 추출- The Extract_Image function deletes the background based on the outline of the driver about the input image and extracts the driver image

- Gesture 함수는 입력되는 두 개의 이미지들 간의 차분을 구해 움직임에 관한 변화량을 계산- The Gesture function calculates the amount of change in motion by calculating the difference between two input images.

일 실시예에서, 운전자 상태 결정부(140)는 운전자 제스처, 운전자의 음성 및 차량의 운행상태 각각에 대하여 미리 설정된 특정 조건을 만족하는지 여부를 확인하고, 이에 따라 운전자의 운전 의도와 운전 상태를 결정할 수 있다. 일 실시예에서, 운전자 상태 결정부(140)는 상기의 정보들 외에도 바이오 센서에 의해 수신되는 생체 정보 등을 특정 운전자 모델에 더 반영할 수 있다.In one embodiment, the driver state determination unit 140 determines whether each of the driver gestures, driver's voice, and vehicle driving state satisfies a predetermined condition set in advance, and determines the driving intention and driving state of the driver accordingly . In one embodiment, the driver state determination unit 140 may further reflect the biometric information received by the biosensor, in addition to the above information, to the specific driver model.

운전자 상태 결정부(140)는 특정 운전자 모델이 가지는 특정 결정기준 및 조건부 확률을 기초로 복수의 전처리 변수들을 분석하여 운전자의 운전 의도와 운전 상태를 결정할 수 있다. 일 실시예에서, 운전자 상태 결정부(140)는 앞서 서술한 것처럼, 복수의 전처리 변수들 각각을 해당 변수들 각각과 연관되는 특정 정규 분포 상에서 해당 운전자 모델이 가지는 특정 결정기준 및 조건부 확률을 기초로 분석할 수 있고, 이에 따라 복수의 전처리 변수들 각각에 대하여 '반응 있음' 혹은 '반응 없음'의 결과를 확인할 수 있으며, 모든 전처리 변수들에 대한 분석 결과 중에서 특정 운전 상태에 해당하는 조건을 충족시키는 결과가 있는지 확인함으로써 운전자의 운전 의도와 운전 상태를 결정할 수 있다. 이러한 특정 운전 상태에 해당하는 조건은 운전자 특성에 따라 다르게 설정될 수 있다. 일 실시예에서, 운전자 상태 결정부(140)는 결정된 운전자 특성이 (남성, 20~30대 연령)에 해당하면 운전자의 운전 상태에 대하여 도 5와 같은 조건을 설정할 수 있고, (여성, 20~30대 연령)에 해당하면 도 6과 같은 조건을, (남성, 40~50대 연령)에 해당하면 도 7과 같은 조건을, (여성, 40~50대 연령)에 해당하면 도 8과 같은 조건을 설정할 수 있다. 도 5~8에서, '졸음'은 운전자의 의도적이지 않은 운전자의 생리적 현상으로 인해 운전자가 1차 주행에 필요한 주의를 빼앗긴 상태를 말하고, '주의분산'은 운전자의 의도로 운전자가 '시각적', '인지적' 2차 과제를 수행함으로써 1차 주행에 필요한 주의가 분산된 상태를 말하며, '과부하'는 운전자의 의도적이지 않은 외부 환경 또는 차량 내부와의 상호작용에 의해 운전자가 인지적으로 1차 주행에 필요한 주의가 빼앗긴 상태를 말한다.The driver state determination unit 140 can determine the driving intention and the driving state of the driver by analyzing a plurality of preprocessing parameters based on a specific determination criterion and a conditional probability of the specific driver model. In one embodiment, as described above, the driver state determiner 140 may determine each of the plurality of preprocessing parameters based on a specific decision criterion and a conditional probability that the corresponding driver model has on a specific normal distribution associated with each of the variables The results of the 'reaction' or 'no reaction' can be confirmed for each of the plurality of preprocessing variables, and the results of the analysis of all of the preprocessing parameters It is possible to determine the driving intention and the driving state of the driver by checking whether there is a result. The condition corresponding to this specific operating state may be set differently depending on the driver characteristics. In one embodiment, the driver state determining unit 140 can set the conditions as shown in FIG. 5 for the driver's driving state when the determined driver characteristics are (male, 20 to 30 age) (Female, 40 to 50 age group), the condition shown in FIG. 8 is applied to the male (female, 40 to 50) Can be set. In FIGS. 5 to 8, 'sleepiness' refers to a state in which a driver has been deprived of attention necessary for a first driving due to a physiological phenomenon of an unintentional driver, and 'dispersion of attention' 'Overload' refers to a situation in which attention is dispersed in the primary driving by performing the 'cognitive' secondary task, and the 'overload' It refers to a state in which the attention necessary for driving is lost.

운전자 상태 결정부(140)는 차량의 운행상태가 주행 모드에 진입하면 차량의 운행상태 및 운전자의 음성을 특정 운전자 모델에 반영하여 운전자의 운전 의도에 대한 제1 계측을 수행할 수 있다. 일 실시예에서, 운전자 상태 결정부(140)는 엔진의 점화 여부, 파킹 브레이크 여부 및 기어 위치에 따라 차량의 운행상태가 어떤 동작 모드에 있는지 판단할 수 있고, 만일 주행 모드에 진입하면 운전자의 음성을 통해 운전자의 운전 의도를 계측할 수 있다.The driver state determination unit 140 can perform the first measurement of the driving intention of the driver by reflecting the driving state of the vehicle and the voice of the driver to the specific driver model when the driving state of the vehicle enters the driving mode. In one embodiment, the driver state determination unit 140 can determine which operation mode the vehicle is in according to whether the engine is ignited, whether the parking brake is applied, and the gear position. If the driver enters the driving mode, The driver's intention to drive can be measured.

운전자 상태 결정부(140)는 차량의 운행상태는 주행 모드에 진입하였으나 운전자의 음성이 특정 기준에 부합되지 않으면 차량의 운행상태 및 운전자 제스처를 특정 운전자 모델에 반영하여 운전자의 운전 의도에 대한 제2 계측을 수행할 수 있다. 일 실시예에서, 운전자 상태 결정부(140)는 제1 계측에서 운전자의 음성이 인식되지 않으면 운전자 제스처를 해당 운전자 모델에 반영하여 운전자의 운전 의도에 대하여 해당 운전자 모델에 따라 설정된 해당 결정기준 및 조건부확률을 기초로 운전 의도에 대한 확률적 계측을 수행할 수 있다.If the driving state of the vehicle enters the driving mode but the voice of the driver does not meet the specific criteria, the driver state determination unit 140 reflects the driving state of the vehicle and the driver's gesture to the specific driver model, Measurement can be performed. In one embodiment, if the driver's voice is not recognized in the first measurement, the driver state determination unit 140 reflects the driver's gesture to the corresponding driver model to determine the corresponding determination criterion and condition Probabilistic measurement of the driver's intention can be performed based on probability.

운전자 상태 결정부(140)는 제1 혹은 제2 계측에 따른 운전자의 운전 의도가 정상 상태에 해당하는 특정 기준에 부합되면 운전자의 운전 상태를 정상 상태로 결정할 수 있다. 예를 들어, 운전자 상태 결정부(140)는 제1 혹은 제2 계측에 따른 운전자의 운전 의도가 '반응 있음'으로 확인되면 운전자의 운전 상태를 정상 상태로 결정할 수 있다.The driver state determination unit 140 can determine the driver's operating state as a normal state if the driver's intention to operate according to the first or second measurement meets a specific criterion corresponding to the normal state. For example, if the driver's intention to drive according to the first or second measurement is determined to be 'reactive', the driver state determination unit 140 can determine the driver's driving state as a normal state.

운전자 상태 결정부(140)는 제1 혹은 제2 계측에 따른 운전자의 운전 의도가 비정상 상태에 해당하는 특정 기준에 부합되면 운전자의 운전 상태를 비정상 상태로 판단하고 졸음, 주의분산 및 주행 과부하 중에서 하나로 결정할 수 있다. 운전자 상태 결정부(140)는 운전자의 운전 상태가 비정상 상태로 결정되면 경고 메시지 혹은 경고음을 출력할 수 있다.If the driver's intention of the driver according to the first or second measurement meets a specific criterion corresponding to the abnormal state, the driver state determiner 140 determines the driver's state as an abnormal state and selects either one of drowsiness, attention dispersion, You can decide. The driver state determination unit 140 may output a warning message or a warning sound if the driver's operating state is determined to be abnormal.

도 2는 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.FIG. 2 is a flowchart illustrating an operation of a driving support device in consideration of driver characteristics according to an embodiment of the present invention.

도 2에서, 본 발명의 실시예에 따라 운전자 특성을 고려한 운전 지원 장치에서 수행되는 운전자 특성을 고려한 운전 지원 방법은 다음의 단계들을 포함한다.In FIG. 2, the driving support method considering the driver characteristics performed in the driving support apparatus considering the driver characteristics according to the embodiment of the present invention includes the following steps.

첫 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센싱 단계, 운전자의 음성을 수신하는 음성 센싱 단계 및 차량의 운행상태를 수신하는 차량 센싱 단계를 포함하는 운전환경 센싱 단계를 포함할 수 있다(단계S210).First, a driving support method considering driver characteristics includes a camera sensing step of imaging a driver to generate a driver image, a voice sensing step of receiving a driver's voice, and a vehicle sensing step of receiving a driving state of the vehicle Sensing step (step S210).

두 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자 이미지를 기초로 운전자 특성을 결정하여 특정 운전자 모델을 선택하는 운전자 모델 결정 단계를 포함할 수 있다(단계S220).Second, a driving support method considering driver characteristics may include a driver model determination step of selecting a specific driver model by determining driver characteristics based on a driver image (step S220).

세 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자 이미지를 통해 획득된 운전자 제스처, 운전자의 음성 및 차량의 운행상태를 특정 운전자 모델에 반영하여 운전자의 운전 의도와 운전 상태를 결정하는 운전자 상태 결정 단계를 포함할 수 있다(단계S230).Third, the driving support method considering the driver characteristics includes a driver state determination step of determining the driving intention and the driving state of the driver by reflecting the driver gesture obtained through the driver image, the voice of the driver, and the driving state of the vehicle, (Step S230).

도 3은 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.FIG. 3 is a flowchart for explaining an operation of an operation supporting device in consideration of driver characteristics according to an embodiment of the present invention.

도 3에서, 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 방법은 다음의 단계들을 포함할 수 있다.3, a driving support method considering driver characteristics according to an embodiment of the present invention may include the following steps.

첫 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센싱 단계, 운전자의 음성을 수신하는 음성 센싱 단계 및 차량의 운행상태를 수신하는 차량 센싱 단계를 포함하는 운전환경 센싱 단계를 포함할 수 있다(단계S310).First, a driving support method considering driver characteristics includes a camera sensing step of imaging a driver to generate a driver image, a voice sensing step of receiving a driver's voice, and a vehicle sensing step of receiving a driving state of the vehicle Sensing step (step S310).

두 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자 이미지를 기초로 운전자의 성별 및 연령에 대한 특성을 포함하는 운전자 특성을 결정할 수 있다(단계S320).Secondly, the driving support method considering the driver characteristics may determine the driver characteristics including the driver's sex and age characteristics based on the driver image (S320).

세 번째로, 운전자 특성을 고려한 운전 지원 방법은 특정 시간 구간 동안 수집된 운전자 이미지를 가공하여 복수의 전처리 변수들을 생성하는 단계를 포함할 수 있다(단계S330).Thirdly, the driving support method considering the driver characteristics may include a step of generating a plurality of preprocessing parameters by processing the driver image collected during a specific time period (step S330).

네 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자 특성과 대응되는 운전자 모델을 선택하는 단계를 포함할 수 있다(단계S340). 일 실시예에서, 특정 운전자 모델은 복수의 전처리 변수들 각각을 분석하고 운전자의 운전 의도와 운전 상태를 결정하기 위하여 미리 설정된 특정 결정기준 및 조건부확률을 가질 수 있다.Fourth, the driving support method considering the driver characteristics may include a step of selecting a driver model corresponding to the driver characteristics (step S340). In one embodiment, a particular driver model may have predetermined predetermined criteria and conditional probabilities to analyze each of a plurality of preprocessing parameters and to determine a driving intention and driving state of the driver.

다섯 번째로, 운전자 특성을 고려한 운전 지원 방법은 특정 운전자 모델이 가지는 특정 결정기준 및 조건부 확률을 기초로 복수의 전처리 변수들을 분석하는 단계를 포함할 수 있다(단계S350).Fifth, the driving support method considering driver characteristics may include analyzing a plurality of preprocessing variables based on a specific decision criterion and a conditional probability of a specific driver model (S350).

여섯 번째로, 운전자 특성을 고려한 운전 지원 방법은 전처리 변수들에 대한 분석 결과 중에서 특정 운전 상태에 해당하는 조건을 충족시키는 결과가 있는지 확인하는 단계를 포함할 수 있다(단계S360).Sixth, the driving support method considering the driver characteristics may include checking whether there is a result satisfying the condition corresponding to the specific driving condition among the analysis results of the preprocessing parameters (step S360).

일곱 번째로, 운전자 특성을 고려한 운전 지원 방법은 이전 단계들의 결과를 기초로 운전자의 운전 의도와 운전 상태를 결정할 수 있다(단계S370).Seventhly, the driving support method considering the driver characteristics can determine the driving intention and the driving state of the driver based on the results of the previous steps (step S370).

도 4는 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 장치의 동작의 실시예를 설명하는 흐름도이다.FIG. 4 is a flowchart illustrating an operation of the driving support device in consideration of driver characteristics according to an embodiment of the present invention.

도 4에서, 본 발명의 실시예에 따른 운전자 특성을 고려한 운전 지원 방법은 다음의 단계들을 포함할 수 있다.4, a driving support method considering driver characteristics according to an embodiment of the present invention may include the following steps.

첫 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센싱 단계, 운전자의 음성을 수신하는 음성 센싱 단계 및 차량의 운행상태를 수신하는 차량 센싱 단계를 포함하는 운전환경 센싱 단계를 포함할 수 있다(단계S410).First, a driving support method considering driver characteristics includes a camera sensing step of imaging a driver to generate a driver image, a voice sensing step of receiving a driver's voice, and a vehicle sensing step of receiving a driving state of the vehicle Sensing step (step S410).

두 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자 특성이 결정되면 미리 설정된 복수의 운전자 모델 중에서 해당 운전자 특성과 대응되는 특정 운전자 모델을 선택하는 단계를 포함할 수 있다(단계S420).Secondly, the driving support method considering the driver characteristics may include a step of selecting a specific driver model corresponding to the driver characteristics among a plurality of predetermined driver models when the driver characteristics are determined (S420).

세 번째로, 운전자 특성을 고려한 운전 지원 방법은 차량의 운행상태가 주행 모드에 진입하는지 확인하는 단계를 포함할 수 있다(단계S430).Thirdly, the driving support method considering the driver characteristics may include checking whether the driving state of the vehicle enters the driving mode (step S430).

네 번째로, 운전자 특성을 고려한 운전 지원 방법은 이전 단계에서 차량의 운행상태가 주행 모드에 진입하면 차량의 운행상태 및 운전자의 음성을 특정 운전자 모델에 반영하여 운전자의 운전 의도에 대한 제1 계측을 수행하는 단계를 포함할 수 있다(단계S440).Fourth, the driving support method considering the driver characteristics reflects the driving state of the vehicle and the voice of the driver to the specific driver model when the driving state of the vehicle enters the driving mode in the previous step, (Step S440).

다섯 번째로, 운전자 특성을 고려한 운전 지원 방법은 차량의 운행상태는 주행 모드에 진입하였으나 운전자의 음성이 특정 기준에 부합되지 않으면 차량의 운행상태 및 운전자 제스처를 특정 운전자 모델에 반영하여 운전자의 운전 의도에 대한 제2 계측을 수행하는 단계를 포함할 수 있다(단계S450).Fifthly, the driving support method considering the driver characteristics is a method in which the driving state of the vehicle enters the driving mode, but if the voice of the driver does not meet the specified standard, the driving state of the vehicle and the driver's gesture are reflected in the specific driver model, (Step S450). ≪ / RTI >

여섯 번째로, 운전자 특성을 고려한 운전 지원 방법은 제1 혹은 제2 계측에 따른 운전자의 운전 의도가 정상 상태에 해당하는 특정 기준에 부합되면 운전자의 운전 상태를 정상 상태로 결정하고, 비정상 상태에 해당하는 특정 기준에 부합되면 운전자의 운전 상태를 비정상 상태로 판단하고 졸음, 주의분산 및 주행 과부하 중에서 하나로 결정하는 단계를 포함할 수 있다(단계S460).Sixth, the driving support method considering the driver characteristics determines the driver's operating state as a normal state when the driver's intention to drive according to the first or second measurement meets a specific criterion corresponding to the normal state, (Step S460), determining that the driving state of the driver is abnormal, and determining the driver's state as one of sleepiness, attention dispersion, and traveling overload (step S460).

일곱 번째로, 운전자 특성을 고려한 운전 지원 방법은 운전자의 운전 상태가 비정상 상태로 결정되면 경고 메시지 혹은 경고음을 출력하는 단계를 포함할 수 있다(단계S470).Seventh, the driving support method considering the driver characteristics may include a step of outputting a warning message or a warning sound if the driver's operating state is determined to be abnormal (step S470).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100: 운전자 특성을 고려한 운전 지원 장치
110: 운전환경 센싱부
112: 카메라 센서
114: 음성 센서
116: 차량 센서
120: 제어부
130: 운전자 모델 결정부
140: 운전자 상태 결정부100: Driving support device considering driver characteristics
110: Operating environment sensing unit
112: camera sensor
114: voice sensor
116: vehicle sensor
120:
130: Driver model determination unit
140: Driver status determination unit

Claims (13)

운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센서, 운전자의 음성을 수신하는 음성 센서 및 차량의 운행상태를 수신하는 차량 센서를 포함하는 운전환경 센싱부;
상기 운전자 이미지를 기초로 상기 운전자의 성별 특성과 연령 특성을 포함하는 운전자 특성을 결정하여 복수의 운전자 모델들 중 상기 결정된 운전자 특성과 대응되고 해당 운전자 특성에 따라 복수의 전처리 변수들 중 적어도 일부를 분석하기 위한 특정 결정기준과 조건부확률을 정의하는 특정 운전자 모델을 선택하는 운전자 모델 결정부; 및
상기 운전자 이미지를 통해 획득된 운전자 제스처, 상기 운전자의 음성 및 상기 차량의 운행상태를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도와 운전 상태를 결정하고, 상기 운전 의도의 결정 과정에서 상기 차량의 운행상태가 주행 모드에 해당하고 상기 운전자의 음성이 특정 기준에 부합되지 않으면 상기 운행상태와 운전자 제스처를 상기 특정 운전자 모델에 반영하여 상기 운전 의도에 대한 확률적 계측을 수행하는 운전자 상태 결정부를 포함하는 운전자 특성을 고려한 운전 지원 장치.
An operating environment sensing unit including a camera sensor for sensing a driver and generating a driver image, a voice sensor for receiving a driver's voice, and a vehicle sensor for receiving a driving state of the vehicle;
Determining driver characteristics including the gender characteristics and age characteristics of the driver based on the driver image and analyzing at least a part of a plurality of preprocessing parameters corresponding to the determined driver characteristics among the plurality of driver models and corresponding to the driver characteristics A driver model determining unit that selects a specific driver model that defines a specific determination criterion and a conditional probability for the determination; And
The driver's intention and driving state of the driver are determined by reflecting the driver's gesture obtained through the driver image, the voice of the driver, and the driving state of the vehicle to the specific driver model. In the determination of the driving intention, And a driver state determiner for performing a probabilistic measurement of the driving intention by reflecting the driving state and the driver's gesture to the specific driver model when the driving state corresponds to the driving mode and the voice of the driver does not meet the specific criterion Driving support device considering driver characteristics.
삭제delete 삭제delete 제1항에 있어서, 상기 운전자 모델 결정부는
특정 시간 구간 동안 수집된 상기 운전자 이미지를 가공하여 복수의 전처리 변수들을 생성하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
The apparatus of claim 1, wherein the driver model determining unit
Wherein the driver image processing unit processes the driver image collected during a specific time period to generate a plurality of preprocessing parameters.
제4항에 있어서, 상기 복수의 전처리 변수들 각각은
정규 분포, 로그-정규 분포 및 절단-정규 분포를 포함하는 복수의 분포들 중에서 특정 분포와 연관되는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
5. The method of claim 4, wherein each of the plurality of pre-
Wherein the distribution is related to a specific distribution among a plurality of distributions including a normal distribution, a log-normal distribution, and a truncation-normal distribution.
제5항에 있어서, 상기 특정 운전자 모델은
상기 복수의 전처리 변수들 각각을 분석하고 상기 운전자의 운전 의도와 운전 상태를 결정하기 위하여 미리 설정된 특정 결정기준 및 조건부확률을 가지는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
6. The method of claim 5, wherein the specific driver model
Wherein the controller has a predetermined determination criterion and conditional probability for analyzing each of the plurality of preprocessing parameters and determining the driving intention and the driving state of the driver.
제6항에 있어서, 상기 운전자 상태 결정부는
상기 특정 운전자 모델이 가지는 상기 특정 결정기준 및 조건부 확률을 기초로 상기 복수의 전처리 변수들을 분석하여 상기 운전자의 운전 의도와 운전 상태를 결정하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
7. The apparatus of claim 6, wherein the driver state determination unit
Wherein the driver's intention and the driving state of the driver are determined by analyzing the plurality of preprocessing parameters based on the specific determination criterion and the conditional probability of the specific driver model.
제1항에 있어서, 상기 운전자 상태 결정부는
상기 차량의 운행상태가 주행 모드에 진입하면 상기 차량의 운행상태 및 상기 운전자의 음성을 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도에 대한 제1 계측을 수행하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
The apparatus of claim 1, wherein the driver state determination unit
When the driving state of the vehicle enters the driving mode, the driving state of the vehicle and the voice of the driver are reflected on the specific driver model to perform the first measurement on the driving intention of the driver Driving support device.
삭제delete 제8항에 있어서, 상기 운전자 상태 결정부는
상기 제1 계측 또는 상기 확률적 계측에 따른 상기 운전자의 운전 의도가 정상 상태에 해당하는 특정 기준에 부합되면 상기 운전자의 운전 상태를 정상 상태로 결정하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
9. The apparatus of claim 8, wherein the driver state determination unit
Wherein the driving state determining unit determines the driving state of the driver as a normal state when the first measurement or the stochastic measurement meets a predetermined criterion corresponding to the normal state of the driver.
제8항에 있어서, 상기 운전자 상태 결정부는
상기 제1 계측 또는 상기 확률적 계측에 따른 상기 운전자에게 운전 의도가 비정상 상태에 해당하는 특정 기준에 부합되면 상기 운전자의 운전 상태를 비정상 상태로 판단하고 졸음, 주의분산 및 주행 과부하 중에서 하나로 결정하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
9. The apparatus of claim 8, wherein the driver state determination unit
If the driver's intention of the first measurement or the stochastic measurement meets a specific criterion corresponding to an abnormal state, the driver's operating state is determined to be in an abnormal state and one of the drowsiness, attention dispersion, and traveling overload is determined A driving support device that takes into consideration the characteristics of the driver.
제11항에 있어서, 상기 운전자 상태 결정부는
상기 운전자의 운전 상태가 비정상 상태로 결정되면 경고 메시지 혹은 경고음을 출력하는 것을 특징으로 하는 운전자 특성을 고려한 운전 지원 장치.
12. The apparatus of claim 11, wherein the driver state determination unit
And outputs a warning message or a warning sound if the driver's operating state is determined to be in an abnormal state.
운전자 특성을 고려한 운전 지원 장치에서 수행되는 운전자 특성을 고려한 운전 지원 방법에 있어서,
운전자를 촬상하여 운전자 이미지를 생성하는 카메라 센싱 단계, 운전자의 음성을 수신하는 음성 센싱 단계 및 차량의 운행상태를 수신하는 차량 센싱 단계를 포함하는 운전환경 센싱단계;
상기 운전자 이미지를 기초로 상기 운전자의 성별 특성과 연령 특성을 포함하는 운전자 특성을 결정하여 복수의 운전자 모델들 중 상기 결정된 운전자 특성과 대응되고 해당 운전자 특성에 따라 복수의 전처리 변수들 중 적어도 일부를 분석하기 위한 특정 결정기준과 조건부확률을 정의하는 특정 운전자 모델을 선택하는 운전자 모델 결정 단계; 및
상기 운전자 이미지를 통해 획득된 운전자 제스처, 상기 운전자의 음성 및 상기 차량의 운행상태를 상기 특정 운전자 모델에 반영하여 상기 운전자의 운전 의도와 운전 상태를 결정하고, 상기 운전 의도의 결정 과정에서 상기 차량의 운행상태가 주행 모드에 해당하고 상기 운전자의 음성이 특정 기준에 부합되지 않으면 상기 운행상태와 운전자 제스처를 상기 특정 운전자 모델에 반영하여 상기 운전 의도에 대한 확률적 계측을 수행하는 운전자 상태 결정 단계를 포함하는 운전자 특성을 고려한 운전 지원 방법.A driving support method considering a driver characteristic in a driving support device considering driver characteristics,
Sensing a driving environment including a camera sensing step of sensing a driver and generating a driver image, a voice sensing step of receiving a voice of a driver, and a vehicle sensing step of receiving a driving state of the vehicle;
Determining driver characteristics including the gender characteristics and age characteristics of the driver based on the driver image and analyzing at least a part of a plurality of preprocessing parameters corresponding to the determined driver characteristics among the plurality of driver models and corresponding to the driver characteristics A driver model determining step of selecting a specific driver model that defines a specific decision criterion and a conditional probability for performing the driver model determination; And
The driver's intention and driving state of the driver are determined by reflecting the driver's gesture obtained through the driver image, the voice of the driver, and the driving state of the vehicle to the specific driver model. In the determination of the driving intention, And a driver state determination step of performing a probabilistic measurement of the driving intention by reflecting the driving state and the driver's gesture to the specific driver model when the driving state corresponds to the driving mode and the voice of the driver does not meet the specified standard A driving support method considering driver characteristics.
KR1020160088636A 2016-07-13 2016-07-13 Apparatus and method of considering driver's characteristics KR101866768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160088636A KR101866768B1 (en) 2016-07-13 2016-07-13 Apparatus and method of considering driver's characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160088636A KR101866768B1 (en) 2016-07-13 2016-07-13 Apparatus and method of considering driver's characteristics

Publications (2)

Publication Number Publication Date
KR20180007511A KR20180007511A (en) 2018-01-23
KR101866768B1 true KR101866768B1 (en) 2018-06-18

Family

ID=61071029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160088636A KR101866768B1 (en) 2016-07-13 2016-07-13 Apparatus and method of considering driver's characteristics

Country Status (1)

Country Link
KR (1) KR101866768B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411864B1 (en) 2021-08-31 2022-06-22 (주)에이아이매틱스 System and method for managing driving information of shared vehicle to guarantee driver's anonymity

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311704B1 (en) * 2017-11-29 2021-10-13 한국전자통신연구원 Apparatus and method for providing interaction between a driver and a vehicle according to driver's feeling
KR102122976B1 (en) * 2019-11-06 2020-06-16 국방과학연구소 Pilot's workload state detection device and operating method for the same
CN111547063A (en) * 2020-05-12 2020-08-18 武汉艾瓦客机器人有限公司 Intelligent vehicle-mounted emotion interaction device for fatigue detection
CN113119981B (en) * 2021-04-09 2022-06-17 东风汽车集团股份有限公司 Vehicle active safety control method, system and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164439A (en) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd Information presentation device and method
KR20110065304A (en) * 2010-09-09 2011-06-15 전병훈 System and method of drowsy driving recognition based on the personalized template of a driver
JP2013246140A (en) * 2012-05-29 2013-12-09 Sony Corp Information processing apparatus, information processing method and program
KR101454115B1 (en) * 2013-05-31 2014-10-27 재단법인대구경북과학기술원 Apparatus for estimation of fuel efficiency using driving syles and method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292152B2 (en) 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
KR100732149B1 (en) 2005-12-07 2007-06-25 에스앤티대우(주) The syseem and method for automobile and driver condition sensing
KR101060268B1 (en) * 2009-12-30 2011-08-30 인제대학교 산학협력단 System and method for determining drowsiness using adjacent heart rate difference
KR20160036968A (en) * 2014-09-26 2016-04-05 국민대학교산학협력단 Integrated assessment apparatus and method of drivers' drowsiness, inattention and workload

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164439A (en) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd Information presentation device and method
KR20110065304A (en) * 2010-09-09 2011-06-15 전병훈 System and method of drowsy driving recognition based on the personalized template of a driver
JP2013246140A (en) * 2012-05-29 2013-12-09 Sony Corp Information processing apparatus, information processing method and program
KR101454115B1 (en) * 2013-05-31 2014-10-27 재단법인대구경북과학기술원 Apparatus for estimation of fuel efficiency using driving syles and method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ji Hyun Yang, Improvement of Driver-State Estimation Algorithm Using Multi-Modal Information, ICCAS, 2015.10.13. 1부. *
일본 공개특허공보 특개2013-246140호(2013.12.09.) 1부. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411864B1 (en) 2021-08-31 2022-06-22 (주)에이아이매틱스 System and method for managing driving information of shared vehicle to guarantee driver's anonymity
WO2023033325A1 (en) 2021-08-31 2023-03-09 (주)에이아이매틱스 Shared vehicle driving information management system and method guaranteeing driver's anonymity

Also Published As

Publication number Publication date
KR20180007511A (en) 2018-01-23

Similar Documents

Publication Publication Date Title
KR101866768B1 (en) Apparatus and method of considering driver's characteristics
US10322728B1 (en) Method for distress and road rage detection
CN108388837B (en) System and method for evaluating an interior of an autonomous vehicle
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
US10796139B2 (en) Gesture recognition method and system using siamese neural network
US9873428B2 (en) Collision avoidance using auditory data
US10726727B2 (en) In-vehicle device, information processing system, and information processing method
Sathyanarayana et al. Information fusion for robust ‘context and driver aware’active vehicle safety systems
CN107405121B (en) Method and device for detecting a fatigue state and/or a sleep state of a driver of a vehicle
US10836392B2 (en) Vehicle situation determination device and vehicle situation determination method
KR20060080317A (en) An emotion-based software robot for automobile
CN105372654A (en) Obstacle classification reliability quantification method
CN102874258A (en) Vehicle
US20200114925A1 (en) Interaction device, interaction method, and program
CN108369781B (en) Method for evaluating a hazard situation detected by at least one sensor of a vehicle
US11584365B2 (en) Method for selecting and accelerated execution of reactive actions
US20200365140A1 (en) Detection of anomalies in the interior of an autonomous vehicle
US20180114074A1 (en) Pedestrian determining apparatus
CN112991684A (en) Driving early warning method and device
WO2018103024A1 (en) Intelligent guidance method and apparatus for visually handicapped person
US9230443B2 (en) Method and system for predictive vehicle systems performance selection for enhanced maneuverability
CN112116630A (en) Target tracking method
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals
KR101740983B1 (en) Apparatus and method for determining validity of sensing data related with vehicle driver
KR101377805B1 (en) Method and apparatus for selecting classifier

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right