KR20190023555A - 운전자 상태 판단 장치 및 방법 - Google Patents

운전자 상태 판단 장치 및 방법 Download PDF

Info

Publication number
KR20190023555A
KR20190023555A KR1020170109477A KR20170109477A KR20190023555A KR 20190023555 A KR20190023555 A KR 20190023555A KR 1020170109477 A KR1020170109477 A KR 1020170109477A KR 20170109477 A KR20170109477 A KR 20170109477A KR 20190023555 A KR20190023555 A KR 20190023555A
Authority
KR
South Korea
Prior art keywords
driver
state
information
personalized
vehicle
Prior art date
Application number
KR1020170109477A
Other languages
English (en)
Inventor
양지현
임세준
한지혁
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020170109477A priority Critical patent/KR20190023555A/ko
Publication of KR20190023555A publication Critical patent/KR20190023555A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B60W2540/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자 상태 판단 장치는 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서, 운전자 생체정보를 측정하는 생체 측정센서 및 차량 상태정보를 측정하는 차량 측정센서를 포함하는 주행환경 센싱부, 상기 운전자 이미지를 기초로 운전자를 인식하는 운전자 인식부, 상기 운전자가 인식된 경우에는 개인화 운전자 모델을 선택하는 개인화 운전자 모델 선택부 및 상기 개인화 운전자 모델에 상기 운전자 주위분산정보, 상기 운전자 생체정보 또는 상기 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행하는 운전자 주행상태 추정부 및 상기 운전자 상태 추정에 관한 강화 학습을 통해 상기 상태 확률값과 상기 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신하는 개인화 운전자 모델 갱신부를 포함한다.

Description

운전자 상태 판단 장치 및 방법{APPARATUS AND METHOD OF DETERMINING DRIVER STATE}
본 발명은 운전자 상태 판단 기술에 관한 것으로, 보다 상세하게는 개인화 운전자 모델을 제공함으로써 운전자의 상태를 효과적으로 판단할 수 있는 운전자 상태 판단 장치 및 방법에 관한 것이다.
교통사고의 높은 비율을 차지하는 원인 중 하나는 인간 오류이다. 안전한 운전에 필요한 주의문제는 운전자의 판단 실수, 정보 처리 지연 등으로 이어지고 교통사고가 발생할 가능성이 커진다. 이에 따라 다양한 연구기관과 상용 자동차 업체에서는 운전자 상황에 따라 경고를 주는 시스템을 개발하고 있다.
한국등록특허 제10-1711027호는 차량용 운전자 맞춤형 서비스 제공 방법 및 장치에 관한 것으로, 차량에 구비된 센서들을 통하여 획득되는 정보, 기상 정보와 같은 환경정보 및 운전자의 의료정보를 통하여 운전자 맞춤형 서비스를 제공하는 기술을 개시한다.
한국등록특허 제10-1449326호는 운전 집중도 산출 장치 및 방법과 이를 이용한 차량 충돌 경고 시스템 및 그 방법에 관한 것으로, 자기차량의 가속도를 획득하는 네트워크 통신부, 선행차량과의 상대속도를 측정하는 상대정보 측정부, 네트워크 통신부가 획득한 자기차량의 가속도에서 노이즈를 제거하고, 상대정보 측정부가 측정한 선행차량과의 상대속도에서 노이즈를 제거하는 노이즈 제거부, 노이즈 제거부에 의해 노이즈가 제거된 자기차량의 가속도와 선행차량과의 상대속도를 기반으로 상관값을 산출하는 상관값 산출부 및 상관값 산출부에 의해 산출된 상관값들 중에서 최대 상관값이 산출된 시점을 운전 집중도로서 검출하는 운전 집중도 검출부를 포함하는 것을 특징으로 하는 기술을 개시한다.
한국등록특허 제10-1711027호 (2017.02.22) 한국등록특허 제10-1449326호 (2014.10.01)
본 발명의 일 실시예는 개인화 운전자 모델을 제공함으로써 운전자의 상태를 효과적으로 판단할 수 있는 운전자 상태 판단 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 운전자 비정상상태를 운전자 정상상태로 판단하는 것을 방지할 수 있는 운전자 상태 판단 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 운전자 상태 추정에 관한 학습을 통해 상태 확률 테이블과 상태 기준 테이블을 갱신함으로써 운전자에 적합한 개인화 운전자 모델을 제공할 수 있는 운전자 상태 판단 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 운전자 상태 판단 장치는 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서, 운전자 생체정보를 측정하는 생체 측정센서 및 차량 상태정보를 측정하는 차량 측정센서를 포함하는 주행환경 센싱부, 상기 운전자 이미지를 기초로 운전자를 인식하는 운전자 인식부, 상기 운전자가 인식된 경우에는 개인화 운전자 모델을 선택하는 개인화 운전자 모델 선택부 및 상기 개인화 운전자 모델에 상기 운전자 주위분산정보, 상기 운전자 생체정보 또는 상기 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행하는 운전자 주행상태 추정부를 포함한다.
일 실시예에서, 운전자 상태 판단 장치는 상기 운전자 상태 추정에 관한 강화 학습을 통해 상기 상태 확률값과 상기 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신하는 개인화 운전자 모델 갱신부를 더 포함할 수 있다.
일 실시예에서, 상기 주위분산 측정센서는 PERCLOS(Percentage Closure of Eyes)의 평균 크기, 얼굴방향 또는 눈 깜빡임 횟수 중 적어도 하나를 기초로 상기 운전자 주위분산정보를 측정할 수 있다.
일 실시예에서, 상기 생체 측정센서는 호흡수, 심박수, 피부전기반응 또는 피부온도 중 적어도 하나를 기초로 상기 운전자 생체정보를 측정할 수 있다.
일 실시예에서, 상기 개인화 운전자 모델 선택부는 복수의 개인화 운전자 모델들 중에서 상기 운전자 이미지에 대응되는 특정 개인화 운전자 모델을 선택할 수 있다.
일 실시예에서, 상기 운전자 주행상태 추정부는 상기 운전자 상태 추정을 수행하기 위하여 상기 상태 확률값을 기초로 정규 분포를 생성할 수 있다.
일 실시예에서, 상기 운전자 주행상태 추정부는 상기 생성된 정규 분포에서 상기 상태 기준값을 기초로 상기 운전자 정상상태와 상기 운전자 비정상상태를 구분할 수 있다.
일 실시예에서, 상기 운전자 주행상태 추정부는 상기 정규 분포의 운전자 정상상태에서 정상상태 확률 또는 비정상상태 확률을 산출하고, 상기 정규 분포의 운전자 비정상상태에서 정상상태 확률 또는 비정상상태 확률을 산출할 수 있다.
실시예들 중에서, 운전자 상태 판단 방법은 운전자 상태 판단 장치에서 수행된다. 상기 방법은 (a) 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서, 운전자 생체정보를 측정하는 생체 측정센서 및 차량 상태정보를 측정하는 차량 측정센서를 포함하는 주행환경 센싱 단계, (b) 상기 운전자 이미지를 기초로 운전자를 인식하는 운전자 인식 단계, (c) 상기 운전자가 인식된 경우에는 개인화 운전자 모델을 선택하는 개인화 운전자 모델 선택 단계, (d) 상기 개인화 운전자 모델에 상기 운전자 주위분산정보, 상기 운전자 생체정보 또는 상기 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행하는 운전자 주행상태 추정 단계 및 (e) 상기 운전자 상태 추정에 관한 강화 학습을 통해 상기 상태 확률값과 상기 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신하는 개인화 운전자 모델 갱신 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다 거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 운전자 상태 판단 장치 및 방법은 개인화 운전자 모델을 제공함으로써 운전자의 상태를 효과적으로 판단할 수 있다.
본 발명의 일 실시예에 따른 운전자 상태 판단 장치 및 방법은 운전자 비정상상태를 운전자 정상상태로 판단하는 것을 방지할 수 있다.
본 발명의 일 실시예에 따른 운전자 상태 판단 장치 및 방법은 운전자 상태 추정에 관한 학습을 통해 상태 확률 테이블과 상태 기준 테이블을 갱신함으로써 운전자에 적합한 개인화 운전자 모델을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 판단 장치를 설명하는 도면이다.
도 2는 도 1에 있는 운전자 상태 판단 장치에서 수행되는 운전자 상태 판단 방법을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 상태 확률값과 상태 기준값을 기초로 생성된 정규 분포의 예시를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다 거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 판단 장치를 설명하는 도면이다.
도 1을 참조하면, 운전자 상태 판단 장치(100)는 주행환경 센싱부(110), 운전자 인식부(120), 개인화 운전자 모델 선택부(130), 운전자 주행상태 추정부(140), 개인화 운전자 모델 갱신부(150) 및 제어부(160)를 포함하고, 이들 간에 전기적 신호를 송수신할 수 있도록 설계될 수 있다.
운전자 상태 판단 장치(100)는 운전자의 주행상태를 실시간으로 학습하고, 개인화 운전자 모델을 동적으로 갱신하여 운전자 상태에 반영함으로써 개인화된 운전자 모델을 제공할 수 있는 컴퓨팅 장치에 해당할 수 있다. 일 실시예에서, 운전자 상태 판단 장치(100)는 차량과 전기적으로 연결되거나 네트워크를 통해 연결될 수 있고, 차량의 내부에 포함되는 차량의 제어 유닛으로 구현될 수도 있다.
주행환경 센싱부(110)는 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서(112), 운전자 생체정보를 측정하는 생체 측정센서(114), 차량 상태정보를 측정하는 차량 측정센서(116)를 포함할 수 있고, 그 밖의 다양한 센서들을 더 포함할 수 있다.
주위분산 측정센서(112)는 렌즈를 통해 피사체의 형상이 들어와 이미지 센서에 닿게 되면 빛이 전기신호로 바뀌어 메모리에 저장되는 구조를 가지는 이미지 센서에 해당할 수 있다. 생체 측정센서(114)는 차량의 핸들에 부착될 수 있는 GSR(Galvanic Skin Response) 센서, PPG(Photo-Plethysmography) 센서, ECG(Electrocardiography) 센서 등을 포함하거나 운전자가 착용가능한 웨어러블 장치로 구현될 수 있다.
또한, 차량 측정센서(116)는 차량의 내부 정보와 외부 정보를 감지할 수 있는 센서로서 차량 내 액츄에이터들의 구동을 감지할 수 있는 센서에 해당할 수 있고, 차량의 전자제어유닛(ECU, Electronic Control Unit)으로부터 차량 주행과 관련된 정보를 수신할 수 있는 모듈에 해당할 수도 있다.
주행환경 센싱부(110)는 주위분산 측정센서(112)로부터 운전자 영상 또는 운전자 이미지를 수신하여 운전자에 관한 운전자 주위분산정보를 측정할 수 있다. 주행환경 센싱부(110)는 운전자 영상 또는 운전자 이미지를 기초로 운전자의 눈 깜빡임 횟수, 얼굴방향 또는 PERCLOS(Percentage Closure of Eyes)의 평균 크기 중 적어도 하나의 지표를 기초로 운전자 주위분산정보를 측정할 수 있고, 운전자에 관한 운전자 주위분산정보를 측정하기 위해 사용되는 지표(Index)는 그 밖의 다양한 지표들을 더 포함할 수 있다.
주행환경 센싱부(110)는 생체 측정센서(114)로부터 생체신호를 수신하여 운전자 생체정보를 측정할 수 있다. 주행환경 센싱부(110)는 호흡수, 심박수, 피부전기반응 또는 피부온도 중 적어도 하나의 지표를 기초로 운전자 생체정보를 측정할 수 있고, 운전자 생체정보를 측정하기 위해 사용되는 지표(Index)는 그 밖의 다양한 지표들을 더 포함할 수 있다.
주행환경 센싱부(110)는 차량 측정센서(116)로부터 차량내외부 정보들을 수신하여 차량 상태정보를 측정할 수 있다. 주행환경 센싱부(110)는 주행속도, 가속도, 조향각, 가속페달 중 적어도 하나의 지표를 기초로 차량 상태정보를 측정할 수 있고, 차량 상태정보를 측정하기 위해 사용되는 지표(Index)는 그 밖의 다양한 지표들을 더 포함할 수 있다.
운전자 인식부(120)는 운전자 이미지를 기초로 운전자를 인식할 수 있다. 여기에서, 운전자 이미지는 주위분산 측정센서(112)를 통해 생성될 수 있고 특정 운전자와 대응되는 운전자 얼굴 이미지를 포함할 수 있다.
운전자 인식부(120)는 운전자 이미지를 기초로 운전자에 관한 운전자 등록을 수행할 수 있다. 보다 구체적으로, 운전자 인식부(120)는 운전자 등록을 수행하기 위해 운전자 이미지를 운전자 식별자(ID)로서 획득할 수 있고, 운전자 인식부(120)는 운전자에 대한 운전자 이미지가 처음으로 생성되면 해당 운전자 이미지를 기초로 해당 운전자의 운전자 등록을 수행할 수 있다. 일 실시예에서, 운전자 인식부(120)는 운전자에 관한 운전자 등록이 완료된 경우 해당 운전자가 추후 차량을 탑승할 때 운전자 등록 과정을 수행하지 않는다.
운전자 인식부(110)는 운전자 등록정보를 차량 내부에 포함되는 메모리에 저장할 수 있다. 여기에서, 운전자 등록정보는 운전자 이미지를 기초로 운전자 등록을 수행한 후에 생성되는 적어도 하나의 운전자 등록정보를 포함할 수 있고, 예를 들어, 운전자 등록정보는 차량 모델명, 운전자에 의하여 등록된 행정적인 차량번호, 운전자 이미지 등을 포함할 수 있다.
개인화 운전자 모델 선택부(130)는 운전자 인식부(110)를 통해 운전자가 인식된 경우에는 특정 개인화 운전자 모델을 선택할 수 있다. 보다 구체적으로, 개인화 운전자 모델 선택부(130)는 복수의 개인화 운전자 모델들 중에서 운전자 이미지에 대응되는 특정 개인화 운전자 모델을 선택할 수 있다. 일 실시예에서, 개인화 운전자 모델 선택부(130)는 {개인화 운전자 모델1, 개인화 운전자 모델2, 개인화 운전자 모델3 ... 개인화 운전자 모델n} 중에서 특정 운전자의 운전자 이미지에 대응되는 특정 개인화 운전자 모델을 선택할 수 있다.
운전자1 운전자 이미지1 개인화 운전자 모델1
운전자2 운전자 이미지2 개인화 운전자 모델2
운전자3 운전자 이미지3 개인화 운전자 모델3
운전자n 운전자 이미지n 개인화 운전자 모델n
예를 들어, 개인화 운전자 모델 선택부(130)는 주행환경 센싱부(110)를 통해 수신된 운전자 이미지가 운전자 이미지3에 해당하면 해당 운전자 이미지에 대응되는 개인화 운전자 모델3을 선택할 수 있다.
운전자 주행상태 추정부(140)는 운전자 상태 추정을 수행할 수 있다. 보다 구체적으로, 운전자 주행상태 추정부(140)는 개인화 운전자 모델에 운전자 주위분산정보, 운전자 생체정보 또는 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행할 수 있다. 예를 들어, 운전자 주위분산정보, 운전자 생체정보 또는 차량 상태정보에 관한 지표는 아래의 변수들을 포함할 수 있고, 반드시 이에 한정하지 않는다.
<차량 상태정보에 관한 지표 예시>
VD: 종방향 속도 변화량
AxD: 종방향 가속도 변화량
GM: 가속페달 평균 크기
GC: 가속페달 평균 횟수
GD: 가속페달 변화량
StD: 조향각 변화량
StRR: 조향각 reversal rate
AyD: 횡방향 가속도 변화량
<운전자 주위분산정보에 관한 지표 예시>
HCP: 얼굴 방향이 정면인 비율
BlC: 눈 깜빡임 평균 횟수
PM: perclos 평균 크기
C3P: 대화 정도가 3이상인 비율
<운전자 생체정보에 관한 지표 예시>
HrHP: 심박수가 높음인 비율
HrvIP: 심박수 변화량이 증가인 비율
RrHP: 호흡수가 높음인 비율
RrvIP: 호흡수 변화량이 증가인 비율
GSRHP: 피부전기반응이 높음인 비율
GSRvIP: 피부전기반응 변화량이 증가인 비율
BtHP: 피부 온도가 높음인 비율
BtvIP: 피부 온도 변화량이 증가인 비율
운전자 주행상태 추정부(140)는 개인화 운전자 모델에 운전자 주위분산정보, 운전자 생체정보 또는 차량 상태정보에 관한 지표를 기초로 상태 확률값과 상태 기준값을 획득할 수 있다. 상태 확률값과 상태 기준값은 복수의 운전자별로 상이하게 설정될 수 있고, 차량의 주행 과정에서 주위분산정보, 운전자 생체정보 또는 차량 상태정보를 학습하여 각각의 값들이 변경될 수 있다.
예를 들어, 운전자 주행 상태 추정부(140)는 상태 확률값을 포함하는 상태 확률 테이블과 상태 기준값을 포함하는 상태 기준 테이블을 획득할 수 있다. 일 실시예에서, 상태 확률 테이블 및 상태 기준 테이블 각각은 신호탐지이론을 기반으로 설계될 수 있다.
<표2> 상태 확률 테이블
Figure pat00001
<표3> 상태 기준 테이블
Figure pat00002
운전자 주행상태 추정부(140)는 운전자의 운전자 상태 추정을 수행하기 위하여 상태 확률값을 기초로 정규 분포를 생성할 수 있다. 운전자 주행상태 추정부(140)는 생성된 정규 분포에서 상태 기준 값을 기초로 운전자 정상상태와 운전자 비정상상태를 구분할 수 있다. 운전자 비정상상태는 운전자 졸음(Driver Drowsiness), 운전자 주의분산(Driver Distraction) 또는 운전자 주행 과부하 등을 포함할 수 있고, 이에 한정하지는 않는다. 여기에서, 운전자 졸음은 운전자의 의도적이지 않은 운전자의 생리적 현상으로 인해 운전자가 1차 주행에 필요한 주의를 빼앗긴 상태를 말하고, 운전자 주의분산은 운전자의 의도로 운전자가 '시각적', '수동적', '인지적' 2차 과제를 수행함으로써 1차 주행에 필요한 주의가 분산된 상태를 말하며 운전자 주행 과부하는 운전자의 의도적이지 않은 '차량 외부환경', '차량 내부와의 상호작용'에 의해 운전자가 의도적으로 1차 주행에 필요한 주의를 빼앗긴 상태를 말한다.
이하, 본 발명의 일 실시예에 따른 상태 확률값과 상태 기준값을 기초로 생성된 정규 분포는 도 3의 도면 예시를 참조하여 설명한다.
도 3을 참조하면, 운전자 주행상태 추정부(140)는 상태 확률값을 기초로 정규 분포(300)를 생성할 수 있고, 정규 분포(300)는 상태 기준값(330)을 기초로 운전자 정상상태(310) 및 운전자 비정상상태(320)로 구분될 수 있다.
보다 구체적으로, 운전자 주행상태 추정부(140)는 운전자 상태 추정 알고리즘(Driver State Estimation Algorithm)을 통해 운전자 상태를 판단할 수 있다. 도 3에서 나타내는 각각 변수들의 의미는 아래와 같다.
Noise: 운전자 정상상태 데이터 분포
Signal + Noise: 운전자 비정상상태 데이터 분포
Criterion: 상태 기준값
"no" region: 상태 기준값을 기준으로 운전자 정상상태로 판단하는 영역
"yes" region: 상태 기준값을 기준으로 운전자 비정상상태로 판단하는 영역
붉은색 영역(322): 운전자 상태 추정 알고리즘이 운전자 비정상상태로 판단했을 경우 비정상상태일 확률
푸른색 영역(324): 운전자 상태 추정 알고리즘이 운전자 비정상상태로 판단했을 경우 정상상태일 확률
일 실시예에서, 운전자 주행상태 추정부(140)는 정규 분포(300)의 운전자 정상상태 영역(310)에서 운전자 상태가 정상상태일 확률(312)과 비정상상태일 확률(314)을 산출할 수 있다. 예를 들어, 운전자 주행상태 추정부(140)는 산출된 4개의 상태 확률들을 상태 확률 테이블에 반영할 수 있다. 따라서, 운전자 주행상태 추정부(140)는 운전자 정상상태 영역(310)과 운전자 비정상상태 영역(320)으로 구분된 정규 분포에서 해당 확률을 선택하여 운전자에 관한 운전자 상태 추정을 수행할 수 있다.
다시 도 1에 관하여 설명한다.
운전자 주행상태 추정부(140)는 정규 분포에서 4개의 확률들을 산출할 수 있다. 보다 구체적으로, 운전자 주행상태 추정부(140)는 정규 분포의 운전자 정상상태에서 정상상태일 확률, 정규 분포의 운전자 정상상태에서 비정상상태일 확률, 정규 분포의 운전자 비정상상태에서 정상상태일 확률 또는 정규 분포의 운전자 비정상상태에서 비정상상태일 확률을 산출할 수 있다.
개인화 운전자 모델 갱신부(150)는 운전자 상태 추정에 관한 강화 학습을 통해 상태 확률값과 상태 기준값을 각각 포함하는 상태 확률 테이블(Probability Table)과 상태 기준 테이블(Threshold Table)을 갱신할 수 있다. 여기에서, 강화 학습(Reinforcement learning)은 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여 선택 가능한 행동들 중 보상을 최대화하는 행동 또는 행동 순서를 선택하는 학습을 의미한다.
일 실시예에서, 개인화 운전자 모델 갱신부(150)는 차량의 주행 과정에서 운전자 상태 추정에 관한 강화 학습을 수행할 수 있다. 예를 들어, 개인화 운전자 모델 갱신부(150)는 강화 학습을 통해 운전자 상태가 '운전자 졸음'에 해당하는 운전자 비정상상태인 것으로 인식할 수 있고, 인식된 운전자 상태 결과를 개인화 운전자 모델에 반영하여 이전 개인화 운전자 모델을 갱신할 수 있다.
운전자 상태 결정부(미도시)는 운전자 주행상태 추정부(140)에 의하여 수행된 운전자 상태 추정 결과를 기초로 운전자에 관한 상태를 판단할 수 있다. 일 실시예에서, 운전자 상태 결정부는 복수의 센서들을 통해 측정된 정보들을 정규 분포 상에서 상태 확률값과 상태 기준값을 기초로 분석할 수 있고, 이에 따라 정규 분포 상에서 어느 영역에 해당하는지 확인함으로써 운전자에 관한 현재 상태를 결정할 수 있다.
제어부(160)는 운전자 상태 판단 장치(100)의 전반적인 동작을 제어할 수 있고, 주행환경 센싱부(110), 운전자 인식부(120), 개인화 운전자 모델 선택부(130), 운전자 주행상태 추정부(140) 및 개인화 운전자 모델 갱신부(150) 간의 제어흐름 또는 데이터 흐름을 제어할 수 있다.
도 2는 도 1에 있는 운전자 상태 판단 장치에서 수행되는 운전자 상태 판단 방법을 설명하는 도면이다.
여기에서, 도 2는 설명 편의를 위해 운전자의 운전자 등록이 완료되고, 해당 운전자별로 개인화 운전자 모델이 제공된 것으로 가정하여 설명한다.
운전자 인식부(120)는 운전자가 차량에 탑승하게 되면 운전자를 촬영하는 주위분산 측정센서(112)로부터 수신된 운전자 이미지를 기초로 운전자를 인식할 수 있다(단계 S210). 일 실시예에서, 운전자 인식부(120)는 운전자의 인식이 성공된 경우에는 개인화 운전자 모델 선택부(130)를 통해 해당 운전자 이미지에 대응되는 개인화 운전자 모델을 선택할 수 있도록 할 수 있다.
개인화 운전자 모델 선택부(130)는 운전자가 인식된 경우 개인화 운전자 모델을 선택할 수 있다(단계 S220). 보다 구체적으로, 개인화 운전자 모델 선택부(130)는 복수의 개인화 운전자 모델들 중에서 운전자 이미지에 대응되는 특정 개인화 운전자 모델을 선택할 수 있다.
주행환경 센싱부(110)는 차량의 주행 과정에서 주위분산 측정센서(112)로부터 운전자 이미지를 수신하여 운전자 주위분산정보를 측정할 수 있고, 생체 측정센서(114)를 통해 운전자 생체정보를 측정할 수 있으며 차량 측정센서(116)를 통해 차량 상태정보를 측정할 수 있다(단계 S230). 일 실시예에서, 주행환경 센싱부(110)는 차량의 주행 과정에서 복수의 센서들에 의해 측정된 정보들을 운전자 상태 추정 알고리즘에 반영할 수 있다.
운전자 주행상태 추정부(140)는 선택된 개인화 운전자 모델에 운전자 주위분산정보, 운전자 생체정보 또는 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행할 수 있다(단계 S240). 개인화 운전자 모델 갱신부(150)는 운전자 상태 추정에 관한 강화 학습을 통해 상태 확률값과 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신할 수 있다(단계 S250).
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 운전자 상태 판단 장치
110: 주행환경 센싱부 112: 주위분산 측정센서
114: 생체 측정센서 116: 차량 측정센서
120: 운전자 인식부 130: 개인화 운전자 모델 선택부
140: 운전자 주행상태 추정부 150: 개인화 운전자 모델 갱신부
160: 제어부

Claims (9)

  1. 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서, 운전자 생체정보를 측정하는 생체 측정센서 및 차량 상태정보를 측정하는 차량 측정센서를 포함하는 주행환경 센싱부;
    상기 운전자 이미지를 기초로 운전자를 인식하는 운전자 인식부;
    상기 운전자가 인식된 경우에는 개인화 운전자 모델을 선택하는 개인화 운전자 모델 선택부; 및
    상기 개인화 운전자 모델에 상기 운전자 주위분산정보, 상기 운전자 생체정보 또는 상기 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행하는 운전자 주행상태 추정부를 포함하는 운전자 상태 판단 장치.
  2. 제1항에 있어서,
    상기 운전자 상태 추정에 관한 강화 학습을 통해 상기 상태 확률값과 상기 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신하는 개인화 운전자 모델 갱신부를 더 포함하는 운전자 상태 판단 장치.
  3. 제1항에 있어서, 상기 주위분산 측정센서는
    PERCLOS(Percentage Closure of Eyes)의 평균 크기, 얼굴방향 또는 눈 깜빡임 횟수 중 적어도 하나를 기초로 상기 운전자 주위분산정보를 측정하는 것을 특징으로 하는 운전자 상태 판단 장치.
  4. 제1항에 있어서, 상기 생체 측정센서는
    호흡수, 심박수, 피부전기반응 또는 피부온도 중 적어도 하나를 기초로 상기 운전자 생체정보를 측정하는 것을 특징으로 하는 운전자 상태 판단 장치.
  5. 제1항에 있어서, 상기 개인화 운전자 모델 선택부는
    복수의 개인화 운전자 모델들 중에서 상기 운전자 이미지에 대응되는 특정 개인화 운전자 모델을 선택하는 것을 특징으로 하는 운전자 상태 판단 장치.
  6. 제1항에 있어서, 상기 운전자 주행상태 추정부는
    상기 운전자 상태 추정을 수행하기 위하여 상기 상태 확률값을 기초로 정규 분포를 생성하는 것을 특징으로 하는 운전자 상태 판단 장치.
  7. 제6항에 있어서, 상기 운전자 주행상태 추정부는
    상기 생성된 정규 분포에서 상기 상태 기준값을 기초로 상기 운전자 정상상태와 상기 운전자 비정상상태를 구분하는 것을 특징으로 하는 운전자 상태 판단 장치.
  8. 제7항에 있어서, 상기 운전자 주행상태 추정부는
    상기 정규 분포의 운전자 정상상태에서 정상상태 확률 또는 비정상상태 확률을 산출하고, 상기 정규 분포의 운전자 비정상상태에서 정상상태 확률 또는 비정상상태 확률을 산출하는 것을 특징으로 하는 운전자 상태 판단 장치.
  9. 운전자 상태 판단 장치에서 수행되는 운전자 상태 판단 방법에 있어서,
    (a) 차량의 주행 과정에서 운전자 이미지를 수신하여 운전자 주위분산정보를 측정하는 주위분산 측정센서, 운전자 생체정보를 측정하는 생체 측정센서 및 차량 상태정보를 측정하는 차량 측정센서를 포함하는 주행환경 센싱 단계;
    (b) 상기 운전자 이미지를 기초로 운전자를 인식하는 운전자 인식 단계;
    (c) 상기 운전자가 인식된 경우에는 개인화 운전자 모델을 선택하는 개인화 운전자 모델 선택 단계;
    (d) 상기 개인화 운전자 모델에 상기 운전자 주위분산정보, 상기 운전자 생체정보 또는 상기 차량 상태정보에 관한 지표를 기초로 획득된 상태 확률값과 상태 기준값을 반영하여 운전자 상태 추정을 수행하는 운전자 주행상태 추정 단계; 및
    (e) 상기 운전자 상태 추정에 관한 강화 학습을 통해 상기 상태 확률값과 상기 상태 기준값을 각각 포함하는 상태 확률 테이블과 상태 기준 테이블을 갱신하는 개인화 운전자 모델 갱신 단계를 포함하는 운전자 상태 판단 방법.
KR1020170109477A 2017-08-29 2017-08-29 운전자 상태 판단 장치 및 방법 KR20190023555A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170109477A KR20190023555A (ko) 2017-08-29 2017-08-29 운전자 상태 판단 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170109477A KR20190023555A (ko) 2017-08-29 2017-08-29 운전자 상태 판단 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190023555A true KR20190023555A (ko) 2019-03-08

Family

ID=65800412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170109477A KR20190023555A (ko) 2017-08-29 2017-08-29 운전자 상태 판단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190023555A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11218837B2 (en) 2019-08-05 2022-01-04 Samsung Electronics Co., Ltd. Method for determining position in vehicle using vehicle movement and apparatus therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449326B1 (ko) 2013-09-03 2014-10-08 현대자동차주식회사 운전 집중도 산출 장치 및 그 방법과 이를 이용한 차량 충돌 경고 시스템 및 그 방법
KR101711027B1 (ko) 2012-04-25 2017-03-13 한국전자통신연구원 차량용 운전자 맞춤형 서비스 제공 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711027B1 (ko) 2012-04-25 2017-03-13 한국전자통신연구원 차량용 운전자 맞춤형 서비스 제공 방법 및 장치
KR101449326B1 (ko) 2013-09-03 2014-10-08 현대자동차주식회사 운전 집중도 산출 장치 및 그 방법과 이를 이용한 차량 충돌 경고 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11218837B2 (en) 2019-08-05 2022-01-04 Samsung Electronics Co., Ltd. Method for determining position in vehicle using vehicle movement and apparatus therefor

Similar Documents

Publication Publication Date Title
JP7519179B2 (ja) 問題のある健康状態を検出するシステム及び方法
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
CN106965674B (zh) 当乘员经历潜在病症时用于操作车辆的方法和***
EP3033999B1 (en) Apparatus and method for determining the state of a driver
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
CN111166357A (zh) 多传感器融合的疲劳监测装置***及其监测方法
CN106218405A (zh) 疲劳驾驶监控方法及云端服务器
JP5423872B2 (ja) 生体状態判定装置
CN113491519A (zh) 基于情感-认知负荷的数字助理
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
CN110641468A (zh) 基于乘客行为控制自主车辆
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
JP2009301367A (ja) 運転者状態推定装置
US20210188322A1 (en) Vehicle device and drive assist program product
KR20190023555A (ko) 운전자 상태 판단 장치 및 방법
US11260874B2 (en) Driver assistance device that can be mounted on a vehicle
CN117842022A (zh) 人因智能座舱的驾驶安全控制方法、装置、车辆及介质
JP4915123B2 (ja) 運転適応状態推定装置、自動車及び運転適応状態推定方法
JP2018194961A (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP2020194206A (ja) 学習方法、運転支援方法、学習プログラム、運転支援プログラム、学習装置、運転支援システム及び学習システム
JP6772775B2 (ja) 運転支援装置および運転支援方法
CN113307192B (zh) 处理装置、处理方法、通报***及存储介质
CN114084145A (zh) 车辆及其控制方法
CN113239798A (zh) 基于孪生神经网络的三维头部姿态估计方法、存储介质和终端
CN115320626B (zh) 基于人车状态的危险感知能力预测方法、装置及电子设备