KR20040101941A - 졸음 정도 검출 장치 - Google Patents

졸음 정도 검출 장치 Download PDF

Info

Publication number
KR20040101941A
KR20040101941A KR1020040037572A KR20040037572A KR20040101941A KR 20040101941 A KR20040101941 A KR 20040101941A KR 1020040037572 A KR1020040037572 A KR 1020040037572A KR 20040037572 A KR20040037572 A KR 20040037572A KR 20040101941 A KR20040101941 A KR 20040101941A
Authority
KR
South Korea
Prior art keywords
drowsiness
frequency
peak frequency
signal
band
Prior art date
Application number
KR1020040037572A
Other languages
English (en)
Other versions
KR100563641B1 (ko
Inventor
가와치다이지
나카가와즈요시
이토아키코
요시노리다케시
Original Assignee
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴소 filed Critical 가부시키가이샤 덴소
Publication of KR20040101941A publication Critical patent/KR20040101941A/ko
Application granted granted Critical
Publication of KR100563641B1 publication Critical patent/KR100563641B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/417—Evaluating particular organs or parts of the immune or lymphatic systems the bone marrow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

졸음 정도 검출 장치는, 운전의 개시 이후 T1 이상 T2 이하의 시간이 경과했을 때 심박 신호를 검출한다. 이 심박 신호를 FFT 처리하여 스펙트럼 신호를 획득한다. 스펙트럼 신호의 피크 주파수를 이용함으로써, 운전자의 각성 상태 피크 주파수를 추정한다. 각성 상태 피크 주파수를 중심으로 각성 정도 지표 대역(α)이 설정된다. 각성 상태 피크 주파수를 소정 비율(65~90%)로 곱셈함으로써 산출되는 주파수를 중심으로 졸음 정도 지표 대역(β)이 설정된다. 스펙트럼 신호의 세기(αp 및 βp)를 이용하여, 운전자의 졸음 정도를 나타내는 졸음 정도 평가 파라미터(Sp = βp / (αp + βp))를 산출한다.

Description

졸음 정도 검출 장치{SLEEPINESS LEVEL DETECTION DEVICE}
본 발명은 차량 등과 같은 기기를 조작하는 피실험자의 졸음 정도(sleepiness level)를 검출하기 위한 졸음 정도 검출 장치에 관한 것이다.
통상적으로, 일본특허공개공보 소60-15240호(1985)에 개시된 바와 같이, 장치가 예를 들면, 차량의 스티어링 휠(steering wheel)에 제공된 전극들 간의 전위차에 근거하여 차량 운전자의 심박수를 산출하여, 그 심박수에 근거해 운전자의 긴장 또는 졸음 상태를 판단한다. 보다 특정하게 하기 위해서, 장치는 심전위(heart potential)의 펄스 파고치가 높은 R-파 등을 검출하고, R-파의 발생 시간 간격을 심박수 변환 회로에서 운전자의 심박수로 변환한다. 그 심박수는, 수면시에는 감소하고, 깨어있는 상태 동안 경험하게 되는 긴장시에는 증가한다. 따라서, 심박수 변환 회로에 의해 변환된 심박수는 소정의 심박수 범위와 비교되어, 그 심박수가 소정의 심박수보다 비정상적으로 높거나 낮은지를 판단한다. 심박수가 소정의 심박수 범위내에 있지 않을 때, 장치는 경고등, 경적 등으로 경고를 발생하고, 또한 안전 벨트를 조여서 운전자에게 신체적 경고를 준다.
상기에 설명된 바와 같이, 종래의 장치는, 심박수가 소정의 심박수 범위내에 있는지 여부에 근거하여 간단하게, 운전자가 통상의 신체 상태에 있는지 혹은 긴장 또는 졸음 상태에 있는지를 판단한다. 그러나, 차량 운전자의 졸음 상태에 관하여, 운전자는 각성(conscious) 상태에서 갑자기 잠이 들지는 않지만, 졸음 정도가 점차적으로 상승한 후에 결국 졸음 상태에 도달하게 된다. 차량 또는 다른 기기를 운전하는 경우, 운전자는 그의 각성 상태에 비하여, 졸음 정도가 높은 상태에서 주의력 등이 떨어진다. 따라서, 졸음 정도가 높은 상태를 정확하게 검출하는 것이 바람직하다. 이것은 차량 운전자 또는 기기 조작자의 졸음 정도가 정확하게 검출된다면, 그 졸음 정도에 따른 경고의 발행, 기기의 동작 제한 등과 같은 적절한 조치를 취할 수 있기 때문이다.
전술한 문제를 고려하여, 본 발명의 목적은 피실험자의 졸음 정도를 정확하게 검출할 수 있는 졸음 정도 검출 장치를 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 양태에 따른 졸음 정도 검출 장치는 심박 신호 검출 수단, 산출 수단 및 평가 수단을 갖는다. 심박 신호 검출 수단은 피실험자의 심박 신호를 검출한다. 산출 수단은 그 심박 신호에 대해 주파수 분석을 수행하여, 그 심박 신호에 포함된 주파수 성분의 분포를 나타내는 스펙트럼 신호를 산출한다. 평가 수단은 그 스펙트럼 신호에서, 피실험자의 각성 상태에서의 각성 상태 피크 주파수(conscious-state peak frequency)를 기준으로 하여, 각성 상태 피크 주파수보다 낮은 주파수를 갖는 대역을, 졸음 정도를 나타내는 졸음 정도 지표 대역으로 설정한다. 평가 수단은 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기에 근거하여 피실험자의 졸음 정도를 평가한다.
피실험자의 졸음 정도가 높아질수록 심박수가 감소하기 때문에, 피실험자의심박 신호에 포함된 주파수 성분은 그 피실험자의 졸음 정도가 높아질수록 감소한다. 따라서, 졸음 정도는 심박 신호에 포함된 주파수 성분에 의해 정량적으로 검출될 수 있다. 즉, 심박 신호에 포함된 주파수 성분의 분포를 나타내는 스펙트럼 신호에서, 피실험자의 각성 상태에서의 각성 상태 피크 주파수를 기준으로 하여, 각성 상태 피크 주파수보다 낮은 주파수를 갖는 대역은 졸음 정도 지표 대역으로 설정된다. 피실험자의 각성 정도가 높을 경우, 심박수는 거의 감소하지 않는다. 이 경우, 심박 신호에 포함된 저주파수 성분은 경미하며, 이에 따라 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기는 낮아진다. 피실험자의 졸음 정도가 증가할수록, 반면에, 심박수의 감소는 두드러지게 되고, 심박 신호에 포함된 저주파수 성분은 증가한다. 따라서, 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기는 증가한다. 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기는 졸음 정도와 상관관계를 나타내기 때문에, 스펙트럼 신호의 세기에 의해 피실험자의 졸음 정도를 정확하게 평가할 수 있다.
본 발명의 다른 양태에 따르면, 산출 수단은 심박 신호를, 그 심박 신호의 최대 피크 위치에서만 피크를 갖는 신호로 변환하여, 그 변환 신호에 대해 주파수 분석을 수행하는 것이 바람직하다. 심박 신호의 단일 파형은 P-파, Q-파, R-파, S-파 및 T-파를 포함하며, 각각의 파는 피크를 나타낸다. 따라서, 심박 신호를 직접 주파수 분석 처리하는 경우, 상술된 각각의 파의 주파수 성분을 포함하는 스펙트럼 신호가 산출된다. 그러나, 본 발명에서는, 단위 시간당 심박 신호의 심박수 즉, 심박수에 기인하는 주파수 성분이 분석됨으로써, 상술된 각각의 파의 주파수 성분이에러의 원인이 되게 된다. 이러한 이유로, 심박 신호는 심박 신호의 최대 피크(일반적으로, R-파)만을 갖는 신호로 변환되고, 그 다음, 그 변환 신호에 대해 주파수 분석이 수행된다. 이것에 의하여, 심박수에 기인하는 주파수 성분을 정확하게 표시하는 스펙트럼 신호를 획득할 수 있다.
본 발명의 다른 양태에 따르면, 평가 수단은 피실험자가 소정의 기기를 조작할 때 그 피실험자의 졸음 정도를 평가한다. 피실험자가 소정의 기기의 조작을 개시한 이후 소정 시간이 경과한 때의 스펙트럼 신호의 피크 주파수를, 각성 상태 피크 주파수로서 설정하는 것이 바람직하다. 각성 상태에서의 심박수(즉, 심박 주파수)는 개인차가 있기 때문에, 고정 주파수를 각성 상태 피크 주파수로서 설정하는 것이 바람직하다. 따라서, 각각의 피실험자에 대하여 각성 상태 피크 주파수를 설정할 필요가 있다. 본 발명자에 의한 실험으로부터, 피실험자가 차량 등의 조작을 개시한 직후에 심박 신호를 주파수 분석한 결과로서의 스펙트럼 신호는 각성 상태 피크 주파수와 다른 피크 주파수를 갖는다는 것이 명백하다. 이것은 피실험자가 일시적으로 긴장 상태 등과 같은 통상의 상태와 다른 상태에 있기 때문이다. 따라서, 소정 시간이 경과하여 피실험자가 기기의 조작에 익숙해진 때의 스펙트럼 신호의 피크 주파수를 각성 상태 피크 주파수로서 설정한다. 따라서, 설정된 각성 상태 피크 주파수의 정확도(precision)를 증가시킬 수 있다.
각성 상태 피크 주파수의 정확도를 더 증가시키기 위하여, 본 발명의 다른 양태에 따르면, 복수의 스펙트럼 신호의 피크 주파수를 평균화함으로써 각성 상태 피크 주파수를 산출하는 것이 바람직하다. 복수의 스펙트럼 신호는 피실험자가 소정의 기기의 조작을 개시한 이후 소정 시간이 경과한 시점으로부터, 소정의 검출 시간 동안 산출된다. 따라서, 각성 상태 피크 주파수에 대한 노이즈 등의 영향을 감소시킬 수 있다.
본 발명의 다른 양태에 따르면, 소정 시간은 100~500초의 범위에서 선택되는 것이 바람직하다. 이것은, 상술된 바와 같이, 조작의 개시에 의해 야기된 긴장의 영향이 조작의 개시 직후에 남아있기 때문이다. 과도하게 긴 시간이 경과했을 때, 피실험자는 조작에 익숙해지고 졸음 정도가 증가할 수 있다.
본 발명의 다른 양태에 따르면, 평가 수단은 각성 상태 피크 주파수를 포함하는 대역을 각성 정도 지표 대역으로서 설정하여, 각성 정도 지표 대역과 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기를 이용하여 피실험자의 졸음 정도를 평가하는 것이 바람직하다. 다시 말하면, 피실험자의 각성 정도가 증가할수록, 각성 정도 지표 대역에서의 스펙트럼 신호의 세기가 증가한다. 피실험자의 졸음 정도가 증가할수록, 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기가 증가한다. 따라서, 두 스펙트럼 신호를 비교하면, 피실험자의 각성 정도와 졸음 정도 중 어느 것이 더 높은지를 판단할 수 있다. 따라서, 졸음 정도를 보다 정확하게 평가할 수 있다.
이 경우, 본 발명의 다른 양태에 따르면, 평가 수단은 졸음 정도 평가 파라미터를 산출하는 것이 바람직하다. 졸음 정도 평가 파라미터의 분모는 각성 정도 지표 대역과 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기의 합이다. 졸음 정도 평가 파라미터의 분자는 졸음 정도 지표 대역에서의 스펙트럼 신호의 세기이다.졸음 정도 평가 파라미터는, 피실험자의 각성 정도와 졸음 정도 양쪽 모두를 고려하여, 0(최대 각성 정도)과 1(최대 졸음 정도) 사이에서 연속적으로 졸음 정도를 나타낸다. 따라서, 졸음 정도 평가 파라미터의 값에 의해 직접적으로 피검자의 졸음 정도를 평가할 수 있다.
본 발명의 다른 양태에 따르면, 각성 정도 지표 대역은 각성 상태 피크 주파수를 중심으로 ±0.05 Hz의 대역폭을 갖도록 설정되는 것이 바람직하다. 이와같이 0.1 Hz의 대역폭을 갖도록 하는 식으로 각성 정도 지표 대역을 설정함으로써, 각성 정도 지표 대역은 각성 상태를 나타내는 주파수 성분을 정확하게 포함할 수 있다.
본 발명의 다른 양태에 따르면, 졸음 정도 지표 대역은 각성 상태 피크 주파수의 65~90%의 임의의 주파수를 포함하도록 설정되는 것이 바람직하다. 다수의 피검자에 의한 실험 결과로부터, 졸음이 발생할 때, 각성 상태 피크 주파수에 대하여 65~90%의 비율의 주파수 성분이 증가한다는 것이 확인되었다. 따라서, 졸음 정도 지표 대역이 각성 상태 피크 주파수의 65~90%의 임의의 주파수를 포함하도록 설정된 경우, 졸음 정도 지표 대역은 졸음에 대응하는 주파수 성분을 정확하게 포함할 수 있다.
본 발명의 다른 양태에 따르면, 평가 수단은 피실험자가 소정의 기기를 조작할 때에, 그 피실험자의 졸음 정도를 평가한다. 평가 수단은 피실험자가 소정의 기기의 조작을 개시한 후에, 스펙트럼 신호의 피크 주파수를 반복하여 산출할 수 있다. 소정의 시간 주기에서의 피크 주파수의 최대와 최소 간의 차가 소정값보다 작거나 같을 때, 그 시간 주기에서의 피크 주파수의 평균값이 각성 상태 피크 주파수로서 설정될 수 있다. 피실험자가 긴장 상태에 있거나 높은 졸음 정도의 상태에 있을 때, 심박 신호의 피크 간의 간격이 불규칙하게 된다. 즉, 간격이 변한다. 반대로, 스펙트럼 신호의 피크 주파수의 변화(variation)가 작은 경우는, 피실험자가 긴장을 느끼지도 졸음을 느끼지도 않는 것으로 고려된다. 따라서, 피크 주파수의 변화량은 최대 피크 주파수와 최소 피크 주파수 간의 차에 의해 판단될 수 있다. 각성 상태 피크 주파수의 정확도를 향상시키기 위하여, 변화량이 작은 경우의 피크 주파수가 각성 상태 피크 주파수로서 설정될 수 있다.
본 발명의 다른 양태에 따르면, 평가 수단은 피실험자가 기기의 조작을 개시할 때마다, 각성 상태 피크 주파수를 산출할 수 있다. 또한, 평가 수단은 최근의 각성 상태 피크 주파수와 과거의 각성 상태 피크 주파수에 근거하여 최종적인 각성 상태 피크 주파수를 결정할 수 있다. 이것은 각성 상태 피크 주파수가 시간의 경과에 따라 변화하는 경우가 존재하기 때문이다.
본 발명의 적용가능 범위는 본원의 하기에 제공된 상세한 설명으로부터 명백하게 될 것이다. 본 발명의 바람직한 실시예를 나타내는 상세한 설명 및 특정 실시예는 예시를 위한 것일 뿐이고 본 발명의 범위를 한정하기 위한 것이 아님을 이해해야 한다.
도1은 본 발명의 일 실시예에 따른 졸음 정도 검출 장치의 개략적인 구조를 도시한 블록도.
도2는 졸음 정도 검출 장치에 의해 수행되는 졸음 정도 검출 처리 및 졸음이 검출될 때 수행되는 경보 등의 처리를 도시한 흐름도.
도3은 졸음 정도 평가 파라미터의 산출 루틴을 도시한 흐름도.
도4는 일반적인 심박 신호의 파형의 일례를 도시한 파형도.
도5는 심박 신호를 심박 신호의 최대 피크인 R-파만의 피크를 갖는 신호로 변환하는 처리 방법을 설명하는 설명도.
도6은 심박 신호의 주파수 성분의 분포를 나타내는 스펙트럼 신호를 도시한 특성도.
도7은 운전자가 차량의 운전을 개시한 때로부터, 스펙트럼 신호의 피크 주파수의 변동을 도시한 그래프.
도8은 검증의 대상이 되는 운전자 전원중에서, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 소정값 이하인 운전자의 비율을, 운전의 개시 이후 시간 주기에 따라 도시한 그래프.
도9는 차량의 횡편차(transverse deviation)량의 변화(즉, 워크 퍼포먼스(work performance: WP)의 변화)와 스펙트럼 신호의 각각의 주파수의 신호 세기의 변화 간의 상관관계를 도시한 그래프.
도10은 복수의 운전자에 대하여, WP와 각 주파수 대역 간의 상관 계수와 주파수의 그래프.
도11은 각 운전자의 각성 상태 피크 주파수(Fmin)를 1Hz로 정규화한 경우, WP와의 상관관계가 최대인 주파수(Fmax)의 분산 범위를 도시한 그래프.
도12는 각성 상태 피크 주파수(Fmin)를 1Hz로 정규화한 경우, 각 주파수 대역(0.65~0.70Hz, 0.70~0.75Hz, 0.75~0.80Hz, 0.80~0.85Hz 및 0.85~0.90Hz)에 속하는 스펙트럼 신호의 세기와 WP 간의 상관관계를 도시한 그래프.
도13은 0.80~0.85Hz의 주파수 대역에 속하는 스펙트럼 신호의 세기의 변화와 WP의 변화를 도시한 타임 차트(time chart).
*도면의 주요부분에 대한 부호의 설명
10: 심박 신호 검출 장치 20: ECU
30: 에어콘 제어 장치 40: 경보 장치
50: 엔진 제어 장치 60: 브레이크 제어 장치
다음의 바람직한 실시예에 대한 설명은 단지 예시를 위한 것일 뿐이고, 본 발명, 본 발명의 응용 또는 이용을 한정하기 위한 것이 아니다. 이하, 도면을 참조하여 본 발명에 따른 졸음 정도 검출 장치의 실시예를 설명하기로 한다. 이 실시예는 차량에 설치된 졸음 정도 검출 장치가 운전시 운전자의 졸음을 검출하는 경우를 설명하지만은, 이러한 졸음 정도 검출 장치는 차량이 아닌 기기의 조작자 또는 경비원의 졸음을 검출하는데에도 이용될 수 있다.
도1은 이 실시예에 따른 졸음 정도 검출 장치의 개략적인 구조를 도시한 블록도이다. 도1을 참조하면, 졸음 정도 검출 장치는 차량의 운전자의 심박 신호를 검출하기 위한 심박 신호 검출 장치(10) 및 검출된 심박 신호에 근거하여 운전자의 졸음 정도를 검출하기 위한 ECU(20)를 갖는다. ECU(20)는 에어콘 제어 장치(30), 경보 장치(40), 엔진 제어 장치(50), 브레이크 제어 장치(60) 등에 접속된다. 따라서, 운전자에게 졸음이 발생하는지를 검출할 경우, 졸음 정도 검출 장치(ECU(20))는 졸음 정도에 따라 운전자의 졸음을 불식(拂拭)하고, 전반적인 안전을 확보하도록 차량을 제어한다.
심박 신호 검출 장치(10)는 스티어링 휠상에 설치된 복수의 전극을 갖는다. 운전자의 오른손과 왼손이, 각각 전극과 접촉할 때, 두 전극 간에 운전자의 심전위에 대응하는 전위차가 발생한다. 두 전극 간에 발생한 전위차를 성공적으로 검출함으로써, 운전자의 심박 신호가 획득된다.
이 실시예에서는 졸음 정도 검출 장치가 차량에 설치되어 있기 때문에, 심박 신호 검출 장치(10)는 스티어링 휠상에 설치된 전극들로 구성된다. 그러나, 심박 신호는 다른 수단에 의해 검출될 수도 있다. 예를 들면, 심박 신호를 검출하기 위한 다른 수단으로서 펄스파 센서(pulse wave sensor)가 이용가능하다. 펄스파 센서는 1조의 발광 및 수광 소자(light emitting and receiving elements)를 갖는다. 발광 소자는 운전자의 피부 표면에 빛을 비춘다. 빛의 일부는 피부를 투과하여, 혈관을 통해 흐르는 혈액에 의해 산란된다. 따라서, 수광 소자에 의해 수신된 빛의 양은 혈관을 통해 흐르는 혈액의 양에 따라 변화한다. 따라서, 펄스파 센서를 이용하는 경우에도, 운전자의 심장의 움직임에 대응하는 신호 즉, 심박 신호에 대응하는 신호를 검출할 수 있다.
펄스파 센서는, 교란광의 영향을 제거하기 위하여 수광 소자를 운전자의 피부 표면에 밀착시키는 방식으로 이용하는 것이 바람직하다. 따라서, 펄스파 센서의 수광 소자는 운전자의 그립(grip)부에 적합한 위치에 대응하여 스티어링 휠에 제공될 수 있다. 그렇지 않으면, 다양하게 제안되는 바와 같이, 예를 들면, 손목시계, 반지 등의 형상의 펄스파 센서를 운전자에게 장착하여 심박 신호(심박 신호에 대응하는 신호)를 검출할 수도 있다.
그 다음, 도2의 흐름도에 근거하여 졸음 정도 검출 처리, 경고 처리 등을 설명하기로 한다. 졸음 정도 검출 처리는 ECU(20)에 의해 수행된다. 경고 처리는 졸음이 검출될 경우 수행된다. 먼저, 단계(S100)에서, ECU(20)는 심박 신호 검출 장치(10)로부터 출력되는 심박 신호를 받아들인다. 심박 신호를 받아들일 시에는, ECU(20)는 약 100Hz의 주기로 심박 신호를 샘플링하여, 아날로그 신호를 디지털 신호로 변환한다. 통상의 심박 신호의 QRS 파의 지속시간은 약 0.1초이다. 그에 따라, 상술한 약 100Hz의 주기로의 샘플링을 행함으로써, 심박 신호의 피크값을 확실하게 받아들일 수가 있다.
그 다음, 단계(S200)에서, 받아들인 심박 신호에 근거하여, 운전자의 졸음 정도를 평가하기 위한 졸음 정도 평가 파라미터(Sp)가 산출된다. 졸음 정도 평가 파라미터(Sp)의 산출 방법은 나중에 상세하게 설명하기로 한다.
단계(S200)에서 졸음 정도 평가 파라미터(Sp)가 산출된 후에, 처리는 단계(S300)로 진행되어, 졸음 정도 평가 파라미터(Sp)는 제1 판정값(C1)과 비교된다. 이 비교에서 졸음 정도 평가 파라미터(Sp)가 제1 판정값(C1)보다 작다고 판정될 경우, 운전자에게 졸음이 발생하지 않은 것으로 고려됨으로써, 처리는 단계(S100)로 리턴된다. 단계(S300)에서 졸음 정도 평가 파라미터(Sp)가 제1 판정값(C1)보다 크거나 같다고 판정될 경우, 처리는 단계(S400)로 진행된다.
단계(S400)에서, 졸음 정도 평가 파라미터(Sp)는 추가로 제2 판정값(C2)과 비교되며, 이 제2 판정값(C2)은 제1 판정값(C1)보다 크다. 졸음 정도 평가 파라미터(Sp)가 제2 판정값(C2)보다 작다고 판정될 경우, 운전자의 졸음 정도가 낮은 것으로 추정되어, 처리는 단계(S500)로 진행된다. 단계(S500)에서, ECU(20)는 에어콘 제어 장치(30)에 제어 신호를 출력하여, 에어콘 제어 장치(30)가 졸음 개선 제어를 수행하게 한다. 졸음 개선 제어에서, 차량에 설치된 에어콘의 사용에 의해 운전자에게 냉풍이 불거나, 에어콘의 배기구(outlet)로부터 졸음을 감소시키는 효과가 있는 아로마(aroma)가 방출된다. 따라서, 졸음 정도가 낮은 경우, 졸음 개선 제어에 의해 졸음을 제거할 수 있다.
단계(S400)에서 졸음 정도 평가 파라미터(Sp)가 제2 판정값(C2)보다 크거나 같다고 판정될 경우, 처리는 단계(S600)로 진행된다. 단계(S600)에서, 졸음 정도평가 파라미터(Sp)는 제3 판정값(C3)과 비교되며, 이 제3 판정값(C3)은 제2 판정값(C2)보다 크다. 단계(S600)의 판정에서 졸음 정도 평가 파라미터(Sp)가 제3 판정값(C3)보다 작다고 판정될 경우, 운전자의 졸음 정도는 중간 정도인 것으로 추정된다. 이에 따라, 단계(S700)에서 ECU(20)는 경보 장치(40)에 경보 신호를 출력한다. 경보 장치(40)는 비교적 고음의 경보음 또는 경보 메시지를 발행하여, 운전자에게 주의를 준다. 단계(S600)에서 졸음 정도 평가 파라미터(Sp)가 제3 판정값(C3)보다 크거나 같다고 판정될 경우, 운전자의 졸음 정도는 높은 것으로 추정된다. 이 경우, 처리는 단계(S800)로 진행되어, ECU(20)는 브레이크 제어 장치(60) 및/또는 엔진 제어 장치(50)에 제어 신호를 출력하여, 이 장치들(60, 50)이 차량 제어를 수행하게 한다. 차량 제어에서, 예를 들면, 엔진의 출력을 감소시키거나 강제적으로 브레이크를 가함으로써, 차량의 속도를 저하시키거나 차량을 멈추게 한다.
이하, 도3의 흐름도에 근거하여, 상술된 졸음 정도 평가 파라미터 산출 루틴을 설명하기로 한다. 먼저, 단계(S210)에서, 도2의 흐름도의 단계(S100)에서 받아들인 심박 신호를 R-파 피크를 갖는 신호로 변환한다.
도4는 일반적인 심박 신호의 파형의 일례를 도시한다. 도4에 도시된 바와 같이, 심박 신호는 단일 파형의 P-파, Q-파, R-파, S-파 및 T-파를 포함하며, 각각의 파는 피크를 나타낸다. 따라서, 심박 신호가 직접 주파수 분석을 거치면, 상술된 모든 주파수 성분을 포함하는 스펙트럼 신호가 획득된다. 그러나, 이 실시예에 따른 졸음 정도 검출 장치는, 단위 시간당 심박 신호의 심박수 즉, 심박수에 기인하는 주파수 성분을 분석함으로써, 상술된 모든 파의 주파수 성분은 에러의 원인이 된다. 이러한 이유로, 도5에 도시된 바와 같이, 심박 신호는 심박 신호의 최대 피크인 R-파만의 피크를 갖는 신호로 변환되고, 그 다음, 그 변환 신호에 대해 주파수 분석이 수행된다.
이 실시예에서는 측정 시간 단위가 10초이다. 10초마다, 100Hz의 주기로 샘플링된 심박 신호가 상기에 설명된 바와 같이 변환되어 나중에 설명되는 바와 같이 고속 프리에 변환(fast Fourier transform: FFT)에 의해 주파수 분석을 거쳐서, 심박 신호에 포함된 주파수 성분의 분포를 나타내는 스펙트럼 신호를 획득한다.
심박 신호가 10초동안 100Hz의 주기로 샘플링되는 경우, 샘플의 수는 1000(10(sec)x100(Hz))개이다. 이러한 샘플링 주기 및 이러한 수의 샘플을 이용하면, FFT 처리에 의해 획득된 스펙트럼 신호의 주파수 해상도(frequency resolution)는 낮아지게 된다. 따라서, 주파수 해상도를 개선시키기 위한 처리가 수행된다. 즉, 심박 신호가 10초 동안 100Hz의 주기로 샘플링되는 경우, 스펙트럼 신호의 주파수 해상도는 0.1Hz(샘플링 주기(100Hz)/샘플링 수(1000))이다. 일반적으로 심박수는 약 60bpm(beats per minute)이고, 심박 주파수는 1Hz이므로, 0.1Hz의 주파수 해상도는 상당히 높은 심박수 즉, 6beats에 대응한다.
따라서, 도5에 도시된 바와 같이, 샘플링된 R-파의 위치에 관한 정보(62, 127, ...)는 10의 인수(factor)에 의해 감소시켜서 샘플링 주파수를 (100Hz로부터 10Hz로) 감소시킨다. 그러나, 이 경우, 샘플링 수 역시 10의 인수에 의해 감소되어 주파수 해상도가 개선되지 않음으로써, 샘플링 수에 924개의 더미(dummy) 데이터(0데이터)가 추가된다. 이러한 처리에 따라, 스펙트럼 신호의 주파수 해상도를 개선시킬 수 있다(약 10의 인수에 의해 주파수 해상도를 증가시킬 수 있다).
그 다음, 단계(S220)에서는, 단계(S210)에서 산출된 변환 신호에 대하여 FFT 처리를 수행하여, 심박 신호에서의 주파수 성분의 분포를 나타내는 스펙트럼 신호를 산출한다. 도6은 산출된 스펙트럼 신호의 일례를 도시한다. 도6에 도시된 바와 같이, 운전자의 각성 정도가 높은 경우, 비교적 높은 주파수 영역에서 피크를 갖는 스펙트럼 신호가 획득된다. 운전자의 졸음 정도가 높은 경우, 비교적 낮은 주파수 영역에서 피크를 갖는 스펙트럼 신호가 획득된다. 이것은, 운전자의 졸음이 증가할수록 심박수가 감소하기 때문에, 운전자의 심박 신호에 포함된 주파수 성분이 운전자의 졸음 정도의 증가에 따라 감소하기 때문이다.
그 다음, 단계(S230)에서, 운전자가 차량의 운전을 개시한 이후의 경과 시간 길이가 판정된다. 이 판정 단계에서, 경과 시간이 T1 미만이고, 운전이 방금 개시되었다고 판정된 경우, 이 루틴의 처리는 종료된다. 경과 시간이 T1 이상 T2 이하인 경우, 단계(S240)에서 운전자의 각성 상태 피크 주파수가 검출된다. 단계(S250)에서, 각성 상태 피크 주파수에 근거하여 각성 정도 지표 대역(α) 및 졸음 정도 지표 대역(β)이 설정된다. 경과 시간이 T2 초과로 판정된 경우, 단계(S260 내지 S280)의 처리를 수행하여, 운전자의 졸음 정도를 나타내는 졸음 정도 평가 파라미터(Sp)를 산출한다.
상기에 설명된 바와 같이 운전의 개시 이후 경과 시간에 따라 다른 처리가 수행되는 이유는 이하 설명될 것이다. 도7은 운전자가 차량의 운전을 개시한 때로부터, 심박 신호를 FFT 처리함으로써 획득되는 스펙트럼 신호의 피크 주파수의 변동을 도시한 그래프이다. 도7에 도시된 바와 같이, 운전의 개시 직후에 검출된 피크 주파수는, 운전자가 긴장을 느끼지도 졸음을 느끼지도 않는 상태에서의 통상의 피크 주파수(이하, "각성 피크 주파수"라 칭함)와 크게 다르다. 검출된 피크 주파수는 시간이 경과하는 것과 함께 각성 상태 피크 주파수에 근접하는 경향이 있다. 이러한 점에 관하여, 본 출원의 발명자는, 다른 운전자가 유사한 경향을 갖는지 여부의 검증을 행하였다. 검증의 결과는 도8의 그래프에 도시되어 있다.
도8은 검증의 대상이 되는 운전자 전원중에서, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 소정값(±0.05Hz) 이하인 운전자의 비율을, 운전의 개시 이후 시간 주기에 따라 도시한 그래프이다. 도8에 도시된 바와 같이, 개시 직후로부터 약 100초까지, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 큰 운전자의 비율이 많다. 그러나, 100초 후의 시점에서, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 작은 운전자의 비율이 점차적으로 증가한다. 예를 들면, 300초 내지 400초에서는, 운전자 전원이, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 작다. 약 500초까지는, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 작은 운전자의 비율이 크게 유지된다. 그러나, 500초후에는, 검출된 피크 주파수와 각성 상태 피크 주파수와의 차이가 큰 운전자의 비율이 증가한다.
상술된 검증의 결과에 따라, 운전을 개시한 직후가 아닌, T1(100초, 바람직하게는 300초)의 경과후와 T2(500초, 바람직하게는 400초)의 경과전의 시간 시간에검출된 스펙트럼 신호의 피크 주파수는 각 운전자의 각성 상태 피크 피크 주파수에 근접한다는 것이 명백하다. 따라서, 이 실시예에서, 운전의 개시 이후 경과 시간이 T1 이상 T2 이하인 경우, 처리는 단계(S240)로 진행된다. 단계(S220)에서 산출된 스펙트럼 신호의 피크 주파수를 추출하여, 그 피크 주파수를 운전자의 각성 상태 피크 주파수로서 추정한다. T1과 T2는, T1과 T2 간의 시간차에서 스펙트럼 신호가 복수회 산출되도록 설정되는 것이 바람직하다. 단계(S240)에서, 각 스펙트럼 신호의 피크 주파수를 추출하고, 복수의 피크 주파수를 평균화하여, 평균화 피크 주파수를 각성 상태 피크 주파수로서 추정하는 것이 바람직하다.
또한, 과거에 산출된 각성 상태 피크 주파수가 저장될 수도 있다. 최근 및 과거의 각성 상태 피크 주파수를 단순 평균화하거나 가중 평균화하여 각성 상태 피크 주파수를 갱신할 수 있다. 이 경우, 각성 상태 피크 주파수는 장기간의 피크 주파수에 근거하여 높은 정확도로 추정된다. 저장된 각성 상태 피크 주파수와 최근의 각성 상태 피크 주파수 간의 차이가 소정값 이상인 경우, 운전자의 신체 상태(physical condition)의 이상에 속하는 경고가 발행될 수 있다. 또한, 복수의 운전자가 운전하는 경우를 고려하여, 예를 들면, 운전자 간을 구별하기 위해 복수의 스위치 등이 설치될 수 있고, 전술한 각성 상태 피크 주파수는 각 운전자에 대하여 저장될 수 있다.
후속 단계(S250)에서, 단계(S240)에서 추정된 각성 상태 피크 주파수에 근거하여 각성 정도 지표 대역(α)과 졸음 정도 지표 대역(β)이 설정된다. 각성 정도 지표 대역(α)은 추정된 각성 상태 피크 주파수를 중심으로 ±0.05Hz의 대역폭을갖도록 설정된다. 도6의 경우를 보면, 예를 들면, 각성 상태 피크 주파수가 1.07Hz에서 추정되기 때문에, 각성 정도 지표 대역(α)은 1.02Hz의 하한 주파수와 1.12Hz의 상한 주파수를 갖는다. 각성 정도 지표 대역(α)은 각성 상태 피크 주파수를 포함하기 때문에, 운전자의 각성 정도가 높은 경우, 각성 정도 지표 대역(α)에 속하는 스펙트럼 신호의 세기는 높아진다. 즉, 각성 정도 지표 대역(α)에서의 스펙트럼 신호의 세기는 운전자의 각성 정도에 대한 지표이다.
졸음 정도 지표 대역(β)의 설정을 설명하기로 한다. 상기에 설명된 바와 같이, 운전자의 졸음 정도가 증가할수록 운전자의 심박수가 감소하기 때문에, 심박 신호의 주파수 성분의 분포를 나타내는 스펙트럼 신호의 피크는 저주파측으로 이동한다. 본 출원의 발명자는, 각 운전자의 졸음 정도를 가장 정확하게 표시하는 주파수 대역을 특정하기 위해 다음의 측정을 수행하였다.
우선, 발명자는 복수의 운전자로 하여금 운전 시뮬레이터(drive simulator)를 조작하도록 하여, 조작시의 차량의 횡편차량을 측정하였다. 워크 퍼포먼스(WP)라 칭해지는 횡편차량은 운전자의 졸음 정도의 객관적 지표로서 이용되었다. 또한, 동시에 운전자의 심박 신호를 측정하였고, 그 심박 신호를 FFT 처리하여 스펙트럼 신호를 산출한다. 차량의 횡편차량의 변화(즉, WP의 변화)와 스펙트럼 신호의 각각의 주파수의 신호 세기의 변화 간의 상관관계를 조사하였다. 도9는 조사 결과를 도시한 그래프이다. 도9는 차량의 횡편차량의 변화(즉, 워크 퍼포먼스(WP)의 변화)와 스펙트럼 신호의 각각의 주파수의 신호 세기의 변화 간의 상관관계를 도시한 그래프이다.
도9를 참조하면, 각성 상태 피크 주파수(Fmin)에서 WP와의 상관계수가 최소화된다. 이것은, 횡편차량이 커지면(WP가 작으면), 각성 상태 피크 주파수의 신호 세기는 감소하고, 횡편차량이 작아지면(WP가 크면), 각성 상태 피크 주파수의 신호 세기는 증가함을 의미한다.
도9에 도시된 예에서, 각성 상태 피크 주파수(Fmin)와 반대로, 약 0.91Hz의 주파수(Fmax)에서 WP와의 상관계수가 최대화된다. 졸음 정도 지표 대역(β)은 0.91Hz를 중심으로 소정 대역폭을 갖도록 설정됨으로써, 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기는 운전자의 졸음 정도에 대한 지표이다.
복수의 운전자에 대하여, 전술한 바와 같이 WP와 스펙트럼 신호의 각각의 주파수의 신호 세기 간의 상관관계를 조사해보면, 도10에 도시된 바와 같이, WP와의 상관계수가 플러스(plus)의 최대치에 이르는 주파수(Fmax)가 매우 다양하다(1.03±0.12Hz)는 것이 명백하다. 따라서, 간단하게 어떠한 대역을 졸음 정도 지표 대역(β)으로서 설정하면, 졸음 정도의 지표로서의 정확도가 운전자마다 매우 다양하다. 도10은 복수의 운전자의 특성 곡성의 그래프이며, 각 곡선은 챠량의 횡편차량의 변화와 스펙트럼 신호의 각 주파수의 신호 세기의 변화 간의 상관관계를 나타낸다.
WP와의 상관관계가 최대가 되는 주파수(Fmax)를 직접적으로 획득하기 위해서는, 상기에 설명된 바와 같이, WP의 측정이 필요하다. 즉, 이 실시예와 같이 심박 신호만을 측정할 수 있는 시스템에서는 WP와의 상관관계가 최대에 이르는 주파수(Fmax)를 직접적으로 획득할 수 없다. 따라서, 측정가능한한 심박 신호에 의해 정확도가 높게 WP와의 상관관계가 최대가 되는 주파수(Fmax)를 간접적으로 획득할 필요가 있다. 이러한 목적을 위하여, 본 출원의 발명자는, 각 운전자의 각성 상태 피크 주파수(Fmin)를 1Hz로 정규화한 경우, WP와의 상관관계가 최대인 주파수(Fmax)의 변화 범위를 조사하였다. 이 경우, WP와의 상관관계가 최대가 되는 주파수(Fmax)의 변화 범위가 좁아진다는 것이 명백하게 되었다. 도11의 예에서, WP와의 상관관계가 최대가 되는 모든 주파수(Fmax)는 0.83±0.03Hz의 범위에 속한다.
따라서, 각성 상태 피크 주파수의 소정 비율에서의 주파수는, WP와의 상관관계가 최대가 되는 전술한 주파수(Fmax)로서 설정된다. 그 다음, 그 주파수를 중심으로 한 주파수 대역이 졸음 정도 지표 대역(β)으로서 설정된다.
도12는 각성 상태 피크 주파수(Fmin)를 1Hz로 정규화한 경우, 각 주파수 대역(0.65~0.70Hz, 0.70~0.75Hz, 0.75~0.80Hz, 0.80~0.85Hz 및 0.85~0.90Hz)에 속하는 스펙트럼 신호의 세기와 WP 간의 상관관계를 도시한 그래프이다. 0.65~0.70Hz의 주파수 대역에 속하는 스펙트럼 신호의 세기와 WP 간의 상관관계 조차도 0.84를 초과한다. 특히, 0.75~0.90Hz의 주파수 대역에서, WP와의 상관관계가 0.9를 초과하고, 0.80~0.85Hz에서, WP와의 상관관계가 최대가 된다. 도13은 0.80~0.85Hz의 주파수 대역에 속하는 스펙트럼 신호의 세기의 변화와 WP의 변화를 도시한 타임 차트이다. 도13으로부터, 신호의 세기와 WP 양쪽 모두가 거의 동일한 변화의 경향을 나타낸다는 것이 명백하다.
도12 및 도13의 결과에 근거하여, 각성 상태 피크 주파수(Fmin)에 의해, WP와의 상관관계가 최대가 되는 주파수(Fmax)를 산출하기 위한 소정 비율로서,65~90%, 바람직하게는 75~90%, 더 바람직하게는 80~85%의 범위의 값을 이용한다. 이에 따라, WP와의 상관관계가 최대가 되는 주파수(Fmax)를 정확하게 획득할 수 있다. 이러한 방식으로, WP와의 상관관계가 최대가 되는 주파수(Fmax)가 산출된 후에, 이 주파수를 중심으로 ±0.05Hz의 대역폭을 갖는 주파수 대역이 졸음 정도 지표 대역(β)으로서 설정된다. 졸음 정도 지표 대역(β)은, 소정 비율로 각성 정도 지표 대역(α)의 상한 및 하한 주파수를 각각 곱함으로써 졸음 정도 지표 대역(β)의 상한 및 하한 주파수를 산출하는 방식으로 설정될 수 있다.
도3의 흐름도를 참조하면, 단계(S230)에서 운전의 개시 이후 경과 시간이 T2 초과로 판정되는 경우, 처리는 단계(S260)로 진행되어, 상기에 설명된 바와 같이 설정된 각성 정도 지표 대역(α)에 속하는 스펙트럼 신호의 세기(αp)를 산출한다. 그 다음, 단계(S270)에서, 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기(βp)를 산출한다. 그 다음, 단계(S280)에서, 다음 공식을 이용하여 졸음 정도 평가 파라미터(Sp)를 산출한다.
Sp = βp / (αp + βp)
이 공식을 이용하여 산출된 졸음 정도 평가 파라미터(Sp)는, 운전자의 각성 정도와 졸음 정도 양쪽 모두를 고려한다. 졸음 정도 평가 파라미터(Sp)는 0(최대 각성 정도)과 1(최대 졸음 정도) 사이에서 연속적으로 졸음 정도를 나타낸다. 따라서, 졸음 정도 평가 파라미터(Sp)의 값에 의해 직접적으로 운전자의 졸음 정도를 평가할 수 있다.
본 발명의 바람직한 실시예에 대하여 상기에 설명하였다. 그러나, 본 발명에따른 졸음 정도 검출 장치는 전술한 실시예에만 한정되는 것이 아니며, 다양한 변형들이 적용가능하다.
전술한 실시예에서, 예를 들면, 졸음 정도 평가 파라미터(Sp)는, 각성 정도 지표 대역(α) 및 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기(αp 및 βp)에 의해 산출된다. 운전자의 졸음 정도는, 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기(βp)에만 근거하여 검출될 수 있다. 운전자의 각성 정도가 높은 경우, 심박은 거의 감소하지 않는다. 심박 신호에 포함된 저주파수 성분은 경미하며, 이에 따라 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기(βp)는 낮아진다. 운전자의 졸음 정도가 증가할수록, 반면에, 심박수의 감소는 두드러지게 되고, 심박 신호에 포함된 저주파수 성분은 증가한다. 따라서, 졸음 정도 지표 대역(β)에서의 스펙트럼 신호의 세기(βp)는 증가한다. 졸음 정도 지표 대역(β)에서의 스펙트럼 신호의 세기(βp)는 졸음 정도와 상관관계를 나타내기 때문에, 졸음 정도 지표 대역(β)에 속하는 스펙트럼 신호의 세기(βp)에 의해서만 운전자의 졸음 정도를 검출할 수 있다.
전술한 실시예에서, 각성 정도 지표 대역(α)과 졸음 정도 지표 대역(β)은 0.1Hz의 대역폭을 갖지만, 그 대역폭은 0.1Hz로만 한정되지 않는다. 또한, 전술한 실시예에서, 운전자가 운전을 개시한 시간으로부터 T1 이상 T2 이하의 시간이 경과한 시간 시간에 검출된 스펙트럼 신호의 피크 주파수는 각성 상태 피크 주파수로서 추정된다. 그러나, 스펙트럼 신호의 피크 주파수는 운전자가 운전을 개시한 후에 반복적으로 산술될 수 있다. 소정의 시간 주기에서의 피크 주파수의 최대와 최소간의 차가 소정값보다 작거나 같을 때, 그 시간 주기에서의 피크 주파수의 평균값이 각성 상태 피크 주파수로서 설정될 수 있다. 운전자가 긴장 상태에 있거나 졸음 상태에 있을 때, 심박 신호의 피크 간의 간격이 불규칙하게 된다. 즉, 간격이 변한다. 반대로, 스펙트럼 신호의 피크 주파수의 변화가 작은 경우는, 운전자가 긴장을 느끼지도 졸음을 느끼지도 않는 것으로 고려된다. 따라서, 피크 주파수의 변화량은 최대 피크 주파수와 최소 피크 주파수 간의 차에 의해 판단될 수 있다. 그 변화량이 작은 경우, 피크 주파수는 각성 상태 피크 주파수로서 설정될 수 있다.
본 발명의 설명은 단지 예시를 위한 것일 뿐이며, 본 발명의 요지에서 벗어나지 않는 변형은 본 발명의 범위내에 있는 것으로 의도된다. 이러한 변형은 본 발명의 정신 및 범위에서 벗어난 것으로 고려되지 않는다.
차량 등과 같은 기기를 조작하는 피실험자는 각성 상태에서 갑자기 잠이 들지는 않지만, 졸음 정도가 점차적으로 상승한 후에 결국 졸음 상태에 도달하기 때문에, 졸음 정도가 높은 상태를 정확하게 검출하는 것이 바람직하다. 본 발명은 이러한 졸음 정도를 정확하게 검출할 수 있는 졸음 정도 검출 장치를 제공하여, 검출된 졸음 정도에 따라 경고의 발행, 기기의 동작 제한 등과 같은 적절한 조치를 취할 수 있다.

Claims (11)

  1. 피실험자의 심박 신호를 검출하기 위한 수단;
    상기 심박 신호에 대해 주파수 분석을 수행하여, 상기 심박 신호에 포함된 주파수 성분의 분포를 나타내는 스펙트럼 신호를 산출하기 위한 산출 수단; 및
    상기 스펙트럼 신호에서, 상기 피실험자의 각성 상태에서의 각성 상태 피크 주파수를 기준으로 하여, 각성 상태 피크 주파수보다 낮은 주파수를 갖는 대역을, 졸음 정도를 나타내는 졸음 정도 지표 대역으로 설정하여, 그 졸음 정도 지표 대역에서의 상기 스펙트럼 신호의 세기에 근거하여 상기 피실험자의 졸음 정도를 평가하기 위한 평가 수단
    을 포함하는 졸음 정도 검출 장치.
  2. 제1항에 있어서,
    상기 산출 수단은 상기 심박 신호를, 상기 심박 신호의 최대 피크 위치에서만 피크를 갖는 신호로 변환하여, 그 변환 신호에 대해 주파수 분석을 수행하는
    졸음 정도 검출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 평가 수단은 상기 피실험자가 소정의 기기를 조작할 때 그 피실험자의 졸음 정도를 평가하고, 상기 피실험자가 상기 소정의 기기의 조작을 개시한 이후 소정 시간이 경과한 때의 상기 스펙트럼 신호의 피크 주파수를 상기 각성 상태 피크 주파수로서 설정하는
    졸음 정도 검출 장치.
  4. 제3항에 있어서,
    상기 각성 상태 피크 주파수는 상기 피실험자가 상기 소정의 기기의 조작을 개시한 이후 소정 시간이 경과한 시점으로부터, 소정의 검출 시간 동안 산출되는 복수의 스펙트럼 신호의 피크 주파수를 평균화함으로써 산출되는
    졸음 정도 검출 장치.
  5. 제3항에 있어서,
    상기 소정 시간은 100 내지 500초의 범위에서 선택되는
    졸음 정도 검출 장치.
  6. 제1항에 있어서,
    상기 평가 수단은 상기 각성 상태 피크 주파수를 포함하는 대역을 각성 정도 지표 대역으로서 설정하여, 상기 각성 정도 지표 대역과 상기 졸음 정도 지표 대역에서의 상기 스펙트럼 신호의 세기를 이용하여 상기 피실험자의 졸음 정도를 평가하는
    졸음 정도 검출 장치.
  7. 제6항에 있어서,
    상기 평가 수단은, 상기 각성 정도 지표 대역과 상기 졸음 정도 지표 대역에서의 상기 스펙트럼 신호의 세기의 합을 분모로 하고, 상기 졸음 정도 지표 대역에서의 상기 스펙트럼 신호의 세기를 분자로 하는 졸음 정도 평가 파라미터를 산출하는
    졸음 정도 검출 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 각성 정도 지표 대역은 상기 각성 상태 피크 주파수를 중심으로 ±0.05Hz의 대역폭을 갖도록 설정되는
    졸음 정도 검출 장치.
  9. 제6항 또는 제7항에 있어서,
    상기 졸음 정도 지표 대역은 상기 각성 상태 피크 주파수의 65~90%의 임의의 주파수를 포함하도록 설정되는
    졸음 정도 검출 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 평가 수단은 상기 피실험자가 소정의 기기를 조작할 때에, 그 피실험자의 졸음 정도를 평가하고, 상기 평가 수단은 상기 피실험자가 상기 소정의 기기의 조작을 개시한 후에, 상기 스펙트럼 신호의 피크 주파수를 반복하여 산출하고, 소정의 시간 주기에서의 상기 피크 주파수의 최대와 최소 간의 차가 소정값보다 작거나 같을 때, 상기 시간 주기에서의 피크 주파수의 평균값이 상기 각성 상태 피크 주파수로서 설정되는
    졸음 정도 검출 장치.
  11. 제3항에 있어서,
    상기 평가 수단은 상기 피실험자가 상기 기기의 조작을 개시할 때마다, 각성 상태 피크 주파수를 산출하고, 상기 평가 수단은 최근의 각성 상태 피크 주파수와과거의 각성 상태 피크 주파수에 근거하여 최종적인 각성 상태 피크 주파수를 결정하는
    졸음 정도 검출 장치.
KR1020040037572A 2003-05-27 2004-05-25 졸음 정도 검출 장치 KR100563641B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00149630 2003-05-27
JP2003149630A JP4111062B2 (ja) 2003-05-27 2003-05-27 眠気度合検出装置

Publications (2)

Publication Number Publication Date
KR20040101941A true KR20040101941A (ko) 2004-12-03
KR100563641B1 KR100563641B1 (ko) 2006-03-23

Family

ID=33432210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040037572A KR100563641B1 (ko) 2003-05-27 2004-05-25 졸음 정도 검출 장치

Country Status (6)

Country Link
US (1) US7206631B2 (ko)
JP (1) JP4111062B2 (ko)
KR (1) KR100563641B1 (ko)
CN (1) CN100346999C (ko)
DE (1) DE102004025895B4 (ko)
FR (1) FR2855390B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718941B1 (ko) * 2005-12-05 2007-05-16 권기철 졸음 경고장치 및 졸음 경고방법
KR100975590B1 (ko) * 2008-05-22 2010-08-13 (주) 텔트론 졸음 감지방법
KR101316746B1 (ko) * 2011-12-28 2013-10-08 썬메디텍 (주) 모바일 응급환자 모니터링 시스템

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
US20060293608A1 (en) * 2004-02-27 2006-12-28 Axon Sleep Research Laboratories, Inc. Device for and method of predicting a user's sleep state
JP4502712B2 (ja) * 2004-06-02 2010-07-14 株式会社デルタツーリング 心身状態判定システム
US20060222672A1 (en) * 2005-04-01 2006-10-05 Denso Corporation Gaseous constituent supply device for vehicle
DE102005020847A1 (de) * 2005-05-02 2006-11-09 Carsten Dr. Koch Vorrichtung zur berührungslosen Positionsbestimmung von Körperteilen von Lebewesen im Kraftfahrzeug
WO2008054460A2 (en) * 2006-10-30 2008-05-08 Ronald Liska Stay awake
JP4793650B2 (ja) * 2006-11-07 2011-10-12 アイシン精機株式会社 体調管理システム
JP4211841B2 (ja) * 2006-11-15 2009-01-21 トヨタ自動車株式会社 ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム
JP5383200B2 (ja) * 2006-11-29 2014-01-08 富士通株式会社 覚醒度判定方法および覚醒度判定プログラム
JP4697185B2 (ja) * 2006-12-04 2011-06-08 トヨタ自動車株式会社 覚醒度判定装置及び覚醒度判定方法
WO2008070148A1 (en) * 2006-12-05 2008-06-12 Axon Sleep Research Laboratories, Inc. Pressure support device with dry electrode sleep staging device
US9024764B2 (en) * 2007-01-25 2015-05-05 Honda Motor Co., Ltd. Method and apparatus for manipulating driver core temperature to enhance driver alertness
JP4259585B2 (ja) * 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置，プログラムおよび眠気判定方法
FR2924324B1 (fr) * 2007-11-29 2010-01-29 Imra Europ Sas Systeme de mesure du rythme cardiaque d'un utilisateur
CN101969850B (zh) * 2008-03-14 2016-01-20 皇家飞利浦电子股份有限公司 用于维持对象的状态的方法和***
TW201025207A (en) * 2008-12-31 2010-07-01 Ind Tech Res Inst Drowsiness detection method and apparatus thereof
CN101822537A (zh) * 2009-03-07 2010-09-08 深圳富泰宏精密工业有限公司 提醒装置及其提醒方法
WO2010140241A1 (ja) 2009-06-04 2010-12-09 富士通株式会社 覚醒度判定装置、覚醒度判定方法および覚醒度判定プログラム
EP2441387A4 (en) * 2009-06-08 2014-12-31 Univ Nagoya City DEVICE FOR ASSESSING SOMNOLENCE
US8957779B2 (en) 2009-06-23 2015-02-17 L&P Property Management Company Drowsy driver detection system
EP2489307B1 (en) * 2009-10-14 2018-10-03 Delta Tooling Co., Ltd. Biological state estimation device and computer program
JP5343879B2 (ja) * 2010-02-01 2013-11-13 株式会社デンソー 覚醒支援装置
JP5553303B2 (ja) * 2010-02-18 2014-07-16 株式会社デルタツーリング 生体状態推定装置及びコンピュータプログラム
WO2012056546A1 (ja) * 2010-10-28 2012-05-03 富士通株式会社 覚醒度判定装置、覚醒度判定方法及び覚醒度判定プログラム
CN103347446B (zh) * 2010-12-10 2016-10-26 Tk控股公司 用于监控车辆驾驶员的***
AT12714U1 (de) * 2011-01-31 2012-10-15 Otto Bauer Herzfrequenz-überwachungsgerät mit aktuator-ausgang
TWI478691B (zh) * 2012-01-06 2015-04-01 Wistron Corp 睡意偵測方法及其裝置
US10758168B2 (en) * 2012-06-18 2020-09-01 The Boeing Company Method and system for the automated assessment of fatigue mitigation strategies
US20140081159A1 (en) * 2012-09-17 2014-03-20 Holux Technology Inc. Non-invasive continuous blood pressure monitoring system and method
CN104837403A (zh) * 2012-11-27 2015-08-12 佛吉亚汽车座椅有限责任公司 具有集成传感器的车辆座椅
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6629199B2 (ja) * 2013-11-22 2020-01-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 無呼吸安全管理
EP3107455B1 (en) 2014-02-20 2023-04-26 Faurecia Automotive Seating, LLC Vehicle seat with integrated sensors
JP6173249B2 (ja) * 2014-03-28 2017-08-02 株式会社デンソーアイティーラボラトリ ドライバ状態判定装置及びドライバ状態判定プログラム
KR101646401B1 (ko) 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
FR3030384B1 (fr) * 2014-12-17 2018-05-11 Valeo Systemes Thermiques Procede de maintien de la vigilance d'un conducteur pour vehicule automobile
JP6596847B2 (ja) 2015-03-09 2019-10-30 富士通株式会社 覚醒度判定プログラムおよび覚醒度判定装置
US10173687B2 (en) * 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
CN106361270B (zh) * 2015-07-22 2021-05-07 松下电器（美国）知识产权公司 清醒度预测方法和清醒度预测装置
US10046671B2 (en) 2015-08-14 2018-08-14 Faurecia Automotive Seating, Llc Occupant-recognition system for vehicle seat
KR101767316B1 (ko) * 2015-09-17 2017-08-10 김영일 졸음 경고 방법 및 장치
US10918337B2 (en) 2016-06-03 2021-02-16 Faurecia Automotive Seating, Llc Vehicle seat with integrated sensors
US11197637B2 (en) 2016-06-20 2021-12-14 Faurecia Automotive Seating, Llc Control system for a vehicle seat
US10730524B2 (en) 2016-09-07 2020-08-04 Faurecia Automotive Seating, Llc Vehicle seat
TW201821313A (zh) * 2016-12-14 2018-06-16 鴻海精密工業股份有限公司 汽車行車安全智能檢測環及汽車方向盤
JP6874516B2 (ja) * 2017-05-11 2021-05-19 いすゞ自動車株式会社 車両の運転制御システム及び車両の運転制御方法
US11083379B2 (en) 2017-08-02 2021-08-10 Faurecia Automotive Seating, Llc Health-monitoring seat cover
JP7167833B2 (ja) * 2019-04-22 2022-11-09 株式会社デンソー ウェアラブルセンサおよびそれを用いた操作支援システム
CN112546394A (zh) * 2020-12-15 2021-03-26 珠海格力电器股份有限公司 环境管理设备
DE112020007890T5 (de) * 2020-12-28 2023-10-05 Mitsubishi Electric Corporation Wachniveau-Schätzvorrichtung, Wachniveau-Schätzverfahren, Wachniveau-Lernvorrichtung und Wachniveau-Lernverfahren
JP2022175039A (ja) * 2021-05-12 2022-11-25 トヨタ自動車株式会社 車両利用料金決定システム及び車両利用料金決定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59214429A (ja) * 1983-05-23 1984-12-04 株式会社デンソー 自動車用心拍検出器
JPS6015240A (ja) 1983-07-04 1985-01-25 Nippon Soken Inc シートベルト装置
US4832038A (en) * 1985-06-05 1989-05-23 The Board Of Trustees Of University Of Illinois Apparatus for monitoring cardiovascular regulation using heart rate power spectral analysis
US5769085A (en) * 1993-01-06 1998-06-23 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Apparatus for detecting awareness of a vehicle driver and method thereof
JPH07143972A (ja) 1993-11-25 1995-06-06 Matsushita Electric Works Ltd 睡眠状態判定方法及びその装置
US5813993A (en) * 1996-04-05 1998-09-29 Consolidated Research Of Richmond, Inc. Alertness and drowsiness detection and tracking system
IL118854A0 (en) * 1996-07-15 1996-10-31 Atlas Dan Personal micro-monitoring and alerting device for sleepiness
US6070098A (en) * 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
JPH11314534A (ja) 1998-05-06 1999-11-16 Nissan Motor Co Ltd 車両用注意能力低下防止装置
JPH11321375A (ja) 1998-05-20 1999-11-24 Denso Corp 車両用居眠り運転判定装置
US6506153B1 (en) * 1998-09-02 2003-01-14 Med-Dev Limited Method and apparatus for subject monitoring
US6678547B2 (en) * 2001-03-08 2004-01-13 Cardiac Pacemakers, Inc. Cardiac rhythm management system using time-domain heart rate variability indicia
CN2461804Y (zh) * 2000-10-24 2001-11-28 凌启瑞 汽车驾驶员防瞌睡报警安全装置
GB2375645A (en) * 2001-02-08 2002-11-20 Douglas Maximillian Lore Mudge Drowsiness monitor having a means for detecting a metabolic function of a user
US20030199943A1 (en) * 2002-04-17 2003-10-23 Orly Katz Method and device for maintaining wakefulness and preventing undesired sleep
JP3846872B2 (ja) * 2002-06-27 2006-11-15 パイオニア株式会社 運転者精神状態情報提供システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718941B1 (ko) * 2005-12-05 2007-05-16 권기철 졸음 경고장치 및 졸음 경고방법
KR100975590B1 (ko) * 2008-05-22 2010-08-13 (주) 텔트론 졸음 감지방법
KR101316746B1 (ko) * 2011-12-28 2013-10-08 썬메디텍 (주) 모바일 응급환자 모니터링 시스템

Also Published As

Publication number Publication date
JP2004350773A (ja) 2004-12-16
US7206631B2 (en) 2007-04-17
CN100346999C (zh) 2007-11-07
DE102004025895A1 (de) 2004-12-30
JP4111062B2 (ja) 2008-07-02
KR100563641B1 (ko) 2006-03-23
FR2855390B1 (fr) 2007-03-30
US20040243013A1 (en) 2004-12-02
FR2855390A1 (fr) 2004-12-03
CN1572575A (zh) 2005-02-02
DE102004025895B4 (de) 2018-10-11

Similar Documents

Publication Publication Date Title
KR100563641B1 (ko) 졸음 정도 검출 장치
EP2087841B1 (en) Arousal level judging method and arousal level judging program
US7429247B2 (en) Sleep state estimating device and program product
US7397382B2 (en) Drowsiness detecting apparatus and method
US20050080349A1 (en) Sleep state estimation device and program product for providing a computer with a sleep state estimation function
US7250029B2 (en) Human condition evaluation system, computer program, and computer-readable record medium
EP3061396B1 (en) Alertness device, seat, and method for determining alertness
WO2007052729A1 (ja) 人の状態検出装置
EP3061397B1 (en) Alertness device, seat, and method for determining alertness
JP4701694B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP2009219541A (ja) 飲酒状態検出装置
JPH10146321A (ja) 運転者監視装置
JP3480483B2 (ja) 覚醒度推定装置
JP2001204714A (ja) メンタルストレス判定装置
KR20140074567A (ko) 차량 운전자 졸음운전 방지방법 및 그 시스템
JP2013000283A (ja) 眠気判定装置
JP3250474B2 (ja) メンタルストレス判定装置
JPH0919420A (ja) 生理状態判定方法及び生理状態判定装置
JPH0542129A (ja) 覚醒度判定装置
JP2007044154A (ja) 覚醒度判定方法
JP2006223635A (ja) 居眠り運転検出装置及び居眠り運転検出方法
JPH09309358A (ja) 車間距離警報装置
JPH0670898A (ja) 睡眠状態モニター装置
JP6750229B2 (ja) 眠気検知プログラム、眠気検知方法および眠気検知装置
JPH05184558A (ja) 運転者の異常検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140307

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150306

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180309

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee