KR20110052453A - 운전자 졸음 판단 및 경고 장치 및 방법 - Google Patents

운전자 졸음 판단 및 경고 장치 및 방법 Download PDF

Info

Publication number
KR20110052453A
KR20110052453A KR1020100097301A KR20100097301A KR20110052453A KR 20110052453 A KR20110052453 A KR 20110052453A KR 1020100097301 A KR1020100097301 A KR 1020100097301A KR 20100097301 A KR20100097301 A KR 20100097301A KR 20110052453 A KR20110052453 A KR 20110052453A
Authority
KR
South Korea
Prior art keywords
driver
unit
drowsiness
area
vehicle
Prior art date
Application number
KR1020100097301A
Other languages
English (en)
Inventor
조진희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20110052453A publication Critical patent/KR20110052453A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 졸음 판단 및 경고 장치 및 방법에 관한 것으로, 본 발명에 따른 운전자 졸음 판단 및 경고 장치는 운전자의 눈동자를 촬영하여 생성한 디지털 이미지를 송신하는 영상 송신부; 상기 운전자의 차량의 운행 여부를 판단하는 차량 운행 여부 판단부; 상기 영상 송신부로부터 수신한 상기 디지털 이미지 상에서 홍채 영역을 추출하여 상기 홍채 영역의 면적을 계산하고, 상기 차량 운행 여부 판단부가 상기 차량이 운행 중인 것으로 판단하는 경우, 기 설정된 시간 동안 상기 홍채 영역의 면적이 초기 홍채 영역의 면적 보다 감소하는 횟수가 기 설정된 횟수를 초과하면 상기 운전자가 졸음 상태인 것으로 판단하는 졸음 판정부; 상기 졸음 판정부가 상기 운전자가 졸음 상태인 것으로 판단하면 상기 운전자의 졸음을 방지하기 위한 동작을 수행하는 졸음 방지 수행부; 및 상기 졸음 판정부로부터 상기 운전자의 졸음 상태에 대한 정보를 수신하여 제공하는 상태 보고부를 포함한다.

Description

운전자 졸음 판단 및 경고 장치 및 방법{Method and apparatus for driver sleepiness detecting and warning}
본 발명은 운전자 졸음 판단 및 경고 장치 및 방법에 관한 것으로, 보다 상세하게는 운전자의 눈동자 이미지를 이용해 운전자의 졸음 상태를 판단하여 운전자에게 경고하는 운전자 졸음 판단 및 경고 장치 및 방법에 관한 것이다.
오늘날에는 자동차, 2륜 오토바이, 철도, 배, 비행기 등의 운송 수단이 널리 사용됨에 따라 사람의 이동과 물류의 수송 등을 자유롭게 하고 있다. 그러나, 이들 운송 수단은 졸음 운전으로 인해 막대한 인명 피해 및 물적 피해가 발생하여 사회적으로 큰 현안이 되고 있다.
이를 해소하고자 운전자의 졸음을 예방하기 위한 방법으로서 다양한 방법이 제시되어 왔으나, 현실적으로 효과적으로 적용된 사례는 드물다. 이와 같이 실질적으로 졸음 운전을 예방하기 어려운 이유는 다음과 같은 졸음 운전의 특징에 기인한다.
첫째로 이동수단에 있어서 운전자의 졸음은 수 초의 짧은 순간에 발생하여 치명적 사고로 이어질 수 있는데 이와 같이 짧은 수간에 발생하는 졸음 효과적으로 식별하기 어렵다. 예를 들어, 운전자의 졸음 운전을 예방하기 위하여 운전자가 일정 시간마다 버튼을 눌러 타이머 리셋하는 등의 특정 행위를 하도록 하는 장치의 경우, 그 시간 주기를 짧게 하여야 사고 예방에 도움이 되므로 그 행위로 인해 오히려 운전에 오히려 방해가 되고, 그 시간 주기를 길게 하면 수초 사이에 발생하는 졸음을 탐지하지 못하는 문제점이 있다.
둘째로 운전자의 졸음 상태와 정상 상태의 차이를 구분하기 어렵다. 예를 들어, 눈 깜박임을 통해 졸음을 식별하는 기술의 경우, 운전자는 식별할 수 있는 눈의 깜박임 없이 수 초간 졸음 운전을 할 수도 있으므로 완전히 눈을 감기 전까지의 졸음 운전으로 인하여 사고가 발생할 위험이 매우 높다. 또 다른 기술로서 스티어링 휠에 체압을 측정하는 장치를 설치하여 파지력의 변화에 따라 졸음 상태를 구분하는 방법도 있으나, 초보 운전자가 아닌 대부분 운전자의 경우 기본적으로 약한 파지력을 유지하면서 운전을 하기 때문에 뚜렷한 파지력의 변화 없이도 졸음 운전을 할 수 있다. 이 외에도 뇌파를 측정하여 졸음을 판단하는 경우도 있으나, 뇌파를 측정하는 장비의 경제성 및 그 정확성을 고려했을 때 현재까지는 실제 적용하기에 어려운 문제점이 있다.
셋째로 졸음 상태 탐지에 방해가 되는 요소가 다수 있다. 예를 들면, 운전석 전면에 카메라를 설치하여 운전자의 아이 라인을 파악하여 졸음 상태를 탐지하는 방법의 경우, 짙은 선글라스 또는 일반 안경의 테 등이 일시적으로 또는 지속적으로 눈의 상태를 파악할 수 없도록 하는 방해 요소가 될 수 있다.
따라서, 이러한 졸음 운전의 특성을 반영하여 짧은 시간내에 효과적으로 운전자의 졸음 상태를 파악하여 신속하게 운전자에게 졸음 상태를 인식 또는 경고할 수 있는 수단이 요구되고 있다.
본 발명은 상기된 문제점들을 해결하기 위하여 안출된 것으로, 짧은 시간 내에 운전자의 졸음 상태를 효과적으로 진단하고, 다양한 졸음 운전 방지 수단과의 연계를 통하여 운전자에게 졸음 상태를 통지 및 경고하고자 한다.
상기한 목적을 달성하기 위해 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치는 운전자의 눈동자를 촬영하여 생성한 디지털 이미지를 송신하는 영상 송신부; 상기 운전자의 차량의 운행 여부를 판단하는 차량 운행 여부 판단부; 상기 영상 송신부로부터 수신한 상기 디지털 이미지 상에서 홍채 영역을 추출하여 상기 홍채 영역의 면적을 계산하고, 상기 차량 운행 여부 판단부가 상기 차량이 운행 중인 것으로 판단하는 경우, 기 설정된 시간 동안 상기 홍채 영역의 면적이 초기 홍채 영역의 면적 보다 감소하는 횟수가 기 설정된 횟수를 초과하면 상기 운전자가 졸음 상태인 것으로 판단하는 졸음 판정부; 상기 졸음 판정부가 상기 운전자가 졸음 상태인 것으로 판단하면 상기 운전자의 졸음을 방지하기 위한 동작을 수행하는 졸음 방지 수행부; 및 상기 졸음 판정부로부터 상기 운전자의 졸음 상태에 대한 정보를 수신하여 제공하는 상태 보고부를 포함한다.
본 발명에 따르면 짧은 시간 내에 운전자의 졸음 상태를 효과적으로 진단하고, 다양한 졸음 운전 방지 수단과의 연계를 통하여 운전자의 졸음을 경고 및 예방할 수 있다.
또한, 본 발명에 따르면 운전자의 필요에 따라 차량의 AV 시스템, 시트에 설치된 안마기, 실내 온도 조절기 등의 다양한 졸음 운전 방지 수단과의 연계를 통하여 보다 효과적으로 운전자에게 졸음 상태를 통지 및 경고할 수 있다.
또한, 본 발명에 따르면 운전자의 또한 졸음 운전 이력을 기록하고 이를 분석하여 운전 습관을 개선할 수 있도록 유도하기 위한 유용한 정보로 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치의 구성도이다.
도 2는 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 홍채 영역 분석부의 동작 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 졸음 상태 판정부의 동작 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 제어부의 구성도이다.
도 7은 본 발명의 일실시예에 따른 상태 보고부의 동작 방법을 설명하기 위한 흐름도이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치의 구성도이고, 도 2는 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치를 도시한 도면이다.
도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 장치는 영상 송신부(110), 졸음 판정부(120), 차량 운행 여부 판단부(130), 졸음 방지 수행부(140) 및 상태 보고부(150)를 포함한다.
영상 송신부(110)는 운전자의 눈동자를 촬영한 디지털 이미지를 생성하여 송신하는데, 안경, 선글라스 또는 헬멧 등과 같이 운전자의 눈과 일정거리에 고정이 가능한 물건 또는 장치에 부착되어 운전자의 눈동자의 이미지를 촬영한다. 영상 송신부(110)는 이와 같이 촬영된 눈동자의 이미지를 디지털 이미지로 변환하여 졸음 판정부(120)로 송신한다.
차량 운행 여부 판단부(130)는 운전자가 운전하는 차량의 운행 여부를 판단한다.
졸음 판정부(120)는 영상 송신부(110)로부터 수신한 디지털 이미지 상에서 홍채 영역을 추출하여 상기 홍채 영역의 면적을 계산한다. 차량 운행 여부 판단부(130)가 상기 차량이 운행 중인 것으로 판단하는 경우에는 졸음 판정부(120)가 상기 홍채 영역의 면적이 감소하는 횟수가 기 설정된 시간 동안 기 설정된 횟수를 초과하면 상기 운전자가 졸음 상태인 것으로 판단한다.
졸음 방지 수행부(140)는 졸음 판정부(120)가 상기 운전자가 졸음 상태인 것으로 판단함에 따라 졸음 판정부(120)로부터 제어 신호를 수신하여 운전자의 졸음을 방지하기 위한 동작을 수행한다.
상태 보고부(150)는 졸음 판정부(120)로부터 상기 운전자의 졸음 상태에 대한 정보를 수신하고 상기 정보를 분석하여 보고한다.
이후부터는 영상 송신부(110), 졸음 판정부(120), 차량 운행 여부 판단부(130), 졸음 방지 수행부(140) 및 상태 보고부(150)의 각 구성을 보다 상세하게 설명하기로 한다.
도 1 및 도 2에 도시된 봐와 같이 영상 송신부(110)는 운전자의 안경 또는 선글라스 등에 부착되어 운전자의 눈동자를 촬영한 디지털 이미지를 졸음 판정부(120)로 전달한다.
영상 송신부(110)는 눈동자를 촬영하여 디지털 이미지로 변환하는 영상 입력부(111), 상기 디지털 이미지를 졸음 판정부(120)로 전송하고 졸음 판정부(120)로부터 영상 입력부(111) 및 조명부(115)의 동작을 제어하는 신호를 수신하는 송수신부(112), 영상 송신부(110)의 동작 전원을 공급하는 전원 공급부(113), 영상 송신부(110)가 운전자의 안경, 선글라스 또는 헬멧 등의 장치에 부착되도록 하는 안경 부착부(114) 및 야간이나 터널 내 주행 시와 같이 충분한 조명이 확보되지 않을 경우 적외선 등을 이용한 조명을 제공하는 조명부(115)를 포함한다.
도 2에 도시된 바와 같이 영상 입력부(111)와 조명부(115)는 안경 또는 선글라스의 테의 상단부에 안경 부착부(114)를 통해 고정되어 있다. 한편, 도 2에 도시된 실시예에서는 송수신부(112) 및 전원 공급부(113)가 영상 입력부(111) 및 조명부(115)와 분리되어 전선으로 연결되도록 구성하였으나 이와 달리 일체로 구현하여 안경 또는 선글라스 테의 상단에 고정되도록 구성될 수 있다.
영상 송신부(110)를 운전자의 안경 또는 선글라스 등에 부착하는 것이 보다 바람직한 이유는, 차량의 전면에 설치하여 눈의 깜박임이나 눈을 감은 상태를 파악하는 경우에는 안경테, 선글라스테 또는 운전자 두부의 회전 움직임 등으로 인해 눈동자를 촬영할 수 없기 때문이다. 안경, 선글라스 또는 헬멧과 같이 눈과 고정 거리에 있는 곳에 장착함으로써 두부의 움직임이나 장애물의 여부에 상관없이 보다 안정적으로 눈동자 이미지를 얻을 수 있다.
영상 송신부(110)의 송수신부(112)가 졸음 판정부(120)와 무선으로 영상을 송수신하기 위한 통신 기술로는 블루투스나 적외선 통신 등 다양한 무선 통신 기술이 사용될 수 있다. 조명부(115)는 운전자에게 눈부심 등의 자극이 적은 적외선 조명을 사용하도록 구성될 수 있으나, 이 외에도 다른 다양한 조명을 사용할 수 있다.
졸음 판정부(120)는 영상 송신부(110)로부터 눈동자의 디지털 이미지를 수신하는 송수신부(121), 수신한 눈동자 이미지를 분석하여 동공을 포함하는 홍채 영역의 면적을 측정하는 홍채 영역 분석부(122), 상기 분석된 홍채 영역의 면적 정보를 전달받아서 운전자의 졸음 상태를 판정하는 졸음 상태 판정부(123), 운전자의 홍채 영역 분석 정보를 저장하는 정보 저장부(124), 운전자가 입력한 명령에 따라 영상 조절부(126)를 제어하거나 운전자의 졸음 상태를 판정한 결과에 따라 졸음 방지 수행부(140)를 제어하는 제어부(125), 운전자의 눈동자의 디지털 이미지의 품질이 향상되도록 영상 송신부(110)의 영상 입력부(111)의 초점을 조절하는 영상 조절부(126), 졸음 판정부(120)의 동작 전원을 공급하는 전원 공급부(127)를 포함한다.
졸음 상태 판정부(123)는 일정 시간 동안 상기 홍채 영역의 면적이 감소하는 횟수가 기 설정된 횟수를 초과하면 운전자가 졸음 상태인 것으로 판단한다.
정보 저장부(124)는 졸음 판정부(120) 상에 내장된 반도체 메모리로 구성되거나, PC등의 다른 장치로 정보를 이동하여 저장할 수 있는 SD, CF, TFlash 메모리 카드 등의 다양한 외장 저장 장치로 구성될 수 있다.
차량 운행 여부 판단부(130)는 운전자 차량의 운행 여부를 판단하고 그 판단 결과를 졸음 판정부(120)의 제어부(125)에 전달한다.
차량 운행 여부 판단부(130)는 차량의 운행 또는 움직임 여부를 판단하는 움직임 판단부(131), GPS 신호를 이용한 차량 좌표의 변화를 통해 차량의 운행 또는 움직임을 감지하는 GPS부(132), 차량의 브레이크 작동 여부를 확인하여 차량의 운행 또는 움직임을 감지하는 브레이크 신호 처리부(133) 및 운전자가 직접 차량의 운행, 움직임 또는 정지 신호를 임의로 입력할 수 있는 사용자 입력 동작 신호부(134)를 포함한다.
움직임 판단부(131)는 GPS부(132), 브레이크 신호 처리부(133) 및 사용자 입력 동작 신호부(134)로부터 전달되는 신호에 의하여 차량의 운행, 움직임 또는 정지를 판단하는데, 이때 GPS부(132), 브레이크 신호 처리부(133) 및 사용자 입력 동작 신호부(134) 중에서 적어도 하나 이상의 모듈로부터 차량의 움직임이 없다는 신호를 수신하는 경우에 차량이 운행하지 않거나 움직임이 없는 것으로 판단하고, 상기와 같이 판단한 결과를 졸음 판정부(120)의 제어부(125)로 전달한다.
GPS부(132)를 통하여 차량의 움직임 여부를 확인하는 경우에는 지하도 등 위성신호를 수신할 수 없는 지역에서는 동작이 되지 않는 단점이 있다. 그러므로, 브레이크 신호 처리부(133)를 통해 차량의 브레이크 작동의 여부로 차량의 운행 여부를 판단하도록 구성된다.
예를 들어, GPS부(132)는 차량의 움직임 여부를 알리기 위해 차량의 좌표 위치의 변화를 인지하여 움직임이 있는 경우 일정한 전기 신호(차량의 표준 전압 10 V ~ 14 V)을 상기 움직임 판단부(131)에 제공하도록 구성될 수 있다. 또한, 브레이크 신호 처리부(133)는 차량 휴즈 박스의 후미 브레이크등 회로에 연결된 휴즈에 연결하여 브레이크가 작동하였을 때 브레이크등에 전압이 인가되는 것으로 판단하여 브레이크의 작동 여부를 판단할 수 있다. 그뿐만 아니라 사용자 입력 동작 신호부(134)는 스위치를 통하여 운전자가 필요에 따라 졸음 판정 기능을 운전 중에 또는 일시적으로 정지시킬 수 있도록 하고, 상기 스위치가 차량 표준 전압인 12 V를 움직임 판단부(131)에 전달하도록 구성하여, 움직임 판단부(131)가 차량의 움직임 여부를 판단하도록 구성할 수 있다. 움직임 판단부(131)는 사용자 입력 동작 신호부(134)를 통한 명령의 입력이 있으면 차량의 움직임이 없는 것으로 판단한다.
졸음 판정부(120)가 운전자가 졸음 상태인 것으로 판단하고 그에 따라 졸음 방지 수단이 동작하도록 하는 제어 신호를 송신하면, 졸음 방지 수행부(140)는 상기 제어 신호를 수신하여 상기 운전자의 졸음을 방지하기 위한 동작을 수행한다.
졸음 방지 수행부(140)는 사용자의 필요에 따라 다양한 장치로 구성될 수 있다. 예를 들어, 오디오 또는 비디오 시스템, 차량의 창문 개폐 장치, 좌석에 설치된 안마기 등으로 구성되어 운전자의 졸음을 방지하기 위한 동작을 수행할 수 있다. 그뿐만 아니라 졸음 방지 수행부(140)는 다양한 외부 장치들과 연결될 수 있도록 구성되어 운전자의 졸음을 방지하기 위한 동작을 수행할 수 있으며, 이를 위하여 차량의 표준 전압12 V 및 전류 300mA 인가하는 인터페이스를 제공하도록 구성될 수 있다.
상태 보고부(150)는 졸음 판정부(120)로부터 졸음 상태 정보를 받기 위한 송수신부(151), 정보 저장부(124)가 외장 저장 장치로 구성된 경우 외장 저장 장치에 저장된 정보를 읽어오기 위한 외장 저장 장치 연결부(152), 송수신부(151) 또는 외장 저장 장치 연결부(152)로부터 졸음 상태 이력 정보를 전달받아 운전자의 졸음 상태 이력을 분석하는 상태 이력 분석부(153) 및 상기 분석된 정보를 사용자에게 제공하는 분석 정보 출력부(154)를 포함한다.
도 3은 본 발명의 일실시예에 따른 운전자 졸음 판단 및 경고 방법을 설명하기 위한 흐름도이다.
단계(S301)에서는 운전자의 눈동자를 촬영하여 디지털 이미지를 생성한다.
단계(S302)에서는 상기 생성된 디지털 이미지 상에서 홍채 영역을 추출하고, 추출된 홍채 영역의 면적을 계산한다.
이후, 단계(S303)에서는 운전자의 차량이 운행 중인지를 판단한다.
단계(S303)에서의 판단 결과 상기 운전자의 차량이 운행 중이면, S304 단계에서는 기 설정된 시간 동안 상기 홍채 영역의 면적이 초기 홍채 영역의 면적 보다 감소하는 횟수가 기 설정된 횟수를 초과하는지 판단한다.
단계(S304)에서의 판단 결과 상기 홍채 영역의 면적이 감소하는 횟수가 기 설정된 시간 동안 기 설정된 횟수를 초과하면, 단계(S305)에서는 상기 운전자가 졸음 상태인 것으로 판단하여 운전자의 졸음을 방지하기 위한 동작을 수행한다.
이후, 단계(S306)에서는 운전자의 졸음 상태에 대한 정보를 제공한다.
도 4는 본 발명의 일실시예에 따른 홍채 영역 분석부(122)의 동작 방법을 설명하기 위한 흐름도이다.
단계(S401)에서 송수신부(121)로부터 눈동자를 촬영한 디지털 이미지를 전달 받는다.
단계(S402)에서는 상기 수신한 디지털 이미지의 밝기가 충분한지 판단한다. 상기 단계(S402)에서의 판단 결과 상기 디지털 이미지의 밝기가 충분하지 않으면, 단계(S403)에서는 조명부(115)가 동작하도록 제어하는 명령 신호를 영상 송신부(110)의 조명부(115)로 송신한다.
상기 단계(S402)에서의 판단 결과 상기 디지털 이미지의 밝기가 충분하면, S404 단계에서는 상기 디지털 이미지의 초점이 적절한지 판단한다.
상기 단계(S404)에서의 판단 결과 상기 디지털 이미지의 초점이 적절하지 않으면, 단계(S405)에서는 영상 조절부(126)에 제어 명령을 전달하여 영상 송신부(110)의 영상 입력부(111)가 초점을 조절하도록 한다.
상기 단계(S404)에서의 판단 결과 상기 디지털 이미지의 초점이 적절하면, 단계(S406)에서는 상기 디지털 이미지 상의 홍채 영역을 추출한다. 이때, 홍채 영역을 식별하는 방법은 다양한 방법이 있으며 본 발명의 일실시예에서는 비교적 실시가 용이한 방법인 둥근 형태의 패턴을 이용해 홍채 영역을 추출하는 방법을 사용한다.
이후, 단계(S407)에서는 홍채를 식별하여 측정이 가능한지를 판단하고, 상기 단계(S407)에서의 판단 결과 식별이 불가능하면 단계(S408)에서는 부울린(Boolean) 값을 거짓(False)로 책정하여 졸음 상태 판정부(123)로 전달한다.
상기 단계(S407)에서의 판단 결과 홍채의 식별이 가능하면, 단계(S409)에서는 원 형태의 패턴과 비교하여 식별된 홍채 영역 내부의 면적을 계산한다. 이때, 상기 홍채 영역은 동공을 포함한 영역이다.
이후, 단계(S410)에서는 부울린 값을 진실(True)로 책정하여 졸음 상태 판정부(123)로 전달하고, 단계(S411)에서는 기 설정된 딜레이(Delay) 값만큼 시간을 지연한 후, 상기 단계(S401) 및 그 이후의 단계를 반복적으로 수행한다. 상기 딜레이 값만큼 시간을 지연을 하는 이유는 유효한 주기를 가지고 운전자의 졸음 상태를 파악하기 위함이며, 빠른 시간 내 졸음 상태를 판정해야 하는 특성을 고려할 때 상기 딜레이 값은 0.05초 ~ 1초의 값을 가지는 것이 바람직하다. 이와 같은 딜레이 값만큼 시간을 지연하는 구성은 소프트웨어의 타이머 기능을 이용하여 쉽게 구현할 수 있다.
도 5는 본 발명의 일실시예에 따른 졸음 상태 판정부(123)의 동작 방법을 설명하기 위한 흐름도이다.
단계(S501)에서 초기화를 실시하여 정상적인 상태의 운전자의 홍채 영역 면적을 정보 저장부(124)에 저장한다.
단계(S502)에서는 홍채 영역 분석부(122)로부터 운전자의 홍채 영역 면적 및 부울린 값을 수신하고, 단계(S503)에서는 차량 운행 여부 판단부(130)로부터 차량의 움직임 정보를 수신하며, 단계(S504)에서는 차량이 운행 중인지 판단한다.
상기 단계(S504)에서의 판단 결과 차량이 운행 중이 아니면, 단계(S505)에서 카운터 N의 값을 리셋하고 다시 운전자의 홍채 영역 면적 및 부울린 값을 수신한다. 상기와 같이 차량이 이동 중이지 않을 경우에는 운전자의 졸음 상태를 파악할 필요가 없다. 이는 운전자가 휴식을 취하는 등의 상황에서 졸음으로 판정하는 상황이 발생하지 않도록 하기 위함이다.
상기 단계(S504)에서의 판단 결과 차량이 운행 중이면, 단계(S506)에서는 상기 수신한 부울린 값이 진실(True)인지 판단한다.
상기 단계(S504)에서의 판단 결과 상기 부울린 값이 진실(True)이면, 단계(S507)에서는 상기 단계(S501)에서의 초기화 시에 저장되었던 정상적인 상태의 운전자의 홍채 영역 면적과 단계(S502)에서 홍채 영역 분석부(122)로부터 수신한 홍채 영역 면적을 비교하여, 상기 홍채 영역 분석부(122)로부터 수신한 홍채 영역 면적이 감소하였는지 판단한다. 이때, 홍채 영역 면적의 감소의 판단 시에는 빛의 종류에 따라 인식되는 홍채 영역의 변화 등의 노이즈를 감안했을 때 30 ~ 50% 이상 감소되었을 때 홍채 영역 면적이 감소한 것으로 설정하는 것이 바람직하다.
상기 단계(S507)에서의 판단 결과 운전자의 홍채 면적이 감소하였으면, 단계(S508)에서는 카운터 N의 값을 증가 시킨다. 이와 같은 카운터 N은 시간의 경과에 따라 홍채 영역 면적이 변화된 횟수를 나타낸다. 만약 운전자의 홍채 면적 측정을 0.1초의 주기로 실시하였을 때 카운터 N이 20이 되었다면, 운전자가 눈을 감기 시작해서 2초의 시간이 흐른것으로 해석할 수 있다.
이후, 단계(S509)에서는 상기 카운터 N의 값이 기준 값(Max)을 초과하였는지 판단한다. 이때, 상기 기준 값은 사용자가 자유롭게 설정할 수 있다. 일반적으로 운전자가 눈을 감은지 2 초 ~ 3 초의 시간이 흐르면 졸음 상태인 것으로 판단하도록 카운터 N의 값, 홍채 면적의 측정 주기 및 기준 값(Max)을 설정하는 것이 바람직하며, 상기와 같은 변수들은 운전자가 자유롭게 설정할 수 있다.
상기 단계(S509)에서의 판단 결과 상기 카운터 N의 값이 기준 값을 초과하면, 단계(S510)에서는 운전자가 졸음 상태인 것으로 판단하고 졸음 상태로 판정한 결과를 제어부(125)로 전달한다.
도 6은 본 발명의 일실시예에 따른 제어부(125)의 구성도이다.
본 발명의 일실시예에 따른 제어부(125)는 제어 정보 입력부(601), 작동 모드 제어부(602), 신호 생성부(603) 및 로그 기록부(604)를 포함한다.
제어 정보 입력부(601)는 운전자 또는 사용자로부터의 제어 명령을 입력 받는다.
작동 모드 제어부(602)는 운전자의 졸음을 방지하기 위한 동작을 수행하도록 졸음 방지 수행부(140)에 명령 신호를 전달하거나, 상기 사용자로부터의 제어 명령에 상응하게 카메라의 초점 등을 조절하는 신호를 영상 조절부(126)로 전달하거나, 로그 기록부(604)가 졸음 운전 상태의 이력을 기록하도록 제어한다.
신호 생성부(603)는 작동 모드 제어부(602)의 제어에 의해 졸음 방지 수행부(140) 측으로 외부 졸음 방지 수단을 기동할 수 있도록 하는 전압 및 전류 등의 신호를 전달한다.
로그 기록부(604)는 운전자의 졸음 상태 이력을 기록한다. 상기와 같이 운전자의 졸음 상태 이력을 기록함으로써, 운행을 종료한 후에 기록된 로그 정보를 외부 PC 등의 장비로 이동한 후 운전습관의 통계적 분석이 가능하도록 하여 운전자의 졸음 운전 습관을 개선하도록 유도한다.
도 7은 본 발명의 일실시예에 따른 상태 보고부(150)의 동작 방법을 설명하기 위한 흐름도이다.
단계(S701)에서 상태 보고부(150)는 송수신부(151) 또는 외장 저장 장치 연결부(152)를 통해 졸음 상태 정보를 수신하고, 상태 이력 분석부(153)는 상기 졸음 상태 정보를 전달받는다.
단계(S702)에서는 상태 이력 분석부(153)가 하나의 상태 정보 레코드를 추출한다.
단계(S703)에서는 상태 이력 분석부(153)가 상기 추출한 상태 정보 레코드가 레코드의 끝인지 판단한다.
상기 단계(S703)에서의 판단 결과 상기 추출한 상태 정보 레코드가 레코드의 끝이 아니면, 단계(S704)에서는 상태 이력 분석부(153)가 상기 상태 정보 레코드가 졸음 상태를 나타내는지 판단한다.
상기 단계(S704)에서의 판단 결과 상기 상태 정보 레코드가 졸음 상태이면, 단계(S705)에서는 상태 이력 분석부(153)가 졸음 상태의 시작 시간과 졸음 상태의 끝 시간을 추출하여 저장하고, 그 외의 졸음 상태 정보도 저장한다.
단계(S704)에서의 판단 결과 상기 상태 정보 레코드가 졸음 상태가 아니면 상기 단계(S702) 이후를 다시 진행한다.
상기 단계(S703)에서의 판단 결과 상기 추출한 상태 정보 레코드가 레코드의 끝이면, 단계(S706)에서 상태 이력 분석부(153)가 모든 졸음 상태 정보를 읽어 들여 분석한 것으로 판단하여 졸음 상태 이력을 분석 정보 출력부(154)로 전달하고, 분석 정보 출력부(154)는 졸음 상태 이력을 시간대 별로 출력한다.
상기와 같은 졸음 상태 정보 레코드는 다음의 표1과 같이 표현될 수 있다.
Figure pat00001
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상 송신부 111: 영상 입력부
112: 송수신부 113: 전원 공급부
114: 안경 부착부 115: 조명부
120: 졸음 판정부 121: 송수신부
122: 홍채 영역 분석부 123: 졸음 상태 판정부
124: 정보 저장부 125: 제어부
126: 영상 조절부 127: 전원 공급부
130: 차량 운행 여부 판단부 131: 움직임 판단부
132: GPS부 133: 브레이크 신호 처리부
134: 사용자 입력 동작 신호부 140: 졸음 방지 수행부
150: 상태 보고부 151: 송수신부
152: 외장 저장 장치 연결부 153: 상태 이력 분석부
154: 분석 정보 출력부

Claims (1)

  1. 운전자의 눈동자를 촬영하여 생성한 디지털 이미지를 송신하는 영상 송신부;
    상기 운전자의 차량의 운행 여부를 판단하는 차량 운행 여부 판단부;
    상기 영상 송신부로부터 수신한 상기 디지털 이미지 상에서 홍채 영역을 추출하여 상기 홍채 영역의 면적을 계산하고, 상기 차량 운행 여부 판단부가 상기 차량이 운행 중인 것으로 판단하는 경우, 기 설정된 시간 동안 상기 홍채 영역의 면적이 초기 홍채 영역의 면적 보다 감소하는 횟수가 기 설정된 횟수를 초과하면 상기 운전자가 졸음 상태인 것으로 판단하는 졸음 판정부;
    상기 졸음 판정부가 상기 운전자가 졸음 상태인 것으로 판단하면 상기 운전자의 졸음을 방지하기 위한 동작을 수행하는 졸음 방지 수행부; 및
    상기 졸음 판정부로부터 상기 운전자의 졸음 상태에 대한 정보를 수신하여 제공하는 상태 보고부
    를 포함하는 운전자 졸음 판단 및 경고 장치.
KR1020100097301A 2009-11-11 2010-10-06 운전자 졸음 판단 및 경고 장치 및 방법 KR20110052453A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090108516 2009-11-11
KR1020090108516 2009-11-11

Publications (1)

Publication Number Publication Date
KR20110052453A true KR20110052453A (ko) 2011-05-18

Family

ID=44362549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100097301A KR20110052453A (ko) 2009-11-11 2010-10-06 운전자 졸음 판단 및 경고 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110052453A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701971A (zh) * 2016-03-23 2016-06-22 江苏大学 一种基于虹膜识别的防止疲劳驾驶***、装置及方法
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
KR20220170216A (ko) * 2021-06-22 2022-12-29 장덕환 졸음 방지 및 집중력 강화를 위한 스마트 안경

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701971A (zh) * 2016-03-23 2016-06-22 江苏大学 一种基于虹膜识别的防止疲劳驾驶***、装置及方法
CN105701971B (zh) * 2016-03-23 2018-04-03 江苏大学 一种基于虹膜识别的防止疲劳驾驶***、装置及方法
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
KR20220170216A (ko) * 2021-06-22 2022-12-29 장덕환 졸음 방지 및 집중력 강화를 위한 스마트 안경

Similar Documents

Publication Publication Date Title
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
US8063786B2 (en) Method of detecting drowsiness of a vehicle operator
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US5689241A (en) Sleep detection and driver alert apparatus
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
CN112960001A (zh) 驾驶模式的切换方法、装置、车辆及存储介质
JP2002509321A (ja) ドライバの眠気を検出し、その眠気を回避する方法および装置
Anjali et al. Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness
JP2002063668A (ja) 車内の人検出通報装置及び危険状態回避装置
EP2860665A2 (en) Face detection apparatus, and face detection method
KR101839089B1 (ko) 운전자의 졸음 인식 방법 및 졸음 인식 장치
KR101546893B1 (ko) 졸음 운전 방지 시스템
CN109190600A (zh) 一种基于视觉传感器的驾驶员监控***
US20140118131A1 (en) Monitoring and warning system for vehicles
KR102051136B1 (ko) 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
KR20110052453A (ko) 운전자 졸음 판단 및 경고 장치 및 방법
KR101461911B1 (ko) 안전벨트 체결 상태 가이드 장치 및 방법
CN113744499B (zh) 一种疲劳预警方法、眼镜、***和计算机可读存储介质
KR20150061668A (ko) 졸음운전 경보 장치 및 그 방법
KR101324650B1 (ko) 졸음 운전 방지 장치
JP3036319B2 (ja) 運転者状態監視装置
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
US11807264B2 (en) Driving assistance apparatus, driving assistance method, and medium
KR101642197B1 (ko) 레이더 센서를 이용한 자전거용 블랙박스
KR101421065B1 (ko) 차량용 블랙박스

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid