KR20140025812A - 졸음 운전 감지 장치 및 방법 - Google Patents

졸음 운전 감지 장치 및 방법 Download PDF

Info

Publication number
KR20140025812A
KR20140025812A KR1020120091967A KR20120091967A KR20140025812A KR 20140025812 A KR20140025812 A KR 20140025812A KR 1020120091967 A KR1020120091967 A KR 1020120091967A KR 20120091967 A KR20120091967 A KR 20120091967A KR 20140025812 A KR20140025812 A KR 20140025812A
Authority
KR
South Korea
Prior art keywords
driver
camera
face
light
drowsy driving
Prior art date
Application number
KR1020120091967A
Other languages
English (en)
Inventor
전해진
송인택
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020120091967A priority Critical patent/KR20140025812A/ko
Priority to US13/705,372 priority patent/US20140055569A1/en
Publication of KR20140025812A publication Critical patent/KR20140025812A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hospice & Palliative Care (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 졸음 운전 감지 장치 및 졸음 운전 감지 방법에 관한 것이다. 본 발명에 따른 졸음 운전 감지 장치는 운전자에 빛을 조사하는 광원, 상기 운전자에게서 반사되는 빛을 감지하여 운전자의 눈동자를 촬영하는 제1 카메라, 상기 제1 카메라와 일정거리 이상 분리되어 배치되며, 상기 운전자에게서 반사되는 빛을 감지하여 상기 운전자의 얼굴을 촬영하는 제2 카메라 및 상기 제2 카메라가 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 인식하며, 상기 제1 카메라에서 인식된 운전자의 눈동자 개폐여부와 상기 제2 카메라에서 인식된 운전자 얼굴의 위치로부터 운전자의 졸음 여부를 결정하는 연산부를 포함한다.

Description

졸음 운전 감지 장치 및 방법{APPARATUS AND METHOD FOR SENSING DROWSY DRIVING}
본 발명은 졸음 운전 방지 장치 및 방법에 관한 것이다.
근래 자동차 시장은 자동차의 안정성과 운전자의 편의성을 향상시키고, 보행자의 보호를 위해 노력을 기울이고 있다. 이에 통상적으로 자동차에 운전자 및 탑승자의 안전을 위하여 자동차의 내, 외부에 다양한 센서를 부착하여 주변 환경을 인식하는 시스템 등을 도입하고 있다.
특히 운전자가 수면 부족이거나, 장시간 노동으로 인하여 피곤한 상태이거나 의약품 섭취로 인해 졸음 운전을 하는 경우가 발생하고, 운전자의 졸음 운전은 치명적인 사고를 유발하는 원인이 되므로, 졸음 운전을 방지하기 위하여 졸음 운전 인식 시스템들이 많이 개발되고 있다.
졸음 운전 인식 시스템으로는 산소량을 감지하는 산소 센서, 자동차의 속도 센서, 심박수 측정 센서 등을 이용하는 방식, 또는 CCD 카메라(charge-coupled device camera)를 이용한 영상 처리 방식 등 여러 가지 방법이 제안된다.
CCD 카메라를 활용하여 운전자의 얼굴을 인식하여 졸음 여부를 판단하는 경우, 운전자의 자세에 의해 카메라를 가리게 되어 운전자의 얼굴을 인식하지 못할 수 있다. 또한, 2차원 영상으로 운전자의 얼굴을 판단하므로 정확도가 떨어질 수 있다.
일본특허공개공보 2011-43961 한국특허공개공보 2010-0121173
본 발명의 과제는 상기한 종래 기술의 문제점을 보완하기 위한 것으로서, 운전자의 눈동자를 촬영하는 제1 카메라와 제2 카메라가 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 촬영하는 제2 카메라를 포함하며, 상기 제1 카메라에서 촬영한 운전자의 눈동자의 개폐여부와 상기 제2 카메라에서 촬영한 운전자의 얼굴의 위치, 회전 각도, 움직임의 속도 등으로부터 운전자가 졸음 운전을 하는지를 판단할 수 있다.
본 발명의 제1 기술적인 측면에 따르면, 운전자에 빛을 조사하는 광원, 상기 운전자에게서 반사되는 빛을 감지하여 운전자의 눈동자를 촬영하는 제1 카메라, 상기 제1 카메라와 일정거리 이상 분리되어 배치되며, 상기 운전자에게서 반사되는 빛을 감지하여 상기 운전자의 얼굴을 촬영하는 제2 카메라 및 상기 제2 카메라가 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 인식하며, 상기 제1 카메라에서 인식된 운전자의 눈동자 개폐여부와 상기 제2 카메라에서 인식된 운전자 얼굴의 위치로부터 운전자의 졸음 여부를 결정하는 연산부;를 포함하는 졸음 운전 감지 장치를 제안한다.
또한, 상기 제1 카메라는 상기 제2 카메라의 좌측과 우측에 각각 배치된 졸음 운전 감지 장치를 제안한다.
또한, 상기 연산부는, 상기 제1 카메라에서 인식된 운전자의 눈동자가 미리 설정한 소정의 시간 동안 감겨있는 경우, 운전자가 졸음 운전을 하는 것으로 판단하는 졸음 운전 감지 장치를 제안한다.
또한, 상기 연산부는 상기 광원이 조사하는 빛의 위상과 상기 제2 카메라가 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 운전자 사이의 거리를 판단하는 졸음 운전 감지 장치를 제안한다.
또한, 상기 연산부는 상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 얼굴의 회전 각도, 상기 운전자의 얼굴의 위치 및 상기 운전자의 얼굴이 움직이는 속도 중 적어도 어느 하나를 판단하는 졸음 운전 감지 장치를 제안한다.
또한, 상기 제1 카메라는 적외선 광원을 감지하는 졸음 운전 감지 장치를 제안한다.
또한, 상기 제2 카메라는 TOF(Time-Of-Flight) 카메라인 졸음 운전 감지 장치를 제안한다.
본 발명의 제2 기술적인 측면에 따르면, 제1 카메라 및 제2 카메라를 통해 운전자에게서 반사되는 빛을 감지하는 단계, 상기 제1 카메라에서 감지한 빛으로부터 상기 운전자의 눈동자의 개폐 정보를 생성하는 단계, 상기 제2 카메라에서 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 생성하는 단계 및 상기 운전자의 눈동자의 개폐 정보와 상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 졸음 운전 여부를 판단하는 단계를 포함하는 졸음 운전 감지 방법을 제안한다.
또한, 상기 운전자의 눈동자가 미리 설정한 소정의 시간 이상 감겨있는 경우, 운전자가 졸음 운전을 하는 것으로 판단하는 졸음 운전 감지 방법을 제안한다.
또한, 상기 깊이 정보 생성 단계는, 상기 광원이 조사하는 빛의 위상과 상기 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 포함하는 깊이 정보를 생성하는 졸음 운전 감지 방법을 제안한다.
또한, 상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 얼굴의 회전 각도, 상기 운전자의 얼굴의 위치 및 상기 운전자의 얼굴이 움직이는 속도 중 적어도 어느 하나를 판단하는 졸음 운전 감지 방법을 제안한다.
본 발명에 따르면, 운전자의 눈동자를 촬영하는 제1 카메라와 제2 카메라가 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 촬영하는 제2 카메라를 포함함으로써, 상기 제1 카메라에서 촬영한 운전자의 눈동자의 개폐여부와 상기 제2 카메라에서 촬영한 운전자의 얼굴의 위치, 회전 각도, 움직임의 속도 등으로부터 운전자가 졸음 운전을 하는지를 판단할 수 있다.
도 1 및 도 2는 본 발명의 실시예에 따른 졸음 감지 장치의 카메라의 배치 위치를 나타내는 도이다.
도 3은 본 발명의 실시예에 따른 졸음 감지 장치 중 제1 카메라를 설명하기 위한 블럭도이다.
도 4는 본 발명의 실시예에 따른 졸음 감지 장치 중 제2 카메라를 설명하기 위한 도이다.
도 5는 본 발명의 실시예에 따른 졸음 감지 장치가 출력하는 영상을 나타낸 도이다.
도 6은 본 발명의 실시예에 따른 졸음 감지 방법을 설명하는데 제공되는 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1 및 도 2는 본 발명의 실시예에 따른 졸음 감지 장치의 카메라의 배치 위치를 나타내는 도이다.
도 1을 참조하면, 본 실시예에 따른 졸음 감지 장치는 광원(미도시), 제1 카메라(120a, 120c), 제2 카메라(120b), 및 연산부(미도시)를 포함한다. 졸음 감지 장치는 차내(110)에 배치되며, 제1 카메라(120a, 120c) 및 제2 카메라(120b)는 운전자(140)를 촬영하기 위하여 운전자(140)의 정면에 배치될 수 있다. 상기 광원의 위치는 도면에 개시되지 않았으나, 운전자(140)의 얼굴에 빛을 조사할 수 있도록 운전자의 맞은 편에 배치되며, 제1 카메라(120a, 120c) 및 제2 카메라(120b)와 함께 배치될 수 있다.
제1 카메라(120a, 120c)는 운전자(140)의 눈동자의 개폐여부를 판단하기 위한 것으로, 운전자(140)에게서 반사되는 적외선 광원을 감지하는 적외선 카메라일 수 있다. 제2 카메라(120b)는 운전자(140)에게서 반사되는 빛을 감지하여 깊이 정보를 생성할 수 있는 카메라일 수 있다. 본 발명의 실시예에 따른 졸음 운전 감지 장치는 복수 개의 카메라(120a, 120b, 120c)를 포함함으로써, 운전자의 팔(140b)과 같은 장애물에 의해 하나의 카메라가 반사되는 빛을 감지하지 못하더라도 다른 카메라에서 보조적으로 운전자의 얼굴(140a)을 인식할 수 있다. 또한, 복수의 카메라 중 운전자의 얼굴(140a)의 정면에 배치된 카메라(120b)로 깊이 정보를 생성할 수 있는 카메라를 포함함으로써, 얼굴(140a)의 정확한 위치와 얼굴(140a)의 움직이는 속도를 계산할 수 있다.
졸음 감지 장치에 포함되는 제1 카메라(120a, 120c)는 복수 개 일 수 있으며, 제2 카메라(120b)의 좌측과 우측에 각각 배치될 수 있다.
도 2는 제1 카메라(120a, 120c) 및 제2 카메라(120b)의 배치에 따른 화각을 나타내는 것으로, 도 2를 참조하면, 3차원 입체 영상을 출력하는 제2 카메라(120b)는 운전자의 얼굴(140a) 맞은편에 배치되어 운전자의 얼굴(140a)을 정면으로 촬영한다. 또한, 제1 카메라(120a, 120c)는 제2 카메라(120b)의 좌측과 우측에 각각 배치되어 운전자의 얼굴(140a)의 정면 및 양 측면을 촬영한다. 즉, 복수의 카메라(120a, 120b, 120c)를 사방에 배치하여 운전자의 얼굴(140a)의 전면을 감시할 수 있으며, 운전자의 한쪽 팔(140b)이 제1 카메라 중 하나를 가리더라도 다른 제1 카메라에서 운전자의 얼굴(140a)을 촬영할 수 있다.
이하, 본 명세서 전반에 걸쳐서 "깊이 정보"라는 용어는, 제2 카메라(120b)로부터 소정 거리만큼 떨어진 물체, 즉, 운전자(140)까지의 거리를 의미하는 것으로 해석될 수 있다. 깊이 정보는 연산부가 광원이 출력하는 빛과 제2 카메라(120b)가 감지한 빛의 위상차로부터 계산할 수 있으며, 상기 물체의 특정 지점(포인트)까지의 거리를 의미할 수 있다.
이하, 제1 카메라로 운전자의 눈동자의 개폐여부를 감지하는 방법을 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 졸음 감지 장치 중 제1 카메라를 설명하기 위한 블럭도이다.
도 3에 따르면, 제1 카메라(310)는 IR 광원(315), 이미지 센서(313) 및 광원 구동부(317)를 포함한다. IR 광원(315)은 적외선을 방출하며, 광원 구동부(317)에 의해 빛의 방출 동작이 제어될 수 있다. IR 광원(315)이 방출하는 빛은 특정 물체에 부딪히는 경우 반사되어 되돌아오게 되며, 이미지 센서(313)에서 반사된 빛을 감지한다.
이미지 센서(313)에서 감지한 운전자 눈동자의 영상 정보는 제어 유닛(330)으로 전달된다. 상기 제어 유닛은 디지털 신호 처리 장치(DSP, 333), SRAM(335), 플래시 메모리(337), 및 외부 I/F(339)를 포함한다. 디지털 신호 처리 장치(333)에서 처리된 영상 정보의 일부는 전원이 공급되는 동안만 저장된 내용을 기억하는 기억 장치 SRAM(Static Random Access Memory, 335)에 저장되며, 디지털 신호 처리 장치(333)에서 처리된 영상 정보의 일부는 전원이 꺼지더라도 저장된 정보가 사라지지 않은 채 유지되는 플래시 메모리(337)에 저장될 수 있다.
디지털 신호 처리 장치(333)에서 처리된 영상의 결과는 외부 I/F(339)를 통하여, 자동차의 엔진, 자동 변속기, ABS 등의 상태를 제어하는 제어 장치인 자동차 메인 ECU(electronis control unit)에 전달된다.
제1 카메라를 통해 감지한 운전자의 눈동자의 개폐 여부에 따라, 운전자의 졸음 운전 여부를 판단할 수 있으며, 미리 설정한 소정의 기준 시간 동안 운전자의 눈동자가 감겨 있는 경우 운전자가 졸음 운전을 하는 것으로 판단할 수 있다.
이하, 제2 카메라로부터 운전자의 얼굴을 3차원 입체 영상으로 방법을 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 졸음 감지 장치 중 제2 카메라를 설명하기 위한 도이다.
도 4를 참조하면, 제2 카메라는 TOF(Time-of-Flight) 카메라일 수 있으며, LED 어레이(420), TOF 센서 어레이(430), 구동 및 출력 회로부(440), 아날로그 신호 처리부(450), 및 디지털 신호 처리부(460)를 포함한다. 구동 및 출력 회로부(440), 아날로그 신호 처리부(450), 및 디지털 신호 처리부(460)는 하나의 연산부로 표현될 수 있다.
LED 어레이(420)는 빛을 방출하는 광원에 해당하며, LED 어레이(420)는 주기와 위상을 갖는 빛을 방출하며, 일례로 적외선을 방출할 수 있다. 이론적으로 LED 어레이(420)는 턴 온(turn-on)되는 시간과 턴 오프(turn-off)되는 시간을 각각 반주기로 포함하는 구형파(Square-Wave) 형태의 신호를 빛으로 방출하며, 실제로는 사인파(Sine-Wave) 형태의 신호를 빛으로 출력한다. LED 어레이(420)가 방출하는 빛은 특정 물체에 부딪히는 경우 반사되어 되돌아오게 되며, TOF 센서 어레이(430)는 반사된 빛을 감지한다.
TOF 센서 어레이(430)는 하나 이상의 수광 센서로 형성될 수 있으며, TOF 센서 어레이(430) 내의 수광 센서는 포토 다이오드(Photo-Diode)로 구현 가능하다.
연산부는 TOF 센서 어레이(430)에서 감지한 빛으로부터 깊이 정보를 생성한다. 연산부는 LED 어레이(420)가 방출하는 빛과 TOF 센서 어레이(430)가 감지한 빛의 위상차를 이용하여 LED 어레이(420) 또는 제2 카메라(430)로부터 빛을 반사한 피사체(410)까지의 거리에 대응하는 깊이 정보를 생성한다. LED 어레이(420) 또는 TOF 센서 어레이(430)로부터의 거리에 따라 복수의 피사체(410) 각각이 반사하는 빛의 위상이 서로 다르기 때문에, 연산부는 복수의 피사체(410)에 대해 깊이 정보를 생성할 수 있다. 복수의 피사체(410)에 대해 생성된 깊이 정보는 하나의 깊이 영상(Depth Image) 형태로 합성될 수 있다.
제1 카메라에서 감지된 영상 정보를 연산하는 제어 유닛과 제2 카메라에서 감지된 영상 정보를 연산하는 연산부는, 설명의 편의를 위해 도 3 과 도 4로 분리하여 도시하였으나, 제1 카메라 및 제2 카메라에서 감지된 영상 정보는 하나의 제어부에서 함께 연산될 수 있다.
도 5는 본 발명의 실시예에 따른 졸음 감지 장치가 출력하는 영상을 나타낸 도이다.
연산부는 제2 카메라로부터 생성되는 깊이 정보를 활용하여, 운전자의 얼굴을 3차원 입체 영상으로 생성할 수 있다.
연산부는 3차원 입체 영상으로 표현된 운전자의 얼굴의 회전 각도, 운전자의 얼굴의 위치 및 운전자의 얼굴이 움직이는 속도 중 적어도 어느 하나를 판단할 수 있다. 이때, 얼굴의 3차원 입체 영상 중 제2 카메라와 가장 가까운 운전자의 코를 기준점으로 하여 운전자 얼굴의 영상을 처리할 수 있어 효율적인 알고리즘 구현이 가능하다.
운전자의 얼굴의 회전 각도 및 운전자의 얼굴의 위치에 따라 운전자의 눈동자의 개폐 여부를 판단하는 경우, 정확하게 운전자의 눈이 감겨있는지 여부를 판단할 수 있다. 또한, 운전자가 졸음 운전을 하는 경우 운전자의 얼굴이 앞으로 움직이게 되는바, 이때 움직이는 속도를 계산하여 운전자의 졸음 운전 여부를 판단할 수 있다.
운전자의 얼굴을 3차원 입체 영상으로 생성함으로써 운전자의 얼굴 모양을 정확하게 판단할 수 있고, 이로써 운전자 얼굴의 상, 하, 좌, 우 회전 각도를 정확하게 판단할 수 있다.
도 6은 본 발명의 실시예에 따른 졸음 감지 방법을 설명하는데 제공되는 흐름도이다.
도 6을 참조하면, 본 발명에 따른 졸음 감지 방법은 제2 카메라, 및 제2 카메라의 좌측, 우측에 각각 배치된 제1 카메라에서 운전자에게서 반사된 빛을 감지하여 운전자의 얼굴을 인식하는 것으로 시작된다(610a, 610b, 610c).
좌측의 제1 카메라와 우측의 제1 카메라는 각각 운전자에게서 반사되는 적외선 광원을 감지하여 운전자의 눈이 감겨있는지를 판단한다(620a, 620c). 제1 카메라는 좌측과 우측에 복수 개 배치되어, 운전자의 팔이 제1 카메라 중 일부를 가리더라도 다른 제1 카메라가 보조역할을 하여 화면 가림에 의한 오류를 방지할 수 있다.
좌측과 우측의 제1 카메라에서 감지한 영상 정보를 합성하여 운전자의 눈동자의 개폐 여부를 판단할 수 있다(640a). 좌측과 우측의 제1 카메라에서 감지한 영상 정보를 합성하는 단계에서, 좌측의 제1 카메라에서 감지한 영상 정보와 우측의 제1 카메라에서 감지한 영상 정보 중 인식율 판정 지수가 높은 것을 선택할 수 있다. 여기서 인식율 판정 지수는 운전자의 얼굴을 판정하기 위한 기본적인 학습 패턴과의 일치율을 의미한다. 운전자의 눈동자가 미리 설정한 소정의 시간 이상 감겨있는 경우 운전자가 졸음 운전을 하는 것으로 판단할 수 있다(650).
또한, 좌측과 우측에 배치된 제1 카메라에서 감지한 영상 정보로부터 운전자의 얼굴의 좌우 회전 각도를 추출할 수 있다(630a, 630c). 좌측의 제1 카메라로부터 추출한 운전자의 얼굴의 회전 각도와 우측의 제1 카메라로부터 추출한 운전자의 얼굴의 회전 각도 중 인식율 판정 지수가 높은 영상에 따른 결과를 선택할 수 있다(640b, 670).
제2 카메라는 운전자의 얼굴에서 반사되는 빛을 감지하며, 감지된 빛으로부터 운전자의 얼굴의 깊이 정보를 생성할 수 있다. 운전자의 얼굴에 일정한 주기와 위상을 갖는 빛을 방출하며, 방출된 빛은 운전자의 얼굴에 부딪혀 반사되어 되돌아 온다. 제2 카메라가 감지한 빛의 위상차를 이용하여 제2 카메라로부터 빛을 반사한 운전자의 얼굴까지의 거리에 대응하는 깊이 정보를 생성하며, 제2 카메라로부터의 거리에 따라 운전자의 얼굴에서 반사하는 빛의 위상이 서로 다르기 때문에 운전자의 얼굴에 대한 깊이 정보를 생성할 수 있다. 제2 카메라에서 감지한 깊이 정보로부터 운전자의 얼굴을 3차원 입체 영상으로 출력할 수 있다(660).
다음으로, 제1 카메라로부터 검출된 운전자의 얼굴의 좌우 회전 각도와 제2 카메라로부터 검출된 운전자의 얼굴의 3차원 입체 영상을 합성하여 운전자 얼굴의 회전 각도를 판정할 수 있다(680). 이때, 3차원 입체 영상에 따라 기준점을 정하여 회전 각도를 판단하므로, 2차원 영상에서 회전 각도를 판단하는 것에 비해 정확하게 회전 각도를 검출할 수 있다.
또한, 3차원 입체 영상으로 운전자의 얼굴이 상, 하, 좌, 우로 움직이는 속도를 계산할 수 있다(690). 운전자의 얼굴의 변경 속도를 계산하여 운전자에게 특이한 상황이 발생되었음을 검출할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
120a, 120c: 제1 카메라
120b: 제2 카메라
140: 운전자

Claims (11)

  1. 운전자에 빛을 조사하는 광원;
    상기 운전자에게서 반사되는 빛을 감지하여 운전자의 눈동자를 촬영하는 제1 카메라;
    상기 제1 카메라와 일정거리 이상 분리되어 배치되며, 상기 운전자에게서 반사되는 빛을 감지하여 상기 운전자의 얼굴을 촬영하는 제2 카메라; 및
    상기 제2 카메라가 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 인식하며, 상기 제1 카메라에서 인식된 운전자의 눈동자 개폐 여부와 상기 제2 카메라에서 인식된 운전자 얼굴의 위치로부터 운전자의 졸음 여부를 결정하는 연산부;를 포함하는 졸음 운전 감지 장치.
  2. 제1항에 있어서,
    상기 제1 카메라는 상기 제2 카메라의 좌측과 우측에 각각 배치된 졸음 운전 감지 장치.
  3. 제1항에 있어서, 상기 연산부는,
    상기 제1 카메라에서 인식된 운전자의 눈동자가 미리 설정한 소정의 시간 이상 감겨있는 경우, 운전자가 졸음 운전을 하는 것으로 판단하는 졸음 운전 감지 장치.
  4. 제1항에 있어서,
    상기 연산부는 상기 광원이 조사하는 빛의 위상과 상기 제2 카메라가 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 운전자 사이의 거리를 판단하는 졸음 운전 감지 장치.
  5. 제4항에 있어서,
    상기 연산부는 상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 얼굴의 회전 각도, 상기 운전자의 얼굴의 위치 및 상기 운전자의 얼굴이 움직이는 속도 중 적어도 어느 하나를 판단하는 졸음 운전 감지 장치.
  6. 제1항에 있어서,
    상기 제1 카메라는 적외선 광원을 감지하는 졸음 운전 감지 장치.
  7. 제1항에 있어서,
    상기 제2 카메라는 TOF(Time-Of-Flight) 카메라인 졸음 운전 감지 장치.
  8. 제1 카메라 및 제2 카메라를 통해 운전자에게서 반사되는 빛을 감지하는 단계;
    상기 제1 카메라에서 감지한 빛으로부터 상기 운전자의 눈동자의 개폐 정보를 생성하는 단계;
    상기 제2 카메라에서 감지한 빛으로부터 깊이 정보를 생성하여 상기 운전자의 얼굴을 3차원 입체 영상으로 생성하는 단계; 및
    상기 운전자의 눈동자의 개폐 정보와 상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 졸음 운전 여부를 판단하는 단계;를 포함하는 졸음 운전 감지 방법.
  9. 제8항에 있어서,
    상기 운전자의 눈동자가 미리 설정한 소정의 시간 이상 감겨있는 경우, 운전자가 졸음 운전을 하는 것으로 판단하는 졸음 운전 감지 방법.
  10. 제8항에 있어서, 상기 깊이 정보 생성 단계는,
    상기 광원이 조사하는 빛의 위상과 상기 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 포함하는 깊이 정보를 생성하는 졸음 운전 감지 방법.
  11. 제8항에 있어서,
    상기 운전자의 얼굴의 3차원 입체 영상으로부터 상기 운전자의 얼굴의 회전 각도, 상기 운전자의 얼굴의 위치 및 상기 운전자의 얼굴이 움직이는 속도 중 적어도 어느 하나를 판단하는 졸음 운전 감지 방법.
KR1020120091967A 2012-08-22 2012-08-22 졸음 운전 감지 장치 및 방법 KR20140025812A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120091967A KR20140025812A (ko) 2012-08-22 2012-08-22 졸음 운전 감지 장치 및 방법
US13/705,372 US20140055569A1 (en) 2012-08-22 2012-12-05 Apparatus and method for sensing drowsy driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120091967A KR20140025812A (ko) 2012-08-22 2012-08-22 졸음 운전 감지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140025812A true KR20140025812A (ko) 2014-03-05

Family

ID=50147635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120091967A KR20140025812A (ko) 2012-08-22 2012-08-22 졸음 운전 감지 장치 및 방법

Country Status (2)

Country Link
US (1) US20140055569A1 (ko)
KR (1) KR20140025812A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133284A (ko) 2015-05-12 2016-11-22 한국오므론전장주식회사 차량용 졸음 운전 방지 시스템
KR102074519B1 (ko) * 2018-10-05 2020-02-06 엔컴주식회사 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102433668B1 (ko) * 2021-07-20 2022-08-18 (주)딥인사이트 운전자 모니터링 시스템 및 그 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
CN103950386A (zh) * 2014-04-07 2014-07-30 临颍县贝克电子科技有限公司 利用机动车驾驶员状态特征进行综合监控的***
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
CN104382607B (zh) * 2014-11-26 2016-08-24 重庆科技学院 面向实车工况的驾驶人视频图像疲劳检测方法
CN104601967A (zh) * 2015-02-11 2015-05-06 宁波澎湃电子科技有限公司 一种事前安防***及监控方法
CN104581090A (zh) * 2015-02-11 2015-04-29 宁波澎湃电子科技有限公司 一种事前安防***及监控方法
CN105354988B (zh) * 2015-12-11 2018-02-27 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测***及检测方法
US20170210289A1 (en) * 2016-01-22 2017-07-27 Arjun Kundan Dhawan Driver Focus Analyzer
CN106548600A (zh) * 2016-12-06 2017-03-29 张家港全智电子科技有限公司 实时瞳孔追踪***和疲劳状态监测方法
CN106530623B (zh) * 2016-12-30 2019-06-07 南京理工大学 一种疲劳驾驶检测装置及检测方法
WO2019028798A1 (zh) 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109875568A (zh) * 2019-03-08 2019-06-14 北京联合大学 一种用于疲劳驾驶检测的头部姿态检测方法
CN112241658B (zh) * 2019-07-17 2023-09-01 青岛大学 一种基于深度相机的疲劳驾驶预警方法
US11753047B2 (en) * 2020-06-29 2023-09-12 Micron Technology, Inc. Impaired driver assistance
CN111967432A (zh) * 2020-08-31 2020-11-20 上海博泰悦臻网络技术服务有限公司 一种驾驶员行为的监测装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2010021090A1 (ja) * 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133284A (ko) 2015-05-12 2016-11-22 한국오므론전장주식회사 차량용 졸음 운전 방지 시스템
KR102074519B1 (ko) * 2018-10-05 2020-02-06 엔컴주식회사 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102433668B1 (ko) * 2021-07-20 2022-08-18 (주)딥인사이트 운전자 모니터링 시스템 및 그 방법

Also Published As

Publication number Publication date
US20140055569A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
KR20140025812A (ko) 졸음 운전 감지 장치 및 방법
EP3589978B1 (en) Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
JP5753509B2 (ja) 被測定物情報取得装置
US10887579B2 (en) Depth-sensing computer vision system
US10417782B2 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
CN104660980B (zh) 车载图像处理装置和半导体装置
US11741630B2 (en) Vehicle system with no-control operation
JP2011154721A (ja) 運転者監視装置、運転者監視方法及び車両
KR101300350B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102177879B1 (ko) 차량의 객체 검출 장치 및 방법
JPWO2019163378A1 (ja) フォークリフト用の画像処理装置、および制御プログラム
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
KR20170120010A (ko) 영상 취득 장치 및 그 방법
JP4840638B2 (ja) 車両の乗員監視装置
JP2020071528A (ja) 視認対象判定装置
KR101789294B1 (ko) 차량용 어라운드 뷰 시스템 및 그 동작 방법
US10984539B2 (en) Image device for generating velocity maps
JP2019199229A (ja) センサシステムおよび検査方法
JP2016115119A (ja) 開閉眼判定装置、及び開閉眼判定方法
CN112789515B (zh) 测距***、校准方法、程序和电子设备
US20210163031A1 (en) A vision system for a motor vehicle and a method of training
JP2012141281A (ja) 体積検出装置、及び、体積検出方法
JP2020087233A (ja) 認識処理装置、認識処理方法及びプログラム
CN110798675A (zh) 一种摄像模组
JP2023047159A (ja) ジェスチャ検出装置、ドア開閉システム、及びジェスチャ検出方法

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application