KR101619651B1 - 운전자 감시장치 및 그의 조명제어방법 - Google Patents

운전자 감시장치 및 그의 조명제어방법 Download PDF

Info

Publication number
KR101619651B1
KR101619651B1 KR1020140166511A KR20140166511A KR101619651B1 KR 101619651 B1 KR101619651 B1 KR 101619651B1 KR 1020140166511 A KR1020140166511 A KR 1020140166511A KR 20140166511 A KR20140166511 A KR 20140166511A KR 101619651 B1 KR101619651 B1 KR 101619651B1
Authority
KR
South Korea
Prior art keywords
driver
illumination
irradiation range
light
eye
Prior art date
Application number
KR1020140166511A
Other languages
English (en)
Inventor
이석범
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140166511A priority Critical patent/KR101619651B1/ko
Priority to US14/921,784 priority patent/US10373005B2/en
Priority to CN201510765240.5A priority patent/CN105620386B/zh
Application granted granted Critical
Publication of KR101619651B1 publication Critical patent/KR101619651B1/ko
Priority to US16/452,087 priority patent/US10922568B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/20—Indexing codes relating to the driver or the passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 운전자 감시장치 및 그의 조명제어방법에 관한 것으로, 조사광의 조사범위를 조절하며 사용자 영상을 취득하는 운전자 감시카메라와, 동작모드에 따라 상기 조사범위의 조절을 상기 운전자 감시카메라에 요청하는 운전자 상태감지부를 포함한다.

Description

운전자 감시장치 및 그의 조명제어방법{Driver Monitoring Apparatus and Method for Controlling Lighting thereof}
본 발명은 운전자 감시장치 및 그의 조명제어방법에 관한 것으로, 더욱 상세하게는 운전자 상태 감시 시 동작모드 및 외부환경에 따라 조명의 조사범위 및 세기를 제어하여 관심영역만 조사하도록 하여 운전자 상태 감시 신뢰도를 향상시킬 수 있는 운전자 감시장치 및 그의 조명제어방법에 관한 것이다.
일반적으로, 운전자 감시장치는 카메라를 이용하여 주행 중인 운전자를 촬영하고 촬영한 운전자의 얼굴 영상을 통하여 운전자의 운전 상태(곁눈질, 졸음 운전 여부, 주시점 등)를 판정한다. 또한, 운전자 감시장치는 주행 중인 차량의 조타각 신호, 차속 신호 및 주행 위치 등을 이용하여 차량의 주행 상태를 판단한다. 그리고, 운전자 감시장치는 운전자 상태 및 주행 상태를 이용하여 운전자가 불안전 주행 상태이면 운전자에게 이를 경고함으로써 안전 운전할 수 있게 한다. 이러한 운전자 감시장치는 야간 또는 외부광 등의 유입 환경에서도 카메라를 통한 원활한 영상 촬영을 위해 조명장치를 구비한다.
특히, 운전자 감시장치에서 시선 추적 시 얼굴 전체영역에 조명을 조사하는 경우, 안경, 장신구, 얼굴면 등에 의한 다수의 반사점이 형성되어서 각막 반사점과의 구분이 어려워진다.
또한, 태양광 등 외부광 극복을 위하여 조명의 전력을 증가시킬 필요가 있으나, 이 경우 얼굴 영역의 픽셀 포화(saturation)에 의해서 얼굴 검출 및 추적이 어렵다.
종래의 운전자 감시장치에서 조명장치의 각도 및 조사각은 고정된다. 조정 가능한 조명장치를 사용하는 경우에도 특허문헌 1과 같이 조사영역의 크기는 일정하고 얼굴 내의 특정 영역(예: 눈 영역)을 추적하여 조사하는 경우로 한정된다.
본 발명은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 운전자 상태 감시 시 동작모드 및 외부환경에 따라 조명의 조사범위 및 세기를 제어하여 관심영역만 조사하도록 하여 운전자 상태 감시 신뢰도를 향상시킬 수 있는 운전자 감시장치 및 그의 조명제어방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 실시예에 따르면 운전자 감시장치는 조사광의 조사범위를 조절하며 사용자 영상을 취득하는 운전자 감시카메라와, 동작모드에 따라 상기 조사범위의 조절을 상기 운전자 감시카메라에 요청하는 운전자 상태감지부를 포함하는 것을 특징으로 한다.
또한, 상기 운전자 감시카메라는, 상기 사용자 영상을 취득하는 영상센서와, 상기 조사광을 발산하며 상기 조사범위를 가변적으로 조절할 수 있는 조명과, 상기 영상센서와 조명의 동작을 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 조명은, 광을 발산하는 광원과, 상기 광원으로부터 발산하는 광을 모아주는 렌즈와, 상기 광원 및 렌즈 중 어느 하나 이상의 위치를 조절하는 구동부를 포함하는 것을 특징으로 한다.
또한, 상기 조명은, 상기 렌즈를 통과한 투과광을 반사시키는 반사체를 더 포함하는 것을 특징으로 한다.
또한, 상기 조명은, 광을 발산하는 광원과, 상기 광원에서 발산하는 광을 반사시키는 반사체를 포함하는 것을 특징으로 한다.
또한, 상기 조명은, 하나 이상의 광원들이 배열된 어레이(array)로 구현되는 것을 특징으로 한다.
또한, 상기 조명은, 상기 하나 이상의 광원들을 선택적으로 점등시키는 것을 특징으로 한다.
또한, 상기 동작모드는, 얼굴 추적모드 및 눈 추적모드로 구분되는 것을 특징으로 한다.
또한, 상기 운전자 상태감지부는, 상기 사용자 영상으로부터 얼굴 정보를 추출하는 얼굴 추적모듈과, 상기 사용자 영상으로부터 눈 정보를 추출하는 눈 추적모듈과, 상기 얼굴 정보 및 눈 정보를 이용하여 운전자의 상태를 판정하는 처리모듈을 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 운전자 감시장치의 조명제어방법은 운전자 감시장치의 동작모드를 확인하는 단계와, 상기 동작모드에 따라 카메라에 구비된 조명의 조사범위를 결정하는 단계와, 결정한 조사범위에 따라 상기 조명의 조사범위를 조절하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 동작모드는, 얼굴 추적모드 및 눈 추적모드로 구분되는 것을 특징으로 한다.
또한, 상기 조명의 조사범위 결정단계는, 상기 동작모드가 얼굴 추적모드이면, 얼굴영역을 상기 조사범위로 결정하는 것을 특징으로 한다.
또한, 상기 조명의 조사범위 결정단계는, 상기 동작모드가 얼굴 추적모드이면, 눈 영역을 상기 조사범위로 결정하는 것을 특징으로 한다.
또한, 상기 조명의 조사범위 결정단계는, 상기 눈 영역 조사 시 안경에 의한 조명 반사가 발생하는 경우 상기 조사범위를 동공 영역으로 결정하는 것을 특징으로 한다.
본 발명은 운전자 상태 감시 시 동작모드 및 외부환경에 따라 조명의 조사범위 및 세기를 제어하여 관심영역만 조사하도록 하여 운전자 상태 감시 신뢰도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 감시카메라의 블록구성도.
도 2a 내지 도 2c는 도 1에 도시된 조명의 구성을 도시한 예시도.
도 3은 도 1에 도시된 운전자 감시카메라를 구비한 운전자 감시장치를 도시한 블록구성도.
도 4는 본 발명의 일 실시예에 따른 운전자 감시장치의 조명제어방법을 도시한 흐름도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 운전자 감시카메라의 블록구성도이고, 도 2a 내지 도 2c는 도 1에 도시된 조명의 구성을 도시한 예시도이다.
도 1에 도시된 바와 같이, 운전자 감시카메라(100)는 영상센서(110), 조명(120), 제어부(130)를 포함한다.
영상센서(110)는 사용자의 영상을 취득하는 역할을 한다. 예를 들어, 영상센서(110)는 사용자의 얼굴 영상 또는 눈 영상을 취득한다. 이러한 영상센서(110)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서, 적외선 영상센서 등과 같은 영상센서들 중 하나 이상의 영상센서로 구현될 수 있다.
운전자 감시카메라(100)는 하나 이상의 영상센서로 구성될 수 있다. 예를 들어, 운전자 감시카메라(100)는 스테레오 카메라로 구현될 수 있다.
조명(120)는 하나 이상의 광원(121)으로 구성된다. 광원(121)은 발광소자, 적외선 발광소자, 램프, 형광등, 수은등, 나트륨등 중 어느 하나의 광원으로 구현될 수 있다.
조명(120)는 빛(광)을 발산하는 광원(121) 및 광원(121)으로부터 발산되는 빛을 모아주는 렌즈(122), 광원(121) 및/또는 렌즈(122)의 위치를 조절하는 구동부(123)를 포함한다. 도 2a에 도시된 바와 같이, 조명(120)의 구동부(123)는 광원(121)의 위치를 조정하거나 또는 렌즈(122)의 위치를 제어할 수 있다.
한편, 조명(120)는 도 2b와 같이 광원(121) 및 렌즈(122) 외 렌즈(122)를 통과한 투과광을 반사시키는 반사체(124)를 포함할 수도 있다. 여기서, 구동부(123)는 반사체(124)의 위치 및 각도를 조절하도록 구현될 수 있다.
한편, 조명(120)은 도 2b의 (c)에 도시된 바와 같이 광원(121) 및 반사체(124), 구동부(123)로 구성될 수도 있다. 이때, 구동부(123)는 반사체(124)의 위치 및 각도를 조절한다.
또한, 조명(120)은 도 2c에 도시된 바와 같이 하나 이상의 광원(121)들이 배열된 어레이(array)로 구현될 수 있다. 조명(120)은 하나 이상의 광원(121)들을 운전자 감시장치의 동작모드에 따라 선택적으로 점등한다. 어레이를 이용하여 눈 또는 동공의 좁은 조사각으로 얼굴 위치 전체를 커버하기 위해서는 어레이를 구성하는 광원(121)들을 조밀하게 배치해야 한다.
예를 들어, 도 2c의 (a)에 도시된 바와 같이, 어레이를 구성하는 각 광원(121)의 조사범위는 고정된다. 이때, 어레이를 구성하는 광원(121)의 개수를 저감하기 위하여 도 2c의 (b)에 도시된 바와 같이 이웃한 광원(121) 간의 세기 보간을 이용하여 각 광원(121)의 사이각에 조사할 수 있다.
제어부(130)는 영상센서(110) 및 조명(120)의 동작을 제어한다. 제어부(130)는 운전자 상태감지장치(200)의 요청에 따라 조명(120)을 제어하여 조사범위(조사영역 크기) 및 조사강도(광 세기)를 조절한다.
도 3은 도 1에 도시된 운전자 감시카메라를 구비한 운전자 감시장치를 도시한 블록구성도이다.
운전자 감시장치(200)는 운전자 감시카메라(100) 및 운전자 상태감지부(200)를 포함한다.
운전자 감시카메라(100)는 운전자 상태감지부(200)의 요청에 따라 얼굴 추적모드 또는 눈(시선) 추적모드로 동작한다.
운전자 감시카메라(100)는 얼굴 추적모드로 동작 시 조명(120)을 제어하여 얼굴 영역을 조사하며 영상센서(110)를 통해 사용자 영상을 취득한다.
한편, 운전자 감시카메라(100)는 눈 추적모드로 동작하는 경우 조명(120)의 조사범위를 눈 영역으로 결정하고 영상센서(110)를 통해 사용자 영상을 획득한다. 운전자 감시카메라(100)는 눈 영역 조사 시 안경 반사가 발생하면 조사범위를 동공영역으로 결정하고 조명(120)의 구동부(123)를 제어하여 조사범위를 조절한다.
운전자 상태감지부(200)는 운전자 감시카메라(100)로 조명(120)의 조사범위를 조절하도록 제어신호를 출력한다. 이러한 운전자 상태감지부(200)는 얼굴 추적모듈(210), 눈 추적모듈(220), 처리모듈(230)을 포함한다.
얼굴 추적모듈(210)은 운전자 감시카메라(100)를 통해 획득한 사용자 영상으로부터 사용자의 얼굴을 검출하고 그 검출한 얼굴의 방향 및 각도 등을 추적한다.
눈 추적모듈(220)은 운전자 감시카메라(100)를 통해 획득한 사용자 영상으로부터 눈 영역을 추출하고 그 추출한 눈 영역 내 동공 및 조명반사점을 검출한다. 그리고, 눈 추적모듈(220)는 동공 및 조명반사점의 위치정보를 이용하여 시선을 추적한다. 이때, 사용자(운전자)의 안경 착용으로 안경에서 조명 반사가 발생하는 경우, 눈 추적모듈(220)는 조명(120)의 조사범위 축소를 운전자 감시카메라(100)에 요청한다. 조명(120)은 구동부(123)를 제어하여 광원(121) 및/또는 렌즈(122)의 위치를 조절하여 조사범위를 일정 비율(예: 동공 영역)로 축소한다.
처리모듈(230)은 얼굴 추적모듈(210) 및/또는 눈 추적모듈(220)로부터 제공받은 얼굴정보 및 눈 정보(또는 시선 정보)를 이용하여 운전자의 상태를 확인한다. 그리고, 처리모듈(230)은 운전자의 상태에 따라 경보를 영상 및/또는 음향 정보로 출력한다. 처리모듈(230)은 표시수단 및 음향출력수단(예: 스피커)를 통해 경보(경고)를 출력한다. 여기서, 표시수단은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 중에서 하나 이상을 포함할 수 있다.
본 실시예에서는 얼굴 추적모듈(210) 및 눈 추적모듈(220)이 운전자 감시카메라(100)와 별도로 구성되는 것을 설명하고 있으나, 이에 한정되지 않고 얼굴 추적모듈(210) 및 눈 추적모듈(220)이 운전자 감시카메라(100) 내에 구비되도록 구성할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 운전자 감시장치의 조명제어방법을 도시한 흐름도이다.
운전자 감시카메라(100)는 운전자 감시장치의 동작모드를 확인한다(S101). 운전자 감시카메라(100)는 운전자 상태감지부(200)로부터 출력되는 요청신호에 따라 얼굴 검출모드 및 눈(시선) 검출모드로 동작한다. 즉, 운전자 감시카메라(100)의 제어부(130)는 운전자 상태감지부(200)의 요청신호에 근거하여 운전자 감시장치의 동작모드를 확인할 수 있다.
운전자 감시카메라(100)는 동작모드가 얼굴 추적모드이면 얼굴 영역을 조사범위로 결정하고, 조명(120)을 제어하여 얼굴 영역을 조사한다(S103, S105).
운전자 감시카메라(100)는 동작모드가 얼굴 검출모드가 아니면 조사범위를 눈 영역으로 결정하고 조명(120)을 제어하여 눈 영역을 조사한다(S107).
운전자 감시카메라(100)는 눈 영역 조사 시 안경에 의한 조명 반사가 발생하는지를 확인한다(S109). 즉, 운전자 상태감지부(200)의 눈 추적모듈(220)는 운전자(사용자)의 안경 착용여부를 확인하여 운전자 감시카메라(100)에 알린다.
운전자 감시카메라(100)는 안경에 의한 조명 반사가 있는 경우 조사범위를 동공 영역으로 결정하고, 조명(120)를 제어하여 조사범위를 조절(축소)한다(S111).
이후, 운전자 상태감지부(200)는 운전자 감시카메라(100)를 통해 획득한 얼굴 정보 및 눈 정보(시선 정보)를 이용하여 운전자의 상태를 판정한다.
본 실시예에서는 조사범위만을 조절하는 것을 설명하고 있으나, 이에 한정되지 않고 광 세기를 조절하도록 구현할 수도 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 운전자 감시카메라
110: 영상센서
120: 조명
121: 광원
122: 렌즈
123: 구동부
124: 반사체
130: 제어부
200: 운전자 상태감지부
210: 얼굴 검출모듈
220: 눈 검출모듈
230: 처리모듈

Claims (14)

  1. 조사광의 조사범위를 조절하며 사용자 영상을 취득하는 운전자 감시카메라와,
    동작모드에 따라 상기 조사범위의 조절을 상기 운전자 감시카메라에 요청하는 운전자 상태감지부를 포함하고,
    상기 동작모드는,
    얼굴 추적모드 및 눈 추적모드로 구분되는 것을 특징으로 하는 운전자 감시장치.
  2. 제1항에 있어서,
    상기 운전자 감시카메라는,
    상기 사용자 영상을 취득하는 영상센서와,
    상기 조사광을 발산하며 상기 조사범위를 가변적으로 조절할 수 있는 조명과,
    상기 영상센서와 조명의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 운전자 감시장치.
  3. 제2항에 있어서,
    상기 조명은,
    광을 발산하는 광원과,
    상기 광원으로부터 발산하는 광을 모아주는 렌즈와,
    상기 광원 및 렌즈 중 어느 하나 이상의 위치를 조절하는 구동부를 포함하는 것을 특징으로 하는 운전자 감시장치.
  4. 제3항에 있어서,
    상기 조명은,
    상기 렌즈를 통과한 투과광을 반사시키는 반사체를 더 포함하는 것을 특징으로 하는 운전자 감시장치.
  5. 제2항에 있어서,
    상기 조명은,
    광을 발산하는 광원과,
    상기 광원에서 발산하는 광을 반사시키는 반사체를 포함하는 것을 특징으로 하는 운전자 감시장치.
  6. 제2항에 있어서,
    상기 조명은,
    하나 이상의 광원들이 배열된 어레이(array)로 구현되는 것을 특징으로 하는 운전자 감시장치.
  7. 제6항에 있어서,
    상기 조명은,
    상기 하나 이상의 광원들을 선택적으로 점등시키는 것을 특징으로 하는 운전자 감시장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 운전자 상태감지부는,
    상기 사용자 영상으로부터 얼굴 정보를 추출하는 얼굴 추적모듈과,
    상기 사용자 영상으로부터 눈 정보를 추출하는 눈 추적모듈과,
    상기 얼굴 정보 및 눈 정보를 이용하여 운전자의 상태를 판정하는 처리모듈을 포함하는 것을 특징으로 하는 운전자 감시장치.
  10. 운전자 감시장치의 동작모드를 확인하는 단계와,
    상기 동작모드에 따라 카메라에 구비된 조명의 조사범위를 결정하는 단계와,
    결정한 조사범위에 따라 상기 조명의 조사범위를 조절하는 단계를 포함하고,
    상기 동작모드는,
    얼굴 추적모드 및 눈 추적모드로 구분되는 것을 특징으로 하는 운전자 감시장치의 조명제어방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 조명의 조사범위 결정단계는,
    상기 동작모드가 얼굴 추적모드이면, 얼굴영역을 상기 조사범위로 결정하는 것을 특징으로 하는 운전자 감시장치의 조명제어방법.
  13. 제10항에 있어서,
    상기 조명의 조사범위 결정단계는,
    상기 동작모드가 얼굴 추적모드이면, 눈 영역을 상기 조사범위로 결정하는 것을 특징으로 하는 운전자 감시장치의 조명제어방법.
  14. 제13항에 있어서,
    상기 조명의 조사범위 결정단계는,
    상기 눈 영역 조사 시 안경에 의한 조명 반사가 발생하는 경우 상기 조사범위를 동공 영역으로 결정하는 것을 특징으로 하는 운전자 감시장치의 조명제어방법.
KR1020140166511A 2014-11-26 2014-11-26 운전자 감시장치 및 그의 조명제어방법 KR101619651B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140166511A KR101619651B1 (ko) 2014-11-26 2014-11-26 운전자 감시장치 및 그의 조명제어방법
US14/921,784 US10373005B2 (en) 2014-11-26 2015-10-23 Driver monitoring apparatus and method for controlling illuminator thereof
CN201510765240.5A CN105620386B (zh) 2014-11-26 2015-11-09 驾驶者监控装置和用于控制其照明器的方法
US16/452,087 US10922568B2 (en) 2014-11-26 2019-06-25 Driver monitoring apparatus and method for controlling illuminator thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140166511A KR101619651B1 (ko) 2014-11-26 2014-11-26 운전자 감시장치 및 그의 조명제어방법

Publications (1)

Publication Number Publication Date
KR101619651B1 true KR101619651B1 (ko) 2016-05-10

Family

ID=56010551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140166511A KR101619651B1 (ko) 2014-11-26 2014-11-26 운전자 감시장치 및 그의 조명제어방법

Country Status (3)

Country Link
US (2) US10373005B2 (ko)
KR (1) KR101619651B1 (ko)
CN (1) CN105620386B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054803A (ko) 2017-11-14 2019-05-22 현대오트론 주식회사 운전자 상태 추정 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076176A (zh) * 2016-05-25 2018-12-21 安泰科技有限公司 眼睛位置检测装置和方法、带滚动快门驱动***的图像传感器的成像装置及其照明控制方法
US20180005057A1 (en) * 2016-07-01 2018-01-04 Hyundai Motor Company Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle
JP6690569B2 (ja) * 2017-02-02 2020-04-28 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6711295B2 (ja) * 2017-02-08 2020-06-17 株式会社デンソー 車両用表示制御装置
JP6804416B2 (ja) * 2017-09-25 2020-12-23 矢崎総業株式会社 監視システム
JP6756326B2 (ja) 2017-11-09 2020-09-16 株式会社デンソー 状態検出装置
FR3083292B1 (fr) * 2018-06-27 2021-04-09 Valeo Comfort & Driving Assistance Module d'illumination pour dispositif de surveillance de conducteur de vehicule automobile
JP7149192B2 (ja) * 2019-01-25 2022-10-06 マクセル株式会社 ヘッドアップディスプレイ装置
JP2023041097A (ja) * 2021-09-13 2023-03-24 矢崎総業株式会社 検出システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091049A (ja) * 2003-09-12 2005-04-07 Ccs Inc 画像処理用光照射装置及び画像処理用光照射方法
JP2006258836A (ja) * 2005-03-15 2006-09-28 Nikon Corp 外付け照明装置、カメラシステム
JP2007168570A (ja) 2005-12-21 2007-07-05 Toyota Motor Corp 車載カメラの制御装置
JP2010013090A (ja) 2008-07-04 2010-01-21 Hyundai Motor Co Ltd 運転者状態監視システム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030077127A (ko) 2002-03-25 2003-10-01 주식회사 엘지이아이 홍채 인식 시스템의 다중조명을 이용한 촛점 자동 조절방법
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP2006252138A (ja) 2005-03-10 2006-09-21 Omron Corp 運転者撮影装置および運転者監視装置
US7430365B2 (en) 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
US20110284625A1 (en) * 2005-12-16 2011-11-24 Taylor Smith Digital image capture and processing system supporting multiple third party code plug-ins with configuration files having conditional programming logic controlling the chaining of multiple third-party plug-ins
KR100754202B1 (ko) 2006-01-26 2007-09-03 삼성전자주식회사 눈동자 검출 정보를 이용하는 입체 영상 표시 장치 및 방법
CN101416232B (zh) * 2006-03-29 2011-03-23 日本电气株式会社 图像显示装置和图像显示方法
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US7914187B2 (en) * 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
US8447031B2 (en) * 2008-01-11 2013-05-21 Personics Holdings Inc. Method and earpiece for visual operational status indication
JP4888838B2 (ja) 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
CN101784150B (zh) * 2009-01-16 2013-11-06 国琏电子（上海）有限公司 双灯管驱动电路
JP2012066062A (ja) * 2010-08-24 2012-04-05 Fujifilm Corp 放射線撮影システム及び放射線撮影方法
JP5083397B2 (ja) * 2010-09-29 2012-11-28 株式会社デンソー 路車協調照明システム
EP2760193B1 (en) * 2010-12-09 2017-03-01 Axis AB Method for assisting installation of a stationary monitoring camera
EP2648618B1 (en) 2010-12-10 2021-07-14 Joyson Safety Systems Acquisition LLC System for monitoring a vehicle driver
US20120161665A1 (en) * 2010-12-23 2012-06-28 Tom William Thornton Precision light control apparatus and methods
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN102510480B (zh) 2011-11-04 2014-02-05 大连海事大学 驾驶员视线自动校准和跟踪***
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
JP5486031B2 (ja) * 2012-03-06 2014-05-07 本田技研工業株式会社 配光制御装置
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
CN102937745B (zh) * 2012-11-13 2015-04-01 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
KR101428229B1 (ko) * 2012-11-29 2014-08-07 현대자동차주식회사 차영상 취득 장치 및 방법
US9045074B2 (en) * 2012-12-12 2015-06-02 GM Global Technology Operations LLC Driver alerts
US9842571B2 (en) * 2013-02-22 2017-12-12 Samsung Electronics Co., Ltd. Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
CN203480645U (zh) 2013-09-11 2014-03-12 北京汽车研究总院有限公司 一种驾驶员疲劳驾驶监测***
US10048429B2 (en) * 2013-09-26 2018-08-14 The Regents Of The University Of California Illuminator with adjustable beam direction and divergence
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
CN103594003B (zh) 2013-11-13 2015-11-25 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的方法
CN103680058A (zh) 2013-12-09 2014-03-26 灏泷智能科技（上海）有限公司 一种疲劳驾驶监测提醒***
US20150189355A1 (en) * 2013-12-26 2015-07-02 United Video Properties, Inc. Systems and methods for printing three-dimensional objects as a reward
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
US9589362B2 (en) * 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091049A (ja) * 2003-09-12 2005-04-07 Ccs Inc 画像処理用光照射装置及び画像処理用光照射方法
JP2006258836A (ja) * 2005-03-15 2006-09-28 Nikon Corp 外付け照明装置、カメラシステム
JP2007168570A (ja) 2005-12-21 2007-07-05 Toyota Motor Corp 車載カメラの制御装置
JP2010013090A (ja) 2008-07-04 2010-01-21 Hyundai Motor Co Ltd 運転者状態監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054803A (ko) 2017-11-14 2019-05-22 현대오트론 주식회사 운전자 상태 추정 방법

Also Published As

Publication number Publication date
CN105620386A (zh) 2016-06-01
US20190318182A1 (en) 2019-10-17
US20160148065A1 (en) 2016-05-26
CN105620386B (zh) 2019-11-12
US10922568B2 (en) 2021-02-16
US10373005B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
KR101619651B1 (ko) 운전자 감시장치 및 그의 조명제어방법
US10674907B2 (en) Opthalmoscope device
JP5258168B2 (ja) 眼球検出システム
US10395510B2 (en) Reminding method and reminding device
CN101816547B (zh) 基于瞳孔对称性的自动直视检测方法和***
CN107735719B (zh) 偏振分束***
TWI543745B (zh) 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法
US10268887B2 (en) Apparatus and method for detecting eyes
TWI522257B (zh) 車用安全系統及其運作方法
US20190231279A1 (en) Eye movement measuring device and eye movement analysis system
WO2018164104A1 (ja) 眼部画像処理装置
JP6360752B2 (ja) 照明撮像装置
EP3586723A1 (en) Holographic eye imaging device
US20180116506A1 (en) Eye tracking apparatus and image capture module thereof
WO2018170538A1 (en) System and method of capturing true gaze position data
KR101673694B1 (ko) 시선추적장치 및 그의 반사점 검출 방법
JP2017162233A (ja) 視線検出装置および視線検出方法
JP7263959B2 (ja) 眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラム
KR20120127560A (ko) 눈 검출 시스템 및 그 동작 방법
JP2017068385A (ja) 撮像装置、および監視システム
JP2023169625A (ja) 監視装置、監視用コンピュータプログラム及び監視方法
JP2016049262A (ja) 照明撮像装置
KR20170090247A (ko) 자동추적 조명을 이용한 비착용형 원거리 시선추적장치
JP2009245257A (ja) 顔位置推定装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4