KR20170028631A - 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 - Google Patents

정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 Download PDF

Info

Publication number
KR20170028631A
KR20170028631A KR1020150125472A KR20150125472A KR20170028631A KR 20170028631 A KR20170028631 A KR 20170028631A KR 1020150125472 A KR1020150125472 A KR 1020150125472A KR 20150125472 A KR20150125472 A KR 20150125472A KR 20170028631 A KR20170028631 A KR 20170028631A
Authority
KR
South Korea
Prior art keywords
face
image
face image
driver
front face
Prior art date
Application number
KR1020150125472A
Other languages
English (en)
Inventor
윤상민
심상현
Original Assignee
(주) 이즈테크놀로지
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이즈테크놀로지, 국민대학교산학협력단 filed Critical (주) 이즈테크놀로지
Priority to KR1020150125472A priority Critical patent/KR20170028631A/ko
Publication of KR20170028631A publication Critical patent/KR20170028631A/ko

Links

Images

Classifications

    • G06K9/00221—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0854—Inactivity or incapacity of driver due to driver cheating, e.g. to circumvent driver tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 단계, 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계, 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계, 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계, 그리고 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계를 포함한다. 본 발명에 의하면, 정면 얼굴 영상을 이용하게 운전자의 부주의를 보다 효과적으로 검출할 수 있게 된다.

Description

정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치{Method and Apparatus for Detecting Carelessness of Driver Using Restoration of Front Face Image}
본 발명은 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치에 관한 것으로, 보다 자세하게는 운전자의 상/하/좌/우 얼굴 영상으로부터 정면 얼굴 영상을 복원하여 운전자의 부주의를 검출할 수 있는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치에 관한 것이다.
차량의 운전 중 운전자에게 졸음이 오는 경우나 운전자가 운전에 집중하지 못하고 산만한 경우, 대형 사고로 발전할 가능성이 매우 높기 때문에 이를 예방하고 방지하는 것이 대단히 중요하다.
이에 운전자에게 적절한 주행 거리마다 충분한 휴식과 가벼운 스트레칭 등의 운동을 하도록 하거나, 운전 중에 졸음이 오는 경우 주행을 멈추고 휴식을 취할 것을 권고하여 졸음운전을 예방하고 있으나, 실제로는 여러 가지 이유로 인하여 위와 같은 수칙이 지켜지기 어려우며, 차량 주행 중에 순간적으로 졸음이 오는 경우도 비일비재하기 때문에 교통사고의 발생에서 졸음운전이 원인이 되는 경우는 여전히 줄지 않고 있다.
이와 같은 졸음운전의 방지를 위하여 종래에는 자동차의 유리창 정면에 카메라를 설치하고, 설치된 카메라를 통해 운전자의 상태 즉, 운전자의 시선을 파악하여 졸음운전을 판단한 후, 졸음운전으로 판단되는 경우 이를 운전자에게 경고하여 줌으로써 운전자가 안정된 차량 운행을 할 수 있도록 하였다.
하지만, 종래에는 카메라를 자동차의 유리창 정면에 설치하기 때문에 오히려 운전자의 시선을 방해하여 안전된 차량 운행에 방해가 될 수 있는 문제점이 존재하였다.
한편, 카메라를 자동차의 유리창 정면이 아닌 운전석 주변에 설치할 경우에는 운전자의 시선을 파악하기가 어렵기 때문에 운전자의 졸음운전 여부를 제대로 판단하지 못할 뿐만 아니라 심지어 상황에 따라 잘못된 판단을 할 수 있는 한계점이 존재하였다.
한국공개특허공보 제1996-0013874호 (공개일 1996. 05. 22.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 회전 각도를 추출하고, 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 정면 얼굴 영상을 복원하여 운전자의 부주의를 보다 효과적으로 검출할 수 있는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치를 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법은 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 단계, 상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계, 상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계, 상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계, 그리고 상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계를 포함한다.
상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계는 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하는 단계, 그리고 상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출하는 단계를 포함할 수 있다.
상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계는 상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출할 수 있다.
상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계는 상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하는 단계, 그리고 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계를 포함할 수 있다.
상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계는 각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환할 수 있다.
상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계는 상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하는 단계, 그리고 상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출하는 단계를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치는 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 얼굴 후보 영역 검출부, 상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 얼굴 특징점 추출부, 상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 얼굴 회전 각도 추출부, 상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 정면 얼굴 영상 생성부 그리고 상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 운전자 부주의 검출부를 포함한다.
상기 얼굴 특징점 추출부는 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하고, 상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출할 수 있다.
상기 얼굴 회전 각도 추출부는 상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출할 수 있다.
상기 정면 얼굴 영상 생성부는 상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행할 수 있다.
상기 정면 얼굴 영상 생성부는 각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환할 수 있다.
상기 운전자 부주의 검출부는 상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하고, 상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출할 수 있다.
이와 같이 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치에 따르면, 자동차의 실내에 설치되는 카메라의 다양한 방향에 의해 운전자의 정면 얼굴 영상을 검출하기 어려운 상황에서도 정면 얼굴 영상의 복원을 통해 운전자의 시선을 추출하여 운전 시 졸음 등과 같은 사용자의 부주의를 보다 효과적으로 검출할 수 있는 장점이 있다.
그리고, 자동차 분야뿐만 아니라 화상 통화 시 사용자의 정면 얼굴 영상을 복원하여 몰입감을 증가시킬 수 있는 것과 같이 사용자의 시선을 파악하여 활용될 수 있는 다양한 분야에서도 적용되어 사용될 수 있는 장점이 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치(100)는 얼굴 후보 영역 검출부(110), 얼굴 특징점 추출부(120), 얼굴 회전 각도 추출부(130), 정면 얼굴 영상 생성부(140) 및 운전자 부주의 검출부(150)를 포함하여 구성된다.
얼굴 후보 영역 검출부(110)는 카메라(50)에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출한다. 입력 얼굴 영상은 정면 얼굴 영상이 아니기 때문에 일반적인 알고리즘으로는 얼굴 영역을 검출하는데 실패할 확률이 높을 수 있다. 이에 얼굴 후보 영역 검출부(110)에서는 입력 얼굴 영상과 미리 저장된 얼굴 영상과의 차 영상 검출을 통하여 얼굴의 후보 영역(Regoion of Interest: ROI)을 검출한다. 카메라(50)는 자동차에 설치될 수 있으며, 운전자의 상/하/좌/우 얼굴 등과 같이 운전자의 얼굴을 촬영할 수 있다면 어떠한 방향에 설치되더라도 상관없다.
얼굴 특징점 추출부(120)는 검출된 얼굴의 후보 영역 안에서 ASM(Active Shape model)을 기반으로 하여 눈, 코, 입 또는 얼굴 윤곽 등과 같은 얼굴의 특징점을 추출할 수 있다. ASM은 얼굴을 모델링하는데 사용되는 통계 기반의 방식으로, 특정 형태를 모델링하여 얼굴을 추적하는데 활용될 수 있다.
ASM에서 형태 모델을 만드는 학습 과정은 저장 수단(미도시)에 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 라벨링(labeling)된 특징점(landmark)들을 이용하여 평균적인 형태를 구함으로써 이루어질 수 있는데, 이러한 형태 모델은 하기의 (수식 1)로 나타낼 수 있다.
(수식 1)
Figure pat00001
여기서, x는 입력 얼굴 영상,
Figure pat00002
는 훈련 영상으로부터 구한 얼굴 평균 영상, P는 얼굴 형태의 공분산에 대한 고유 벡터의 열로 구성된 행렬, b는 얼굴 형태 파라미터를 원소로 하여 구성된 벡터이다.
보다 자세하게는, 얼굴 특징점 추출부(120)는 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구할 수 있다. 즉, 얼굴 특징점 추출부(120)는 학습을 위하여 각 포즈(좌/우/상/하/정면) 별로 생성된 훈련 영상으로부터 각 얼굴의 부위마다 라벨링된 특징점을 이용하여 얼굴 평균 영상을 구할 수 있다. 그러면, 입력 얼굴 영상은 (수식 1)과 같이, 얼굴 평균 영상과 얼굴 형태의 공분산에 대한 고유 벡터 및 얼굴 형태의 조합을 통하여 얻어질 수 있다.
그리고, 얼굴 특징점 추출부(120)는 입력 얼굴 영상과 얼굴 평균 영상의 차이를 지속적으로 조정하여 얼굴의 특징점을 추출할 수 있다. 즉, b를 구해서 제한 조건 범위 밖에 있으면 다시 조정을 한 후 b의 모든 값들이 제한 조건 범위를 만족할 때까지 상기 과정을 반복할 수 있다.
얼굴 회전 각도 추출부(130)는 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출한다. 얼굴 회전 각도 추출부(130)는 미리 저장된 훈련 영상의 좌/우/상/하 얼굴의 특징점을 통하여 입력 얼굴 영상의 좌/우/상/하에 따른 얼굴의 포즈를 판단하도록 하는데, 입력 얼굴 영상과 훈련 영상으로부터 특징점 및 고유 벡터 간의 유사도를 지속적으로 비교하여 얼굴의 회전 각도를 찾을 수 있다.
이와 같이, 얼굴 회전 각도 추출부(130)는 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 입력 얼굴 영상이 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 얼굴의 회전 각도를 추출할 수 있다.
정면 얼굴 영상 생성부(140)는 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성할 수 있다. 정면 얼굴 영상으로의 변환을 위하여 정면 얼굴과 비정면 얼굴 각각에 대한 특징 공간에서의 주성분들을 구하는 방식으로 입력 얼굴 영상의 특성을 나타내는데 적합한 PCA를 사용할 수 있다.
즉, 정면 얼굴 영상 생성부(140)는 추출된 얼굴의 회전 각도를 기반으로 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행할 수 있다. 이때, 정면 얼굴 영상 생성부(140)는 오차가 줄어들 때까지 PCA를 기반으로 반복적으로 복원을 수행할 수 있
Figure pat00003
다.
보다 자세하게는, 정면 얼굴 영상 생성부(140)는 PCA 방식을 통해 입력 얼굴 영상을 미리 알고 있는 영상들 사이의 중요한 변화들을 나타내는 고유 벡터들 즉, 정면 얼굴 영상으로 재구성하여 나타낼 수 있는데, 좌/우/상/하/정면 얼굴 등의 훈련 영상으로부터 PCA를 이용하여 각 포즈에 대한 특징 공간을 구할 수 있다. PCA는 입력 얼굴 영상의 변화를 특징지을 수 있는 최소한의 기저 영상(basis image)으로 각 영상들을 근사화하는 방법으로서, 좌/우/상/하/정면 얼굴 등의 훈련 영상을 각 포즈마다 하나의 열 벡터(
Figure pat00004
)로 표현될 수 있다고 할 때 각 포즈마다 훈련 영상들의 평균 벡터(
Figure pat00005
)를 하기의 (수식 2)와 같이, 계산할 수 있다.
(수식 2)
Figure pat00006
다음으로, 하기의 (수식 3)과 같이, 각 훈련 영상의 열 벡터(
Figure pat00007
)로부터 평균 벡터(
Figure pat00008
)를 뺀 것들의 공분산 행렬(C)을 구할 수 있다.
(수식 3)
Figure pat00009
그 후, 구해진 공분산 행렬로부터 고유 벡터(
Figure pat00010
)를 구할 수 있는데, 고유 벡터는 고유 얼굴로 지칭하며, 복수의 고유 벡터는 하나의 특징 공간을 형성할 수 있다. 그리고, 하기의 (수식 4)와 같이, 입력 얼굴 영상(
Figure pat00011
), 고유 벡터(
Figure pat00012
)와 평균 벡터(
Figure pat00013
)를 이용하여 가중치(
Figure pat00014
)를 구할 수 있다.
(수식 4)
Figure pat00015
가중치(
Figure pat00016
)는 입력 얼굴 영상이 고유 벡터(
Figure pat00017
)로 구성된 공간상에 표현될 수 있는 계수로, 정면 얼굴 영상(
Figure pat00018
)은 하기의 (수식 5)와 같이, 고유 벡터의 가중치 합(weighted)의 형태로 재구성하여 나타낼 수 있다. 즉, 입력 얼굴 영상은 고유 얼굴의 선형 결합(linear combination)으로 나타내질 수 있기 때문에 입력 얼굴 영상을 특징 공간에 선형 투영(linear projection)하는 변환을 수행하여 정면 얼굴 영상을 생성할 수 있는 것이다.
(수식 5)
Figure pat00019
운전자 부주의 검출부(150)는 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출할 수 있다.
보다 자세하게는, 운전자 부주의 검출부(150)는 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하고, 추출된 눈의 특징점 및 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출할 수 있다. 운전자 부주의 검출부(150)는 눈과 얼굴 중심 간의 각도를 측정하여 얼굴이 얼마나 많이 회전되었는지 측정하여 얼굴의 기울기를 추출하고, 얼굴의 기울기 및 눈의 특징점 검출 여부를 통해 운전자가 졸고 있는지 판단할 수 있다.
예컨대, 운전자 부주의 검출부(150)는 얼굴이 아래 방향으로 기울어져 있고 운전자의 시선이 아래를 향하고 있거나 눈의 특징점이 검출되지 않을 경우, 운전자가 졸고 있는 것으로 판단하여 졸음을 방지하도록 운전자에게 경고할 수 있다.
이하에서는 본 발명의 실시예에 따른 정면 얼굴 영상의 복원 과정에 대하여 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 과정을 보여주는 동작 흐름도를 나타낸다.
도 2에 도시한 바와 같이, 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출한다(S200). 카메라는 자동차에 설치될 수 있으며, 운전자의 상/하/좌/우 얼굴 등과 같이 운전자의 얼굴을 촬영할 수 있다면 어떠한 방향에 설치되더라도 상관없다.
그리고, 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출할 수 있다(S210). 검출된 얼굴의 후보 영역 안에서 ASM(Active Shape model)을 기반으로 하여 눈, 코, 입 또는 얼굴 윤곽 등과 같은 얼굴의 특징점을 추출할 수 있다. ASM은 얼굴을 모델링하는데 사용되는 통계 기반의 방식으로, 특정 형태를 모델링하여 얼굴을 추적하는데 활용될 수 있다.
ASM에서 형태 모델을 만드는 학습 과정은 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 라벨링(labeling)된 특징점(landmark)들을 이용하여 평균적인 형태를 구함으로써 이루어질 수 있는데, 이러한 형태 모델은 하기의 (수식 1)로 나타낼 수 있다.
(수식 1)
Figure pat00020
여기서, x는 입력 얼굴 영상,
Figure pat00021
는 훈련 영상으로부터 구한 얼굴 평균 영상, P는 얼굴 형태의 공분산에 대한 고유 벡터의 열로 구성된 행렬, b는 얼굴 형태 파라미터를 원소로 하여 구성된 벡터이다.
보다 자세하게는, 미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구할 수 있다. 즉, 학습을 위하여 각 포즈(좌/우/상/하/정면) 별로 생성된 훈련 영상으로부터 각 얼굴의 부위마다 라벨링된 특징점을 이용하여 얼굴 평균 영상을 구할 수 있다. 그러면, 입력 얼굴 영상은 (수식 1)과 같이, 얼굴 평균 영상과 얼굴 형태의 공분산에 대한 고유 벡터 및 얼굴 형태의 조합을 통하여 얻어질 수 있다.
그리고, 입력 얼굴 영상과 얼굴 평균 영상의 차이를 지속적으로 조정하여 얼굴의 특징점을 추출할 수 있다. 즉, b를 구해서 제한 조건 범위 밖에 있으면 다시 조정을 한 후 b의 모든 값들이 제한 조건 범위를 만족할 때까지 상기 과정을 반복할 수 있다.
다음으로, 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출할 수 있다(S220).
미리 저장된 훈련 영상의 좌/우/상/하 얼굴의 특징점을 통하여 입력 얼굴 영상의 좌/우/상/하에 따른 얼굴의 포즈를 판단하도록 하는데, 입력 얼굴 영상과 훈련 영상으로부터 특징점 및 고유 벡터 간의 유사도를 지속적으로 비교하여 얼굴의 회전 각도를 찾을 수 있다.
이와 같이, 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 입력 얼굴 영상이 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 얼굴의 회전 각도를 추출할 수 있다.
그 후, 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성할 수 있다(S230).
정면 얼굴 영상으로의 변환을 위하여 정면 얼굴과 비정면 얼굴 각각에 대한 특징 공간에서의 주성분들을 구하는 방식으로 입력 얼굴 영상의 특성을 나타내는데 적합한 PCA를 사용할 수 있다.
즉, 추출된 얼굴의 회전 각도를 기반으로 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행할 수 있다. 이때, 오차가 줄어들 때까지 PCA를 기반으로 반복적으로 복원을 수행할 수 있다.
보다 자세하게는, PCA 방식을 통해 입력 얼굴 영상을 미리 알고 있는 영상들 사이의 중요한 변화들을 나타내는 고유 벡터들 즉, 정면 얼굴 영상으로 재구성하여 나타낼 수 있는데, 좌/우/상/하/정면 얼굴 등의 훈련 영상으로부터 PCA를 이용하여 각 포즈에 대한 특징 공간을 구할 수 있다. PCA는 입력 얼굴 영상의 변화를 특징지을 수 있는 최소한의 기저 영상(basis image)으로 각 영상들을 근사화하는 방법으로서, 좌/우/상/하/정면 얼굴 등의 훈련 영상을 각 포즈마다 하나의 열 벡터(
Figure pat00022
)로 표현될 수 있다고 할 때 각 포즈마다 훈련 영상들의 평균 벡터(
Figure pat00023
)를 하기의 (수식 2)와 같이, 계산할 수 있다.
(수식 2)
Figure pat00024
다음으로, 하기의 (수식 3)과 같이, 각 훈련 영상의 열 벡터(
Figure pat00025
)로부터 평균 벡터(
Figure pat00026
)를 뺀 것들의 공분산 행렬(C)을 구할 수 있다.
(수식 3)
Figure pat00027
그 후, 구해진 공분산 행렬로부터 고유 벡터(
Figure pat00028
)를 구할 수 있는데, 고유 벡터는 고유 얼굴로 지칭하며, 복수의 고유 벡터는 하나의 특징 공간을 형성할 수 있다. 그리고, 하기의 (수식 4)와 같이, 입력 얼굴 영상(
Figure pat00029
), 고유 벡터(
Figure pat00030
)와 평균 벡터(
Figure pat00031
)를 이용하여 가중치(
Figure pat00032
)를 구할 수 있다.
(수식 4)
Figure pat00033
가중치(
Figure pat00034
)는 입력 얼굴 영상이 고유 벡터(
Figure pat00035
)로 구성된 공간 상에 표현될 수 있는 계수로, 정면 얼굴 영상(
Figure pat00036
)은 하기의 (수식 5)와 같이, 고유 벡터의 가중치 합(weighted)의 형태로 재구성하여 나타낼 수 있다. 즉, 입력 얼굴 영상은 고유 얼굴의 선형 결합(linear combination)으로 나타내질 수 있기 때문에 입력 얼굴 영상을 특징 공간에 선형 투영(linear projection)하는 변환을 수행하여 정면 얼굴 영상을 생성할 수 있는 것이다.
(수식 5)
Figure pat00037
그런 다음, 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출할 수 있다(S240).
보다 자세하게는, 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하고, 추출된 눈의 특징점 및 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출할 수 있다. 운전자 부주의 검출부(150)는 눈과 얼굴 중심 간의 각도를 측정하여 얼굴이 얼마나 많이 회전되었는지 측정하여 얼굴의 기울기를 추출하고, 얼굴의 기울기 및 눈의 특징점 검출 여부를 통해 운전자가 졸고 있는지 판단할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
110: 얼굴 후보 영역 검출부
120: 얼굴 특징점 추출부
130: 얼굴 회전 각도 추출부
140: 정면 얼굴 영상 생성부
150: 운전자 부주의 검출부

Claims (12)

  1. 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 단계,
    상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계,
    상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계,
    상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계, 그리고
    상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계
    를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  2. 제 1 항에서,
    상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계는,
    미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하는 단계, 그리고
    상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  3. 제 2 항에서,
    상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계는,
    상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  4. 제 2 항에서,
    상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계는,
    상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  5. 제 4 항에서,
    상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계는,
    각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  6. 제 1 항에서,
    상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계는,
    상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하는 단계, 그리고
    상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법.
  7. 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 얼굴 후보 영역 검출부,
    상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 얼굴 특징점 추출부,
    상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 얼굴 회전 각도 추출부,
    상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 정면 얼굴 영상 생성부, 그리고
    상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 운전자 부주의 검출부
    를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
  8. 제 7 항에서,
    상기 얼굴 특징점 추출부는,
    미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하고, 상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
  9. 제 8 항에서,
    상기 얼굴 회전 각도 추출부는,
    상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
  10. 제 8 항에서,
    상기 정면 얼굴 영상 생성부는,
    상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
  11. 제 10 항에서,
    상기 정면 얼굴 영상 생성부는,
    각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
  12. 제 7 항에서,
    상기 운전자 부주의 검출부는,
    상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하고, 상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치.
KR1020150125472A 2015-09-04 2015-09-04 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 KR20170028631A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150125472A KR20170028631A (ko) 2015-09-04 2015-09-04 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150125472A KR20170028631A (ko) 2015-09-04 2015-09-04 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20170028631A true KR20170028631A (ko) 2017-03-14

Family

ID=58460145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150125472A KR20170028631A (ko) 2015-09-04 2015-09-04 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20170028631A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107235044A (zh) * 2017-05-31 2017-10-10 北京航空航天大学 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
US10515280B2 (en) 2018-04-24 2019-12-24 Hyundai Motor Company Apparatus, vehicle including the same, and control method for the same
KR20230118376A (ko) * 2022-02-04 2023-08-11 라온피플 주식회사 졸음운전감지 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960013874A (ko) 1994-10-15 1996-05-22 한승준 운전자의 졸음 방지 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960013874A (ko) 1994-10-15 1996-05-22 한승준 운전자의 졸음 방지 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107235044A (zh) * 2017-05-31 2017-10-10 北京航空航天大学 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN107235044B (zh) * 2017-05-31 2019-05-28 北京航空航天大学 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
US10515280B2 (en) 2018-04-24 2019-12-24 Hyundai Motor Company Apparatus, vehicle including the same, and control method for the same
KR20230118376A (ko) * 2022-02-04 2023-08-11 라온피플 주식회사 졸음운전감지 방법 및 장치

Similar Documents

Publication Publication Date Title
EP3488382B1 (en) Method and system for monitoring the status of the driver of a vehicle
US7346192B2 (en) Image processing system and driving support system
JP6343808B2 (ja) 視野算出装置および視野算出方法
US10655978B2 (en) Controlling an autonomous vehicle based on passenger behavior
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
KR20200095383A (ko) V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
Doshi et al. A comparative exploration of eye gaze and head motion cues for lane change intent prediction
Yuen et al. An occluded stacked hourglass approach to facial landmark localization and occlusion estimation
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
Anitha et al. A two fold expert system for yawning detection
KR20170028631A (ko) 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치
JP6459856B2 (ja) 車両運転支援装置、車両運転支援方法、およびプログラム
Pavani et al. Drowsy Driver Monitoring Using Machine Learning and Visible Actions
JP2020149499A (ja) 乗員観察装置
Kumar Morphology based facial feature extraction and facial expression recognition for driver vigilance
Daniluk et al. Eye status based on eyelid detection: A driver assistance system
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
Putta et al. Real time drowsiness detection system using viola jones algorithm
Ma et al. A real-time fatigue driving detection system design and implementation
Bhargava et al. Drowsiness detection while driving using eye tracking
JP2020149507A (ja) 乗員観察装置
Kaur et al. Driver’s Drowsiness Detection System Using Machine Learning
KR20240084221A (ko) 운전자의 뇌졸증 전조증상을 검출하기 위한 장치 및 방법
Cruz et al. Human Automotive Interaction: Affect Recognition for Motor Trend Magazine's Best Driver Car of the Year
Ismail TECHNICAL REPORT STANDARD PAGE

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application