KR20170088315A - 깊이정보 기반의 안면인식 자동차제어방법 - Google Patents
깊이정보 기반의 안면인식 자동차제어방법 Download PDFInfo
- Publication number
- KR20170088315A KR20170088315A KR1020170087017A KR20170087017A KR20170088315A KR 20170088315 A KR20170088315 A KR 20170088315A KR 1020170087017 A KR1020170087017 A KR 1020170087017A KR 20170087017 A KR20170087017 A KR 20170087017A KR 20170088315 A KR20170088315 A KR 20170088315A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- depth
- image
- face
- facial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 230000001815 facial effect Effects 0.000 claims description 89
- 239000013598 vector Substances 0.000 claims description 56
- 230000009466 transformation Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008602 contraction Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 210000000216 zygoma Anatomy 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims 1
- 206010041349 Somnolence Diseases 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G06K9/32—
-
- G06K9/78—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
Abstract
본 발명은 깊이정보 기반의 안면인식 자동차제어방법에 관한 것으로서, 더욱 상세하게는 깊이정보를 이용하여 안면인식을 수행하는 장치와 알고리즘이 내재된 안면인식 자동차제어시스템으로 자동차 운전자의 안면을 인식하고 상기 안면인식 자동차제어시스템에서 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 간주하여 경보를 전파하거나 기 인식된 운전자에 적합한 시트 포지션, 룸 미러 및 사이드 미러 각도 설정, 선호 음악 재생 및 선호 라디오 주파수 설정 등의 자동차 환경을 자동으로 설정하는 자동차제어 구현 기술에 관한 것이다.
본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템은 자동차 운전 환경 설정을 수행하는 자동차환경 설정부; 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부; 깊이정보 기반의 안면 인식부;로 구성되는 것을 특징으로 한다.
본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템은 자동차 운전 환경 설정을 수행하는 자동차환경 설정부; 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부; 깊이정보 기반의 안면 인식부;로 구성되는 것을 특징으로 한다.
Description
본 발명은 깊이정보 기반의 안면인식 자동차제어방법에 관한 것으로서, 더욱 상세하게는 깊이정보를 이용하여 안면인식을 수행하는 장치와 알고리즘이 내재된 안면인식 자동차제어시스템으로 자동차 운전자의 안면을 인식하고 상기 안면인식 자동차제어시스템에서 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 간주하여 경보를 전파하거나 기 인식된 운전자에 적합한 시트 포지션, 룸 미러 및 사이드 미러 각도 설정, 선호 음악 재생 및 선호 라디오 주파수 설정 등의 자동차 환경을 자동으로 설정하는 자동차제어 구현 기술에 관한 것이다.
얼굴인식(Face Recognition) 기술이란 생체인식(Boimetrics) 분야 중의 하나로 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술이다. 각종 영상매체로부터 비교적 쉽고 자연스럽게 입력 받을 수 있는 얼굴이미지는 복잡한 배경으로부터 얼굴을 분리한 다음 눈, 코, 입 등의 위치들을 찾아서 정렬 및 사이즈 정규화를 하고, 인식에 필요한 특징 정보를 추출하여 수학적 계산과 통계적인 방법 등으로 템플릿을 만들어 데이터베이스로 저장함으로써, 얼굴의 등록, 인식 및 인증에 사용한다. 생체인식 시스템 분야로는 지문(fingerprint), 정맥(vein), 홍체(iris) 인식 분야가 많이 사용되고 있고 상업화 및 제품화가 이루어져 있다. 하지만, 이러한 생체인식 시스템은 사람이 인위적으로 접촉해야 하고 데이터 수집이 어려우며 직관적이지 못하다는 단점이 있다. 이러한 측면에서 볼 때 안면인식 기술은 이미지를 촬영하는 비접촉식이라는 장점과 여기서 기록되고 사용되는 데이터가 얼굴사진이라는 측면에서 매우 직관적이라는 장점을 갖고 있다.
이러한 안면인식 기술은 영상처리기법을 이용하여 기 저장된 기준영상과 비교하여 패턴을 인식하는 기술이 보편적으로 사용되고 있다. 이는 인쇄회로기판(PCB) 제조라인에서 광학식 검사시스템을 이용하여 PCB 불량유무 판정 부문, 지능형 교통시스템을 위한 차량 번호판 자동인식 부문, 사물인터넷 기술 중 패턴 매칭 기술 부문이 대표적인 적용 및 실시 예이다. 이러한 패턴인식을 수행하기 위하여 종래의 카메라로 영상을 촬영할 때 영상이 카메라 위치에 따라 원근에 기인한 기하학적 왜곡 영상이 촬영되어 패턴의 검출 및 인식이 원활히 이루어지지 않게 하는 요인으로 작용한다. 상기 원근에 기인한 기하학적 왜곡 영상을 보정하기 위해서 보정 물체를 이용한 왜곡 계수 산출 기법, 다방향 패턴 영상 사용 기법, 선 또는 소실점의 기하학적 특징 이용 기법 등이 제안된 바 있으나 전술한 방법은 실시간으로 적용할 수 없다는 문제점이 있다. 또한 색정보를 통해 영상정보를 획득하는 방식은 색 영상에 영향을 미치는 환경 하에서는 취약하다는 문제점이 있다.
카메라를 이용한 영상촬영의 경우, 동영상 부호화 표준으로 최근에 HEVC 표준이 완성되었다. 동영상 부호화에서 움직임 추정 및 보상 방법은 시간방향의 중복성을 제거하기 위해 필수적으로 사용된다. H.264, HEVC 등에서는 움직임 추정을 위해서 현재 화면 내의 공간방향으로 이웃한 화소들의 묶음인 블록과 시간방향으로 이웃한 참조 화면 내에서 가장 가까운 블록을 찾는 블록정합 방법을 사용하고 있다. 블록정합 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면내 탐색영역의 크기, 현재 블록의 크기 등이 고려되어야 한다. 움직임 추정은 동영상 부호화에서 구현 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정방법에 대한 연구가 진행되어 왔다. 이러한 블록정합 움직임 추정은 카메라의 좌우 이동 및 영상 속 객체의 공간 이동 등에는 추정의 정확도가 높지만, 영상 신축에는 정확도가 떨어질 수밖에 없다. 영상의 신축 움직임은 현재 화면이 참조 화면에서 확대 또는 축소되는 것을 의미하며, 확대 및 축소에 해당되는 신축 비율을 정확하게 추출하기 위해서는 가능한 모든 신축비율을 적용할 수밖에 없다. 또한, 가능한 신축비율의 수가 너무 많기 때문에 모든 경우를 적용하기에는 불가능하다. 따라서, 구현의 복잡도를 줄이기 위한 방법에 대한 기술 개발이 진행되어 왔다. 신축 움직임 추정에서 첫 번째 단계에는 선택된 몇 개의 화소들에 대하여 간략하게 움직임을 추정하고, 두 번째 단계에서 모든 화소에 대하여 정확도를 높이는 방법, 계산 효율, 정확도 등을 고려한 반복적 최소-자승 추정에 대한 다양한 개선방법, 보간된 참조 화면을 이용하는 방법, 3-D 다이어몬드 탐색 패턴을 사용하여 움직임 추정을 단순화하는 방법 등이 제안된 바 있다. 그러나, 종래의 기술은 카메라의 색상정보만을 사용하기 때문에 정확한 신축 움직임 벡터를 추정하는 것에 어려움에 있고, 추정의 복잡도를 줄이는 데에도 한계가 있다는 문제점이 있다.
본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템을 개시하려는 유사 선행기술에는 대한민국 등록특허공보 제10-0778059호 '얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템'이 있다. 상기 유사 선행기술은 운전자 얼굴을 촬영하는 카메라; 운전자얼굴의 벡터템플리트를 저장하고 관리하는 사용자등록부; 아날로그 얼굴영상을 디지털영상스트림으로 변환시킨 후에 메모리에 저장하는 얼굴영상획득부; 디지털영상스트림에서 운전자 얼굴 벡터템플리트를 생성하는 얼굴영상 판독부; 운전자얼굴 벡터템플리트와 기 저장된 운전자 벡터템플리트와 비교·분석하여 졸음상태를 확인하는 졸음운전 해석부; 졸음운전 해석부로부터 운전자의 운전얼굴이 졸음운전얼굴로 판독되면 졸음퇴치 컨텐츠를 표현하는 졸음운전 퇴치부;로 구성되는 기술을 개시하는 특징이 있다.
다른 유사 선행기술에는 대한민국 등록특허공보 제10-0961906호 '안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치'가 있다. 상기 유사 선행기술은 자동차 내부의 깊이카메라로 백미러에 비친 운전자 안면을 촬영하는 영상입력단계; 촬영된 영상왜곡을 보정하는 영상왜곡 보정단계; 보정된 영상에서 운전자 입술위치를 파악하는 입술위치 파악단계; 파악된 운전자 입술위치를 통하여 운전자 공간위치를 파악하는 운전자 공간위치 파악단계; 파악된 운전자 공간위치에서 백미러를 통하여 차량 정후방을 관측할 수 있는 백미러 최적각도를 산출하고, 백미러 초기각도차이로서 백미러 보정각도를 계산하는 백미러 보정각도계산단계;로 구성되는 기술을 개시하는 특징이 있다.
또 다른 유사 선행기술에는 대한민국 등록특허공보 제10-1444537호 '운전자 얼굴 상태 알림 장치'이 있다. 상기 유사 선행기술은 운전자의 얼굴을 촬영하는 카메라(촬영 수단)와, 카메라에 의해 촬영된 운전자의 얼굴 화상에 의거하여 상기 운전자의 얼굴 상태를 검출하는 화상 처리부(얼굴 상태 검출 수단)와, 화상 처리부에 의해 검출된 운전자의 얼굴 상태에 의거하여 상기 얼굴 상태의 변화를 반영시킨 알림 정보를 작성하는 제어부 및 화상 변환부(알림 정보 작성 수단)와, 제어부 및 화상 변환부에 의해 작성된 알림 정보를 차 밖의 사람을 향해서 알리는 디스플레이 및 좌우측 램프(알림 수단)로 구성되는 기술을 개시하는 특징이 있다.
그러나 전술한 종래의 유사 선행 기술은 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이영상을 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징점을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징점이 일치할 때 해당 인물로 인식하는 깊이정보 기반의 안면인식 알고리즘으로 구동되는 자동차제어시스템의 구현 기술을 제공하지 못하였다.
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 종래의 안면인식 자동차제어시스템에서 안면인식 영상의 원근 왜곡이 발생하는 현상을 보정할 수 있는 깊이영상 회전 모듈 및 알고리즘이 내재된 안면인식 자동차제어시스템을 구현하는 것에 그 목적이 있다. 또한, 종래의 안면인식 자동차제어시스템에서 신축 움직임 벡터 추정이 어려운 문제점을 해결하고자 깊이정보 변환 모듈 및 알고리즘이 내재된 안면인식 자동차제어시스템을 제공함으로써 고신뢰성 안면인식 자동차제어시스템 구현 기술을 제공하는 것에 그 목적이 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템은 자동차 운전 환경 설정을 수행하는 자동차환경 설정부; 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부; 깊이정보 기반의 안면 인식부;로 구성되는 것을 특징으로 한다.
이상과 같이 본 발명은 깊이카메라를 통해 하나의 평면 영역을 촬영하여 깊이정보를 획득하고 대응되는 색영상에 발생하는 원근 왜곡을 깊이정보로 보정하여 처리속도와 정확도가 향상된 깊이정보 회전 모듈을 구비하게 되므로 인물 촬영이 정면에서 수행되지 않고 측면에서 촬영되어도 이를 자체적으로 원근 보정할 수 있어서 안면인식 자동차제어시스템 성능이 증대되는 효과가 있다. 또한, 현재 촬영된 안면과 본인인증부에 저장된 안면 사이의 비교의 정확도를 높이기 위하여 보정을 수행하는 깊이영상 변환부를 구비하게 되므로 영상 촬영 거리에 따른 오차를 자체적으로 신축 보정이 가능하여 안면인식 자동차제어시스템의 성능이 증대되는 효과가 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 주요 모듈 구성도;
도 2는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 설치 위치에 대한 예시도;
도 3은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템이 적용되는 부분에 대한 예시도;
도 4는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 촬영부를 이용한 깊이영상 촬영 예시도;
도 5는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 보정부를 이용한 오차 발생 픽셀의 보정 예시도;
도 6은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 보정부를 이용한 안경 착용자의 안경테에 대한 보간 예시도;
도 7은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 변환부의 세부모듈에 대한 구성도;
도 8은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 변환부에서 안면 정렬이 수행되는 실시 흐름도;
도 9는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면 검출부에서 깊이 값을 이용하여 안면을 추출하는 과정의 예시도;
도 10은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면특징 추출부로 추출된 주요 특징별 깊이 값 차이에 대한 예시도;
도 11은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면특징 추출부로 추출된 안면 부위의 예시도;
도 12는 안면이 기울어진 상태를 보정하기 위하여 두 눈의 위치를 수평선에 평행하게 보정하는 과정의 예시도;
도 13은 안면에서 코와 코 주변의 깊이 차를 계산하여 상대적 깊이 크기를 측정하는 방법의 예시도;
도 14는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템을 이용한 턱 부위 추출에 대한 예시도;
도 15는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템을 이용한 안면 폭 측정에 대한 예시도이다.
도 2는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 설치 위치에 대한 예시도;
도 3은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템이 적용되는 부분에 대한 예시도;
도 4는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 촬영부를 이용한 깊이영상 촬영 예시도;
도 5는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 보정부를 이용한 오차 발생 픽셀의 보정 예시도;
도 6은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 보정부를 이용한 안경 착용자의 안경테에 대한 보간 예시도;
도 7은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 변환부의 세부모듈에 대한 구성도;
도 8은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 깊이영상 변환부에서 안면 정렬이 수행되는 실시 흐름도;
도 9는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면 검출부에서 깊이 값을 이용하여 안면을 추출하는 과정의 예시도;
도 10은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면특징 추출부로 추출된 주요 특징별 깊이 값 차이에 대한 예시도;
도 11은 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템의 안면특징 추출부로 추출된 안면 부위의 예시도;
도 12는 안면이 기울어진 상태를 보정하기 위하여 두 눈의 위치를 수평선에 평행하게 보정하는 과정의 예시도;
도 13은 안면에서 코와 코 주변의 깊이 차를 계산하여 상대적 깊이 크기를 측정하는 방법의 예시도;
도 14는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템을 이용한 턱 부위 추출에 대한 예시도;
도 15는 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템을 이용한 안면 폭 측정에 대한 예시도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
본 발명의 각 구성 단계에 대한 상세한 설명에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 내지 도3을 참조하면 본 발명에 따른 깊이정보 기반의 안면인식 자동차제어시스템은 기 인식된 운전자에 적합한 시트 포지션, 룸 미러 및 사이드 미러 각도 설정, 선호 음악 재생 및 선호 라디오 주파수 재생 등의 자동차 운전 환경 설정을 수행하는 자동차환경 설정부(100); 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부(200); 깊이정보 기반의 안면 인식부(300);로 구성되는 것을 특징으로 한다.
상기 졸음운전 감지부(200)는 졸음운전 감지 시 알람음과 같은 위험 경보를 전파하기 위한 알람 경보부(210)를 더 포함하는 것을 특징으로 하며 상기 졸음운전에 대한 판단 요소에는 안면이 불규칙하게 움직이는 동작, 눈꺼풀의 닫힘, 하품을 하는 입에 대한 깊이 값 변화가 되는 것이 바람직하다.
상기 안면 인식부(300)는 안면특징 깊이정보 저장용 안면 저장부(310); 안면깊이영상 촬영용 깊이영상 촬영부(320); 깊이값 오차보정용 깊이영상 보정부(330); 깊이영상 안면부분 추출용 안면검출부(340); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(350); 깊이영상 안면특징 추출용 안면특징 추출부(360); 상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징 비교부(370); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(380);로 구성되는 것을 특징으로 한다.
상기 안면 저장부(310)에는 자동차를 제어할 운전자의 안면에 대한 깊이정보를 저장하고 있어서 이를 토대로 상기 안면 인식부(300)에서 상기 운전자의 인식이 가능한 것을 특징으로 한다. 상기 안면 저장부(310)에는 기 인식된 다수의 운전자에 대한 좌석 설정, 선호 음악 선곡/재생 정보와 시트 포지션, 룸 미러 및 사이드 미러 각도에 대한 정보를 저장하고 있는 것을 특징으로 한다. 상기 깊이영상 촬영부(320)는 도 2와 같이 자동차의 대쉬보드에 위치하는 것이 바람직하며 상기 깊이영상 촬영부(320)를 통해 운전자 안면을 촬영하여 깊이영상을 획득하면 상기 안면특징 추출부(360)와 상기 안면특징 비교부(370)를 통해 운전자를 최종 인식하는 것을 특징으로 한다. 만약 상기 안면 인식부(300)에서 운전자 안면을 인식하는데 실패한다면 상기 알람 경고부(210)에서 재촬영을 요구하는 알람음이 1차 송출되고 상기 안면 저장부(310)에 기 저장된 운전자가 아닌 것으로 확인되면 자동차 도난 상황으로 간주하여 상기 알람 경고부(210)에서 알람음이 2차 송출되는 동시에 기 설정된 연락처로 경고 메시지를 발송하는 것을 특징으로 한다.
일반적으로 졸음 운전을 하는 징후로는 운전자의 고개가 끄덕이고, 눈꺼풀이 닫히며, 하품을 하게 되어 입이 평상 시 보다 크게 개방되고, 신체의 움직임이 없어지게 된다. 따라서 상기 깊이영상 촬영부(320)에서 전술한 특이 징후를 포착하여 운전자의 졸음을 판별할 수 있다. 상기 졸음운전 감지부(200)에서 전술한 징후가 하나라도 포착되는 경우에는 상기 알람 경보부(210)에서 알람음을 지속적으로 송출시키는 것을 특징으로 한다.
상기 안면 저장부(310)에는 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 것을 특징으로 한다. 이 때 저장될 신체적 특징은 안면의 깊이정보 외에도 눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외곽정보인 것이 바람직하다. 또한 상기 안면 저장부(310)는 깊이 영상 내 깊이 값이 제일 작은 값이 기준 깊이 값 Dreference를 가지도록 상기 깊이영상 변환부(350)을 이용하여 변환을 적용하여 저장되는 것을 특징으로 한다.
상기 깊이영상 촬영부(320)를 인물 촬영이 가능한 곳에 설치한 후 인물 촬영을 시작하게 되면 인물의 안면이 도 4와 같이 촬영된다. 이 때 획득된 깊이영상의 특징으로는 코 부위가 상기 깊이영상 촬영부(320)와 제일 지근거리에 위치하므로 깊이 값이 가장 작게 나오게 된다. 또한 안면과 다른 영역의 깊이 값은 큰 차이가 나게 되어 안면부분을 상기 안면 검출부(340)를 이용해 깊이영상 안면부분을 추출할 수 있다. 상기 깊이영상 촬영부(320)를 통해 깊이영상을 촬영 및 획득 시 촬영영상에서 오차가 발생하는 픽셀이 발생할 수도 있다. 이 때 상기 깊이영상 보정부(330)를 이용하여 도 5와 같이 보간을 수행하면 오차가 발생한 픽셀을 보정하게 된다.
안면인식 과정에서 안경 착용자가 안면인식의 대상이 될 수도 있다. 상기 안경 착용자가 깊이영상 촬영 대상일 경우에 안경렌즈는 유리이기 때문에 깊이 값의 측정에 영향을 미치지 않지만 안경테의 경우에는 깊이 값이 있는 것으로 측정되어 안면 인식 과정에 오차를 유발할 수 있다. 따라서 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있다. 또한, 안경테의 영역을 도 6과 같이 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있다.
상기 안면 검출부(340)에서 깊이 값을 이용하여 안면을 추출하는 과정은 다음과 같다. 상기 깊이영상 촬영부(320)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 된다. 이 때 안면은 상기 깊이영상 촬영부(320)와 지근거리에 있기 때문에 안면 영역의 평균 깊이 값이 가장 작게 나타나게 된다. 이를 이용하여 안면을 다른 신체 부위와도 분리할 수 있고 깊이 값이 낮을수록 밝게 나타나는 깊이영상을 확인할 수 있다. 이 때 안면 부위는 타 부위와 비교하여 깊이 값이 낮은 것을 확인할 수 있으며 이를 통해 안면 부위를 타 영역과 분리 가능하게 된다.
상기 깊이영상 촬영부(320)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에 대한 보정이 필요하며 이는 상기 깊이영상 변환부(350)에서 변환을 적용하여 안면을 정렬할 수 있다.
이에 대한 원리를 보다 상세하게 설명하기 위하여 도 7을 참조하면 상기 깊이영상 변환부(350)는 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(341); 상기 깊이정보 산출부(341)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환부(342); 상기 좌표 변환부(342)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(343); 상기 국소법선벡터 산출부(343)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(344); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하고, 촬영 영상의 깊이 값과 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 평행이동 행렬을 구하여 이를 조합하여 변환 행렬을 구하는 변환행렬 계산부(345); 상기 변환 행렬을 이용하여 변환을 적용하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 변환 적용부(346);로 구성되는 것을 특징으로 한다.
상기 좌표 변환부(342)는 상기 깊이영상 촬영부(320)를 통해 평면을 촬영하여 깊이영상에서의 화소의 위치 P(x, y)와 그 화소에서의 깊이 값인 상기 깊이영상 촬영부(320)를 중심으로 하는 xy평면으로부터의 거리 D(x, y)를 얻고 상기 D(x, y)와 상기 깊이영상 촬영부(320)의 인자를 이용하여 상기 깊이영상 촬영부(320)의 초점을 원점으로 하고 상기 깊이영상 촬영부(320)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(320) 좌표계로 변환하는 것을 특징으로 한다.
여기서, 상기 깊이영상 촬영부(320) 좌표계로의 변환은 상기 화소의 위치 P(x, y)는 영상의 왼쪽 상단 모서리를 원점으로 하는 깊이영상 좌표계에서의 위치정보이고 상기 깊이정보 D(x, y)는 상기 깊이영상 촬영부(320) 좌표계 내에서 z축의 거리 zc가 되고 영상 좌표계 내에서의 상기 화소의 위치 P(x, y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(xv, yv)로 변환하는 것을 특징으로 한다.
그리고 상기 좌표 변환부(342)는 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하기 위하여 상기 깊이영상 촬영부(320)의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 상기 깊이영상 촬영부(320)의 수직 시야각 foVv와 상기 깊이영상 촬영부(320)의 수직 해상도 h를 통해 상기 뷰포트까지의 거리 f를 구하거나 수평 시야각 foVh과 상기 깊이영상 촬영부(320)의 수평 해상도 w를 통하여 구하고, 이렇게 구해진 상기 뷰포트까지의 거리 f를 이용하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치 Pc(x, y)=(xc, yc, zc)로 변환하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보를 구하는 것을 특징으로 한다.
상기 국소법선벡터 산출부(343)는 영상 좌표계에서의 위치 P(x, y)에서의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 Pc(x, y)라고 한다면 화소의 상하에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x, y+1), Pc(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x+1, y), Pc(x-1, y)를 토대로 두 개의 벡터 v1= Pc(x+1, y)- Pc(x-1, y), v2= Pc(x, y+1)- Pc(x, y-1)를 생성하고 Nxy=v1×v2를 통해 두 벡터의 외적을 구하여 화소 P(x, y)에서의 국소적인 법선벡터 Nxy를 구하는 것을 특징으로 한다.
상기 평면법선벡터 산출부(344)는 상기 국소법선벡터 산출부(343)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(346)에서 상기 깊이영상 촬영부(320)로 촬영한 영상을 회전변환을 통해 평면의 법선벡터 N을 z축에 평행하게 하여 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 한다. 그리고 회전변환을 거친 후의 평면법선벡터의 단위벡터는 N'(0, 0, 1)이 되는 것을 특징으로 한다.
상기 변환행렬 계산부(345)는 평면영역에서의 법선벡터를 N, 회전변환을 거친 후의 평면법선벡터의 단위벡터를 N'이라 하면 회전변환의 축이 되는 단위벡터는 u=(N×N')/(|N×N'|)을 통해 변환 전후의 각각의 법선벡터를 외적하여 정규화한 벡터 u(ux, uy, uz)이고 회전각 θ는 θ=cos-1((NㆍN')/(|N||N'|))를 통하여 구한 두 벡터의 사이각인 것을 특징으로 한다. 그리고 상기 변환행렬 계산부(345)에서 회전변환 행렬 R은
R=cosθI+sinθ[u]+(1-cosθ)uⓧu,
[u]x=을 통하여 구하고 검출된 안면 영역 내 깊이 값이 제일 작은 값을 Dmin로 두고, 상기 안면 저장부(100)의 Dreference를 이용하여 평행이동 행렬 T1, T2를
상기 변환 적용부(346)는 영상이 투영되는 뷰포트까지의 거리 f, 회전변환을 하여 구해진 변환 후의 위치 P'c(i, j)=(x'c, y'c, z'c)라 하면, P'은 상기 깊이영상 촬영부(320) 좌표계 상의 좌표이므로 이를 다시 영상좌표로 변환하기 위하여 x'v=(x'cf)/ z'c, y'v=(y'cf)/ z'c를 이용하여 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x'v, y'v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정변환 시 화소 P(x, y)에 사상되는 화소 P'(x', y')를 구하는 것과, 깊이 영상에서의 화소값인 깊이 값을 P'(x', y') 을 z'c 로 변경하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 것을 특징으로 한다.
도 8을 참조하면 상기 깊이영상 변환부(350)에서 안면 정렬이 되는 실시 흐름은 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s341); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 단계(s342); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s343); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s344); 영상의 회전축과 사이 각을 계산하고, 영상 중앙의 깊이정보와 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 변환 행렬을 구하는 단계(s345); 상기 변환 행렬을 이용하여 변환을 적용하는 단계(s346);를 포함하는 것을 특징으로 한다.
상기 안면 검출부(340)로 안면을 검출한 후에 상기 안면 저장부(310)에 저장된 안면의 특징의 비교를 하기 위하여 안면의 특징을 상기 안면특징 추출부(360);로 추출하게 된다. 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입/의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭 등이 되는 것이 바람직하다. 먼저 안면의 윤곽선을 추출한 후 눈/코/입을 추출한다. 안면의 깊이 값은 코 부위가 가장 낮고 눈 부위가 상대적으로 크기 때문에 이러한 특징을 이용하여 눈 위치와 코 위치를 검출할 수 있다. 또한 입의 깊이 값은 코의 깊이 값보다 크지만 입이 다른 안면 부위보다는 돌출되어 있기 때문에 상대적으로 깊이 값이 작게 나타날 수 있으므로 이러한 점을 이용하면 눈/코/입에 대한 특징 추출이 가능하다(도 10; 도 11). 전술한 과정에서 검출된 눈/코/입에 대한 윤곽선을 검출하고 상기 눈/코/입 위치의 상대적인 위치를 검출한다. 이 때 안면이 기울어진 상태에서 촬영되면 상기 눈/코/입 위치 변동이 발생할 수 있기 때문에 두 눈의 위치가 수평선에 평행하게 깊이영상을 회전시킨다. 그 후 두 눈의 위치에 대한 중앙점을 기준으로 두 눈의 위치, 코의 위치, 입의 위치를 측정한다(도 12). 또한 코의 높이를 추출할 수 있으며 상기 깊이영상 촬영부(320)를 통해 안면에서 코와 상대적 깊이 크기를 상기 코와 상기 코 주변의 깊이 차를 계산하여 측정할 수도 있다(도 13). 전술한 방법으로 눈 아래의 광대뼈 높이, 눈 위의 눈썹뼈의 높이를 측정하여 안면의 특징으로 활용한다. 그 후에는 턱 부위의 모양을 추출(도 14)하는데 턱은 입술 아래 부위부터 안면 최하부까지의 영역으로 간주하며 이를 통해 외곽선의 모양을 추출한다. 그리고 안면 폭을 측정하는데 상기 안면 폭은 깊이값과 깊이영상에서의 상대적 위치, 상기 깊이영상 촬영부(320) 내부 인자를 통해서 실제 거리를 구할 수가 있으며 이를 통해 실제 안면 폭을 구하여 상기 안면특징 비교부(380)에서 활용할 수 있다(도 15).
이렇게 인물을 특정할 수 있는 안면 특징을 추출하면 상기 안면 저장부(310)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(380)에서 특정 인물이 아닌 것으로 판단하는 것을 특징으로 한다. 또한 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(380)에서 특정 인물이라고 판단하는 것을 특징으로 한다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
Claims (4)
- 자동차 운전 환경 설정을 수행하는 자동차환경 설정부(100); 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부(200); 깊이정보 기반의 안면 인식부(300);로 구성되고,
상기 안면 인식부(300)는 안면특징 깊이정보 저장용 안면 저장부(310); 안면깊이영상 촬영용 깊이영상 촬영부(320); 깊이값 오차보정용 깊이영상 보정부(330); 깊이영상 안면부분 추출용 안면검출부(340); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(350); 깊이영상 안면특징 추출용 안면특징 추출부(360); 상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징 비교부(370); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(380);로 구성되며,
상기 깊이영상 변환부(350)는 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(341); 상기 깊이정보 산출부(341)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환부(342); 상기 좌표 변환부(342)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(343); 상기 국소법선벡터 산출부(343)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(344); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하고, 촬영 영상의 깊이 값과 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 평행이동 행렬을 구하여 이를 조합하여 변환 행렬을 구하는 변환행렬 계산부(345); 상기 변환 행렬을 이용하여 변환을 적용하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 변환 적용부(346);로 구성되는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법에 있어서,
자동차 운전환경을 설정하는 자동차 환경설정 단계;
영상의 깊이정보를 이용하여 운전자의 안면을 인식하는 단계;
상기 운전자의 안면에 대한 이전 영상과 현재 운전자의 안면 영상의 깊이 값이 변화할 경우 졸음운전으로 판단하는 단계;
상기 졸음운전으로 판단하는 경우, 알람음과 같은 위험 경보를 전파하기 위한 알람 경보부(210)를 포함하고 상기 졸음운전에 대한 판단 요소에는 안면이 불규칙하게 움직이는 동작, 눈꺼풀의 닫힘, 하품을 하는 입에 대한 깊이 값이 변화되는 것을 감지하며,
상기 안면을 인식하는 단계는
안면깊이영상 촬영용 깊이영상 촬영하는 단계;
깊이값 오차보정용 깊이영상 보정하는 단계;
깊이영상 안면부분 추출용 안면을 검출하는 단계;
영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상을 변환하는 단계;
깊이영상 안면특징 추출용 안면특징을 추출하는 단계;
상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징을 비교하는 단계;
저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치여부를 판정하는 단계로 구성되며,
상기 깊이영상을 변환하는 단계는
상기 깊이영상 촬영단계에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출하는 단계; 상기 깊이정보 산출 단계에서 산출된 깊이정보를 이용하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환단계;
상기 좌표 변환단계에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터를 산출하는 단계;
상기 국소법선벡터 산출단계에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출단계; 깊이영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 변환행렬을 계산하는 단계; 상기 변환행렬을 이용하여 변환을 적용하는 변환 적용하는 단계로 구성되고,
상기 안면 인식부(300)에서 운전자 안면을 인식하는데 실패했을 때에는 상기 알람 경고부(210)에서 재촬영을 요구하는 알람음이 1차 송출되고 상기 안면 저장부(310)에 기 저장된 운전자가 아닌 것으로 확인되었을 때에는 자동차 도난 상황으로 간주하여 상기 알람 경고부(210)에서 알람음이 2차 송출되는 동시에 기 설정된 연락처로 경고 메시지를 발송하며,
안경 착용자가 깊이영상 촬영 대상일 경우에 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있고, 또한, 안경테의 영역을 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법. - 제 1 항에 있어서,
상기 좌표 변환하는 단계는 상기 깊이영상 촬영부(320)를 통해 평면을 촬영하여 깊이영상에서의 화소 위치 P(x, y)와 상기 P(x, y)에서의 깊이 값인 D(x, y)를 얻고 상기 깊이영상 촬영부(320)의 초점을 원점으로 하여 상기 깊이영상 촬영부(320)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(320) 좌표계로 변환하고,
상기 국소법선벡터 산출부(343)는 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x, y+1), Pc(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x+1, y), Pc(x-1, y)를 토대로 두 개의 벡터 v1= Pc(x+1, y)- Pc(x-1, y), v2= Pc(x, y+1)- Pc(x, y-1)를 생성하고 Nxy=v1×v2의 관계를 통해 두 벡터의 외적을 구하여 상기 P(x, y)에서의 국소적인 법선벡터 Nxy를 구하며,
상기 평면법선벡터 산출부(344)는 상기 국소법선벡터 산출부(343)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(346)에서 상기 깊이영상 촬영부(320)로 촬영한 영상을 회전변환을 통해 평면의 상기 법선벡터 N을 z축에 평행하게 하고 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법. - 제 1 항에 있어서,
깊이영상 변환부(350)에서 안면 정렬 방법은,
깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s341);
산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 단계(s342);
계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s343);
국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s344);
영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 단계(s345);
회전 변환을 적용하여 상기 깊이영상 촬영부(320)의 위치에 따른 영상의 왜곡을 보정하는 단계(s346);를 포함하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법. - 제 1 항에 있어서,
상기 안면을 검출하는 단계는 깊이 값을 이용한 안면 검출 시 깊이영상 촬영부(320)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 되며 상기 안면은 상기 깊이영상 촬영부(320)와 지근거리에 위치한 것에 기인한 평균 깊이 값 차이로 인하여 상기 안면에 대해서만 분리 가능하고,
안면 검출부(340)로 안면 검출 후 안면 저장부(310)에 저장된 안면의 특징을 비교하기 위하여 안면특징 추출부(360);로 추출하고 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭이 되는 것을 특징으로 하며,
상기 안면 저장부(310)에 저장된 각 인물의 특징 데이터를 안면특징 비교부(370)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 인물 일치 판정부(380)에서 특정 인물이 아닌 것으로 판단하고, 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(380)에서 특정 인물이라고 판단하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170087017A KR101775874B1 (ko) | 2017-07-10 | 2017-07-10 | 깊이정보 기반의 안면인식 자동차제어방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170087017A KR101775874B1 (ko) | 2017-07-10 | 2017-07-10 | 깊이정보 기반의 안면인식 자동차제어방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150191370 Division | 2015-12-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170088315A true KR20170088315A (ko) | 2017-08-01 |
KR101775874B1 KR101775874B1 (ko) | 2017-09-19 |
Family
ID=59650388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170087017A KR101775874B1 (ko) | 2017-07-10 | 2017-07-10 | 깊이정보 기반의 안면인식 자동차제어방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101775874B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102074519B1 (ko) * | 2018-10-05 | 2020-02-06 | 엔컴주식회사 | 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 |
CN111191496A (zh) * | 2018-11-14 | 2020-05-22 | 现代自动车株式会社 | 面部识别装置和面部识别方法 |
KR20210090012A (ko) * | 2020-01-09 | 2021-07-19 | 엘지전자 주식회사 | 차량용 디스플레이 장치 |
US12051221B2 (en) | 2020-09-08 | 2024-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for pose identification |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102463143B1 (ko) * | 2020-06-15 | 2022-11-04 | 세종대학교산학협력단 | 졸음 운전 감지 방법 및 그 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101336139B1 (ko) * | 2012-06-11 | 2013-12-05 | 동의대학교 산학협력단 | 깊이 카메라를 이용한 움직임 추정 시스템 및 방법 |
KR101386823B1 (ko) * | 2013-10-29 | 2014-04-17 | 김재철 | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 |
-
2017
- 2017-07-10 KR KR1020170087017A patent/KR101775874B1/ko active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102074519B1 (ko) * | 2018-10-05 | 2020-02-06 | 엔컴주식회사 | 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 |
CN111191496A (zh) * | 2018-11-14 | 2020-05-22 | 现代自动车株式会社 | 面部识别装置和面部识别方法 |
KR20210090012A (ko) * | 2020-01-09 | 2021-07-19 | 엘지전자 주식회사 | 차량용 디스플레이 장치 |
US12051221B2 (en) | 2020-09-08 | 2024-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for pose identification |
Also Published As
Publication number | Publication date |
---|---|
KR101775874B1 (ko) | 2017-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6714665B1 (en) | Fully automated iris recognition system utilizing wide and narrow fields of view | |
KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
KR101821144B1 (ko) | 깊이정보 기반의 안면인식 출입통제시스템 | |
KR101818984B1 (ko) | 깊이정보를 이용한 안면인식시스템 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
KR101490016B1 (ko) | 인물 화상 처리 장치 및 인물 화상 처리 방법 | |
EP3488382A1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
EP1650711A1 (en) | Image processing device, imaging device, image processing method | |
JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
EP1703480B1 (en) | System and method to determine awareness | |
WO1997021188A1 (en) | Wide field of view/narrow field of view recognition system and method | |
JP2003015816A (ja) | ステレオカメラを使用した顔・視線認識装置 | |
JP2003150942A (ja) | 目位置追跡方法 | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US11544966B2 (en) | Image acquisition system for off-axis eye images | |
KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
JP4507679B2 (ja) | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム | |
US20090213241A1 (en) | Image processing apparatus, image processing method, and recording medium | |
KR101053253B1 (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
Hanna et al. | A System for Non-Intrusive Human Iris Acquisition and Identification. | |
WO2020263277A1 (en) | Landmark temporal smoothing | |
KR101711307B1 (ko) | 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템 | |
KR101818992B1 (ko) | 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법 | |
KR102074977B1 (ko) | 전자 장치 및 그의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right |