KR20200017576A - 심층신경망 기반 객체 검출 장치 및 방법 - Google Patents

심층신경망 기반 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR20200017576A
KR20200017576A KR1020180086435A KR20180086435A KR20200017576A KR 20200017576 A KR20200017576 A KR 20200017576A KR 1020180086435 A KR1020180086435 A KR 1020180086435A KR 20180086435 A KR20180086435 A KR 20180086435A KR 20200017576 A KR20200017576 A KR 20200017576A
Authority
KR
South Korea
Prior art keywords
eye
search area
state
blink
detecting
Prior art date
Application number
KR1020180086435A
Other languages
English (en)
Other versions
KR102225002B1 (ko
Inventor
박준상
한영주
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020180086435A priority Critical patent/KR102225002B1/ko
Publication of KR20200017576A publication Critical patent/KR20200017576A/ko
Application granted granted Critical
Publication of KR102225002B1 publication Critical patent/KR102225002B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06K9/00597—
    • G06K9/4642—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

효율적인 동시에 신뢰성 있게 눈 깜빡임(eye blinking)을 검출할 수 있는 눈 깜빡임 검출 장치 및 눈 깜빡임 검출 방법이 개시된다. 본 발명의 실시예에 따른 눈 깜빡임 검출 방법은 서포트 벡터 머신을 기반으로, 입력 화상 프레임에서 눈 영역을 검출하는 단계; 및 콘볼루션 신경망 모델을 기반으로, 눈 영역 내에서 눈 깜빡임 상태를 판단하는 단계를 포함한다.

Description

심층신경망 기반 객체 검출 장치 및 방법{DEEP NEURAL NETWORK BASED OBJECT DETECTING APPARATUS AND METHOD}
본 발명은 심층신경망 기반 객체 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 효율적인 동시에 신뢰성 있게 눈 깜빡임(eye blinking)을 검출할 수 있는 눈 깜빡임 검출 장치 및 눈 깜빡임 검출 방법에 관한 것이다.
눈 깜빡임 검출 또는 눈 추적 알고리즘들은 모바일 환경(예컨대, 스마트폰 플랫폼)에서 다양한 응용들을 가지고 있다. 예를 들어, 눈 깜빡임 검출 알고리즘은 얼굴 인식 시스템에서 스푸핑(spoofing)을 방지하기 위해 사용될 수 있다. 다른 예로, 눈 깜빡임 검출 시스템들은 많은 스마트폰 사용자들이 겪고 있는 컴퓨터 비전 질환을 경감시킬 수 있도록, 스마트폰 사용자들에게 사용자들의 눈 깜빡임 습관에 관하여 충고를 하는데 사용될 수 있다.
비디오 입력을 기반으로 하는 눈 추적 및 눈 깜빡임 검출 알고리즘들에 관하여 다양한 연구가 있어 왔다. 그러나, 종래의 기법들은 데스크탑 환경을 위해 개발되었으며, 스마트폰의 연산 자원 제한 및/또는 입력 비디오 프레임에서 사용자 움직임에 의한 눈의 잦은 위치 변경으로 인해, 모바일/스마트폰 환경에서 적절히 작동하지 않을 수 있다.
본 발명은 효율적인 동시에 신뢰성 있게 눈 깜빡임(eye blinking)을 검출할 수 있는 눈 깜빡임 검출 장치, 눈 깜빡임 검출 방법 및 기록 매체를 제공하기 위한 것이다.
또한, 본 발명은 스마트폰과 같은 모바일 단말기의 한정된 연산 자원을 이용하여 눈 깜빡임을 높은 신뢰도로 검출할 수 있는 눈 깜빡임 검출 장치, 눈 깜빡임 검출 방법 및 기록 매체를 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 눈 깜빡임 검출 방법은 서포트 벡터 머신을 기반으로, 입력 화상 프레임에서 눈 영역을 검출하는 단계; 및 콘볼루션 신경망 모델을 기반으로, 상기 눈 영역 내에서 눈 깜빡임 상태를 판단하는 단계를 포함한다.
상기 눈 영역을 검출하는 단계는, 상기 서포트 벡터 머신 및 에지 방향 히스토그램 특징을 기반으로 상기 눈 영역을 검출할 수 있다.
상기 눈 깜빡임 상태를 판단하는 단계는, LeNet-5 콘볼루션 신경망 모델을 기반으로 상기 눈 깜빡임 상태를 판단할 수 있다.
상기 눈 깜빡임 상태를 판단하는 단계는, 상기 눈 영역에 대해 감은 눈 상태, 뜬 눈 상태 및 배경 상태 중의 어느 하나를 결정할 수 있다.
상기 눈 깜빡임 검출 방법은 상기 입력 화상 프레임에서 눈 검출을 위한 탐색 영역을 설정하는 단계를 더 포함할 수 있다.
상기 눈 영역을 검출하는 단계는, 상기 탐색 영역 내에서 상기 서포트 벡터 머신을 기반으로 상기 눈 영역을 검출할 수 있다.
상기 탐색 영역을 설정하는 단계는, 상기 입력 화상 프레임을 획득한 모바일 단말기에 의해 측정되는 방향 측정값을 기반으로 상기 탐색 영역을 설정할 수 있다.
상기 눈 깜빡임 검출 방법은, 상기 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들 및 상기 이미지들이 획득된 시점들에서의 상기 모바일 단말기의 방향 정보들을 기반으로, 회귀 분석에 의해 상기 눈 위치 정보들 및 상기 방향 정보들 간의 관계를 나타내는 회귀 방정식을 결정하는 단계를 더 포함할 수 있다.
상기 탐색 영역을 설정하는 단계는, 상기 회귀 방정식에 상기 방향 측정값을 적용하여 상기 눈 위치를 추정하는 단계; 및 추정된 상기 눈 위치를 중심으로 상기 탐색 영역을 설정하는 단계를 포함할 수 있다.
상기 탐색 영역의 크기는 상기 회귀 방정식에 대한 편차 정보를 기반으로 설정될 수 있다.
상기 눈 영역을 검출하는 단계는, 상기 탐색 영역을 복수개의 상이한 크기를 가지는 슬라이딩 윈도우들로 스캔하는 단계; 상기 슬라이딩 윈도우들에 대해, 상기 서포트 벡터 머신을 기반으로 눈 모양과의 유사도를 나타내는 스코어들을 산출하는 단계; 및 상기 스코어들을 기반으로 상기 탐색 영역에서 상기 눈 위치를 검출하는 단계를 포함할 수 있다.
상기 눈 영역을 검출하는 단계는, 설정된 기준값 이상의 스코어를 가지는 적어도 하나의 슬라이딩 윈도우 중 가장 작은 크기의 슬라이딩 윈도우를 기반으로 상기 눈 영역을 검출할 수 있다.
본 발명의 다른 측면에 따르면, 상기 눈 깜빡임 검출 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 서포트 벡터 머신을 기반으로, 입력 화상 프레임에서 눈 영역을 검출하도록 구성되는 검출부; 및 콘볼루션 신경망 모델을 기반으로, 상기 눈 영역 내에서 눈 깜빡임 상태를 판단하도록 구성되는 판단부를 포함하는 눈 깜빡임 검출 장치가 제공된다.
상기 검출부는, 상기 서포트 벡터 머신 및 에지 방향 히스토그램 특징을 기반으로 상기 눈 영역을 검출할 수 있다.
상기 판단부는, LeNet-5 콘볼루션 신경망 모델을 기반으로, 감은 눈 상태, 뜬 눈 상태 및 배경 상태 중에서 눈 깜빡임 상태를 결정할 수 있다.
상기 눈 깜빡임 검출 장치는, 상기 입력 화상 프레임에서 눈 검출을 위한 탐색 영역을 설정하도록 구성되는 설정부를 더 포함할 수 있다.
상기 설정부는, 상기 입력 화상 프레임을 획득한 모바일 단말기에 의해 측정되는 방향 측정값을 기반으로 상기 탐색 영역을 설정하도록 구성될 수 있다.
상기 검출부는, 상기 탐색 영역 내에서 상기 서포트 벡터 머신을 기반으로 상기 눈 영역을 검출하도록 구성될 수 있다.
상기 설정부는, 상기 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들 및 상기 이미지들이 획득된 시점들에서의 상기 모바일 단말기의 방향 정보들을 기반으로, 회귀 분석에 의해 상기 눈 위치 정보들 및 상기 방향 정보들 간의 관계를 나타내는 회귀 방정식을 결정하도록 구성될 수 있다.
상기 설정부는, 상기 회귀 방정식에 상기 방향 측정값을 적용하여 상기 눈 위치를 추정하고; 상기 회귀 방정식에 대한 편차 정보를 기반으로 상기 탐색 영역의 크기를 결정하고; 그리고 추정된 상기 눈 위치 및 상기 탐색 영역의 크기를 기반으로 상기 탐색 영역을 설정하도록 구성될 수 있다.
상기 검출부는, 상기 탐색 영역을 복수개의 상이한 크기를 가지는 슬라이딩 윈도우들로 스캔하고; 상기 슬라이딩 윈도우들에 대해 상기 서포트 벡터 머신을 기반으로 눈 모양과의 유사도를 나타내는 스코어들을 산출하고; 상기 스코어들을 기반으로 상기 탐색 영역에서 상기 눈 위치를 검출하고; 그리고 설정된 기준값 이상의 스코어를 가지는 적어도 하나의 슬라이딩 윈도우 중 가장 작은 크기의 슬라이딩 윈도우를 기반으로 상기 눈 영역을 검출하도록 구성될 수 있다.
본 발명의 실시예에 의하면, 효율적인 동시에 신뢰성 있게 눈 깜빡임(eye blinking)을 검출할 수 있는 눈 깜빡임 검출 장치, 눈 깜빡임 검출 방법 및 기록 매체가 제공된다.
또한, 본 발명의 실시예에 의하면, 스마트폰과 같은 모바일 단말기의 한정된 연산 자원을 이용하여 눈 깜빡임을 높은 신뢰도로 검출할 수 있는 눈 깜빡임 검출 장치, 눈 깜빡임 검출 방법 및 기록 매체가 제공된다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 눈 깜빡임 검출 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 눈 깜빡임 검출 장치의 구성도이다.
도 3은 본 발명의 실시예에 따라 입력 화상 프레임에서 탐색 영역을 설정하고, 눈 영역을 검출한 것을 보여주는 예시도이다.
도 4는 본 발명의 실시예에 따른 눈 깜빡임 검출 방법의 상태 전환도이다.
도 5는 도 1의 단계 S10의 흐름도이다.
도 6은 본 발명의 실시예에 따른 눈 깜빡임 검출 장치를 구성하는 설정부의 구성도이다.
도 7은 도 1의 단계 S20의 흐름도이다.
도 8은 본 발명의 실시예에 따른 눈 깜빡임 검출 방법의 정확도를 보여주는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시예에 의하면, 자원이 한정된 스마트폰 플랫폼에서 눈 깜빡임의 효율적 검출을 위해 사용될 수 있는 눈 깜빡임 검출 장치, 눈 깜빡임 검출 방법 및 기록 매체가 제공된다.
신뢰성 있는 눈 깜빡임 검출을 위해서는 실시간 처리가 요구되며, 10 fps 이상의 처리율이 요구된다. 따라서, 눈 추적 알고리즘에 적용되는 경우에 비해 눈 깜빡임 검출 알고리즘의 경우, 콘볼루션 신경망 모델의 적용이 어려울 수 있다.
본 발명의 실시예에 따른 눈 깜빡임 검출 방법 및 눈 깜빡임 검출 장치는 서포트 벡터 머신(Support Vector Machine)과, 콘볼루션 신경망(Convolutional Neural Network) 모델을 포함하는 이종 혼성 학습(Hybrid learning) 시스템에 의해 눈 깜빡임(Eye-blinking)을 검출한다.
본 발명의 실시예에 의하면, 서포트 벡터 머신과 콘볼루션 신경망에 의한 이종 혼성 학습 시스템에 의해, 효율적이고 신뢰성 있게 사용자의 눈 깜빡임을 검출할 수 있으며, 스마트폰과 같은 모바일 단말기의 한정된 연산 자원을 이용하여 눈 깜빡임을 검출할 수 있다.
본 발명의 실시예에 따른 눈 깜빡임 검출 방법 및 눈 깜빡임 검출 장치는 먼저 서포트 벡터 머신을 기반으로 입력 화상 프레임에서 눈 영역을 검출한 후, 서포트 벡터 머신을 기반으로 검출된 눈 영역 내에서 서포트 벡터 머신 대신 콘볼루션 신경망 모델을 기반으로 눈 깜빡임 상태를 판단한다.
또한, 본 발명의 실시예에 따른 눈 깜빡임 검출 방법 및 눈 깜빡임 검출 장치는 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들과 모바일 단말기에 의해 측정된 방향 정보들을 기반으로, 회귀 분석에 의해 눈 위치 정보들 및 방향 정보들 간의 관계를 나타내는 회귀 방정식을 결정하고, 회귀 방정식에 입력 화상 프레임을 획득한 모바일 단말기의 방향 측정값을 적용하여 탐색 영역을 설정한다. 이에 따라, 사용자의 모바일 단말기 사용 습관을 반영하여, 사용자의 눈 위치를 검출하기 위한 탐색 영역을 정확하고 효율적으로 설정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 눈 깜빡임 검출 방법의 흐름도이다. 도 2는 본 발명의 일 실시예에 따른 눈 깜빡임 검출 장치의 구성도이다. 도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 눈 깜빡임 검출 방법은 눈 깜빡임 검출 장치(100)에 의해 수행될 수 있다. 눈 깜빡임 검출 장치(100)는 사용자의 모바일 단말기에 제공될 수 있다. 눈 깜빡임 검출 장치(100)는 모바일 단말기에 장착되거나, 앱(Application)으로 설치될 수 있다.
실시예에서, 모바일 단말기(예를 들어, 스마트폰)에 의해 입력 화상 프레임들이 획득될 수 있다. 입력 화상 프레임들은 모바일 단말기의 카메라(도시생략)에 의해 촬영된 입력 비디오/사진 프레임들일 수 있다. 입력 화상 프레임들은 눈 깜빡임 검출 장치(100)로 입력된다. 도 1에 도시된 눈 깜빡임 검출 방법의 단계들(S10 내지 S30)은 연속된 입력 화상 프레임들에 대해 각각 순차적으로 수행될 수 있다.
눈 깜빡임 검출 장치(100)는 설정부(110), 검출부(120), 판단부(130), 저장부(140) 및 방향 측정부(150)를 포함할 수 있다. 도 3은 본 발명의 실시예에 따라 입력 화상 프레임에서 탐색 영역을 설정하고, 눈 영역을 검출한 것을 보여주는 예시도이다. 도 1 내지 도 3을 참조하면, 설정부(110)는 입력 화상 프레임에서 눈 검출을 위한 탐색 영역(ROI; Region of Interest)을 설정한다(S10).
실시예에서, 설정부(110)는 입력 화상 프레임을 획득한 모바일 단말기에 의해 측정되는 방향 측정값을 기반으로 회귀 분석(regression analysis)에 의해 탐색 영역(ROI)을 설정할 수 있다. 회귀 분석에 의해 입력 화상 프레임에서 탐색 영역(ROI)을 설정하기 위한 구체적인 방법에 대하여는 후술하기로 한다.
입력 화상 프레임에서 탐색 영역(ROI)이 설정되면, 검출부(120)는 서포트 벡터 머신을 기반으로, 입력 화상 프레임의 탐색 영역(ROI) 내에서 눈 영역(CR)을 검출한다(S20). 실시예에서, 검출부(120)는 서포트 벡터 머신 및 에지 방향 히스토그램(HOG; Histogram of Oriented Gradients) 특징을 기반으로 눈 영역(CR)을 검출할 수 있다.
실시예에서, 탐색 영역(ROI) 내에서 두 개의 눈 영역(CR)이 검출될 수 있다. 도 3의 도시와 다르게, 두 개의 탐색 영역(ROI) 내에서 각각 하나씩 눈 영역(CR)을 검출하거나, 하나의 탐색 영역(ROI) 내에서 하나의 눈 영역(CR) 만 검출하는 것도 가능하다.
입력 화상 프레임에서 눈 영역(CR)이 검출되면, 판단부(130)는 콘볼루션 신경망 모델을 기반으로, 눈 영역(CR) 내에서 눈 깜빡임 상태를 판단한다(S30). 실시예에서, 판단부(130)는 LeNet-5 콘볼루션 신경망 모델을 기반으로 사용자의 눈 깜빡임 상태를 판단할 수 있다.
판단부(130)는 눈 영역(CR)에 대해 감은 눈(Closed eye) 상태, 뜬 눈(Opened eye) 상태 및 배경(Background) 상태 중의 어느 하나의 눈 깜빡임 상태를 결정할 수 있다.
감은 눈 상태는 입력 화상 프레임에서 사용자가 눈을 감은 상태를 의미하고, 뜬 눈 상태는 입력 화상 프레임에서 사용자가 눈을 뜬 상태를 의미한다. 판단부(130)가 눈 영역(CR)을 배경 상태(Background class)로 분류하는 경우, 눈이 검출될 수 없는 잘못된 영역일 가능성이 높은 것을 의미한다.
본 발명의 실시예에 의하면, 1차로, 입력 화상 프레임의 탐색 영역(ROI) 내에서 서포트 벡터 머신에 의해 눈 영역(CR)을 검출한 후, 2차로, 전체 탐색 영역(ROI)을 이용하여 눈 깜빡임 상태를 검출하지 않고, 서포트 벡터 머신을 기반으로 검출된 눈 영역(CR) 만을 이용하여 눈 깜빡임 상태를 검출하므로, 효율적으로 사용자의 눈 깜빡임을 검출할 수 있다.
본 발명의 실시예에 의하면, 서포트 벡터 머신의 장점과, 콘볼루션 신경망 모델의 장점을 얻을 수 있다. 즉, 서포트 벡터 머신의 적용에 의해 연산 효율성을 높이고, 높은 프레임 처리율을 얻을 수 있는 동시에, 콘볼루션 신경망 모델의 적용에 의해 신뢰성 있게 눈 깜빡임을 검출할 수 있으며, 실제 눈 깜빡임이 없었으나 눈 깜빡임으로 검출하는 부정 오류(false-negative) 검출을 최소화할 수 있다.
저장부(140)는 입력 화상 프레임들, 입력 화상 프레임들에서 눈 깜빡임 검출을 위한 프로그램(알고리즘)과, 모바일 단말기의 방향 측정값, 탐색 영역의 추정을 위한 회귀 분석 데이터, 회귀 분석 데이터의 생성을 위한 이미지들에서의 눈 위치 정보들 및 이미지들의 촬영 시점에서의 모바일 단말기의 방향 정보들, 등의 각종 정보들을 저장할 수 있다.
방향 측정부(150)는 모바일 단말기의 방향을 측정하기 위한 것으로, 예를 들어, 자이로 센서 등의 가속도 센서, 지자기 센서 등을 포함할 수 있다. 방향 측정부(150)는 3축 가속도 측정 값을 기반으로, 모바일 단말기의 방향(자세) 정보를 측정할 수 있다. 모바일 단말기의 방향 측정값은 입력 화상 프레임에서 탐색 영역의 추정을 위해 활용될 수 있으며, 이에 대하여는 후술하기로 한다.
도 4는 본 발명의 실시예에 따른 눈 깜빡임 검출 방법의 상태 전환도이다. 도 4를 참조하면, 본 발명의 실시예에 따른 눈 깜빡임 검출 방법은 탐지 상태와, 추적 상태의 두 상태들 간을 전환하면서 입력 화상 프레임들로부터 사용자의 눈 깜빡임을 검출할 수 있다.
탐지 상태는 사용자의 눈이 탐지되지 못한 경우, 사용자의 눈을 탐지하기 위한 상태이다. 탐지 상태 중에 사용자의 눈이 탐지되면, 추적 상태로 전환된다. 추적 상태는 사용자의 눈이 탐지된 경우, 사용자의 눈을 추적하기 위한 상태이다. 추적 상태 중에 사용자의 눈을 탐지하는데 실패하는 경우, 탐지 상태로 전환된다.
사용자의 눈이 탐지되지 않은 경우, 탐지 상태에서 눈 깜빡임을 검출하기 위한 단계들이 수행되며, 탐지 상태에서의 초기 탐색 영역은 입력 화상 프레임의 전체 영역으로 설정될 수 있다. 사용자의 눈이 탐지되는 경우, 탐색 영역은 탐지된(또는 추정된) 눈의 위치를 기반으로 설정될 수 있다.
추적 상태에서 탐색 영역 내에서 눈의 위치를 찾는데 실패하는 경우, 탐색 상태로 전환하기 전에, 눈 위치를 예측하여 탐색 영역을 재설정하고, 재설정된 탐색 영역에서 눈 위치가 검출되는 경우, 추적 상태로 유지된다. 만약, 재설정된 탐색 영역에서도 눈 위치가 검출되지 않는 경우, 탐색 상태로 전환될 수 있다.
탐색 영역의 재설정을 위해, 방향 센서의 측정값들이 이용될 수 있다. 입력 화상 프레임에서 사용자의 눈의 위치는 스마트폰(모바일 단말기)의 종류, 사용자의 폰사용 습관 등의 여러 요인들에 따라 다양하게 변동할 수 있다.
이러한 모바일 단말기의 종류, 사용자의 습관 등의 요인들을 고려하여, 효율적으로 탐색 영역을 설정하기 위하여, 설정부(110)는 모바일 단말기의 방향 측정값을 이용한 회귀 분석 기반으로 눈의 위치를 추정하고, 추정된 눈의 위치를 기준으로 탐색 영역을 설정할 수 있다.
도 5는 도 1의 단계 S10의 흐름도이다. 도 6은 본 발명의 실시예에 따른 눈 깜빡임 검출 장치를 구성하는 설정부의 구성도이다. 도 2, 도 5 및 도 6을 참조하면, 설정부(110)는 회귀 분석부(112) 및 탐색영역 설정부(114)를 포함할 수 있다.
탐색 상태 또는 추적 상태에서, 이미지들 또는 입력 화상 프레임들에서 눈이 검출되는 경우, 이미지들 또는 입력 화상 프레임들에서의 눈의 위치가 모바일 단말기의 방향 측정값과 함께 저장부(140)에 저장된다.
회귀 분석부(112)는 모바일 단말기의 방향 측정부(150)로부터 입력되는 방향 측정값들과 이미지들 또는 입력 화상 프레임들에서 사용자의 눈 위치를 연관시키기 위해, 실시간 회귀 분석을 이용한다.
실시예에서, 회귀 분석부(112)는 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들 및 이미지들이 획득된 시점들에서의 모바일 단말기의 방향 정보들을 기반으로, 회귀 분석(Regression analysis)에 의해 눈 위치 정보들 및 방향 정보들 간의 관계를 나타내는 회귀 방정식과, 회귀 방정식의 편차 정보(표준편차, 분산, 결정계수 등)를 결정할 수 있다(S12).
실시예에서, 회귀 방정식은 모바일 단말기의 각 축방향 자세와, 입력 화상 프레임의 X축(가로 방향) 및 Y축(세로 방향) 위치의 선형 관계를 나타내는 선형계수들과, 회귀 방정식의 오차를 나타내는 편차 정보를 포함할 수 있다.
탐색영역 설정부(114)는 회귀 방정식에 모바일 단말기에 의해 획득된 방향 측정값을 적용하여 눈 위치를 추정하고, 추정된 눈 위치를 중심으로 탐색 영역을 설정할 수 있다(S14).
실시예에서, 탐색 영역의 크기는 회귀 방정식에 대한 편차 정보를 기반으로 설정될 수 있다. 회귀 분석의 데이터 편차가 커질수록 탐색 영역의 크기(면적)가 증가하도록 탐색 영역을 설정할 수 있다.
회귀 분석의 데이터 편차에 따라 탐색 영역의 크기를 조절하면, 데이터 편차가 큰 모바일 단말기 사용 습관을 가진 사용자에 대해서는 탐색 영역의 크기를 증가시켜 눈 검출 성공률을 높이고, 데이터 편차가 작은 모바일 단말기 사용 습관을 가진 사용자에 대해서는 탐색 영역의 크기를 최소화하여 눈 검출을 위한 연산 효율을 높일 수 있다.
탐색 영역 내에서 눈이 검출되는 경우, 해당 탐색 영역 내에서 눈 깜빡임이 검출된다. 만약, 단계 S14에서 설정된 탐색 영역 내에서 눈이 검출되지 않는 경우, 추적 상태에서 탐색 상태로 전환하여 전체 입력 화상 프레임을 대상으로 눈을 검출하는 과정이 수행될 수 있다.
입력 화상 프레임에서 눈의 객체 크기는 카메라와 사용자의 눈 간의 거리에 따라 변화한다. 따라서, 카메라와 사용자 간의 거리에 적응적으로, 입력 화상 프레임의 탐색 영역에서 적절한 눈 영역을 검출하기 위하여, 검출부(120)는 복수개의 상이한 크기의 슬라이딩 윈도우들을 탐색 영역에 병렬 스캔하여 눈 영역을 검출할 수 있다.
도 7은 도 1의 단계 S20의 흐름도이다. 도 2 및 도 7을 참조하면, 먼저 검출부(120)는 탐색 영역을 복수개의 상이한 크기를 가지는 슬라이딩 윈도우들로 스캔할 수 있다(S22). 각 슬라이딩 윈도우는 탐색 영역보다 작은 크기를 가지도록 설정된다.
예를 들어, 입력 화상 프레임의 크기가 240×360인 경우, 검출부(120)는 79×106 크기의 탐색 영역에서 25×25, 28×28, 31×31의 상이한 크기를 가지는 사각형 슬라이딩 윈도우들을 병렬 스캔할 수 있다.
검출부(120)는 각 슬라이딩 윈도우들에 대해, 서포트 벡터 머신을 기반으로 눈 모양과의 유사도를 나타내는 스코어를 산출하고(S24), 슬라이딩 윈도우들에 대해 산출된 스코어들을 기반으로 탐색 영역에서 눈 위치를 검출할 수 있다(S26).
실시예에서, 검출부(120)는 설정된 기준값 이상의 스코어를 가지는 적어도 하나의 슬라이딩 윈도우 중 가장 작은 크기의 슬라이딩 윈도우를 기반으로 눈 영역을 검출할 수 있다. 검출부(120)는 눈 영역은 non-maximum suppression 기법을 이용하여, 슬라이딩 윈도우 별로 눈 영역을 결정할 수 있다.
즉, 판단부(130)에서 최소한의 크기를 가지는 눈 여역에 대해 눈 깜빡임을 검출하도록 하여 연산 처리량을 줄이고, 판단부(130)가 자원 한정된 모바일 단말기에서 연산 효율적인 동시에 신뢰성 있게 눈 깜빡임을 검출할 수 있도록 하기 위하여, 검출부(120)는 눈일 확률이 큰 높은 스코어를 가지는 슬라이딩 윈도우들의 눈 영역들 중, 가장 작은 크기의 슬라이딩 윈도우의 눈 영역을 선택한다.
상용 스마트폰들에 대한 실험 결과들은 본 발명이 94% 이상의 높은 정확도와, 22 fps 이상의 높은 처리율을 가지는 것을 보여준다. 본 발명에 대한 실험 결과들은 상용 스마트폰들에서 na
Figure pat00001
ve 알고리즘 대비 25% 포인트 향상된 성능을 나타내었다. 이하에서 보다 상세히 본 발명의 실시예에 대해 설명한다.
뜬 눈 및 감은 눈 이미지 클립들로 이루어진 CEW 데이터 집합과, 배경 이미지 클립들의 데이터 집합을 이용하여, 서포트 벡터 머신 및 콘볼루션 신경망(LeNet-5)을 포함하는 두 개의 분류기들을 학습하였다.
서포트 벡터 머신은 뜬 눈 및 감은 눈 이미지들(총 9692개의 이미지들)을 양성 클래스로 분류하고, 9810개의 배경 이미지 클립들은 음성 클래스로 분류하여, 학습하였다. LeNet-5은 3개의 상이한 라벨들, 즉 4924개의 뜬 눈 이미지들, 4870개의 감은 눈 이미지들 및 4905개의 배경 이미지들을 이용하여 학습하였다.
실험은 Qualcomm Snapdragon 820 프로세서를 갖는 LG V20 스마트폰(모바일 단말기)을 이용하여 수행되었으며, 240×360의 비디오 입력 해상도를 사용하였다. 탐색 단계에서 입력 화상 프레임에 눈이 검출되면, 탐색 영역은 눈 위치를 중심으로 79×106 영역으로 설정하였다.
도 8은 본 발명의 실시예에 따른 눈 깜빡임 검출 방법의 정확도를 보여주는 도면이다. 도 8에서, 정확도(Precision)와, 리콜(Recall) 비율은 참긍정(true positives), 긍정오류(false positives) 및 실제긍정(actual positives) 개수를 기반으로 산출되었으며, 정확도는 참긍정/(참긍정+긍정오류) 개수 비율, 리콜 비율은 참긍정/실제긍정 개수 비율이다. 도 8에 나타낸 바와 같이, 본 발명의 정확도는 94.4%로 높은 수치를 보였으며, 리콜 비율(89.7%) 보다 높은 것으로 나타났다.
본 발명의 실시예에 의하면, 두 개의 기계 학습 분류기들(HOG 특징들을 가지는 선형 SVM 분류기, LeNet-5 콘볼루션 신경망 모델)을 결합한 하이브리드 분류 시스템에 의해, 자원 한정된 모바일 단말기에서 효율적이고 신뢰성 있게 눈 깜빡임(eye blinking)을 검출할 수 있다.
본 발명의 실시예에 따른 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.
100: 눈 깜빡임 검출 장치
110: 설정부
112: 회귀 분석부
114: 탐색영역 설정부
120: 검출부
130: 판단부
140: 저장부
150: 방향 측정부
ROI: 탐색 영역
CR: 눈 영역

Claims (17)

  1. 서포트 벡터 머신을 기반으로, 입력 화상 프레임에서 눈 영역을 검출하는 단계; 및
    콘볼루션 신경망 모델을 기반으로, 상기 눈 영역 내에서 눈 깜빡임 상태를 판단하는 단계를 포함하는 눈 깜빡임 검출 방법.
  2. 제1항에 있어서,
    상기 눈 영역을 검출하는 단계는, 상기 서포트 벡터 머신 및 에지 방향 히스토그램 특징을 기반으로 상기 눈 영역을 검출하고,
    상기 눈 깜빡임 상태를 판단하는 단계는, LeNet-5 콘볼루션 신경망 모델을 기반으로 상기 눈 깜빡임 상태를 판단하는 눈 깜빡임 검출 방법.
  3. 제1항에 있어서,
    상기 눈 깜빡임 상태를 판단하는 단계는, 상기 눈 영역에 대해 감은 눈 상태, 뜬 눈 상태 및 배경 상태 중의 어느 하나를 결정하는 눈 깜빡임 검출 방법.
  4. 제1항에 있어서,
    상기 입력 화상 프레임에서 눈 검출을 위한 탐색 영역을 설정하는 단계를 더 포함하고,
    상기 눈 영역을 검출하는 단계는, 상기 탐색 영역 내에서 상기 서포트 벡터 머신을 기반으로 상기 눈 영역을 검출하는 눈 깜빡임 검출 방법.
  5. 제4항에 있어서,
    상기 탐색 영역을 설정하는 단계는, 상기 입력 화상 프레임을 획득한 모바일 단말기에 의해 측정되는 방향 측정값을 기반으로 상기 탐색 영역을 설정하는 눈 깜빡임 검출 방법.
  6. 제5항에 있어서,
    상기 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들 및 상기 이미지들이 획득된 시점들에서의 상기 모바일 단말기의 방향 정보들을 기반으로, 회귀 분석에 의해 상기 눈 위치 정보들 및 상기 방향 정보들 간의 관계를 나타내는 회귀 방정식을 결정하는 단계를 더 포함하는 눈 깜빡임 검출 방법.
  7. 제6항에 있어서,
    상기 탐색 영역을 설정하는 단계는,
    상기 회귀 방정식에 상기 방향 측정값을 적용하여 상기 눈 위치를 추정하는 단계; 및
    추정된 상기 눈 위치를 중심으로 상기 탐색 영역을 설정하는 단계를 포함하는 눈 감빡임 검출 방법.
  8. 제4항에 있어서,
    상기 탐색 영역의 크기는 상기 회귀 방정식에 대한 편차 정보를 기반으로 설정되는 눈 깜빡임 검출 방법.
  9. 제4항에 있어서,
    상기 눈 영역을 검출하는 단계는,
    상기 탐색 영역을 복수개의 상이한 크기를 가지는 슬라이딩 윈도우들로 스캔하는 단계;
    상기 슬라이딩 윈도우들에 대해, 상기 서포트 벡터 머신을 기반으로 눈 모양과의 유사도를 나타내는 스코어들을 산출하는 단계; 및
    상기 스코어들을 기반으로 상기 탐색 영역에서 상기 눈 위치를 검출하는 단계를 포함하는 눈 깜빡임 검출 방법.
  10. 제9항에 있어서,
    상기 눈 영역을 검출하는 단계는, 설정된 기준값 이상의 스코어를 가지는 적어도 하나의 슬라이딩 윈도우 중 가장 작은 크기의 슬라이딩 윈도우를 기반으로 상기 눈 영역을 검출하는 눈 깜빡임 검출 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 기재된 눈 깜빡임 검출 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  12. 서포트 벡터 머신을 기반으로, 입력 화상 프레임에서 눈 영역을 검출하도록 구성되는 검출부; 및
    콘볼루션 신경망 모델을 기반으로, 상기 눈 영역 내에서 눈 깜빡임 상태를 판단하도록 구성되는 판단부를 포함하는 눈 깜빡임 검출 장치.
  13. 제12항에 있어서,
    상기 검출부는, 상기 서포트 벡터 머신 및 에지 방향 히스토그램 특징을 기반으로 상기 눈 영역을 검출하고,
    상기 판단부는, LeNet-5 콘볼루션 신경망 모델을 기반으로, 감은 눈 상태, 뜬 눈 상태 및 배경 상태 중에서 눈 깜빡임 상태를 결정하는 눈 깜빡임 검출 장치.
  14. 제12항에 있어서,
    상기 입력 화상 프레임에서 눈 검출을 위한 탐색 영역을 설정하도록 구성되는 설정부를 더 포함하고,
    상기 설정부는, 상기 입력 화상 프레임을 획득한 모바일 단말기에 의해 측정되는 방향 측정값을 기반으로 상기 탐색 영역을 설정하도록 구성되고,
    상기 검출부는, 상기 탐색 영역 내에서 상기 서포트 벡터 머신을 기반으로 상기 눈 영역을 검출하도록 구성되는 눈 깜빡임 검출 장치.
  15. 제14항에 있어서,
    상기 설정부는, 상기 모바일 단말기에 의해 획득된 이미지들 상에서의 눈 위치 정보들 및 상기 이미지들이 획득된 시점들에서의 상기 모바일 단말기의 방향 정보들을 기반으로, 회귀 분석에 의해 상기 눈 위치 정보들 및 상기 방향 정보들 간의 관계를 나타내는 회귀 방정식을 결정하도록 구성되는 눈 깜빡임 검출 장치.
  16. 제15항에 있어서,
    상기 설정부는,
    상기 회귀 방정식에 상기 방향 측정값을 적용하여 상기 눈 위치를 추정하고;
    상기 회귀 방정식에 대한 편차 정보를 기반으로 상기 탐색 영역의 크기를 결정하고; 그리고
    추정된 상기 눈 위치 및 상기 탐색 영역의 크기를 기반으로 상기 탐색 영역을 설정하도록 구성되는 눈 감빡임 검출 장치.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 검출부는,
    상기 탐색 영역을 복수개의 상이한 크기를 가지는 슬라이딩 윈도우들로 스캔하고;
    상기 슬라이딩 윈도우들에 대해 상기 서포트 벡터 머신을 기반으로 눈 모양과의 유사도를 나타내는 스코어들을 산출하고;
    상기 스코어들을 기반으로 상기 탐색 영역에서 상기 눈 위치를 검출하고; 그리고
    설정된 기준값 이상의 스코어를 가지는 적어도 하나의 슬라이딩 윈도우 중 가장 작은 크기의 슬라이딩 윈도우를 기반으로 상기 눈 영역을 검출하도록 구성되는 눈 깜빡임 검출 장치.
KR1020180086435A 2018-07-25 2018-07-25 심층신경망 기반 객체 검출 장치 및 방법 KR102225002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180086435A KR102225002B1 (ko) 2018-07-25 2018-07-25 심층신경망 기반 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086435A KR102225002B1 (ko) 2018-07-25 2018-07-25 심층신경망 기반 객체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200017576A true KR20200017576A (ko) 2020-02-19
KR102225002B1 KR102225002B1 (ko) 2021-03-10

Family

ID=69669701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086435A KR102225002B1 (ko) 2018-07-25 2018-07-25 심층신경망 기반 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102225002B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022058326A1 (en) * 2020-09-17 2022-03-24 Essilor International A device and a computer-implemented method for determining a behavior of a target user

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176005A (ja) * 2008-01-24 2009-08-06 Toyota Motor Corp 顔画像の特徴点検出方法およびその装置
JP2009211180A (ja) * 2008-02-29 2009-09-17 Canon Inc 眼の開閉度判定装置、方法及びプログラム、撮像装置
KR20160118508A (ko) * 2015-04-02 2016-10-12 삼성에스디에스 주식회사 사용자 인증 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176005A (ja) * 2008-01-24 2009-08-06 Toyota Motor Corp 顔画像の特徴点検出方法およびその装置
JP2009211180A (ja) * 2008-02-29 2009-09-17 Canon Inc 眼の開閉度判定装置、方法及びプログラム、撮像装置
KR20160118508A (ko) * 2015-04-02 2016-10-12 삼성에스디에스 주식회사 사용자 인증 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022058326A1 (en) * 2020-09-17 2022-03-24 Essilor International A device and a computer-implemented method for determining a behavior of a target user

Also Published As

Publication number Publication date
KR102225002B1 (ko) 2021-03-10

Similar Documents

Publication Publication Date Title
JP6873126B2 (ja) 顔位置追跡方法、装置及び電子デバイス
US9824459B2 (en) Tracking objects between images
JP4830650B2 (ja) 追跡装置
WO2019100888A1 (zh) 目标对象识别方法、装置、存储介质和电子设备
US9292745B2 (en) Object detection apparatus and method therefor
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
US20130142401A1 (en) Image processing apparatus and image processing method
US20110293136A1 (en) System and Method for Adapting Generic Classifiers for Object Detection in Particular Scenes Using Incremental Training
US10366497B2 (en) Image/video editor with automatic occlusion detection and cropping
WO2013005815A1 (ja) 物体検出装置、物体検出方法及びプログラム
WO2019015344A1 (zh) 基于中心暗通道先验信息的图像显著性物体检测方法
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
JP6116765B1 (ja) 物体検出装置及び物体検出方法
US11462052B2 (en) Image processing device, image processing method, and recording medium
US11036974B2 (en) Image processing apparatus, image processing method, and storage medium
JP2012068948A (ja) 顔属性推定装置およびその方法
KR102225002B1 (ko) 심층신경망 기반 객체 검출 장치 및 방법
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
CN109901716B (zh) 视线点预测模型建立方法、装置及视线点预测方法
US10372750B2 (en) Information processing apparatus, method, program and storage medium
WO2019173954A1 (zh) 一种图像清晰度检测方法及装置
CN113706580B (zh) 一种基于相关滤波***的目标跟踪方法、***、设备及介质
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
US20140282235A1 (en) Information processing device
JP2014203133A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant