KR20090119107A - 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 - Google Patents

차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20090119107A
KR20090119107A KR1020080044950A KR20080044950A KR20090119107A KR 20090119107 A KR20090119107 A KR 20090119107A KR 1020080044950 A KR1020080044950 A KR 1020080044950A KR 20080044950 A KR20080044950 A KR 20080044950A KR 20090119107 A KR20090119107 A KR 20090119107A
Authority
KR
South Korea
Prior art keywords
image
gaze
eye
entropy
value
Prior art date
Application number
KR1020080044950A
Other languages
English (en)
Other versions
KR100947990B1 (ko
Inventor
홍광석
윤준호
전종배
이규범
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080044950A priority Critical patent/KR100947990B1/ko
Priority to US12/368,269 priority patent/US8274578B2/en
Publication of KR20090119107A publication Critical patent/KR20090119107A/ko
Application granted granted Critical
Publication of KR100947990B1 publication Critical patent/KR100947990B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법에 관한 것으로, 촬영장치를 통하여 촬영된 영상 중 눈 영역 영상을 검출하기 위한 영상 검출부, 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피를 연산하고 레퍼런스 영상을 선택하는 영상 선택부 및 선택된 레퍼런스 영상에 따른 눈동자의 응시방향을 인식하는 시선 추적부를 포함하는 시선 추적 장치 및 이에 따른 시선 추적 방법을 제공함으로써 손가락, 음성, 마우스를 대신하여 컴퓨터, 휴대단말기 및 전자 기기의 제어가 가능하게 된다.
Figure P1020080044950
시선 추적, 차영상, 엔트로피

Description

차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법{Gaze Tracking Apparatus and Method using Difference Image Entropy}
본 발명은 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법에 관한 것으로, 특히 촬영된 영상과 레퍼런스 영상 또는 그 평균 영상의 차영상 및 그 엔트로피를 계산하고 이를 이용하여 사용자의 시선을 추적하는 장치 및 그 방법에 대한 것이다.
정보기기와 이동통신 기술의 발전에 따라 새로운 서비스의 요구와 인간의 편의가 강조되고 있다. 특히, 카메라를 통한 눈동자 움직임을 추적하여 LCD(liquid crystal display) 화면상의 각종 메뉴 및 숫자 키를 눈동자 움직임의 위치로부터 선택할 수 있도록 함으로써, 기존의 손가락을 이용한 키패드 인터페이스 방식을 대체하려는 방법 등이 개발되고 있는 실정이다.
예를 들어, 휴대폰에 내장된 카메라를 통해서 입력되는 영상 신호를 분석하고 눈동자 응시점의 위치를 계산하기 위해서 MSM칩 외에 별도의 DSP칩을 사용하는 기술이 존재한다. 눈동자 움직임 정보를 분석하기 위해서 기존의 컴퓨터 시스템에서 개발된 소프트웨어적인 알고리즘을 사용해서 눈동자 움직임을 감지하고 메뉴 선택을 할 수 있는 인터페이스를 구현하는 것이다.
또한, 촬영 영역 내에 눈동자가 위치하면 눈동자 촬영을 위해서 첫 번째 적외선을 발생시켜서 제1영상을 생성하고, 카메라의 촬영 축과 상이한 축 상에서 발생하는 두 번째 적외선을 발생시킨 제2영상 간의 차 영상을 생성하여 동일한 밝기를 가지는 배경을 제거하는 기술도 존재한다. 차영상으로부터 눈동자의 동공을 파악한 후, 동공의 움직임이 만들어가는 궤적을 추적 후, 판단하여 사용자 인증을 하는 방법이다.
종래의 기술에서는 이동통신 단말기에 키패드 인터페이스 방식 대신에 눈동자 움직임을 추적하기 위해서 눈동자 움직임 정보를 저장하기 위해서 좌표값을 이용하는 방법을 사용한다.
상기 종래의 기술은 좌표값을 이용하며, 눈동자 움직임을 통한 메뉴선택, 키 입력 등의 제어를 위해 별도의 장치 및 일반 사용자가 쉽게 사용하지 않는 적외선 카메라를 사용한다는 점에서 일반 사용자가 부담하여야 하는 비용이 증가한다는 문제점 등이 존재한다.
따라서 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 카메라가 장착 가능한 이동기기 및 전자기기 등을 손가락이나 음성 및 마우스를 대신하여 일반 사용자들이 손쉽게 사용하는 웹 카메라 1대 만으로 눈동자의 응시 방향에 의해 메뉴 선택, 입력 기능, 경로선택 기능 등과 같은 입력제어와 디스플레이상에 그리기, 글씨쓰기, 게임 등을 수행할 수 있도록 검출된 눈 영역 영상과 각 방향을 응시하는 레퍼런스 영상 또는 평균영상과의 차영상 엔트로피를 계산하여 눈동자의 응시방향을 인식하고, 인식 결과를 이용하여 눈동자의 응시 방향을 추적하는 방법의 제공을 그 목적으로 한다.
본 발명의 일 측면에 따른 차영상 엔트로피를 이용한 시선 추적 장치는 촬영장치를 통하여 촬영된 영상 중 눈 영역 영상을 검출하기 위한 영상 검출부, 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상과 비교하여 차영상 엔트로피를 연산하고, 가장 작은 차영상 엔트로피 값을 나타내는 레퍼런스 영상을 선택하는 영상 선택부 및 상기 선택된 레퍼런스 영상에 따른 눈동자의 응시방향을 인식하는 시선 추적부를 포함한다.
상기 영상 검출부는 촬영장치를 통하여 촬영된 영상 중 얼굴 영역 영상을 검출하는 얼굴 영역 검출부와 얼굴 영역 영상 중 눈 영역 영상을 검출하는 눈 영역 검출부를 포함한다. 상기 얼굴 영역 검출부 또는 눈 영역 검출부는 Haar-like feature와 Adaboost 방법, 형판정합방법, 엔트로피 방법 중 적어도 하나의 검출 방법을 이용하여 얼굴 영역 또는 눈 영역을 검출하는 것을 특징으로 한다.
한편, 상기 영상 선택부는 아래의 수식을 이용하여 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 값을 연산하는 것을 특징으로 한다.
Figure 112008034450985-PAT00001
여기서,
Figure 112008034450985-PAT00002
는 눈 영역 영상과 레퍼런스 영상의 차영상값,
Figure 112008034450985-PAT00003
는 검출된 눈 영상의 (x,y) 좌표의 픽셀값이며,
Figure 112008034450985-PAT00004
는 레퍼런스 영상의 (x,y) 좌표의 픽셀값이다.
또한, 상기 영상 선택부는 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 값 별 빈도수와 아래의 수학식을 이용하여 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값을 연산하는 것을 특징으로 한다.
Figure 112008034450985-PAT00005
여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값이고, m은 각각의 히스토그램이며, Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률이다. 특히, m은 8비트 그레이 영상일 경우 -255부터 255까지의 값을 가지며, RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 등과 같이 다양한 색모델 별로 m의 범위는 달라질 수 있다.
나아가 상기 다수의 레퍼런스 영상은 하나의 화면을 M×N 영역으로 분할한 경우, 분할된 각각의 영역에 대응되는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 차영상 엔트로피를 이용한 시선 추적 방법은 촬영장치를 통하여 입력된 영상 중 눈 영역 영상을 검출하는 단계, 검출된 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상과 비교하여 차영상 엔트로피를 연산하고, 가장 작은 차영상 엔트로피 값을 나타내는 레퍼런스 영상을 선택하는 단계 및 선택된 레퍼런스 영상에 따른 눈동자의 응시방향을 인식하는 단계를 포함한다.
상기 눈 영역 영상 검출 단계는 촬영장치를 통하여 촬영된 영상 중 얼굴 영역 영상을 검출하는 얼굴 영역 검출 단계와 상기 얼굴 영역 영상 중 눈 영역 영상을 검출하는 눈 영역 검출 단계로 구성될 수 있다. 이 경우 상기 얼굴 영역 검출 단계 또는 눈 영역 검출 단계는 Haar-like feature와 Adaboost 방법, 형판정합방법, 엔트로피 방법 중 적어도 하나의 검출 방법을 이용할 수 있다.
본 발명에 따른 시선 추적 방법은 아래의 수학식을 이용하여 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상의 차영상 값을 연산할 수 있다.
Figure 112008034450985-PAT00006
여기서,
Figure 112008034450985-PAT00007
는 눈 영역 영상과 레퍼런스 영상의 차영상값,
Figure 112008034450985-PAT00008
는 검출된 눈 영상의 (x,y) 좌표의 픽셀값이며,
Figure 112008034450985-PAT00009
는 레퍼런스 영상의 (x,y) 좌 표의 픽셀값이다.
또한, 본 발명에 따른 시선 추적 방법은 차영상 값 별 빈도수와 아래의 수학식을 이용하여 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값을 계산할 수도 있다.
Figure 112008034450985-PAT00010
여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값이고, m은 각각의 히스토그램이며, Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률이다. 특히, m은 8비트 그레이 영상일 경우 -255부터 255까지의 값을 가지며, RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 등과 같이 다양한 색모델 별로 m의 범위는 달라질 수 있다.
본 발명에 따른 시선 추적 방법이 이용하는 다수의 레퍼런스 영상은 하나의 화면을 M×N 영역으로 분할한 경우, 분할된 각각의 영역에 대응되는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 정보 처리 장치는 외부의 영상을 촬영하기 위한 촬영 장치, 촬영된 영상 중 눈 영역 영상을 검출하고 이를 다수의 레퍼런스 영상과의 차영상 엔트로피를 연산하고 최소 차영상 엔트로피 값을 나타내는 레퍼런스 영상에 해당하는 시선 위치를 출력하는 시선 추적부 및 사용자가 선택할 수 있는 다수의 메뉴를 디스플레이상에 출력하고 상기 시선 추적부가 출력한 시선 위치 에 출력된 메뉴를 선택하여 그에 따른 처리를 수행하는 제어부를 포함할 수 있다.
마찬가지로, 본 정보 처리 장치는
Figure 112008034450985-PAT00011
와
Figure 112008034450985-PAT00012
수학식을 이용하여 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값을 연산할 수 있다.
상기한 바와 같이 본 발명은 차영상 엔트로피를 이용한 시선 추적 장치 및 그에 사응하는 방법을 제공함으로써 눈동자 응시방향 인식 및 추적을 함으로써, 손가락, 음성,마우스를 대신하여 컴퓨터, 휴대단말기 및 전자 기기에 장착된 카메라를 통하여 각종 메뉴 등의 제어가 가능하다는 효과를 얻을 수 있다.
이하, 본 발명에 따른 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차영상 엔트로피를 이용한 시선 추적 장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이 본 발명에 따른 시선 추적 장치(100)는 메모리부(110), 영상 검출부(120), 영상 선택부(130), 시선 추적부(140) 등을 포함할 수 있다. 또한, 시선 추적 장치(100)는 카메라와 같은 촬영 장치(10)와 연결된다.
영상 검출부(120)는 촬영된 영상 중 눈 영역 영상을 검출하기 위한 구성 요소에 해당한다. 이러한 영상 검출부(120)는 얼굴 영역 검출부(121)와 눈 영역 검출부(122)로 구성될 수도 있다.
얼굴 영역 검출부(121)는 Haar-like features와 Adaboost 방법, 형판정합방법, 엔트로피 방법 등과 같은 검출 기술들을 이용하여 카메라 등의 촬영 장치(10)를 통해서 입력된 영상 또는 메모리부(110)에 저장되어 있는 영상 중 얼굴 영역만을 검출한다. 얼굴 영역 검출부(121)가 검출한 얼굴 영역 영상은 눈 영역 검출부(122)로 전달된다.
Haar-like feature 기법은 위치, 모양, 크기에 따라서 수 많은 형태의 특징 값을 표현한다. 이를 Adaboost 학습 알고리즘을 사용하여 약한 인식자들을 강인한 인식자의 그룹으로 만든다. 이와 같이 뽑혀진 특징값은 얼굴의 특징을 잘 표현한다는 장점을 가진다.
눈 영역 검출부(122)는 얼굴 영역 영상으로부터 위에서 제시한 Haar-like features와 Adaboost 방법, 형판정합방법, 엔트로피 방법 등과 같은 등을 이용하여 눈 영역만을 검출한다.
본 발명은 위에서 설명한 바와 같이 얼굴 영역 검출부(121)와 눈 영역 검출 부(122)를 이용한 이단계 검출 과정을 이용하므로 눈 영역 영상을 보다 정확하게 검출할 수 있게 된다.
한편, 영상 선택부(130)는 검출된 눈영상에 대하여 각 방향을 응시하는 레퍼런스 영상 또는 평균 영상과의 차영상 엔트로피를 수행하는 차영상 엔트로피 연산부(131)를 포함한다. 또한, 영상 선택부(130)는 각 레퍼런스 영상 또는 평균 영상 중 최소 엔트로피 값을 가지는 레퍼런스 영상 또는 평균 영상을 선택하는 최소엔트로피 영상선택부(132)도 포함한다.
시선 추적부(140)는 응시방향 인식부(141)와 응시방향 추적부(142)를 포함할 수 있다. 응시방향 인식부(141)는 최소엔트로피 값을 가지는 레퍼런스 영상 또는 평균영상으로부터 현재 촬영된 영상에 포함된 눈동자의 응시방향을 인식하는 역할을 수행한다. 또한, 응시방향 추적부(142)는 응시방향 인식부(141)의 인식결과를 토대로 현재 눈동자의 응시방향을 추적하는 역할을 수행한다.
한편, 메모리부(110)는 촬영장치(10)로부터 전달된 영상 데이터, 다수의 레퍼런스 영상 및 평균 영상을 저장한다. 또한, 눈동자의 움직임을 추적하기 위하여 눈동자의 위치 히스토리 정보를 저장할 수도 있다.
메모리부(100)에 저장되어 있는 레퍼런스 영상 DB(111)는 각 시선 방향별 레퍼런스 영상을 저장하는 공간이다. 영상 선택부(130)는 레퍼런스 영상 DB(111)에 저장된 레퍼런스 영상을 읽어들이고 이를 촬영된 영상과 비교하여 차영상 엔트로피를 연산한다.
한편, 입력 영상 추적 DB(112)는 눈동자의 위치 히스토리 정보를 저장한다. 시선 추적 장치(100)는 주기적으로 시선 방향을 인식할 수 있으며, 입력 영상 추적 DB(112)는 시간 별로 눈동자의 시선 방향을 저장하는 공간에 해당한다. 이 DB에 저장된 정보를 이용하여 눈동자의 시선을 추적할 수 있다.
이하, 본 발명에 따른 차영상 엔트로피 연산부의 차영상 엔트로피 연산 과정에 대하여 더욱 자세히 살펴보기로 한다.
먼저 어느 방향을 응시하는 레퍼런스 영상 다수의 평균 영상은 다음 수식에 의하여 구할 수 있다.
Figure 112008034450985-PAT00013
여기서,
Figure 112008034450985-PAT00014
는 평균 영상 중 (x,y) 좌표의 픽셀 값을 의미한다. N은 평균영상을 생성하기 위하여 사용된 레퍼런스 영상의 개수이다. In(x,y)는 평균 영상을 생성하기 위하여 사용된 n번째 레퍼런스 영상 (x,y) 좌표의 픽셀 값을 의미한다.
차영상 엔트로피 연산부(131)는 촬영된 영상, 각 방향을 응시하는 레퍼런스 영상 또는 평균 영상의 픽셀값과 다음의 수학식을 이용하여 그 차영상을 구한다.
Figure 112008034450985-PAT00015
Figure 112008034450985-PAT00016
여기서,
Figure 112008034450985-PAT00017
는 눈 영역 영상과 레퍼런스 영상의 차영상값이며,
Figure 112008034450985-PAT00018
는 눈 영역 영상과 평균 영상의 차영상값이다. 또한,
Figure 112008034450985-PAT00019
는 검출된 눈 영상 중 (x,y) 좌표의 픽셀 값이며,
Figure 112008034450985-PAT00020
는 레퍼런스 영상 중 (x,y) 좌표의 픽셀값이다.
상기 수학식 2를 이용하여 획득한 차영상을 이용하여 엔트로피를 계산하는 방법은 아래 수학식 3에 해당한다.
Figure 112008034450985-PAT00021
여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값, m은 8비트 그레이 영상일 경우 -255부터 255까지의 각각의 히스토그램이다. 물론, RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 등과 같이 다양한 색모델 별로 m의 범위는 달라진다. Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률이다.
상기 Pk는 아래의 수학식에 의하여 정의될 수도 있다.
Figure 112008034450985-PAT00022
여기서 ak는 k의 차영상 값을 가지는 히스토그램 빈도수를 의미한다. GT는 차영상에서 -m부터 m까지 히스토그램 빈도수의 총합을 의미하며 다음 수학식과 같이 정의될 수 있다.
Figure 112008034450985-PAT00023
이하, 도 1의 구성 요소를 포함하는 시선 추적 장치(100)의 구체적인 동작에 대하여 살펴보기로 한다.
도 2는 본 발명의 다른 실시예에 따른 차영상 엔트로피를 이용한 시선 추적 방법을 나타낸 도면이다.
도 1의 시선 추적 장치(100)는 촬영 장치(10)를 통하여 촬영된 영상 데이터를 입력받게 된다(S201).
그 후 시선 추적 장치(100)는 입력된 영상 데이터를 분석하여 그 중 얼굴 영역에 해당하는 영역만을 검출하게 된다(S202). 또한, 시선 추적 장치(100)는 S202 과정에서 검출한 얼굴 영역 영상으로부터 눈 영역만을 추출하여 눈 영역 영상을 획득한다(S203).
S202와 S203은 원본 영상으로부터 어떤 특정 형태를 가지는 영역만을 추출하는 단계에 해당한다. 이러한 검출 단계를 보다 효율적으로 구현하기 위하여 Haar-like features와 Adaboost 방법, 형판정합방법, 엔트로피 방법 등과 같은 검출 기술들을 이용하는 것이 보다 바람직하다.
눈 영역 영상을 검출한 시선 추적 장치(100)는 검출된 눈 영역 영상과 레퍼런스 영상의 차영상 엔트로피를 연산한다(S204). 본 발명에 따른 시선 추적 장치(100)는 눈 영역 영상과 평균 영상의 차영상 엔트로피를 연산할 수도 있다. 이 때 평균 영상이란 어느 한 방향을 바라보는 다수의 레퍼런스 영상의 평균값을 구한 영상이다.
눈 영역 영상과 레퍼런스 영상 또는 눈 영역 연산과 평균 영상의 차영상 엔트로피를 연산하는 방법은 위에서 살펴보았으므로, 여기서는 자세한 설명을 생략하기로 한다.
이러한 S204의 차영상 엔트로피 연산은 시선 위치별 레퍼런스 영상 별로 모두 수행된다. 예를 들어, 하나의 스크린을 M×N으로 분할한 경우를 가정하기로 한다. 이 경우 레퍼런스 영상 또는 평균 영상은 M×N개가 존재하게 된다.
S204 과정은 현재 입력된 차영상 엔트로피 영상을 각각의 레퍼런스 영상에 대하여 수행하는 것이다. 따라서, S204 결과 얻어지는 차영상 엔트로피 값은 M×N개가 되는 것이다.
M×N개의 차영상 엔트로피 값을 구한 시선 추적 장치(100)는 그 중 가장 작은 차영상 엔트로피 값을 결정한다. 시선 추적 장치(100)는 최소 차영상 엔트로피 값을 결정한 후, 최소 차영상 엔트로피 값이 연산되는 레퍼런스 영상 또는 평균 영상을 선택하는 것이다(S205).
시선 추적 장치(100)는 최소 차영상 엔트로피 값이 연산되는 레퍼런스 영상 또는 평균 영상에 따른 눈동자 시선 방향을 인식할 수 있는 것이다(S206). 예를 들어, 입력된 눈 영역 영상 및 (1,1)의 영역을 의미하는 레퍼런스 영상 간 차영상 엔트로피 값이 최소라면, 시선 추적 장치는 사용자가 (1,1)의 영역을 바라보고 있는 것으로 인식하는 것이다.
시선 추적 장치는 인식된 시선 방향을 메모리 또는 보조기억장치 등에 저장해둔 이전의 시선 방향과 비교하여, 시선 방향의 변화를 추적할 수도 있게 된다(S207).
도 3은 본 발명에 따른 평균영상을 이용한 시선 추적 방법을 나타낸 도면이다.
도 3에서 살펴볼 수 있듯이, 카메라 등 촬영 장치의 화면은 M×N의 분할영역으로 구분될 수 있다. 여기서 분할된 영역은 a× b 등으로 표시될 수 있다. 여기서 a는 임의 분할영역의 열 번호에 해당하며, b는 임의 분할영역의 행 번호를 의미한다.
예를 들어, 1× 1의 분할영역은 화면 중 왼쪽 맨 위의 분할 영역을 의미한다. 마찬가지로 M× 1로 지시되는 분할영역은 화면 중 오른쪽 맨 위의 분할 영역이 될 것이다.
본 발명에 따른 시선 추적 장치(100)는 각 분할영역 별로 입력되는 눈 영역 영상과 매칭 시킬 평균 영상을 저장하고 있다. 도 3에서 구체적 영상이 제시된 것과 같이 화면의 상하좌우를 바라보는 4개의 평균영상과 화면의 정중앙을 바라보는 평균영상이 시선 추적 장치(100)에 저장될 수 있다.
물론, 시선 추적 장치는 M× N 개의 분할영역을 바라보는 평균영상을 모두 저장함으로써, 보다 정확한 시선의 추적이 가능할 수 있다. 다만, 평균영상의 저장과 처리 속도 등을 고려할 때 M× N 개의 분할영역 중 몇 개의 분할영역에 대하여만 평균영상을 저장할 수도 있을 것이다.
도 4는 본 발명에 따른 레퍼런스 영상을 이용한 시선 추적 방법을 나타낸 도면이다.
도 3과 마찬가지로, 도 4에 도시된 화면도 M× N의 분할영역으로 구분될 수 있다. 또한, 분할된 영역도 마찬가지로 a× b 등으로 표시될 수 있다. 여기서 a는 임의 분할영역의 열 번호에 해당하며, b는 임의 분할영역의 행 번호를 의미한다.
예를 들어, 1× 1의 분할영역은 화면 중 왼쪽 맨 위의 분할 영역을 의미한다. 마찬가지로 M × 1로 지시되는 분할영역은 화면 중 오른쪽 맨 위의 분할 영역이 될 것이다.
다만, 도 4에서 본 발명에 따른 시선 추적 장치(100)는 각 분할영역 별로 입력되는 눈 영역 영상과 매칭시킬 영상으로 레퍼런스 영상을 이용한다는 점에서 차 이가 있다.
도 5는 본 발명의 또 다른 실시예에 따른 정보 처리 장치의 구성을 나타낸 도면이다.
도 5에 도시된 바와 본 발명에 따른 정보 처리 장치(200)는 중앙처리장치(210), 시선추적부(220), 촬영부(230), 메모리부(240), 디스플레이부(250), 키패드(260) 및 안테나(270) 등을 포함하여 구성될 수 있다.
촬영부(230)는 카메라와 같은 장치 등을 의미하며, 정보 처리 장치(200) 외부의 영상을 촬영하여 중앙처리장치(210) 등으로 전달한다.
시선추적부(220)는 도 1의 시선 추적 장치(100)에 해당하는 구성 요소이다. 시선 추적부(220)는 촬영부(230)로부터 전달된 영상 중 눈 영역 영상을 검출하고, 이를 다수의 레퍼런스 영상 또는 평균 영상과의 차영상 엔트로피를 연산한다. 이러한 차영상 엔트로피 연산을 기초로 하여 시선 추적부(220)는 촬영된 영상 인물이 바라보는 시선 위치를 판단하고 그 결과를 중앙처리장치(210)로 전달하는 역할을 수행한다.
중앙처리장치(210)는 본 발명에 따른 정보 처리 장치(200)의 전반적인 제어를 담당하는 장치에 해당한다. 중앙처리장치(200)는 정보 처리 장치의 용도에 따라 다양한 제어를 수행하게 된다.
예를 들어, 정보 처리 장치(200)가 이동통신 단말인 경우 중앙처리장치(210)는 안테나(270) 등을 통한 음성 통화 또는 화상 통화의 동작을 제어할 수 있다. 또한, 정보 처리 장치(200)가 PMP(portable multimedia player)와 같은 멀티미디어 재생 장치인 경우, 중앙처리장치(210)는 메모리부(240) 등에 저장되어 있는 멀티미디어 파일을 디코딩하여 디스플레이부(250) 등에 출력하는 제어를 수행할 수도 있는 것이다.
다만, 도 5의 중앙처리장치(210)는 시선 추적부(220)로부터 전달받은 시선 위치를 이용하여 메뉴를 선택하는 제어를 수행할 수 있다. 이를 위하여 중앙처리장치(210)는 디스플레이부(250)에 사용자가 선택할 수 있는 다수의 선택버튼 또는 메뉴를 출력한다.
사용자는 자신이 원하는 선택버튼을 응시하게 된다. 이 때 중앙처리장치(210)는 촬영부(230)로 하여금 디스플레이부(250)의 선택버튼을 응시하고 있는 사용자를 촬영하도록 제어한다.
중앙처리장치(210)는 촬영된 영상은 시선 추적부(220)로 전달하여, 현재 사용자가 응시하고 있는 시선 방향을 분석하도록 요청한다. 상기 요청에 따라 인물이 바라보는 시선 위치 결과를 전달받은 중앙처리장치(210)는 시선 위치에 출력된 선택버튼에 상응하는 루틴을 실행하는 것이다.
이와 같은 중앙처리장치(210)의 동작을 통하여 본 발명에 따른 정보 처리 장치(200)는 사용자의 시선 방향을 센싱하여 메뉴를 선택할 수 있는 인터페이스를 제공할 수 있다.
본 발명에 따른 정보 처리 장치는 이와 같은 방법을 통하여 키 입력 제어를 수행할 수도 있다. 중앙처리장치(210)는 먼저 디스플레이부(250)에 키보드와 유사 한 자판 형태를 출력한다. 그 후 중앙처리장치(210)는 인물이 바라보는 시선 위치에 상응하는 키가 입력된 것으로 처리함으로써 키 입력 제어를 수행할 수 있다.
뿐만 아니라, 정보 처리 장치(200)는 상기 시선 추적 방법을 통하여 슬라이드 형태의 메뉴 선택 방법 및 글씨 쓰기 방법을 제어할 수도 있다. 중앙처리장치(200)는 인물이 바라보는 시선 위치 히스토리를 메모리부(240) 등에 저장함으로써 그 시선 위치를 추적할 수 있다. 이러한 시선 추적 방법을 통하여 본 정보 처리 장치(200)는 슬라이드 메뉴의 선택, 경로 선택 등을 수행할 수 있으며, 자필 글씨 또는 그림을 입력할 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 차영상 엔트로피를 이용한 시선 추적 장치의 구성을 나타낸 도면.
도 2는 본 발명의 다른 실시예에 따른 차영상 엔트로피를 이용한 시선 추적 방법을 나타낸 도면.
도 3은 본 발명에 따른 평균영상을 이용한 시선 추적 방법을 나타낸 도면.
도 4는 본 발명에 따른 레퍼런스 영상을 이용한 시선 추적 방법을 나타낸 도면.
도 5는 본 발명의 또 다른 실시예에 따른 정보 처리 장치의 구성을 나타낸 도면.
<도면의 주요 부분에 대한 부호 설명>
100 : 시선 추적 장치 110 : 메모리부
120 : 영상 검출부 130 : 영상 선택부
140 : 시선 추적부
200 : 정보 처리 장치 210 : 중앙처리장치
220 : 시선 추적부 230 : 촬영부
240 : 메모리부 250 : 디스플레이부
260 : 키패드

Claims (15)

  1. 차영상 엔트로피를 이용한 시선 추적 장치에 있어서,
    촬영장치를 통하여 촬영된 영상 중 눈 영역 영상을 검출하기 위한 영상 검출부;
    상기 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상과 비교하여 차영상 엔트로피를 연산하고, 가장 작은 차영상 엔트로피 값을 나타내는 레퍼런스 영상을 선택하는 영상 선택부; 및
    상기 선택된 레퍼런스 영상에 따른 눈동자의 응시방향을 인식하는 시선 추적부를 포함하는 시선 추적 장치.
  2. 제1항에 있어서,
    상기 영상 검출부는,
    촬영장치를 통하여 촬영된 영상 중 얼굴 영역 영상을 검출하는 얼굴 영역 검출부; 와
    상기 얼굴 영역 영상 중 눈 영역 영상을 검출하는 눈 영역 검출부를 포함하는 시선 추적 장치.
  3. 제2항에 있어서,
    상기 얼굴 영역 검출부 또는 눈 영역 검출부는
    Haar-like feature와 Adaboost 방법, 형판정합방법, 엔트로피 방법 중 적어도 하나의 검출 방법을 이용하여 얼굴 영역 또는 눈 영역을 검출하는 것을 특징으로 하는 시선 추적 장치.
  4. 제1항에 있어서,
    상기 영상 선택부는,
    아래의 수식을 이용하여 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 값을 연산하는 것을 특징으로 하는 시선 추적 장치.
    Figure 112008034450985-PAT00024
    여기서,
    Figure 112008034450985-PAT00025
    는 눈 영역 영상과 레퍼런스 영상의 차영상값,
    Figure 112008034450985-PAT00026
    는 검출된 눈 영상의 (x,y) 좌표의 픽셀값이며,
    Figure 112008034450985-PAT00027
    는 레퍼런스 영상의 (x,y) 좌표의 픽셀값이다.
  5. 제4항에 있어서,
    상기 영상 선택부는,
    상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 값 별 빈도수와 아래의 수학식을 이용하여 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값을 연산하는 것을 특징으로 하는 시선 추적 장치.
    Figure 112008034450985-PAT00028
    여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값, m은 각각의 히스토그램이며, Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률
  6. 제1항에 있어서,
    상기 다수의 레퍼런스 영상은,
    하나의 화면을 M×N 영역으로 분할한 경우, 분할된 각각의 영역에 대응되는 것을 특징으로 하는 시선 추적 장치.
  7. 차영상 엔트로피를 이용한 시선 추적 방법에 있어서,
    촬영장치를 통하여 입력된 영상 중 눈 영역 영상을 검출하는 단계;
    상기 검출된 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상과 비교하여 차영상 엔트로피를 연산하고, 가장 작은 차영상 엔트로피 값을 나타내는 레퍼런스 영상을 선택하는 단계; 및
    상기 선택된 레퍼런스 영상에 따른 눈동자의 응시방향을 인식하는 단계를 포함하는 시선 추적 방법.
  8. 제7항에 있어서,
    상기 눈 영역 영상 검출 단계는,
    촬영장치를 통하여 촬영된 영상 중 얼굴 영역 영상을 검출하는 얼굴 영역 검출 단계; 와
    상기 얼굴 영역 영상 중 눈 영역 영상을 검출하는 눈 영역 검출 단계로 구성되는 것을 특징으로 하는 시선 추적 방법.
  9. 제8항에 있어서,
    상기 얼굴 영역 검출 단계 또는 눈 영역 검출 단계는
    Haar-like feature와 Adaboost 방법, 형판정합방법, 엔트로피 방법 중 적어도 하나의 검출 방법을 이용하는 것을 특징으로 하는 시선 추적 방법.
  10. 제7항에 있어서,
    상기 눈 영역 영상을 다수의 시선 위치별 레퍼런스 영상의 차영상 연산 단계는 아래 수학식을 이용하는 것을 특징으로 하는 시선 추적 방법.
    Figure 112008034450985-PAT00029
    여기서,
    Figure 112008034450985-PAT00030
    는 눈 영역 영상과 레퍼런스 영상의 차영상값,
    Figure 112008034450985-PAT00031
    는 검출된 눈 영상의 (x,y) 좌표의 픽셀값이며,
    Figure 112008034450985-PAT00032
    는 레퍼런스 영상의 (x,y) 좌표의 픽셀값이다.
  11. 제10항에 있어서,
    상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 연산 단계는,
    상기 차영상 값 별 빈도수와 아래의 수학식을 이용하여 연산되는 것을 특징으로 하는 시선 추적 방법.
    Figure 112008034450985-PAT00033
    여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값, m은 각각의 히스토그램이며, Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률
  12. 제7항에 있어서,
    상기 다수의 레퍼런스 영상은,
    하나의 화면을 M×N 영역으로 분할한 경우, 분할된 각각의 영역에 대응되는 것을 특징으로 하는 시선 추적 방법.
  13. 외부의 영상을 촬영하기 위한 촬영 장치;
    상기 촬영 장치가 촬영한 영상 중 눈 영역 영상을 검출하고, 이를 다수의 레퍼런스 영상과의 차영상 엔트로피를 연산하고, 최소 차영상 엔트로피 값을 나타내는 레퍼런스 영상에 해당하는 시선 위치를 출력하는 시선 추적부; 및
    사용자가 선택할 수 있는 다수의 메뉴를 디스플레이상에 출력하고, 상기 시선 추적부가 출력한 시선 위치에 출력된 메뉴를 선택하여 그에 따른 처리를 수행하는 제어부를 포함하는 정보 처리 장치.
  14. 제13항에 있어서,
    상기 시선 추적부는 아래 수학식을 이용하여 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 값을 연산하는 것을 특징으로 하는 정보 처리 장치.
    Figure 112008034450985-PAT00034
    여기서,
    Figure 112008034450985-PAT00035
    는 눈 영역 영상과 레퍼런스 영상의 차영상값,
    Figure 112008034450985-PAT00036
    는 검출된 눈 영상의 (x,y) 좌표의 픽셀값이며,
    Figure 112008034450985-PAT00037
    는 레퍼런스 영상의 (x,y) 좌표의 픽셀값이다.
  15. 제14항에 있어서,
    상기 시선 추적부는
    상기 레퍼런스 영상의 차영상 값별 빈도수와 아래의 수학식을 이용하여 상기 눈 영역 영상과 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값을 연산하는 것을 특징으로 하는 정보 처리 장치.
    Figure 112008034450985-PAT00038
    여기서, E 는 다수의 시선 위치별 레퍼런스 영상의 차영상 엔트로피 값, m은 각각의 히스토그램이며, Pk는 전체 히스토그램에서 k의 차영상 값을 가지는 히스토그램 빈도수의 확률
KR1020080044950A 2008-05-15 2008-05-15 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 KR100947990B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080044950A KR100947990B1 (ko) 2008-05-15 2008-05-15 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US12/368,269 US8274578B2 (en) 2008-05-15 2009-02-09 Gaze tracking apparatus and method using difference image entropy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080044950A KR100947990B1 (ko) 2008-05-15 2008-05-15 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090119107A true KR20090119107A (ko) 2009-11-19
KR100947990B1 KR100947990B1 (ko) 2010-03-18

Family

ID=41315773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080044950A KR100947990B1 (ko) 2008-05-15 2008-05-15 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8274578B2 (ko)
KR (1) KR100947990B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060838A1 (de) 2009-12-03 2011-06-30 Samsung Electronics Co., Ltd., Kyonggi Vorrichtung und Verfahren für Lichtwellenleiter und Optokoppler, sowie Herstellungsverfahren dafür
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CL2007002345A1 (es) * 2007-08-10 2009-09-11 Pablo Zegers Fernandez Metodo para la resolucion de problemas complejos mediante el aprendisaje en cascada.
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP5456791B2 (ja) * 2009-01-26 2014-04-02 トビー・テクノロジー・アーベー 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8625847B2 (en) * 2011-03-21 2014-01-07 Blackberry Limited Login method based on direction of gaze
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
JP6144681B2 (ja) 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
WO2014179857A1 (en) * 2013-05-07 2014-11-13 Ravenni Technology Inc. Autofocus eyeglass system
US9514364B2 (en) 2014-05-29 2016-12-06 Qualcomm Incorporated Efficient forest sensing based eye tracking
DE102014211882A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Ermittlung der Herzfrequenz des Fahrers eines Fahrzeugs
KR101645722B1 (ko) 2015-08-19 2016-08-05 아이디어주식회사 자동추적 기능을 갖는 무인항공기 및 그 제어방법
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
KR102476897B1 (ko) 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
CN107103293B (zh) * 2017-04-13 2019-01-29 西安交通大学 一种基于相关熵的注视点估计方法
KR102495234B1 (ko) 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制***
CN108897789B (zh) * 2018-06-11 2022-07-26 西南科技大学 一种跨平台的社交网络用户身份识别方法
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
CN111552076B (zh) 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
CN113836973A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 终端控制方法、装置、终端及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
JP2000163564A (ja) * 1998-12-01 2000-06-16 Fujitsu Ltd 目の追跡装置および瞬き検出装置
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
WO2004034905A1 (en) * 2002-10-15 2004-04-29 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
KR20050085583A (ko) * 2002-12-13 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 표정 불변 얼굴 인식
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US20050129286A1 (en) * 2003-12-16 2005-06-16 Hekimian Christopher D. Technique using eye position and state of closure for increasing the effectiveness of iris recognition authentication systems
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4206053B2 (ja) * 2004-03-31 2009-01-07 株式会社国際電気通信基礎技術研究所 ユーザインタフェース装置およびユーザインタフェースプログラム
JP4507679B2 (ja) * 2004-04-21 2010-07-21 富士ゼロックス株式会社 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
JP4624122B2 (ja) * 2005-01-31 2011-02-02 株式会社トーメーコーポレーション 眼科装置
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
US7792359B2 (en) * 2006-03-02 2010-09-07 Sharp Laboratories Of America, Inc. Methods and systems for detecting regions in digital images
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
US7783077B2 (en) * 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
FR2953616B1 (fr) * 2009-12-08 2011-12-09 Thales Sa Procede de correction de la position des yeux dans une image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060838A1 (de) 2009-12-03 2011-06-30 Samsung Electronics Co., Ltd., Kyonggi Vorrichtung und Verfahren für Lichtwellenleiter und Optokoppler, sowie Herstellungsverfahren dafür
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법

Also Published As

Publication number Publication date
KR100947990B1 (ko) 2010-03-18
US8274578B2 (en) 2012-09-25
US20090284608A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
US8649575B2 (en) Method and apparatus of a gesture based biometric system
US10318797B2 (en) Image processing apparatus and image processing method
US10007841B2 (en) Human face recognition method, apparatus and terminal
CN109684980B (zh) 自动阅卷方法及装置
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
US20170124719A1 (en) Method, device and computer-readable medium for region recognition
KR20210047336A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
JP2016212636A (ja) 生体撮影装置、生体撮影方法及び生体撮影プログラム
US20150227197A1 (en) Information processing apparatus, information processing method, and program
JP2002351603A (ja) 携帯情報処理装置
US8902161B2 (en) Device and method for detecting finger position
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
US20170131760A1 (en) Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard
CN105894042A (zh) 检测证件图像遮挡的方法和装置
US11816924B2 (en) Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN114140839B (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
EP2924610A2 (en) Flesh color detection condition determining apparatus, and flesh color detection condition determining method
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee