KR101286965B1 - Apparatus and method for tracking eye - Google Patents
Apparatus and method for tracking eye Download PDFInfo
- Publication number
- KR101286965B1 KR101286965B1 KR1020100026453A KR20100026453A KR101286965B1 KR 101286965 B1 KR101286965 B1 KR 101286965B1 KR 1020100026453 A KR1020100026453 A KR 1020100026453A KR 20100026453 A KR20100026453 A KR 20100026453A KR 101286965 B1 KR101286965 B1 KR 101286965B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- pupil
- region
- eye
- detected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사용자의 시선 방향을 추적하는 장치 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 시선 추적 방법은, 얼굴 영상을 수신하여 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역에서 눈 후보 영역을 지정하고, 상기 지정된 눈 후보 영역에서 눈 영역을 검출하는 단계; 상기 검출된 눈 영역에서 동공을 검출하고, 상기 검출된 동공의 중심 좌표를 검출하는 단계; 얼굴 영역이나 눈 영역이 검출되지 않은 경우, 얼굴의 모션 벡터를 계산하는 단계; 및 상기 검출된 동공의 중심 좌표 또는 상기 계산된 모션 벡터를 이용하여 화면상에 사상되는 커서의 위치를 제어하는 단계를 포함한다.The present invention relates to an apparatus and a method for tracking the direction of the gaze of a user.
In accordance with another aspect of the present invention, a gaze tracking method includes: detecting a face region by receiving a face image; Designating an eye candidate region in the detected face region and detecting an eye region in the designated eye candidate region; Detecting a pupil in the detected eye region and detecting a center coordinate of the detected pupil; Calculating a motion vector of the face when no face region or eye region is detected; And controlling the position of the cursor mapped on the screen using the detected center coordinates of the pupil or the calculated motion vector.
Description
본 발명은 시선 추적 장치 및 방법에 관한 것으로, 더욱 상게하게는 사용자의 시선 방향을 추적하는 장치 및 방법에 관한 것이다.
The present invention relates to a gaze tracking device and method, and more particularly to a device and a method for tracking the gaze direction of the user.
오늘날 디지털 기술이 발전함에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 구분할 수 있는 기술이 개발되고 있다. 이러한 분석 기술 중에 얼굴 인식 기술은 디지털 카메라뿐만 아니라, 보안 기술을 수행하는 장치 등에 접목되는 기술로서, 다양한 방식으로 다각도로 연구 및 개발되고 있는 실정이다.As digital technology develops today, a technology for analyzing image information and dividing it into specific regions or portions is being developed. Among these analysis technologies, face recognition technology is a technology applied to not only a digital camera but also a device for performing security technology, and has been researched and developed at various angles in various ways.
일반적으로, 얼굴 검출은 임의의 입력 영상에 대하여 해당 영상 내에 사람의 얼굴이 존재하는지 유무를 가리고, 만일 얼굴이 존재하면 영상 내에 존재하는 각 사람의 얼굴을 찾아서 그 위치를 표시하는 것으로, 감시 시스템, 범죄 수사용인 머그 샷정합(mug shot maching) 시스템, 얼굴 정보를 이용한 검색 시스템 및 객체 지향 코딩 시스템 등에 활용될 수 있다.In general, face detection masks the presence or absence of a person's face in the image for any input image, and if the face is present, finds the face of each person in the image and displays its location. It can be used for criminal shot mug shot maching system, face information retrieval system and object-oriented coding system.
이러한 얼굴 검출 시스템에서 한단계 더 나아가 최근 활발히 연구되고 있는 개인 인식 시스템의 구현을 목적으로 영상에서 인체의 특징 중 눈을 인식해 검출하는 것이 눈 검출 시스템이다. 즉, 눈 인식 기술은 지문 인식, 홍채 인식 등과 같이 사람마다 고유한 신체적 특징을 이용하여 개인을 식별하고자 하는데 그 목적이 있다. 특히, 최근 널리 활용되고 있는 지문 인식 기술은 고급 아파트나 회사의 사무실 출입구에 지문 인식 장치가 보급될 만큼 상용화가 진행되어 앞으로 지문 인식 장치의 수요는 더욱 증가할 것으로 예상되지만, 이러한 지문 인식 장치는 접촉식이기 때문에 많은 사람들이 수시로 접근하는 장소에서는 그 효용성이 저하되는 단점이 있다.The eye detection system recognizes and detects the eye of the human body in the image for the purpose of realizing a personal recognition system that has been actively studied recently. That is, the purpose of the eye recognition technology is to identify the individual by using the physical characteristics unique to each person, such as fingerprint recognition, iris recognition. In particular, the fingerprint recognition technology, which has been widely used recently, is commercialized as the fingerprint recognition device is widely used in the entrances of high-end apartments or offices, and the demand of the fingerprint recognition device is expected to increase further. Because it is a diet, many people approach from time to time has its disadvantages that the utility is lowered.
더군다나, 아파트 또는 개인 주택의 도어락, 자동차, 현금지급기, 사무실 출입구, 멤버쉽 클럽 등과 같이 사용자 인증을 필요로 하는 분야가 점점 더 다양화되고 있어서, 눈 인식 장치는 기존의 기술인 지문 인식 장치, IC/마그네틱/RF 카드 리더 등의 보조적인 인식 장치와 패키지로 결합되면 보안 등급에 따라 다양한 형태의 상용 제품이 구현될 수 있어 활발한 연구가 필요한 부분이다.Moreover, with the increasing diversity of areas requiring user authentication, such as door locks in apartments or private homes, cars, ATMs, office doors, membership clubs, etc., the eye recognition device is a conventional technology of fingerprint recognition device, IC / magnetic, etc. When combined with assistive recognition devices such as / RF card readers, various types of commercial products can be implemented depending on the security level, which requires active research.
사람의 시선 위치는 얼굴과 안구의 방향을 모두 고려하여 판단할 수 있다. 하지만, 안구의 방향이 사람의 시선 위치를 결정하는 중요한 단서가 되므로, 기존의 시선 추적 방법에서는 주로 안구의 움직임을 추적하고, 얼굴 움직임에 의해 발생하는 오차를 보정하는 방식으로 연구가 진행되어 왔다. 기존의 시선 추적 방법들은 콘택트렌즈를 착용하거나, 피부전극(skin electrode)을 눈 주위에 부착하는 방법, 카메라 비전 시스템을 통한 영상 분석 방법들이 있었다. 콘택트렌즈를 이용한 방법은 '별도의 장비가 렌즈 면에 부착되어 있는 콘택트렌즈'를 사용자의 각막 면에 부착되도록 착용해야 하고, 피부전극을 이용한 방법은 여러 개의 피부전극을 눈 주위에 부착해야 한다.The position of a person's gaze may be determined by considering both the direction of the face and the eyeball. However, since the direction of the eyeball is an important clue to determine the position of the gaze of the person, research has been conducted in the conventional eye tracking method to track the eye movement mainly and to correct the errors caused by facial movement. Conventional eye tracking methods include contact lenses, skin electrodes attached around the eyes, and image analysis methods using a camera vision system. In the case of using a contact lens, 'contact lens with a separate device attached to the lens surface' should be worn to attach to the corneal surface of the user. In the method using the skin electrode, several skin electrodes should be attached around the eyes.
또한, 카메라 비전 시스템을 이용한 방법은 얼굴 움직임에 영향을 받지 않고 고해상도의 눈 영상을 취득하기 위해 머리에 착용식 카메라를 장착하거나 회전 및 자동 초점 조절, 줌 기능을 가지는 고가의 카메라 장치를 사용해야 한다는 문제점이 있다. 결과적으로, 세 가지 방법 모두 제작 단가 및 상용성 측면에서 단점을 가지고 있다.
In addition, the method using the camera vision system requires that a wearable camera is attached to the head or an expensive camera device having rotation, auto focus, and zoom functions to obtain a high resolution eye image without being affected by facial movement. There is this. As a result, all three methods have disadvantages in terms of manufacturing cost and compatibility.
따라서 본 발명은 사용자의 얼굴 영상을 이용하여 추출한 눈 영역에서 동공을 검출하여 사용자의 시선 방향을 추적하는 시선 추적 장치 및 방법을 제공한다.Accordingly, the present invention provides a gaze tracking device and a method for tracking a gaze direction of a user by detecting a pupil in an eye region extracted by using a face image of the user.
또한, 본 발명은 사용자의 얼굴 영상을 이용하여 얼굴 영역 또는 눈 영역의 검출을 실패한 경우에도 모션 벡터를 이용하여 시선 방향을 추적하는 시선 추적 장치 및 방법을 제공한다.
The present invention also provides a gaze tracking device and method for tracking a gaze direction using a motion vector even when a face region or an eye region fails to be detected using a face image of a user.
상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 따른 시선 추적 장치는, 얼굴 영상을 수신하여 얼굴 영역을 검출하기 위한 얼굴 검출부; 상기 검출된 얼굴 영역에서 눈 후보 영역을 지정하고, 상기 지정된 눈 후보 영역에서 눈 영역을 검출하기 위한 눈 영역 검출부; 상기 검출된 눈 영역에서 동공을 검출하고, 상기 검출된 동공의 중심 좌표를 검출하기 위한 동공 검출부; 얼굴의 모션 벡터를 계산하기 위한 보정부; 및 상기 검출된 동공의 중심 좌표 또는 상기 계산된 모션 벡터를 이용하여 화면상에 사상되는 커서의 위치를 제어하기 위한 맵핑부를 포함한다.In order to solve the above objects, a gaze tracking device according to an exemplary embodiment of the present disclosure may include: a face detector configured to receive a face image and detect a face region; An eye region detector for designating an eye candidate region in the detected face region and detecting an eye region in the designated eye candidate region; A pupil detector for detecting a pupil in the detected eye area and detecting a center coordinate of the detected pupil; A correction unit for calculating a motion vector of the face; And a mapping unit for controlling a position of a cursor mapped on a screen using the detected center coordinates of the pupil or the calculated motion vector.
본 발명의 일 실시 예에 따른 시선 추적 방법은, 얼굴 영상을 수신하여 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역에서 눈 후보 영역을 지정하고, 상기 지정된 눈 후보 영역에서 눈 영역을 검출하는 단계; 상기 검출된 눈 영역에서 동공을 검출하고, 상기 검출된 동공의 중심 좌표를 검출하는 단계; 얼굴 영역이나 눈 영역이 검출되지 않은 경우, 얼굴의 모션 벡터를 계산하는 단계; 및 상기 검출된 동공의 중심 좌표 또는 상기 계산된 모션 벡터를 이용하여 화면상에 사상되는 커서의 위치를 제어하는 단계를 포함한다.
In accordance with another aspect of the present invention, a gaze tracking method includes: detecting a face region by receiving a face image; Designating an eye candidate region in the detected face region and detecting an eye region in the designated eye candidate region; Detecting a pupil in the detected eye region and detecting a center coordinate of the detected pupil; Calculating a motion vector of the face when no face region or eye region is detected; And controlling the position of the cursor mapped on the screen using the detected center coordinates of the pupil or the calculated motion vector.
본 발명은, 사용자의 얼굴 영상을 이용하여 추출한 눈 영역에서 동공을 검출하여 사용자의 시선 방향을 추적할 수 있고, 사용자의 얼굴 영상을 이용하여 얼굴 영역 또는 눈 영역의 검출을 실패한 경우에도 모션 벡터를 이용하여 시선 방향을 추적할 수 있다. 또한, 본 발명은 손에 의한 동작 없이 시선을 이용해서 사용자의 시선 방향을 추적할 수 있다.
The present invention can detect the pupil in the eye region extracted by using the face image of the user to track the direction of the user's eye gaze, and even if the face region or the eye region has not been detected using the face image of the user, Can track the line of sight. In addition, the present invention can track the gaze direction of the user using the gaze without the operation by the hand.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구성을 도시한 도면,
도 2a는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 에지 특성을 도시한 도면,
도 2b는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 라인 특성을 도시한 도면,
도 2c는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 중심 특성을 도시한 도면,
도 3은 본 발명의 실시 예에 따른 시선 추적 장치에서 직렬 분류기(Cascade Classifier)들에 의한 얼굴 검출 과정을 도시한 도면,
도 4는 본 발명의 실시 예에 따른 시선 추적 장치에서 아다부스트(Adaboost) 얼굴 검출 기법을 이용한 얼굴 영역 검출 결과를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 시선 추적 장치에서 검출된 얼굴 영역 내에서 눈 후보 영역을 지정하는 과정을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 시선 추적 장치에서 지정된 눈 후보 영역에서 눈 영역을 검출하는 과정을 도시한 도면,
도 7은 본 발명의 실시 예에 따른 시선 추적 장치에서 눈 좌표에서 IPTV 화면 좌표로의 사상 고정에 대한 개념도,
도 8은 본 발명의 실시 예에 따른 시선 추적 장치에서 계층적 KLT 특징 추적기를 이용하여 모션 벡터를 찾은 결과를 도시한 도면,
도 9는 본 발명에 의한 방법과 일반 마우스를 이용하여 무작위하게 위치한 아이콘에 도달하는데 걸리는 시간을 비교한 그래프,
도 10은 본 발명의 실시 예에 따른 시선 추적 장치의 관심도와 편의성에 관한 설문 결과를 도시한 도면,
도 11은 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 인터넷 쇼핑의 예시도,
도 12는 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 VOD 서비스의 예시도,
도 13은 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 어두운 밤 환경에서의 동작 예시도,
도 14는 본 발명의 실시 예에 따른 IPTV 시스템에서 시선 추적 과정을 도시한 도면이다.1 is a view showing the configuration of a gaze tracking device according to an embodiment of the present invention,
FIG. 2A illustrates edge characteristics among ha wavelet features used for face detection in a gaze tracking device according to an exemplary embodiment of the present disclosure; FIG.
FIG. 2B is a diagram illustrating line characteristics among ha wavelet features used for face detection in a gaze tracking apparatus according to an exemplary embodiment of the present disclosure; FIG.
2C is a diagram illustrating a center characteristic among ha wavelet features used for face detection in a gaze tracking device according to an exemplary embodiment of the present invention;
3 is a view illustrating a face detection process by cascade classifiers in a gaze tracking apparatus according to an exemplary embodiment of the present invention;
4 is a view illustrating a facial region detection result using an Adaboost face detection technique in a gaze tracking apparatus according to an exemplary embodiment of the present invention;
5 is a diagram illustrating a process of designating an eye candidate region within a face region detected by the gaze tracking apparatus according to an exemplary embodiment of the present disclosure;
FIG. 6 is a diagram illustrating a process of detecting an eye region in a designated eye candidate region in a gaze tracking apparatus according to an exemplary embodiment of the present disclosure; FIG.
FIG. 7 is a conceptual diagram of a mapping of eye coordinates to IPTV screen coordinates in an eye tracking apparatus according to an embodiment of the present invention; FIG.
8 is a diagram illustrating a result of finding a motion vector using a hierarchical KLT feature tracker in an eye tracking apparatus according to an exemplary embodiment of the present invention;
9 is a graph comparing the time taken to reach a randomly located icon using the method according to the present invention and a normal mouse,
10 is a view showing a questionnaire result regarding interest and convenience of an eye tracking apparatus according to an embodiment of the present invention;
11 is an exemplary diagram of Internet shopping among an example of an application service in an IPTV environment using a gaze tracking device according to an embodiment of the present invention;
12 is an exemplary view of a VOD service of an example of an application service in an IPTV environment using an eye tracking apparatus according to an embodiment of the present invention;
FIG. 13 is a view illustrating an operation in a dark night environment among application service examples in an IPTV environment using a gaze tracking device according to an embodiment of the present disclosure; FIG.
14 is a diagram illustrating a gaze tracking process in an IPTV system according to an exemplary embodiment of the present invention.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
그러면, 먼저 시선 추적 방법이 사용되고 있는 예들을 살펴보기로 하자. 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.First, let's look at examples in which the eye tracking method is used. The gaze tracking method is divided into Skin Electrodes based method, Contact Lens based method, Head Mounted Display attachment based method, and Remote Pan & Tilting device based method. have.
상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시 위치를 계산하는 방법이다. 상기 스킨 전극 기반 방법은 양 눈의 응시위치를 모두 파악할 수 있고, 가격이 저렴하며, 사용 방법이 간편하다는 장점이 있다. 하지만, 스킨 전극 기반 방법은 가로 및 세로 방향의 움직임이 제한적이어서 정확성이 떨어진다.The skin electrode-based method is a method of measuring an electric potential difference between a retina and a cornea by attaching an electrode around a user's eye, and calculating a gaze position based on the measured electric potential difference. The skin electrode-based method has the advantage of being able to grasp both gaze positions of both eyes, a low cost, and a simple method of use. However, the skin electrode based method has limited accuracy in the horizontal and vertical movements.
상기 콘텍트렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법이다. 상기 콘텍트렌즈 기반 방법은 정확히 응시위치를 계산할 수 있다. 하지만, 사용이 불편하고, 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다.The contact lens-based method is a method of calculating a gaze position by attaching a non-slip lens to the cornea and attaching a magnetic field coil or mirror to the cornea. The contact lens based method can accurately calculate the gaze position. However, it is inconvenient to use, the eyes do not flicker freely, and the calculation range is limited.
상기 두부 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 장착된 작은 카메라를 이용하여 응시위치를 계산한다. 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있다. 그러나 카메라가 사용자 눈높이보다 아래로 기울어져 있어 눈의 상하 움직임에 민감하지 못하여, 두부 장착형 디스플레이에만 적용된다.The head mounted display attachment based method calculates the gaze position using a small camera mounted under the headband or helmet. The head mounted display attachment based method can calculate the gaze position regardless of the user's head movement. However, the camera is tilted below the user's eye level, making it insensitive to vertical movement of the eye, so it only applies to head mounted displays.
원격 팬&틸트 장치 기반 방법은 모니터 주변에 팬&틸트가 되는 카메라와 조명을 설치하여 응시위치를 계산하는 방법이다. 원격 팬&틸트 장치 기반 방법은 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구한다. 그러면, 여기서 도 1을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 구성을 보다 구체적으로 설명하기로 한다.Remote Pan & Tilt device based method calculates stare position by installing pan & tilt camera and lighting around monitor. Remote pan-and-tilt device-based methods have the advantages of accurate and fast gaze position calculations and ease of application, but require more than two expensive stereo camera devices and complex algorithms to track head movements. Requires complex calibration of the liver. Then, the configuration of the eye tracking apparatus according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 1.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a gaze tracking device according to an exemplary embodiment of the present invention.
본 발명의 실시 예에 따른 시선 추적 장치는 다양한 형태의 동영상 재생기기, 예컨대 IPTV 시스템, TV, 컴퓨터, 게임기 등 다양한 응용 분야에 적용될 수 있다. 그러면, 설명의 편의를 위해서 IPTV 시스템을 예로 들어 설명하기로 한다. 초기에는 사용자가 사용자의 얼굴 영상을 촬영하기 위한 영상촬영기기, 예컨대 카메라, 웹캠 등을 포함하는 IPTV 모니터의 중앙 지점을 응시하고 있다고 가정하여 설명하기로 한다.The apparatus for tracking eye gaze according to an exemplary embodiment of the present invention may be applied to various application fields such as various types of video player, such as an IPTV system, a TV, a computer, and a game machine. In the following description, the IPTV system will be described as an example. Initially, it will be described on the assumption that the user is staring at the center point of the IPTV monitor including an image photographing device, for example, a camera, a webcam, etc., for photographing the user's face.
도 1을 참조하여 살펴보면, 시선 추적 장치는 얼굴 검출부(100), 눈 영역 검출부(102), 동공 검출부(104), 맵핑부(106), 보정부(108)를 포함한다. 상기 얼굴 검출부(100)는 IPTV에 연결된 영상촬영기기로부터 촬영된 사용자의 얼굴 영상을 수신한다. 상기 얼굴 검출부(100)는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영상으로부터 얼굴 영역을 검출한다.Referring to FIG. 1, the gaze tracking device includes a
상기 아다부스트 알고리즘은 입력된 사용자의 얼굴 영상이 정면 얼굴인 경우에 정확하게 얼굴 영역을 검출할 수 있는 알고리즘이다. 만약, 상기 사용자의 얼굴 영상이 정면 얼굴이 아닌 경우에는 추후 후술될 보정부(108)가 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘(이를 "계층적 KLT 특징 추적기"라 함)을 이용하여 얼굴의 모션 벡터를 계산하고, 맵핑부(106)가 상기 계산된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.The adaboost algorithm is an algorithm that can accurately detect a face region when the input face image of the user is a front face. If the face image of the user is not the front face, the
아다부스트 알고리즘은 훈련 단계와 실행 단계로 구성되며, 상기 훈련 단계는 검사대상과 유사한 샘플, 예컨대 특징 템플릿을 이용하여 다수개의 약한 분류기(weak classifier)로 구성되는 강한 분류기(strong classifier)를 사전에 설정하는 단계이다. 상기 실행단계는 사전에 설정된 강한 분류기를 실제 검사대상에 적용시켜 조건에 부합되는지의 여부를 판단하는 단계를 의미한다.The Adaboost algorithm consists of a training phase and an execution phase, which pre-set a strong classifier consisting of a plurality of weak classifiers using a sample similar to the test object, such as a feature template. It's a step. The execution step refers to a step of determining whether or not a condition is met by applying a pre-set strong classifier to the actual inspection target.
얼굴 검출부(100)는 상기 아다부스트 알고리즘을 이용하여 입력된 사용자의 얼굴 영상에서 얼굴 영역을 추출할 때, 상기 입력된 사용자의 얼굴 영상을 그대로 사용하지 않고, 서브윈도우로 분할한다. 그리고 얼굴 검출부(100)는 상기 서브윈도우에 포함된 하 웨이블릿(Haar Wavelet) 특징을 이용하여 특징값을 계산한다. 이때, 상기 아다부스트 알고리즘의 성능은 상기 약한 분류기의 개수에 따라 좌우되며, 아다부스트 알고리즘의 정확도는 특징값 계산방식이나 윈도우 계산방식 등에 따라 좌우된다.When the
상기 서브윈도우에 포함된 하 웨이블릿 특징들은 픽셀들의 숫자보다 많기 때문에 상기 얼굴 검출부(100)는 작고 중요한 특징에 초점을 맞추어 특징값을 계산한다. 상기 하 웨이블릿 특징은 도 2에 도시된 바와 같이 템플릿으로 표현될 수 있다. 그러면, 여기서 도 2a 내지 도 2c를 참조하여 본 발명의 실시 예에 따른 IPTV 시스템에서 얼굴 검출에 사용되는 하 웨이블릿 특징에 대해서 보다 구체적으로 설명하기로 한다.Since the wavelet features included in the subwindow are larger than the number of pixels, the
도 2a는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 에지 특성을 도시한 도면이고, 도 2b는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 라인 특성을 도시한 도면이고, 도 2c는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 중심 특성을 도시한 도면이다.FIG. 2A illustrates edge characteristics among hawavelet features used in the gaze tracking device according to an exemplary embodiment of the present invention, and FIG. 2B illustrates line characteristics among hawavelet features used in an eye gaze tracking apparatus according to an embodiment of the present invention. FIG. 2C is a diagram illustrating a center characteristic among ha wavelet features used in an eye tracking apparatus according to an exemplary embodiment of the present invention.
도 2a 내지 도 2c를 참조하여 살펴보면, 하 웨이블릿 특징은 2개 또는 3개의 검은색과 흰색의 사각형으로 이루어져 있고, 수평, 수직 또는 대각방향으로 기울어져 있다. 이러한 각각의 하 웨이블릿 특징은 얼굴 구성요소, 예컨대 양 눈, 코, 왼쪽 눈, 눈커플 등을 나타낸다. 도 2a는 동공을 표현한 것이고, 도 2b는 동공과 홍채가 이루는 다양한 경계 성분을 표현한 것이다.Referring to Figures 2a to 2c, the wavelet feature consists of two or three black and white squares, inclined horizontally, vertically or diagonally. Each of these lower wavelet features represents facial components such as both eyes, nose, left eye, eye couple, and the like. FIG. 2A is a representation of a pupil, and FIG. 2B is a representation of various boundary components formed by the pupil and the iris.
얼굴 검출부(100)는 상기 계산된 특징값을 결정 트리 분류기(Decision Tree Classifier)의 입력으로 사용한다. 이때, 각각의 분류기는 개별적으로 원하는 물건을 찾을 수 없기 때문에 약한 분류기라 칭하기로 한다. 상기 결정 트리 분류기는 레이디 신호 분류, 의학 진단, 전문가 시스템, 음성 인식 등 많은 분야에서 사용되고 있으며, 복잡한 결정 처리를 단순한 결정의 집합으로 만드는데 사용되는 분류기이다. 상기 결정 트리 분류기는 4단계를 거쳐 단순한 결정의 집합을 만들 수 있다.The
먼저, 상기 특징값을 이용하여 특징값의 부분집합 W를 랜덤으로 선택하고, 상기 W에서 결정트리(Decision Trees)를 생성한다. 그리고 특징값이 아닌 부분에서 생성된 규칙을 적용하여 예외적인 사례를 검색한다. 그리고 상기 예외적인 사례를 상기 특징값의 부분집합에 포함시키고, 상기 업데이트된 부분집합을 이용하여 결정트리를 생성한다. 상기와 같은 과정을 통해서 강력한 분류기가 생성된다.
First, a subset W of feature values is randomly selected using the feature values, and Decision Trees are generated from the W. The exceptions are retrieved by applying the rules generated from the non-feature values. The exception is included in the subset of feature values, and a decision tree is created using the updated subset. Through the above process, a powerful classifier is generated.
상기 <수학식 1>을 참조하여 살펴보면, 변수 f는 약한 분류기를 나타내고, 변수 n은 약한 분류기의 개수와 스테이지의 개수를 나타낸다. 변수 c는 스테이지에 따라 변화하는 계수(coefficient)를 나타낸다. 각각의 반복 단계에서 새로운 약한 분류기 fi는 학습되어 누적된다.Referring to
학습 집합에서 분류기 fi의 에러 값이 작아질수록 계수 ci는 점점 커지게 된다. 그 후, 모든 학습 샘플들의 가중치가 갱신되고, 다음 반복 단계에서는 이미 만들어진 F에 의해 잘못 분류된 샘플들의 역할이 강조되게 된다. 만약, fi가 미리 결정된 임계값보다 조금이라도 크면 F는 소정의 큰 값을 가지게 된다. 하지만, 실제로는 빠른 처리 시간을 위해서는 매우 많은 개수의 약한 분류기들만큼이나 매우 많은 큰 학습 집합들이 요구된다. 그러면, 여기서 도 3을 참조하여 직렬 분류기(Cascade Classifier)들에 의한 얼굴 검출 과정을 보다 구체적으로 설명하기로 한다.The smaller the error value of the classifier f i in the learning set, the larger the coefficient c i becomes. Then, the weights of all the learning samples are updated, and in the next iteration, the role of the samples misclassified by the already made F is emphasized. If f i is any greater than the predetermined threshold, F has a predetermined large value. In practice, however, fast processing times require as many large learning sets as there are very many weak classifiers. Next, the face detection process by the cascade classifiers will be described in more detail with reference to FIG. 3.
도 3을 참조하여 살펴보면, 직렬 분류기는 약한 분류기가 앞쪽에 있도록 직렬 형태로 배치되어 이루어져 있다. 현재의 검색 윈도우는 검출하고자 하는 물체를 판단하는 각각의 FK 분류기에 의해 세부 단계로 나누어진다. 이렇게 약한 분류기를 앞에 둠으로써 검출에 필요한 연산시간을 줄일 수 있다. 여기서, 각각의 단계들은 낮은 폴스-알람 레이트(false-alarm rate)보다는 높은 히트-레이트(hit-rate)를 지향한다.Referring to FIG. 3, the serial classifier is arranged in series so that the weak classifier is in front. The current search window is divided into detailed steps by each F K classifier that determines the object to be detected. With this weak classifier in front, the computation time required for detection can be reduced. Here, each of the steps aims at a high hit-rate rather than a low false-alarm rate.
즉, 얼굴이 아닌데 잘못 찾는 에러 율을 줄이기보다는 얼굴인데 못 찾는 에러가 없는 방향으로 학습한다. 이때, 각 단계에서 이루고자 하는 히트-레이트(hit-rate)와 폴스-알람 레이트(false-alarm rate)를 미리 설정하고 각 단계에서의 정확도를 선택하면 좋은 검출 성능을 이룰 수 있다. 본 발명에서는 이러한 방식으로 학습한 분류기를 이용하여, 입력 영상이 정면 얼굴인 경우에 99%의 정확도로 도 4에 도시된 바와 같이 얼굴 영역을 검출하였다.In other words, rather than reducing the error rate of finding errors that are not faces, they are taught to face without errors. In this case, it is possible to achieve good detection performance by setting the hit-rate and false-alarm rate to be achieved in each step in advance and selecting the accuracy in each step. In the present invention, using the classifier learned in this manner, when the input image is a front face, the face region is detected as shown in FIG. 4 with 99% accuracy.
눈 영역 검출부(102)는 얼굴의 비율을 이용하여 상기 얼굴 검출부(100)에서 검출된 얼굴 영역에서 도 5에 도시된 바와 같이 눈이 존재할 만한 영역, 예컨대 눈 후보 영역을 지정한다. 그리고 눈 영역 검출부(102)는 상기 눈 후보 영역에서 도 6에 도시된 바와 같이 눈 영역을 검출한다. 여기서, 도 6에 도시된 바와 같이 눈 영역을 검출하지 못한 경우에는 후술될 보정부(108)가 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 얼굴의 모션 벡터를 계산하고, 맵핑부(106)가 상기 계산된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.The
여기서, 상기 얼굴의 비율은 상기 얼굴 검출부(100)에서 검출된 얼굴 영역을 수직 방향으로 4등분하였을 때 위에서 두 번째 영역에 해당하는 비율을 의미한다. 이는 32명의 사진 192장의 얼굴 영상으로부터 눈 후보 영역을 지정하는 실험을 통해서, 얼굴 영상으로부터 검출된 얼굴 영역을 수직 방향으로 4등분하였을 때 두 번째 영역이 눈을 포함하고 있다고 판단되었다.Here, the ratio of the face refers to the ratio corresponding to the second area from above when the face area detected by the
상기와 같이 눈 후보 영역을 결정함으로써, 눈이 아닌 영역을 눈으로 잘못 검출하는 에러를 줄이는 효과를 볼 수 있다. 이때, 얼굴 영역이 정면이 아닌 경우에는 눈 영역이 가장 자리에 존재할 수 있으므로, 상기 검출된 얼굴 영역에서 수직 방향으로만 탐색 범위를 좁히고 수형 방향에 대해서는 탐색 범위를 좁히지 않았다.By determining the eye candidate region as described above, it is possible to reduce the error of falsely detecting the non-eye region with the eye. In this case, when the face area is not the front, the eye area may exist at the edge, so the search range is narrowed only in the vertical direction and the search range is not narrowed in the vertical direction.
동공 검출부(104)는 상기 눈 영역 안에서 적응적 임계치 추정 방법을 이용하여 동공을 검출한다. 상기 적응적 임계치 추정 방법은 초기 임계값 T를 임의로 결정하고, 상기 결정된 임계값을 기준으로 이진화를 수행한다. 상기 동공 검출부(104)는 상기 이진화 과정을 통해서 상기 눈 후보 영역의 밝기 값이 상기 임계값보다 크거나 같은 밝기 값으로 구성된 G1 그룹과 눈 후보 영역의 밝기 값이 상기 임계값보다 작은 밝기 값으로 구성된 G2 그룹으로 나눈다.The
그런 다음, 상기 동공 검출부(104)는 상기 G1 그룹과 G2 그룹에 포함된 밝기 값의 평균값을 계산하고, 상기 계산된 평균값을 이용하여 새로운 임계값을 하기 <수학식 2>와 같이 계산한다.
Then, the
상기 <수학식 2>를 참조하여 살펴보면, 상기 μ1은 G1 그룹의 평균값을 나타내고, μ2는 G2 그룹의 평균값을 나타낸다. 상기 동공 검출부(104)는 상기 임계값의 변화량이 미리 결정된 값보다 작을 때까지 상기 과정을 반복한다.Referring to
상기 동공 검출부(104)는 눈 동공 영역의 그레이 레벨이 주위 영역보다 낮다는 특징을 이용하여 눈 후보 영역을 이진화하여 동공을 검출한다. 그런 다음, 상기 동공 검출부(104)는 눈 영역에 포함된 노이즈, 예컨대 눈썹 등의 영향을 줄이기 위해서 상기 검출된 동공에 성분 명명화(component labeling) 방법을 적용한다.The
상기 성분 명명화 방법은 영상에서 분리되어진 각 영역에 고유한 부호를 부여하는 영상 처리 방법으로 이진 영상의 분할, 영역의 특징 추출 및 영상의 복원 등에 사용된다. 상기 성분 명명화 방법에는 주사선법(raster scan), 시드확산법(seed connectivity), 4진목법(quadtree) 및 윤곽추적법(contour following) 등이 있다.The component naming method is an image processing method for assigning a unique code to each area separated from an image, and is used for segmentation of a binary image, feature extraction of an area, and restoration of an image. The method of naming components includes raster scan, seed connectivity, quadtree, and contour following.
즉, 상기 동공 검출부(104)는 성분 명명화 방법을 이용하여 동공의 윤곽을 추적하여 최종적으로 추출된 동공의 블랙 화소의 무게 중심을 계산하여 정확하게 동공의 중심 좌표를 검출한다. 그러면, 여기서 도 7을 참조하여 맵핑부(106)가 동공의 중심 좌표를 IPTV 화면의 논리 좌표로 매핑하는 과정을 보다 구체적으로 설명하기로 한다.That is, the
도 7은 맵핑부(106)가 동공의 중심 좌표를 IPTV 화면의 논리 좌표로 매핑하는 과정을 도시한 도면이다.FIG. 7 is a diagram illustrating a process in which the
도 7을 참조하여 살펴보면, 상기 맵핑부(106)는 상기 동공 검출부(104)에서 검출된 동공의 중심 좌표, 예컨대 (Sx, Sy)를 IPTV 모니터의 중앙 좌표, 예컨대 에 대응시킨다. 여기서, 상기 x, y는 각각 동공의 x좌표와 y좌표를 나타낸다. 그리고 상기 맵핑부(106)는 하기 <수학식 3>과 <수학식 4>를 이용하여 스크린 상에 사상되는 커서의 위치를 계산한다.
Referring to FIG. 7, the
상기 <수학식 3>와 <수학식 4>를 참조하여 살펴보면, (Cx, Cy)는 연속적인 프레임에서 움직인 사용자 동공의 중심 좌표를 나타내고, (Mx, My)는 상기 검출부(104)에서 검출된 동공의 중심 좌표, 예컨대 (Sx, Sy)를 IPTV 모니터의 중앙 좌표에 사상했을 때 모니터 상에 사상되는 커서의 위치를 나타낸다. 와 는 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시켜서 상기 모니터 상에 사상되는 커서 조절의 감도를 조정하기 위한 상수이다. 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시킬 때 상기 변화량이 작으면 (Cx, Cy)의 작은 변화에도 화면상의 커서를 많이 움직일 수 있다. 이런 경우, 상기 커서 이동이 민감하여 화면의 여러 픽셀을 한꺼번에 건너뛰게 될 수 있으므로 커서의 정교한 조정을 할 수 없어진다.Referring to
한편, 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시킬 때 상기 변화량이 크면 정교한 조정이 가능하다. 하지만, 커서를 움직이기 위해 많은 얼굴 움직임이 필요하므로 IPTV의 응용 프로그램에 따라 목적에 맞게 α와 β 값을 적절하게 조절해야 한다. 본 발명에서는 시스템 사용 초기에 사용자로 하여금 선호도에 따라 α와 β를 설정할 수 있도록 하는 기능을 제공한다.On the other hand, when the change amount of (M x , M y ) is changed according to the change of (C x , C y ), a precise adjustment is possible. However, since many face movements are required to move the cursor, the α and β values must be appropriately adjusted according to the application of the IPTV. The present invention provides a function to allow the user to set α and β according to the preference at the beginning of the system use.
또한, 본 발명에서는 카메라의 디지털 줌 기능을 사용하여 사용자의 작은 움직임으로도 커서가 많이 움직일 수 있도록 하여 사용자가 얼굴을 많이 움직여야 하는 불편함을 최소화하였다. 또한, (Cx, Cy) 좌표가 영상의 이전 프레임과 대비하여 2픽셀 이하로 움직였을 때에는 이전 프레임에서 검출된 양 눈의 중심 위치로 (Cx, Cy)를 대체함으로써, 커서의 떨림 보정 기능을 추가하였다.In addition, the present invention minimizes the inconvenience that the user has to move a lot of the face by using the digital zoom function of the camera to enable the cursor to move a lot even with a small movement of the user. In addition, when the (C x , C y ) coordinates
상기 얼굴 검출부(100)에 입력된 사용자의 얼굴 영상이 정면 얼굴인 경우에는 상기 과정을 통해서 동공의 중심좌표를 추출할 수 있지만, 상기 얼굴 검출부(100)에 입력된 사용자의 얼굴 영상이 측면 얼굴인 경우에는 상기 과정을 통해서는 정확한 동공의 중심좌표를 추출할 수 없다.When the face image of the user input to the
상기와 같은 이유로, 상기 보정부(108)는 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 얼굴의 모션 벡터를 계산하고, 맵핑부(106)가 상기 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다. 상기 계층적 KLT 특징 추적 알고리즘은 영상 밝기의 항상성 제약조건(image brightness constancy constraint)을 만족하고, 영상의 움직임이 작을 때 연속하는 프레임 사이의 특징점의 변위를 계산하여 특징점의 대응관계를 계산하는 알고리즘이다.For this reason, the
이때, 움직임이 큰 변위를 얻기 위해서는 충분히 큰 특징점 윈도우 W가 요구된다. 하지만, 상기 특징점 윈도우의 크기가 커질 경우 윈도우의 평균을 계산하는 연산들로 인해 작은 변위에 대한 추적 성능이 저하되고, 연산량 또한 증가한다. 상기와 같은 이유로 윈도우 크기에 대한 적절한 선택이 요구된다.At this time, a sufficiently large feature point window W is required for the movement to obtain a large displacement. However, when the size of the feature point window increases, tracking performance for small displacements decreases due to operations for calculating the average of the window, and the amount of calculation also increases. For this reason, an appropriate choice of window size is required.
따라서 특징 윈도우의 크기와 정확성 사이의 절충을 위해서 KLT 특징 추적기는 계층적 추적을 수행함으로써 변위가 큰 특징점 윈도우에 대응하여 세밀한 움직임에 대한 추적도 가능하다. 영상촬영기기의 움직임으로 인해 특징점 윈도우는 연속하는 프레임 사이에서 일정 거리만큼 움직이고, 모양 또한 근소하게 변화하기 때문에 움직임 모델은 이미지 밝기와 관련하여 하기 <수학식 5>와 같이 나타낼 수 있다.
Therefore, in order to compromise between the size and the accuracy of the feature window, the KLT feature tracker performs hierarchical tracking to track fine movements corresponding to the feature window with large displacement. Due to the movement of the image photographing device, the feature point window moves by a certain distance between successive frames, and the shape changes slightly.
상기 <수학식 5>를 참조하여 살펴보면, 함수 I는 특정 프레임에서의 밝기를 나타내고, 함수 J는 다음 프레임에서의 밝기, 변수 d는 변위 벡터, 함수η는 형태의 변화로 인한 차이를 나타낸다. 특징점의 추적은 두 영상에서 대응되는 특징점 윈도우 W에서 하기 <수학식 6>과 같이 정의된 평균제곱오차(mean squared error), 예컨대 을 최소화하는 변위를 결정하는 것을 의미한다.
Referring to
상기 보정부(108)는 상기 <수학식 5>를 테일러급수(Taylor Series)를 이용하여 근사화할 수 있고, 상기와 같은 과정을 반복하여 을 최소화하는 변위를 계산할 수 있다. 상기 테일러급수는 미분 가능한 어떤 함수를 다항식의 형태로 근사화할 때 사용되는 방법이다.The
그 후, 상기 보정부(108)는 계층적 KLT 특징 추적 알고리즘을 이용하여 모션 벡터를 계산한다. 보다 구체적으로, 상기 보정부(108)는 해리스 코너 검출기(Harris Corner Detector)를 이용하여 이전 영상과 현재 영상에서 코너점을 추출한다. 상기 해리스 코너 검출기는 기본적으로 지역적으로 신호 변화를 측정할 수 있는 국소 자기상관(local auto-correlation) 함수에 바탕을 두어 특징점을 추출하는 검출기이다.Thereafter, the
그런 다음, 상기 보정부(108)는 이전 영상과 현재 영상 사이에서의 서로 상응하는 코너점을 추출한다. 그 결과, 상기 보정부(108)는 현재 영상과 이전 영상에서의 서로 상응하는 코너점의 변화, 즉 모션 벡터를 계산할 수 있다.Then, the
상기 모션 벡터는 클러스터링을 통하여 추출한 동적 물체 후보들 중에서 배경을 제외한 나머지 동적 물체를 추출하기 위해서 사용되는 벡터이다. 본 발명에서상기 모션 벡터는 눈 후보 영역들 중에서 배경을 제외하고 동공을 추출하기 위해서 사용되었다.The motion vector is a vector used to extract the remaining dynamic objects except the background from the dynamic object candidates extracted through clustering. In the present invention, the motion vector is used to extract the pupil from the eye candidate regions except for the background.
맵핑부(106)가 상기 계산된 모션 벡터를 이용하여 도 8과 같이 커서를 제어한다. 상기 도 8은 상기 보정부(108)가 계층적 KLT 특징 추적 알고리즘을 이용하여 계산한 모션 벡터를 통해 맵핑부(106)가 커서를 제어하는 과정을 도시한 도면이다. 그러면, 여기서 하기 <수학식 7>과 <수학식 8>를 참조하여 보정부(108)가 계층적 KLT 특징 추적 알고리즘을 이용하여 계산한 모션 벡터를 통해 맵핑부(106)가 커서를 제어하는 과정을 보다 구체적으로 설명하기로 한다.
The
상기 <수학식 7>과 <수학식8>을 참조하면 (Mx, My)는 모니터 상에 사상되는 좌표를 나타내고, (Mx prev, My prev)는 이전 커서의 좌표를 나타낸다. 또한, 는 상기 KLT 특징 추적 알고리즘을 통해 계산된 모션 벡터의 x, y축 성분들을 각각 나타낸다.Referring to
상기 아다부스트 알고리즘은 상기 입력된 사용자의 얼굴 영상이 정면 얼굴일 경우에 정확하게 얼굴 영역을 추출할 수 있다. 하지만, 사용자는 IPTV를 시청할 시, 얼굴의 회전이나 자세가 변경될 수 있으므로 상기 아다부스트 알고리즘의 사용만으로는 정확하게 얼굴 영역을 추출할 수 없다.The adaboost algorithm may accurately extract a face region when the input face image of the user is a front face. However, when the user watches the IPTV, the rotation or the posture of the face may be changed, and thus the face region may not be extracted accurately by using the Adaboost algorithm alone.
이와 같은 문제점을 해결하기 위해서 상기 보정부(108)는 계층적 KLT 특징 추적 알고리즘을 이용하여 얼굴의 모션 벡터를 계산하고, 맵핑부(106)가 상기 계산된 모션 벡터를 이용하여 도 8과 같이 커서를 제어함으로써 상기의 문제점을 해결하였다. 그러면, 여기서 본 발명의 시선 추적 장치를 IPTV 시스템에 응용한 경우 시선 추적의 실험 결과 및 분석에 대해서 보다 구체적으로 설명하기로 한다.In order to solve this problem, the
본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 응용하였을 때 하기와 같은 환경에서 진행되었다. IPTV용 컴퓨터 하드웨어는 Intel(R) Core 2(TM) Duo CPU 2.4GHz, 3GB RAM를 포함한다. 또한, 상기 IPTV에 카메라가 연결되어 있고, 상기 카메라의 모델은 Logitech PN 960-00057이다. IPTV용 모니터는 19인치 크기이고, 모니터 해상도는 1260 x 1024 픽셀이다. 사용자는 모니터와 80cm 이격된 거리에 위치하고 있으며, 상기 IPTV에 연결된 카메라는 사용자의 얼굴 영상을 촬영하고, 상기 촬영된 사용자의 얼굴 영상은 상기 얼굴 검출부(100)로 전송된다.When the gaze tracking device according to the exemplary embodiment of the present invention is applied to an IPTV system, it is performed in the following environment. The computer hardware for IPTV includes an Intel (R) Core 2 (TM) Duo CPU 2.4GHz and 3GB RAM. In addition, a camera is connected to the IPTV, and the model of the camera is Logitech PN 960-00057. The monitor for IPTV is 19 inches in size and the monitor resolution is 1260 x 1024 pixels. The user is located at a distance of 80 cm from the monitor, and the camera connected to the IPTV captures a face image of the user, and the captured face image of the user is transmitted to the
본 발명의 실시 예에 따른 시선 추적을 위한 프로그램은 Microsoft Visual Studio C++ 개발환경에서 DirectX 9.0c SDK(Software Development Kit)의 DirectShow를 사용하여 구현된다. 또한, 실험은 IPTV 화면에 보여지는 메뉴들의 크기를 고려하여 상기 와 값을 (Cx, Cy)와 (Mx, My)의 움직임 비가 1:4가 되도록 설정하고 진행된다.A program for eye tracking according to an embodiment of the present invention is implemented using DirectShow of DirectX 9.0c Software Development Kit (SDK) in a Microsoft Visual Studio C ++ development environment. In addition, the experiment considering the size of the menu shown on the IPTV screen Wow The value is set so that the movement ratio of (C x , C y ) and (M x , M y ) is 1: 4.
그러면, 여기서 도 9를 참조하여 본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 응용한 경우의 시선 추적의 객관적 성능 평가를 보다 구체적으로 설명하기로 한다.Next, an objective performance evaluation of the gaze tracking when the gaze tracking device according to the exemplary embodiment of the present invention is applied to the IPTV system will be described in detail with reference to FIG. 9.
도 9는 본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에 적용한 경우와 일반 마우스를 이용하여 랜덤으로 위치한 아이콘에 도달하는데 걸리는 시간을 비교한 그래프이다.FIG. 9 is a graph comparing the time taken to reach an icon randomly positioned using a general mouse and the case where the gaze tracking method according to an exemplary embodiment of the present invention is applied to an IPTV system.
도 9를 참조하여 살펴보면, 본 발명의 실시 예에 따른 시선 추적 방법을 이용하여 IPTV 모니터에 랜덤으로 위치한 10개의 아이콘 그림에 순서대로 커서를 위치시키는데 걸리는 시간과 일반 마우스를 이용하여 상기 10개의 아이콘 그림에 순서대로 커서를 위치시키는데 걸리는 시간을 비교한 그래프이다. 상기 시간의 평균치는 총 25명을 대상으로 상기와 같은 실험을 진행하였다.Referring to Figure 9, by using the gaze tracking method according to an embodiment of the present invention using the mouse and the time it takes to position the cursor in order to the ten icon pictures randomly located on the IPTV monitor using the picture of the 10 icons This is a graph comparing the time taken to position the cursor in order. The average value of the time was carried out as described above for a total of 25 people.
본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에서 이용한 경우에는 초기에는 시간이 많이 걸리지만, 반복 사용에 따라 아이콘에 도달하는 시간이 감소하여 기계적인 마우스를 사용했을 경우와 거의 비슷해진다. 기계적인 마우스는 횟수의 변화에 따라 소요시간에 큰 변화가 없다. 이는 사용자 대부분이 기계적인 마우스에 익숙해져 있고, 제안하는 알고리즘에는 익숙하지 않기 때문이다.When the gaze tracking method according to the embodiment of the present invention is used in the IPTV system, it takes a long time initially, but the time to reach the icon decreases with repeated use, which is almost the same as when using a mechanical mouse. Mechanical mice do not change much with time depending on the number of times. This is because most of the users are familiar with the mechanical mouse and not with the proposed algorithm.
본 발명에 의한 방법을 통해 얼굴을 포함하는 영상 한 프레임을 처리하여 IPTV 화면상의 시선 위치를 계산하는데 평균 64ms의 처리시간이 소요된다. 이를 통해 본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에 응용한 경우에는 초당 15프레임의 영상을 취득하는 USB 카메라를 사용할 때 실시간으로 동작할 수 있음을 알 수 있다. 그러면, 여기서 도 10을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 주관적 성능 평가를 보다 구체적으로 설명하기로 한다.The method according to the present invention takes an average of 64 ms to process an eye gaze position on an IPTV screen by processing one frame including an image. Through this, when the gaze tracking method according to the exemplary embodiment of the present invention is applied to an IPTV system, it can be seen that when the USB camera which acquires 15 frames per second can be used in real time. Then, the subjective performance evaluation of the eye tracking apparatus according to the embodiment of the present invention will be described in more detail with reference to FIG. 10.
주관적인 성능 평가에서는 총 25명의 실험 대상자에게 IPTV 환경에서 기존의 기계적인 마우스를 사용하는 경우와 제안하는 방법 중 어느 것에 더 편의성 및 관심도를 느끼는 지에 대해 측정하였다. 편의성과 관심도에 관한 실험결과는 도 10에 도시된 바와 같다. 도 10을 참조하여 살펴보면, 본 발명에서 제안하는 방법이 기계적인 마우스를 사용하는 것보다 관심도가 높다는 의견이 많은 것을 알 수 있다. 반면에, 편의성에 관한 조사에서는 기존의 마우스를 이용한 입력 방식이 제안하는 방법보다 편하다는 의견이 약간 많았다.In the subjective performance evaluation, a total of 25 subjects were measured for the convenience and interest of using the conventional mechanical mouse in the IPTV environment and the proposed method. Experimental results regarding convenience and interest are shown in FIG. 10. Referring to FIG. 10, it can be seen that there are many opinions that the method proposed in the present invention is of higher interest than using a mechanical mouse. On the other hand, in the survey on convenience, there were some opinions that the input method using a mouse is more convenient than the proposed method.
도 11 내지 도 13은 본 발명에서 제안하는 방법을 이용하여 IPTV 환경에서 다양한 서비스, 예컨대 인터넷 검색, 비디오-온-디맨드(Video-On-Demand) 등을 사용하는 예시도이다. 상기 도 11 내지 도 13을 통해 TV시청 시 실내조명 상황에 관계없이 본 방법에 의한 방법을 사용할 수 있음을 알 수 있다. 그러면, 여기서 도 14를 참조하여 본 발명의 실시 예에 따른 시선 추적 과정을 보다 구체적으로 설명하기로 한다.11 to 13 illustrate examples of using various services, such as Internet search, video-on-demand, and the like, in an IPTV environment by using the method proposed by the present invention. 11 to 13, it can be seen that the method according to the present method can be used regardless of the indoor lighting situation when watching TV. Next, the eye tracking process according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 14.
도 14를 참조하여 살펴보면, 얼굴 검출부(100)는 1401단계에서 영상촬영기기로부터 촬영된 사용자의 얼굴 영상을 수신한다. 상기 얼굴 검출부(100)는 1402단계에서 아다부스트 알고리즘을 이용하여 얼굴 영상으로부터 얼굴 영역을 검출한다. 그리고 얼굴 검출부(100)는 1403단계에서 얼굴 영상으로부터 얼굴 영역이 성공적으로 검출되었는지 판단한다.Referring to FIG. 14, the
상기 판단결과(1403), 얼굴 영역이 성공적으로 검출되었으면 1404단계로 진행하고, 상기 판단결과(1403), 얼굴 영역이 성공적으로 검출되지 않았다면 1408단계로 진행한다. 먼저, 상기 판단결과(1403), 얼굴 영역이 성공적으로 검출된 경우를 설명하기로 한다. 눈 영역 검출부(102)는 1404단계에서 얼굴의 비율을 이용하여 상기 얼굴 검출부(100)에서 검출된 얼굴 영역에서 눈이 존재할 만한 영역, 예컨대 눈 후보 영역을 지정한다. 그리고 눈 영역 검출부(102)는 1405단계에서 상기 1404단계에서 검출된 눈 후보 영역에서 아다부스트 알고리즘을 이용하여 눈 영역을 검출한다.The
만약, 상기 판단결과(1403), 얼굴 영역이 성공적으로 검출되지 않은 경우에는 상기 보정부(108)가 1408단계에서 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 얼굴의 모션 벡터를 계산한다. 그리고 맵핑부(106)가 1409단계에서 상기 계산된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다. If the
상기 계층적 KLT 특징 추적 알고리즘은 영상 밝기의 항상성 제약조건(image brightness constancy constraint)을 만족하고, 영상의 움직임이 작을 때 연속하는 프레임 사이의 특징점의 변위를 계산하여 특징점의 대응관계를 계산하는 알고리즘이다.The hierarchical KLT feature tracking algorithm is an algorithm that satisfies image brightness constancy constraints and calculates the correspondence of feature points by calculating the displacement of feature points between successive frames when the motion of the image is small. .
이때, 움직임이 큰 변위를 얻기 위해서는 충분히 큰 특징점 윈도우 W가 요구된다. 하지만, 상기 특징점 윈도우의 크기가 커질 경우 윈도우의 평균을 계산하는 연산들로 인해 작은 변위에 대한 추적 성능이 저하되고, 연산량 또한 증가한다. 상기와 같은 이유로 윈도우 크기에 대한 적절한 선택이 요구된다.At this time, a sufficiently large feature point window W is required for the movement to obtain a large displacement. However, when the size of the feature point window increases, tracking performance for small displacements decreases due to operations for calculating the average of the window, and the amount of calculation also increases. For this reason, an appropriate choice of window size is required.
따라서 특징 윈도우의 크기와 정확성 사이의 절충을 위해서 KLT 특징 추적기는 계층적 추적을 수행함으로써 변위가 큰 특징점 윈도우에 대응하여 세밀한 움직임에 대한 추적도 가능하다.Therefore, in order to compromise between the size and the accuracy of the feature window, the KLT feature tracker performs hierarchical tracking to track fine movements corresponding to the feature window with large displacement.
다음으로, 상기 눈 영역 검출부(102)는 1406단계에서 상기 눈 후보 영역에서 눈 영역이 성공적으로 검출되었는지 판단한다. 상기 판단결과(1406), 눈 영역이 성공적으로 검출되었으면 1407단계로 진행하고, 상기 판단결과(1406), 눈 영역이 성공적으로 검출되지 않았다면 1408단계로 진행한다. 먼저, 상기 판단결과(1406), 눈 영역이 성공적으로 검출된 경우를 설명하기로 한다.Next, the
상기 맵핑부(108)는 1407단계에서 검출된 동공의 중심 좌표를 IPTV 모니터의 중앙 좌표에 대응시키고, 상기 <수학식 3>과 <수학식 4>를 이용하여 스크린 상에 사상되는 커서의 위치를 계산한다. 여기서, 상기 <수학식 3>과 <수학식 4>에 관한 설명은 앞서 설명하였으므로 생략하기로 한다.The
만약, 상기 판단결과(1406), 눈 영역이 성공적으로 검출되지 않은 경우에는 상기 보정부(108)가 1408단계에서 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 얼굴의 모션 벡터를 계산한다. 그리고 맵핑부(106)가 1409단계에서 상기 계산된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.If the
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
The present invention has been described above with reference to preferred embodiments thereof. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. The disclosed embodiments should, therefore, be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
100 : 얼굴 검출부 102 : 눈 영역 검출부
104 : 동공 검출부 106 : 맵핑부
108 : 보정부100: face detection unit 102: eye area detection unit
104: pupil detection unit 106: mapping unit
108: correction unit
Claims (20)
얼굴 영상을 수신하여 얼굴 영역을 검출하기 위한 얼굴 검출부;
상기 검출된 얼굴 영역에서 눈 후보 영역을 지정하고, 상기 지정된 눈 후보 영역에서 눈 영역을 검출하기 위한 눈 영역 검출부;
상기 검출된 눈 영역에서 동공을 검출하고, 상기 검출된 동공의 중심 좌표를 검출하기 위한 동공 검출부;
얼굴의 모션 벡터를 계산하기 위한 보정부; 및
상기 검출된 동공의 중심 좌표 또는 상기 계산된 모션 벡터를 이용하여 화면상에 사상되는 커서의 위치를 제어하기 위한 맵핑부
를 포함하는 시선 추적 장치.
In the eye tracking apparatus,
A face detector for detecting a face region by receiving a face image;
An eye region detector for designating an eye candidate region in the detected face region and detecting an eye region in the designated eye candidate region;
A pupil detector for detecting a pupil in the detected eye area and detecting a center coordinate of the detected pupil;
A correction unit for calculating a motion vector of the face; And
A mapping unit for controlling the position of the cursor mapped on the screen using the detected center coordinates or the calculated motion vector.
Eye tracking device comprising a.
아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상의 특징점을 분석하여 얼굴 영역을 검출하는, 시선 추적 장치.
The method of claim 2, wherein the face detection unit,
A gaze tracking device for detecting a face region by analyzing a feature point of the received face image using an Adboost algorithm.
상기 얼굴 검출부가 상기 수신된 얼굴 영상에서 얼굴 영역을 검출하지 못한 경우에,
상기 보정부가 계층적 KLT(Kanade Lucas Tomasi) 특징 추적기를 이용하여 얼굴의 모션 벡터를 계산하고, 상기 맵핑부가 상기 계산된 모션 벡터를 이용하여 상기 화면상에 사상되는 커서의 위치를 제어하는, 시선 추적 장치.
3. The method of claim 2,
When the face detection unit does not detect a face area in the received face image,
The gaze tracking, wherein the correction unit calculates a motion vector of a face using a hierarchical Kanade Lucas Tomasi (KLT) feature tracker, and the mapping unit controls the position of a cursor mapped on the screen using the calculated motion vector. Device.
상기 검출된 얼굴 영역을 수직 방향으로 네 개의 영역으로 분할하고, 상기 분할된 영역들 중 위에서 두 번째 영역을 눈 후보 영역으로 지정하는, 시선 추적 장치.
The method of claim 2, wherein the eye area detection unit,
And dividing the detected face region into four regions in a vertical direction, and designating a second region from above among the divided regions as an eye candidate region.
상기 눈 영역 검출부가 상기 지정된 눈 후보 영역에서 눈 영역을 검출하지 못한 경우에,
상기 보정부가 계층적 KLT(Kanade Lucas Tomasi) 특징 추적기를 이용하여 얼굴의 모션 벡터를 계산하고, 상기 맵핑부가 상기 계산된 모션 벡터를 이용하여 상기 화면상에 사상되는 커서의 위치를 제어하는, 시선 추적 장치.
3. The method of claim 2,
When the eye region detector fails to detect an eye region in the designated eye candidate region,
The gaze tracking, wherein the correction unit calculates a motion vector of a face using a hierarchical Kanade Lucas Tomasi (KLT) feature tracker, and the mapping unit controls the position of a cursor mapped on the screen using the calculated motion vector. Device.
상기 검출된 눈 영역을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는, 시선 추적 장치.
The method of claim 2, wherein the pupil detection unit,
And detecting a pupil by binarizing the detected eye region, and detecting a center coordinate of the pupil by tracking a component of the detected pupil.
적응적 임계치 추정 방법을 이용하여 동공을 검출하는, 시선 추적 장치.
The method of claim 7, wherein the pupil detection unit,
A gaze tracking device for detecting a pupil using an adaptive threshold estimation method.
상기 검출된 동공의 윤곽을 추적하여 추출된 동공의 블랙 화소의 무게 중심을 계산하여 동공의 중심 좌표를 검출하는, 시선 추적 장치.
The method of claim 7, wherein the pupil detection unit,
And tracking the contour of the detected pupil to calculate the center of gravity of the extracted black pixel of the pupil, thereby detecting the center coordinate of the pupil.
이전에 검출된 얼굴 영상과 상기 검출된 얼굴 영상에서 서로 상응하는 코너점을 추출하고, 상기 추출된 코너점의 변화(즉, 모션 벡터)를 계산하는, 시선 추적 장치.
The method of claim 2, wherein the correction unit,
And extracting corner points corresponding to each other from a previously detected face image and the detected face image, and calculating a change (ie, a motion vector) of the extracted corner points.
얼굴 영상을 수신하여 얼굴 영역을 검출하는 단계;
상기 검출된 얼굴 영역에서 눈 후보 영역을 지정하고, 상기 지정된 눈 후보 영역에서 눈 영역을 검출하는 단계;
상기 검출된 눈 영역에서 동공을 검출하고, 상기 검출된 동공의 중심 좌표를 검출하는 단계;
얼굴 영역이나 눈 영역이 검출되지 않은 경우, 얼굴의 모션 벡터를 계산하는 단계; 및
상기 검출된 동공의 중심 좌표 또는 상기 계산된 모션 벡터를 이용하여 화면상에 사상되는 커서의 위치를 제어하는 단계
를 포함하는 시선 추적 방법.
In the eye tracking method,
Detecting a face area by receiving a face image;
Designating an eye candidate region in the detected face region and detecting an eye region in the designated eye candidate region;
Detecting a pupil in the detected eye region and detecting a center coordinate of the detected pupil;
Calculating a motion vector of the face when no face region or eye region is detected; And
Controlling the position of the cursor mapped on the screen using the detected center coordinates or the calculated motion vector.
Eye tracking method comprising a.
아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상의 특징점을 분석하여 얼굴 영역을 검출하는, 시선 추적 방법.
The method of claim 12, wherein detecting the face area comprises:
And detecting a face region by analyzing feature points of the received face image by using an AdBoost algorithm.
상기 얼굴 영역을 검출하는 단계에서 얼굴 영역을 검출하지 못한 경우에,
상기 모션 벡터를 계산하는 단계에서 계층적 KLT(Kanade Lucas Tomasi) 특징 추적기를 이용하여 얼굴의 모션 벡터를 계산하고, 상기 커서의 위치를 제어하는 단계에서 상기 계산된 모션 벡터를 이용하여 상기 화면상에 사상되는 커서의 위치를 제어하는, 시선 추적 방법.
13. The method of claim 12,
If the face area is not detected in the detecting of the face area,
Computing the motion vector of the face using a hierarchical Kanade Lucas Tomasi (KLT) feature tracker in calculating the motion vector, and controlling the position of the cursor on the screen using the calculated motion vector. A line of sight tracking method that controls the position of the mapped cursor.
상기 검출된 얼굴 영역을 수직 방향으로 네 개의 영역으로 분할하고, 상기 분할된 영역들 중 위에서 두 번째 영역을 눈 후보 영역으로 지정하는, 시선 추적 방법.
The method of claim 12, wherein the specifying of the eye candidate region comprises:
And dividing the detected face region into four regions in a vertical direction, and designating a second region from above among the divided regions as an eye candidate region.
상기 눈 영역을 검출하는 단계에서 눈 영역을 검출하지 못한 경우에,
상기 모션 벡터를 계산하는 단계에서 계층적 KLT(Kanade Lucas Tomasi) 특징 추적기를 이용하여 얼굴의 모션 벡터를 계산하고, 상기 커서의 위치를 제어하는 단계에서 상기 계산된 모션 벡터를 이용하여 상기 화면상에 사상되는 커서의 위치를 제어하는, 시선 추적 방법.
13. The method of claim 12,
If the eye region is not detected in the detecting of the eye region,
Computing the motion vector of the face using a hierarchical Kanade Lucas Tomasi (KLT) feature tracker in calculating the motion vector, and controlling the position of the cursor on the screen using the calculated motion vector. A line of sight tracking method that controls the position of the mapped cursor.
상기 검출된 눈 영역을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는, 시선 추적 방법.
The method of claim 12, wherein detecting the center coordinates of the pupil,
And detecting a pupil by binarizing the detected eye region, and detecting a center coordinate of the pupil by tracking the detected component of the pupil.
적응적 임계치 추정 방법을 이용하여 동공을 검출하는, 시선 추적 방법.
The method of claim 17, wherein the detecting of the pupil comprises:
A gaze tracking method for detecting a pupil using an adaptive threshold estimation method.
상기 검출된 동공의 윤곽을 추적하여 추출된 동공의 블랙 화소의 무게 중심을 계산하여 동공의 중심 좌표를 검출하는, 시선 추적 방법.
The method of claim 17, wherein detecting the center coordinates of the pupil,
Tracking the contour of the detected pupil to calculate the center of gravity of the extracted black pixel of the pupil, thereby detecting the center coordinates of the pupil.
이전에 검출된 얼굴 영상과 상기 검출된 얼굴 영상에서 서로 상응하는 코너점을 추출하고, 상기 추출된 코너점의 변화(즉, 모션 벡터)를 계산하는, 시선 추적 방법.The method of claim 12, wherein calculating the motion vector comprises:
And extracting corner points corresponding to each other from a previously detected face image and the detected face image, and calculating a change (ie, a motion vector) of the extracted corner points.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090132792 | 2009-12-29 | ||
KR1020090132792 | 2009-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110076723A KR20110076723A (en) | 2011-07-06 |
KR101286965B1 true KR101286965B1 (en) | 2013-07-23 |
Family
ID=44916591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100026453A KR101286965B1 (en) | 2009-12-29 | 2010-03-24 | Apparatus and method for tracking eye |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101286965B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160096271A (en) * | 2015-02-04 | 2016-08-16 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
US9454226B2 (en) | 2014-10-10 | 2016-09-27 | Hyundai Motor Company | Apparatus and method for tracking gaze of glasses wearer |
US9898080B2 (en) | 2015-09-07 | 2018-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for eye tracking |
US9906767B2 (en) | 2014-10-14 | 2018-02-27 | Electronics And Telecommunications Research Institute | Apparatus and method for digital holographic table top display |
KR101887626B1 (en) * | 2018-02-12 | 2018-08-10 | (주)포세듀 | System for analyzing concentration based on facial data and a method thereof |
US11216974B2 (en) | 2017-12-14 | 2022-01-04 | Samsung Electronics Co., Ltd. | Staring distance determination method and device |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102175853B1 (en) * | 2013-02-22 | 2020-11-06 | 삼성전자주식회사 | Method for controlling operation and an electronic device thereof |
KR101453713B1 (en) * | 2014-02-03 | 2014-10-22 | 연세대학교 산학협력단 | Object recognition method and apparatus |
KR102212209B1 (en) | 2014-04-10 | 2021-02-05 | 삼성전자주식회사 | Method, apparatus and computer readable recording medium for eye gaze tracking |
KR101601541B1 (en) * | 2014-11-19 | 2016-03-08 | 현대자동차주식회사 | Gaze Tracker and Method for Detecting Pupil thereof |
KR20160149603A (en) * | 2015-06-18 | 2016-12-28 | 삼성전자주식회사 | Electronic device and notification processing method of electronic device |
KR101706992B1 (en) * | 2016-01-27 | 2017-02-15 | 숭실대학교산학협력단 | Apparatus and method for tracking gaze, recording medium for performing the method |
KR101794727B1 (en) * | 2016-12-21 | 2017-11-08 | 주식회사 쓰리이 | Method for verificaing iris |
US11630639B2 (en) | 2020-12-08 | 2023-04-18 | Samsung Electronics Co., Ltd. | Control method of electronic device using a plurality of sensors and electronic device thereof |
-
2010
- 2010-03-24 KR KR1020100026453A patent/KR101286965B1/en not_active IP Right Cessation
Non-Patent Citations (3)
Title |
---|
고유진, 박강령, "모바일 기기에서의 얼굴 특징점 및 선형 보간법 기반 시선 추적", 멀티미디어학회 논문지, vol.12, no.8, pp.1089-1098, 2009년 8월. * |
박선영, 이재원, 강병두, 김종호, 김상균, "영역 분할을 이용한 얼굴 영역 검출", 한국정보과학회 2004년도 봄 학술발표논문집, vol.31, no.1(B), pp.712-714, 2004년 4월. * |
박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구", 전자공학회지, vol.45, no.4, pp.1-11, 2008년 7월. * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9454226B2 (en) | 2014-10-10 | 2016-09-27 | Hyundai Motor Company | Apparatus and method for tracking gaze of glasses wearer |
US9906767B2 (en) | 2014-10-14 | 2018-02-27 | Electronics And Telecommunications Research Institute | Apparatus and method for digital holographic table top display |
KR20160096271A (en) * | 2015-02-04 | 2016-08-16 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
KR102241334B1 (en) | 2015-02-04 | 2021-04-19 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
US9898080B2 (en) | 2015-09-07 | 2018-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for eye tracking |
US11216974B2 (en) | 2017-12-14 | 2022-01-04 | Samsung Electronics Co., Ltd. | Staring distance determination method and device |
KR101887626B1 (en) * | 2018-02-12 | 2018-08-10 | (주)포세듀 | System for analyzing concentration based on facial data and a method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20110076723A (en) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101286965B1 (en) | Apparatus and method for tracking eye | |
Smith et al. | Gaze locking: passive eye contact detection for human-object interaction | |
Li et al. | Learning to predict gaze in egocentric video | |
US7574021B2 (en) | Iris recognition for a secure facility | |
Bobick et al. | The recognition of human movement using temporal templates | |
US20160086023A1 (en) | Apparatus and method for controlling presentation of information toward human object | |
JP5728009B2 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
US8081822B1 (en) | System and method for sensing a feature of an object in an interactive video display | |
CN108985210A (en) | A kind of Eye-controlling focus method and system based on human eye geometrical characteristic | |
US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
JP2007504562A (en) | Method and apparatus for performing iris authentication from a single image | |
WO2015139750A1 (en) | System and method for motion capture | |
MX2012010602A (en) | Face recognizing apparatus, and face recognizing method. | |
CN115482574B (en) | Screen gaze point estimation method, device, medium and equipment based on deep learning | |
Cho et al. | Gaze Detection by Wearable Eye‐Tracking and NIR LED‐Based Head‐Tracking Device Based on SVR | |
CN112069986A (en) | Machine vision tracking method and device for eye movements of old people | |
Hong et al. | A new gait representation for human identification: mass vector | |
Khilari | Iris tracking and blink detection for human-computer interaction using a low resolution webcam | |
JP3980464B2 (en) | Method for extracting nose position, program for causing computer to execute method for extracting nose position, and nose position extracting apparatus | |
Varchmin et al. | Image based recognition of gaze direction using adaptive methods | |
Hansen et al. | Robustifying eye interaction | |
Bashir et al. | Video surveillance for biometrics: long-range multi-biometric system | |
Wallhoff et al. | Multimodal face detection, head orientation and eye gaze tracking | |
Xu et al. | Real time detection of eye corners and iris center from images acquired by usual camera | |
Kao et al. | A novel with low complexity gaze point estimation algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160628 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |