KR102212209B1

KR102212209B1 - 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체

Info

Publication number: KR102212209B1
Application number: KR1020140043205A
Authority: KR
Inventors: 제스키 아담 스트룹크; 야첵 나루니에크; 카밀 무하; 블라제이 크줍린스키
Original assignee: 삼성전자주식회사
Priority date: 2014-04-10
Filing date: 2014-04-10
Publication date: 2021-02-05
Also published as: US9798384B2; KR20150117553A; US9182819B2; US20150293588A1; US20160026246A1

Abstract

얼굴의 자세(pose) 및 홍채의 중심의 위치에 기초하여 사용자의 응시점이 디바이스의 디스플레이 상에서 어디에 위치하는 지를 결정하는 시선 추적 방법이 개시된다.

Description

시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체{METHOD, APPARATUS AND COMPUTER READABLE RECORDING MEDIUM FOR EYE GAZE TRACKING}

본 발명은 시선 추적 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장 매체 및 시선 추적 장치에 관한 것으로, 얼굴의 자세(pose)및 홍채의 중심의 위치에 기초하여 사용자의 응시점이 디바이스의 디스플레이 상에서 어디에 위치하는 지를 결정하는 방법에 관한 발명이다.

시선 추적(eye tracking)기술은 사람이 보고 있는 사물을 추적하는 기술로써, 사용자의 눈동자가 어느 곳을 향하고 있느냐를 밝혀내는 것이다. 시선 추적 기술은 최근 휴먼 인터페이스(human interface)기술들의 발전과 더불어 직관적이고 편리한 사용 방식 때문에 활용 영역이 점점 넓어지고 있다.

근래 들어 다양하게 사용되고 있는 시선 추적 기술은 영상 처리(image processing)을 통한 비디오 기반의 시선 추적 방법이다. 이와 같은 시선 추적 기술은 기본적으로 눈의 영상을 카메라를 통해 획득하여 영상 분석을 통해 안구가 향하는 방향을 분석하는 방법을 사용한다. 이때 정확한 시선 추적 기술을 위해 입체상에 기초한 깊이 카메라(stereo vision-based depth camera)및 적외선 카메라(IR camera)와 조명 장치를 이용한 방식이 사용될 수 있다.

하지만 적외선 카메라를 이용하는 방식은 상업적으로 수긍할 수 있을 만한 품질을 얻기 위하여, 값 비싼 추가적인 장비가 필요하기 때문에 경제적이지 못한 단점이 있다.

또한, 값 비싼 장비를 사용하지 않는 시선 추적 방법을 제시하고 있는 회사들(예를 들어 EyeTrackShop, GazeHawk)이 있으나 이러한 회사들이 제안하고 있는 방법은 광범위한 캘리브레이션 (calibration) 및 사용상 제한적인 구속이 있다는 문제점 있고, 충분한 정확도를 얻을 수 없는 문제점이 있었다.

얼굴의 자세(pose)및 홍채의 중심의 위치에 기초하여 사용자의 응시점이 디바이스의 디스플레이 상에서 어디에 위치하는 지를 결정하는 시선 추적 방법, 시선 추적 방법을 기록한 컴퓨터 판독 가능 저장 매체 및 시선 추적 장치를 이하에서 설명하고자 한다.

이하에서는 본 발명의 이해를 돕기 위한 기본적인 양태를 간단한 요약 형태로 제공한다. 이 요약은 모든 고려되는 양태들의 광범위한 개관이 아니며, 모든 양태들의 중요하거나 중대한 엘리먼트들을 식별하려는 것도, 임의의 또는 모든 양태들의 범위를 정확하게 서술하려는 것도 아니다. 이의 유일한 목적은 이후 제시되는 보다 상세한 설명에 대한 서두로서, 양태들의 일부 개념들을 간략한 형태로 제시하는 것이다.

상술한 바와 같은 과제를 해결하기 위하여 촬영된 초기 화상에서 얼굴의 특징을 검출하는 단계; 상기 검출된 얼굴의 특징을 3 차원으로 모델링하는 단계; 연속적으로 촬영된 화상들에서 상기 3 차원으로 모델링된 얼굴의 특징을 추적하는 단계; 상기 연속적으로 촬영된 화상들에서 홍채의 중심을 검출하는 단계; 상기 추적된 3 차원으로 모델링된 얼굴의 특징 및 상기 검출된 홍채의 중심에 기초해서 시선 벡터를 획득하는 단계; 및 상기 시선 벡터에 기초하여 디스플레이부 상의 응시점을 획득하는 단계를 포함하는, 시선 추적 방법을 이용할 수 있다.

또한, 발명의 또 다른 측면에 따르면, 촬영된 초기 화상에서 얼굴의 특징을 검출하는 얼굴 특징 검출부; 상기 검출된 얼굴의 특징을 3 차원으로 모델링하고, 상기 3 차원으로 모델링된 얼굴의 특징에 기초하여, 연속적으로 촬영된 화상들에서 상기 3 차원으로 모델링된 얼굴의 특징을 추적하는 얼굴 특징 추적부; 상기 연속적으로 촬영된 화상에서 홍채의 중심을 검출하는 홍채 중심 검출부; 및 상기 추적된 3차원으로 모델링된 얼굴의 특징 및 상기 검출된 홍채의 중심을 기초해서 시선 벡터를 획득하고, 상기 시선 벡터에 기초하여 디스플레이부 상의 응시점을 획득하는 시선 추적부를 포함하는, 시선 추적 장치를 이용할 수 있다.

또한 발명의 또 다른 측면에 따르면, 상기와 같은 시선 추적 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.

전술한 양태는 이후 충분히 설명될 것이고 특히 청구범위에 지적된 특성들을 포함할 것이다. 다음의 설명 및 첨부된 도면은 하나 이상의 양태들의 예시적인 양태들을 좀더 자세하게 개시한 것이다. 그러나, 이들 양태들은 여러 양태들의 원리가 이용될 수 있는 여러 방법들 중 일부만을 나타낸 것으로, 설명한 양태들은 모든 그러한 양태들 및 그들의 균등물을 포함시키는 것으로 이해해야 할 것이다.

도 1 은 본 발명의 일 실시 예를 도시한 것이다.
도 2 는 본 발명의 일 실시 예에 따라 디스플레이 상에서 사용자의 응시점을 획득하는 방법을 나타내는 흐름도 이다.
도 3 은 본 발명의 일 실시 예에 따른 보다 구체적인 시선 검출 방법을 나타낸 흐름도 이다.
도 4 는 본 발명의 일 실시 예에 따른 보다 구체적인 시선 검출 방법을 나타낸 도 3 에 이어지는 흐름도이다.
도 5 는 본 발명의 일 실시 예에 따른 안구의 중심 및 홍채의 중심에 기초한 시선 벡터에 의하여, 응시점을 획득하는 일 실시 예를 도시한다.
도 6 은 본 발명의 일 실시 예에 따른 시선 추적 장치(600)의 구성에 대한 일 실시 예를 도시한다.
도 7 은 본 발명의 일 실시 예에 따른 시선 추적 장치(600)의 동작에 대하여 설명한다.
도 8 은 본 발명의 일 실시 예에서 얼굴의 움직임이 있더라도 안구의 중심과 얼굴 사이의 상대적인 위치는 변하지 않음을 나타내는 일 실시 예이다.
도 9 는 본 발명의 일 실시 예에서 수직의 방향을 가진 홍채의 가장자리의 일 실시 예이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

시선 추적은 랩탑에서 스마트폰에 이르기까지 다양한 장치에 사용될 수 있어 그 유용성이 있다. 예를 들어, 소정의 제스처와 함께 마우스 커서를 눈으로 제어할 수도 있고, 프리젠테이션, 멀티미디어의 제어를 눈만으로 할 수도 있으며, 예를 들어, 문서를 읽을 때 자동 페이지 스크롤과 같이 사용자의 눈의 움직임에 따라 자동적인 기능을 제공할 수도 있고, 사용자의 시선이 UI 중 어디로 향하는지 및 어떤 광고를 보는지를 파악하여 사용자를 프로파일링 할 수도 있고, 손을 사용할 수 없는 사용자를 도울 수도 있다. 이하에서는 저렴하면서도 정확한 시선 추적 방법 및 장치에 대하여 설명하고자 한다.

도 1 은 본원 발명이 사용되는 일 실시 예를 예시한 것이다.

즉, 본 발명의 일 실시 예에 따른 시선 추적 장치는 디스플레이부(103)및 촬영부(105)를 포함한다. 예를 들어, 도 1 에서는 사용자(101)가 모니터(103)상에서 응시하고 있는 지점을 웹캠(105)을 이용하여 추적하는 구성을 도시하고 있다. 시선 추적 장치는 도 1 에 도시된 바와 같이 모니터(103) 및 웹캠(105)을 갖추는 일반적인 PC 에서 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 예를 들어, 전면 카메라가 구비된 스마트폰, 화장 전화 장치, 스마트 TV 등 이와 유사한 디스플레이부 및 촬영부를 갖춘 장치에서 구현될 수 있다. 또한 웹캠(105)은 모니터(103)를 응시하는 사용자(101)의 얼굴을 촬영할 수 있도록 사용자(101)의 정면에 배치될 수 있다.

도 2 는 본 발명의 일 실시 예에 따라 디스플레이 상에서 사용자의 응시점을 획득하는 방법을 나타내는 흐름도 이다.

210 단계에서 촬영부(105)를 이용하여 촬영된 화상을 입력 받은 시선 추적 장치는, 촬영된 화상에 기초하여 얼굴의 특징을 검출한다. 검출되는 얼굴의 특징은 특별히 제한되지 않으나 얼굴의 특징을 추적할 수 있는 정도이어야 한다. 예를 들어, 대표적인 얼굴의 특징은 눈 영역, 코 영역, 입 영역 등이 될 수 있다. 얼굴의 특징 검출에는 능동표현모델(Active Appearance Model, AAM)이 사용될 수도 있다. 사용자의 움직임이 있는 경우 얼굴의 특징을 검출하기 힘들 수 있으므로 시선 추적 장치는 소정의 메시지를 표시하여 사용자가 움직이지 않도록 할 수도 있다. 사용자가 움직이지 않도록 하는 소정의 메시지는 소리, 이미지, 텍스트 등의 형태로 제공될 수 있다. 예를 들어, 음성과 함께 디스플레이부에 소정의 점을 표시하여, 사용자가 디스플레이 상의 한 점을 보도록 하는 방법이 이용될 수도 있다.

220 단계에서, 시선 추적 장치는 검출한 얼굴의 특징을 3D로 모델링한다. 얼굴의 특징을 3D로 표현하기 위하여 예를 들어 능동표현모델(Active Appearance Model, AAM)이 사용될 수 있다. 3D로 모델링 된 얼굴은 3D 망(3D 그물망)으로 표현될 수도 있으며, 예를 들어 3D로 모델링 된 얼굴은 실린더 모양 또는 실제 얼굴 모양 등일 수도 있다. 또한 얼굴의 특징에 기초하여 안구의 중심을 계산할 수도 있으며 안구의 중심은 3D로 모델링 된 얼굴의 특징에 포함될 수 있다. 예를 들어 검출된 눈 영역에서 홍채의 위치를 검출하고, 눈의 안쪽으로 안구의 반지름만큼 들어간 곳을 눈의 중심으로 계산할 수 있다. 안구의 중심 계산에는 사용자의 실제 얼굴 크기 안구의 직경 등을 이용할 수도 있지만, 통계적인 수치를 이용할 수도 있다. 예를 들어, 평균적인 사람의 얼굴 크기 및 안구의 직경 등을 이용할 수도 있다. 그럼에도 복잡하고 오래 걸리는 캘리브레이션을 하지 않을 수 있는 데에 본원 발명의 장점이 있다.

안구의 중심은 왼쪽 눈 및 오른쪽 눈 모두에 대하여 계산될 수도 있다. 또한 시선 추적 장치는 계산된 안구의 중심을 얼굴의 특징 중 하나로서, 3D로 모델링 된 얼굴의 특징에 추가할 수도 있다.

230 단계에서는 3D로 모델링 된 얼굴의 특징을 추적한다. 촬영부(105)에 의하여 촬영된 사용자의 얼굴이 움직이는 경우, 사용자의 움직임을 파악하여 220 단계에서 3D로 모델링 된 얼굴의 특징의 변화를 실시간으로 추적하여 3D로 모델링 된 얼굴 특징에 사용자의 움직임에 따른 얼굴 특징의 변화를 반영할 수 있다. 또한 계산된 안구의 중심 역시 3D로 모델링 된 얼굴의 특징에 포함되어 함께 추적될 수 있다. 230 단계에서 3D로 모델링 된 얼굴의 특징을 추적하는 단계는 얼굴의 자세(pose)를 결정하는 단계를 포함할 수도 있으며, 얼굴의 자세는 얼굴의 상하 이동, 회전 및 편향(pitch, roll and yaw)일 수도 있으며, 최초로 촬영된 화상에서 최초의 얼굴의 상하 이동, 회전 및 편향에 기초하여 연속된 화상에서 얼굴의 상하 이동, 회전 및 편향을 추적할 수도 있다. 3D로 모델링 된 얼굴의 특징을 추적하는 단계는 반복된 6D 광흐름 스킴(iterative 6D optical flow scheme)를 이용할 수도 있다. 또한 3D로 모델링 된 얼굴은 수 백 개의 점들로 구성되어 있으므로 보다 높은 정확성을 보장해 줄 수 있다.

240 단계에서는 촬영부에 의하여 촬영된 사용자 얼굴에서 홍채의 중심을 검출한다. 일 실시 예에서는 홍채의 중심을 검출하는 처리과정을 줄이기 위하여 210 단계에서 검출된 눈의 영역만을 이용하여 홍채를 검출할 수 있다. 또한 일 실시 예에서는 촬영된 사용자 얼굴에서 검출된 홍채의 중심에 기초하여, 3D로 모델링 된 얼굴의 특징 중에서 홍채의 중심의 위치를 계산할 수도 있다. 또한 240 단계에서는 왼쪽 눈과 오른쪽 눈에 대하여 각각 홍채의 위치를 검출하는 단계를 포함할 수 있다. 사용자의 얼굴의 각도에 따라서 검출되는 왼쪽 눈의 홍채와 오른쪽 눈 홍채의 품질에는 차이가 있을 것이며, 이러한 품질에 따라 가중치를 결정할 수도 있다.

250 단계에서는 검출된 홍채의 중심 및 3 차원으로 모델링 된 얼굴의 특징에 기초하여 시선 벡터를 획득한다. 예를 들어 도 5 를 참조하면, 3 차원으로 모델링 된 얼굴의 특징에 포함된 안구의 중심(510)및 검출된 홍채의 중심(520)을 잇는 선이 시선 벡터(540)가 될 것이다. 시선 벡터는 왼쪽 눈과 오른 쪽 눈에 대하여 각각 획득될 수 있다.

260 단계에서는 시선 벡터를 이용하여 디스플레이부 상에서 사용자의 응시점(530)을 획득한다. 이 경우 240 단계에서 검출된 왼쪽 눈과 오른쪽 눈의 홍채의 품질에 따라 결정된 가중치를 시선 벡터(540)에 적용할 수도 있다. 예를 들어 왼쪽 눈에서 검출된 홍채의 품질이 우수하면 더 왼쪽 눈에서 획득된 시선 벡터(540)에 더 큰 가중치를 할당하여 디스플레이부 상의 응시점(530)을 획득할 수 있다. 가중치를 부여하여 응시점(530)을 획득하여 보다 신뢰도 높은 응시점(530)을 획득 할 수 있다. 각각의 응시점(530)을 찾기 위하여 시선 벡터(540)에 대하여 간단한 기하학적 연산이 사용되므로 실제적인 캘리브레이션(calibration)이 필요하지 않을 수도 있다.

도 3 은 본 발명의 일 실시 예에 따른 보다 구체적인 시선 검출 방법을 나타낸 흐름도 이다.

310 단계에서는 시선 검출 장치가 촬영부(105)로부터 화상을 수신하는 단계이다.

320 단계에서는 시선 검출 장치는 기존에 얼굴의 자세가 결정되어 있는지 여부를 판단한다.

얼굴의 자세가 기존에 결정되어 있지 않았거나, 결정되어 있더라고 현재 얼굴의 자세와 큰 차이가 있어서 새로 얼굴의 자세를 결정해야 할 경우, 330 단계에서 얼굴의 특징을 검출한다. 상술한 바와 같이 얼굴의 특징에는 눈 영역, 입 영역 등이 있을 수 있다. 얼굴의 특징 검출에는 능동표현모델이 사용될 수도 있다. 이 단계는 머리 자세 추적 및 눈 영역 추출을 위한 3D 그물망을 정확하게 구성하고 홍채 영역을 검출하기 위해서 필요하다.

340 단계에서는 눈 영역 내에서 홍채의 위치를 검출한다.

350 단계에서는 검출된 홍채의 위치에 기초하여 안구의 중심을 계산한다. 안구의 중심은 홍채로부터 사용자의 쪽 방향으로 인체의 내부에 있을 것이므로 실제 사용자의 머리의 자세, 얼굴 크기 및 안구의 직경 등을 이용하여 계산될 수 있으며, 실제 수치의 적용이 어려운 경우 인간의 평균 얼굴 크기 및 안구의 직경과 같은 통계치를 사용할 수도 있다. 안구의 중심은 오른쪽 왼쪽 눈 각각에 대하여 계산될 수 있다. 또한 안구의 중심을 계산하기에 용이하도록 단일-화상 캘리브레이션 스킴(sigle-frame calibration scheme)이 사용될 수 있다. 즉, 최소한 최초의 화상 촬영에 대하여 사용자는 디스플레이부의 소정의 지점을 보도록 요구될 수도 있다. 또한 일 실시 예에서 사용자는 디스플레이부 상의 여러 지점을 차례로 보는 것이 아닌 한 지점만을 보면 되기 때문에 보다 쉽게 캘리브레이션이 이루어 질 수 있는 장점이 있다.

360 단계에서는 검출된 얼굴에 맞게 3D 그물망을 맞추고 상기 3D 그물망에 계산된 안구의 중심을 포함하는 단계이다. 3D 그물망은 예를 들어 능동표현모델과 같은 얼굴 특징 검출자들을 이용하여 결정될 수 있다. 3D 그물망의 모습은 실린더 형태로 단순화 될 수도 있지만 보다 정교한 실제 얼굴 형태일 수도 있다.

또한 3D 그물망을 맞추기 전에 얼굴의 초기 자세 예를 들어, 얼굴의 상하 이동, 회전 및 편향(pitch, roll and yaw)에 기초하여 3D 그물망의 초기 회전 정도를 결정할 수 있다. 또한 얼굴의 초기 자세를 평가하기 위하여 능동표현모델이 사용될 수 있다. 검출된 얼굴에 대한 3D 그물망에는 계산된 안구의 중심이 포함 될 수 있다.

320 단계에서는 얼굴의 자세가 결정되지 않았거나 360 단계를 마친 경우 도 4 의 410 단계를 수행한다.

도 4 는 본 발명의 일 실시 예에 따른 보다 구체적인 시선 검출 방법을 나타낸 도 3 에 이어지는 흐름도이다.

410 단계에서는 연속적인 6D 광적 흐름(Optical flow)을 이용하여 3D 그물망을 추적한다. 예를 들어, 3D 그물망은 촬영된 매 화상에 기초하여 추적될 수 있다. 즉, 촬영된 화상에서의 얼굴의 연속적인 변화를 3D 그물망에 반영할 수 있다. 또한, 3D 그물망과 더불어 3D 그물망에 포함된 안구의 중심의 위치도 매 화상에 기초하여 추적될 수 있다. 즉, 시선 추적 장치는 촬영된 화상에서 얼굴의 연속적인 변화에 따른 안구의 중심의 위치를 추적 할 수 있다. 410 단계에서는 수 백 개의 점들로 이루어진 3D 그물망이 추적되므로, 보다 정확하게 3D 그물망을 추적할 수 있다.

420 단계에서는 얼굴의 추적이 성공적인지 여부를 판단한다. 일 실시 예에서 촬영된 얼굴의 화상과 3D 그물망의 차이점이 문턱값(threshold)을 넘었는지 여부에 기초하여 판단될 수 있다. 얼굴의 추적이 성공적인 경우 430 단계를 수행하고 얼굴의 추적이 성공적이지 않은 경우 도 3 의 330 단계를 수행하여 얼굴의 특징을 다시 검출한다.

430 단계에서는 추적되고 있는 3D 그물망에 기초하여 3D 얼굴의 자세를 결정한다. 440 단계에서는 화상에서 홍채의 중심을 검출한다. 홍채의 중심은 왼쪽 눈 및 오른쪽 눈 각각에 대하여 검출될 수 있다. 홍채의 중심 검출은 통상적인 밝기에서 일반적인 HD 웹캠으로부터 부화소 정확도(subpixel accuracy)로 수행될 수 있다. 즉, 일반적인 HD 웹캠의 단일 화소의 크기 보다 정밀하게 홍채가 검출될 수도 있다. 예를 들어 홍채의 중심 검출은 허프 보팅 (Hough voting) 및 더그만의 미적분 연산자 (Daugman's integro-differential operator) 를 이용하여 수행될 수 있다. 홍채의 중심 검출에 사용되는 기술은 이에 한정되는 것은 아니며 부화소 정확도와 충분한 빠르기가 보장되는 기술이라면 이용될 수 있다.

450 단계에서는 화상에서 검출된 홍채의 중심을 이용하여 3D 홍채 중심을 계산한다. 예를 들어 3D 그물망 상에서 홍채의 중심을 계산할 수 있다.

460 단계에서는 얼굴의 자세 안구의 중심 및 홍채의 중심을 이용하여 시선 벡터를 계산한다. 시선 벡터는 안구의 중심으로부터 홍채의 중심으로 뻗어가는 선에 의해 계산될 수 있으며, 양쪽 눈 모두에 대하여 계산될 수 있다.

470 단계에서는 가중된 응시점에 기초하여 디스플레이부 상의 응시점을 계산한다. 가중된 응시점은 240 단계에서 계산된 가중치에 기초할 수 있다. 가중치를 적용하여 응시점을 계산하는 경우 보다 신뢰도 높은 정보에 가중을 두게 되므로 보다 정확한 응심점을 계산할 수 있다. 응시점 계산에는 시선벡터가 이용된다.

다음으로 최종 응시점을 필요로 하는 곳에 리턴한 후 도 3 의 310 단계를 다시 수행한다.

도 6 은 본 발명의 일 실시 예에 따른 시선 추적 장치(600)의 구성에 대한 일 실시예를 도시한다. 시선 추적 장치(600)는 얼굴 특징 검출부(610), 얼굴 특징 추적부(620), 홍채 중심 검출부(630) 및 시선 추적부(640)를 포함할 수 있다.

얼굴 특징 검출부(610)는 촬영된 초기 화상에서 얼굴의 특징을 검출한다.

얼굴 특징 추적부(620)는 검출된 얼굴의 특징을 3 차원으로 모델링하고, 3 차원으로 모델링된 얼굴의 특징에 기초하여, 연속적으로 촬영된 화상들에서 3 차원으로 모델링된 얼굴의 특징을 추적한다.

홍채 중심 검출부(630)는 연속적으로 촬영된 화상에서 홍채의 중심을 검출한다.

시선 추적부(640)는 추적된 3차원으로 모델링된 얼굴의 특징 및 검출된 홍채의 중심을 기초해서 시선 벡터를 획득하고, 시선 벡터에 기초하여 디스플레이부 상의 응시점을 획득한다.

도 7 은 본 발명의 일 실시 예에 따른 시선 추적 장치(600)의 동작에 대하여 설명한다. 구체적인 시선 추적 방법에 관해서는 도 2 내지 4 에서 설명하였으므로 이하에서는 대략적인 동작만을 설명한다.

얼굴 특징 검출부(720)는 촬영부, 예를 들어 카메라, 비디오 레코더 로부터 입력된 비디오 시퀀스(710)에서 초기의 화상을 수신하여 얼굴의 특징을 검출한다. 도 7 에서는 초기의 화상을 시선 추적부를 통하여 수신하는 것으로 도시되어 있으나 이에 한정되는 것은 아니다. 얼굴의 특징 검출에는 능동표현모델이 이용될 수 있다. 검출된 얼굴 특징은 다른 장치에 제공되며, 예를 들어 시선 추적부(740)를 통하여 다른 장치에 제공될 수도 있다. 얼굴 특징 검출부(720)는 이 후의 화상에 대해서는 얼굴의 특징을 검출하지 않으나 시선 추적과정에서 얼굴의 추적에 실패할 경우에는 다시 화상을 수신하여 얼굴의 특징을 검출한다.

시선 추적부(740)는 다른 장치들을 제어할 수 있고 다른 장치들로부터 정보를 수집할 수 있다. 얼굴 특징 검출부(720)으로부터 정보를 수신한 시선 추적부(740)는 정보와 함께 연속되는 화상들을 얼굴 특징 추적부(750)에 전송할 수 있다. 화상들이 얼굴 특징 추적부(750)에 전송된 시점부터 연속된 매 화상들으로부터 얼굴의 특징이 추적될 수 있고 추적된 얼굴의 특징은 시선 추적부(740)에 전송된다.

얼굴 특징 추적부(750)는 수신한 정보 및 연속되는 화상들에 기초하여 얼굴의 특징을 추적한다. 또한 얼굴 특징 추적부(750)는 눈 영역 및 안구의 중심 역시 추적할 수 있다. 만약 이전 화상과 이후 화상에 문턱값(threshold) 이상의 차이가 있으면, 얼굴 특징 추적을 실패한 것이라고 판단할 수 있으며, 얼굴 특징 추적을 실패한 경우 이를 시선 추적부(740)에 알릴 수 있다. 이 경우 시선 추적부(740)는 얼굴 특징 검출부(720)가 얼굴의 특징을 재검출하도록 제어할 수 있다. 얼굴 특징이 정상적으로 추적되는 경우, 얼굴 특징 추적부(750)는 눈의 위치를 시선 추적부(740)를 통하여 홍채 중심 검출부(760)에 제공할 수도 있다.

홍채 중심 검출부(760)는 부화소 홍채 중심을 검출한다.

정보들을 획득한 시선 추적부(740)는 시선 벡터를 계산한다. 시선 벡터는 양쪽 눈 모두에 대하여 계산될 수 있으며 홍채 검출의 품질에 따라 가중치가 적용될 수 있다. 상술한 바와 같이 가중된 시선 벡터들 및 가중된 시선 벡터들과 디스플레이부의 3차원 적인 위치에 기초하여, 시선 추적부(740)는 디스플레이부 상의 응시점을 계산할 수 있다. 또한 계산된 응시점을 최종 결과(730)으로서 출력할 수 있다.

[얼굴 특징 추적]

얼굴 특징 추적에서 얼굴 자세의 추적에 관한 기초적인 알고리즘은 3차원 얼굴 모델에 대한 광 흐름(optical flow)의 변이가 사용될 수도 있다. 3차원 얼굴 모델은 반쪽 실린더 일 수 있다. 3차원 얼굴 모델은 일반적인 6D 루카스-카네이드 (6D Lukas-Kanade) 접근법에 의하여 추적될 수 있다. 6D Lukas-Kanade 접근번에 대하여 간단히 설명하면 이하와 같다.

시간 t 에서 이미지 I(u,t)를 관찰한다고 가정하자. 이때 u=(u,v)는 이미지에서의 픽셀이다. 시간 t+1 에서 u 는 u'=F(u,μ) 이동한다. 이때, μ는 모션 파라미터 벡터로서 수학식 1 에 의해 얻어질 수 있다.

수학식1

F(u,μ)는 파라미터적인 모션 모델로서 u 를 새로은 위치인 u'로 맵핑한다. 만약 조명에 변화가 없다면 다음과 같은 수학식 2 을 만족할 것이다.

수학식2

수학식 2 에 Lucas Kanade 방법을 적용하고 테일러 전개를 이용하면 수학식 3 과 같은 테일러 전개식으로 이루어진 모션 벡터를 계산할 수 있다.

수학식3

이때, I_t 는 시간적인 이미지 경사도이고, I_u 는 공간적인 이미지 경사도이고, F _μ 는 μ= 0 에서의 μ에 대한 F 의 편미분이고, w 는 [0,1] 범위에서 추적된 픽셀들의 가중치들이다.

시간 t+1 에서 원근 투영(perspective projection)하에서 X=[x,y,z,1]^T의 이미지 투영 u 는 수학식 4 와 같다.

수학식4

이 , f_L 는 초점 거리이다.

수학식 4 는 수학식 2 에서 사용된 파라미터적인 모션 모델 F 이다. 또한 μ=0 에서 F _μ 는 수학식 5 와 같다.

수학식5

알고리즘의 반복 이후, 증분적 변환(incremental transformation )은 μ를 이용하여 계산되며, 최종적인 변환 행렬(final transformation matrix)을 얻도록 구성될 수 있다. 새로운 얼굴 자세는 현재 변환(transformation)과 이전 자세의 조합으로부터 계산될 수 있다.

[안구 중심 검출 및 추적]

안구 중심 검출은 초기 단계에서 수행될 수 있다. 사용자는 카메라를 정면으로 보도록(혹은 알려진 좌표의 다른 지점을 보도록)요청될 수 있다. 얼굴 특징 검출부(720)가 얼굴 및 눈 영역에 대해 검출한 후에, 정확한 홍채 중심을 검출한다. 주어진 안구의 반지름 r 및 3 차원 홍채 중심의 위치 p_iris(x, y, z)에 대하여 안구의 중심의 위치는 수학식 6 과 같이 정의된다.

수학식6

여기서 p_eye _center 는 안구의 중심을 의미한다.

즉, 카메라와 홍채 중심을 통과하는 축을 따라서 동공으로부터 안구의 반지름만큼 이동한 지점에 안구의 중심이 있다고 정의한 것이다.

계속되는 화상들에서 안구의 중심의 절대적인 위치는 변화한다. 하지만 전체 얼굴에 대한 안구의 중심의 상대적인 위치는 고정적이다. 이는 도 8 에서 확인할 수 있다. 즉 도면 부호 810 내지 840 의 동그라미 안에 있는 점은 안구의 중심을 의미하며 얼굴의 움직임에 따라 안구의 중심의 절대적인 위치는 변하는 것을 확인 할 수 있다. 하지만 얼굴에 대해서 안구의 중심은 항상 일정하다는 것을 확인할 수 있다.

3차원 얼굴 모델을 추적하기 위한 6D Lukas-Kanade 접근법은 몇 가지 알고리즘 상 수정이 이루어진다. 또한 원래 알고리즘 수정과 함께 얼굴은 3차원 그물망으로 모델링 된다.

첫 번째로 3차원 그물망은 20 x 20 점들(points)의 반쪽-실린더로 구현될 수도 있다. 또한 예를 들어, 40 x 40 점들과 같이 좀더 조밀한 3차원 그물망으로 구현될 수도 있고, 그만큼 추적의 정밀도는 향상되지만 수행 능력이 저하되는 문제가 있다. 또한 실린더 모양으로 얼굴을 모델링 할 수도 있지만 실제 얼굴의 형태로 모델링 할 수도 있다. 또한 3 차원으로 모델링 된 얼굴은 사전에 정의된 모델로서 생성될 수도 있지만, 소정의 캘리브레이션 스킴 (예를 들어 structur-from-motion) 을 이용하여 실제 사용자 각각의 얼굴에 맞게 적용될 수도 있다.

점들의 위치는 균등하게 배치되지 않는다. 초기에는 얼굴 영역이 20 x 20 의 동일한 정사각형으로 나뉠 수도 있다. 하지만 각각의 사각형에서 가장 추적하기 좋은 점들(즉 사각형의 모서리)이 선택될 수 있다. 이 기술은 예를 들어 Flock of Tracker approach 를 이용할 수도 있다.

각각의 점들의 가중치는 현재 화상에서 주어진 점에서의 부화소 화상의 값과 이전 화상에서 그 점의 값의 차이에 관한 수학식 7 로 계산될 수 있다.

수학식7

여기에서 I_c 는 현재 화상에서 점의 투영이고, I_p 는 이전 화상에서 점의 투영이고, α는 실험적으로 계산된 정의된 요소이다. 경사도의 가중치나 픽셀 밀도 가중치는 고려되지 않을 수도 있다. 화상의 피라미드 영상(image pyramid)는 크게는 320 x 240 의 해상도까지 유용할 수도 있다.

[2차원 홍채의 중심 검출]

홍채의 중심 검출은 방사상의 대칭 변환 (Radial Symmetry Transform) 및 더그만의 미적분 연산자 (Daugman's integro-differential operator) 에서 설명된 두 알고리즘의 변형에 기초한다. 첫 번째 알고리즘은 홍채 중심 검출의 개략적인 검출을 제공할 수 있고 두 번째 알고리즘은 첫 번째 알고리즘의 정확도를 향상 시킬 수 있다.

개략적인 홍채 중심 검출은 보팅 기술(voting technique)에 기초한다. 이는 원 허프 변환(Circle Hough Transform, CHT)와 유사하다. 이는 홍채의 가장자리가 밝은 바깥쪽 영역과 홍채의 어두운 안쪽 영역 사이의 전환점이라는 것을 전제로 한다. 정확한 홍채의 반지름을 알지 못하지만, 얼굴의 크기에 기초하여 잠재적인 홍채의 범위(예를 들어 7 내지 13 픽셀 정도)는 추정될 수 있다. 홍채의 왼쪽과 오른쪽 가장자리가 고려의 대상인데, 위쪽과 아래쪽 가장자리는 눈 주위의 피부에 의하여 가려질 수 있기 때문이다. 따라서 고려의 대상이 되는 홍채의 가장자리는 도 9 에서 보는 바와 같이 도면부호 910 및 920 과 같은 수직의 방향을 가진 부분이다.

개략적인 홍채 중심 검출 알고리즘은 다음과 같은 과정을 거친다. 먼저 w 의 폭과 h 의 높이를 가진 화상에 대하여 2차원의 w X h 보팅 이진 테이블 H 를 생성하고 이를 모두 '0'으로 채운다. 그리고 각각의 화상 픽셀 d_x 및 d_y 에 대하여, x 및 y 에 일차 도함수를 계산한다. 수학식 8 에 의하여 각각의 픽셀의 가장자리 크기들을 계산한다.

수학식8

수학식 9 에 의하여 각각의 픽셀의 가장자리 벡터를 계산한다.

v=[d_x/M; d_y/M] 수학식9

각각의 픽셀에 대하여 크기 M 이 특정 문턱값 이상인 경우 경사도 방향은 충분히 수직이다. 만약 벡터가 밝은 쪽에서 어두운 쪽을 가리키는 경우,

a. 각각의 고려된 반지름 r 에 대하여 벡터 [x', y'] = v*r 에 의하여 고려된 지점으로부터 움직이는 것으로부터 결론지어진 지점으로 예측된 홍채 중심을 계산한다.

b. 또한 각각의 고려된 반지름 r 에 대하여 대응하는 H 이진 [x', y'] 을 픽셀의 M 값에 의하여 증가한다.

픽셀들의 지점에 가장 인접하는 곳의 평균 이미지 값에 의해 모든 픽셀들이 대응하는 H 이진 셀들을 나눈다. 모든 픽셀들이 대응하는 H 이진 셀들을 나누는 단계는 홍채의 중간에 있는 높은 명암도의 동공의 영역에 불리하므로 동공의 영역은 어두워야한다. 가우시안 블러링(Gaussian Blurring)과 같은 것을 이용하여 H 이진들을 펼친다. 가장 높은 값인 H 이진들에 지점을 선택하고 이것을 개략적인 홍채 중심이라고 선택한다.

개략적인 홍채 중심 검출은 보팅 기술은 고려된 반지름에 대해 개별적으로 H 테이블들을 생성할 수도 있고, 모든 응답 중에서 가장 높은 값을 선택할 수 있다. 이로 인하여 알고리즘의 정확성을 높일 수도 있다.

정확한 홍채 중심 검출은 더그만의 미적분 연산자 (Daugman's integro-differential operator) 에 기초한다. 홍채의 모델은 도 9 의 도면부호 910 및 920 와 같은 홍채의 경계에 64 혹은 32 개의 점들, 예를 들어 픽셀들을 선택하여 생성된다. 이 때 홍채의 경계 중 도면부호 910 및 920 이외의 수평적인 부분은 무시되는데, 상술한 바와 같이 눈 주위의 피부에 의하여 가려질 수 있기 때문이다. 이 알고리즘은 홍채의 경계에서 아주 높은 색의 대비가 있는 점에 의존한다. 강한 빛의 반사가 없는 이상 홍채의 색깔에 관계 없이 홍채의 경계에서 아주 높은 색의 대비는 존재할 것이다.

일 실시 예에서 정확한 홍채의 중심의 검출은 부화소 방식에 의하여 화소보다 높은 해상도로 수행될 수 있다. 차등 함수 응답은 개략적인 추정에 근접한 파라미터의 모든 치환에 대해 계산된다:

i)앵커 점들(anchoring points) 인 (x,y)는 예를 들어 0.25 픽셀 간격으로 x 및 y 방향으로 +-3 픽셀들이다. ii)반지름 r 은 예를 들어 1 픽셀 간격으로 +-2 픽셀들이다. iii)수직 스트레치(vertical stretch) 인 s 는 홍채의 최대 높이 및 최대 가중 사이의 비율이다. 수직 스트레치인 s 는 예를 들어 0.05 간격으로 0.9 에서 1.1 까지의 범위의 계수로 타원으로 가장 단순한 원근 투영을 모방하는 것을 허용하는데 사용될 수 있다.

파라미터들(x,y,r,s)의 각각의 세트에 대한 차등 함수는 왼쪽 및 오른쪽 홍채 경계에 대해 별개로 정의된 파라미터들로 타원을 생성하는 것에 의해 계산될 수 있다:

1. 파라미터들 s_bright = (x, y, r+0.5, s)로 타원 부분의 바깥쪽에 대해 픽셀들의 값들을 계산한다.

2. 파라미터들 s_dark =(x, y, r-0.5, s)로 타원 부분의 안쪽에 대해 픽셀들의 값들을 계산한다.

3. 바깥쪽 및 안쪽 타원 점들에 대응하는 차등을 계산한다. d = s_dark s_bright

4. 내림차순으로 결과를 정렬한다.

5. 모든 정렬된 차등의 3/4 의 평균을 계산한다.(가장 큰 값들을 선택하는 것에 의한다)

6. 도출된 값을 반환한다.

홍채의 왼쪽 및 오른쪽 경계로부터의 결과들은 주어진 파라미터들에 대한 최종 차등 결과를 주기 위해 더해져 있다. 모든 파라미터 치환으로부터 가장 큰 차등 값을 선택할 수 있다. 알고리즘의 수행 속도를 높이기 위하여 개략적인 방식에서 정밀한 방식으로 수행될 수 있다.

[3차원 홍채 중심 검출]

안구의 중심의 3차원 위치(X_c, Y_c, Z_c), 안구의 반지름(R)및 홍채의 2D 위치(u_x, u_y)는 홍채의 3 차원 위치로 이끌 수 있다. 홍채의 중심은 안구 상의 표면에 위치하고, 안구는 이상적인 구형임을 가정하면, 단순한 투영모델은 아래 수학식 9 내지 11 과 같이 가정될 수 있다.

수학식9

수학식10

수학식11

여기서 X ,Y, Z 는 홍채의 3차원 좌표들이고, f_l 는 알려진 카메라의 초점거리이다. 3 개의 수학식 9 내지 11 과 3 개의 미지수를 가지고 있으므로 3 미지수는 쉽게 구할 수 있다. 수학식 9 내지 11 은 2차 방정식이므로 구 표면 상의 두 가지 가능한 결과가 나올 수 있으며, 카메라에서 가까운 값이 최종 결과가 될 것이다. 또한 인간의 안구 모양의 해부학적인 비정형성의 보상 및 알고리즘의 품질을 향상시키기 위하여 구형이 아닌 일반적인 타원면 방정식이 제안될 수도 있다.

[시선 추정에 필요한 가정들]

디스플레이부 상의 실질적인 응시점을 얻기 위하여, 좌표시스템은 캘리브레이션되어야 한다. 캘리브레이션 과정의 어려움을 피하기 위하여 얼굴의 속성 상에 몇 가지 가정이 가능하다.

가정 1. 양쪽 눈 사이의 거리는 6.0 내지 6.5 cm 으로 고정될 수 있고, 또는 캘리브레이션 시 계산될 수 있다.

가정 2. 모델 거리 z 에 대한 픽셀들에서 얼굴 크기의 관계는 알려져 있을 수 있다(각각의 카메라에 대해서 계산된다).

가정 3. 안구 반지름은 12mm 고정될 수 있고, 캘리브레이션(calibration)동안 각각의 사용자에 대해 계산될 수도 있다.

가정 4. z 축에서 그물망 표면 및 안구 사이의 초기의 상대적인 시프트(shift)는 알려져 있을 수 있고, 각각의 사용자에 대하여 설정될 수도 있다.

가정 1 및 2 는 실제 세계 좌표계에 대한 모델 좌표계 변환의 개략적인 추정을 제공한다. 가정 3 은 모든 눈의 움직임에 의해 커버되는 영역을 정의한다. 가정 4 는 머리가 어떻게 움직이더라도 정확하게 안구를 추적하기 위해 필요할 수 있다.

상술한 바와 같은 본원 발명은 저렴하게 쉽게 구현 가능한 장점이 있다. 또한 머리의 움직임이 있어도 문제 없이 동작할 수 있으며, 좋은 빛의 조건에서 머리의 움직임에 대한 방해가 없다면 홍채 방향 측정에서 적어도 1.5 deg, 얼굴 방향 측정에서 2.5 deg 의 정확도를 달성할 수 있다. 또한 작은 얼굴의 움직임이 있다면 약 3 deg 정도의 상대적인 정확도를 허용하므로 경쟁력이 있을 수 있다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

상기에서는 본 발명의 일 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

촬영된 화상에서 얼굴의 특징을 검출하는 단계;
상기 촬영된 화상에서 왼쪽 눈과 오른쪽 눈에 대하여 각각 홍채를 검출하는 단계;
상기 왼쪽 눈과 상기 오른쪽 눈의 검출된 홍채의 품질을 각각 평가하여 가중치를 결정하는 단계;
상기 촬영된 화상에서 상기 왼쪽 눈과 상기 오른쪽 눈의 검출된 홍채에 기초하여 상기 왼쪽 눈과 상기 오른쪽 눈에 대하여 각각 홍채의 중심을 검출하는 단계; 및
상기 검출된 얼굴의 특징, 상기 검출된 홍채의 중심 및 상기 평가된 홍채의 품질에 기초한 가중치에 기초하여 디스플레이부 상의 응시점을 획득하는 단계를 포함하는, 시선 추적 방법.
제 1 항에 있어서,
상기 얼굴의 특징을 검출하는 단계는 사용자가 상기 디스플레이부의 소정의 지점(position)을 보도록 하는 메시지를 디스플레이하는 단계를 포함하는, 시선 추적 방법.
제 1 항에 있어서,
상기 검출된 얼굴의 특징에 기초하여, 안구의 중심을 계산하고, 상기 계산된 안구의 중심을 포함하여 상기 검출된 얼굴의 특징을 3 차원으로 모델링하는 단계; 및
연속적으로 촬영된 화상들에서 상기 3 차원으로 모델링된 얼굴의 특징을 추적하는 단계를 더 포함하고,
상기 응시점을 획득하는 단계는
상기 추적된 3 차원으로 모델링된 얼굴의 특징에 기초하여 디스플레이부 상의 응시점을 획득하는 단계를 포함하는, 시선 추적 방법.
제 3 항에 있어서,
상기 홍채를 검출하는 단계의 상기 촬영된 화상은,
상기 연속적으로 촬영된 화상들을 포함하고,
상기 홍채의 중심을 검출하는 단계의 상기 촬영된 화상은,
상기 연속적으로 촬영된 화상들을 포함하는, 시선 추적 방법.
제 3 항에 있어서,
상기 홍채의 중심을 검출하는 단계는,
상기 3 차원으로 모델링된 얼굴의 특징 중 눈 영역만을 이용하여 홍채의 중심을 검출하는 단계를 포함하는, 시선 추적 방법.
제 3 항에 있어서,
상기 홍채의 중심을 검출하는 단계는,
상기 3 차원으로 모델링된 얼굴의 특징 상의 상기 홍채의 중심의 위치를 계산하는 단계를 포함하는, 시선 추적 방법.
제 4 항에 있어서,
상기 추적된 3차원으로 모델링된 얼굴의 특징 및 상기 검출된 홍채의 중심에 기초해서 시선 벡터를 획득하는 단계를 더 포함하고,
상기 응시점을 획득하는 단계는,
상기 평가된 홍채의 품질에 기초한 가중치를 상기 시선 벡터에 적용하고, 상기 시선 벡터에 기초하여 디스플레이부 상의 응시점을 획득하는 단계를 포함하는, 시선 추적 방법.
제 7 항에 있어서,
상기 시선 벡터를 획득하는 단계는 왼쪽 눈과 오른쪽 눈에 대하여 각각 시선 벡터를 획득하는 단계를 포함하고,
상기 디스플레이부 상의 응시점을 획득하는 단계는, 상기 평가된 품질에 기초한 가중치를 상기 각각의 시선 벡터에 적용하는 단계를 포함하는, 시선 추적 방법.
제 3 항에 있어서,
상기 얼굴의 특징을 3 차원으로 모델링하는 단계는,
능동표현모델(Active Appearance Model: AAM)을 이용하여, 얼굴의 특징을 3 차원 그물망으로서 모델링하는 단계인, 시선 추적 방법.
제 1 항에 있어서,
상기 얼굴의 특징을 검출하는 단계는 능동표현모델을 이용하는, 시선 추적 방법.
제 3 항에 있어서,
상기 홍채의 중심을 검출하는 단계 및 상기 안구의 중심을 계산하는 단계는,
상기 얼굴의 크기, 상기 안구의 직경의 통계치에 기초하는, 시선 추적 방법.
촬영된 화상에서 얼굴의 특징을 검출하는 얼굴 특징 검출부;
상기 촬영된 화상에서 왼쪽 눈과 오른쪽 눈에 대하여 각각 홍채를 검출하고, 상기 왼쪽 눈과 상기 오른쪽 눈의 검출된 홍채의 품질을 각각 평가하여 가중치를 결정하고, 상기 왼쪽 눈과 상기 오른쪽 눈에 대하여 각각 홍채의 중심을 검출하는 홍채 중심 검출부; 및
상기 검출된 얼굴의 특징, 상기 검출된 홍채의 중심 및 상기 평가된 홍채의 품질에 기초한 가중치에 기초하여 디스플레이부 상의 응시점을 획득하는 시선 추적부를 포함하는, 시선 추적 장치.
제 12 항에 있어서,
상기 얼굴 특징 검출부는, 얼굴의 특징을 검출할 때 사용자가 상기 디스플레이부의 소정의 지점(postion)을 보도록 하는 메시지를 디스플레이하는, 시선 추적 장치.
제 12 항에 있어서,
상기 검출된 얼굴의 특징에 기초하여, 안구의 중심을 계산하고, 상기 계산된 안구의 중심을 포함하여 상기 검출된 얼굴의 특징을 3 차원으로 모델링하고, 연속적으로 촬영된 화상들에서 상기 3 차원으로 모델링된 얼굴의 특징을 추적하는 얼굴 특징 추적부를 더 포함하고,
상기 시선 추적부는,
상기 추적된 3 차원으로 모델링된 얼굴의 특징에 기초하여 디스플레이부 상의 응시점을 획득하는, 시선 추적 장치.
제 14 항에 있어서,
상기 홍채 중심 검출부는,
상기 연속적으로 촬영된 화상에서 왼쪽 눈과 오른쪽 눈에 대하여 각각 홍채를 검출하고, 상기 왼쪽 눈과 상기 오른쪽 눈의 검출된 홍채의 품질을 각각 평가하여 가중치를 결정하고, 상기 왼쪽 눈과 상기 오른쪽 눈에 대하여 각각 홍채의 중심을 검출하는, 시선 추적 장치.
제 14 항에 있어서,
상기 홍채 중심 검출부는,
상기 3 차원으로 모델링된 얼굴의 특징 중 눈 영역만을 이용하여 홍채의 중심을 검출하는, 시선 추적 장치.
제 14 항에 있어서,
상기 홍채 중심 검출부는,
상기 3 차원으로 모델링된 얼굴의 특징 상의 상기 홍채의 중심의 위치를 계산하는, 시선 추적 장치.
제 15 항에 있어서,
상기 시선 추적부는,
상기 추적된 3차원으로 모델링된 얼굴의 특징 및 상기 검출된 홍채의 중심에 기초해서 시선 벡터를 획득하고, 상기 평가된 홍채의 품질에 기초한 가중치를 상기 시선 벡터에 적용하고, 상기 시선 벡터에 기초하여 디스플레이부 상의 응시점을 획득하는, 시선 추적 장치.
제 18 항에 있어서,
상기 시선 추적부는,
왼쪽 눈과 오른쪽 눈에 대하여 각각 시선 벡터를 획득하고,
상기 평가된 품질에 기초한 가중치를 상기 각각의 시선 벡터에 적용하여 상기 디스플레이부 상의 응시점을 획득하는, 시선 추적 장치.
제 14 항에 있어서,
상기 얼굴 특징 추적부는,
능동표현모델(Active Appearance Model: AAM)을 이용하여, 얼굴의 특징을 3 차원 그물망으로서 모델링하는, 시선 추적 장치.
제 12 항에 있어서,
상기 얼굴 특징 검출부는 능동표현모델을 이용하여 얼굴의 특징을 검출하는, 시선 추적 장치.
제 14 항에 있어서,
상기 얼굴 특징 추적부 및 홍채 중심 검출부는,
상기 얼굴의 크기, 상기 안구의 직경의 통계치에 기초하여 홍채 및 안구의 중심을 계산하는, 시선 추적 장치.
제 1 항 내지 제 11 항 중 어느 한 항에 의한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.