KR101706992B1 - 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 - Google Patents

Abstract

광각 모드 또는 협각 모드 중 하나의 촬영 모드로 주변 영상을 획득하는 촬영부; 상기 촬영부에서 획득하는 주변 영상과 미리 저장된 얼굴 영역, 눈 영역 및 코 영역에 대한 학습 영상을 비교하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하고, 상기 눈 영역으로부터 홍채 영역을 검출하고 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하며, 상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하고, 상기 동공 영역의 중심과 상기 안구 중심을 연결하여 상기 사람의 시선 방향을 검출하는 제어부를 포함하는 시선 추적 장치가 개시된다.

Description

시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체{APPARATUS AND METHOD FOR TRACKING GAZE, RECORDING MEDIUM FOR PERFORMING THE METHOD}

본 발명은 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 발명으로서, 보다 상세하게는 PTZ 카메라를 통해 획득한 영상으로부터 사람의 시선을 추적하는 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것이다.

스마트 기기의 사용이 활성화됨에 따라 제스처인식, 음성인식, 시선인식 등의 비접촉 방식으로 스마트 기기를 제어하는 기술의 개발이 지속적으로 이루어지고 있다. 특히, 시선인식을 통하여 비접촉 방식으로 스마트 기기를 제어하는 기술에 있어서, 사람의 얼굴 영상을 획득하고, 얼굴 영상으로부터 시선을 추적하는 기술이 핵심 기술이라 할 수 있다.

이러한, 시선 추적 기술로는, 일반적으로 광각 카메라와 협각 카메라의 두 개의 카메라 모듈을 이용하며, 광각 카메라로는 사람의 위치를 감지하고, 협각 카메라로 고해상도의 눈 영상을 획득하여 시선 추적을 수행한다.

그러나, 위와 같은 경우 카메라와 시선 추적 대상의 거리가 멀어질수록 시선 추적을 위한 고해상도의 영상을 획득하기 위해서는 보다 많은 개수의 카메라가 필요하며, 이러한 경우, 복수의 카메라를 동시에 제어하는 데 어려움이 있다.

또한, 종래에는 고해상도의 눈 영상으로부터 홍채 또는 동공 중심의 움직임을 산출하고 그에 따라 사람의 시선 방향을 예측하였으나, 이러한 시선 추적 방법은 카메라와 시선 추적 대상의 거리가 멀어질수록 홍채 또는 동공 중심을 정확하게 산출하는 데 어려움이 있어 시선 추적 결과의 정확도가 다소 떨어진다는 문제점이 있다.

본 발명의 일측면은 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것으로서, 사람의 얼굴 포즈 각도로부터 안구 중심을 검출하고 이를 반영하여 사람의 시선을 추적하는 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체를 제공한다.

본 발명의 일측면은 시선 추적 장치에 있어서, 광각 모드 또는 협각 모드 중 하나의 촬영 모드로 주변 영상을 획득하는 촬영부 및 상기 촬영부에서 획득하는 주변 영상과 미리 저장된 얼굴 영역, 눈 영역 및 코 영역에 대한 학습 영상을 비교하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하고, 상기 눈 영역으로부터 홍채 영역을 검출하고 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하며, 상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하고, 상기 동공 영역의 중심과 상기 안구 중심을 연결하여 상기 사람의 시선 방향을 검출하는 제어부를 포함한다.

한편, 상기 제어부에 의해 복수의 캘리브레이션 포인트가 설정되고, 상기 제어부의 제어에 따라 상기 사람의 시선 방향에 대응하는 지점에 점을 출력하는 출력부를 더 포함하고, 상기 제어부는, 상기 출력부에서 상기 사람의 시선 방향에 대응하는 지점에 점을 출력하는 과정을 반복 수행하고, 상기 출력부에 출력되는 점과 상기 복수의 캘리브레이션 포인트를 비교하는 방식으로 상기 사람의 시선 방향에 대한 캘리브레이션을 수행할 수 있다.

또한, 상기 제어부는, 미리 저장된 학습영상으로부터 MCT 및 아다부스트(Adaboost) 기법을 이용하여 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 생성하고, 상기 촬영부에서 획득하는 주변 영상에 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 적용하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 얼굴 요소 검출부를 포함할 수 있다.

또한, 상기 제어부는, 상기 촬영부의 촬영 모드를 광각 모드로 제어하여 상기 주변 영상을 획득하고, 상기 광각 모드에서 촬영되는 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하면, 상기 광각 모드에서 촬영되는 영상의 중심에서 상기 얼굴 영역이 검출될 수 있도록 상기 촬영부를 팬(Pan) 또는 틸트(Tilt) 제어하고, 상기 얼굴 영역의 영상을 확대하여 획득할 수 있도록 상기 촬영부의 촬영 모드를 협각 모드로 전환하는 촬영 제어부를 포함할 수 있다.

또한, 상기 제어부는, 상기 눈 영역의 영상에 가변 템플릿을 매칭하여 홍채 영역을 검출하고, K-평균 알고리즘을 적용하여 상기 홍채 영역에서 상기 동공 영역을 분리하며, 상기 동공 영역의 무게중심을 상기 동공 영역의 중심으로 검출하는 동공 중심 검출부를 포함할 수 있다.

또한, 상기 제어부는, 상기 눈 영역 및 상기 코 영역의 위치 정보를 이용하여 피치(Pitch), 롤(Roll), 요(Yaw)의 상기 사람의 얼굴 포즈의 각도를 산출하는 얼굴 포즈 검출부 및 상기 눈 영역의 영상에 로버트 에지 검출기를 적용하고, 레이블링을 수행하여 눈 코너점을 검출하며, 상기 눈 코너점 및 상기 사람의 얼굴 포즈의 각도를 이용하여 상기 안구 중심을 검출하는 안구 중심 검출부를 더 포함할 수 있다.

한편, 본 발명의 다른 측면은 시선 추적 방법에 있어서, 주변 영상을 획득하고 미리 저장된 얼굴 영역, 눈 영역 및 코 영역에 대한 학습 영상과 비교하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하고, 상기 눈 영역으로부터 홍채 영역을 검출하고, 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하며, 상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하고, 상기 동공 영역의 중심과 상기 안구 중심을 연결하여 상기 사람의 시선 방향을 검출한다.

한편, 복수의 캘리브레이션 포인트를 설정하고, 상기 사람의 시선 방향에 대응하는 지점과 상기 복수의 캘리브레이션 포인트를 비교하는 방식으로 상기 사람의 시선 방향에 대한 캘리브레이션을 수행하는 것을 더 포함할 수 있다.

또한, 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 것은, 미리 저장된 학습영상으로부터 MCT 및 아다부스트(Adaboost) 기법을 이용하여 얼굴 영역, 눈 영역 및 코 영역 분류기를 생성하고, 상기 주변 영상에 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 적용하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 것일 수 있다.

또한, 상기 눈 영역으로부터 홍채 영역을 검출하고, 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하는 것은, 상기 눈 영역의 영상에 가변 템플릿을 매칭하여 홍채 영역을 검출하고, K-평균 알고리즘을 적용하여 상기 홍채 영역에서 상기 동공 영역을 분리하며, 상기 동공 영역의 무게중심을 상기 동공 중심으로 검출하는 것일 수 있다.

또한, 상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하는 것은, 상기 눈 영역 및 상기 코 영역의 위치 정보를 이용하여 피치(Pitch), 롤(Roll), 요(Yaw)의 상기 사람의 얼굴 포즈의 각도를 산출하고, 상기 눈 영역의 영상에 로버트 에지 검출기를 적용하고, 레이블링을 수행하여 눈 코너점을 검출하며, 상기 눈 코너점 및 상기 사람의 얼굴 포즈의 각도를 이용하여 상기 안구 중심을 검출하는 것일 수 있다.

또한, 시선 추적 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

상술한 본 발명의 일측면에 따르면, 사람의 얼굴 포즈 각도로부터 안구 중심을 검출하고 이를 반영하여 사람의 시선을 추적함으로써, 카메라와 시선 추적 대상의 거리가 멀어지는 경우에도 시선 추적의 정확도를 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 제어 블록도이다.
도 2는 도 1에 도시된 제어부의 세부 블록도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 요소 검출 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촬영부의 PTZ(Pan-Tilt-Zoom)제어 방법을 설명하기 위한 도면이다.
도 5는 핀홀 카메라 모델의 일 예를 도시한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 촬영부의 PTZ(Pan-Tilt-Zoom)제어 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 홍채 영역 검출 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 동공 중심 검출 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 얼굴 포즈 각도의 검출 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 눈 코너점 검출 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 안구 중심 검출 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 시선 방향 산출을 위한 눈 모델의 일 예를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 출력부의 일 예를 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 제어 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시선 추적 장치(1)는 촬영부(100), 제어부(200), 출력부(300) 및 메모리부(400)를 포함할 수 있다. 본 발명의 일 실시예에 따른 시선 추적 장치(1)는 도 1에 도시된 구성요소보다 많은 구성요소에 의해 구현되거나, 그보다 적은 구성요소에 의해 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.

촬영부(100)는 주변 영상을 획득할 수 있으며, 바람직하게는, 특정 컨텐츠를 응시하는 사람의 얼굴 영역을 검출하기 위한 주변 영상을 획득할 수 있다. 이를 위해, 촬영부(100)는 광각 모드 또는 협각 모드 중 하나의 촬영 모드로 동작하는 단일의 PTZ(Pan-Tilt-Zoom) 카메라로 구현될 수 있다.

구체적으로는, 촬영부(100)는 제어부(200)에 의해 설정되는 카메라의 렌즈 초점 거리에 따라 줌(Zoom) 동작을 수행하여 확대 또는 축소된 주변 영상을 획득할 수 있다. 다시 말하면, 촬영부(100)는 후술하는 제어부(200)의 제어에 따라 광각 모드 또는 협각 모드 중 하나의 촬영 모드에 따라 동작하여 주변 영상을 획득할 수 있다. 여기서, 광각 모드란, 카메라의 렌즈 초점 거리가 미리 정해진 기준값 이하로 설정되어 상대적으로 넓은 시야의 주변 영상을 획득하기 위한 촬영 모드를 의미하고, 협각 모드란, 카메라의 렌즈 초점 거리가 미리 정해진 기준값 이상으로 설정되어 상대적으로 좁은 시야의 주변 영상을 획득하기 위한 촬영 모드를 의미하며, 일반적으로, 광각 모드에서의 렌즈 초점 거리는 24~50mm 로 설정되고, 협각 모드에서의 렌즈 초점 거리는 80~120mm 로 설정될 수 있다.

또한, 촬영부(100)는 제어부(200)의 제어에 따라 좌우로 움직이는 팬(Pan) 동작 또는 상하로 움직이는 틸트(Tilt) 동작을 수행하며 주변 영상을 획득할 수 있다.

이처럼, 촬영부(100)는 먼저, 주변의 사람을 검출할 수 있도록 광각 모드로 동작하여 넓은 시야의 주변 영상을 획득하고, 제어부(200)에 의해 획득한 영상에 사람의 얼굴 영역이 검출되는 경우, 팬(Pan) 또는 틸트(Tilt) 동작한 뒤, 협각 모드로 전환되어 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다. 이와 관련하여 구체적인 설명은 후술하기로 한다.

제어부(200)는 촬영부(100)를 제어하여 얼굴 영역의 영상을 획득하고, 촬영부(100)로부터 획득한 얼굴 영역의 영상을 이용하여 시선을 추적할 수 있다. 이와 관련하여 도 2 내지 도 14를 참조하여 설명하기로 한다.

도 2는 도 1에 도시된 제어부의 세부 블록도이고, 도 3 내지 도 14는 도 1에 도시된 제어부에서 얼굴 영역의 영상으로부터 시선을 추적하는 방법을 설명하기 위한 도면이다.

먼저, 도 2를 참조하면, 제어부(200)는 얼굴 요소 검출부(210), 촬영 제어부(220), 동공 중심 검출부(230), 얼굴 포즈 검출부(240), 안구 중심 검출부(250) 및 시선 방향 검출부(260)를 포함할 수 있다. 제어부(200)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현되거나, 그보다 적은 구성요소에 의해 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.

얼굴 요소 검출부(210)는 촬영부(100)에서 획득하는 주변 영상에 사람이 나타날 경우, 사람의 얼굴 영역 및 눈, 코 영역의 얼굴 요소를 검출할 수 있다. 이때, 촬영부(100)는 후술하는 촬영 제어부(220)에 의해 광각 모드로 설정된 상태일 수 있으며, 이로 인해, 촬영부(100)는 넓은 시야의 주변 영상을 획득할 수 있다.

구체적으로는, 도 3을 참조하면, 얼굴 요소 검출부(210)는 촬영부(100)에서 획득하는 주변 영상으로부터 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출할 수 있다. 이를 위해, 얼굴 요소 검출부(210)는 학습영상에 MCT(Modified Census Transform) 변환 전처리 과정을 수행한 뒤, 아다부스트(Adaboost) 기법으로 얼굴 영역, 눈 영역 및 코 영역 검출 분류기를 생성할 수 있다. 여기서, 학습영상에 MCT 변환 전처리 과정을 수행하는 것은 조명 변화에 대한 강인성을 위함이며, 아다부스트(Adaboost) 기법이란 템플릿 매칭의 한 종류로서, 특징 값들을 분류할 수 있다. 또한, 학습영상은 메모리부(400)에 미리 저장되어 있는 다양한 자세 또는 모양의 얼굴, 눈 및 코 영상일 수 있으며, 예를 들어, 좌측, 정면, 우측으로 분류 가능한 복수의 얼굴 및 코 영상과, 뜬 눈, 감은 눈으로 분류 가능한 복수의 눈 영상을 포함할 수 있다.

이처럼, 얼굴 요소 검출부(210)는 MCT 및 아다부스트(Adaboost) 기법을 통해 얼굴 영역, 눈 영역 및 코 영역 검출 분류기를 생성하고, 촬영부(100)에서 획득하는 주변 영상에 얼굴 영역, 눈 영역 및 코 영역 검출 분류기를 적용함으로써 영상에 포함되는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출할 수 있다.

한편, 본 발명의 일 실시예에 따른 시선 추적 장치(1)는 사람의 얼굴 영상으로부터 동공 중심 및 안구 중심을 검출하고, 이를 이용하여 사람의 시선을 추적하는데, 이때, 얼굴 요소 검출부(210)에서 검출한 얼굴 영역과 얼굴 영역에 포함되는 눈 영역 및 코 영역은 촬영부(100)가 광각 모드인 상태에서 획득한 주변 영상으로부터 검출하였으므로, 그 해상도가 낮아 동공 중심 및 안구 중심을 정확하게 검출하는 데 어려움이 있을 수 있으며, 이에 검출한 얼굴 영역에 대하여 보다 고해상도의 확대된 영상을 필요로 할 수 있다.

이에 따라, 촬영 제어부(220)는 얼굴 요소 검출부(210)에서 검출한 얼굴 영역에 대하여 보다 고해상도의 영상을 획득할 수 있도록 촬영부(100)의 팬(Pan) 또는 틸트(Tilt) 동작을 제어하거나, 촬영부(100)의 촬영 모드를 전환할 수 있다.

예를 들어, 도 4를 참조하면, 촬영 제어부(220)는 얼굴 요소 검출부(210)에서 검출한 얼굴 영역이 도 4의 (b)와 같이 촬영부(100)에서 촬영하는 영상의 중심에 위치할 수 있도록 촬영부(100)의 팬(Pan) 또는 틸트(Tilt) 동작을 제어한 뒤, 도 4의 (c)와 같이 촬영부(100)의 촬영 모드를 협각 모드로 전환함으로써 확대된 얼굴 영역의 영상을 획득할 수 있다. 이때, 촬영 제어부(220)는 촬영부(100)와 얼굴 요소 검출부(210)에서 검출한 얼굴 영역 사이의 거리를 산출하고, 산출한 거리에 따라 촬영부(100)의 팬(Pan), 틸트(Tilt) 각도 또는 줌(Zoom) 배수를 산출하여 촬영부(100)를 제어할 수 있다.

구체적으로는, 촬영 제어부(220)는 핀홀 카메라 모델을 이용하여 촬영부(100)와 얼굴 요소 검출부(210)에서 검출한 얼굴 영역 사이의 거리를 산출할 수 있다. 여기서, 핀홀 카메라 모델이란, 도 5를 참조하면, 삼각형의 성질을 이용하여 카메라와 객체간의 거리를 계산하기 위한 것으로, 초점 거리(focal length)와 센서상의 객체의 높이, 카메라와 객체간의 거리(distance)와 실제 객체(Object)의 높이의 비율을 아래의 수학식 1과 같이 나타낼 수 있다.

수학식 1에서 SObj_h 는 센서상의 객체의 높이, RObj_h 는 실제 객체의 높이이고, f는 초점 거리, z는 카메라와 객체 간의 거리를 의미한다.

여기서, 센서상의 객체의 높이 SObj_h 는 아래의 수학식 2를 이용하여 구할 수 있다.

수학식 2에서 SObj_h 는 센서상의 객체의 높이를 의미하고, S_h 는 센서의 높이, IObj_h 는 영상에 나타난 객체의 높이를 의미하며, I_h 는 영상의 높이를 의미한다.

최종적으로, 수학식 1에 수학식 2를 적용하여 카메라와 객체 사이의 거리를 산출하기 위한 수학식 3을 도출할 수 있다.

수학식 3에서 z는 카메라와 객체 사이의 거리를 의미하고, f는 초점 거리, I_h 는 영상의 높이, RObj_h 는 실제 객체의 높이를 의미하며, S_h 는 센서의 높이, IObj_h 는 영상에 나타난 객체의 높이를 의미한다.

따라서, 촬영 제어부(220)는 수학식 3을 이용하여 촬영부(100)와 얼굴 요소 검출부(210)에서 검출한 얼굴 영역 사이의 거리를 산출할 수 있으며, 산출한 거리를 이용하여 촬영부(100)의 팬(Pan), 틸트(Tilt) 각도 또는 줌(Zoom) 배수를 산출하여 촬영부(100)를 제어할 수 있다. 이때, 촬영 제어부(220)에서 산출한 거리에 따른 화각 정보, 즉, 촬영부(100)의 줌(Zoom) 위치에 따른 화각 정보는 메모리부(400)에 미리 저장될 수 있다.

이와 관련하여, 도 6을 참조하면, 촬영 제어부(220)는 아래의 수학식 4를 이용하여 촬영부(100)의 팬(Pan) 각도를 산출할 수 있으며, 수학식 5를 이용하여 촬영부(100)의 틸트(Tilt) 각도를 산출할 수 있다.

수학식 4에서 p는 촬영부(100)의 팬(Pan) 각도를 의미하고, θ_w 는 수평의 화각을 의미하고, W는 영상의 가로 픽셀의 수를 의미하며, u는 영상에서 이동하고자 하는 위치를 의미한다.

수학식 5에서 t는 촬영부(100)의 틸트(Tilt) 각도를 의미하고, θ_h 는 수직의 화각을 의미하고, H는 영상의 세로 픽셀의 수를 의미하며, v는 영상에서 이동하고자 하는 위치를 의미한다.

이처럼, 촬영 제어부(220)는 수학식 4 및 5를 이용하여 촬영부(100)의 팬(Pan), 틸트(Tilt) 각도를 산출하고 이에 따라 촬영부(100)의 팬(Pan), 틸트(Tilt) 동작을 제어함으로써, 촬영부(100)에서 획득하는 영상의 중심(I_cx,I_cy)에 얼굴 영역의 중심(u,v)이 위치할 수 있다.

또한, 촬영 제어부(220)는 아래의 수학식 6을 이용하여 촬영부(100)의 줌(Zoom) 배수를 산출할 수 있다.

수학식 6에서 z는 촬영부(100)의 줌(Zoom) 배수를 의미하고, H는 영상의 세로 픽셀의 수를 의미하고, Obj_h 는 얼굴 영역의 크기를 의미하고, w는 가중치를 의미한다.

이와 같이, 촬영 제어부(220)는 수학식 6을 이용하여 촬영부(100)의 줌(Zoom) 배수를 산출하고, 이에 따라 촬영부(100)의 줌(Zoom) 동작을 제어함으로써, 즉, 광각 모드의 촬영부(100)를 협각 모드로 제어함으로써 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다. 이때, 촬영 제어부(220)는 촬영부(100)에서 획득하는 영상의 중심에 얼굴 영역이 위치할 수 있도록 촬영부(100)를 팬(Pan) 또는 틸트(Tilt) 제어한 뒤, 촬영부(100)의 줌(Zoom) 배수를 제어함으로써, 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다. 이와 관련하여, 도 7을 참조하여 설명하면, 도 7의 (a)와 같이 촬영부(100)의 촬영 모드가 광각 모드인 상태에서 획득한 영상에 사람이 포함될 수 있으며, 이때, 본 발명의 일 실시예에 따른 촬영부(100)는 광각 모드 또는 협각 모드 중 하나의 촬영 모드로 동작하는 단일의 PTZ(Pan-Tilt-Zoom) 카메라로 구현되므로, 촬영 제어부(220)는 촬영부(100)의 촬영 모드가 광각 모드인 상태에서 팬(Pan) 또는 틸트(Tilt) 동작을 제어하지 않고 바로 촬영 모드를 협각 모드로 전환하면, 영상에 포함되는 사람의 얼굴 영역의 확대된 영상이 아닌 주변 배경의 확대된 영상을 획득하게 된다. 따라서, 촬영 제어부(220)는 도 7의 (b)와 같이 촬영부(100)에서 획득하는 영상의 중심에 얼굴 영역이 위치할 수 있도록 촬영부(100)를 팬(Pan) 또는 틸트(Tilt) 제어한 뒤, 촬영부(100)의 촬영 모드를 협각 모드로 전환함으로써, 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다.

동공 중심 검출부(230)는 이러한 고해상도의 확대된 얼굴 영역의 영상으로부터 동공 중심을 검출할 수 있다. 이를 위해, 동공 중심 검출부(230)는 먼저 고해상도의 확대된 얼굴 영역의 영상으로부터 홍채를 검출한 뒤, 홍채 영역 안에서 동공 중심을 검출할 수 있다.

구체적으로는, 도 8을 참조하면, 동공 중심 검출부(230)는 고해상도의 확대된 얼굴 영역의 영상에 포함되는 눈 영역에 대하여 Valley Map을 생성한 뒤, 임의의 임계값을 이용하여 이진화를 수행할 수 있다. 그리고, 동공 중심 검출부(230)는 이진화 영상에 템플릿 매칭을 수행하여 도 8의 (e)와 같이 홍채 영역을 검출할 수 있다. 이때, 동공 중심 검출부(230)는 이진화 영상에 가변 템플릿을 적용하여 홍채 영역을 검출할 수 있다.

여기서, 가변 템플릿은 J. Y. Deng and F. Lai 에 의해 제안된 방법으로서, 원형 템플릿의 테두리에 작은 윈도우를 배치하여 에너지를 계산하고, 에너지를 최소화하는 방향으로 이동시키고 그 크기를 조절할 수 있다. 이때, 에너지 함수는 아래의 수학식 7과 같이 나타낼 수 있다.

수학식 7에서 A_circle 은 템플릿 영역에 해당하는 픽셀의 개수를 의미한다.

수학식 7을 이용하여 윈도우 영역에 대한 에너지를 계산하면, 아래의 수학식 8을 이용하여 윈도우 영역의 크기를 변경시킬 수 있으며, 수학식 9를 이용하여 윈도우 영역을 이동시킬 수 있다.

수학식 8에서 f_resize 는 윈도우 영역의 크기 변경 계수를 의미하고, f_w 는 윈도우 영역을 의미한다.

수학식 9에서 fmove_x,fmove_y 는 윈도우 영역의 이동 계수를 의미하고, f_w 는 윈도우 영역을 의미한다.

한편, 윈도우 영역은 아래의 수학식 10을 이용하여 정규화할 수 있으며, 그 값은 (-255/2, 255/2)로 정규화될 수 있다.

또한, 도 9를 참조하면, 동공 중심 검출부(230)는 검출한 홍채 영역 안에서 동공 중심을 검출할 수 있다. 동공 중심 검출부(230)는 홍채 영역에 대하여 Valley Map을 생성한 뒤, 군집화를 수행하여 동공 중심을 검출할 수 있다. 이때, 동공 중심 검출부(230)는 홍채 영역에 대하여 생성한 Valley Map에 두 개의 군집으로 K-평균 알고리즘(K-means Clustering) 알고리즘을 적용하여 홍채 영역과 동공 영역을 분리시킬 수 있다. 그리고, 동공 중심 검출부(230)는 분리된 동공 영역의 무게중심을 동공 중심으로 검출할 수 있다.

한편, 얼굴 포즈 검출부(240)는 고해상도의 확대된 얼굴 영역에서의 눈 영역과 코 영역의 위치 정보로부터 얼굴 포즈를 검출할 수 있다. 여기서, 도 10을 참조하면, 얼굴 포즈 검출부(240)는 y축을 중심으로 얼굴이 회전하는 각도인 피치(Pitch), z축을 중심으로 얼굴이 회전하는 각도인 롤(Roll), x축을 중심으로 얼굴이 회전하는 각도인 요(Yaw)로 정의되는 얼굴 포즈의 각도를 산출할 수 있다.

구체적으로는, 도 11의 (a)를 참조하면, 얼굴 포즈 검출부(240)는 먼저 아래의 수학식 11을 이용하여 피치(Pitch)를 산출할 수 있다. 피치(Pitch)는 두 눈 영역 사이의 거리(D)와 코 길이의 비율(B)을 이용하여 산출할 수 있다. 이때, 코 길이의 비율(B)은 두 눈 영역 사이의 거리에 0.618을 곱하여 산출할 수 있다.

수학식 11에서 D는 두 눈 영역 사이의 거리를 의미하고, dy_p 는 코 길이에서 코 끝 위치(Nose tip)의 미분값을 의미한다.

또한, 도 11의 (b)를 참조하면, 얼굴 포즈 검출부(240)는 아래의 수학식 12를 이용하여 롤(Roll)을 산출할 수 있다. 롤(Roll)은 두 눈 영역의 위치 정보를 이용하여 산출할 수 있다.

수학식 12에서 dy_r 은 두 눈 영역 위치의 y축에 대한 미분값을 의미하고, dx_r은 두 눈 영역 위치의 x축에 대한 미분값을 의미한다.

또한, 도 11의 (c)를 참조하면, 얼굴 포즈 검출부(240)는 아래의 수학식 13을 이용하여 요(Yaw)를 산출할 수 있다. 요(Yaw)는 두 눈 영역 사이의 중심점과 코 끝의 위치정보를 이용하여 산출할 수 있다. 여기서, 코 끝의 위치정보는 미리 저장된 코 끝의 위치정보에 대한 학습 정보로부터 검출할 수 있다.

수학식 13에서 dx_r은 두 눈 영역 사이의 중심점을 기준으로 코 끝의 위치에 대한 미분값을 의미하고, dy_y는 두 눈 영역과 코 끝의 위치의 수직 거리의 미분값을 의미한다.

한편, 안구 중심 검출부(250)는 고해상도의 확대된 얼굴 영역의 영상으로부터 안구 중심을 검출할 수 있다. 이를 위해, 안구 중심 검출부(250)는 먼저 고해상도의 확대된 얼굴 영역의 영상에 포함되는 눈 영역에서 눈 코너점을 검출한 뒤, 눈 코너점과 얼굴 포즈 검출부(240)에서 산출한 얼굴 포즈의 각도를 이용하여 최종적으로 안구 중심을 검출할 수 있다.

구체적으로는, 도 12를 참조하면, 안구 중심 검출부(250)는 먼저 고해상도의 확대된 얼굴 영역의 영상에 포함되는 눈 영역에 로버츠 에지 검출기를 적용하여 눈꺼풀을 검출할 수 있다. 여기서, 로버츠 에지 검출기는 계산 속도가 빠른 반면 잡음에 민감하므로, 안구 중심 검출부(250)는 눈 영역의 영상에 가우시안 커널을 적용하여 잡음을 제거한 뒤 로버츠 에지 검출기를 적용하면 도 12의 (c)와 같이 눈꺼풀의 에지를 검출할 수 있다. 그리고, 안구 중심 검출부(250)는 눈꺼풀의 에지가 검출된 영상에 레이블링을 적용하고, 크기가 작은 블록을 제거하여 도 12의 (d)와 같은 영상을 획득할 수 있으며, 레이블링 된 블록들 중에서 눈꺼풀로 추정되는 가로 길이가 가장 긴 블록의 양 끝 점을 도 12의 (e)와 같이 눈 코너점으로 검출할 수 있다.

이후, 안구 중심 검출부(250)는 검출한 눈 코너점과 얼굴 포즈 각도에 따른 안구 중심을 검출할 수 있다.

구체적으로는, 도 13을 참조하면, E1 및 E2는 각각 눈 코너점을 나타내고, M은 E1 및 E2의 중심점, P는 동공 중심을 나타낸다. 이때, 일반적으로 성인의 안구 크기는 직경 24mm 정도로 거의 구형을 이루고 있다. 따라서, 안구 중심 검출부(250)는 아래의 수학식 14와 같이 얼굴 포즈의 각도를 이용하여 안구 중심을 나타내는 3차원 좌표를 검출할 수 있다.

수학식 14에서 x’,y’,z’는 안구 중심을 나타내는 눈의 3차원 좌표를 의미하고, t_x,t_y,t_z는 눈 코너점의 중심점(M)에서 안구 중심(O)으로의 이동 행렬, x,y,z는 눈 코너의 중심점(M), α,β,γ는 각각 롤(Roll), 요(Yaw), 피치(Pitch) 각도를 의미한다.

한편, 시선 방향 검출부(260)는 상술한 동공 중심 검출부(230)에 의해 검출된 동공 중심과, 안구 중심 검출부(250)에 의해 검출된 안구 중심으로부터 시선 방향을 검출할 수 있다.

구체적으로는, 시선 방향 검출부(260)는 도 14와 같이 동공 중심 검출부(230)에 의해 검출된 동공 중심과, 안구 중심 검출부(250)에 의해 검출된 안구 중심이 적용된 눈의 기하학적 모델로부터 시선 방향을 검출할 수 있다. 즉, 시선 방향 검출부(260)는 안구 중심(O)과 동공 중심(p)을 지나는 선을 시선 방향 벡터(gaze direction)로 검출할 수 있다.

또한, 시선 방향 검출부(260)는 후술하는 출력부(300)에 복수의 캘리브레이션 포인트를 설정하고, 시선 방향 벡터에 대응하는 위치에 점을 출력한 뒤 복수의 캘리브레이션 포인트와 비교하는 방식으로 사람의 시선 방향에 대한 캘리브레이션을 수행할 수 있다.

구체적으로는, 촬영부(100)에서 획득하는 주변 영상에 나타나는 사람은 특정 컨텐츠를 응시하는 상태일 수 있다. 여기서, 특정 컨텐츠는, 출력부(300)에서 출력되는 컨텐츠일 수 있으며, 또는, 출력부(300)와는 별도의 출력 모듈을 통해 출력되는 컨텐츠일 수 있다.

예를 들어, 도 15를 참조하면, 시선 방향 검출부(260)는 출력부(300)에 일정한 간격에 따른 복수의 캘리브레이션 포인트를 설정할 수 있다. 도 15의 (a)에서는, 15개의 캘리브레이션 포인트가 설정된 것을 예로 들어 도시하였다. 시선 방향 검출부(260)는 도 15의 (b)와 같이 출력부(300)에 시선 방향 벡터에 대응하는 점을 출력할 수 있도록 아래의 수학식 15 또는 16을 이용하여 교정 계수를 산출할 수 있다. 도 15의 (b)의 경우, 촬영부(100)에서 획득하는 주변 영상에 나타나는 사람의 시선이 출력부(300) 또는 별도의 출력 모듈을 통해 출력되는 컨텐츠의 4개의 모서리 부분(캘리브레이션 포인트 : 1,5,11,15)과 중심 부분(캘리브레이션 포인트 : 8)에 일정 시간 동안 머무른 것으로 확인할 수 있다.

수학식 15 및 16에서, X_screen 및 Y_screen은 출력부(300) 상의 x,y 좌표를 의미하고, N은 캘리브레이션 포인트 개수를 의미하며, X 및 Y는 시선 방향 벡터, α_i 및 β_i 는 계수를 의미한다.

다시, 도 1을 참조하면, 출력부(300)는 제어부(200)의 제어에 의해 일정한 간격에 따른 복수의 캘리브레이션 포인트가 설정되고, 사람의 시선 방향 벡터에 대응하는 점을 출력할 수 있다. 이때, 출력부(300)는 상술한 바와 같이 특정 컨텐츠를 출력하거나, 출력부(300)에서 특정 컨텐츠를 출력하지 않고, 별도의 출력 모듈을 통해 특정 컨텐츠가 출력되는 경우에도, 출력부(300)는 별도의 출력 모듈을 응시하는 사람의 시선 방향 벡터에 대응하는 점을 출력할 수 있다. 이러한, 출력부(300)는 LCD(Liquid Crystal Display), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 또는 터치스크린 등 다양한 형태의 디스플레이 수단으로 구현될 수 있다.

또한, 메모리부(400)는 시선 추적 장치(1)의 처리 및 제어를 위한 프로그램이 저장될 수 있으며, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다. 특히, 메모리부(400)는 상술한 바와 같이, 얼굴 영역, 눈 영역 및 코 영역 검출 분류기의 생성을 위한 학습영상이 저장될 수 있으며, 제어부(200)에 의해 얼굴 영역, 눈 영역 및 코 영역이 검출될 때마다 검출한 얼굴 영역, 눈 영역 및 코 영역에 대한 영상을 학습영상으로 업데이트 하여 저장할 수 있다.

또한, 메모리부(400)는 촬영부(100)의 줌(Zoom) 위치에 따른 화각 정보를 저장할 수 있다.

이하에서는, 도 16을 참조하여 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기로 한다.

도 16은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 시선 추적 방법은, 도 1에 도시된 시선 추적 장치(1)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 시선 추적 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.

도 16을 참조하면, 광각 모드의 촬영부(100)로부터 주변 영상을 획득할 수 있다(500). 촬영부(100)는 제어부(200)의 제어에 따라 광각 모드로 설정되어, 넓은 시야의 주변 영상을 획득할 수 있다.

또한, 획득한 영상에서 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출할 수 있다(510). 제어부(200)는 촬영부(100)에서 획득한 영상에 얼굴 영역, 눈 영역 및 코 영역 분류기를 적용할 수 있으며, 따라서, 촬영부(100)에서 획득하는 영상에 사람이 나타난 경우, 제어부(200)는 얼굴 영역, 눈 영역 및 코 영역을 검출할 수 있다.

또한, 검출한 얼굴 영역이 촬영부(100)에서 획득하는 영상의 중심에 위치할 수 있도록, 촬영부(100)를 팬(Pan) 또는 틸트(Tilt) 제어할 수 있다(520). 이를 위해, 제어부(200)는 촬영부(100)와 검출한 사람의 얼굴 영역 사이의 거리를 산출하고, 이를 이용하여, 촬영부(100)의 팬(Pan) 또는 틸트(Tilt) 각도를 산출하여, 검출한 얼굴 영역이 촬영부(100)에서 획득하는 영상의 중심에 위치할 수 있도록, 촬영부(100)를 팬(Pan) 또는 틸트(Tilt) 제어할 수 있다.

또한, 촬영부(100)의 촬영모드를 협각 모드로 전환하여 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다(530). 제어부(200)는 촬영부(100)와 검출한 사람의 얼굴 영역 사이의 거리를 이용하여 촬영부(100)의 줌(Zoom) 배수를 산출하고, 줌(Zoom) 배수에 따라 촬영부(100)를 제어함으로써 보다 고해상도의 확대된 얼굴 영역의 영상을 획득할 수 있다.

이후, 고해상도의 확대된 얼굴 영역의 영상으로부터 홍채 영역을 검출하고, 홍채 영역 안에서 동공 중심을 검출할 수 있다(540). 제어부(200)는 고해상도의 확대된 얼굴 영역의 영상에 포함되는 눈 영역에 가변 템플릿을 매칭하여 홍채 영역을 검출할 수 있다. 그리고, 제어부(200)는 검출한 홍채 영역 안에서 K-평균 알고리즘을 적용하여 홍채 영역과 동공 영역을 분리한 뒤, 동공영역의 무게중심을 동공 중심으로 검출할 수 있다.

또한, 고해상도의 확대된 얼굴 영역의 영상으로부터 얼굴 포즈를 검출할 수 있다(550). 제어부(200)는 고해상도의 확대된 얼굴 영역의 영상에서의 눈 영역 및 코 영역의 위치 정보로부터 피치(Pitch), 롤(Roll), 요(Yaw)의 얼굴 포즈의 각도를 산출할 수 있다.

또한, 고해상도의 확대된 얼굴 영역의 영상으로부터 눈 코너점을 검출하고, 눈 코너점과 얼굴 포즈의 각도에 따른 안구 중심을 검출할 수 있다(560). 제어부(200)는 고해상도의 확대된 얼굴 영역의 영상에 포함되는 눈 영역에 로버트 에지 검출기를 적용하고 레이블링을 수행하여 눈 코너점을 검출할 수 있으며, 눈 코너점과 얼굴 포즈의 각도를 상술한 수학식 15에 적용하여 안구 중심을 검출할 수 있다.

또한, 동공 중심과 안구 중심을 연결하여 시선 방향을 검출할 있다(570). 제어부(200)는 검출한 동공 중심과 안구 중심이 적용된 눈의 기하학적 모델을 생성하고, 안구 중심과 동공 중심을 지나는 선을 시선 방향으로 검출할 수 있다.

마지막으로, 시선 방향에 대한 캘리브레이션을 수행할 수 있다(580). 제어부(200)는, 출력부(300)에 복수의 캘리브레이션 포인트를 설정하고, 사람의 시선 방향에 대응하는 지점과 복수의 캘리브레이션 포인트를 비교하는 방식으로 상기 사람의 시선 방향에 대한 캘리브레이션을 수행할 수 있다.

이와 같은, 시선 추적 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 시선 추적 장치
100: 촬영부
200: 제어부
300: 출력부
400: 메모리부

Claims (12)

1. 광각 모드 또는 협각 모드 중 하나의 촬영 모드로 주변 영상을 획득하는 촬영부; 및
   상기 촬영부에서 획득하는 주변 영상과 미리 저장된 얼굴 영역, 눈 영역 및 코 영역에 대한 학습 영상을 비교하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하고, 상기 눈 영역으로부터 홍채 영역을 검출하고 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하며, 상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하고, 상기 동공 영역의 중심과 상기 안구 중심을 연결하여 상기 사람의 시선 방향을 검출하는 제어부를 포함하되,
   상기 제어부에 의해 복수의 캘리브레이션 포인트가 설정되고, 상기 제어부의 제어에 따라 상기 사람의 시선 방향에 대응하는 지점에 점을 출력하는 출력부를 더 포함하고,
   상기 제어부는,
   상기 출력부에서 상기 사람의 시선 방향에 대응하는 지점에 점을 출력하는 과정을 반복 수행하고, 상기 출력부에 출력되는 점과 상기 복수의 캘리브레이션 포인트를 비교하는 방식으로 상기 사람의 시선 방향에 대한 캘리브레이션을 수행하는 시선 추적 장치.
2. 삭제
3. 제1항에 있어서,
   상기 제어부는,
   미리 저장된 학습영상으로부터 MCT 및 아다부스트(Adaboost) 기법을 이용하여 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 생성하고, 상기 촬영부에서 획득하는 주변 영상에 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 적용하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 얼굴 요소 검출부를 포함하는 시선 추적 장치.
4. 제1항에 있어서,
   상기 제어부는,
   상기 촬영부의 촬영 모드를 광각 모드로 제어하여 상기 주변 영상을 획득하고, 상기 광각 모드에서 촬영되는 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하면, 상기 광각 모드에서 촬영되는 영상의 중심에서 상기 얼굴 영역이 검출될 수 있도록 상기 촬영부를 팬(Pan) 또는 틸트(Tilt) 제어하고, 상기 얼굴 영역의 영상을 확대하여 획득할 수 있도록 상기 촬영부의 촬영 모드를 협각 모드로 전환하는 촬영 제어부를 포함하는 시선 추적 장치.
5. 제1항에 있어서,
   상기 제어부는,
   상기 눈 영역의 영상에 가변 템플릿을 매칭하여 홍채 영역을 검출하고, K-평균 알고리즘을 적용하여 상기 홍채 영역에서 상기 동공 영역을 분리하며, 상기 동공 영역의 무게중심을 상기 동공 영역의 중심으로 검출하는 동공 중심 검출부를 포함하는 시선 추적 장치.
6. 제5항에 있어서,
   상기 제어부는,
   상기 눈 영역 및 상기 코 영역의 위치 정보를 이용하여 피치(Pitch), 롤(Roll), 요(Yaw)의 상기 사람의 얼굴 포즈의 각도를 산출하는 얼굴 포즈 검출부; 및
   상기 눈 영역의 영상에 로버트 에지 검출기를 적용하고, 레이블링을 수행하여 눈 코너점을 검출하며, 상기 눈 코너점 및 상기 사람의 얼굴 포즈의 각도를 이용하여 상기 안구 중심을 검출하는 안구 중심 검출부를 더 포함하는 시선 추적 장치.
7. 주변 영상을 획득하고 미리 저장된 얼굴 영역, 눈 영역 및 코 영역에 대한 학습 영상과 비교하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하고,
   상기 눈 영역으로부터 홍채 영역을 검출하고, 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하며,
   상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하고,
   상기 동공 영역의 중심과 상기 안구 중심을 연결하여 상기 사람의 시선 방향을 검출하되,
   복수의 캘리브레이션 포인트를 설정하고,
   상기 사람의 시선 방향에 대응하는 지점과 상기 복수의 캘리브레이션 포인트를 비교하는 방식으로 상기 사람의 시선 방향에 대한 캘리브레이션을 수행하는 것을 더 포함하는 시선 추적 방법.
8. 삭제
9. 제7항에 있어서,
   상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 것은,
   미리 저장된 학습영상으로부터 MCT 및 아다부스트(Adaboost) 기법을 이용하여 얼굴 영역, 눈 영역 및 코 영역 분류기를 생성하고, 상기 주변 영상에 상기 얼굴 영역, 눈 영역 및 코 영역 분류기를 적용하여 상기 주변 영상에 나타나는 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하는 것인 시선 추적 방법.
10. 제7항에 있어서,
    상기 눈 영역으로부터 홍채 영역을 검출하고, 상기 홍채 영역에서 동공 영역을 분리하여 그 중심을 검출하는 것은,
    상기 눈 영역의 영상에 가변 템플릿을 매칭하여 홍채 영역을 검출하고, K-평균 알고리즘을 적용하여 상기 홍채 영역에서 상기 동공 영역을 분리하며, 상기 동공 영역의 무게중심을 상기 동공 중심으로 검출하는 것인 시선 추적 방법.
11. 제10항에 있어서,
    상기 얼굴 영역에서의 상기 눈 영역 및 상기 코 영역의 위치 정보로부터 상기 사람의 얼굴 포즈의 각도를 산출하여 상기 사람의 얼굴 포즈의 각도에 따른 안구 중심을 검출하는 것은,
    상기 눈 영역 및 상기 코 영역의 위치 정보를 이용하여 피치(Pitch), 롤(Roll), 요(Yaw)의 상기 사람의 얼굴 포즈의 각도를 산출하고,
    상기 눈 영역의 영상에 로버트 에지 검출기를 적용하고, 레이블링을 수행하여 눈 코너점을 검출하며, 상기 눈 코너점 및 상기 사람의 얼굴 포즈의 각도를 이용하여 상기 안구 중심을 검출하는 것인 시선 추적 방법.
12. 제7항, 제9항 내지 제11항 중 어느 하나의 항에 따른 시선 추적 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.

Images