KR101619656B1

KR101619656B1 - 시선추적장치 및 그의 동공검출방법

Info

Publication number: KR101619656B1
Application number: KR1020140172313A
Authority: KR
Inventors: 김선아; 이재호
Original assignee: 현대자동차주식회사
Priority date: 2014-12-03
Filing date: 2014-12-03
Publication date: 2016-05-10

Abstract

본 발명은 시선 추적을 위해 동공 검출 시 이전 눈 영상에서 검출한 동공 정보에 근거하여 현재 취득한 눈 영상 내 동공에 대한 정보를 예측하고 그 예측한 동공정보를 기반으로 동공을 검출하여 정확도를 향상시킬 수 있는 시선추적장치 및 그의 동공검출방법에 관한 것으로, 카메라를 통해 눈 영상을 입력받고, 상기 눈 영상내 동공상태(위치 및 크기)를 예측한 후 상기 눈 영상에서 동공 후보를 선택하고, 상기 동공 후보 중 상기 동공상태와 가장 유사한 동공후보를 동공으로 검출한다.

Description

시선추적장치 및 그의 동공검출방법{Gaze Tracking Apparatus and Method for Detecting Pupil thereof}

본 발명은 시선추적장치에 관한 것으로, 더욱 상세하게는 시선 추적을 위해 동공 검출 시 이전 눈 영상에서 검출한 동공 정보에 근거하여 현재 취득한 눈 영상 내 동공에 대한 정보를 예측하고 그 예측한 동공정보를 기반으로 동공을 검출하여 정확도를 향상시킬 수 있는 시선추적장치 및 그의 동공검출방법에 관한 것이다.

일반적으로, 시선추적기는 얼굴 영상 및 눈 영상을 촬영하고 그 영상에서 동공을 검출한 후 동공 내 조명 반사점을 검출하고 그 검출한 조명 반사점을 이용하여 시선벡터를 계산하므로 시선 추적을 수행한다.

이러한 종래의 시선추적기는 동공 검출 및 조명반사점을 검출한 뒤 칼만 필터(kalman filter) 등을 적용하여 스무딩(smoothing) 및 보정을 하여 시선벡터를 계산한다.

그러나, 종래와 같이 칼만 필터 등의 필터를 그대로 사용할 경우 시선 움직임이 선형적(linear)이지 않기 때문에 정확성이 떨어지는 문제점이 있다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 시선 추적을 위해 동공 검출 시 이전 눈 영상에서 검출한 동공 정보에 근거하여 현재 취득한 눈 영상 내 동공에 대한 정보를 예측하고 그 예측한 동공정보를 기반으로 동공을 검출하여 정확도를 향상시킬 수 있는 시선추적장치 및 그의 동공검출방법을 제공하고자 한다.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법은 카메라를 통해 눈 영상을 입력받는 단계와, 상기 눈 영상내 동공상태를 예측하는 단계와, 상기 눈 영상에서 동공 후보를 선택하는 단계와, 상기 동공 후보 중 상기 동공상태와 가장 유사한 동공후보를 동공으로 검출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 동공상태 예측 단계는, 칼만 필터와 같은 재귀 필터를 이용하여 상기 동공상태를 예측하는 것을 특징으로 한다.

또한, 상기 동공상태는, 동공 위치 및 크기를 포함하는 것을 특징으로 한다.

또한, 상기 재귀 필터는, 검출된 동공의 상태정보를 피드백받아 필터 내 이전 동공상태를 보정하는 것을 특징으로 한다.

또한, 상기 동공 후보 선정 단계는, 상기 눈 영상을 이진화하여 이진영상을 생성하는 단계와, 상기 이진영상에서 윤곽선을 추출하는 단계와, 상기 추출한 윤곽선 중 일정 크기 이상의 윤곽선을 동공 후보로 지정하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 동공 검출 단계는, 상기 눈 영상내 예측된 동공 위치와 동공 후보의 위치 사이의 거리를 산출하는 단계와, 상기 거리가 최소인 동공 후보를 동공으로 검출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 시선추적장치는 사용자의 영상을 취득하는 카메라와, 상기 사용자에게 빛을 발산하는 조명부와, 상기 사용자의 영상으로부터 검출한 눈 영상내 동공상태를 예측하고 그 예측한 동공상태에 근거하여 동공을 검출하는 제어부를 포함하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 사용자의 영상으로부터 상기 눈 영상을 검출하는 눈 검출부와, 상기 눈 영상 내 동공의 위치 및 크기를 포함하는 상기 동공상태를 예측하는 동공 예측부와, 윤곽선 검출을 통해 상기 눈 영상으로부터 동공 후보를 선정하고 상기 동공 후보 중 상기 동공상태와 가장 유사도가 높은 동공 후보를 동공으로 검출하는 동공 검출부와, 상기 동공 내에서 상기 조명부에 의한 조명반사점을 검출하는 조명반사점 검출부와, 상기 동공과 조명반사점을 이용하여 시선벡터를 연산하는 시선 산출부를 포함하는 것을 특징으로 한다.

또한, 상기 동공 예측부는, 칼만 필터로 구현되는 것을 특징으로 한다.

또한, 상기 동공 검출부는, 검출한 동공의 위치 정보 및 크기를 상기 동공 예측부로 피드백하는 것을 특징으로 한다.

본 발명은 동공 검출 시 이전 눈 영상에서 검출한 동공 정보에 근거하여 현재 취득한 눈 영상 내 동공에 대한 정보를 예측하고 그 예측한 동공정보를 기반으로 동공을 검출하여 정확도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치를 도시한 블록구성도.
도 2는 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법을 도시한 흐름도.

본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치를 도시한 블록구성도이다.

도 1에 도시된 바와 같이, 시선추적장치(100)는 카메라(110), 조명부(120), 제어부(130)를 포함한다.

카메라(110)는 사용자를 향하도록 설치되어 사용자의 영상을 취득한다. 이러한 카메라(110)는 하나 이상의 영상센서(미도시)로 구성된다. 여기서, 영상센서는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서, 적외선 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.

예를 들어, 카메라(110)가 두 개의 적외선 영상센서 및 적외선 필터로 구성되는 스테레오 카메라일 수 있다.

조명부(120)는 카메라(110)과 나란하게 배치되어 사용자를 향해 빛을 조사한다. 조명부(120)는 하나 이상의 적외선 발광소자(IR LED)로 구성될 수 있다.

제어부(130)는 카메라(110)를 통해 획득한 사용자의 영상으로부터 눈 영상을 검출하고 눈 영상에서 동공 및 조명반사점을 검출한 후 동공 및 조명반사점을 이용하여 시선을 추적한다. 제어부(130)는 영상처리기(image processor)로 구현될 수 있다.

이러한 제어부(130)는 눈 검출부(131), 동공 검출부(133), 동공 예측부(135), 조명반사점 검출부(137), 시선 산출부(139)를 포함한다.

눈 검출부(131)는 카메라(110)로부터 입력되는 사용자의 영상으로부터 얼굴 영상을 추출한다. 그리고, 눈 검출부(131)는 얼굴 영상에서 눈 영상을 검출한다. 이때, 눈 검출부(131)는 공지된 얼굴 검출 알고리즘 및 눈 검출 알고리즘을 이용할 수 있다.

동공 검출부(133)는 눈 영상을 이진화(thresholding)을 통해 이진영상으로 변환한다. 동공 검출부(133)는 이진영상에서 하나 이상의 윤곽선(contours)을 검출한다. 동공 검출부(133)는 검출한 윤곽선 중 동공 형상과 유사한 윤곽선을 동공 후보로 선정한다. 예를 들어, 동공 검출부(133)는 윤곽선의 가로/세로 비율이 0.9이상 1.1이하인 윤곽선을 동공 후보로 검출한다. 또는, 동공 검출부(133)는 지름이 2mm이상 6mm이하인 원형의 윤곽선을 동공 후보로 검출한다.

동공 검출부(133)는 동공 예측부(135)에 의해 예측된 눈 영상내 동공의 상태정보를 이용하여 동공 후보 중 어느 하나의 동공 후보를 최종적으로 동공으로 검출한다. 여기서, 상태정보는 동공의 위치(좌표) 및 크기(예: 반지름) 등을 포함한다.

예컨대, 동공 검출부(133)는 동공 예측부(135)에 의해 예측된 동공의 위치로부터 가장 근접하게 위치하는 윤곽선을 동공으로 최정 결정한다.

동공 예측부(135)는 동공 검출부(133)에 의해 이전에 검출된 동공의 상태정보(위치 및 크기)를 이용하여 현재 시점의 눈 영상내 동공의 상태정보를 예측한다. 예를 들어, 동공 예측부(135)는 이전 눈 영상에서 검출된 동공의 위치정보(동공의 중심점 좌표)를 이용하여 현재 눈 영상내 동공의 위치를 예측한다.

동공 예측부(135)는 칼만 필터(Kalman Filter)와 같은 재귀 필터로 구현된다. 칼만 필터는 예측(predict) 단계와 보정(correct) 단계가 재귀적으로 동작한다. 예측 단계는 이전 시점에서 측정된 데이터를 기반으로 현재 시점의 추정값을 생성한다. 보정(measurement update) 단계는 현재 시점의 측정값을 받아 이전 값들을 통해서 보정하는 단계로 잡음을 제거하는 역할을 한다.

이와 같이, 시선추적장치는 후처리로써 필터값을 활용하는 것이 아니라 동공 검출시 필터값을 통해 동공 위치를 미리 예측하여 가중치를 준다.

동공 예측부(135)는 초기 동작 시 일정 프레임(예: 10 프레임) 동안 눈 영상(현재 프레임)에서 동공의 상태정보를 예측하고, 동공 검출부(133)로부터 검출된 동공의 상태정보를 보정한다.

조명반사점 검출부(137)는 검출한 동공 내 조명부(120)에 의해 발생되는 조명반사점(glint)을 검출한다. 조명반사점 검출은 동공 검출 방식을 이용할 수 있다.

시선 산출부(139)는 동공 검출부(133) 및 조명반사점 검출부(137)를 통해 검출된 동공 및 조명반사점의 중심점 좌표 및 카메라 정보를 이용하여 시선벡터를 연산한다. 예를 들어, 동공 및 조명반사점의 중심점 좌표를 연결하는 직선에 수직한 방향을 시선으로 산출한다.

도 2는 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법을 도시한 흐름도이다.

먼저, 시선추적장치(100)는 카메라(110)를 통해 눈 영상을 취득한다(S101). 제어부(130)는 카메라(110)로부터 사용자의 영상을 입력받으면 얼굴 영역을 검출하고, 그 검출한 얼굴 영역에서 눈 영역을 검출한다.

제어부(130)는 눈 영상내 동공의 상태를 예측한다(S103). 다시 말해서, 제어부(130)의 동공 예측부(135)는 눈 영상 내 동공의 위치(동공 중심점 좌표) 및 크기(예: 반지름, 지름 등) 등을 포함하는 상태정보를 생성한다. 동공 예측부(135)는 예측한 동공 상태정보를 동공 검출부(133)로 전송한다.

제어부(130)는 눈 영상을 이진화를 통해 이진영상으로 변환한다(S105).

제어부(130)는 윤곽선 검출기법을 이용하여 이진영상에서 윤곽선을 추출한다(S107). 이때, 제어부(130)는 추출한 윤곽선의 위치 및 크기를 산출한다.

제어부(130)는 검출한 윤곽선 중 동공 후보를 선택한다(S109). 예컨대, 제어부(130)는 검출한 윤곽선 중 지름 2mm 이상 6mm 이하인 윤곽선을 동공 후보로 선정한다.

제어부(130)는 예측한 동공상태와 동공 후보 사이의 유사도를 산출한다(S111). 예를 들어, 동공 검출부(133)는 동공의 예측 위치와 동공 후보의 위치 사이의 거리를 연산한다.

제어부(130)는 유사도가 가장 높은 동공 후보를 동공으로 검출한다(S113). 동공 검출부(133)는 동공의 예측 위치와 동공 후보의 위치가 가장 가까운 동공 후보를 동공으로 검출한다.

제어부(130)는 검출한 동공의 상태정보를 동공 예측부(135)로 피드백한다(S115). 동공 검출부(133)는 검출한 동공의 위치 및 크기를 포함하는 상태정보를 동공 예측부(135)로 전달한다.

이후, 제어부(130)는 검출한 동공내 조명반사점을 검출하고, 검출한 동공과 조명반사점의 중심점좌표를 이용하여 시선벡터를 연산한다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.

본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 시선추적장치
110: 카메라
120: 조명부
130: 제어부
131: 눈 검출부
133: 동공 검출부
135: 동공 예측부
137: 조명반사점 검출부
139: 시선 산출부

Claims

카메라를 통해 눈 영상을 입력받는 단계와,
상기 눈 영상내 동공 위치 및 크기를 포함하는 동공상태를 예측하는 단계와,
상기 눈 영상에서 동공 후보를 선택하는 단계와,
상기 동공 후보 중 상기 동공상태와 가장 유사한 동공후보를 동공으로 검출하는 단계를 포함하고,
상기 동공 검출 단계는,
상기 눈 영상내 예측된 동공 위치와 동공 후보의 위치 사이의 거리를 산출하는 단계와,
상기 거리가 최소인 동공 후보를 동공으로 검출하는 단계를 포함하는 것을 특징으로 하는 시선추적장치의 동공검출방법.
제1항에 있어서,
상기 동공상태 예측 단계는,
칼만 필터와 같은 재귀 필터를 이용하여 상기 동공상태를 예측하는 것을 특징으로 하는 시선추적장치의 동공검출방법.
삭제
제2항에 있어서,
상기 재귀 필터는,
검출된 동공의 상태정보를 피드백받아 필터 내 이전 동공상태를 보정하는 것을 특징으로 하는 시선추적장치의 동공검출방법.
제1항에 있어서,
상기 동공 후보 선택 단계는,
상기 눈 영상을 이진화하여 이진영상을 생성하는 단계와,
상기 이진영상에서 윤곽선을 추출하는 단계와,
상기 추출한 윤곽선 중 일정 크기 이상의 윤곽선을 동공 후보로 지정하는 단계를 포함하는 것을 특징으로 하는 시선추적장치의 동공검출방법.
삭제
사용자의 영상을 취득하는 카메라와,
상기 사용자에게 빛을 발산하는 조명부와,
상기 사용자의 영상으로부터 검출한 눈 영상내 동공의 위치 및 크기를 포함하는 동공상태를 예측하고 그 예측한 동공상태에 근거하여 동공을 검출하는 제어부를 포함하고,
상기 제어부는 윤곽선 검출을 통해 상기 눈 영상으로부터 동공 후보를 선정하고 상기 동공 후보 중 예측된 동공 위치와의 거리가 최소인 동공 후보를 동공으로 검출하는 것을 특징으로 하는 시선추적장치.
제7항에 있어서,
상기 제어부는,
상기 사용자의 영상으로부터 상기 눈 영상을 검출하는 눈 검출부와,
상기 눈 영상 내 상기 동공상태를 예측하는 동공 예측부와,
상기 눈 영상으로부터 동공으로 검출하는 동공 검출부와,
상기 동공 내에서 상기 조명부에 의한 조명반사점을 검출하는 조명반사점 검출부와,
상기 동공과 조명반사점을 이용하여 시선벡터를 연산하는 시선 산출부를 포함하는 것을 특징으로 하는 시선추적장치.
제8항에 있어서,
상기 동공 예측부는,
칼만 필터로 구현되는 것을 특징으로 하는 시선추적장치.
제8항에 있어서,
상기 동공 검출부는,
검출한 동공의 위치 정보 및 크기를 상기 동공 예측부로 피드백하는 것을 특징으로 하는 시선추적장치.