KR20140147748A

KR20140147748A - 시력 보조 기구 착용시에도 안정적인 시선 추적 방법

Info

Publication number: KR20140147748A
Application number: KR1020140075063A
Authority: KR
Inventors: 이희경
Original assignee: 한국전자통신연구원
Priority date: 2013-06-19
Filing date: 2014-06-19
Publication date: 2014-12-30

Abstract

본 발명은, 사용자의 눈을 각각 다른 각도로 조명하는 복수의 조명유닛을 주기적으로 기설정된 순서에 따라 어느 하나를 제외한 나머지를 점등하여 사용자의 눈을 조명하는 조명단계; 조명단계의 점등에 대응하여, 조명된 사용자의 눈을 카메라로 촬영하여 영상을 획득하는 촬영단계; 획득된 영상에서 동공 및 각막반사광의 검출여부를 판단하는 검출단계; 검출을 성공한 경우, 영상에서 사용자의 현재 시선위치를 계산하는 시선위치계산단계를 포함하는 시선추적방법으로서, false negative, false positive 등의 오류를 발생시킬 수 있는 판단 알고리즘의 결과에 의존하지 않으면서, 시력 보조 기구 착용자와 비착용자 모두에게 안정적인 시선추적 기능을 제공해줄 수 있다.

Description

시력 보조 기구 착용시에도 안정적인 시선 추적 방법{A method for stable eye-tracking even when wearing aids}

본 발명은 시선추적 장치 및 방법에 관한 것으로, 보다 상세하게는 안경, 선글라스, 콘택트렌즈 등의 시력 보조 기구(viewing aids) 착용시에도 안정적인 시선추적 장치 및 방법에 관한 것이다.

안구에 조명을 조사하는 시선추적기를 시력 보조 기구(viewing aids) 착용자가 사용할 경우, 도 1과 같이 시력 보조 기구(viewing aids) 렌즈에 생긴 조명 반사광이 동공 영역 또는 동공에 생긴 반사광을 가려 시선추적이 불가능한 문제가 발생한다.

이를 해결하기 위해 종래 시선추적기들은 시력 보조 기구 검출 수단 (예를 들어 크기가 특정 threshold 이상인 반사광의 존재유무 판별, 안경테 존재유무 판별 등)을 이용해 사용자의 시력 보조 기구 착용 여부를 식별하고, 시력 보조 기구를 착용했다고 판단될 경우, 조명 간의 간격을 넓히거나, 조명을 번갈아 점멸시켜보는 등의 방법으로 동공 영역 또는 동공에 생긴 반사광을 가리는 조명 문제를 해결하고자 하였다. 그러나 이러한 시력 보조 기구(viewing aids) 착용자 시선추적 방법은 시력 보조 기구 검출 수단의 성능에 의존한다. 즉, 시력 보조 기구 검출 수단이 무테, 굵은 뿔테, 색이 짙은 선글라스 등과 같은 다양한 종류 및 재질의 시력 보조 기구를 제대로 식별해내지 못해 false negative의 결과를 내면 조명간의 간격을 넓히거나, 조명을 번갈아 점멸시켜보는 등의 조작이 이루어지지 않으며, 이로 인해 시선추적이 불가능한 문제점이 지속된다. 반대로, 시력 보조 기구 검출 수단이 시력 보조 기구 비착용시에 false positive 결과를 내면 불필요하게 조명간의 간격을 넓히거나, 조명을 번갈아 점멸시켜보는 등의 조작이 이루어짐으로써 시선추적을 불안정하게 하는 문제가 발생한다.

본 발명은 종래의 시선추적기에서 제공하는 시력 보조 기구(viewing aids) 착용자 시선추적 방법의 맹점인 시력 보조 기구 검출 수단의 판단 알고리즘에 오류가 있을 경우 발생하는 하드웨어 오동작 문제를 해결하여 보다 정확하고 안정적인 시선추적 성능을 제공하는데 그 목적이 있다.

상기 과제의 해결 수단은, 본 발명에 따라, 사용자의 눈을 각각 다른 각도로 조명하는 복수의 조명유닛을 주기적으로 기설정된 순서에 따라 어느 하나를 제외한 나머지를 점등하여 사용자의 눈을 조명하는 조명단계; 조명단계의 점등에 대응하여, 조명된 사용자의 눈을 카메라로 촬영하여 영상을 획득하는 촬영단계; 획득된 영상에서 동공 및 각막반사광의 검출여부를 판단하는 검출단계; 검출을 성공한 경우, 영상에서 사용자의 현재 시선위치를 계산하는 시선위치계산단계를 포함하는 시선추적방법이 제공된다.

본 발명에 따른 시선 추적 방법을 통하여, 특히 안경, 선글라스, 콘택트렌즈 등의 시력 보조 기구(viewing aids) 착용시에도 안정적인 시선추적 성능을 제공하기 위해 false negative, false positive 등의 오류를 발생시킬 수 있는 별도의 판단 알고리즘 없이 동기 장치가 주기적으로 발생시키는 제어신호에 따라 하드웨어의 동작을 조정함으로써 동공 영역 또는 동공에 생긴 반사광이 가려지지 않는 영상을 확보하여 시력 보조 기구 착용자와 비착용자 모두에게 정확하고 안정적인 시선추적 기능을 제공해줄 수 있다.

또한, 시력 보조 기구의 비착용자에게 불필요한 영상처리로 인한 리소스 낭비를 방지하는 효과가 있다.

도 1은 시력 보조 기구 렌즈에 생긴 조명 반사광이 동공 영역을 가리는 경우를 나타내는 도면이다.
도 2는 본 발명에 따른 실시예의 순서도이다.
도 3은 본 발명에 따른 검출단계, 시선위치계산단계의 순서도이다.
도 4는 본 발명에 따른 시선추적방법을 장치로 구현한 실시예의 시스템 구성도이다.

이하, 본 발명의 실시 예에 따른 시선 추적 방법에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 이하에서는 도면을 참조하여 본 발명을 자세히 설명한다.

도 1은 시력 보조 기구 렌즈에 생긴 조명 반사광이 동공 영역을 가리는 경우를 나타낸 도면이다.

도시된 바와 같이 시력 보조 기구 착용자의 시선추적시 렌즈의 반사광이 동공영역을 가리게 되어 시선의 추적이 어려운 문제점을 나타난다.

도 2는 본 발명에 따른 실시예의 순서도이다.

도시된 바와 같이 본 발명에 따른 시선추적방법의 실시예는 조명단계(10), 촬영단계(20), 검출단계(30), 시선위치계산단계(40)를 포함하여 구성된다.

조명단계(10)에서는 사용자의 눈을 각각 다른 각도로 조명 가능하게 구성된 복수의 조명유닛(11)을 주기적으로 기설정된 순서에 따라 어느 하나를 제외한 나머지를 점등하여 사용자의 눈을 조명하게 된다.

복수의 조명유닛(11)이 점등되는 순서는 상측부터 시계방향으로 하나씩 번갈아가며 소등되는 순서로 구성할 수 있고, 또한, 시계 반대방향, 또는 상하좌우 순서 등 다양한 순서로 구성할 수 있다. 나아가 최초에 모든 조명유닛(11)을 점등하는 순서를 추가하여 구성할 수 있다.

촬영단계(20)는 사용자의 눈을 촬영 가능한 위치에 배치되며, 조명단계(10)의 점등에 대응하여, 조명된 사용자의 눈을 촬영하는 카메라(21)를 통하여 영상을 획득하게 된다.

검출단계(30)는 카메라(21)가 촬영하여 획득된 영상에서 동공 및 각막 반사광이 모두 검출되는지 여부를 판단하게 된다.

검출단계(30)에서 동공 및 각막반사광이 모두 검출되면 해당 영상에서 사용자의 현재 시선위치를 계산하는 시선위치계산단계(40)를 수행한다.

검출단계(30)에서 동공 및 각막반사광이 검출되지 않으면 기획득된 다음순서의 영상에서 동공 및 각막반사광을 검출하는 검출단계(30)을 수행한다.

시선위치계산단계(40)에서 사용자의 시선위치가 계산되면, 사용자의 다음 시선위치를 계산하기 위하여, 기획득된 조명단계(10)의 기설정된 점등순서 중 처음 순서 영상에서 동공 및 각막반사광을 검출하는 검출단계(30)을 수행한다.

즉, 검출단계(30), 시선위치계산단계(40)와 독립적으로 조명단계(10) 및 촬영단계(20)는 순서대로 진행되며, 검출단계(30)와 시선위치계산단계(40)가 성공한 경우에는 기 설정된 순서대로 촬영되는 이후 영상을 모두 무시하고, 다음 시선위치의 계산을 위하여, 다시 첫 번째 순서의 영상이 획득되었을 때 검출단계와 시선위치단계를 수행하는 단계를 반복하게 된다.

도 3은 본 발명에 따른 실시예의 검출단계(30), 시선위치계산단계(40)의 순서도이다.

한번의 시선위치를 계산하기 위하여 기 설정된 순서에 따라 조명단계(10) 및 촬영단계(20)를 거쳐 획득된 복수의 영상으로 구성된 하나의 영상 셋(Set)을 이용하게 된다. 이하, 하나의 영상 셋(Set)에 해당하는 영상들은 획득된 순서에 따라 F_t,F_t+1,F_t+2등이라 하고, 이를 이용하여 검출단계(30) 및 시선위치계산단계(40)를 수행하는 과정에 대하여 상세히 설명한다.

가장 빨리 입력된 영상인 F_t에서 동공 검출을 실시하고, 동공 검출이 성공하면, 동일 영상(F_t)에서 각막반사광을 검출하는 검출단계(30)를 거친다. 각막반사광 검출도 성공하면 검출된 동공과 각막반사광을 이용해 시선위치를 계산 하는 시선위치계산단계(40)를 거친 후 다음 영상 셋(Set)으로 이동한다.

시력 보조 기구(viewing aids) 비착용자 시선추적의 경우 대부분이 이 단계에서 다음 영상 셋(Set)으로 이동함으로써 불필요한 영상처리로 인한 리소스 낭비가 발생하지 않는다.

그러나 만약 시력 보조 기구(viewing aids) 착용자 시선추적시 시력 보조 기구(viewing aids) 렌즈에 생긴 조명 반사광이 동공 영역 또는 동공에 생긴 반사광을 가려 F_t에서 동공 검출이나 각막반사광 검출이 실패하면 미리 정해진 다음 순서의 조명유닛(11)을 점등하고 촬영하여 획득한 다음 입력 영상인 F_t+1에서 동공 검출과 각막반사광 검출을 실시한다.

그리고 만약 F_t+1에서도 동공 검출이나 각막반사광 검출이 실패하면 미리 정해진 다음 순서의 조명유닛(11)을 점등하고 촬영하여 기획득해둔 다음 입력 영상인 F_t+2에서 동공 검출과 각막반사광 검출을 실시한다.

이를 반복하여 최초로 검출에 성공한 동공과 각막반사광이 획득되면, 이를 이용해 시선위치계산단계(40)를 거쳐 다음 영상 셋(Set)으로 이동한다.

도 4는 본 발명에 따른 시선추적방법을 장치로 구현한 실시예의 시스템 구성도이다.

도시된 바와 같이, 본 발명에 의한 시선추적기 하드웨어는 서로 다른 방향에서 조사하는 적어도 두개 이상의 조명유닛(11)과 조명유닛(11)에 의해 조사된 눈 영상을 촬영하는 카메라(21)와, 주기적으로 조명유닛(11)의 점멸 및 카메라(21)의 촬영에 대한 제어 신호를 발생시키는 동기장치(23)와 동기장치(23)의 제어 신호에 따라 조명유닛(11)을 점멸시키는 조명발광제어장치(12), 그리고 동기장치(23)의 제어 신호에 따라 카메라(21)의 촬영을 제어하는 촬영제어장치(22)로 구성된다.

본 발명에 의한 동기장치(23)는 매 주기마다(또는, 매 프레임마다) 조명 점멸 및 카메라(21) 촬영에 대한 제어 신호를 발생시킨다. 동기장치(23)에 의한 제어 신호는 하나 또는 그 이상의 모드를 가질 수 있으며, 모드 지정은 하드웨어 또는 소프트웨어 설정을 통해 가능하다.

본 발명의 일실시예는 도 4에 도시된 바와 같이 3개 이상의 조명유닛을 포함한 시선추적장치로 구성할 수 있으며, 이에 따른 동기장치(23)에 의한 제어 신호 모드는 다음과 같다.

첫번째 모드는 첫번째 주기(t)에 전체 조명유닛(111,112,113) 점등과 카메라(21) 촬영을, 두번째 주기(t+1)에는 제 1조명유닛(111) 멸등, 그외 조명유닛(112,113) 점등, 카메라(21) 촬영을, 세번째 주기(t+2)에는 제 2조명유닛(112) 멸등, 그외 조명유닛(111,113) 점등, 카메라(21) 촬영을, 네번째 주기(t+3)에는 제 3조명유닛(113) 멸등, 그외 조명유닛(111,112) 점등, 카메라(21) 촬영을 지시한다.

두번째 모드는 첫번째 주기(t)에 제 1조명유닛(111) 멸등, 그외 조명유닛(112,113) 점등, 카메라(21) 촬영을, 두번째 주기(t+1)에는 제 2조명유닛(112) 멸등, 그외 조명유닛(111,113) 점등, 카메라(21) 촬영을, 세번째 주기(t+2)에는 제 3조명유닛(113) 멸등, 그외 조명유닛(111,112) 점등, 카메라(21) 촬영을 지시한다.

이러한 동기장치(23) 제어신호에 따라 조명발광제어장치(12)와 촬영제어장치(22)가 조명과 카메라(21)의 동작을 조정함으로써, 시선추적을 위한 영상을 확보한다. 본 발명의 일실시예에 따른 시선추적용 영상은 동기장치(23)에 의한 제어 신호가 첫번째 모드일때는 전체 조명유닛(11)의 점등시 영상과 개별 조명 단독 멸등시 영상들로 구성된 영상 셋(Set, F_t,F_t+1,F_t+2,F_t+3)이 반복되며, 두번째 모드일때는 개별 조명 단독 멸등시 영상들로 구성된 영상 셋이 반복된다.

다시 말해, 본 발명에 의한 시선추적용 영상은 영상 셋(Set)의 조합이며, 하나의 영상 셋(Set) 에는 개별 조명 단독 멸등시 영상이 모두 포함된다. 따라서, 하나의 영상 셋(Set) 에는 반드시 하나 이상의 동공 영역과 동공에 생긴 반사광을 가리지 않는 영상이 포함된다.

본 실시예에 따른 시선추적장치의 소프트웨어는 시선추적장치의 하드웨어로부터 시선추적용 영상을 입력받아 시선추적용 영상을 구성하는 하나의 영상 셋(Set) 당 하나의 시선위치를 계산한다.

본 발명은 보다 정확하고 안정적인 시선추적 성능을 제공하기 위해 시력 보조 기구(viewing aids) 착용자 시선추적에 있어 false negative, false positive 등의 오류를 발생시킬 수 있는 판단 알고리즘의 결과에 의존하지 않는 시선추적방법을 제안한다. 종래 시선추적기들이 판단 알고리즘의 결과에 따라 하드웨어를 조정하여 동공 영역 또는 동공에 생긴 반사광이 가려지지 않는 영상을 확보한 데 반해, 본 발명에 의한 시선추적기는 별도의 판단 알고리즘 없이 동기장치(23)가 주기적으로 발생시키는 제어신호에 따라 하드웨어의 동작을 조정함으로써 동공 영역 또는 동공에 생긴 반사광이 가려지지 않는 영상을 확보하여 시력 보조 기구 착용자와 비착용자 모두에게 안정적인 시선추적 기능을 제공해주는 것을 특징으로 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징들이 변경되지 않고서 다른 구체적인 형태로 실시될 수 있다는 것으로 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 조명단계 11: 조명유닛 12: 조명발광제어장치
111:제 1조명유닛 112: 제 2조명유닛 113: 제 3조명유닛
20: 촬영단계 21: 카메라 22: 촬영제어장치
23: 동기장치
30: 검출단계
40: 시선위치계산단계

Claims

사용자의 눈을 각각 다른 각도로 조명하는 복수의 조명유닛을 주기적으로 기설정된 순서에 따라 어느 하나를 제외한 나머지를 점등하여 사용자의 눈을 조명하는 조명단계;
상기 조명단계의 점등에 대응하여, 조명된 상기 사용자의 눈을 카메라로 촬영하여 영상을 획득하는 촬영단계;
상기 획득된 영상에서 동공 및 각막반사광의 검출여부를 판단하는 검출단계; 및
상기 검출을 성공한 경우, 상기 영상에서 상기 사용자의 현재 시선위치를 계산하는 시선위치계산단계를 포함하는 시선추적방법.