KR101394719B1

KR101394719B1 - 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터

Info

Publication number: KR101394719B1
Application number: KR1020127010876A
Authority: KR
Inventors: 롱펭 주앙
Original assignee: 알까뗄 루슨트
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2014-05-15
Also published as: CN102473033A; CN102473033B; JP5474202B2; US20120169596A1; JP2013506209A; KR20120080215A; EP2485118A1; WO2011038527A1; EP2485118A4

Abstract

본 발명은 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하기 위한 장치를 제공하되, 상기 장치는 사용자의 안면 이미지를 캡처하기 위한 카메라와, 기준 안면 이미지들과 사용자의 시선 방향들(line-of sight directions) 사이의 관계들을 포함하는 기준표를 획득하기 위한 기준표 획득 유닛과, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라에 의해 캡처된 사용자의 안면 이미지에 기초하여 이미지 측정을 수행하고, 기준표 획득 유닛에서 기준표를 탐색(looking up)하기 위한 계산 유닛을 포함한다.
본 발명은 또한 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하는 방법을 제공한다.
본 발명은 사용자의 시선을 검출할 수 있고, 이는 커서의 이동에 큰 편의를 제공한다.

Description

주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터{METHOD FOR VIEWING POINTS DETECTING AND APPARATUS THEREOF}

본 발명의 실시예는 이미지 프로세싱 분야에 관한 것이며, 상세하게는, 안면 검출 및 이미지 측정에 기초하여 주시점(fixation point)을 검출하기 위한 방법 및 장치에 관한 것이다.

이미지 프로세싱 기술의 발전을 통해, 사용자가 현재 비디오 디스플레이의 스크린(예를 들면, 데스크톱 또는 랩톱의 스크린, TV의 스크린 등) 상에서 커서를 한 영역으로부터 또 다른 영역으로 이동시키고자 할 때, 사용자는 동작을 수행하기 위해 항상 보조 디바이스(예를 들면, 마우스 또는 터치패드 또는 원격 제어기)를 수용할 필요가 있다. 그러나, 일부 사용자에 대해, 손의 이동은 일부 이유들, 예를 들면, 생리학적 장애 또는 부상으로 인해 제한되고, 따라서, 커서를 이동시키기 어렵거나 심지어 불가능할 것이다. 또한, 손이 정상적으로 움직일지라도, 일부 특별한 시나리오에서, 손을 사용하지 않고 커서 이동을 수행하거나, 손의 이동 거리를 최소로 단축시키는 것이 바람직하다.

또한, 커서를 이동시키지 않는 경우에서조차, 일부 애플리케이션들은 후속 프로세싱 및 동작을 수행하기 위해 스크린 상의 사용자의 주시점을 검출할 필요가 있을 수 있다.

오늘날, 증가하는 카메라 대중화와 증가하는 발달한 안면 검출 알고리즘의 등장으로 인해, 카메라에 기초하여 비디오-이미지를 검출하는 것이 실행 가능하다. 따라서, 스크린상에서 사용자의 주시점을 검출하기 위해, 카메라를 활용하여 주시점을 검출하는 기술이 요구된다.

본 발명의 일 양상에 따르면, 스크린 상의 사용자의 주시점(fixation point)을 계산하는데 사용되는 주시점 검출 장치가 제공되며, 상기 장치는, 사용자의 안면 이미지를 캡처하기 위한 카메라와, 기준 안면 이미지들과 사용자의 시선 방향들(line-of-sight directions) 사이의 관계들을 포함하는 기준표를 획득하기 위한 기준표 획득 유닛과, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라에 의해 캡처된 사용자의 안면 이미지에 기초하여 이미지 측정을 수행하고, 기준표 획득 유닛에서 기준표를 탐색(looking up)하기 위한 계산 유닛을 포함한다.

바람직하게, 기준표 획득 유닛은, 카메라에 의해 캡처된 사용자의 적어도 하나의 기준 안면 이미지에 기초하여 기준표를 구성하기 위한 기준표 구성 유닛, 및 이미 구성된 기준표를 저장하는 기준표 저장 유닛 중 적어도 하나를 포함한다.

바람직하게, 계산 유닛은, 카메라의 위치에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산하기 위한 시선 방향 검출 유닛과, 카메라의 위치, 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리, 및 사용자의 시선 방향에 기초하여 스크린 상의 사용자의 주시점을 계산하기 위한 주시점 계산 유닛을 포함한다.

바람직하게, 주시점을 검출하기 위한 장치는 커서 이동 유닛(cursor moving unit)을 더 포함하고, 주시점이 계산된 후에, 주시점이 스크린 내에 위치되면, 커서 이동 유닛은 스크린 상의 커서를 주시점으로 이동시킨다.

바람직하게, 주시점 및 커서의 현재 위치 사이의 거리가 사전 정의된 값 미만이면, 커서 이동 유닛은 커서를 이동시키지 않는다.

바람직하게, 주시점을 검출하기 위한 장치는 커서 위치에서 동작을 수행하기 위한 보조 유닛을 더 포함한다. 바람직하게, 보조 유닛은 마우스, 키보드, 터치패드, 핸들, 및 원격 제어기 중 적어도 하나를 포함한다.

본 발명의 또 다른 양상에 따라, 스크린 상의 사용자의 주시점을 계산하기 위한 주시점 검출 방법이 제공되고, 상기 방법은, 기준 안면 이미지들과 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 획득하는 기준표 획득 단계와, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라를 사용하여 사용자의 안면 이미지를 캡처하고, 이미지 측정을 수행하고, 기준표를 탐색하는 주시점 계산 단계를 포함한다.

바람직하게, 기준표 획득 단계는, 기준 안면 이미지들과 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 구성하기 위해 카메라를 사용하여 사용자의 적어도 하나의 기준 안면 이미지를 획득하는 단계와, 이미 구성된 기준표를 직접적으로 획득하는 단계 중 적어도 하나를 포함한다.

바람직하게, 주시점 계산 단계는, 카메라에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산하는 단계와, 카메라의 위치, 사용자의 2 개의 눈동자들의 중간 지점과 카메라의 거리, 및 사용자의 시선 방향에 기초하여, 스크린 상의 사용자의 주시점을 계산하는 단계를 포함한다.

바람직하게, 주시점 검출 방법은, 주시점이 계산된 후에, 주시점이 스크린 내에 위치되면, 스크린 상의 커서를 주시점으로 이동시키는 단계를 더 포함한다.

바람직하게, 주시점 및 현재의 커서 위치 사이의 거리가 사전 정의된 값 미만이면, 커서가 이동되지 않는다. 바람직하게, 사전 정의된 값은 요청에 따라 설정될 수 있다.

본 발명의 추가적인 양상에 따라, 사용자 주변에 다수의 스크린들을 갖는 다중-스크린 컴퓨터가 제공되고, 다중-스크린 컴퓨터는 본 발명에 따른 주시점을 검출하기 위한 장치를 포함한다.

본 발명의 상기 및 다른 특징들은 첨부한 도면을 참조하여 다음의 상세한 설명을 통해 더욱 명백해질 것이다.

도 1은 본 발명에 따라 주시점을 검출하기 위한 장치의 실시예의 블록도.
도 2a는 본 발명에 따라 주시점을 검출하는 방법의 실시예의 흐름도.
도 2b는 도 2a의 주시점을 검출하는 방법의 서브-단계의 흐름도.
도 3은 예시적인 좌표계에서 기준 안면 이미지의 도면.
도 4는 예시적인 안면 이미지의 도면.
도 5a는 상이한 안면 방향들의 도면.
도 5b는 상이한 안면 방향들의 코딩된 맵.
도 6a는 상이한 방향들의 안구 모델의 도면.
도 6b는 예시적인 좌표계에서 안구 모델의 수직각 및 수평각 사이의 관계의 도면.
도 7은 투영 둘레 반경 및 원뿔 꼭짓점 각도 사이의 관계의 도면.
도 8은 카메라와 사용자 사이의 접속선의 투영(A_n' B')과 X 축(A₀' C') 사이의 각도의 도면.
도 9는 본 발명에 따라 주시점을 검출하는 원리도.
도 10은 안구 방향 표의 예의 블록도.
도 11은 투영 둘레 반경-원뿔 꼭짓점 각도 표의 예의 블록도.

이후에, 본 발명의 원리 및 구현은 첨부한 도면을 참조하여 본 발명의 실시예들에 대한 설명을 통해 더욱 명백해질 것이다. 본 발명이 후술되는 바와 같이 특정 실시예들로 제한되지 않아야 한다는 것이 유의되어야 한다.

도 1은 본 발명에 따라 주시점을 검출하기 위한 장치(100)의 실시예의 블록도이다.

도 1에 예시된 바와 같이, 주시점을 검출하기 위한 장치(100)는 카메라(102), 기준표 획득 유닛(104), 및 계산 유닛(106)을 포함한다. 카메라(102)는 사용자의 안면 이미지를 캡처하기 위한 당 분야의 일반적인 카메라일 수 있다. 기준표 획득 유닛(104)은 사용자의 기준 안면 이미지들과 시선 방향들 사이의 관계를 포함하는 기준표를 획득하기 위한 것이다. 계산 유닛(106)은 기준표를 통해 사용자의 시선 방향을 계산하고, 그후, 스크린(108) 상의 사용자의 주시점을 계산할 수 있다.

이후에, 예로서, 기준 안면 이미지 및 기준표의 특정 구현뿐만 아니라 주시점을 검출하기 위한 장치(100) 내의 각각의 구성 요소의 동작이 도 3 내지 도 9를 참조하여 예시된다.

위치 결정(locating) 및 계산을 수행하기 위해, 도 3에 예시된 바와 같은 3-축 좌표계가 수립될 수 있고, 여기서 좌표계의 기원은 스크린의 상부 좌측 코너에 위치된다. 컴퓨터 사용자의 관점에서, 스크린의 상부 에지를 따라 좌에서 우로 연장되는 축이 X 축이고, 스크린의 좌측 에지를 따라 위로부터 아래로 연장되는 축이 Y 축이고, 한편 스크린에 대해 수직으로 멀리서부터(스크린 엔드) 가까운 곳으로(사용자 엔드) 연장되는 축이 Z 축이다. 카메라(102)는 좌표(x₁, y₁, 0)를 갖는 지점 A에 설치된다. 도 4에 예시된 바와 같이, 지점 B는 사용자의 2 개의 눈동자들 사이의 중간 지점이다. AB 거리는 지점 A(카메라의 위치) 및 지점 B 사이의 거리이다. 눈동자 거리(pupil distance)는 이미지에서 사용자의 2 개의 눈동자들의 중심들 사이의 거리이다.

예를 들면, 스크린이 평면 1(P1)이고, 한편 카메라(102)의 전면 안면이 평면 1에 평행한다고 가정하자. 그리고, 지점 B가 평면 1에 평행한 평면 2(P2) 또는 평면 3(P3) 내에 위치된다고 가정하자. 도 9에 예시된 바와 같이, 평면 Pb는 지점 B가 위치되고 직선 AB에 수직인 평면을 지칭한다. 평면 Pb에서, Yb 축은 직선 AB가 위치된 수직 평면과 평면 Pb 사이의 교차선이고, Xb 축은 평면 Pb 내의 직선으로, Yb 축에 수직이다.

"더 멀리, 더 작게, 더 가깝게, 더 크게"의 원리에 따라, 지점 A 및 B 사이의 거리는 안면 이미지의 크기 또는 관련 구성 성분 거리에 기초하여 검출될 수 있다. 측정을 수행하기 위해, 기준 안면 이미지가 도입된다. 도 3에 예시된 바와 같이, 기준 안면 이미지는, 사용자의 안면이 카메라의 바로 앞에 있을 때 카메라에 의해 캡처된 이미지를 지칭하고, A 및 B 사이의 거리는 D₀(카메라 및 2 개의 눈동자들의 중간 지점 사이의 거리)이다. 상대적인 오차의 가능한 존재로 인해, 기준 이미지들이 많을수록 상대적인 오차를 감소시키고, 더 정확한 검출 결과를 초래할 수 있다. 예를 들면, 2 개의 기준 안면 이미지들이 도입되고, 하나의 기준 안면 이미지는 D₀의 AB 거리를 갖고, 다른 기준 안면 이미지는 D₁의 더 짧은 AB 거리를 갖는다. 기준 안면 이미지들을 획득하기 위해, 카메라(102)는 좌표계 내의 좌표(x₁, y₁, 0)를 갖는 지점 A에서 설정되어야 하고, 사용자는 지점 B(도 4에 예시된 바와 같이, 2 개의 눈들 사이의 중간 지점)이 좌표계에서 (x₁, y₁, z₀) 또는 (x₁, y₁, z₁)에 위치되는 것을 보장하기 위해 적절한 위치에 위치되어야 하고, (x₁, y₁, z₀) 또는 (x₁, y₁, z₁)는 다음의 수학식들을 만족해야 한다.

사용자 안면이 안면 검출/식별 알고리즘을 사용하여 검출될 때, 각각의 눈동자의 중심은, 도 4에 예시된 바와 같이, 지점 B 및 2 개의 눈동자들의 중심들의 사이의 거리가 획득될 수 있도록 위치될 수 있다. 사용자의 안면 이미지가 D₀의 거리를 갖는 기준 안면 이미지이면, 2 개의 눈동자들의 중심들 사이의 거리는 기준 눈동자 거리 P₀이다. 사용자의 안면 이미지가 D₁의 거리를 갖는 기준 안면 이미지이면, 2 개의 눈동자들의 중심들 사이의 거리는 기준 눈동자 거리 P₁이다.

이러한 실시예에서, 기준표는 안구 방향 표 및 투영 둘레 반경 - 원뿔 꼭짓점 각도 표를 포함하고, 이는 도 10 및 도 11을 참조하여 이후에 상세히 설명될 것이다.

사용자가 스크린 내의 상이한 영역들을 향해 바라볼 때, 사용자는 안면이 상기 영역을 직접적으로(또는 거의 직접적으로) 향하도록 머리를 돌릴 수 있다. 도 5a는 가능한 안면 방향들을 예시한다. 안면의 상이한 방위들(orientations)에 기초하여, 안면 방위들은 실질적으로 본원에서 9 개의 방향들로 분할될 수 있고, 상이한 안면 방향들이 코딩되고, 특정 코드들이 도 5b에 예시된다.

사용자의 안면을 캡처할 때, 사용자의 눈들의 눈동자들의 윤곽들이 동시에 결정될 수 있다. 본 실시예에서, 사용자의 눈은 구(sphere)로서 고려될 수 있고, 한편 눈동자는 안구의 표면 상의 원으로서 고려될 수 있다. 또한, 눈동자는 스크린 상의 주시점을 향해 직접적으로 대면할 수 있다. 도 6a는 2 개의 상이한 안구 방향들을 갖는 안구 모델을 예시한다. 도 6a에 예시된 바와 같이, 사용자가 상이한 방향들을 향해 바라볼 때, 눈동자는 눈과 함께 방향을 변경할 것이다. 카메라에 의해 캡처된 이미지에서, 눈동자의 윤곽은 한 종류의 타원형에서 또 다른 종류의 타원형으로 변할 것이다. 눈동자의 윤곽 및 안면 방향에 기초하여, 각각의 안구의 회전 각도가 획득될 수 있고, 회전 각도는,

좌측 안구의 수직 회전 각도:

,

좌측 안구의 수평 회전 각도:

,

우측 안구의 수직 회전 각도:

,

우측 안구의 수평 회전 각도:

를 포함한다.

본원에서

은 눈동자 방향 및 Yb 축 사이의 각도를 지칭하고, 한편

은 눈동자 방향 및 Xb 축 사이의 각도를 지칭한다. 안구 방향의 계산 성능을 개선하기 위해, 상기의 4 개의 각도들,

,

, 및

을 획득하도록, 안구 방향 표는 모든 가능한 안구 방향들 및 이들의 회전 각도들을 열거하도록 도입된다. 도 10을 참조하면, 표는 다음의 열들(columns)의 정보를 적어도 포함하고, 제 1 열은 인덱스를 나타내고, 제 2 열은 수직 회전 각도

를 나타내고, 제 3 열은 수직 회전 각도

를 나타내고, 제 4 열은 대응하는 실질적인 안면 방향을 나타내고, 제 5 열은 눈(눈동자)이 수직 및 수평으로 회전된 후에 눈동자 윤곽에 관련된 이미지를 포함한다. 제 2 열(

) 및 제 3 열(

)의 값들은 0.0°- 180.0° 사이에서 변동한다. 도 6b에 예시된 바와 같이,

및

의 값들은 지점 0이 구 표면 상에 위치된다는 것을 만족해야 한다. 안구 방향 표의 값 범위는 카메라를 대면하는 구 표면의 측면(즉, Z 축의 음의 축 방향)에서 샘플링 지점들에 대응하는

및

이고, 샘플링 지점들에서 눈동자의 윤곽 형태가 카메라에 의해 관측된다. 샘플링 지점들이 더 조밀할수록,

및

의 증가가 더 적고, 결과들이 더 정확하지만, 수행될 부하가 더 크다. 디폴트 각도 증가는 0.1°이다. 예로서, 도 10은 눈동자들이 지점 M, 지점 N, 지점 Q, 및 지점 Q'일 때 표 콘텐츠만을 예시한다(인덱스 열은 1, 2, 3 등과 같이 실제 구현에서 정수값만큼 점차적으로 증가되어야 하고, 따라서, 표현의 편의를 위해, 이들은 I_M, I_N, I_Q 등으로서 기록됨).

이러한 표의 사용 프로세스가 아래에 지정되고, 눈의 이미지를 획득한 후에, 좌측 눈(우측 눈)의 윤곽은 표에서 가장 적절한 윤곽을 찾도록 추출되어, 이로써 다음의 각도들,

,

(또는

,

)을 획득한다. 표로부터, 도 6 내의 구 중심 주변의 대칭적인 지점들, 예를 들면, 지점들 Q 및 Q'이 카메라에 의해 관측되는 눈동자 윤곽들과 동일하다는 것을 알 수 있고, 이는 안면 방향을 통한 판정을 필요로 한다. 실제 동작 프로세스에서, 사용자의 가능한 각도들

및

의 범위의 보간법(interpolation)은 카메라(102)에 대한 사용자 및 스크린의 크기의 위치 관계에 기초하여 강화될 수 있고, 이는 결과들의 정확성을 개선하는데 도움을 준다.

카메라(102)에 대해, 원뿔 측면 상의 모든 지점들은 카메라에 의해 캡처된 이미지 내의 원으로 투영될 것이다. 따라서, 일단 카메라에 의해 이미지 내의 원의 반경이 획득되면, 도 7에 예시된 바와 같이, 원뿔의 꼭짓점 각도가 결정될 수 있다. 원뿔의 꼭짓점 각도를 더 양호하게 설명하기 위해, 도 11은 원뿔의 모든 가능한 꼭짓점 각도들 및 특정 카메라에 대한 투영 둘레의 반경 사이의 관계를 예시한다. 표의 거리 단위는 픽셀이고, 이는 다른 단위들로 변환될 수 있다. 투영 둘레의 반경 값들의 범위는 0 - R_MAX이다. R_MAX는 이미지 중심으로부터 이미지의 코너로의 최장 거리이다. 상이한 카메라들이 상이한 분해능, 포커스 거리, 및 광각(wide-angles)을 갖기 때문에, 표 내의 콘텐츠는 상이한 카메라들에 기초하여 설정될 수 있다. 투영 둘레 반경의 증가의 제한된 입도(granularity)는 5 픽셀들이다. 입도가 더 작을수록, 결과들이 더 정확하지만, 실행될 때, 계산 및 비교의 시간이 더 많이 요구된다. 예로서, 도 11에 예시된 바와 같이, 투영 둘레 반경 - 원뿔 꼭짓점 표는 10 픽셀의 단위를 채택하고, 카메라의 R_MAX는 200 픽셀들이고, 카메라의 최대 시야각은 40°(좌측 및 우측에 대해 각각 20°)이다.

실제 구현 프로세스에서, 사용자가 항상 위치된 위치에 대응하는 각도(즉, 원뿔의 꼭짓점 각도)의 보간법은 카메라(102)에 대한 사용자의 위치 관계에 기초하여 강화되고, 이는 결과들의 정확성을 개선하는데 도움을 준다.

본 실시예에서, 기준표 획득 유닛(104)은, 카메라(102)에 의해 캡처된 거리들 D₀ 및 D₁을 갖는 기준 안면 이미지들을 활용하여 상술된 눈 방향 표 및 투영 둘레 반경 - 원뿔 꼭짓점 표를 구성하는 기준표 구성 유닛(1042)을 포함한다. 또한, 기준표 획득 유닛(104)은 기준표 저장 유닛(1044)을 더 포함한다. 기준표가 구성되고 기준표 저장 유닛(1044)에 저장되면, 기준표 획득 유닛(104)은 기준표 저장 유닛(1044)으로부터 기준표를 직접적으로 판독할 수 있다. 또한, 기준표 구성 유닛(104)에 의해 구성된 기준표는 기준표 저장 유닛(1044)에 저장될 수 있다.

계산 유닛(106)은 시선 방향 계산 유닛(1062) 및 주시점 계산 유닛(1064)을 포함할 수 있다. 여기서, 시선 방향 계산 유닛(1062)은 카메라의 위치에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점으로부터 카메라까지의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산한다. 구체적으로, 시선 방향 계산 유닛(1062)은 사용자 안면의 실질적인 방향, 사용자의 눈 및 눈동자의 윤곽, 및 눈동자 거리 P를 검출하기 위해 발달한 안면 검출/식별 알고리즘, 예를 들면, OpenCV를 채택한다. AB 거리 L은 눈동자 거리 P, 기준 눈동자 거리들 P₀ 및 P₁을 사용하여 계산된다. 거리 및 이미지 크기는 다음의 관계들을 갖는다.

따라서, AB 거리 L 및 눈동자 거리 P는 다음의 수학식을 만족한다.

결과들의 정확성을 개선하기 위해, 수학식 4 및 5은 수학식 6을 획득하도록 결합된다.

시선 방향 계산 유닛(1062)은 또한 각도 α 및 β를 계산한다. 구체적으로, α는 평면 2 내의 중간 라인 A₀B 및 X 축 사이의 각도를 지칭하고, 여기서 A₀는 평면 P2 상의 지점 A의 수직 투영 지점이고, 지점 B는 2 개의 눈동자들 사이의 중간 지점이다(도 9에 예시됨). 평면 2이 평면 1에 평행이기 때문에, 각도 α는 카메라에 의해 캡처된 이미지 내의 투영 각도 α'와 동일하다.

도 8은 이미지 내의 지점들 A₀', B' 및 각도 α'를 예시하고, 이들은 다음을 만족한다.

A₀'B' 및 B'C'는 이미지 내의 이러한 지점들 사이의 길이를 나타낸다. 따라서, 각도 α'의 값은 다음과 같다.

카메라에 의해 캡처된 이미지 내의 A₀'B'의 길이를 획득한 후에, 시선 방향 계산 유닛(1062)은 투영 둘레 반경 값이 길이 A₀'B'와 매칭하는 가장 적절한 행을 찾기 위해 투영 둘레 반경-원뿔 꼭짓점 각도 표를 검색할 수 있다. 이러한 방법으로, 동일한 행 내의 원뿔 꼭짓점 각도는 각도 β이다. 그후, 시선 방향 계산 유닛(1062)은 지점 B의 좌표를 계산한다. 이전에 획득된 결과를 활용함으로써, 지점 B이 지점 A₀에 대해 좌측 하부에 위치될 때(도 9에 예시된 바와 같이, 전면으로부터 이미지 각도를 관측하여, 아래와 동일함), 지점 B의 좌표 (x₃, y₃, z₃)는 다음의 수학식에 따라 계산될 수 있다.

지점 B이 지점 A₀에 대해 우측에 위치될 때(상부 우측, 하부 우측을 포함함), 수학식 10에서 덧셈 부호는 뺄셈 부호로 변경되고, 지점 B이 지점 A₀ 위에 위치될 때(상부 좌측, 상부 우측을 포함함), 수학식 11에서 덧셈 부호는 뺄셈 부호로 변경된다.

다음에, 시선 방향 계산 유닛(1062)은 안구의 회전 각도를 계산한다. 구체적으로, 카메라에 의해 캡처된 이미지에 기초하여, 좌측 눈의 눈동자의 윤곽은 상술된 안구 방향 표로부터 가장 적절한 윤곽을 찾고, 추가로, 안면 방향과 결합하여, Yb 축에 대한 안구의 수직 회전 각도

및 Xb 축에 대한 수평 회전 각도

를 획득하도록 검출된다. 우측 눈의

및

는 또한 동일한 단계에 따라 획득될 수 있다.

그후, 시선 방향 계산 유닛(1062)은 사용자의 시선 방향을 계산한다.

상기 시선 방향은 평면 Pb 내의 Xb 축 및 Yb 축에 관련되고, 이는 또한 X 축 및 Y 축에 대한 각도로 변환되어야 한다. 따라서, 시선 방향 계산 유닛(1062)은, 도 9에 예시된 바와 같이, 평면 Pb의 수평 축 Xb과 평면 P1의 수평 축 X 사이의 각도

및 평면 P1의 Yb 축과 수직 축 Y 사이의 각도

를 계산하고, 이들은 다음을 만족한다.

이로써,

및

가 획득된다.

이전에 획득된

및

과 결합하여, 시선 방향 계산 유닛(1062)은 최종

및

를 산출할 수 있다.

나중에, 주시점 계산 유닛(1064)은 카메라의 위치, 사용자의 2 개의 눈동자들 사이의 중간 지점으로부터 카메라까지의 거리, 및 사용자의 시선 방향에 기초하여 스크린(108) 상의 사용자의 주시점을 계산한다. 구체적으로, 주시점 계산 유닛(1064)은 시선 방향 계산 유닛(1062)에 의해 계산된

및

에 기초하여 다음의 수학식에 따라 스크린(108) 상의 주시점 D의 좌표 (x₄, y₄, 0)를 계산한다.

대안적으로, 주시점을 검출하기 위한 장치(100)는 커서 이동 유닛(112)을 더 포함할 수 있다. 커서 이동 유닛(112)은 커서를 이동시킬 필요가 있는지를 결정한다. 필요한 경우, 커서는 주시점으로 이동된다. 그렇지 않다면, 커서가 이동되지 않는다. 바람직하게, 계산 정확성 및 다른 요인에 의해 영향을 받는다면, 실제 주시점 및 계산된 주시점 D 사이에 특정 편차(certain deviation)가 존재할 수 있다. 이러한 편차를 허용하기 위해, 주시 영역의 개념이 도입된다. 이러한 영역은 중심으로서 지점 D(계산된 주시점) 및 반경으로서 사전 정의된 길이 G를 갖는 스크린 상의 원형 영역을 지칭한다. 따라서, 새로운 주시점 D이 획득될 때, 주시점이 스크린의 디스플레이 가능한 범위를 넘어서 위치되면, 커서는 이동되지 않는다. 또한, 현재 커서 및 지점 D 사이의 거리가 사전 정의된 값 G 미만이기만 하면, 커서는 이동되지 않을 것이다. 그렇지 않다면, 커서는 주시점 D으로 이동된다.

대안적으로, 주시점을 검출하기 위한 장치(100)는 보조 유닛(110)을 더 포함할 수 있다. 사용자는 보조 유닛, 예를 들면, 마우스, 키보드, 터치패드, 핸들, 및 원격 제어기 중 하나 이상을 통해 커서 위치에서 동작을 수행할 수 있다. 예를 들면, 사용자는 단일 클릭 또는 더블 클릭을 수행하기 위해 마우스를 사용하거나, 다른 종류의 키 동작을 수행하기 위해 핸들 또는 원격 제어기를 사용할 수 있다.

아래에, 본 발명의 실시예에 따라 주시점을 검출하는 방법의 다양한 단계들이 도 2a 및 도 2b를 참조하여 설명될 것이다.

도 2a에 예시된 바와 같이, 상기 방법은 단계(S20)로부터 시작된다.

단계(S22)에서, 준비 작업이 수행된다. 준비 작업은 기준 안면 이미지들이 카메라에 의해 수집되는 것을 포함하고, 본 실시예에서, 거리들 D₀ 및 D₁을 갖는 기준 안면 이미지가 획득된다. 기준 안면 이미지는 사용자의 안면 검출/식별에 대해 결정적이다. 기준 안면 이미지를 결정한 후에, 기준 눈동자 거리 P₀ 및 P₁로서 2 개의 눈동자들의 중심점들 사이의 거리가 획득된다. 다음에, 상술된 안구 방향 표 및 투영 둘레 반경-원뿔 꼭짓점 각도 표가 구성된다. 또는, 2 개의 표들이 구성되고 기준표 저장 유닛에 저장되면, 표들이 바로 직접적으로 판독된다. 최종적으로, 카메라의 위치가, 즉, 지점 A의 좌표 (x₁, y₁, 0)에 위치된다.

단계(S24)에서, 주시점 검출이 수행된다. 도 2b는 주시점을 검출하는 특정 단계를 예시한다. 구체적으로, 단계(S241)에서, 안면, 눈동자 윤곽, 및 사용자의 눈동자 거리 P가 검출된다. 단계(S243)에서, 눈동자 거리 P, 기준 눈동자 거리 P₀ 및 P₁에 기초하여 AB 거리 L이 계산된다. 단계(S245)에서, 각도들 α 및 β이 획득된다. 단계(S247)에서, 지점 B의 좌표가 계산된다. 나중에, 단계(S249)에서, 안구들의 회전 각도가 계산된다. 상술된 바와 같이, 좌측 눈의 눈동자의 윤곽은 카메라에 의해 캡처된 이미지에 기초하여 검출되고, 상술된 바와 같이, 안구 방향 표에서 가장 적절한 윤곽이 탐색된다. 안면 방향과 결합하여, Yb 축에 대해 안구의 수직 회전 각도

및 Xb 축에 대해 수평 회전 각도

가 획득된다. 우측 눈의

및

가 또한 동일한 단계에 따라 획득될 수 있다. 그후, 사용자의 시선 방향이 계산된다. 최종적으로, 단계(S251)에서, 사용자의 계산된 시선 방향에 기초하여 스크린(108) 상의 주시점 D의 좌표 (x₄, y₄, 0)가 계산된다.

주시점을 검출하는 단계(S24)가 구현된 후에, 도 2b를 참조하여, 대안적으로, 단계(S26)에서, 커서를 이동시킬 필요가 있는지가 결정된다. 필요한 경우에, 단계(S28)에서, 커서가 주시점으로 이동된다. 그렇지 않다면, 커서가 이동되지 않는다. 나중에, 방법 흐름은 주시점의 검출을 순환하여 수행하기 위해 단계(S24)로 복귀할 수 있다. 방법을 종료하는 경우에, 상기 방법은 단계(S30)에서 종료된다.

요약하면, 본 발명은 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하기 위한 방법 및 장치를 제공한다. 사용자의 안면 방향 및 안구 방향을 검출하고, 스크린 상의 사용자의 주시점을 계산하는 것을 통해, 커서는 영역으로 이동될 수 있다. 계산 정확성에 의해 요구된 바와 같이, 가능한 주시 영역이 계산될 수 있고, 커서는 상기 영역으로 이동되고, 사용자는 커서를 예상된 정확한 위치로 이동시켜서, 사용자에 의한 실제 이동은 극적으로 단축되며, 한편, 주시점을 검출하기 위한 장치의 계산 변화가 완화된다. 상기 해결책은 실제 장치 정확성에 기초하여 더 크게 사전 정의된 반경 G을 설정함으로써 의도적으로 구현될 수 있다.

또한, 본 발명에 따른 검출 방법 및 장치는 또한 사용자 주변에 다수의 스크린들을 갖는 다중-스크린 컴퓨터에 적용될 수 있다. 특정 구현은, 다수의 스크린들이 존재할 때, 각각의 스크린들의 방위들 및 카메라가 위치된 평면과 이들의 각도 관계들이다. 사용자의 시선을 검출할 때, 본 발명의 상기 원리를 활용하고, 시선 연장선의 교차점 및 관련 평면을 계산함으로써, 주시점이 최종적으로 획득된다.

본 발명이 본 발명의 바람직한 실시예들을 참조하여 예시되었지만, 본 발명의 사상 및 범위에서 벗어나지 않고, 본 발명에 대해 다양한 보정, 대체 및 변경이 수행될 수 있다는 것을 당업자는 이해할 것이다. 따라서, 본 발명은 상술된 실시예에 의해 규정되어서는 안 되며, 첨부한 청구항 및 이들의 동등물에 의해 규정되어야 한다.

Claims

스크린 상의 사용자의 주시점(a fixation point)을 계산하는 데 사용되는 주시점 검출 장치로서,
상기 사용자의 안면 이미지를 캡처하는 카메라와,
기준 안면 이미지들과 상기 사용자의 시선 방향들(line-of-sight directions) 사이의 관계들을 나타내는 기준표를 획득하는 기준표 획득 유닛 - 상기 기준표는 안구의 수직 회전 각도의 컬럼, 안구의 수평 회전 각도의 컬럼 및 눈동자 윤곽의 컬럼을 갖는 안구 방향표를 포함함 - 과,
상기 카메라에 의해 캡처된 상기 사용자의 안면 이미지에 기초하여 상기 사용자의 눈동자들의 윤곽을 검출하고, 상기 기준표의 상기 안구 방향표로부터 가장 부합하는 윤곽을 검색함으로써 상기 검출된 윤곽에 근거하여 상기 사용자의 안구의 회전 각도를 계산하며, 상기 안구의 회전 각도에 근거하여 상기 사용자의 시선 방향을 결정하며, 상기 사용자의 시선 방향에 적어도 기초하여 상기 스크린 상의 상기 사용자의 주시점을 계산하는 계산 유닛을 포함하는
주시점 검출 장치.
제 1 항에 있어서,
상기 기준표 획득 유닛은,
상기 카메라에 의해 캡처된 상기 사용자의 적어도 하나의 기준 안면 이미지에 기초하여 상기 기준표를 구성하는 기준표 구성 유닛과,
사전에 구성된 상기 기준표를 저장하는 기준표 저장 유닛 중 적어도 하나를 포함하는
주시점 검출 장치.
제 1 항에 있어서,
상기 계산 유닛은,
상기 카메라의 위치에 기초하여 상기 사용자의 안면 이미지 내의 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 카메라 사이의 거리를 측정하고, 상기 기준표의 검색을 통해 상기 사용자의 시선 방향을 계산하는 시선 방향 계산 유닛과,
상기 카메라의 위치, 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 카메라 사이의 거리, 및 상기 사용자의 시선 방향에 기초하여, 상기 스크린 상의 상기 사용자의 주시점을 계산하는 주시점 계산 유닛을 포함하는
주시점 검출 장치.
제 1 항에 있어서,
커서 이동 유닛을 더 포함하되,
상기 주시점이 계산된 후에, 상기 커서 이동 유닛은 상기 주시점이 상기 스크린 내에 위치되는 경우에 상기 스크린 상의 커서를 상기 주시점으로 이동시키는
주시점 검출 장치.
제 4 항에 있어서,
상기 커서 이동 유닛은 상기 주시점과 현재의 커서 사이의 거리가 사전 정의된 값 미만인 경우에 상기 커서를 이동시키지 않는
주시점 검출 장치.
제 4 항에 있어서,
상기 커서의 위치에서 동작을 수행하는 보조 유닛을 더 포함하는
주시점 검출 장치.
제 6 항에 있어서,
상기 보조 유닛은 마우스, 키보드, 터치패드, 핸들 및 원격 제어기 중 적어도 하나를 포함하는
주시점 검출 장치.
스크린 상의 사용자의 주시점을 계산하기 위한 주시점 검출 방법으로서,
기준 안면 이미지들과 상기 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 획득하는 단계 - 상기 기준표는 안구의 수직 회전 각도의 컬럼, 안구의 수평 회전 각도의 컬럼 및 눈동자 윤곽의 컬럼을 갖는 안구 방향표를 포함함 - 와,
상기 사용자의 안면 이미지를 캡처하고, 카메라에 의해 캡처된 상기 사용자의 안면 이미지에 기초하여 상기 사용자의 눈동자들의 윤곽을 검출하고, 상기 기준표의 상기 안구 방향표로부터 가장 부합하는 윤곽을 검색함으로써 상기 검출된 윤곽에 근거하여 상기 사용자의 안구의 회전 각도를 계산하며, 상기 안구의 회전 각도에 근거하여 상기 사용자의 시선 방향을 결정하며, 상기 사용자의 시선 방향에 적어도 기초하여 상기 스크린 상의 상기 사용자의 주시점을 계산하는 계산 단계를 포함하는
주시점 검출 방법.
제 8 항에 있어서,
상기 획득 단계는,
상기 사용자의 적어도 하나의 기준 안면 이미지를 획득하는 데 이미지 캡처 디바이스를 사용하여 상기 기준 안면 이미지들과 상기 사용자의 시선 방향들 사이의 관계들을 포함하는 상기 기준표를 구성하는 단계, 또는
사전에 구성된 상기 기준표를 직접 획득하는 단계를 더 포함하는
주시점 검출 방법.
제 8 항에 있어서,
상기 계산 단계는,
이미지 캡처 디바이스의 위치에 기초하여 상기 사용자의 상기 안면 이미지 내의 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 이미지 캡처 디바이스 사이의 거리를 측정하고, 상기 기준표의 검색을 통해 상기 사용자의 시선 방향을 계산하는 단계와,
상기 이미지 캡처 디바이스의 위치, 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 이미지 캡처 디바이스 사이의 거리, 및 상기 사용자의 시선 방향에 기초하여, 상기 스크린 상의 상기 사용자의 주시점을 계산하는 단계를 더 포함하는
주시점 검출 방법.
제 8 항에 있어서,
상기 주시점을 계산한 후에, 상기 주시점이 상기 스크린 내에 있다면, 상기 스크린 상의 커서를 상기 주시점으로 이동시키는 단계를 더 포함하는
주시점 검출 방법.
제 11 항에 있어서,
상기 주시점과 현재의 커서 사이의 거리가 사전 정의된 값 미만인 경우에 상기 커서는 이동되지 않는
주시점 검출 방법.
제 12 항에 있어서,
상기 사전 정의된 값은 요청에 따라 설정되는
주시점 검출 방법.
사용자 주변에 복수의 스크린들을 구비하며, 제 1 항 내지 제 5 항 중 어느 한 항에 따른 주시점 검출 장치를 포함하는
다중-스크린 컴퓨터.