KR101671839B1 - 시선 추적형 입력 장치 - Google Patents

Abstract

시선 추적형 입력 장치가 개시된다. 본 발명의 일 실시예에 따른 시선 추적형 입력 장치는 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부; 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부; 및 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부를 포함한다.

Description

시선 추적형 입력 장치{INPUT DEVICE USING EYE-TRACKING}

본 발명의 실시예들은 사용자의 시선을 이용한 입력 장치 기술과 관련된다.

시선 추적(Eye Tracking)은 사용자의 안구의 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.

최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 이에 따라 상기 시선 추적 기술을 문자의 타이핑에 응용하려는 시도 또한 존재하였다. 그러나 종래의 시선 추적을 통한 문자 타이핑은 그 정확도 및 속도 면에서 한계가 존재하였다.

대한민국 공개특허공보 제10-2013-0049915호 (2013. 05. 15)

본 발명의 실시예들은 사용자의 시선 추적을 통해 문자, 기호 등을 입력하기 위한 입력 수단을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부; 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부; 및 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부를 포함하는 시선 추적형 입력 장치가 제공된다.

상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키)의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다.

상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다.

상기 화상 키보드는, 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 키를 포함할 수 있다.

상기 시선 추적부는, 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산할 수 있다.

상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 경로를 구성하고, 상기 시선 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는 경우, 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.

상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 동공 크기 변화를 감지하며, 상기 감지부는, 상기 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.

상기 시선 추적형 입력 장치는, 상기 감지부에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하는 단어 추천부를 더 포함할 수 있다.

상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 기 저장된 단어 목록을 비교하고, 상기 비교에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 디스플레이할 수 있다.

상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 상기 감지부에서 감지된 문자 또는 기호와 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정할 수 있다.

상기 시선 추적형 입력 장치는, 복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 저장하며, 상기 시선 추적부에서 계산된 상기 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이하는 단어 추천부를 더 포함할 수 있다.

본 발명의 실시예들에 따르면, 사용자의 시선을 감지하고 이를 이용하여 문자 또는 기호를 입력할 수 있게 되는 바, 물리적인 키보드의 사용이 어려운 환경에서도 효과적으로 타이핑을 수행할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 시선 추적형 입력 장치의 구성을 나타낸 블록도
도 2는 영어 문헌에서 각 알파벳들의 사용 빈도를 나타낸 그래프
도 3은 본 발명의 일 실시예에 따른 가상 키보드의 일부를 도시한 예시도
도 4는 본 발명의 다른 실시예에 따른 가상 키보드를 도시한 예시도
도 5는 본 발명의 일 실시예에 따른 시선 추적부에서의 캘리브레이션 과정을 설명하기 위한 흐름도
도 6은 본 발명의 일 실시예에 따른 감지부에서의 키 입력 감지 방법을 설명하기 위한 예시도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)의 구성을 나타낸 블록도이다. 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 사용자의 화면 상에서의 움직임을 추적하고, 이에 따라 문자 또는 기호를 입력하기 위한 장치를 의미한다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 디스플레이부(102), 시선 추적부(104), 감지부(106) 및 출력부(108)를 포함하며, 실시예에 따라 단어 추천부(110)를 더 포함하여 구성될 수 있다.

디스플레이부(102)는 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이한다. 일 실시예에서, 상기 화상 출력 수단은 사용자가 시각적으로 인식 가능한 정보를 표시하기 위한 장치로서, 퍼스널 컴퓨터 또는 랩탑 컴퓨터 등에 구비된 모니터, 텔레비전, 태블릿 또는 스마트폰의 디스플레이 등 다양한 종류의 디스플레이 수단을 포괄하는 의미이다.

상기 화상 키보드는 상기 화상 출력 수단에 디스플레이되는 일종의 가상 키보드이다. 일 실시예에서, 상기 화상 키보드는 일반적으로 사용되는 쿼티(QWERTY) 키보드, 또는 2벌식/3벌식 한글 키보드와 동일하거나 유사한 레이아웃을 가질 수 있다. 대부분 컴퓨터에 익숙한 사용자는 일반적인 키보드의 자판 배열을 숙지하고 있는 경우가 많으므로, 이와 같이 화상 키보드가 일반 키보드와 유사한 레이아웃을 가지도록 구성되는 경우 사용자는 별도의 적응이 필요 없이도 화상 키보드를 이용한 타이핑을 할 수 있게 된다.

다른 실시예에서 디스플레이부(102)는 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키(key)의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다. 특정한 언어를 구성하는 알파벳 또는 음소들은 그 사용 빈도가 각각 상이하기 때문이다. 도 2는 영어로 된 문헌을 분석하여 알아낸 각 알파벳들의 사용 빈도를 나타낸 그래프이다. 도시된 바와 같이 E, T 등의 알파벳은 언어 내에서의 사용 빈도가 상대적으로 높은 반면, X, Q, Z 등의 알파벳의 사용 빈도는 매우 낮다. 따라서 가상 키보드 또한 이와 같은 통계를 반영하여 사용 빈도가 높은 문자 또는 기호일수록 상대적으로 해당 문자 또는 기호에 대응되는 키의 크기 또한 증가하도록 구성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 가상 키보드의 일부를 도시한 예시도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 키보드의 경우 E, T, A 등 언어 내에서의 사용 빈도가 높은 알파벳의 경우 해당하는 키를 상대적으로 크게 구성하고, Q, Z, W, Y 등 사용 빈도가 낮은 알파벳의 경우 해당하는 키를 상대적으로 작게 구성할 수 있다. 손가락으로 버튼을 눌러 타이핑하도록 구성되는 일반적인 키보드의 경우 사용자의 손 끝을 통해 키를 눌러 입력을 수행하므로 사용 빈도에 따라 특정한 키의 사이즈를 늘릴 필요가 적다. 그러나 본 발명의 실시예들에 따른 가상 키보드의 경우 사이즈가 클 경우 사용자의 눈에 띄기 쉽고, 사용자의 시선이 머무를 수 있는 범위 또한 증가하게 되므로 상기와 같이 구성할 경우 타이핑의 효율을 높일 수 있게 된다.

또한 다른 실시예에서, 디스플레이부(102)는 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다. 이를 예를 들어 설명하면 도 4와 같다.

도 4는 본 발명의 다른 실시예에 따른 가상 키보드를 도시한 예시도이다. 본 실시예에 따른 가상 키보드의 경우, 화면의 중앙에 현재 타이핑 중인 문장이 디스플레이되고 그 주변을 알파벳 키가 감싸고 있는 형태이다. 도시된 바와 같이, N, I, A 등 사용 빈도가 상대적으로 높은 알파벳의 경우 화면의 중앙 부분에, W, Q 등과 같이 상대적으로 사용 빈도가 낮은 알파벳은 화면의 가장자리 부분에 위치하도록 가상 키보드를 구성할 수 있다. 이와 같이 구성할 경우 특정 문장을 입력하기 위한 시선의 이동 거리가 감소하는 효과를 얻을 수 있다. 자주 사용되는 단어들이 중앙부분에 몰려 있기 때문이다.

또한, 상기 화상 키보드는 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 별도의 키를 포함하도록 구성될 수 있다. 본 발명의 실시예에 따른 시선 추적형 입력 장치(100)는 각 키에 대한 시선의 이동을 감지하여 타이핑을 수행하게 된다. 따라서 동일한 글자를 반복 입력할 경우의 처리가 다른 입력 수단에 비해 상대적으로 어려울 수 있다. 따라서 화상 키보드에 키 반복을 위한 별도의 키를 구비하고, 해당 키에 시선이 위치할 경우 직전 입력된 문자 또는 기호가 반복되도록 구성할 경우 문자의 반복 또한 용이하게 인식할 수 있게 된다.

한편, 전술한 실시예들은 모두 영문 알파벳을 기준으로 설명하였으나, 이는 다른 언어에도 동일하게 적용된다. 즉, 한글 자판 또한 각 음소의 빈도에 따라 각 키의 크기 또는 위치를 서로 다르게 구성할 수 있음은 물론이다. 또한, 각 언어를 구성하는 키 별 빈도수는 초기에는 일반적인 문헌 등으로부터 조사된 값을 사용할 수 있으나, 사용자의 입력 데이터가 쌓여 감에 따라 이를 반영하여 빈도수를 조정할 수도 있다. 예를 들어 특정 사용자가 특정 알파벳을 특별히 자주 사용하거나 또는 그 반대인 경우 디스플레이부(102)는 이를 반영하여 화상 키보드의 레이아웃을 동적으로 변경시킬 수 있다.

다음으로, 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산한다. 구체적으로, 시선 추적부(104)는 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산할 수 있다. 예를 들어 시선 추적부(104)는 초당 수 회 내지 수십 회의 시간 간격 별로 사용자의 응시 좌표를 측정할 수 있으며, 측정된 응시 좌표를 연결할 경우 화상 키보드 상에서의 사용자 시선의 경로를 구성할 수 있게 된다.

본 발명의 실시예에서 시선 추적부(104)는 다양한 방식으로 사용자의 시선을 추적하고 이로부터 응시 좌표를 획득하도록 구성될 수 있다. 사용자 시선을 추적하기 위한 기술의 예시로는 비디오 분석 방식, 콘택트렌즈 방식, 센서 부착 방식의 3가지 방식을 들 수 있다. 이 중 비디오 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하며, 눈을 감고 있는 경우(수면 등)에도 눈의 움직임 검출이 가능하다. 다만, 본 발명의 실시예들은 특정한 시선 추적 방식 내지 알고리즘에 한정되는 것은 아님을 유의한다.

또한 시선 추적부(104)는 사용자별 안구의 특성에 따른 오차를 보정하기 위하여 시선 추적을 수행하기 이전 사용자에 대한 캘리브레이션을 수행할 수 있다.

도 5는 본 발명의 일 실시예에 따른 시선 추적부(104)에서의 캘리브레이션 과정을 설명하기 위한 흐름도이다.

단계 502에서, 시선 추적부(104)는 카메라 등의 수단을 통해 사용자의 눈 영상을 획득한다.

단계 504에서, 시선 추적부(104)는 획득된 눈 영상으로부터 동공과 반사점의 중심을 검출한다. 상기 동공과 반사점의 중심은 이후 사용자의 시선의 위치를 측정하기 위한 기본값이 된다.

단계 506에서, 시선 추적부(104)는 복수 개의 특징점을 화면 상에 출력하여 이를 사용자가 응시하도록 하고, 출력된 특징점과 사용자의 실제 시선과의 차이를 연산한다.

단계 508에서, 시선 추적부(104)는 상기 506 단계에서 계산된 차이를 화면 상에 매핑함으로써 캘리브레이션을 완료한다.

다음으로, 감지부(106)는 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지한다. 기본적으로 감지부(106)는 사용자의 시선이 향한 위치에 대응되는 화상 키보드의 키를 사용자가 입력하고자 하는 키인 것으로 간주한다. 그러나 사용자의 시선은 단속적인 것이 아니라 연속적이므로, 감지부(106)는 연속적인 시선의 움직임 중 어떤 부분을 입력으로 보아야 하는지에 대한 식별 알고리즘을 포함할 필요가 있다.

일 실시예에서, 감지부(106)는 시선 추적부(104)에서 획득한 응시 좌표로부터 상기 사용자의 시간에 따른 시선 이동 경로를 구성할 수 있다. 감지부(106)는 상기 시선 이동 경로의 형태를 분석하여 상기 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는지의 여부를 판단하고, 만약 존재하는 경우 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하게 된다.

도 6은 본 발명의 일 실시예에 따른 감지부(106)에서의 키 입력 감지 방법을 설명하기 위한 예시도이다. 예를 들어 도 6의 상단에 도시된 것과 같은 가상 키보드 상에서 추적된 사용자 시선의 움직임이 도 6의 하단에 도시된 것과 같다고 가정하자. 이 경우 시작점인 1과 끝점인 6을 제외하고, 꺾임이 발생한 위치는 2, 3, 4, 5의 4군데이다. 따라서 감지부(106)는 시작점, 꺾임 발생 위치 및 끝점에 해당하는 화상 키보드의 키를 순차적으로 연결함으로써 사용자가 “family”라는 단어를 입력하려고 하였음을 감지할 수 있다. 이 경우 감지부(106)는 사용자의 시선이 지나가더라도 꺾임이 발생하지 않은 지점은 해당 부분의 키를 타이핑할 의도가 아니었다고 판단한다. 예를 들어, 도 5에 도시된 실시예에서 사용자의 시선이 F에서 A로 이동하기 위해서는 D와 S를 순차적으로 지나가게 된다. 그러나 D와 S에 해당하는 위치에서는 사용자 시선의 꺾임이 발생하지 않았으므로 감지부(106)는 해당 부분의 키 입력을 무시하게 된다.

또한, 다른 실시예에서 감지부(106)는 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 속도를 계산하고, 계산된 상기 시선 이동 속도가 기 설정된 값 이하인 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다. 예를 들어 사용자의 시선 이동 경로에서 이동 속도가 빠른 지점의 경우에는 키와 키 사이를 이동하는 경우에 해당하나, 이동 속도가 느린 지점의 경우 해당 위치의 키를 입력하려는 의도일 수 있다. 따라서 감지부(106)는 시선의 이동 속도를 감지하여 이동 속도가 설정된 값 이하인 지점에 해당하는 키를 입력하도록 구성될 수 있다.

또한, 다른 실시예에서 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 안구 깜박임을 감지하도록 구성될 수 있다. 이 경우 감지부(106)는, 상기 깜박임이 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.

또한 다른 실시예에서 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 깜박임이 아닌 동공 크기 변화를 감지하며, 감지부(106)는 상기 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다. 일반적으로 인간의 동공은 자신이 관심있어 하는 피사체가 나오거나 할 경우 동공이 확장된다는 점이 알려져 있다. 따라서 이를 응용할 경우 키보드의 자판 중 자신이 원하는 글자를 발견했을 때 동공이 커지는 효과를 이용하여 타이핑을 수행할 수 있다.

전술한 실시예에서, 꺾임의 정도, 시선 이동 속도의 변화, 동공의 크기 변화량 등은 사용자의 신체적 특성, 화상 키보드의 화면 상의 크기 및 레이아웃 등을 종합적으로 고려하여 적절히 설정할 수 있다. 즉, 본 발명의 실시예들은 특정한 범위의 파라미터에 한정되는 것은 아님을 유의한다.

다음으로, 출력부(108)는 감지된 상기 문자 또는 기호에 대응되는 신호를 출력한다. 예를 들어, 출력부(108)는 감지된 문자 또는 기호에 대응되는 아스키 코드 또는 유니코드를 출력하도록 구성될 수 있다.

한편, 전술한 바와 같이 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 단어 추천부(110)를 더 포함할 수 있다.

일 실시예에서, 단어 추천부(110)는 감지부(106)에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하도록 구성된다.

단어 추천부(110)는 사용자가 입력하려는 언어에 맞는 단어 목록을 포함할 수 있다. 이에 따라 사용자가 특정 문자열을 입력하게 되면 단어 추천부(110)는 상기 문자열과 저장된 단어 목록을 비교하고, 이에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 화면 상에 디스플레이할 수 있다. 그러면 사용자는 추천된 단어 중 자신이 타이핑하려던 단어로 시선을 이동함으로써 해당 단어의 나머지 알파벳을 모두 입력할 필요 없이 해당 단어의 타이핑을 완료할 수 있다.

또한, 단어 추천부(110)는, 감지부(106)에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정할 수 있다. 예를 들어, 감지부(106)에서 감지된 문자가 “a”인 경우, 단어 추천부(110)는 QWERTY 자판 상에서 “a”와 인접한 위치에 있는 q, s, z 등도 함께 고려하여 사용자가 입력하고자 하는 단어를 추정할 수 있다. 이와 같이 구성되는 경우 사용자의 시선 입력이 다소 부정확한 경우에도 효과적으로 추천 단어를 제공할 수 있다.

다른 실시예에서, 단어 추천부(110)는 시선 추적부(104)에서 계산된 상기 응시 좌표로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하도록 구성된다. 구체적으로, 단어 추천부(110)는 시선 추적부(104)에서 계산된 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이할 수 있다.

이 경우, 단어 추천부(110)는 복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 포함할 수 있다. 이때 상기 표준 시선 이동 경로는 각 단어를 입력하기 위하여 사용자의 시선이 이동하여야 하는 경로를 의미한다.. 상기 표준 시선 이동 경로는 각 단어별로 미리 설정될 수도 있고, 사용자의 단어 입력에 따라 동적으로 구성될 수도 있다. 예를 들어, 사용자가 동일한 단어를 복수 회 입력한 경우, 상기 표준 시선 이동 경로는 각각의 입력시 획득된 시선 이동 경로의 평균값일 수 있다.

시선 입력을 통한 타이핑의 경우 일반적인 키보드를 이용한 타이핑과 비교하여 상대적으로 속도 및 정확도가 감소할 수 밖에 없는 바, 이와 같은 단어 추천을 이용할 경우 타이핑 속도 및 정확도의 손실을 보완할 수 있게 된다. 입력된 문자열과 단어 목록 간의 유사도 계산 알고리즘 등과 관련해서는 본 발명이 속하는 기술분야에서 다양한 수단들이 알려져 있는 바, 여기서는 그 상세한 설명을 생략하기로 한다.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 시선 추적형 입력 장치
102: 디스플레이부
104: 시선 추적부
106: 감지부
108: 출력부
110: 단어 추천부

Claims (12)

1. 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부;
   상기 화상 키보드 상에서의 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부;
   계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부; 및
   복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 저장하며, 상기 시선 추적부에서 계산된 상기 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이하는 단어 추천부를 포함하는 시선 추적형 입력 장치.
   
2. 청구항 1에 있어서,
   상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열하는, 시선 추적형 입력 장치.
   
3. 청구항 1에 있어서,
   상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열하는, 시선 추적형 입력 장치.
   
4. 청구항 1에 있어서,
   상기 화상 키보드는, 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 키를 포함하는, 시선 추적형 입력 장치.
   
5. 청구항 1에 있어서,
   상기 시선 추적부는, 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산하는, 시선 추적형 입력 장치.
   
6. 청구항 1에 있어서,
   상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 경로를 구성하고,
   상기 시선 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는 경우, 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
   
7. 청구항 1에 있어서,
   상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 속도를 계산하고,
   계산된 상기 시선 이동 속도가 기 설정된 값 이하인 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
   
8. 청구항 1에 있어서,
   상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 안구 깜박임을 감지하며,
   상기 감지부는, 상기 깜박임이 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
   
9. 청구항 1에 있어서,
   상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 동공 크기 변화를 감지하며,
   상기 감지부는, 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
   
10. 청구항 1에 있어서,
    상기 감지부에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하는 단어 추천부를 더 포함하는, 시선 추적형 입력 장치.
    
11. 청구항 10에 있어서,
    상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 기 저장된 단어 목록을 비교하고, 상기 비교에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 디스플레이하는, 시선 추적형 입력 장치.
    
12. 청구항 11에 있어서,
    상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 상기 감지부에서 감지된 문자 또는 기호와 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정하는, 시선 추적형 입력 장치.
    
    

Images