KR101394719B1 - 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터 - Google Patents
주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터 Download PDFInfo
- Publication number
- KR101394719B1 KR101394719B1 KR1020127010876A KR20127010876A KR101394719B1 KR 101394719 B1 KR101394719 B1 KR 101394719B1 KR 1020127010876 A KR1020127010876 A KR 1020127010876A KR 20127010876 A KR20127010876 A KR 20127010876A KR 101394719 B1 KR101394719 B1 KR 101394719B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- camera
- point
- reference table
- main
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
본 발명은 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하기 위한 장치를 제공하되, 상기 장치는 사용자의 안면 이미지를 캡처하기 위한 카메라와, 기준 안면 이미지들과 사용자의 시선 방향들(line-of sight directions) 사이의 관계들을 포함하는 기준표를 획득하기 위한 기준표 획득 유닛과, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라에 의해 캡처된 사용자의 안면 이미지에 기초하여 이미지 측정을 수행하고, 기준표 획득 유닛에서 기준표를 탐색(looking up)하기 위한 계산 유닛을 포함한다.
본 발명은 또한 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하는 방법을 제공한다.
본 발명은 사용자의 시선을 검출할 수 있고, 이는 커서의 이동에 큰 편의를 제공한다.
본 발명은 또한 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하는 방법을 제공한다.
본 발명은 사용자의 시선을 검출할 수 있고, 이는 커서의 이동에 큰 편의를 제공한다.
Description
본 발명의 실시예는 이미지 프로세싱 분야에 관한 것이며, 상세하게는, 안면 검출 및 이미지 측정에 기초하여 주시점(fixation point)을 검출하기 위한 방법 및 장치에 관한 것이다.
이미지 프로세싱 기술의 발전을 통해, 사용자가 현재 비디오 디스플레이의 스크린(예를 들면, 데스크톱 또는 랩톱의 스크린, TV의 스크린 등) 상에서 커서를 한 영역으로부터 또 다른 영역으로 이동시키고자 할 때, 사용자는 동작을 수행하기 위해 항상 보조 디바이스(예를 들면, 마우스 또는 터치패드 또는 원격 제어기)를 수용할 필요가 있다. 그러나, 일부 사용자에 대해, 손의 이동은 일부 이유들, 예를 들면, 생리학적 장애 또는 부상으로 인해 제한되고, 따라서, 커서를 이동시키기 어렵거나 심지어 불가능할 것이다. 또한, 손이 정상적으로 움직일지라도, 일부 특별한 시나리오에서, 손을 사용하지 않고 커서 이동을 수행하거나, 손의 이동 거리를 최소로 단축시키는 것이 바람직하다.
또한, 커서를 이동시키지 않는 경우에서조차, 일부 애플리케이션들은 후속 프로세싱 및 동작을 수행하기 위해 스크린 상의 사용자의 주시점을 검출할 필요가 있을 수 있다.
오늘날, 증가하는 카메라 대중화와 증가하는 발달한 안면 검출 알고리즘의 등장으로 인해, 카메라에 기초하여 비디오-이미지를 검출하는 것이 실행 가능하다. 따라서, 스크린상에서 사용자의 주시점을 검출하기 위해, 카메라를 활용하여 주시점을 검출하는 기술이 요구된다.
본 발명의 일 양상에 따르면, 스크린 상의 사용자의 주시점(fixation point)을 계산하는데 사용되는 주시점 검출 장치가 제공되며, 상기 장치는, 사용자의 안면 이미지를 캡처하기 위한 카메라와, 기준 안면 이미지들과 사용자의 시선 방향들(line-of-sight directions) 사이의 관계들을 포함하는 기준표를 획득하기 위한 기준표 획득 유닛과, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라에 의해 캡처된 사용자의 안면 이미지에 기초하여 이미지 측정을 수행하고, 기준표 획득 유닛에서 기준표를 탐색(looking up)하기 위한 계산 유닛을 포함한다.
바람직하게, 기준표 획득 유닛은, 카메라에 의해 캡처된 사용자의 적어도 하나의 기준 안면 이미지에 기초하여 기준표를 구성하기 위한 기준표 구성 유닛, 및 이미 구성된 기준표를 저장하는 기준표 저장 유닛 중 적어도 하나를 포함한다.
바람직하게, 계산 유닛은, 카메라의 위치에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산하기 위한 시선 방향 검출 유닛과, 카메라의 위치, 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리, 및 사용자의 시선 방향에 기초하여 스크린 상의 사용자의 주시점을 계산하기 위한 주시점 계산 유닛을 포함한다.
바람직하게, 주시점을 검출하기 위한 장치는 커서 이동 유닛(cursor moving unit)을 더 포함하고, 주시점이 계산된 후에, 주시점이 스크린 내에 위치되면, 커서 이동 유닛은 스크린 상의 커서를 주시점으로 이동시킨다.
바람직하게, 주시점 및 커서의 현재 위치 사이의 거리가 사전 정의된 값 미만이면, 커서 이동 유닛은 커서를 이동시키지 않는다.
바람직하게, 주시점을 검출하기 위한 장치는 커서 위치에서 동작을 수행하기 위한 보조 유닛을 더 포함한다. 바람직하게, 보조 유닛은 마우스, 키보드, 터치패드, 핸들, 및 원격 제어기 중 적어도 하나를 포함한다.
본 발명의 또 다른 양상에 따라, 스크린 상의 사용자의 주시점을 계산하기 위한 주시점 검출 방법이 제공되고, 상기 방법은, 기준 안면 이미지들과 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 획득하는 기준표 획득 단계와, 스크린 상의 사용자의 주시점을 계산하기 위해, 카메라를 사용하여 사용자의 안면 이미지를 캡처하고, 이미지 측정을 수행하고, 기준표를 탐색하는 주시점 계산 단계를 포함한다.
바람직하게, 기준표 획득 단계는, 기준 안면 이미지들과 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 구성하기 위해 카메라를 사용하여 사용자의 적어도 하나의 기준 안면 이미지를 획득하는 단계와, 이미 구성된 기준표를 직접적으로 획득하는 단계 중 적어도 하나를 포함한다.
바람직하게, 주시점 계산 단계는, 카메라에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점과 카메라 사이의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산하는 단계와, 카메라의 위치, 사용자의 2 개의 눈동자들의 중간 지점과 카메라의 거리, 및 사용자의 시선 방향에 기초하여, 스크린 상의 사용자의 주시점을 계산하는 단계를 포함한다.
바람직하게, 주시점 검출 방법은, 주시점이 계산된 후에, 주시점이 스크린 내에 위치되면, 스크린 상의 커서를 주시점으로 이동시키는 단계를 더 포함한다.
바람직하게, 주시점 및 현재의 커서 위치 사이의 거리가 사전 정의된 값 미만이면, 커서가 이동되지 않는다. 바람직하게, 사전 정의된 값은 요청에 따라 설정될 수 있다.
본 발명의 추가적인 양상에 따라, 사용자 주변에 다수의 스크린들을 갖는 다중-스크린 컴퓨터가 제공되고, 다중-스크린 컴퓨터는 본 발명에 따른 주시점을 검출하기 위한 장치를 포함한다.
본 발명의 상기 및 다른 특징들은 첨부한 도면을 참조하여 다음의 상세한 설명을 통해 더욱 명백해질 것이다.
도 1은 본 발명에 따라 주시점을 검출하기 위한 장치의 실시예의 블록도.
도 2a는 본 발명에 따라 주시점을 검출하는 방법의 실시예의 흐름도.
도 2b는 도 2a의 주시점을 검출하는 방법의 서브-단계의 흐름도.
도 3은 예시적인 좌표계에서 기준 안면 이미지의 도면.
도 4는 예시적인 안면 이미지의 도면.
도 5a는 상이한 안면 방향들의 도면.
도 5b는 상이한 안면 방향들의 코딩된 맵.
도 6a는 상이한 방향들의 안구 모델의 도면.
도 6b는 예시적인 좌표계에서 안구 모델의 수직각 및 수평각 사이의 관계의 도면.
도 7은 투영 둘레 반경 및 원뿔 꼭짓점 각도 사이의 관계의 도면.
도 8은 카메라와 사용자 사이의 접속선의 투영(An' B')과 X 축(A0' C') 사이의 각도의 도면.
도 9는 본 발명에 따라 주시점을 검출하는 원리도.
도 10은 안구 방향 표의 예의 블록도.
도 11은 투영 둘레 반경-원뿔 꼭짓점 각도 표의 예의 블록도.
도 2a는 본 발명에 따라 주시점을 검출하는 방법의 실시예의 흐름도.
도 2b는 도 2a의 주시점을 검출하는 방법의 서브-단계의 흐름도.
도 3은 예시적인 좌표계에서 기준 안면 이미지의 도면.
도 4는 예시적인 안면 이미지의 도면.
도 5a는 상이한 안면 방향들의 도면.
도 5b는 상이한 안면 방향들의 코딩된 맵.
도 6a는 상이한 방향들의 안구 모델의 도면.
도 6b는 예시적인 좌표계에서 안구 모델의 수직각 및 수평각 사이의 관계의 도면.
도 7은 투영 둘레 반경 및 원뿔 꼭짓점 각도 사이의 관계의 도면.
도 8은 카메라와 사용자 사이의 접속선의 투영(An' B')과 X 축(A0' C') 사이의 각도의 도면.
도 9는 본 발명에 따라 주시점을 검출하는 원리도.
도 10은 안구 방향 표의 예의 블록도.
도 11은 투영 둘레 반경-원뿔 꼭짓점 각도 표의 예의 블록도.
이후에, 본 발명의 원리 및 구현은 첨부한 도면을 참조하여 본 발명의 실시예들에 대한 설명을 통해 더욱 명백해질 것이다. 본 발명이 후술되는 바와 같이 특정 실시예들로 제한되지 않아야 한다는 것이 유의되어야 한다.
도 1은 본 발명에 따라 주시점을 검출하기 위한 장치(100)의 실시예의 블록도이다.
도 1에 예시된 바와 같이, 주시점을 검출하기 위한 장치(100)는 카메라(102), 기준표 획득 유닛(104), 및 계산 유닛(106)을 포함한다. 카메라(102)는 사용자의 안면 이미지를 캡처하기 위한 당 분야의 일반적인 카메라일 수 있다. 기준표 획득 유닛(104)은 사용자의 기준 안면 이미지들과 시선 방향들 사이의 관계를 포함하는 기준표를 획득하기 위한 것이다. 계산 유닛(106)은 기준표를 통해 사용자의 시선 방향을 계산하고, 그후, 스크린(108) 상의 사용자의 주시점을 계산할 수 있다.
이후에, 예로서, 기준 안면 이미지 및 기준표의 특정 구현뿐만 아니라 주시점을 검출하기 위한 장치(100) 내의 각각의 구성 요소의 동작이 도 3 내지 도 9를 참조하여 예시된다.
위치 결정(locating) 및 계산을 수행하기 위해, 도 3에 예시된 바와 같은 3-축 좌표계가 수립될 수 있고, 여기서 좌표계의 기원은 스크린의 상부 좌측 코너에 위치된다. 컴퓨터 사용자의 관점에서, 스크린의 상부 에지를 따라 좌에서 우로 연장되는 축이 X 축이고, 스크린의 좌측 에지를 따라 위로부터 아래로 연장되는 축이 Y 축이고, 한편 스크린에 대해 수직으로 멀리서부터(스크린 엔드) 가까운 곳으로(사용자 엔드) 연장되는 축이 Z 축이다. 카메라(102)는 좌표(x1, y1, 0)를 갖는 지점 A에 설치된다. 도 4에 예시된 바와 같이, 지점 B는 사용자의 2 개의 눈동자들 사이의 중간 지점이다. AB 거리는 지점 A(카메라의 위치) 및 지점 B 사이의 거리이다. 눈동자 거리(pupil distance)는 이미지에서 사용자의 2 개의 눈동자들의 중심들 사이의 거리이다.
예를 들면, 스크린이 평면 1(P1)이고, 한편 카메라(102)의 전면 안면이 평면 1에 평행한다고 가정하자. 그리고, 지점 B가 평면 1에 평행한 평면 2(P2) 또는 평면 3(P3) 내에 위치된다고 가정하자. 도 9에 예시된 바와 같이, 평면 Pb는 지점 B가 위치되고 직선 AB에 수직인 평면을 지칭한다. 평면 Pb에서, Yb 축은 직선 AB가 위치된 수직 평면과 평면 Pb 사이의 교차선이고, Xb 축은 평면 Pb 내의 직선으로, Yb 축에 수직이다.
"더 멀리, 더 작게, 더 가깝게, 더 크게"의 원리에 따라, 지점 A 및 B 사이의 거리는 안면 이미지의 크기 또는 관련 구성 성분 거리에 기초하여 검출될 수 있다. 측정을 수행하기 위해, 기준 안면 이미지가 도입된다. 도 3에 예시된 바와 같이, 기준 안면 이미지는, 사용자의 안면이 카메라의 바로 앞에 있을 때 카메라에 의해 캡처된 이미지를 지칭하고, A 및 B 사이의 거리는 D0(카메라 및 2 개의 눈동자들의 중간 지점 사이의 거리)이다. 상대적인 오차의 가능한 존재로 인해, 기준 이미지들이 많을수록 상대적인 오차를 감소시키고, 더 정확한 검출 결과를 초래할 수 있다. 예를 들면, 2 개의 기준 안면 이미지들이 도입되고, 하나의 기준 안면 이미지는 D0의 AB 거리를 갖고, 다른 기준 안면 이미지는 D1의 더 짧은 AB 거리를 갖는다. 기준 안면 이미지들을 획득하기 위해, 카메라(102)는 좌표계 내의 좌표(x1, y1, 0)를 갖는 지점 A에서 설정되어야 하고, 사용자는 지점 B(도 4에 예시된 바와 같이, 2 개의 눈들 사이의 중간 지점)이 좌표계에서 (x1, y1, z0) 또는 (x1, y1, z1)에 위치되는 것을 보장하기 위해 적절한 위치에 위치되어야 하고, (x1, y1, z0) 또는 (x1, y1, z1)는 다음의 수학식들을 만족해야 한다.
사용자 안면이 안면 검출/식별 알고리즘을 사용하여 검출될 때, 각각의 눈동자의 중심은, 도 4에 예시된 바와 같이, 지점 B 및 2 개의 눈동자들의 중심들의 사이의 거리가 획득될 수 있도록 위치될 수 있다. 사용자의 안면 이미지가 D0의 거리를 갖는 기준 안면 이미지이면, 2 개의 눈동자들의 중심들 사이의 거리는 기준 눈동자 거리 P0이다. 사용자의 안면 이미지가 D1의 거리를 갖는 기준 안면 이미지이면, 2 개의 눈동자들의 중심들 사이의 거리는 기준 눈동자 거리 P1이다.
이러한 실시예에서, 기준표는 안구 방향 표 및 투영 둘레 반경 - 원뿔 꼭짓점 각도 표를 포함하고, 이는 도 10 및 도 11을 참조하여 이후에 상세히 설명될 것이다.
사용자가 스크린 내의 상이한 영역들을 향해 바라볼 때, 사용자는 안면이 상기 영역을 직접적으로(또는 거의 직접적으로) 향하도록 머리를 돌릴 수 있다. 도 5a는 가능한 안면 방향들을 예시한다. 안면의 상이한 방위들(orientations)에 기초하여, 안면 방위들은 실질적으로 본원에서 9 개의 방향들로 분할될 수 있고, 상이한 안면 방향들이 코딩되고, 특정 코드들이 도 5b에 예시된다.
사용자의 안면을 캡처할 때, 사용자의 눈들의 눈동자들의 윤곽들이 동시에 결정될 수 있다. 본 실시예에서, 사용자의 눈은 구(sphere)로서 고려될 수 있고, 한편 눈동자는 안구의 표면 상의 원으로서 고려될 수 있다. 또한, 눈동자는 스크린 상의 주시점을 향해 직접적으로 대면할 수 있다. 도 6a는 2 개의 상이한 안구 방향들을 갖는 안구 모델을 예시한다. 도 6a에 예시된 바와 같이, 사용자가 상이한 방향들을 향해 바라볼 때, 눈동자는 눈과 함께 방향을 변경할 것이다. 카메라에 의해 캡처된 이미지에서, 눈동자의 윤곽은 한 종류의 타원형에서 또 다른 종류의 타원형으로 변할 것이다. 눈동자의 윤곽 및 안면 방향에 기초하여, 각각의 안구의 회전 각도가 획득될 수 있고, 회전 각도는,
본원에서 은 눈동자 방향 및 Yb 축 사이의 각도를 지칭하고, 한편 은 눈동자 방향 및 Xb 축 사이의 각도를 지칭한다. 안구 방향의 계산 성능을 개선하기 위해, 상기의 4 개의 각도들, , , , 및 을 획득하도록, 안구 방향 표는 모든 가능한 안구 방향들 및 이들의 회전 각도들을 열거하도록 도입된다. 도 10을 참조하면, 표는 다음의 열들(columns)의 정보를 적어도 포함하고, 제 1 열은 인덱스를 나타내고, 제 2 열은 수직 회전 각도 를 나타내고, 제 3 열은 수직 회전 각도 를 나타내고, 제 4 열은 대응하는 실질적인 안면 방향을 나타내고, 제 5 열은 눈(눈동자)이 수직 및 수평으로 회전된 후에 눈동자 윤곽에 관련된 이미지를 포함한다. 제 2 열() 및 제 3 열()의 값들은 0.0°- 180.0° 사이에서 변동한다. 도 6b에 예시된 바와 같이, 및 의 값들은 지점 0이 구 표면 상에 위치된다는 것을 만족해야 한다. 안구 방향 표의 값 범위는 카메라를 대면하는 구 표면의 측면(즉, Z 축의 음의 축 방향)에서 샘플링 지점들에 대응하는 및 이고, 샘플링 지점들에서 눈동자의 윤곽 형태가 카메라에 의해 관측된다. 샘플링 지점들이 더 조밀할수록, 및 의 증가가 더 적고, 결과들이 더 정확하지만, 수행될 부하가 더 크다. 디폴트 각도 증가는 0.1°이다. 예로서, 도 10은 눈동자들이 지점 M, 지점 N, 지점 Q, 및 지점 Q'일 때 표 콘텐츠만을 예시한다(인덱스 열은 1, 2, 3 등과 같이 실제 구현에서 정수값만큼 점차적으로 증가되어야 하고, 따라서, 표현의 편의를 위해, 이들은 IM, IN, IQ 등으로서 기록됨).
이러한 표의 사용 프로세스가 아래에 지정되고, 눈의 이미지를 획득한 후에, 좌측 눈(우측 눈)의 윤곽은 표에서 가장 적절한 윤곽을 찾도록 추출되어, 이로써 다음의 각도들, , (또는 , )을 획득한다. 표로부터, 도 6 내의 구 중심 주변의 대칭적인 지점들, 예를 들면, 지점들 Q 및 Q'이 카메라에 의해 관측되는 눈동자 윤곽들과 동일하다는 것을 알 수 있고, 이는 안면 방향을 통한 판정을 필요로 한다. 실제 동작 프로세스에서, 사용자의 가능한 각도들 및 의 범위의 보간법(interpolation)은 카메라(102)에 대한 사용자 및 스크린의 크기의 위치 관계에 기초하여 강화될 수 있고, 이는 결과들의 정확성을 개선하는데 도움을 준다.
카메라(102)에 대해, 원뿔 측면 상의 모든 지점들은 카메라에 의해 캡처된 이미지 내의 원으로 투영될 것이다. 따라서, 일단 카메라에 의해 이미지 내의 원의 반경이 획득되면, 도 7에 예시된 바와 같이, 원뿔의 꼭짓점 각도가 결정될 수 있다. 원뿔의 꼭짓점 각도를 더 양호하게 설명하기 위해, 도 11은 원뿔의 모든 가능한 꼭짓점 각도들 및 특정 카메라에 대한 투영 둘레의 반경 사이의 관계를 예시한다. 표의 거리 단위는 픽셀이고, 이는 다른 단위들로 변환될 수 있다. 투영 둘레의 반경 값들의 범위는 0 - RMAX이다. RMAX는 이미지 중심으로부터 이미지의 코너로의 최장 거리이다. 상이한 카메라들이 상이한 분해능, 포커스 거리, 및 광각(wide-angles)을 갖기 때문에, 표 내의 콘텐츠는 상이한 카메라들에 기초하여 설정될 수 있다. 투영 둘레 반경의 증가의 제한된 입도(granularity)는 5 픽셀들이다. 입도가 더 작을수록, 결과들이 더 정확하지만, 실행될 때, 계산 및 비교의 시간이 더 많이 요구된다. 예로서, 도 11에 예시된 바와 같이, 투영 둘레 반경 - 원뿔 꼭짓점 표는 10 픽셀의 단위를 채택하고, 카메라의 RMAX는 200 픽셀들이고, 카메라의 최대 시야각은 40°(좌측 및 우측에 대해 각각 20°)이다.
실제 구현 프로세스에서, 사용자가 항상 위치된 위치에 대응하는 각도(즉, 원뿔의 꼭짓점 각도)의 보간법은 카메라(102)에 대한 사용자의 위치 관계에 기초하여 강화되고, 이는 결과들의 정확성을 개선하는데 도움을 준다.
본 실시예에서, 기준표 획득 유닛(104)은, 카메라(102)에 의해 캡처된 거리들 D0 및 D1을 갖는 기준 안면 이미지들을 활용하여 상술된 눈 방향 표 및 투영 둘레 반경 - 원뿔 꼭짓점 표를 구성하는 기준표 구성 유닛(1042)을 포함한다. 또한, 기준표 획득 유닛(104)은 기준표 저장 유닛(1044)을 더 포함한다. 기준표가 구성되고 기준표 저장 유닛(1044)에 저장되면, 기준표 획득 유닛(104)은 기준표 저장 유닛(1044)으로부터 기준표를 직접적으로 판독할 수 있다. 또한, 기준표 구성 유닛(104)에 의해 구성된 기준표는 기준표 저장 유닛(1044)에 저장될 수 있다.
계산 유닛(106)은 시선 방향 계산 유닛(1062) 및 주시점 계산 유닛(1064)을 포함할 수 있다. 여기서, 시선 방향 계산 유닛(1062)은 카메라의 위치에 기초하여 사용자의 안면 이미지 내의 사용자의 2 개의 눈동자들의 중간 지점으로부터 카메라까지의 거리를 측정하고, 기준표의 탐색을 통해 사용자의 시선 방향을 계산한다. 구체적으로, 시선 방향 계산 유닛(1062)은 사용자 안면의 실질적인 방향, 사용자의 눈 및 눈동자의 윤곽, 및 눈동자 거리 P를 검출하기 위해 발달한 안면 검출/식별 알고리즘, 예를 들면, OpenCV를 채택한다. AB 거리 L은 눈동자 거리 P, 기준 눈동자 거리들 P0 및 P1을 사용하여 계산된다. 거리 및 이미지 크기는 다음의 관계들을 갖는다.
따라서, AB 거리 L 및 눈동자 거리 P는 다음의 수학식을 만족한다.
결과들의 정확성을 개선하기 위해, 수학식 4 및 5은 수학식 6을 획득하도록 결합된다.
시선 방향 계산 유닛(1062)은 또한 각도 α 및 β를 계산한다. 구체적으로, α는 평면 2 내의 중간 라인 A0B 및 X 축 사이의 각도를 지칭하고, 여기서 A0는 평면 P2 상의 지점 A의 수직 투영 지점이고, 지점 B는 2 개의 눈동자들 사이의 중간 지점이다(도 9에 예시됨). 평면 2이 평면 1에 평행이기 때문에, 각도 α는 카메라에 의해 캡처된 이미지 내의 투영 각도 α'와 동일하다.
도 8은 이미지 내의 지점들 A0', B' 및 각도 α'를 예시하고, 이들은 다음을 만족한다.
A0'B' 및 B'C'는 이미지 내의 이러한 지점들 사이의 길이를 나타낸다. 따라서, 각도 α'의 값은 다음과 같다.
카메라에 의해 캡처된 이미지 내의 A0'B'의 길이를 획득한 후에, 시선 방향 계산 유닛(1062)은 투영 둘레 반경 값이 길이 A0'B'와 매칭하는 가장 적절한 행을 찾기 위해 투영 둘레 반경-원뿔 꼭짓점 각도 표를 검색할 수 있다. 이러한 방법으로, 동일한 행 내의 원뿔 꼭짓점 각도는 각도 β이다. 그후, 시선 방향 계산 유닛(1062)은 지점 B의 좌표를 계산한다. 이전에 획득된 결과를 활용함으로써, 지점 B이 지점 A0에 대해 좌측 하부에 위치될 때(도 9에 예시된 바와 같이, 전면으로부터 이미지 각도를 관측하여, 아래와 동일함), 지점 B의 좌표 (x3, y3, z3)는 다음의 수학식에 따라 계산될 수 있다.
지점 B이 지점 A0에 대해 우측에 위치될 때(상부 우측, 하부 우측을 포함함), 수학식 10에서 덧셈 부호는 뺄셈 부호로 변경되고, 지점 B이 지점 A0 위에 위치될 때(상부 좌측, 상부 우측을 포함함), 수학식 11에서 덧셈 부호는 뺄셈 부호로 변경된다.
다음에, 시선 방향 계산 유닛(1062)은 안구의 회전 각도를 계산한다. 구체적으로, 카메라에 의해 캡처된 이미지에 기초하여, 좌측 눈의 눈동자의 윤곽은 상술된 안구 방향 표로부터 가장 적절한 윤곽을 찾고, 추가로, 안면 방향과 결합하여, Yb 축에 대한 안구의 수직 회전 각도 및 Xb 축에 대한 수평 회전 각도 를 획득하도록 검출된다. 우측 눈의 및 는 또한 동일한 단계에 따라 획득될 수 있다.
그후, 시선 방향 계산 유닛(1062)은 사용자의 시선 방향을 계산한다.
상기 시선 방향은 평면 Pb 내의 Xb 축 및 Yb 축에 관련되고, 이는 또한 X 축 및 Y 축에 대한 각도로 변환되어야 한다. 따라서, 시선 방향 계산 유닛(1062)은, 도 9에 예시된 바와 같이, 평면 Pb의 수평 축 Xb과 평면 P1의 수평 축 X 사이의 각도 및 평면 P1의 Yb 축과 수직 축 Y 사이의 각도 를 계산하고, 이들은 다음을 만족한다.
나중에, 주시점 계산 유닛(1064)은 카메라의 위치, 사용자의 2 개의 눈동자들 사이의 중간 지점으로부터 카메라까지의 거리, 및 사용자의 시선 방향에 기초하여 스크린(108) 상의 사용자의 주시점을 계산한다. 구체적으로, 주시점 계산 유닛(1064)은 시선 방향 계산 유닛(1062)에 의해 계산된 및 에 기초하여 다음의 수학식에 따라 스크린(108) 상의 주시점 D의 좌표 (x4, y4, 0)를 계산한다.
대안적으로, 주시점을 검출하기 위한 장치(100)는 커서 이동 유닛(112)을 더 포함할 수 있다. 커서 이동 유닛(112)은 커서를 이동시킬 필요가 있는지를 결정한다. 필요한 경우, 커서는 주시점으로 이동된다. 그렇지 않다면, 커서가 이동되지 않는다. 바람직하게, 계산 정확성 및 다른 요인에 의해 영향을 받는다면, 실제 주시점 및 계산된 주시점 D 사이에 특정 편차(certain deviation)가 존재할 수 있다. 이러한 편차를 허용하기 위해, 주시 영역의 개념이 도입된다. 이러한 영역은 중심으로서 지점 D(계산된 주시점) 및 반경으로서 사전 정의된 길이 G를 갖는 스크린 상의 원형 영역을 지칭한다. 따라서, 새로운 주시점 D이 획득될 때, 주시점이 스크린의 디스플레이 가능한 범위를 넘어서 위치되면, 커서는 이동되지 않는다. 또한, 현재 커서 및 지점 D 사이의 거리가 사전 정의된 값 G 미만이기만 하면, 커서는 이동되지 않을 것이다. 그렇지 않다면, 커서는 주시점 D으로 이동된다.
대안적으로, 주시점을 검출하기 위한 장치(100)는 보조 유닛(110)을 더 포함할 수 있다. 사용자는 보조 유닛, 예를 들면, 마우스, 키보드, 터치패드, 핸들, 및 원격 제어기 중 하나 이상을 통해 커서 위치에서 동작을 수행할 수 있다. 예를 들면, 사용자는 단일 클릭 또는 더블 클릭을 수행하기 위해 마우스를 사용하거나, 다른 종류의 키 동작을 수행하기 위해 핸들 또는 원격 제어기를 사용할 수 있다.
아래에, 본 발명의 실시예에 따라 주시점을 검출하는 방법의 다양한 단계들이 도 2a 및 도 2b를 참조하여 설명될 것이다.
도 2a에 예시된 바와 같이, 상기 방법은 단계(S20)로부터 시작된다.
단계(S22)에서, 준비 작업이 수행된다. 준비 작업은 기준 안면 이미지들이 카메라에 의해 수집되는 것을 포함하고, 본 실시예에서, 거리들 D0 및 D1을 갖는 기준 안면 이미지가 획득된다. 기준 안면 이미지는 사용자의 안면 검출/식별에 대해 결정적이다. 기준 안면 이미지를 결정한 후에, 기준 눈동자 거리 P0 및 P1로서 2 개의 눈동자들의 중심점들 사이의 거리가 획득된다. 다음에, 상술된 안구 방향 표 및 투영 둘레 반경-원뿔 꼭짓점 각도 표가 구성된다. 또는, 2 개의 표들이 구성되고 기준표 저장 유닛에 저장되면, 표들이 바로 직접적으로 판독된다. 최종적으로, 카메라의 위치가, 즉, 지점 A의 좌표 (x1, y1, 0)에 위치된다.
단계(S24)에서, 주시점 검출이 수행된다. 도 2b는 주시점을 검출하는 특정 단계를 예시한다. 구체적으로, 단계(S241)에서, 안면, 눈동자 윤곽, 및 사용자의 눈동자 거리 P가 검출된다. 단계(S243)에서, 눈동자 거리 P, 기준 눈동자 거리 P0 및 P1에 기초하여 AB 거리 L이 계산된다. 단계(S245)에서, 각도들 α 및 β이 획득된다. 단계(S247)에서, 지점 B의 좌표가 계산된다. 나중에, 단계(S249)에서, 안구들의 회전 각도가 계산된다. 상술된 바와 같이, 좌측 눈의 눈동자의 윤곽은 카메라에 의해 캡처된 이미지에 기초하여 검출되고, 상술된 바와 같이, 안구 방향 표에서 가장 적절한 윤곽이 탐색된다. 안면 방향과 결합하여, Yb 축에 대해 안구의 수직 회전 각도 및 Xb 축에 대해 수평 회전 각도 가 획득된다. 우측 눈의 및 가 또한 동일한 단계에 따라 획득될 수 있다. 그후, 사용자의 시선 방향이 계산된다. 최종적으로, 단계(S251)에서, 사용자의 계산된 시선 방향에 기초하여 스크린(108) 상의 주시점 D의 좌표 (x4, y4, 0)가 계산된다.
주시점을 검출하는 단계(S24)가 구현된 후에, 도 2b를 참조하여, 대안적으로, 단계(S26)에서, 커서를 이동시킬 필요가 있는지가 결정된다. 필요한 경우에, 단계(S28)에서, 커서가 주시점으로 이동된다. 그렇지 않다면, 커서가 이동되지 않는다. 나중에, 방법 흐름은 주시점의 검출을 순환하여 수행하기 위해 단계(S24)로 복귀할 수 있다. 방법을 종료하는 경우에, 상기 방법은 단계(S30)에서 종료된다.
요약하면, 본 발명은 안면 검출 및 이미지 측정에 기초하여 주시점을 검출하기 위한 방법 및 장치를 제공한다. 사용자의 안면 방향 및 안구 방향을 검출하고, 스크린 상의 사용자의 주시점을 계산하는 것을 통해, 커서는 영역으로 이동될 수 있다. 계산 정확성에 의해 요구된 바와 같이, 가능한 주시 영역이 계산될 수 있고, 커서는 상기 영역으로 이동되고, 사용자는 커서를 예상된 정확한 위치로 이동시켜서, 사용자에 의한 실제 이동은 극적으로 단축되며, 한편, 주시점을 검출하기 위한 장치의 계산 변화가 완화된다. 상기 해결책은 실제 장치 정확성에 기초하여 더 크게 사전 정의된 반경 G을 설정함으로써 의도적으로 구현될 수 있다.
또한, 본 발명에 따른 검출 방법 및 장치는 또한 사용자 주변에 다수의 스크린들을 갖는 다중-스크린 컴퓨터에 적용될 수 있다. 특정 구현은, 다수의 스크린들이 존재할 때, 각각의 스크린들의 방위들 및 카메라가 위치된 평면과 이들의 각도 관계들이다. 사용자의 시선을 검출할 때, 본 발명의 상기 원리를 활용하고, 시선 연장선의 교차점 및 관련 평면을 계산함으로써, 주시점이 최종적으로 획득된다.
본 발명이 본 발명의 바람직한 실시예들을 참조하여 예시되었지만, 본 발명의 사상 및 범위에서 벗어나지 않고, 본 발명에 대해 다양한 보정, 대체 및 변경이 수행될 수 있다는 것을 당업자는 이해할 것이다. 따라서, 본 발명은 상술된 실시예에 의해 규정되어서는 안 되며, 첨부한 청구항 및 이들의 동등물에 의해 규정되어야 한다.
Claims (14)
- 스크린 상의 사용자의 주시점(a fixation point)을 계산하는 데 사용되는 주시점 검출 장치로서,
상기 사용자의 안면 이미지를 캡처하는 카메라와,
기준 안면 이미지들과 상기 사용자의 시선 방향들(line-of-sight directions) 사이의 관계들을 나타내는 기준표를 획득하는 기준표 획득 유닛 - 상기 기준표는 안구의 수직 회전 각도의 컬럼, 안구의 수평 회전 각도의 컬럼 및 눈동자 윤곽의 컬럼을 갖는 안구 방향표를 포함함 - 과,
상기 카메라에 의해 캡처된 상기 사용자의 안면 이미지에 기초하여 상기 사용자의 눈동자들의 윤곽을 검출하고, 상기 기준표의 상기 안구 방향표로부터 가장 부합하는 윤곽을 검색함으로써 상기 검출된 윤곽에 근거하여 상기 사용자의 안구의 회전 각도를 계산하며, 상기 안구의 회전 각도에 근거하여 상기 사용자의 시선 방향을 결정하며, 상기 사용자의 시선 방향에 적어도 기초하여 상기 스크린 상의 상기 사용자의 주시점을 계산하는 계산 유닛을 포함하는
주시점 검출 장치.
- 제 1 항에 있어서,
상기 기준표 획득 유닛은,
상기 카메라에 의해 캡처된 상기 사용자의 적어도 하나의 기준 안면 이미지에 기초하여 상기 기준표를 구성하는 기준표 구성 유닛과,
사전에 구성된 상기 기준표를 저장하는 기준표 저장 유닛 중 적어도 하나를 포함하는
주시점 검출 장치.
- 제 1 항에 있어서,
상기 계산 유닛은,
상기 카메라의 위치에 기초하여 상기 사용자의 안면 이미지 내의 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 카메라 사이의 거리를 측정하고, 상기 기준표의 검색을 통해 상기 사용자의 시선 방향을 계산하는 시선 방향 계산 유닛과,
상기 카메라의 위치, 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 카메라 사이의 거리, 및 상기 사용자의 시선 방향에 기초하여, 상기 스크린 상의 상기 사용자의 주시점을 계산하는 주시점 계산 유닛을 포함하는
주시점 검출 장치.
- 제 1 항에 있어서,
커서 이동 유닛을 더 포함하되,
상기 주시점이 계산된 후에, 상기 커서 이동 유닛은 상기 주시점이 상기 스크린 내에 위치되는 경우에 상기 스크린 상의 커서를 상기 주시점으로 이동시키는
주시점 검출 장치.
- 제 4 항에 있어서,
상기 커서 이동 유닛은 상기 주시점과 현재의 커서 사이의 거리가 사전 정의된 값 미만인 경우에 상기 커서를 이동시키지 않는
주시점 검출 장치.
- 제 4 항에 있어서,
상기 커서의 위치에서 동작을 수행하는 보조 유닛을 더 포함하는
주시점 검출 장치.
- 제 6 항에 있어서,
상기 보조 유닛은 마우스, 키보드, 터치패드, 핸들 및 원격 제어기 중 적어도 하나를 포함하는
주시점 검출 장치.
- 스크린 상의 사용자의 주시점을 계산하기 위한 주시점 검출 방법으로서,
기준 안면 이미지들과 상기 사용자의 시선 방향들 사이의 관계들을 포함하는 기준표를 획득하는 단계 - 상기 기준표는 안구의 수직 회전 각도의 컬럼, 안구의 수평 회전 각도의 컬럼 및 눈동자 윤곽의 컬럼을 갖는 안구 방향표를 포함함 - 와,
상기 사용자의 안면 이미지를 캡처하고, 카메라에 의해 캡처된 상기 사용자의 안면 이미지에 기초하여 상기 사용자의 눈동자들의 윤곽을 검출하고, 상기 기준표의 상기 안구 방향표로부터 가장 부합하는 윤곽을 검색함으로써 상기 검출된 윤곽에 근거하여 상기 사용자의 안구의 회전 각도를 계산하며, 상기 안구의 회전 각도에 근거하여 상기 사용자의 시선 방향을 결정하며, 상기 사용자의 시선 방향에 적어도 기초하여 상기 스크린 상의 상기 사용자의 주시점을 계산하는 계산 단계를 포함하는
주시점 검출 방법.
- 제 8 항에 있어서,
상기 획득 단계는,
상기 사용자의 적어도 하나의 기준 안면 이미지를 획득하는 데 이미지 캡처 디바이스를 사용하여 상기 기준 안면 이미지들과 상기 사용자의 시선 방향들 사이의 관계들을 포함하는 상기 기준표를 구성하는 단계, 또는
사전에 구성된 상기 기준표를 직접 획득하는 단계를 더 포함하는
주시점 검출 방법.
- 제 8 항에 있어서,
상기 계산 단계는,
이미지 캡처 디바이스의 위치에 기초하여 상기 사용자의 상기 안면 이미지 내의 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 이미지 캡처 디바이스 사이의 거리를 측정하고, 상기 기준표의 검색을 통해 상기 사용자의 시선 방향을 계산하는 단계와,
상기 이미지 캡처 디바이스의 위치, 상기 사용자의 2 개의 눈동자들의 중간 지점과 상기 이미지 캡처 디바이스 사이의 거리, 및 상기 사용자의 시선 방향에 기초하여, 상기 스크린 상의 상기 사용자의 주시점을 계산하는 단계를 더 포함하는
주시점 검출 방법.
- 제 8 항에 있어서,
상기 주시점을 계산한 후에, 상기 주시점이 상기 스크린 내에 있다면, 상기 스크린 상의 커서를 상기 주시점으로 이동시키는 단계를 더 포함하는
주시점 검출 방법.
- 제 11 항에 있어서,
상기 주시점과 현재의 커서 사이의 거리가 사전 정의된 값 미만인 경우에 상기 커서는 이동되지 않는
주시점 검출 방법.
- 제 12 항에 있어서,
상기 사전 정의된 값은 요청에 따라 설정되는
주시점 검출 방법.
- 사용자 주변에 복수의 스크린들을 구비하며, 제 1 항 내지 제 5 항 중 어느 한 항에 따른 주시점 검출 장치를 포함하는
다중-스크린 컴퓨터.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2009/001105 WO2011038527A1 (zh) | 2009-09-29 | 2009-09-29 | 一种注视点检测方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120080215A KR20120080215A (ko) | 2012-07-16 |
KR101394719B1 true KR101394719B1 (ko) | 2014-05-15 |
Family
ID=43825476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127010876A KR101394719B1 (ko) | 2009-09-29 | 2009-09-29 | 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120169596A1 (ko) |
EP (1) | EP2485118A4 (ko) |
JP (1) | JP5474202B2 (ko) |
KR (1) | KR101394719B1 (ko) |
CN (1) | CN102473033B (ko) |
WO (1) | WO2011038527A1 (ko) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140053115A1 (en) * | 2009-10-13 | 2014-02-20 | Pointgrab Ltd. | Computer vision gesture based control of a device |
KR101699922B1 (ko) * | 2010-08-12 | 2017-01-25 | 삼성전자주식회사 | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 |
US8433710B2 (en) | 2010-09-09 | 2013-04-30 | Ebay Inc. | Sizing content recommendation system |
KR101231510B1 (ko) * | 2010-10-11 | 2013-02-07 | 현대자동차주식회사 | 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량 |
JP5982956B2 (ja) * | 2012-03-30 | 2016-08-31 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
CN103777861A (zh) * | 2012-10-23 | 2014-05-07 | 韩国电子通信研究院 | 终端和用于在终端中控制触摸操作的方法 |
CN103870097A (zh) * | 2012-12-12 | 2014-06-18 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
JP6157165B2 (ja) * | 2013-03-22 | 2017-07-05 | キヤノン株式会社 | 視線検出装置及び撮像装置 |
CN105190515A (zh) | 2013-05-08 | 2015-12-23 | 富士通株式会社 | 输入装置以及输入程序 |
CN103413467A (zh) * | 2013-08-01 | 2013-11-27 | 袁苗达 | 可控强制引导型自主学习*** |
CN103455298A (zh) * | 2013-09-06 | 2013-12-18 | 深圳市中兴移动通信有限公司 | 一种外来数据显示方法和外来数据显示设备 |
JP6260255B2 (ja) * | 2013-12-18 | 2018-01-17 | 株式会社デンソー | 表示制御装置およびプログラム |
CN108986766B (zh) * | 2014-01-15 | 2021-08-17 | 麦克赛尔株式会社 | 信息显示终端以及信息显示方法 |
EP3134850B1 (en) | 2014-04-22 | 2023-06-14 | Snap-Aid Patents Ltd. | Method for controlling a camera based on processing an image captured by other camera |
JP6346018B2 (ja) * | 2014-07-18 | 2018-06-20 | 国立大学法人静岡大学 | 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム |
CN104461005B (zh) * | 2014-12-15 | 2018-01-02 | 东风汽车公司 | 一种车载屏幕开关控制方法 |
US10284839B2 (en) * | 2015-01-21 | 2019-05-07 | Chengdu Idealsee Technology Co., Ltd. | Binocular see-through AR head-mounted display device and information display method therefor |
CN105183169B (zh) * | 2015-09-22 | 2018-09-25 | 小米科技有限责任公司 | 视线方向识别方法及装置 |
US9830708B1 (en) | 2015-10-15 | 2017-11-28 | Snap Inc. | Image segmentation of a video stream |
CN106123819B (zh) * | 2016-06-29 | 2018-07-24 | 华中科技大学 | 一种注意力焦点测量方法 |
CN106325505B (zh) * | 2016-08-17 | 2019-11-05 | 传线网络科技(上海)有限公司 | 基于视点跟踪的控制方法和装置 |
EP3305176A1 (en) | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
CN106569467A (zh) * | 2016-10-29 | 2017-04-19 | 深圳智乐信息科技有限公司 | 基于移动终端选择场景的方法及*** |
CN106444403A (zh) * | 2016-10-29 | 2017-02-22 | 深圳智乐信息科技有限公司 | 一种智能家居场景设置和控制的方法及*** |
CN106444404A (zh) * | 2016-10-29 | 2017-02-22 | 深圳智乐信息科技有限公司 | 一种控制方法及*** |
WO2018098772A1 (zh) * | 2016-12-01 | 2018-06-07 | 深圳前海达闼云端智能科技有限公司 | 视点确定方法、装置、电子设备和计算机程序产品 |
CN106791794A (zh) * | 2016-12-30 | 2017-05-31 | 重庆卓美华视光电有限公司 | 一种显示设备、图像处理方法及装置 |
CN107392120B (zh) * | 2017-07-06 | 2020-04-14 | 电子科技大学 | 一种基于视线估计的注意力智能监督方法 |
CN109993030A (zh) * | 2017-12-29 | 2019-07-09 | 上海聚虹光电科技有限公司 | 基于数据统计的注视点预测模型建立方法 |
CN108874127A (zh) * | 2018-05-30 | 2018-11-23 | 北京小度信息科技有限公司 | 信息交互方法、装置、电子设备及计算机可读存储介质 |
CN109947253B (zh) * | 2019-03-25 | 2020-06-19 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
JP7214876B2 (ja) * | 2019-08-09 | 2023-01-30 | 富士フイルム株式会社 | 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム |
CN112445328A (zh) * | 2019-09-03 | 2021-03-05 | 北京七鑫易维信息技术有限公司 | 映射控制方法及装置 |
CN111736698A (zh) * | 2020-06-23 | 2020-10-02 | 中国人民解放军63919部队 | 一种手动辅助定位的视线指点方法 |
CN112541400B (zh) * | 2020-11-20 | 2024-06-21 | 小米科技(武汉)有限公司 | 基于视线估计的行为识别方法及装置、电子设备、存储介质 |
CN112434595B (zh) * | 2020-11-20 | 2024-07-19 | 小米科技(武汉)有限公司 | 行为识别方法及装置、电子设备、存储介质 |
CN112804504B (zh) * | 2020-12-31 | 2022-10-04 | 成都极米科技股份有限公司 | 画质调整方法、装置、投影仪及计算机可读存储介质 |
TWI768704B (zh) * | 2021-02-05 | 2022-06-21 | 宏碁股份有限公司 | 計算關注焦點的方法及電腦程式產品 |
CN113627256B (zh) * | 2021-07-09 | 2023-08-18 | 武汉大学 | 基于眨眼同步及双目移动检测的伪造视频检验方法及*** |
CN117017235A (zh) * | 2023-10-09 | 2023-11-10 | 湖南爱尔眼视光研究所 | 一种视觉认知检测方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09251342A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 |
JPH11175246A (ja) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | 視線検出装置及びその方法 |
JP2000089905A (ja) | 1998-09-14 | 2000-03-31 | Sony Corp | ポインティングデバイス |
JP2008129775A (ja) * | 2006-11-20 | 2008-06-05 | Ntt Docomo Inc | 表示制御装置、表示装置、表示制御方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351273B1 (en) * | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
WO1999035633A2 (en) * | 1998-01-06 | 1999-07-15 | The Video Mouse Group | Human motion following computer mouse and game controller |
DE19819961A1 (de) * | 1998-05-05 | 1999-11-11 | Dirk Kukulenz | Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung |
JP2005253778A (ja) * | 2004-03-12 | 2005-09-22 | Gen Tec:Kk | 視線検出方法及び同装置 |
WO2007074842A1 (ja) * | 2005-12-27 | 2007-07-05 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置 |
DE602007009990D1 (de) * | 2006-07-14 | 2010-12-02 | Panasonic Corp | Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren |
CN101311882A (zh) * | 2007-05-23 | 2008-11-26 | 华为技术有限公司 | 视线跟踪人机交互方法及装置 |
JP4991440B2 (ja) * | 2007-08-08 | 2012-08-01 | 株式会社日立製作所 | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム |
CN101419672B (zh) * | 2008-12-03 | 2010-09-08 | 中国科学院计算技术研究所 | 一种同步采集人脸图像和注视视角的装置及方法 |
-
2009
- 2009-09-29 CN CN200980159898.4A patent/CN102473033B/zh not_active Expired - Fee Related
- 2009-09-29 US US13/496,565 patent/US20120169596A1/en not_active Abandoned
- 2009-09-29 JP JP2012531204A patent/JP5474202B2/ja not_active Expired - Fee Related
- 2009-09-29 KR KR1020127010876A patent/KR101394719B1/ko not_active IP Right Cessation
- 2009-09-29 WO PCT/CN2009/001105 patent/WO2011038527A1/zh active Application Filing
- 2009-09-29 EP EP20090849935 patent/EP2485118A4/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09251342A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 |
JPH11175246A (ja) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | 視線検出装置及びその方法 |
JP2000089905A (ja) | 1998-09-14 | 2000-03-31 | Sony Corp | ポインティングデバイス |
JP2008129775A (ja) * | 2006-11-20 | 2008-06-05 | Ntt Docomo Inc | 表示制御装置、表示装置、表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102473033A (zh) | 2012-05-23 |
CN102473033B (zh) | 2015-05-27 |
JP5474202B2 (ja) | 2014-04-16 |
US20120169596A1 (en) | 2012-07-05 |
JP2013506209A (ja) | 2013-02-21 |
KR20120080215A (ko) | 2012-07-16 |
EP2485118A1 (en) | 2012-08-08 |
WO2011038527A1 (zh) | 2011-04-07 |
EP2485118A4 (en) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101394719B1 (ko) | 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터 | |
US8483424B2 (en) | Information processing apparatus, processing method thereof, and computer-readable storage medium | |
CN107003721B (zh) | 用于眼睛跟踪***的改进校准 | |
JP6011548B2 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪*** | |
US9189684B2 (en) | Biometric authentication device, biometric authentication method, and non-transitory computer-readable recording medium | |
CN108230383A (zh) | 手部三维数据确定方法、装置及电子设备 | |
US9836130B2 (en) | Operation input device, operation input method, and program | |
CN109947253B (zh) | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 | |
WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
US20150310617A1 (en) | Display control device and display control method | |
WO2012144145A1 (ja) | ポインティング制御装置とその集積回路、およびポインティング制御方法 | |
US9569850B2 (en) | System and method for automatically determining pose of a shape | |
JP6881755B2 (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
Pires et al. | Unwrapping the eye for visible-spectrum gaze tracking on wearable devices | |
US10146331B2 (en) | Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates | |
Barz et al. | Computational modelling and prediction of gaze estimation error for head-mounted eye trackers | |
US10922841B2 (en) | Image processing device, image processing method, and image processing program | |
Blignaut | Idiosyncratic feature-based gaze mapping | |
JP5034253B2 (ja) | オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 | |
CN111275769A (zh) | 一种单目视觉参数的校正方法及装置 | |
US20240233183A9 (en) | Calibration method of a portable electronic device | |
EP4292777A1 (en) | Assistance system, image processing device, assistance method and program | |
WO2022186329A1 (ja) | 牛の評価装置及び牛の評価方法 | |
Jariwala et al. | A robust eye gaze estimation using geometric eye features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |