KR20200035003A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20200035003A
KR20200035003A KR1020207001259A KR20207001259A KR20200035003A KR 20200035003 A KR20200035003 A KR 20200035003A KR 1020207001259 A KR1020207001259 A KR 1020207001259A KR 20207001259 A KR20207001259 A KR 20207001259A KR 20200035003 A KR20200035003 A KR 20200035003A
Authority
KR
South Korea
Prior art keywords
calibration
information processing
gaze
eye
point
Prior art date
Application number
KR1020207001259A
Other languages
English (en)
Inventor
다쿠로 노다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200035003A publication Critical patent/KR20200035003A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

양안 중 정밀도 저하의 원인으로 될 수 있는 눈의 영향을 배제함으로써, 보다 정밀도가 높은 시선 검출을 행한다. 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부를 구비하고, 상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램
본 개시는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
다양한 콘텐츠가 표시되는 표시면에 대한 유저의 시선을 검출하고, 검출된 시선을 각종 동작에 이용하는 기술이 제안되어 있다. 예를 들어 특허문헌 1에는, 파인더를 들여다보는 유저의 안구에 적외 대역의 광(적외광)을 조사하고 그 안구로부터의 반사광을 검출기에 의하여 포착함으로써, 시스루 화상(a see-through image)이 표시되는 표시면에 대한 유저의 시선을 검출함과 함께, 검출된 시선을 자동 초점 조절(AF: Auto Focus)에 이용하는 촬상 장치가 개시되어 있다.
일본 특허 공개 평5-333259호 공보
그러나 유저의 한쪽 눈이 정상적으로 기능하고 있지 않은 경우, 특허문헌 1에 기재되는 수법으로는 유저의 시선을 정확히 검출하는 것이 곤란하다. 또한 좌우의 눈에 따른 시선 데이터의 검출 결과에 큰 차가 생기는 경우에는 시선 검출의 정밀도가 저하될 것도 상정된다.
그래서 본 개시에서는, 보다 정밀도가 높은 시선 검출을 행하는 것이 가능한, 신규 및 개량된 정보 처리 장치 및 정보 처리 방법을 제안한다.
본 개시에 의하면, 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부를 구비하고, 상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는, 정보 처리 장치가 제공된다.
또한 본 개시에 의하면, 프로세서가, 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 것을 포함하고, 상기 연산 처리를 실행하는 것은, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 것을 더 포함하는, 정보 처리 방법이 제공된다.
또한 본 개시에 의하면, 컴퓨터를, 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부를 구비하고, 상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 정보 처리 장치로서 기능시키기 위한, 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 양안 중 정밀도 저하의 원인으로 될 수 있는 눈의 영향을 배제함으로써, 보다 정밀도가 높은 시선 검출을 행하는 것이 가능해진다.
또한 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 안구의 구조를 도시하는 설명도이다.
도 2는 본 개시에 따른 제1 실시 형태의 개요에 대하여 설명하기 위한 도면이다.
도 3은 동 실시 형태에 따른 표시 장치의, 유저의 눈과 대향하는 측의 구성을 도시하는 설명도이다.
도 4는 동 실시 형태에 따른 표시 장치가 장착되었을 때의, 유저의 안구(10)와 표시 장치의 위치 관계를 도시하는 개략 측면도이다.
도 5는 동 실시 형태에 따른 표시 장치 및 정보 처리 장치의 기능 구성을 도시하는 기능 블록도이다.
도 6은 동 실시 형태에 따른, 이동하여 표시되는 주시점 마커의 일 표시예를 도시하는 설명도이다.
도 7은 동 실시 형태에 따른 동공 각막 반사법을 이용한 광축 벡터의 산출 처리에 대하여 설명하기 위한 설명도이다.
도 8은 동 실시 형태에 따른 광축의 변동의 평가 결과의 일례를 나타내는 그래프이다.
도 9는 동 실시 형태에 따른 마커 벡터 및 광축 벡터의 좌표를 나타내는 설명도이다.
도 10은 동 실시 형태에 따른 정보 처리 장치에 의한 캘리브레이션 처리의 흐름을 도시하는 흐름도이다.
도 11은 동 실시 형태에 따른 캘리브레이션점별 이용 가부 판정의 흐름을 도시하는 흐름도이다.
도 12는 동 실시 형태에 따른 캘리브레이션점 위치의 변경에 대하여 설명하기 위한 설명도이다.
도 13은 동 실시 형태에 따른 표시 제어부에 의한 오브젝트의 표시 제어의 일례를 도시하는 도면이다.
도 14는 동 실시 형태에 따른 좌안과 우안의 양쪽에 있어서 캘리브레이션이 실행된 경우에 있어서의 오브젝트의 표시 제어의 일례를 도시하는 도면이다.
도 15는 본 개시의 제2 실시 형태에 따른 정보 처리 장치가 장착되었을 때의, 유저의 안구(10)와 정보 처리 장치(200)의 위치 관계를 도시하는 개략 측면도이다.
도 16은 동 실시 형태에 따른 투명 부재를 유저측으로부터 도시한 정면도이다.
도 17은 동 실시 형태에 따른 투명 부재의 구조적 특징을 도시하는 사시도이다.
도 18은 동 실시 형태에 따른 선형의 발광점을 도시하는 도면이다.
도 19는 동 실시 형태에 따른 메쉬형의 발광점을 도시하는 도면이다.
도 20은 동 실시 형태에 따른 봉 형상의 투명 부재에 대하여 설명하기 위한 도면이다.
도 21은 본 개시의 일 실시 형태에 따른 정보 처리 장치의 하드웨어 구성예를 도시하는 도면이다.
이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 붙임으로써 중복 설명을 생략한다.
또한 설명은 이하의 순서로 행하기로 한다.
1. 제1 실시 형태
1.1. 개요
1.2. 표시 장치의 하드웨어 구성
1.3. 기능 구성
1.4. 캘리브레이션 처리
1.5. 캘리브레이션 처리의 흐름
1.6. 캘리브레이션의 실행 결과에 기초한 표시 제어
2. 제2 실시 형태
2.1. 개요
2.2. 투명 부재의 특징
3. 하드웨어 구성예
4. 정리
<1. 제1 실시 형태>
≪1.1. 개요≫
먼저, 본 개시의 제1 실시 형태에 따른 정보 처리 장치의 개요에 대하여 설명한다. 도 1은, 안구의 구조를 도시하는 설명도이다.
본 실시 형태에 따른 정보 처리 장치는, 디스플레이에 대한 유저의 시선을 검출할 때, 시선 검출 정밀도를 향상시키기 위하여 실행되는 캘리브레이션을 행하는 장치이다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 동공 각막 반사법을 이용하여 유저의 시선을 검출한다. 동공 각막 반사법은, 유저의 안구에 대하여 광원으로부터 광을 조사하고, 그 광의, 각막 표면에서의 반사광과 동공의 위치를 검출하여 시선 방향을 추정하는 수법이다.
여기서, 유저의 시선은, 도 1에 도시한 바와 같이, 안구(10)의 수정체(12)의 중앙 후면에 있는 절점(12a)과 중심와(16a)를 잇는 시축 AS 상에 있다. 한편, 상술한 동공 각막 반사법에서 추정되는 시선 방향은, 동공(17)의 중심을 통과하는 각막(14)의 법선 상의 광축 AO에 있다. 시축 AS와 광축 AO에는 어긋남이 있으며, 개인차에 따라 다르지만 일반적으로는 4 내지 8° 정도 경사져 있다. 이 어긋남이 커지면 시선 검출 정밀도가 저하되기 때문에 캘리브레이션을 행하여 어긋남을 보정한다.
캘리브레이션은 이하의 수순으로 행해진다.
(수순 1) 시야 내의 어느 점(이하, 「주시점」이라고도 함)을 보았을 때의 광축을 추정
(수순 2) 각막 곡률 중심으로부터 주시점으로의 주시점 벡터와 추정된 광축의 벡터의 차분을 측정
(수순3) (수순 2)에서 측정한 차분에 기초하여, 임의의 점을 보았을 때의 광축으로부터 그때의 시축을 추정
또한 안구(10)는 근육의 인장에 의하여 회전하기 때문에, 보는 방향에 따라 롤 회전이 가해진다. 이 때문에 캘리브레이션의 파라미터는 안구(10)의 방향에 따라 상이하다. 그래서 통상, 시야 내의 복수(예를 들어 5점 내지 9점)의 주시점에 있어서 파라미터가 취득된다.
이와 같은 캘리브레이션에 있어서는, 동공 표면에서의 반사광의 검출이나 광축의 추정에 오차가 있다. 이 오차의 변동을 억제함으로써 시선 검출의 정밀도를 높이는 것이 가능해진다. 그래서 본 실시 형태에 따른 정보 처리 장치는, 상기와 같은 오차의 변동을 억제하도록 캘리브레이션을 행한다.
또한 일반적인 캘리브레이션에 있어서는, 양안에 따른 시선 데이터를 이용하여 처리가 실행된다. 그러나 상술한 바와 같이, 양안 중 한쪽 눈이 정상적으로 기능하고 있지 않은 경우 등에 있어서는, 시선 검출이 곤란해질 것이나 시선 검출의 정밀도가 현저히 저하될 것이 상정된다. 이 때문에 본 실시 형태에 따른 정보 처리 장치는, 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 것을 특징의 하나로 한다.
도 2는, 본 실시 형태의 개요에 대하여 설명하기 위한 도면이다. 도 2에는, 유저의 좌안 LE이 정상적으로 기능하고 우안 RE가 정상적으로 기능하고 있지 않은 상황이 도시되어 있다. 당해 상황에는, 예를 들어 유저의 우안 RE가 의안인 경우나 우안 RE에 사시의 증상이 관찰되는 경우 등이 해당한다.
이때, 본 실시 형태에 따른 정보 처리 장치는, 좌안 LE 및 우안 RE 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션이 가능으로 판정한 좌안 LE에 따른 시선 데이터만을 이용하여 좌안 LE에 대해서만 캘리브레이션을 실행한다. 또한 본 실시 형태에 따른 정보 처리 장치는, 캘리브레이션을 실행한 좌안 LE에 따른 시선 데이터만을 이용하여 시선 검출을 행할 수 있다. 도 2에 도시하는 일례의 경우, 정보 처리 장치는, 캘리브레이션을 실행한 좌안 LE에 따른 시선 데이터만을 취득하여, 포인트 P1 내지 P3에 대한 유저의 시선을 검출하고 있다.
본 실시 형태에 따른 정보 처리 장치가 갖는 상기 기능에 의하면, 한쪽 눈이 정상적으로 기능하고 있지 않은 경우에도 유저의 시선을 검출하는 것이 가능해진다. 또한 본 실시 형태에 따른 정보 처리 장치에 의하면, 정밀도 저하의 원인으로 될 수 있는 눈의 영향을 배제함으로써, 보다 정밀도가 높은 시선 검출을 행하는 것이 가능해진다.
≪1.2. 표시 장치의 하드웨어 구성≫
본 실시 형태에 따른 정보 처리 장치의 설명에 앞서, 도 3 및 도 4을 참조하여, 본 실시 형태에 따른 정보 처리 장치에 의한 캘리브레이션이 행해지는 표시 장치(100)의 하드웨어 구성을 설명한다. 또한 도 3은, 표시 장치(100)의, 유저의 눈과 대향하는 측의 구성을 도시하는 설명도이다. 도 4는, 표시 장치(100)가 장착되었을 때의, 유저의 안구(10)와 표시 장치(100)의 위치 관계를 도시하는 개략 측면도이다.
표시 장치(100)는, 유저가 두부에 장착하고 눈과 표시부를 대향시킨 상태에서 사용되는 장치이다. 표시 장치(100)는, 예를 들어 비투과형, 비디오 투과형, 광학 투과형 등의 헤드 마운트 디스플레이여도 된다. 본 실시 형태에 따른 표시 장치(100)의, 유저의 눈과 대향하는 측의 면에는, 도 3에 도시한 바와 같이, 우안 및 좌안에 대응하는 위치에 각각 표시부(102R, 102L)가 마련되어 있다. 본 실시 형태에 따른 표시부(102R, 102L)는 대략 장방형으로 형성되어 있다. 또한 하우징(101)에는 표시부(102R, 102L) 사이에, 유저의 코가 위치하는 오목부(101a)가 형성되어 있어도 된다.
표시부(102R)의 주위에는 4개의 광원(103Ra, 103Rb, 103Rc, 103Rd)이, 표시부(102R)의 4개의 변의 대략 중앙에 각각 마련되어 있다. 마찬가지로 표시부(102L)의 주위에는 4개의 광원(103La, 103Lb, 103Lc, 103Ld)이, 표시부(102L)의 4개의 변의 대략 중앙에 각각 마련되어 있다. 이들 광원(103Ra 내지 103Rd, 103La 내지 103Ld)은, 적외광을 발하는 광원으로 이루어진다. 각 광원(103Ra 내지 103Rd, 103La 내지 103Ld)은, 이들이 마련되어 있는 표시부(102R, 102L)에 대향하고 있는 유저의 안구(10)에 대하여 광을 조사한다.
또한 표시부(102R, 102L)의 주위에는 각각, 안구(10)를 촬영하는 촬상부(104R, 104L)가 마련되어 있다. 각 촬상부(104R, 104L)는, 예를 들어 도 3에 도시한 바와 같이 각 표시부(102R, 102L)의 하부(각 표시부(102R, 102L)의 하부에 마련된 광원(103Rc, 103Lc)보다도 하부측)에 마련된다. 촬상부(104R, 104L)는, 도 4에 도시한 바와 같이, 적어도 촬영하는 안구(10)의 동공(17)이 촬영 범위에 포함되도록 배치된다. 예를 들어 촬상부(104R, 104L)는, 소정의 앙각 θ를 갖도록 배치된다. 앙각 θ는, 예를 들어 약 30°로 해도 된다.
또한 표시 장치(100)는, 유저에게 장착되었을 때, 표시부(102R, 102L)가 유저의 안구(10)로부터 소정의 거리만큼 떨어지도록 구성된다. 이것에 의하여, 표시 장치(100)를 장착한 유저는 불쾌감 없이 표시부(102R, 102L)의 표시 영역을 시야 내에 들게 할 수 있다. 이때, 유저가 안경 G를 장착하고 있는 경우에도 그 위로부터 겹쳐서 표시 장치(100)를 장착 가능하도록 표시부(102R, 102L)와 유저의 안구(10)의 거리를 결정해도 된다. 촬상부(104R, 104L)는, 이 상태에서 유저의 안구(10)의 동공(17)이 촬영 범위에 포함되도록 배치된다.
≪1.3. 기능 구성≫
다음으로, 도 5에 기초하여, 상술한 표시 장치(100)와, 표시 장치(100)의 캘리브레이션을 행하는 정보 처리 장치(200)의 기능 구성을 설명한다. 또한 도 5는, 표시 장치(100) 및 정보 처리 장치(200)의 기능 구성을 도시하는 기능 블록도이다.
(표시 장치(100))
표시 장치(100)는, 도 5에 도시한 바와 같이 광원(110)과 촬상부(120)와 표시부(130)와 제어부(140)와 송수신부(150)를 구비한다.
광원(110)은, 표시 장치(100)를 장착한 유저의 안구(10)에 대하여 광을 조사한다. 광원(110)은, 예를 들어 적외광을 출사하는 광원이며, 도 3의 광원(103Ra 내지 103Rd, 103La 내지 103Ld)에 상당한다. 광원(110)은 제어부(140)의 지시에 기초하여 광을 출사한다.
촬상부(120)는, 표시 장치(100)를 장착한 유저의 안구(10)를 촬영한다. 촬상부(120)는 도 3의 촬상부(104R, 104L)에 대응한다. 촬상부(120)는 제어부(140)의 지시에 기초하여 촬영을 행하고, 촬영한 촬상 화상을 제어부(140)에 출력한다.
표시부(130)는 정보를 표시하는 출력부이다. 표시부(130)는 도 3의 표시부(102R, 102L)에 상당한다. 표시부(130)는, 예를 들어 액정 디스플레이나 유기 EL 디스플레이, 또는 투영 장치에 의하여 정보가 표시되는 렌즈여도 된다. 표시부(130)는, 후술하는 정보 처리 장치(200)의 표시 제어부(260)에 의한 제어에 기초하여 다양한 정보 표시를 행한다.
제어부(140)는 표시 장치(100)의 기능 전반을 제어한다. 제어부(140)는, 예를 들어 광원(110)의 점등 제어를 행하거나 촬상부(120)의 촬영 제어를 행하거나 한다. 또한 제어부(140)는 송수신부(150)를 통하여 정보 처리 장치(200)와의 정보의 송수신 제어를 행한다.
송수신부(150)는 외부 기기와 정보의 송수신을 행하는 인터페이스이다. 본 실시 형태에서는, 표시 장치(100)는 정보 처리 장치(200)와 정보의 송수신을 행함으로써 캘리브레이션이 행해진다. 이때, 표시 장치(100)로부터는, 촬상부(120)에 의하여 촬영된 촬상 화상이 송수신부(150)를 통하여 정보 처리 장치(200)에 송신된다. 또한 정보 처리 장치(200)로부터 송신되는, 캘리브레이션 시의 광원(110)의 점등 제어 정보나, 촬상부(120)로 하여금 촬영을 행하게 하는 촬영 제어 정보, 표시부(130)에 표시시키는 표시 정보 등은 송수신부(150)를 통하여 수신된다.
(정보 처리 장치(200))
정보 처리 장치(200)는, 도 5에 도시한 바와 같이 송수신부(210)와 마커 제어부(220)와 연산 처리부(230)와 기억부(240)와 평가부(250)와 표시 제어부(260)를 구비한다.
송수신부(210)는, 외부 기기와 정보의 송수신을 행하는 인터페이스이다. 본 실시 형태에 있어서, 송수신부(210)는 표시 장치(100)와, 캘리브레이션을 실행시키기 위한 정보의 송수신을 행한다. 이때, 송수신부(210)는, 캘리브레이션 시의 광원(110)의 점등 제어 정보나, 촬상부(120)로 하여금 촬영을 행하게 하는 촬영 제어 정보, 표시부(130)에 표시시키는 표시 정보 등을 표시 장치(100)에 송신한다. 또한 송수신부(210)는, 표시 제어부(260)가 생성하는 표시 제어 신호를 표시 장치(100)에 송신한다. 또한 송수신부(210)는 표시 장치(100)로부터, 촬상부(120)에 의하여 촬영된 촬상 화상 등을 수신한다.
마커 제어부(220)는, 캘리브레이션 시에 표시 장치(100)의 표시부(130)에 표시되는 주시점 마커의 표시 제어를 행한다. 주시점 마커는, 유저의 광축과 시축의 어긋남을 측정하기 위하여 표시 영역에 표시되는 오브젝트이다. 표시된 주시점 마커로 유저의 시선을 향하게 함으로써, 유저의 동공 중심으로부터 주시점 마커로의 벡터(이하, 「마커 벡터」라고도 함)를 얻을 수 있으며, 또한 그때의 유저의 광축도 추정된다.
마커 제어부(220)는, 표시 영역 내의 복수의 위치에 있어서 유저의 시선 데이터가 취득되도록 주시점 마커를 소정의 위치(이하, 「캘리브레이션점」이라고도 함)에 순차적으로 표시시킨다. 마커 제어부(220)는, 주시점 마커가 표시되어 있는 캘리브레이션점에 있어서 소정 수의 시선 데이터가 취득되면 당해 주시점 마커를 다음 캘리브레이션점으로 이동시킨다는 처리를 반복하여, 모든 캘리브레이션점에 있어서 유저의 시선 데이터를 취득시킨다.
이때, 마커 제어부(220)는, 주시점 마커를 표시시킨 상태에서 각 캘리브레이션점 사이에서 주시점 마커를 이동시킨다. 이것에 의하여 유저는 주시점 마커를 쫓도록 시선을 이동시키므로, 단속적으로 주시점 마커를 표시시키는 경우와 비교하여, 캘리브레이션점에 표시된 주시점 마커를 탐색하는 시간도 불필요해지고, 주시점 마커로 향해지는 시선의 움직임도 안정시킬 수 있다.
또한 마커 제어부(220)는, 캘리브레이션점 사이를 이동하는 주시점 마커의 이동 속도를 제어해도 된다. 주시점 마커를 일정한 속도로 이동시키면, 주시점 마커가 이동처인 캘리브레이션점에 표시되었을 때의 시선이 정해지기 어렵다는 경향이 있다. 그래서 마커 제어부(220)는, 캘리브레이션점 사이를 이동하는 주시점 마커의 이동 속도를, 이동처인 캘리브레이션점에 접근할수록 느리게 하도록 제어해도 된다. 이것에 의하여 주시점 마커는, 이동 개시 직후에는 빠르게 이동하지만 이동처인 캘리브레이션점에 접근함에 따라 움직임이 느려진다. 유저의 시선은 주시점 마커의 이동 속도에 수반하여 움직이므로, 주시점 마커가 이동처인 캘리브레이션점에 접근하면 유저의 시선의 움직임도 완만해져, 주시점 마커가 캘리브레이션점에 표시되었을 때에 시선을 정하기 쉽게 할 수 있다.
연산 처리부(230)는, 각 캘리브레이션점에 주시점 마커를 표시시켰을 때의, 유저의 광축 및 마커 벡터를 각각 연산한다. 연산 처리부(230)는 표시 장치(100)로부터, 유저의 안구에 대하여 광원으로부터 광이 조사된 상태에서, 주시점 마커를 주시하는 유저의 눈을 촬영한 촬영 화상을 취득하여, 유저의 광축 및 마커 벡터를 연산한다. 연산된 광축 및 마커 벡터는 캘리브레이션점별로 기억부(240)에 기억된다.
또한 연산 처리부(230)는 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 것을 특징의 하나로 한다.
기억부(240)는, 표시 장치(100)의 캘리브레이션 시에 필요한 각종 정보를 기억한다. 기억부(240)는, 예를 들어 주시점 마커를 표시시키는 캘리브레이션점의 위치나 주시점 마커를 어떠한 식으로 이동시키는지를 규정한 이동 정보, 각 캘리브레이션점에 있어서 취득하는 시선 데이터의 수, 캘리브레이션의 종료 판정에 이용하는 역치 등의 설정 정보가 기억된다. 또한 기억부(240)는, 연산 처리부(230)에 의하여 연산된 시선 데이터가 기억된다.
평가부(250)는, 각 캘리브레이션점에 있어서 추정된 유저의 광축의 변동을 평가한다. 연산 처리부(230)는, 예를 들어 상기 변동이 허용 범위 내인지의 여부를 판정함으로써 캘리브레이션 가부를 판정한다. 당해 판정 처리의 상세에 대해서는 후술한다.
표시 제어부(260)는, 캘리브레이션이 실행된 눈에 따라, 표시부(130)에 표시시킬 오브젝트의 표시 위치를 제어한다. 이때, 표시 제어부(260)는, 캘리브레이션이 실행된 눈에 대응하는 에어리어에 오브젝트를 표시시킨다. 표시 제어부(260)에 의한 표시 제어의 상세에 대해서는 후술한다.
이상, 표시 장치(100) 및 정보 처리 장치(200)의 기능 구성에 대하여 설명하였다. 또한 도 5에서는, 캘리브레이션 처리를 행하는 정보 처리 장치(200)는 표시 장치(100)와는 별체로서 도시하였지만, 본 개시는 이러한 예에 한정되지 않는다. 예를 들어 도 5에 도시한 정보 처리 장치(200)의 기능의 일부 또는 전부는 표시 장치(100)의 기능으로서 실현되어도 된다.
≪1.4. 캘리브레이션 처리≫
다음으로, 도 6 내지 도 10을 참조하여 본 실시 형태에 따른 정보 처리 장치(200)에 의한 표시 장치(100)의 캘리브레이션 처리에 대하여 설명한다. 본 실시 형태에 따른 정보 처리 장치(200)에 의한 표시 장치(100)의 캘리브레이션 처리는, 표시부(130)에 주시점 마커를 표시하고, 유저의 시선을 주시점 마커를 향하게 하는 것으로부터 개시된다. 주시점 마커 표시 제어는, 정보 처리 장치(200)의 마커 제어부(220)의 지시를 받아서 제어부(140)에 의하여 행해진다. 캘리브레이션에서는, 표시부(130)의 표시 영역 내의 복수 위치에 있어서 유저의 시선 데이터를 취득한다. 시선 데이터를 취득하는 위치인 캘리브레이션점에 주시점 마커를 표시시킴으로써, 유저로 하여금 의도적으로 시선을 주시점 마커를 향하게 하여 시선 데이터를 취득하는 것이 가능해진다.
주시점 마커는, 표시부(130)의 표시 영역(300) 내에 미리 설정된 복수의 캘리브레이션점에 순서대로 표시된다. 도 6은, 이동하여 표시되는 주시점 마커의 일 표시예를 도시하는 설명도이다. 주시점 마커 M은, 예를 들어 도 6에 도시한 바와 같이 먼저, 표시 영역(300) 중앙의 캘리브레이션점 CP1에 표시된다. 주시점 마커 M이 캘리브레이션점 CP1에 표시되면, 유저는 시선을 주시점 마커 M으로 향하게 한다. 주시점 마커 M을 표시시킨 상태로 함으로써 유저의 시선을 캘리브레이션점 CP1에 고정할 수 있으며, 이 상태에서 시선 데이터가 취득된다.
캘리브레이션점 CP1에서의 시선 데이터가 취득되면, 주시점 마커 M은, 표시된 채 그대로 다음 시선 데이터의 취득 위치인 표시 영역(300) 좌측 상방의 캘리브레이션점 CP2로 이동된다. 그리고 캘리브레이션점 CP2에서의 시선 데이터가 취득된다. 그 후, 표시 영역(300) 우측 상방의 캘리브레이션점 CP3, 표시 영역(300) 좌측 하방의 캘리브레이션점 CP4, 표시 영역(300) 우측 하방의 캘리브레이션점 CP5에서 시선 데이터의 취득과 이동이 반복하여 행해진다.
맨 처음의 캘리브레이션점에 주시점 마커 M이 표시되면, 그 캘리브레이션점에 있어서의 유저의 시선 데이터가 취득된다. 시선 데이터는, 추정된 유저의 시선 방향을 나타내는 광축 벡터와, 유저의 동공 중심으로부터 주시점 마커로의 마커 벡터를 포함한다. 또한 시선 데이터는 좌안 및 우안에 관하여 각각 취득된다.
(광축 벡터의 연산)
연산 처리부(230)는, 예를 들어 동공 각막 반사법을 이용하여 광축 벡터를 추정한다. 여기서, 도 7을 참조하여, 동공 각막 반사법을 이용한 광축의 추정 처리에 대하여 설명한다. 도 7은, 동공 각막 반사법을 이용한 광축 벡터의 산출 처리에 대하여 설명하기 위한 설명도이다. 동공 각막 반사법에서는, 표시부의 표시면(23)을 관찰하는 유저의 안구(10)에 대하여 광원(21)으로부터 광을 조사하고, 촬상부(22)에 의하여, 광이 조사된 안구(10)를 촬영한다. 그리고 촬상부(22)에 의하여 촬영된 촬영 화상(30)에 기초하여 광축이 추정된다. 여기서는, 설명을 간단히 하기 위하여 하나의 광원(21)에 의하여 안구(10)를 조사한 경우를 설명한다.
도 7에 도시한 바와 같이 유저는, 표시면(23)에 표시되어 있는 주시점 마커 M을 주시하고 있다고 하자. 이때, 광원(21)에 의하여 안구(10)에 대하여 광을 조사하고, 촬상부(22)에 의하여 안구(10)를 촬영한다. 취득된 안구(10)의 촬영 화상(30)에는, 도 7에 도시한 바와 같이 유저의 안구(10)의 각막(14), 홍채(13) 및 동공(17)이 촬영되어 있다. 또한 촬영 화상(30)에서는, 광원(21)으로부터 안구(10)에 조사된 조사광의 휘점인 푸르킨예 상(Purkinje Image) P가 촬영되어 있다.
촬영 화상(30)이 취득되면 광축의 산출 처리가 행해진다. 광축의 산출 처리는 연산 처리부(230)에 의하여 행해진다. 이 때문에 먼저, 촬영 화상(30)으로부터 동공 중심 S 및 푸르킨예 상 P가 검출된다. 이들 검출 처리는, 공지된 화상 인식 기술에 의하여 행할 수 있다.
예를 들어 동공(17)의 상의 검출 처리에 있어서는, 촬영 화상(30)에 대한 각종 화상 처리(예를 들어 왜곡이나 흑색 레벨, 화이트 밸런스 등의 조정 처리), 촬영 화상(30) 내의 휘도 분포를 취득하는 처리 등이 행해진다. 또한 취득된 휘도 분포에 기초하여 동공(17)의 상의 윤곽(에지)을 검출하는 처리나, 검출된 동공(17)의 상의 윤곽을 원 또는 타원 등의 도형으로 근사하는 처리 등이 행해져도 된다. 검출된 동공(17)의 상으로부터 동공 중심 S를 구할 수 있다.
또한 푸르킨예 상 P의 검출 처리에 있어서는, 촬영 화상(30)에 대한 각종 화상 처리, 촬영 화상(30) 내의 휘도 분포를 취득하는 처리, 당해 휘도 분포에 기초하여, 주위의 화소와의 휘도값의 차가 비교적 큰 화소를 검출하는 처리 등의 일련의 처리가 행해져도 된다. 또한 검출된 푸르킨예 상 P로부터 푸르킨예 상 P의 중심을 검출해도 된다.
이어서, 동공 중심 S 및 각막(14)의 곡률 중심점 C의 3차원 좌표가 산출된다. 각막(14)의 곡률 중심점 C는, 각막(14)을 구의 일부로 간주한 경우의 당해 구의 중심이다. 동공 중심 S의 3차원 좌표는, 촬영 화상(30)으로부터 검출된 동공(17)의 상에 기초하여 산출된다. 구체적으로는, 촬상부(22)와 안구(10)의 위치 관계, 각막(14) 표면에 있어서의 광의 굴절, 각막(14)의 곡률 중심점 C와 동공 중심 S의 거리 등에 기초하여, 촬영 화상(30)에 있어서의 동공(17)의 상의 윤곽 상의 각 점의 3차원 좌표가 산출된다. 이들 좌표의 중심점을 동공 중심 S의 3차원 좌표로 한다.
또한 각막(14)의 곡률 중심점 C는, 촬영 화상(30)으로부터 검출된 푸르킨예 상 P 및 그 중심에 기초하여 산출된다. 구체적으로는, 광원(21)과 촬상부(22)와 안구(10)의 위치 관계, 각막(14)의 곡률 반경 등에 기초하여, 촬상부(22)와 푸르킨예 상 P의 중심을 잇는 직선 상에 있어서, 각막(14)의 표면으로부터 안구(10)의 내부를 향하여 각막(14)의 곡률 반경만큼 나아간 위치가 각막(14)의 곡률 중심점 C의 3차원 좌표로서 산출된다.
이와 같이 산출된 각막(14)의 곡률 중심점 C와 동공 중심 S를 잇는 직선이, 추정된 광축으로 된다. 즉, 광축과 표시면(23)이 교차하는 위치의 좌표가, 추정된 유저의 시선 위치로 된다. 또한 각막(14)의 곡률 중심점 C로부터 동공 중심 S를 향하는 벡터를 광축 벡터 vo라 한다.
(마커 벡터의 연산)
한편, 유저의 동공 중심 S로부터 주시점 마커 M으로의 마커 벡터는, 상술한 바와 같이 촬영 화상(30)으로부터 특정된 동공 중심 S로부터, 현재 주시점 마커 M이 표시되어 있는 표시면(23) 상의 위치를 향하는 벡터로서 산출할 수 있다.
이와 같이 연산 처리부(230)는, 좌안 및 우안에 따른 광축 벡터와 마커 벡터를 시선 데이터로서 연산에 의하여 취득한다. 연산 처리부(230)가 취득한 좌안 및 우안에 따른 시선 데이터는 기억부(240)에 기억된다.
(검출 결과의 변동 억제)
여기서, 연산 처리부(230)는, 연산한 광축 벡터 vo가 캘리브레이션의 검출 결과로서 이용 가능한 정보인지의 여부를 판정한다.
구체적으로는 연산 처리부(230)는, 광축 벡터 vo의 편차(deviation)가 소정의 범위 내에 있는지의 여부를 판정하여, 연산한 광축 벡터 vo가 지금까지 취득된 광축 벡터 vo로부터 크게 벗어난 것은 아님을 확인해도 된다. 연산 처리부(230)에 의하여 연산된 광축 벡터 vo는 기억부(240)에 이력으로서 기억되어 있다. 이를 이용하여 연산 처리부(230)는, 예를 들어 금회 연산분을 포함시킨, 과거 N회에 취득한 광축 벡터의 평균 vo_ave와 금회의 광축 벡터 vo가 이루는 각이 소정값 이내에 있음을 확인한다. 그리고 광축 벡터의 평균 vo_ave와 금회의 광축 벡터 vo가 이루는 각이 소정의 역치를 초과하였을 때, 금회 연산된 광축 벡터 vo는 편차가 크다고 하여 캘리브레이션의 검출 결과로서 이용하지 않도록 한다. 이것에 의하여 광축 벡터의 정밀도를 높일 수 있다.
광축 벡터의 평균 vo_ave는, 예를 들어 과거 3회의 광축 벡터 vo를 이용하여 산출해도 된다. 또한 광축 벡터의 평균 vo_ave와 금회의 광축 벡터 vo가 이루는 각을 판정하기 위한 역치는, 예를 들어 3° 정도로 해도 된다. 또한 유저가 주시점 마커 M을 보지 않고 있을 때에 촬영된 촬영 화상으로부터 광축 벡터 vo가 연산된 경우에도, 연산된 광축 벡터 vo는 광축 벡터의 평균 vo_ave로부터 크게 벗어나는 것으로 된다. 이와 같은 것도 당해 판정에 의하여 검출 결과로부터 제외할 수 있다.
또한 연산 처리부(230)는, 예를 들어 연산한 마커 벡터 vm과 광축 벡터 vo가 이루는 각 ω가 소정값 이하인지의 여부를 판정해도 된다. 이러한 판정에 의하여, 추정된 광축 벡터 vo가, 실제의 시선 방향으로부터 크게 어긋나 있지 않은지를 확인할 수 있다. 여기서 이용하는 역치의 값은, 광축과 시축의 어긋남이나 광축의 검출 오차 등을 고려하여 결정된다.
예를 들어 추정된 유저의 시선 방향(즉, 광축)과, 실제로 유저가 보고 있는 방향(즉, 시축)은 반드시 일치하지는 않는다. 이는, 안구의 형상이나 크기, 안구에 있어서의 망막이나 시신경의 배치 등에 기인한다. 개인 차도 있겠지만 광축과 시축은 통상 4 내지 8° 어긋나 있다. 또한 광축의 검출 오차는 수 °, 예를 들어 ±3° 정도 존재할 것으로 생각된다. 이들 오차에 그 외의 축적 오차 ±1°를 가미하면 0 내지 12° 정도의 오차의 발생이 상정된다. 이 경우, 연산한 마커 벡터와 광축 벡터가 이루는 각 ω가 0 내지 12°의 범위 내에 있으면, 연산한 광축 벡터 vo의 정밀도는 허용할 수 있는 것이라 하여 캘리브레이션의 검출 결과로서 이용하도록 해도 된다.
이와 같은 판정 처리를 행함으로써 검출 결과의 변동을 억제할 수 있어서 광축 벡터의 정밀도를 높일 수 있다.
(오검출 판정)
또한 상술한 검출 결과의 변동을 억제하기 위한 판정을 클리어한 경우에도, 동공이나 휘점이 잘못된 장소를 계속해서 검출하는 경우도 있다. 잘못된 검출 결과를 이용하면 정확히 캘리브레이션 처리를 행할 수 없다. 그래서 연산 처리부(230)는, 이와 같은 잘못된 검출 결과를 캘리브레이션의 검출 결과로서 이용하지 않도록 하는 오검출 판정 처리를 행해도 된다. 예를 들어 연산된 좌우의 동공의 크기가 극단적으로 상이한 경우에는, 동공으로서 잘못된 장소를 인식하고 있을 가능성이 높다. 이와 같은 경우에 취득된 시선 데이터는 검출 결과로서 이용하지 않도록 한다. 구체적으로는, 예를 들어 좌우의 동공의 사이즈비가 소정의 값(예를 들어 1.2)을 초과한 경우에는 좌우의 동공의 크기가 극단적으로 상이하다고 하여, 취득된 시선 데이터는 검출 결과로서 이용하지 않도록 해도 된다.
이상의 처리가 행해지면 연산 처리부(230)는, 현재 주시점 마커 M이 표시되어 있는 캘리브레이션점에 있어서 이용 가능한 시선 데이터가 소정 수 이상 취득되었는지의 여부를 판정한다. 여기서, 이용 가능한 시선 데이터가 소정 시간 내에 소정 수 이상 취득되어 있는 경우, 연산 처리부(230)는 당해 캘리브레이션점을, 이용 가능한 캘리브레이션점으로서 기억부(240)에 기억시킨다. 연산 처리부(230)는 상기 판정 처리를 좌안 및 우안에 대하여 각각 실행한다.
다음으로, 연산 처리부(230)는, 모든 캘리브레이션점에 대하여 시선 데이터가 취득되었는지의 여부를 판정하고, 시선 데이터가 취득되어 있지 않은 캘리브레이션점이 있는 경우에는 마커 제어부(220)에 대하여, 주시점 마커 M을 다음 캘리브레이션점으로 이동시키도록 지시한다. 마커 제어부(220)는, 미리 설정되어 있는 다음 캘리브레이션점으로 주시점 마커 M을 이동시키라는 지시를 송수신부(210)를 통하여 표시 장치(100)에 출력한다.
(주시점 마커의 이동 처리)
주시점 마커 M은, 유저의 시선을 향하게 하기 위하여 표시시키는 것이다. 여기서, 유저의 시선 데이터를 단시간에 정확히 취득할 수 있도록 주시점 마커 M의 표시 제어가 행해진다.
먼저, 주시점 마커 M은, 표시된 상태에서 각 캘리브레이션점 사이를 이동한다. 이것에 의하여 유저는 주시점 마커를 쫓도록 시선을 이동시키므로, 단속적으로 주시점 마커 M을 표시시키는 경우와 비교하여, 캘리브레이션점에 표시된 주시점 마커 M을 탐색하는 시간도 불필요해지고, 주시점 마커로 향해지는 시선의 움직임도 안정시킬 수 있다.
그리고 캘리브레이션점 사이를 이동하는 주시점 마커 M의 이동 속도를 변화시킨다. 주시점 마커 M을 일정한 속도로 이동시키면, 주시점 마커 M이 이동처인 캘리브레이션점에 표시되었을 때의 시선이 정해지기 어렵다는 경향이 있다. 그래서 마커 제어부(220)는, 캘리브레이션점 사이를 이동하는 주시점 마커 M의 이동 속도를, 이동처인 캘리브레이션점에 접근할수록 느리게 하도록 제어한다. 이것에 의하여 주시점 마커 M은, 이동 개시 직후는 빨리 이동하지만 이동처인 캘리브레이션점에 접근함에 따라 움직임이 느려진다. 유저의 시선은 주시점 마커의 이동 속도에 수반하여 움직이므로, 주시점 마커 M이 이동처인 캘리브레이션점에 접근하면 유저의 시선의 움직임도 완만해져, 주시점 마커 M이 캘리브레이션점에 표시되었을 때에 시선을 정하기 쉽게 할 수 있다.
또한 표시 영역(300)에 있어서 시선 데이터를 취득하는 캘리브레이션점은 통상, 유저가 정면을 향하였을 때에 보는 위치인 표시 영역(300)의 중앙과, 시축과 광축의 어긋남이 커지기 쉬운 표시 영역(300)의 주연부 부근에 설정된다. 캘리브레이션점은 통상, 시야 내에 복수 점(예를 들어 5 내지 9점) 설정된다. 이들 위치에서 캘리브레이션을 행함으로써, 표시 영역(300) 전체로서 외형이 균일해지도록 보정 처리를 행할 수 있다. 구체적으로는 직사각형의 표시 영역(300)의 중앙과 4코너에 있어서 캘리브레이션을 행해도 된다. 또는 직사각형의 표시 영역(300)의 중앙과 각 변의 중심 부근에 있어서 캘리브레이션을 행해도 된다.
여기서, 주시점 마커 M을 각 캘리브레이션점으로 이동시킬 때, 가능한 한 이동 거리가 커지도록 주시점 마커 M의 이동 순서를 결정해도 된다. 유저는 주시점 마커 M의 움직임에 수반하여 시선을 이동시키는데, 주시점 마커 M의 이동 거리가 작으면, 다음 캘리브레이션점에 표시된 주시점 마커 M에 시선을 맞추기 어려워 시축과 광축의 어긋남이 커진다. 또한 주시점 마커 M을 표시 영역(300)의 수평 방향으로 이동시킨 경우에도 시축과 광축의 어긋남이 커지기 쉬우므로, 상하나 경사 등 상하 방향으로의 이동도 포함하도록 주시점 마커 M을 이동시켜도 된다.
예를 들어 표시 영역(300)의 중앙 및 4코너에 설정된 5개의 캘리브레이션점 CP1 내지 CP5에 있어서 시선 데이터를 취득할 때는, 중앙의 캘리브레이션점 CP1을 표시한 후, 4코너의 캘리브레이션점 CP2 내지 CP5를 지그재그로 이동시켜도 된다. 또한 중앙 및 각 변의 중심 부근에 설정된 5개의 캘리브레이션점 CP1 내지 CP5에 있어서 시선 데이터를 취득할 때는, 예를 들어 먼저, 각 변의 중심 부근의 캘리브레이션점 CP1 내지 CP4를 마름모형의 궤적을 그리도록 순서대로 표시시킨다. 그 후, 중앙의 캘리브레이션점 CP1을 표시시키도록 해도 된다.
주시점 마커 M이 다음 캘리브레이션점으로 이동되면, 이동처인 캘리브레이션점에서의 시선 데이터의 취득이 행해진다. 그 후, 모든 캘리브레이션점에 있어서 시선 데이터의 취득이 완료되기까지 처리가 반복하여 실행된다.
(캘리브레이션 가부의 판정)
모든 캘리브레이션점에 있어서 시선 데이터가 취득되면, 연산 처리부(230)는 좌안 및 우안 각각에 관하여 캘리브레이션 가부를 판정한다. 이때, 연산 처리부(230)는, 이용 가능한 캘리브레이션점에 기초하여 좌안 및 우안에 관한 캘리브레이션 가부를 판정해도 된다. 보다 상세하게는 연산 처리부(230)는, 이용 가능한 캘리브레이션점의 수가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정할 수 있다. 연산 처리부(230)는, 이용 가능한 캘리브레이션점이 3점 이상 있지 않은 경우에는, 해당하는 눈이 캘리브레이션 불능이라고 판정해도 된다.
한편, 이용 가능한 캘리브레이션점의 수가 역치 이상인 경우, 평가부(250)에 의하여 광축 벡터 vo의 변동이 평가된다. 연산 처리부(230)는 양안의 각각에 관하여, 평가부(250)에 의하여 평가된 광축 벡터의 변동에 기초하여 상기 캘리브레이션 가부를 판정할 수 있다.
각 캘리브레이션점에 있어서의 광축 벡터 vo는, 정확히 추정된 경우, 표시 영역(300)에서의 캘리브레이션점의 표시 위치에 대응한 값으로 된다. 여기서, 도 6에 도시한 캘리브레이션점 CP1 내지 CP5에서 캘리브레이션을 행하였을 때의 광축 벡터 vo의 검출 결과의 일례를 도 8에 나타낸다. 도 8은, 광축의 변동의 평가 결과의 일례를 나타내는 그래프이다. 도 8은, 광축 벡터 vo의 상하 방향의 각도 θ와, 광축 벡터 vo의 수평 방향의 각도 ω의 관계를 나타내고 있다. 또한 본 실시 형태에 있어서, 광축 벡터 vo는, 도 9에 나타내는 좌표축에 기초하여 규정하고 있다. 도 9는, 마커 벡터 및 광축 벡터의 좌표를 나타내는 설명도이다. 도 9의 좌표축에 있어서, x축은 표시 영역(300)의 수평 방향, y축은 표시 영역(300)의 상하 방향, z축은 표시 영역(300)의 깊이 방향을 나타내고 있다. 각도 θ는 광축 벡터 vo와 zx 평면이 이루는 각이고, 각도 ω는 광축 벡터 vo와 xy 평면이 이루는 각으로 된다.
도 8 상단에는, 캘리브레이션이 정확히 행해졌을 때의 광축 벡터 vo의 분포가 나타나고, 도 8 하단에는, 캘리브레이션이 정확히 행해지지 않았을 때의 광축 벡터 vo의 분포가 나타나 있다. 도 8 상단에 나타낸 바와 같이 캘리브레이션이 정확히 행해졌을 때는, 표시 영역(300)의 중앙 및 4코너에 설정된 각 캘리브레이션점의 위치에 대응하여 광축 벡터 vo는 뚜렷이 나뉘어 분포한다.
한편, 도 8 하단에 나타낸 바와 같이 캘리브레이션이 정확히 행해지지 않았을 때는, 표시 영역(300)의 우측 상방, 좌측 상방 및 중앙의 캘리브레이션점에 대응하는 광축 벡터 vo의 상하 방향의 각도 θ가 대략 동일해지는 등, 뚜렷이 분포하지 않는다. 이와 같은 분포는, 특히 하드 콘택트 렌즈의 장착자나 반눈, 실눈인 유저에게 발생하기 쉽다.
그래서 본 실시 형태에서는, 평가부(250)에 의하여, 전체로서의 광축 벡터 vo의 변동을 평가하기 위한 평가값으로서 마커 벡터 vm과 광축 벡터 vo의 상관 계수를 산출한다. 마커 벡터 vm과 광축 벡터 vo의 상관 계수 rxy는, 예를 들어 하기 수식 (1)에 의하여 구할 수 있다.
Figure pct00001
또한 상기 수식 (1)에 있어서의 i는 각 캘리브레이션점에 붙여진 번호이며, 1 내지 n의 값을 취한다. 캘리브레이션점이 5개 설정되어 있는 경우에는, n은 5로 된다. 또한 xi, yi는 광축 벡터 vo의 x 좌표 및 y 좌표이고, x￣, y￣은 마커 벡터 vm의 x 좌표 및 y 좌표이다. 또한 x￣, y￣은, x, y 상측에 ￣이 딸려 있는 것으로 한다.
상기 수식 (1)에서는, 모든 캘리브레이션점에 있어서의 마커 벡터 vm과 광축 벡터 vo의, 상하 방향의 각도 θ와 수평 방향의 각도 ω의 차를 평가하고 있다. 하나 또는 복수의 캘리브레이션점에 있어서 마커 벡터 vm과 광축 벡터 vo가 일치하지 않고 이들의 각도의 어긋남이 커지면, 수식 (1)에 의하여 산출되는 상관 계수 rxy는 작아진다.
이때, 연산 처리부(230)는, 상관 계수 rxy가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정할 수 있다.
이상 설명한 바와 같이 본 실시 형태에 따른 연산 처리부(230)는, 이용 가능한 캘리브레이션점의 수나, 광축 벡터의 변동에 기초하여, 좌안 및 우안 각각에 관하여 캘리브레이션 가부를 판정할 수 있다. 또한 연산 처리부(230)는, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행할 수 있다. 본 실시 형태에 따른 연산 처리부(230)가 갖는 상기 기능에 의하면, 정밀도 저하의 요인으로 될 수 있는 눈의 영향을 배제하고 정밀도가 높은 시선 검출을 실현하는 것이 가능해진다.
≪1.5. 캘리브레이션 처리의 흐름≫
다음으로, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 캘리브레이션 처리의 흐름에 주목하여 상세히 설명한다. 도 10은, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 캘리브레이션 처리의 흐름을 도시하는 흐름도이다.
도 10을 참조하면, 먼저 정보 처리 장치(200)는 캘리브레이션점별 이용 가부 판정을 행한다(S1101). 스텝 S1101에 있어서의 캘리브레이션점별 이용 가부 판정의 흐름에 대해서는 별도로 상세히 설명한다.
다음으로, 정보 처리 장치(200)는 좌안 및 우안별로 캘리브레이션 가부를 판정한다(S1102).
캘리브레이션 가부 판정에 있어서, 정보 처리 장치(200)는 먼저, 이용 가능한 캘리브레이션점의 수가 역치 이상인지의 여부를 판정한다(S1103).
여기서, 이용 가능한 캘리브레이션점의 수가 역치를 하회하는 경우(S1103: "아니오"), 정보 처리 장치(200)는, 해당하는 눈이 캘리브레이션 불능이라고 판정한다(S1105).
한편, 이용 가능한 캘리브레이션점의 수가 역치 이상인 경우(S1103: "예"), 계속해서 정보 처리 장치(200)는, 추정한 광축 벡터의 변동이 역치 이하인지의 여부를 판정한다(S1104). 보다 구체적으로는, 정보 처리 장치(200)는 마커 벡터 vm과 광축 벡터 vo의 상관 계수 rxy에 기초하여 상기 판정을 행할 수 있다.
여기서, 추정한 광축 벡터의 변동이 역치를 상회하는 경우(S1104: "아니오"), 정보 처리 장치(200)는, 해당하는 눈이 캘리브레이션 불능이라고 판정한다(S1105).
한편, 추정한 광축 벡터의 변동이 역치 이하인 경우(S1104: "예"), 정보 처리 장치(200)는, 해당하는 눈이 캘리브레이션 가능이라고 판정한다(S1106).
좌안 및 우안별 캘리브레이션 가부가 완료되면, 계속해서 정보 처리 장치(200)는, 캘리브레이션 가능한 눈이 하나 이상 존재하는지의 여부를 판정한다(S1107).
여기서, 캘리브레이션 가능한 눈이 하나 이상 존재하는 경우(S1107: "예"), 정보 처리 장치(200)는, 캘리브레이션 가능한 눈에 대한 캘리브레이션 처리를 실행한다(S1108).
한편, 캘리브레이션 가능한 눈이 존재하지 않는 경우(S1107: "아니오"), 정보 처리 장치(200)는 스텝 S1101로 복귀하여 캘리브레이션점별 이용 가부 판정을 반복하여 실행해도 된다.
계속해서, 스텝 S1101에 있어서의 캘리브레이션점별 이용 가부 판정의 흐름에 대하여 상세히 설명한다. 도 11은, 본 실시 형태에 따른 캘리브레이션점별 이용 가부 판정의 흐름을 도시하는 흐름도이다.
도 11을 참조하면, 정보 처리 장치(200)는 좌안 및 우안별로 캘리브레이션점의 이용 가부 판정을 행한다(S1201).
캘리브레이션점의 이용 가부 판정에 있어서, 정보 처리 장치(200)는 먼저, 캘리브레이션점에 주시점 마커를 표시시킨다(S1202).
다음으로, 정보 처리 장치(200)는, 캘리브레이션점에 주시점 마커가 표시되어 있는 때에 촬영된, 유저의 눈을 포함하는 촬영 화상에 기초하여 시선 데이터를 취득한다(S1203). 상술한 바와 같이 상기 시선 데이터는, 광축 벡터 및 마커 벡터에 관한 정보를 포함한다.
다음으로, 정보 처리 장치(200)는, 스텝 S1203에 있어서 취득한 시선 데이터에 기초하여, 광축 벡터의 편차가 소정의 범위 내에 있는지의 여부를 판정한다(S1204).
여기서, 광축 벡터의 편차가 소정의 범위 내에 있지 않은 경우(S1204: "아니오"), 정보 처리 장치(200)는 스텝 S1202로 복귀한다.
한편, 광축 벡터의 편차가 소정의 범위 내에 있는 경우(S1204: "예"), 정보 처리 장치(200)는 계속해서, 광축 벡터와 마커 벡터의 차가 소정의 범위 내에 있는지의 여부를 판정한다(S1205).
여기서, 광축 벡터와 마커 벡터의 차가 소정의 범위 내에 있지 않은 경우(S1205: "아니오"), 정보 처리 장치(200)는 스텝 S1202로 복귀한다.
한편, 광축 벡터와 마커 벡터의 차가 소정의 범위 내에 있는 경우(S1205: "예"), 정보 처리 장치(200)는, 스텝 S1203에 있어서 취득한 시선 데이터를 이용 가능한 시선 데이터로서 축적한다(S1206).
다음으로, 정보 처리 장치(200)는, 축적된 시선 데이터가 소정 수 이상 존재하는지의 여부를 판정한다(S1207).
여기서, 축적된 시선 데이터가 소정 수 이상 존재하는 경우(S1207: "예"), 정보 처리 장치(200)는, 해당하는 캘리브레이션점이 이용 가능이라고 판정한다(S1208).
한편, 축적된 시선 데이터가 소정 수 이상 존재하지 않는 경우(S1207: "아니오"), 계속해서, 정보 처리 장치(200)는, 미리 설정된 소정 시간이 경과해 있는지의 여부를 판정한다(S1209)
여기서, 소정 시간이 경과해 있는 경우(S1209: "예"), 정보 처리 장치(200)는, 해당하는 캘리브레이션점이 이용 불능이라고 판정한다(S1210).
한편, 소정 시간이 경과하지 않은 경우(S1209: "아니오"), 정보 처리 장치(200)는 스텝 S1202로 복귀한다. 이와 같이 정보 처리 장치(200)는, 소정 수 이상의 시선 데이터가 축적되거나 소정 시간이 경과하기까지 시선 데이터를 반복하여 취득한다. 또한 상기 소정 시간은 동적으로 변경되어도 된다. 예를 들어 이전에 캘리브레이션의 실행 실적이 있는 경우에는, 본래 시선 데이터를 취득할 수 있는 영역일 것이 상정되기 때문에 좀 더 긴 시간이 설정되어도 된다.
한편, 스텝 S1208 또는 S1209에 있어서 캘리브레이션점의 이용 가부를 판정한 경우, 정보 처리 장치(200)는, 모든 캘리브레이션점에 대하여 이용 가부의 판정이 완료되었는지의 여부를 판정한다(S1211).
여기서, 모든 캘리브레이션점에 대하여 이용 가부의 판정이 완료되지 않은 경우(S1211: "아니오"), 정보 처리 장치(200)는 다음 캘리브레이션으로 주시점 마커를 이동시키고(S1212), 스텝 S1201로 복귀한다.
모든 캘리브레이션점에 대하여 이용 가부의 판정이 완료된 경우(S1211: "예"), 정보 처리 장치(200)는 캘리브레이션점의 이용 가부 판정을 종료하고, 도 10에 있어서의 스텝 S1102의 처리로 이행한다.
또한 상기에서 설명한 바와 같이 시선 데이터를 반복하여 취득하는 경우, 정보 처리 장치(200)는 캘리브레이션점의 위치를 변경하고 시선 데이터를 취득해도 된다. 도 12는, 캘리브레이션점 위치의 변경에 대하여 설명하기 위한 설명도이다.
예를 들어 도 12에 도시한 바와 같이, 표시 영역(300)에 대하여, 표시 영역(300)을 소정의 비율 α만큼 축소한 영역에 기초하여 맨 처음의 캘리브레이션점이 설정된다고 하자. 이때, 캘리브레이션점의 위치의 디폴트값을, 예를 들어 표시 영역(300)의 중앙과, 표시 영역의 90%의 크기의 영역의 4코너로 한 경우를 상정한다. 이 경우, 정보 처리 장치(200)는 상기 반복 처리에 있어서, 캘리브레이션점의 위치를 표시 영역(300)의 중앙에 근접시키는 변경을 행해도 된다. 정보 처리 장치(200)는, 예를 들어 4코너의 캘리브레이션점의 위치를, 표시 영역의 80%의 크기의 영역의 4코너에 설정할 수 있다. 이와 같이 캘리브레이션점의 위치를 표시 영역의 중앙에 근접시킴으로써 유저가 주시점 마커를 보기 쉬워져, 올바른 시선 데이터를 취득하기 쉽게 할 수 있다.
이상, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 캘리브레이션 처리의 흐름에 대하여 상세히 설명하였다. 상술한 바와 같이 본 실시 형태에 따른 정보 처리 장치(200)에 의하면, 한쪽 눈이 정상적으로 기능하고 있지 않은 경우에도, 정상적으로 기능하고 있을 것으로 예측되는 눈에 대하여 캘리브레이션을 실행하여, 당해 눈에 따른 시선을 검출하는 것이 가능해진다. 또한 본 실시 형태에 따른 정보 처리 장치(200)에 의하면, 양안 중 정밀도 저하의 원인으로 될 수 있는 눈의 영향을 배제함으로써, 보다 정밀도가 높은 시선 검출을 실현하는 것이 가능해진다.
또한 도 11에 도시하는 일례에서는, 정보 처리 장치(200)가, 소정 수의 시선 데이터가 축적된 경우에 캘리브레이션점을 변경하는 경우에 대하여 설명하였지만, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 처리의 흐름은 이러한 예에 한정되지 않는다. 정보 처리 장치(200)는, 예를 들어 시선 데이터가 1점 축적될 때마다 캘리브레이션점을 변경하는 처리를 소정 횟수 반복하여 행할 수도 있다.
또한 본 실시 형태에 따른 정보 처리 장치(200)는, 상기에서 설명한 주된 제어 이외에도 다양한 제어를 행할 수 있다. 예를 들어 정보 처리 장치(200)는, 과거의 캘리브레이션 시와는 상이한 캘리브레이션점을 이용함으로써 전체의 정밀도를 향상시키는 것도 가능하다. 한편, 정보 처리 장치(200)는, 과거의 캘리브레이션 결과의 일부를 이용함으로써 캘리브레이션에 요하는 시간을 단축해도 된다.
또한 정보 처리 장치(200)는, 유저가 의안을 이용하고 있는 경우 등, 한쪽 눈이 미리 캘리브레이션이 불능이라는 것을 알고 있는 경우에는, 당해 눈에 관한 캘리브레이션 가부의 판정을 행하지 않아도 된다.
또한 정보 처리 장치(200)는 캘리브레이션의 결과에 따라, 어느 눈이 시선 검출에 이용될지를 유저에게 제시해도 된다. 또한 정보 처리 장치(200)는, 과거에 캘리브레이션 실적이 있는 눈이 캘리브레이션 불능으로 판정된 경우, 유저에게 경고 등을 제시해도 된다.
또한 표시 장치(100)가 AR(Augmented Reality) 기술 등에 대응하고 있는 경우, 정보 처리 장치(200)는, 캘리브레이션 시에 있어서의 주위의 밝기 등에 따라, 배경이 시인되기 어렵도록 제어를 행하거나, 배경에 동화되지 않는 색으로 주시점 마커를 표시시키는 등의 제어를 행해도 된다.
또한 정보 처리 장치(200)는, 시선 검출에 이용되지 않는 눈에 따른 광원(110)이나 촬상부(120)의 전원을 끄는 제어를 행함으로써 소비 전력을 효과적으로 저감하는 것도 가능하다. 본 실시 형태에 따른 정보 처리 장치(200)가 갖는 기능은 사양이나 운용에 따라 유연하게 변형 가능하다.
≪1.6. 캘리브레이션의 실행 결과에 기초한 표시 제어≫
다음으로, 본 실시 형태에 따른 캘리브레이션의 실행 결과에 기초한 표시 제어에 대하여 설명한다. 본 실시 형태에 따른 정보 처리 장치(200)의 표시 제어부(260)는 캘리브레이션의 실행 결과에 기초하여, 표시 장치(100)의 표시부(130)에 표시시킬 오브젝트의 표시 위치를 제어할 수 있다.
예를 들어 도 3에 도시한 표시부(102R 및 102L)에서 서로 대응하는 시야가 상이한 경우를 상정한다. 여기서, 한쪽 눈을 시선 검출에 이용하지 않는 경우, 당해 눈에 대응하는 표시부(102)의 일부 영역에서는 시선 검출의 정밀도가 저하될 것도 상정된다.
이 때문에 본 실시 형태에 따른 표시 제어부(260)는, 표시 영역(300)에 있어서, 캘리브레이션이 실행된 눈에 대응하는 에어리어에 오브젝트를 표시시킴으로써, 당해 오브젝트에 대한 시선의 검출 정밀도를 향상시키는 것이 가능하다.
도 13은, 본 실시 형태에 따른 표시 제어부(260)에 의한 오브젝트의 표시 제어의 일례를 도시하는 도면이다. 도 13에는, 표시부(130)가 대응하는 시야 FV가 도시되어 있다. 시야 FV는, 좌안에 대응하는 좌측 시야 LFV와 우안에 대응하는 우측 시야 RFV로 이루어진다.
여기서, 연산 처리부(230)가 우안에 대한 캘리브레이션을 실행하지 않고 좌안에 대한 캘리브레이션을 실행한 경우, 표시 제어부(260)는, 캘리브레이션이 실행된 좌안에 대응하는 에어리어에 오브젝트 Ob를 표시시켜도 된다.
표시 제어부(260)는, 예를 들어 시야 FV에 있어서, 좌안에 대응하는 좌측 시야 LFV에 근접시켜 오브젝트 Ob를 표시시킬 수 있다. 또한 표시 제어부(260)는 좌측 시야 LFV 중 캘리브레이션 에어리어 LCA에 오브젝트 Ob를 표시시킴으로써, 오브젝트 Ob에 따른 시선 검출 정밀도를 보다 향상시키는 것이 가능하다.
여기서, 상기 캘리브레이션 에어리어 LCA는, 좌안에 대한 캘리브레이션을 실행할 때에 이용된 캘리브레이션점에 기초하여 정해지는 에어리어이다. 예를 들어 좌안에 대한 캘리브레이션의 실행 시에, 도 12에 나타내는 캘리브레이션점 CP1 내지 CP5가 이용된 경우, 캘리브레이션 에어리어 LCA는, 캘리브레이션점 CP2 내지 CP5에 의하여 정의되는 직사각형 영역에 대응한다. 이와 같이 본 실시 형태에 따른 표시 제어부(260)는, 캘리브레이션에 이용된 영역에 오브젝트 Ob를 표시시킴으로써, 오브젝트 Ob에 따른 시선 검출 정밀도를 효과적으로 높일 수 있다.
한편, 본 실시 형태에 따른 표시 제어부(260)는, 도 13에 도시한 일례에 한정되지 않으며 다양한 표시 제어를 행해도 된다. 도 14는, 좌안과 우안의 양쪽에 있어서 캘리브레이션이 실행된 경우에 있어서의 오브젝트의 표시 제어의 일례를 도시하는 도면이다. 또한 도 14에는, 좌안에 따른 캘리브레이션 에어리어 LCA와 우안에 따른 캘리브레이션 에어리어 RCA가 각각 상이한 면적을 갖는 경우의 예가 도시되어 있다. 이때, 표시 제어부(260)는, 도시한 바와 같이 캘리브레이션 에어리어 LCA 및 RCA가 중복되는 영역에 오브젝트 Ob를 표시시켜도 된다. 본 실시 형태에 따른 표시 제어부(260)는, 캘리브레이션의 실행 결과와 표시 장치(100)나 애플리케이션 등의 특성에 따라 오브젝트 Ob의 표시 위치를 적절하고 유연하게 제어하는 것이 가능하다.
<2. 제2 실시 형태>
≪2.1. 개요≫
다음으로, 본 개시의 제2 실시 형태에 대하여 설명한다. 상기에 있어서의 제1 실시 형태의 설명에서는, 시선 검출에 따른 캘리브레이션에 있어서, 정보 처리 장치(200)가 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 당해 판정에 기초한 캘리브레이션을 실행할 때의 수법에 대하여 주로 설명하였다.
여기서, 상술한 바와 같은 동공 각막 반사법을 이용한 시선 검출을 실현하기 위해서는, 적외광을 촬상 가능한 촬상부와, 당해 적외광을 조사하는 광원을, 표시 장치(100)에 배치할 것이 요구진다. 이때, 시선 검출의 정밀도의 관점에 있어서는, 광원을 유저의 시야의 중심 부근에 배치하는 것이 바람직하다. 그러나 상기와 같은 배치를 행하는 경우, 광원이, 표시부에 의한 시각 정보의 표시를 저해하게 된다. 또한 상기와 같은 배치에서는, 광원이 유저의 시야에 들어감으로써 유저의 시청 체험을 현저히 손상시키는 폐해가 생긴다.
이 때문에, 시선 검출의 정밀도의 관점과는 달리 시청 체험의 관점에서는, 광원은, 유저의 시야에 있어서 가능한 한 두드러지지 않는 위치에 배치되는 것이 바람직하다. 그러나 AR 기술이나 VR(Virtual Reality) 기술에 대응하는 표시 장치 등은 광시야각을 가질 것이 요구되는 점에서, 광원의 배치에는 물리적인 제약이 존재하는 것이 일반적이다. 또한 광원을 소형화함으로써, 두드러지는 것을 저감시킬 것도 상정되지만, 광원의 소형화에는 한계가 있음과 동시에 비용의 증가가 우려된다.
본 개시의 제2 실시 형태에 따른 기술 사상은 상기 관점에 주목하여 발상된 것이며, 유저의 시청 체험을 저해하는 일 없이 정밀도가 높은 시선 검출을 실현하는 것을 가능하게 한다. 이 때문에 본 개시의 제2 실시 형태에서는, 광원으로부터 도광된 광을 유저의 눈에 조사하는 적어도 2개의 발광점을 갖는 투명 부재가 이용된다. 이하, 본 실시 형태에 따른 투명 부재의 특징에 대하여 상세히 설명한다. 또한 이하의 설명에 있어서는 제1 실시 형태와의 차이에 대하여 주로 설명하며, 제1 실시 형태와 공통되는 기능 구성에 대해서는 상세한 설명을 생략한다. 또한 제2 실시 형태에 있어서는, 표시 장치(100)와 정보 처리 장치(200)가 일체의 장치로서 실현되는 경우를 예로 들어 설명한다.
≪2.2. 투명 부재의 특징≫
도 15는, 유저에 의하여 정보 처리 장치(200)가 장착되었을 때의, 유저의 안구(10)와 정보 처리 장치(200)의 위치 관계를 도시하는 개략 측면도이다. 도 15에 도시한 바와 같이, 본 실시 형태에 따른 정보 처리 장치(200)는, 제1 실시 형태에 있어서 설명한 구성에 더해 투명 부재(105)를 더 구비한다. 또한 투명 부재(105)는 정보 처리 장치(200)에 있어서 유저의 안구(10)측에 배치된다.
여기서, 본 실시 형태에 따른 투명 부재(105)는, 예를 들어 유리나 아크릴 수지 등의, 투과성을 갖는 소재를 이용하여 형성된다. 이 때문에 유저는 투명 부재(105)를 통하여, 정보 처리 장치(200)의 표시부(도시 생략)에 표시되는 다양한 시각 정보를 시인할 수 있다.
도 16은, 본 실시 형태에 따른 투명 부재(105)를 유저측으로부터 도시한 정면도이다. 도 16에 도시한 바와 같이 본 실시 형태에 따른 투명 부재(105)는, 예를 들어 판형으로 형성되어도 된다. 또한 본 실시 형태에 따른 투명 부재(105)는, 광원으로부터 도광된 광을 유저의 눈에 조사하는 복수의 발광점 ep를 갖는 것을 특징 중 하나로 한다.
동공 각막 반사법에 의한 시선 검출의 정밀도를 담보하기 위해서는, 각막 상에 있어서 적어도 2개의 휘점이 검출되는 것이 바람직하며, 또한 검출되는 휘점의 수가 많을수록 검출 정밀도가 향상되는 경향이 있다. 이 때문에 본 실시 형태에 따른 투명 부재(105)는 적어도 2개의 발광점 ep를 가지며, 당해 2개의 발광점 ep는, 양안의 각각에 있어서의 각막 상에 2개의 휘점을 형성 가능한 위치에 배치되어도 된다. 도 16에는, 투명 부재(105)가 4개의 발광점 ep1 내지 ep4를 갖는 경우의 예가 도시되어 있다. 또한 본 실시 형태에 따른 촬상부(104)는, 도 15에 도시한 바와 같이, 각막 상에 있어서의 적어도 2개의 휘점을 촬상 가능한 위치에 배치된다.
다음으로, 도 17을 참조하여, 본 실시 형태에 따른 발광점 ep에 대하여 보다 상세히 설명한다. 도 17은, 본 실시 형태에 따른 투명 부재(105)의 구조적 특징을 도시하는 사시도이다. 상술한 바와 같이 본 실시 형태에 따른 발광점 ep는, 광원으로부터 도광된 광을 유저의 눈에 조사하는 역할을 담당한다. 이때, 발광점 ep는, 도 17에 도시한 바와 같이, 투명 부재(105)의 측부에 배치되는 광원(103)으로부터 발해진 광을 투명 부재(105)의 내부에 있어서 반사시킴으로써 도광을 실현해도 된다. 도 17에는, 발광점 ep1이 광원(103a)으로부터 광을 도광하고 발광점 ep4가 광원(103b)으로부터 광을 도광하는 경우의 일례가 도시되어 있다.
상기와 같은 발광점 ep는, 예를 들어 절결 가공에 의하여 형성되어도 된다. 절결 가공에 의하면, 투명 부재(105) 상의 임의의 장소에 임의의 형상의 발광점을 저비용으로 형성하는 것이 가능하다. 상술한 바와 같이, 동공 각막 반사법에 의한 시선 검출의 정밀도를 담보하기 위해서는, 각막 상에 있어서 보다 많은 휘점이 검출되는 것이 바람직하다. 그러나 종래의 수법에서는 하나의 광원이 하나의 휘점을 형성하는 것이 일반적이며, 각막 상에 있어서 많은 휘점을 검출하고자 하는 경우, 광원의 수를 물리적으로 증가시킬 필요가 있었다. 한편, 본 실시 형태에서는, 복수의 투명 부재(105)를 겹쳐서 광원(103)의 발광 강도를 제어함으로써, 복수의 발광점 ep에 의한 광의 조사를 전환하는 것도 가능하여, 광원(103)에 요하는 비용을 대폭 저감시킴과 함께 유저별로 휘점을 구분지어 사용하는 것이 가능하다.
또한 본 실시 형태에 따른 발광점 ep는 절결 가공 이외의 수법에 의하여 형성되어도 된다. 발광점 ep는, 예를 들어 임의의 개소의 반사율을 주위와 변화시킴으로써 형성할 수도 있다. 반사율을 변화시키는 수법으로서는, 예를 들어 발광점 ep의 형성 개소에, 주위와는 상이한 소재를 이용하는 것이나, 발광점 ep의 형성 개소에 별도의 부재를 부가할 것 등이 상정된다.
또한 각막 상에 복수의 휘점이 형성되는 경우, 당해 복수의 휘점은, 서로 어느 방향으로부터 조사된 광에서 유래되는 것인지 분리 가능할 것이 요구된다. 이 때문에 종래의 수법에서는, 휘점이 어느 광원에서 유래되는 것인지를 특정하기 위하여 복수의 광원의 배치를 조정하는 것이 일반적이었다. 한편, 본 실시 형태에 따른 발광점 ep는 임의의 형상으로 형성하는 것이 가능하다. 이 때문에 본 실시 형태에서는, 도 17에 도시한 바와 같이 복수의 발광점 ep1 및 ep4가 서로 상이한 발광 형상을 갖도록 형성할 수 있으며, 즉, 휘점의 형상을 상이하게 함으로써 휘점의 분리를 용이하게 실현할 수 있다.
나아가, 본 실시 형태에 따른 발광점 ep는 선형이나 메쉬 형상으로 형성되어도 된다. 도 18은, 본 실시 형태에 따른 선형의 발광점 epL을 도시하는 도면이고, 도 19는, 본 실시 형태에 따른 메쉬형의 발광점 epM을 도시하는 도면이다. 선형의 발광점 epL이나 메쉬형의 발광점 epM을 이용하여, 대응하는 반사 상을 관찰함으로써, 안구 표면의 요철 형상 등을 상세히 분석하는 것이 가능해져, 보다 정밀도가 높은 시선 검출을 실현할 수 있다.
또한 본 실시 형태에 따른 투명 부재(105)는, 예를 들어 표시부와 일체로 형성하는 것도 가능하다. 이 때문에, 본 실시 형태에 따른 투명 부재(105)에 의하면, 정보 처리 장치(200)를 보다 소형화, 경량화하는 것이 가능해진다.
이상, 본 실시 형태에 따른 투명 부재(105)가 판형으로 형성되는 경우를 중심으로 설명하였지만, 본 실시 형태에 따른 투명 부재(105)의 형상은 이러한 예에 한정되지 않는다. 본 실시 형태에 따른 투명 부재(105)는, 예를 들어 봉 형상의 부재에 의하여 실현되어도 된다. 도 20은, 본 실시 형태에 따른 봉 형상의 투명 부재에 대하여 설명하기 위한 도면이다. 도 20에는, 유저의 시야 FV와, 봉 형상의 2개의 투명 부재(105a 및 105b)가 도시되어 있다. 이때, 봉 형상의 2개의 투명 부재(105a 및 105b)는 각각, 시야 FV 밖에 배치되는 광원(103a 및 103b)으로부터 도광된 광을 유저의 눈에 조사할 수 있다.
이상, 본 실시 형태에 따른 투명 부재(105) 및 발광점 ep의 특징에 대하여 상세히 설명하였다. 본 실시 형태에 따른 투명 부재(105) 및 발광점 ep에 의하면, 유저의 시야 밖에 배치되는 광원(103)으로부터 도광된 광을 시야의 중심 부근 등 임의의 장소로부터 조사하는 것이 가능해진다. 또한 상술한 바와 같이, 본 실시 형태에 따른 발광점 ep는 임의의 형상으로 형성하는 것이 가능하여, 용도에 따른 다양한 형상의 발광점 ep를 형성함으로써 시선 검출의 정밀도를 효과적으로 향상시킬 수 있다. 또한 본 실시 형태에 따른 발광점 ep는 프레스 등에 의하여 대량으로 안정적으로 형성하는 것이 가능하여, 제조 비용을 저감시킴과 함께 광원의 설치에 비해 높은 위치 정밀도를 기대할 수 있다.
또한 본 실시 형태에 따른 투명 부재(105)는, 광원(103)으로부터의 직접 조사와 병용하여 이용되어도 된다. 또한 정보 처리 장치(200)는, 발광점 ep나 광원(103)에 따른 다양한 제어를 행하는 것도 가능하다. 예를 들어 정보 처리 장치(200)는, 주위가 어두운 상황에는 광원(103)의 발광 강도를 약하게 하거나, 이용할 발광점 ep의 수를 한정함으로써 소비 전력을 저감시키는 등의 제어를 행해도 된다. 본 실시 형태에 따른 정보 처리 장치(200)의 구성 및 기능은 사양이나 운용에 따라 유연하게 변형 가능하다.
또한 본 실시 형태에 따른 투명 부재(105)는, 본 개시의 실시 형태에 있어서의 연산 처리를 행하지 않는 정보 처리 장치에도 적용 가능하다. 즉, 투명 부재(105)는, 본 개시의 실시 형태에 있어서의 연산 처리에 의존하는 구성 요소는 아니라고 간주되어도 된다. 본 실시 형태에 따른 투명 부재(105)를 적용함으로써, 일반적인 하드웨어 구성과 비교하여 보다 정밀도가 높은 시선 검출이 제공되어, 결과적으로 일반적인 하드웨어 구성의 과제가 적어도 부분적으로는 해결될 수 있다는 점에 유의하기 바란다.
<3. 하드웨어 구성예>
다음으로, 본 개시의 일 실시 형태에 따른 정보 처리 장치(200)의 하드웨어 구성예에 대하여 설명한다. 도 21은, 본 개시의 일 실시 형태에 따른 정보 처리 장치(200)의 하드웨어 구성예를 도시하는 블록도이다. 도 21을 참조하면 정보 처리 장치(200)는, 예를 들어 CPU(871)와 ROM(872)과 RAM(873)과 호스트 버스(874)와 브리지(875)와 외부 버스(876)와 인터페이스(877)와 입력 장치(878)와 출력 장치(879)와 스토리지(880)와 드라이브(881)와 접속 포트(882)와 통신 장치(883)를 갖는다. 또한 여기서 도시하는 하드웨어 구성은 일례이며, 구성 요소의 일부가 생략되어도 된다. 또한 여기서 도시하는 구성 요소 이외의 구성 요소를 더 포함해도 된다.
(CPU(871))
CPU(871)는, 예를 들어 연산 처리 장치 또는 제어 장치로서 기능하며, ROM(872), RAM(873), 스토리지(880), 또는 리무버블 기록 매체(901)에 기록된 각종 프로그램에 기초하여 각 구성 요소의 동작 전반 또는 그 일부를 제어한다.
(ROM(872), RAM(873))
ROM(872)은, CPU(871)에 읽어들여지는 프로그램이나 연산에 이용하는 데이터 등을 저장하는 수단이다. RAM(873)에는, 예를 들어 CPU(871)에 읽어들여지는 프로그램이나, 그 프로그램을 실행할 때에 적절히 변화되는 각종 파라미터 등이 일시적 또는 영속적으로 저장된다.
(호스트 버스(874), 브리지(875), 외부 버스(876), 인터페이스(877))
CPU(871), ROM(872), RAM(873)은, 예를 들어 고속의 데이터 전송이 가능한 호스트 버스(874)를 통하여 서로 접속된다. 한편, 호스트 버스(874)는, 예를 들어 브리지(875)를 통하여, 비교적 데이터 전송 속도가 저속인 외부 버스(876)에 접속된다. 또한 외부 버스(876)는 인터페이스(877)를 통하여 다양한 구성 요소와 접속된다.
(입력 장치(878))
입력 장치(878)로는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등이 이용된다. 또한 입력 장치(878)로서는, 적외선이나 그 외의 전파를 이용하여 제어 신호를 송신하는 것이 가능한 리모트 컨트롤러(이하, 리모컨)가 이용되는 경우도 있다. 또한 입력 장치(878)에는 마이크로폰 등의 음성 입력 장치가 포함된다.
(출력 장치(879))
출력 장치(879)는, 예를 들어 CRT(Cathode Ray Tube), LCD, 또는 유기 EL 등의 디스플레이 장치, 스피커, 헤드폰 등의 오디오 출력 장치, 프린터, 휴대 전화, 또는 팩시밀리 등, 취득한 정보를 이용자에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치이다. 또한 본 개시에 따른 출력 장치(879)는, 촉각 자극을 출력하는 것이 가능한 다양한 진동 디바이스를 포함한다.
(스토리지(880))
스토리지(880)는 각종 데이터를 저장하기 위한 장치이다. 스토리지(880)로서는, 예를 들어 하드디스크 드라이브(HDD) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광 자기 기억 디바이스 등이 이용된다.
(드라이브(881))
드라이브(881)는, 예를 들어 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(901)에 기록된 정보를 판독하거나, 또는 리무버블 기록 매체(901)에 정보를 기입하는 장치이다.
(리무버블 기록 매체(901))
리무버블 기록 매체(901)는, 예를 들어 DVD 미디어, Blu-ray(등록 상표) 미디어, HD DVD 미디어, 각종 반도체 기억 미디어 등이다. 물론 리무버블 기록 매체(901)는, 예를 들어 비접촉형 IC 칩을 탑재한 IC 카드, 또는 전자 기기 등이어도 된다.
(접속 포트(882))
접속 포트(882)는, 예를 들어 USB(Universal Serial Bus) 포트, IEEE1394 포트, SCSI(Small Computer System Interface), RS-232C 포트, 또는 광 오디오 단자 등과 같은, 외부 접속 기기(902)를 접속하기 위한 포트이다.
(외부 접속 기기(902))
외부 접속 기기(902)는, 예를 들어 프린터, 휴대 음악 플레이어, 디지털 카메라, 디지털 비디오 카메라, 또는 IC 레코더 등이다.
(통신 장치(883))
통신 장치(883)는, 네트워크에 접속하기 위한 통신 디바이스이며, 예를 들어 유선 혹은 무선 LAN, Bluetooth(등록 상표), 또는 WUSB(Wireless USB)용의 통신 카드, 광 통신용의 라우터, ADSL(Asymmetric Digital Subscriber Line)용의 라우터, 또는 각종 통신용의 모뎀 등이다.
<4. 정리>
이상 설명한 바와 같이 본 개시의 일 실시 형태에 따른 정보 처리 장치(200)는, 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행할 수 있다. 이러한 구성에 의하면, 양안 중 정밀도 저하의 원인으로 될 수 있는 눈의 영향을 배제함으로써, 보다 정밀도가 높은 시선 검출을 행하는 것이 가능해진다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
또한 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것이지 한정적이지는 않다. 즉, 본 개시에 따른 기술은, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.
또한 컴퓨터에 내장되는 CPU, ROM 및 RAM 등의 하드웨어로 하여금, 정보 처리 장치(200)가 갖는 구성과 동등한 기능을 발휘하게 하기 위한 프로그램도 작성 가능하며, 당해 프로그램을 기록한, 컴퓨터에 판독 가능한 기록 매체도 제공될 수 있다.
또한 본 명세서의 정보 처리 장치(200)의 처리에 따른 각 스텝은, 반드시 흐름도에 기재된 순서를 따라 시계열로 처리될 필요는 없다. 예를 들어 정보 처리 장치(200)의 처리에 관한 각 스텝은, 흐름도에 기재된 순서와 상이한 순서로 처리되어도, 병렬적으로 처리되어도 된다.
또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부
를 구비하고,
상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는,
정보 처리 장치.
(2)
상기 연산 처리부는 양안의 각각에 관하여, 이용 가능한 캘리브레이션점에 기초하여 상기 캘리브레이션 가부를 판정하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 연산 처리부는, 이용 가능한 상기 캘리브레이션점의 수가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정하는,
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 연산 처리부는 양안의 각각에 관하여, 이용 가능한 모든 캘리브레이션점에 있어서의 광축 벡터의 변동에 기초하여 상기 캘리브레이션 가부를 판정하는,
상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.
(5)
상기 연산 처리부는, 상기 광축 벡터와 유저의 동공 중심으로부터 주시점 마커가 표시되어 있는 상기 캘리브레이션점으로의 마커 벡터와의 상관 관계를 나타내는 상관 계수가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정하는,
상기 (4)에 기재된 정보 처리 장치.
(6)
상기 연산 처리부는, 상기 캘리브레이션점에 있어서 축적된 상기 시선 데이터에 기초하여 당해 캘리브레이션점의 이용 가부를 판정하는,
상기 (2) 내지 (5) 중 어느 것에 기재된 정보 처리 장치.
(7)
상기 연산 처리부는, 상기 캘리브레이션점에 있어서 축적된 시선 데이터의 수가 소정 시간 내에 소정 수를 상회하지 않는 것에 기초하여, 당해 캘리브레이션점이 이용 불능이라고 판정하는,
상기 (2) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8)
상기 연산 처리부는, 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의하여 광축 벡터를 연산하는,
상기 (1) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.
(9)
상기 캘리브레이션이 실행된 눈에 따라, 상기 표시부에 표시시킬 오브젝트의 표시 위치를 제어하는 표시 제어부
를 더 구비하는,
상기 (1) 내지 (8) 중 어느 것에 기재된 정보 처리 장치.
(10)
상기 표시 제어부는, 상기 캘리브레이션이 실행된 눈에 대응하는 에어리어에 상기 오브젝트를 표시시키는,
상기 (9)에 기재된 정보 처리 장치.
(11)
상기 표시 제어부는, 상기 캘리브레이션이 실행된 눈에 따른 캘리브레이션 에어리어에 상기 오브젝트를 표시시키는,
상기 (10)에 기재된 정보 처리 장치.
(12)
복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
를 더 구비하는,
상기 (1) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.
(13)
상기 표시부에 의하여 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부
를 더 구비하는,
상기 (1) 내지 (12) 중 어느 것에 기재된 정보 처리 장치.
(14)
광원으로부터 도광된 광을 유저의 눈에 조사하는 적어도 2개의 발광점을 갖는 투명 부재
를 더 구비하고,
적어도 2개의 상기 발광점은, 양안의 각각에 있어서의 각막 상에 적어도 2개의 휘점을 형성 가능한 위치에 배치되는,
상기 (1) 내지 (13) 중 어느 것에 기재된 정보 처리 장치.
(15)
상기 투명 부재는 판형으로 형성되어 유저의 양안과 상기 표시부 사이에 배치되는,
상기 (14)에 기재된 정보 처리 장치.
(16)
상기 발광점은 절결 가공에 의하여 형성되는,
상기 (14) 또는 (15)에 기재된 정보 처리 장치.
(17)
적어도 2개의 상기 발광점은 서로 상이한 발광 형상을 갖는
상기 (14) 내지 (16) 중 어느 것에 기재된 정보 처리 장치.
(18)
유저의 안구를 포함하는 화상을 촬상하는 촬상부
를 더 구비하고,
상기 촬상부는, 각막 상에 있어서의 적어도 2개의 상기 휘점을 촬상 가능한 위치에 배치되는,
상기 (14) 내지 (17) 중 어느 것에 기재된 정보 처리 장치.
(19)
프로세서가, 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 것
을 포함하고,
상기 연산 처리를 실행하는 것은, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 것
을 더 포함하는,
정보 처리 방법.
(20)
컴퓨터를,
표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부
를 구비하고,
상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는
정보 처리 장치
로서 기능시키기 위한, 프로그램.
(21)
광원으로부터 도광된 광을 유저의 눈에 조사하는 적어도 2개의 발광점을 갖는 투명 부재
를 구비하고,
적어도 2개의 상기 발광점은, 양안의 각각에 있어서의 각막 상에 적어도 2개의 휘점을 형성 가능한 위치에 배치되는,
시선 검출용의 표시 장치.
(22)
광원으로부터 도광된 광을 유저의 눈에 조사하는 적어도 2개의 발광점
을 갖고,
적어도 2개의 상기 발광점은, 양안의 각각에 있어서의 각막 상에 적어도 2개의 휘점을 형성 가능한 위치에 배치되는,
시선 검출용의 투명 부재.
10: 안구
14: 각막
17: 동공
100: 표시 장치
110: 광원
120: 촬상부
130: 표시부
140: 제어부
150: 송수신부
200: 정보 처리 장치
210: 송수신부
220: 마커 제어부
230: 연산 처리부
240: 기억부
250: 평가부
260: 표시 제어부
105: 투명 부재

Claims (20)

  1. 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부
    를 구비하고,
    상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는,
    정보 처리 장치.
  2. 제1항에 있어서,
    상기 연산 처리부는 양안의 각각에 관하여, 이용 가능한 캘리브레이션점에 기초하여 상기 캘리브레이션 가부를 판정하는,
    정보 처리 장치.
  3. 제2항에 있어서,
    상기 연산 처리부는, 이용 가능한 상기 캘리브레이션점의 수가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정하는,
    정보 처리 장치.
  4. 제1항에 있어서,
    상기 연산 처리부는 양안의 각각에 관하여, 이용 가능한 모든 캘리브레이션점에 있어서의 광축 벡터의 변동에 기초하여 상기 캘리브레이션 가부를 판정하는,
    정보 처리 장치.
  5. 제4항에 있어서,
    상기 연산 처리부는, 상기 광축 벡터와 유저의 동공 중심으로부터 주시점 마커가 표시되어 있는 상기 캘리브레이션점으로의 마커 벡터와의 상관 관계를 나타내는 상관 계수가 역치를 하회하는 것에 기초하여, 대응하는 눈이 캘리브레이션 불능이라고 판정하는,
    정보 처리 장치.
  6. 제2항에 있어서,
    상기 연산 처리부는, 상기 캘리브레이션점에 있어서 축적된 상기 시선 데이터에 기초하여 당해 캘리브레이션점의 이용 가부를 판정하는,
    정보 처리 장치.
  7. 제2항에 있어서,
    상기 연산 처리부는, 상기 캘리브레이션점에 있어서 축적된 시선 데이터의 수가 소정 시간 내에 소정 수를 상회하지 않는 것에 기초하여, 당해 캘리브레이션점이 이용 불능이라고 판정하는,
    정보 처리 장치.
  8. 제1항에 있어서,
    상기 연산 처리부는, 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의하여 광축 벡터를 연산하는,
    정보 처리 장치.
  9. 제1항에 있어서,
    상기 캘리브레이션이 실행된 눈에 따라, 상기 표시부에 표시시킬 오브젝트의 표시 위치를 제어하는 표시 제어부
    를 더 구비하는,
    정보 처리 장치.
  10. 제9항에 있어서,
    상기 표시 제어부는, 상기 캘리브레이션이 실행된 눈에 대응하는 에어리어에 상기 오브젝트를 표시시키는,
    정보 처리 장치.
  11. 제10항에 있어서,
    상기 표시 제어부는, 상기 캘리브레이션이 실행된 눈에 따른 캘리브레이션 에어리어에 상기 오브젝트를 표시시키는,
    정보 처리 장치.
  12. 제1항에 있어서,
    복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
    를 더 구비하는,
    정보 처리 장치.
  13. 제1항에 있어서,
    상기 표시부에 의하여 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부
    를 더 구비하는,
    정보 처리 장치.
  14. 제1항에 있어서,
    광원으로부터 도광된 광을 유저의 눈에 조사하는 적어도 2개의 발광점을 갖는 투명 부재
    를 더 구비하고,
    적어도 2개의 상기 발광점은, 양안의 각각에 있어서의 각막 상에 적어도 2개의 휘점을 형성 가능한 위치에 배치되는,
    정보 처리 장치.
  15. 제14항에 있어서,
    상기 투명 부재는 판형으로 형성되어 유저의 양안과 상기 표시부 사이에 배치되는,
    정보 처리 장치.
  16. 제14항에 있어서,
    상기 발광점은 절결 가공에 의하여 형성되는,
    정보 처리 장치.
  17. 제14항에 있어서,
    적어도 2개의 상기 발광점은 서로 상이한 발광 형상을 갖는,
    정보 처리 장치.
  18. 제14항에 있어서,
    유저의 안구를 포함하는 화상을 촬상하는 촬상부
    를 더 구비하고,
    상기 촬상부는, 각막 상에 있어서의 적어도 2개의 상기 휘점을 촬상 가능한 위치에 배치되는,
    정보 처리 장치.
  19. 프로세서가, 표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 것
    을 포함하고,
    상기 연산 처리를 실행하는 것은, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는 것
    을 더 포함하는,
    정보 처리 방법.
  20. 컴퓨터를,
    표시부에 대한 시선 검출의 캘리브레이션에 따른 연산 처리를 실행하는 연산 처리부
    를 구비하고,
    상기 연산 처리부는, 취득된 시선 데이터에 기초하여 양안의 각각에 관하여 캘리브레이션 가부를 판정하고, 캘리브레이션 가능으로 판정한 눈에 따른 상기 시선 데이터만을 이용하여 당해 눈에 대한 캘리브레이션을 실행하는
    정보 처리 장치
    로서 기능시키기 위한, 프로그램.
KR1020207001259A 2017-07-27 2018-05-22 정보 처리 장치, 정보 처리 방법, 및 프로그램 KR20200035003A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-145346 2017-07-27
JP2017145346 2017-07-27
PCT/JP2018/019630 WO2019021601A1 (ja) 2017-07-27 2018-05-22 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20200035003A true KR20200035003A (ko) 2020-04-01

Family

ID=65039521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207001259A KR20200035003A (ko) 2017-07-27 2018-05-22 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (5)

Country Link
US (1) US11490808B2 (ko)
EP (1) EP3660636A4 (ko)
JP (1) JP7081599B2 (ko)
KR (1) KR20200035003A (ko)
WO (1) WO2019021601A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP2020177283A (ja) * 2019-04-15 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7288792B2 (ja) 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
CN114868102A (zh) * 2020-01-06 2022-08-05 索尼集团公司 信息处理装置、信息处理方法和计算机可读记录介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4219693A (en) * 1992-09-30 1994-04-14 Apple Computer, Inc. Inter-task buffer and connections
KR20060030608A (ko) * 2004-10-06 2006-04-11 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP2006293909A (ja) 2005-04-14 2006-10-26 Denso Corp 運転者の視線方向検出装置
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
JP2010259605A (ja) 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP5927966B2 (ja) * 2012-02-14 2016-06-01 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
CN104603673B (zh) 2012-09-03 2017-03-15 Smi创新传感技术有限公司 头戴式***以及使用头戴式***计算和渲染数字图像流的方法
EP3663840A1 (en) 2012-09-19 2020-06-10 Nikon Corporation Line of sight detection device, display method, line of sight detection device calibration method, spectacle lens design method, spectacle lens selection method, spectacle lens manufacturing method, printed matter, spectacle lens sales method, optical device, line of sight information detection method, optical instrument design method, optical instrument, optical instrument selection method, and optical instrument production method
JP5958303B2 (ja) * 2012-11-27 2016-07-27 株式会社デンソー テキスト読み上げ装置
JP2014160982A (ja) * 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
KR102196975B1 (ko) * 2015-08-15 2020-12-30 구글 엘엘씨 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
JP6693105B2 (ja) 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
GB2563276B (en) * 2017-06-09 2021-12-01 Advanced Risc Mach Ltd Virtual reality systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置

Also Published As

Publication number Publication date
JPWO2019021601A1 (ja) 2020-05-28
US11490808B2 (en) 2022-11-08
JP7081599B2 (ja) 2022-06-07
WO2019021601A1 (ja) 2019-01-31
EP3660636A1 (en) 2020-06-03
EP3660636A4 (en) 2020-07-08
US20200154997A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
KR102469507B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US10242504B2 (en) Head-mounted display device and computer program
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US10070120B2 (en) Optical see-through display calibration
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20200035003A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US20210034151A1 (en) Electronic device, control method, and non-transitory computer readable medium
KR20180012713A (ko) 시선 검출 시스템, 변위 검출 방법, 변위 검출 프로그램
WO2011136213A1 (ja) 表示装置
US20190104231A1 (en) Image display system, image display method, and image display program
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
US20130321608A1 (en) Eye direction detecting apparatus and eye direction detecting method
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
US20230125838A1 (en) Electronic apparatus and control method for electronic apparatus
JPH10179520A (ja) 視線検出方法及び装置並びに記憶媒体
US20230393655A1 (en) Electronic apparatus
WO2022072205A1 (en) Image capture eyewear with automatic image sending to recipients determined based on context
CN117666136A (zh) 头戴式虚拟现实设备
CN117808993A (zh) 处理器、信息处理方法及非暂时性存储介质
CN117597622A (zh) 用于提供视力测量和视力校正的增强现实设备和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application