CN109414167B - 视线检测装置以及视线检测方法 - Google Patents

视线检测装置以及视线检测方法 Download PDF

Info

Publication number
CN109414167B
CN109414167B CN201780039358.7A CN201780039358A CN109414167B CN 109414167 B CN109414167 B CN 109414167B CN 201780039358 A CN201780039358 A CN 201780039358A CN 109414167 B CN109414167 B CN 109414167B
Authority
CN
China
Prior art keywords
image
light source
light
detection
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780039358.7A
Other languages
English (en)
Other versions
CN109414167A (zh
Inventor
首藤胜行
箱岛修二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN109414167A publication Critical patent/CN109414167A/zh
Application granted granted Critical
Publication of CN109414167B publication Critical patent/CN109414167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

视线检测装置(100)包括：图像数据获取部(202)，获取被照射检测光的被检查者的脸部的图像数据，该检测光从光源(103)射出；视线检测部(216)，基于图像数据检测被检查者的视线；图像处理部(206)，对图像数据进行图像处理来生成脸部的特征部图像(174M)以及眼镜反射图像(172M)，该眼镜反射图像(172M)表示佩戴于脸部的眼镜上的光源(103)的反射图像；以及显示控制部(208)，使显示装置(101)以不同的显示方式显示合成图像(176M)中的特征部图像(174M)和眼镜反射图像(172M)，其中合成图像(176M)是合成了特征部图像(174M)和眼镜反射图像(172M)的图像。

Description

视线检测装置以及视线检测方法
技术领域
本发明涉及视线检测装置、视线检测方法以及计算机程序。
背景技术
作为视线检测技术之一，已知有角膜反射法。角膜反射法是如下方法：将从光源射出的红外光向被检查者照射，通过相机拍摄被照射红外光的被检查者的眼睛，检测角膜表面上的瞳孔相对于作为光源的反射图像的角膜反射图像的位置，从而检测被检查者的视线。
在先技术文献
专利文献
专利文献1：日本特开2010-244156号公报。
发明内容
在被检查者佩戴眼镜的情况下，存在照射到被检查者的红外光被眼镜反射的可能性。当红外光被眼镜反射时，存在视线的检测精度降低的可能性。例如，当在相机的视野区域中眼镜的光源的反射图像与被检查者的眼睛重合时，难以检测角膜反射图像和瞳孔。在角膜反射图像和瞳孔未被良好地检测出的情况下，被检查者的视线的检测精度会降低。
本实施方式的目的在于，提供能够抑制佩戴了眼镜的被检查者的视线的检测精度的降低的视线检测装置、视线检测方法以及计算机程序。
本实施方式提供一种视线检测装置，包括：图像数据获取部，获取被照射检测光的被检查者的脸部的图像数据，所述检测光从光源射出；视线检测部，基于所述图像数据检测所述被检查者的视线；图像处理部，对所述图像数据进行图像处理来生成所述脸部的特征部图像和眼镜反射图像，所述眼镜反射图像表示佩戴于所述脸部的眼镜上的所述光源的反射图像；以及显示控制部，使显示装置以不同的显示方式显示合成图像中的所述特征部图像和所述眼镜反射图像，其中所述合成图像是合成了所述特征部图像和所述眼镜反射图像的图像。
根据本实施方式，提供能够抑制佩戴了眼镜的被检查者的视线的检测精度的降低的视线检测装置、视线检测方法以及计算机程序。
附图说明
图1是示意性示出第一实施方式涉及的视线检测装置的一个例子的立体图；
图2是示意性示出第一实施方式涉及的显示装置、立体相机装置、光源以及被检查者的眼球的位置关系的图；
图3是示出第一实施方式涉及的视线检测装置的硬件构成的一个例子的图；
图4是示出第一实施方式涉及的视线检测装置的一个例子的功能框图；
图5是用于说明第一实施方式涉及的角膜曲率中心的位置数据的计算方法的示意图；
图6是用于说明第一实施方式涉及的角膜曲率中心的位置数据的计算方法的示意图；
图7是示出第一实施方式涉及的视线检测方法的一个例子的流程图；
图8是示意性示出佩戴了眼镜的被检查者的瞳孔、立体相机装置以及光源的关系的图；
图9是示出在立体相机装置的视野区域中眼镜上的光源的反射图像的至少一部分与被检查者的瞳孔重合的状态的示意图；
图10是示意性示出佩戴了眼镜的被检查者的瞳孔、立体相机装置以及光源的关系的图；
图11是示出第一实施方式涉及的位置对准辅助处理的一个例子的流程图；
图12是示意性示出由第一实施方式涉及的图像数据获取部获取的图像数据的一个例子的图；
图13是示意性示出第一实施方式涉及的二值化的图像数据的一个例子的图；
图14是示意性示出第一实施方式涉及的被检查者的脸部的特征部图像的一个例子的图；
图15是示意性示出第一实施方式涉及的亮度降低的特征部图像的一个例子的图；
图16是示意性示出第一实施方式涉及的眼镜反射图像的一个例子的图；
图17是示意性示出第一实施方式涉及的特征部图像与眼镜反射图像被合成的合成图像的一个例子的图；
图18是示出第一实施方式涉及的显示装置的一个例子的图；
图19是用于说明第一实施方式涉及的校准处理的一个例子的示意图；
图20是示出第一实施方式涉及的校准处理的一个例子的流程图；
图21是用于说明第一实施方式涉及的视线检测处理的一个例子的示意图；
图22是示出第一实施方式涉及的视线检测处理的一个例子的流程图；
图23是示出第二实施方式涉及的位置对准辅助处理中的第一相机、第二相机、第一光源、以及第二光源的动作的定时的时序图；
图24是示出第二实施方式涉及的位置对准辅助处理的一个例子的流程图。
具体实施方式
以下，参照附图，对本发明涉及的实施方式进行说明，但本发明不限于此。以下说明的实施方式的构成要素能够适当组合。另外，有时不使用一部分构成要素。
在以下的说明中，设定三维全局坐标系而对各部分的位置关系进行说明。将与预定面的X轴平行的方向设为X轴方向，将平行于与X轴正交的预定面的Y轴的方向设为Y轴方向，将平行于分别与X轴和Y轴的正交的Z轴设为Z轴方向。预定面包括XY平面。
＜第一实施方式＞
对第一实施方式进行说明。图1是示意性示出本实施方式涉及的视线检测装置100的一个例子的立体图。视线检测装置100例如用于辅助智障诊断的诊断辅助装置。
[视线检测装置的简要]
如图1所示，视线检测装置100具备显示装置101、立体相机装置102以及光源103。
显示装置101包括如液晶显示器(LCD：liquid crystal display)或者有机EL显示器(OELD：organic electroluminescence display，有机电致发光显示器)那样的平板显示器。
在本实施方式中，显示装置101的显示屏幕101S实质上与XY平面平行。X轴方向是显示屏幕101S的左右方向，Y轴方向是显示屏幕101S的上下方向，Z轴方向是与显示屏幕101S正交的深度方向。
立体相机装置102拍摄被检查者并获取被检查者的图像数据。立体相机装置102具有配置于不同位置的第一相机102A和第二相机102B。立体相机装置102与显示装置101的显示屏幕101S比被配置在下方。第一相机102A和第二相机102B配置于X轴方向上。第一相机102A与第二相机102B比被配置在-X方向。第一相机102A和第二相机102B分别包括红外光相机，例如具有能够使波长850[nm]的近红外光透过的光学***、以及能够接受近红外光的拍摄元件。
光源103射出检测光。光源103包括配置于不同位置的第一光源103A和第二光源103B。光源103与显示装置101的显示屏幕101S比被配置在下方。第一光源103A和第二光源103B配置于X轴方向。第一光源103A与第一相机102A比被配置在-X方向。第二光源103B与第二相机102B比被配置在+X方向。第一光源103A和第二光源103B分别包括LED(lightemitting diode，发光二极管)光源，例如能够射出波长850[nm]的近红外光。此外，第一光源103A和第二光源103B可以配置于第一相机102A与第二相机102B之间。
图2是示意性示出本实施方式涉及的显示装置101、立体相机装置102、光源103以及被检查者的眼球111的位置关系的图。
光源103射出作为检测光的红外光，并照明被检查者的眼球111。立体相机装置102在从第一光源103A射出的检测光被照射到眼球111时由第二相机102B拍摄眼球111，在从第二光源103B射出的检测光被照射到眼球111时由第一相机102A拍摄眼球111。
从第一相机102A和第二相机102B中的至少一者输出帧同步信号。第一光源103A和第二光源103B基于帧同步信号来射出检测光。第一相机102A在从第二光源103B射出的检测光照射到眼球111时，获取眼球111的图像数据。第二相机102B在从第一光源103A射出的检测光照射到眼球111时，获取眼球111的图像数据。
当检测光照射到眼球111时，检测光的一部分被瞳孔112反射。被瞳孔112反射的光入射到立体相机装置102。另外，当检测光照射到眼球111时，角膜反射图像113形成于眼球111。角膜反射图像113是角膜表面上的光源103的反射图像。来自角膜反射图像113的光入射到立体相机装置102。
通过适当地设定第一相机102A及第二相机102B与第一光源103A及第二光源103B的相对位置，从瞳孔112入射到立体相机装置102的光的强度降低，从角膜反射图像113入射到立体相机装置102的光的强度升高。即，由立体相机装置102获取的瞳孔112的图像变成低亮度，角膜反射图像113的图像变成高亮度。立体相机装置102基于所获取的图像的亮度，能够检测瞳孔112的位置以及角膜反射图像113的位置。
[硬件构成]
图3是示出本实施方式涉及的视线检测装置100的硬件构成的一个例子的图。如图3所示，视线检测装置100具备显示装置101、立体相机装置102、光源103、计算机***20、输入输出接口装置30、驱动电路40、输出装置50、输入装置60以及声音输出装置70。计算机***20包括运算处理装置20A以及存储装置20B。计算机程序20C被存储在存储装置20B中。
计算机***20、驱动电路40、输出装置50、输入装置60以及声音输出装置70经由输入输出接口装置30进行数据通信。
运算处理装置20A包括如CPU(central processing unit，中央处理器)那样的微处理器。存储装置20B包括如ROM(read only memory，只读存储器)那样的非易失性存储器或者RAM(random access memory)那样的易失性存储器。运算处理装置20A按照存储于存储装置20B的计算机程序20C实施运算处理。
驱动电路40生成驱动信号，并向显示装置101、立体相机装置102以及光源103输出。另外，驱动电路40将由立体相机装置102获取的眼球111的图像数据经由输入输出接口装置30提供给计算机***20。
输出装置50包括如平板显示器那样的显示装置。此外，输出装置50可以包括印刷装置。输入装置60通过***作来生成输入数据。输入装置60包括用于计算机***的键盘或者鼠标。此外，输入装置60还可以包括设置于显示装置、即输出装置50的显示屏幕上的触摸传感器。声音输出装置70包括扬声器，例如输出用于提醒被检查者的声音。
在本实施方式中，显示装置101与计算机***20是分别独立的装置。此外，显示装置101与计算机***20还可以一体化。例如，在视线检测装置100包括平板型个人计算机的情况下，可以在平板型个人计算机中搭载计算机***20、输入输出接口装置30、驱动电路40以及显示装置101。
图4是示出本实施方式涉及的视线检测装置100的一个例子的功能框图。如图4所示，输入输出接口装置30具有输入输出部302。驱动电路40具有显示装置驱动部402、第一相机输入输出部404A、第二相机输入输出部404B以及光源驱动部406，该显示装置驱动部402生成用于驱动显示装置101的驱动信号并向显示装置101输出，该第一相机输入输出部404A生成用于驱动第一相机102A的驱动信号并向第一相机102A输出，该第二相机输入输出部404B生成用于驱动第二相机102B的驱动信号并向第二相机102B输出，该光源驱动部406生成用于驱动第一光源103A和第二光源103B的驱动信号并向第一光源103A和第二光源103B输出。另外，第一相机输入输出部404A将由第一相机102A获取的眼球111的图像数据经由输入输出部302供应给计算机***20。第二相机输入输出部404B将由第二相机102B获取的眼球111的图像数据经由输入输出部302提供给计算机***20。
计算机***20控制视线检测装置100。计算机***20具有图像数据获取部202、输入数据获取部204、图像处理部206、显示控制部208、光源控制部210、相机控制部211、位置检测部212、曲率中心计算部214、视线检测部216、距离数据获取部218、存储部220以及输出控制部222。计算机***20的功能通过运算处理装置20A、存储装置20B、以及存储于存储装置20B的计算机程序20C来发挥。
图像数据获取部202经由输入输出部302从立体相机装置102获取被检查者的脸部的图像数据，该被检查者的脸部的图像数据通过包含第一相机102A和第二相机102B的立体相机装置102来获取。图像数据是数字数据。被检查者的脸部的图像数据包括眼球111的图像数据。立体相机装置102拍摄被照射检测光的被检查者的脸部，该检测光从光源103射出。图像数据获取部202经由输入输出部302从立体相机装置102获取被照射检测光的被检查者的脸部的图像数据，该检测光从光源103射出。
输入数据获取部204经由输入输出部302从输入装置60获取输入数据，该输入数据通过输入装置60***作来生成。
图像处理部206对由图像数据获取部202获取的图像数据进行图像处理。图像处理部206对图像数据进行图像处理并生成特征部图像和眼镜反射图像，该特征部图像表示被检查者的脸部的特征部分的图像，该眼镜反射图像表示佩戴于被检查者的脸部的眼镜上的光源103的反射图像。
显示控制部208使显示装置101显示特定的图像。在本实施方式中，显示控制部208使显示装置101显示合成了由图像处理部206生成的特征部图像与眼镜反射图像的合成图像。在合成了特征部图像与眼镜反射图像的合成图像中，显示控制部208使显示装置101以不同的显示方式显示特征部图像与眼镜反射图像。显示装置101的显示方式包括图像的亮度、颜色、明度以及彩度中至少一者。在本实施方式中，显示控制部208使显示装置101以比特征部图像强调的方式显示眼镜反射图像。例如，在合成图像中，显示控制部208使显示装置101以比特征部图像高的亮度显示眼镜反射图像。此外，在合成图像中，显示控制部208可以使显示装置101以比特征部图像高的明度显示眼镜反射图像，也可以使显示装置101以比特征部图像高的彩度显示眼镜反射图像。
光源控制部210控制光源驱动部406，并控制第一光源103A和第二光源103B的动作状态。光源控制部210控制第一光源103A和第二光源103B，以使得第一光源103A与第二光源103B在不同的定时射出检测光。另外，光源控制部210控制从第一光源103A射出的检测光的光量、以及从第二光源103B射出的检测光的光量。从第一光源103A射出的检测光的光量的控制包括第一光源103A的发光强度的控制以及第一光源103A的发光时间的控制中的至少一者。同样，从第二光源103B射出的检测光的光量的控制包括第二光源103B的发光强度的控制以及第二光源103B的发光时间的控制中的至少一者。在本实施方式中，光源控制部210控制第一光源103A和第二光源103B，以使得从第一光源103A射出的检测光的光量、以及从第二光源103B射出的检测光的光量相同。
相机控制部211控制第一相机输入输出部404A和第二相机输入输出部404B，并控制包含第一相机102A和第二相机102B的立体相机装置102的动作状态。相机控制部211控制第一相机102A中的检测光的曝光值、以及第二相机102B中的检测光的曝光值。第一、第二相机102A、102B中的检测光的曝光值(exposure value)是指，从由检测光照明的被检查者的脸部经由第一、第二相机102A、102B的光学***入射到拍摄元件的检测光的露出量。第一、第二相机102A、102B中的检测光的曝光值的控制包括第一、第二相机102A、102B的快门速度的控制、以及第一、第二相机102A、102B的光学***的光圈值的控制中的至少一者。
位置检测部212基于由图像数据获取部202获取的眼球111的图像数据，检测瞳孔中心的位置数据。另外，位置检测部212基于由图像数据获取部202获取的眼球111的图像数据，检测角膜反射中心的位置数据。瞳孔中心是瞳孔112的中心。角膜反射中心是角膜反射图像113的中心。位置检测部212对被检查者的左右各自的眼球111，检测瞳孔中心的位置数据以及角膜反射中心的位置数据。
曲率中心计算部214基于由图像数据获取部202获取的眼球111的图像数据，计算眼球111的角膜曲率中心的位置数据。
视线检测部216基于由图像数据获取部202获取的眼球111的图像数据，检测被检查者的视线。被检查者的视线包括表示被检查者观看的视线方向的视线矢量。视线检测部216基于从眼球111的图像数据获取的瞳孔中心的位置数据以及角膜曲率中心的位置数据，检测被检查者的左右各自的眼球111的视线矢量。
另外，视线检测部216基于检测出的视线矢量，检测被检查者的注视点的位置数据。在本实施方式中，被检查者的注视点包括被检查者的视线矢量与显示装置101的显示屏幕101S的交点。在本实施方式中，注视点的位置数据是指，用全局坐标系规定的被检查者的视线矢量与显示装置101的显示屏幕101S的交点的位置数据。
距离数据获取部218获取显示装置101的显示屏幕101S与被检查者的脸部之间的距离数据。距离数据获取部218基于由位置检测部212检测出的瞳孔中心的位置数据，检测距离数据。通过检测全局坐标系中的瞳孔中心的位置数据，计算显示装置101的显示屏幕101S的中心与被检查者的眼球111的距离。距离数据获取部218将显示装置101的显示屏幕101S的中心与被检查者的眼球111的距离获取为显示装置101的显示屏幕101S与被检查者的脸部的距离数据。
存储部220存储计算机程序20C以及各种数据。
输出控制部222向显示装置101、输出装置50以及声音输出装置70中的至少一者输出数据。输出控制部222例如使显示装置101或者输出装置50显示被检查者的左右各自的眼球111的注视点的位置数据。
[视线检测的原理]
接着，对本实施方式涉及的视线检测的原理进行说明。在以下的说明中，主要针对曲率中心计算部214的处理的简要进行说明。曲率中心计算部214基于眼球111的图像数据，计算眼球111的角膜曲率中心的位置数据。
图5和图6是用于说明本实施方式涉及的角膜曲率中心110的位置数据的计算方法的示意图。图5示出眼球111被一个光源103C照明的示例。图6示出眼球111被第一光源103A和第二光源103B照明的示例。
首先，对图5所示的示例进行说明。光源103C配置于第一相机102A与第二相机102B之间。瞳孔中心112C是瞳孔112的中心。角膜反射中心113C是角膜反射图像113的中心。在图5中，瞳孔中心112C表示眼球111被一个光源103C照明时的瞳孔中心。角膜反射中心113C表示眼球111被一个光源103C照明时的角膜反射中心。
角膜反射中心113C存在于连结光源103C与角膜曲率中心110的直线上。角膜反射中心113C位于角膜表面与角膜曲率中心110的中间点。角膜曲率半径109是角膜表面与角膜曲率中心110的距离。
角膜反射中心113C的位置数据被立体相机装置102检测。角膜曲率中心110存在于连结光源103C与角膜反射中心113C的直线上。曲率中心计算部214将在该直线上离角膜反射中心113C的距离变成预定值的位置数据计算为角膜曲率中心110的位置数据。预定值是根据一般的角膜的曲率半径值等预先决定的值，存储于存储部220中。
接着，对图6所示的示例进行说明。在本实施方式中，第一相机102A及第二光源103B与第二相机102B及第一光源103A被配置在相对于通过第一相机102A与第二相机102B的中间位置的直线左右对称的位置。能够视为在第一相机102A与第二相机102B的中间位置存在虚拟光源103V。
角膜反射中心121表示由第二相机102B拍摄了眼球111的图像中的角膜反射中心。角膜反射中心122表示由第一相机102A拍摄了眼球111的图像中的角膜反射中心。角膜反射中心124表示与虚拟光源103V对应的角膜反射中心。
角膜反射中心124的位置数据基于由立体相机装置102获取的角膜反射中心121的位置数据以及角膜反射中心122的位置数据来计算出。立体相机装置102检测在由立体相机装置102规定的局部坐标系中的角膜反射中心121的位置数据以及角膜反射中心122的位置数据。关于立体相机装置102，预先实施基于立体校准法的相机校准，并计算将立体相机装置102的三维局部坐标系转换为三维全局坐标系的转换参数。该转换参数被存储在存储部220中。
曲率中心计算部214使用转换参数将由立体相机装置102获取的角膜反射中心121的位置数据以及角膜反射中心122的位置数据转换为全局坐标系中的位置数据。曲率中心计算部214基于由全局坐标系规定的角膜反射中心121的位置数据以及角膜反射中心122的位置数据，计算全局坐标系中的角膜反射中心124的位置数据。
角膜曲率中心110存在于连结虚拟光源103V与角膜反射中心124的直线123上。曲率中心计算部214将在直线123上离角膜反射中心124的距离变成预定值的位置数据计算为角膜曲率中心110的位置数据。预定值是根据一般的角膜的曲率半径值等预先决定的值，并存储于存储部220中。
如参照图6说明那样，在光源为两个的情况下，通过与光源为一个的情况下的方法相同的方法，计算出角膜曲率中心110。
角膜曲率半径109是角膜表面与角膜曲率中心110的距离。因此，通过计算角膜表面的位置数据以及角膜曲率中心110的位置数据，计算角膜曲率半径109。
如此，在本实施方式中，计算在全局坐标系中的角膜曲率中心110的位置数据、角膜反射中心124的位置数据以及瞳孔中心112C的位置数据。
视线检测部216基于瞳孔中心112C的位置数据以及角膜曲率中心110的位置数据，能够检测被检查者的视线矢量。另外，距离数据获取部218基于瞳孔中心112C的位置数据，能够获取显示装置101的显示屏幕与包含眼球111的被检查者的脸部之间的距离数据。
[视线检测方法]
接着，对本实施方式涉及的视线检测方法的一个例子进行说明。图7是示出本实施方式涉及的视线检测方法的一个例子的流程图。在本实施方式中，实施如下处理：位置对准辅助处理(步骤S100)，将视线检测装置100与被检查者调整到适当的相对位置；校准处理(步骤S200)，其包括角膜曲率中心110的位置数据的计算处理、以及瞳孔中心112C与角膜曲率中心110的距离数据的计算处理；以及视线检测处理(步骤S300)。
(位置对准辅助处理)
对位置对准辅助处理进行说明。在被检查者的脸部上佩戴有眼镜的情况下，从光源103射出且被照射到被检查者的脸部上的检测光中的至少一部分可能被眼镜的镜片反射。
图8是示意性示出佩戴了眼镜170的被检查者的瞳孔112、立体相机装置102以及光源103的关系的图。图8示出眼镜170上的光源103的反射图像172的位置与被检查者的瞳孔112的位置在立体相机装置102的视野区域中一致的状态。图9是示出在立体相机装置102的视野区域中眼镜170上的光源103的反射图像172的至少一部分与被检查者的瞳孔112重合的状态的示意图。
如图8和图9所示，在眼镜170的镜片上形成光源103的反射图像172、且在立体相机装置102的视野区域中反射图像172与被检查者的瞳孔112重合的情况下，立体相机装置102难以良好地获取被检查者的瞳孔112以及角膜反射图像113的图像数据。在不能良好地检测出瞳孔112以及角膜反射图像113的情况下，被检查者的视线的检测精度会降低。
图10是示出眼镜170上的光源103的反射图像172的位置与被检查者的瞳孔112的位置在立体相机装置102的视野区域中不一致的状态的示意图。如图10所示，即使在眼镜170的镜片上形成有光源103的反射图像172，但在立体相机装置102的视野区域中反射图像172与被检查者的瞳孔112不重和时，立体相机装置102能够良好地获取被检查者的瞳孔112以及角膜反射图像113的图像数据。在良好地检测出瞳孔112和角膜反射图像113的情况下，被检查者的视线的检测精度的降低会被抑制。
在本实施方式中，视线检测装置100在开始进行校准处理(步骤S200)以及视线检测处理(步骤S300)之前，辅助被检查者或者测定者，以使得佩戴了眼镜170的被检查者与立体相机装置102及光源103的相对位置变成如图10所示的状态。即，视线检测装置100在开始进行校准处理(步骤S200)以及视线检测处理(步骤S300)之前，实施用于督促被检查者或者测定者进行被检查者的脸部的位置、脸部的朝向、眼镜170的位置、以及眼镜170的朝向中的至少一者的调整，以使得在立体相机装置102的视野区域中反射图像172与被检查者的眼镜不重合。
图11是示出本实施方式涉及的位置对准辅助处理的一个例子的流程图。如图11所示，位置对准辅助处理(步骤S100)包括：从光源103射出检测光并向被检查者的脸部照射的工序(步骤S101)、获取被照射了从光源103射出的检测光的被检查者的脸部的图像数据的工序(步骤S102)、将所获取的图像数据二值化的工序(步骤S103)、从二值化的图像数据中生成表示脸部的特征部分的图像的特征部图像的工序(步骤S104)、调整所生成的特征部图像的亮度的工序(步骤S105)、生成表示佩戴于被检查者的脸部的眼镜170上的光源103的反射图像172的眼镜反射图像的工序(步骤S106)、对特征部图像与眼镜反射图像进行合成的工序(步骤S107)、以及使显示装置101显示合成了特征部图像与眼镜反射图像的合成图像的工序(步骤S108)。
从光源103射出检测光(步骤S101)。通过立体相机装置102获取被照射检测光的被检查者的脸部的图像数据。通过第一相机102A以及第二相机102B中的至少一者获取被检查者的脸部的图像数据。在本实施方式中，通过第一相机102A获取被检查者的脸部的图像数据。此外，可以通过第二相机102B获取被检查者的脸部的图像数据。此外，也可以使用由第一相机102A获取的图像数据以及由第二相机102B获取的图像数据这两者。
图像数据获取部202从立体相机装置102获取被照射检测光的被检查者的脸部的图像数据(步骤S102)。图12是示意性示出用本实施方式涉及的图像数据获取部202获取的图像数据的一个例子的图。图12示出在作为检测光的红外光照射到被检查者的脸部时通过立体相机装置102拍摄的、作为在实施图像处理之前的图像数据的原始数据(raw data)。
图像处理部206对由图像数据获取部202获取的图像数据进行图像处理。在本实施方式中，图像处理部206对由图像数据获取部202获取的图像数据进行二值化(步骤S103)。图13是示意性示出本实施方式涉及的二值化的图像数据的一个例子的图。
图像数据的二值化是指以下处理：基于所规定的阈值，将由多个像素构成的图像数据转换为白与黑的两个灰度。在步骤S103中，基于所规定的第一阈值实施二值化。图像处理部206实施如下处理：在像素的亮度为第一阈值以上时，将该像素置换为白色，在像素的亮度低于第一阈值时，将该像素置换为黑色。此外，二值化中的第一阈值可以是预先决定的固定值，可以是所获取的图像数据的多个像素的亮度之中最高值与最低值的中间值，也可以是亮度分布中的中间值。二值化可以基于p参数法(p-tile method)、模态法(Modemethod)、辨别分析法中的至少一者来实施，该p参数法根据二值化的结果图像的白像素的比率来决定第一阈值，该模态法在亮度直方图具有两个极大值时将直方图的低谷的谷底值作为第一阈值，该辨别分析法决定第一阈值，以使得在图像的亮度直方图以某阈值被分割为两类时，类之间分散变得最大。
接着，图像处理部206从二值化的图像数据中生成表示脸部的特征部分的图像的特征部图像(步骤S104)。在本实施方式中，特征部图像包括被检查者的脸部的轮廓图像。图14是示意性示出本实施方式涉及的被检查者的脸部的轮廓图像174M的一个例子的图。如图14所示，在本实施方式中，轮廓图像174M包括表示被二值化的图像数据的白部分与黑部分的边界的边缘图像。步骤S104中生成的轮廓图像174M的亮度是第一阈值以上。
在特征部图像的生成中，图像处理部206实施二值化的图像数据的边缘检测。图像数据的边缘检测是指以下处理：在包括多个像素的图像数据中，检测像素的亮度急剧变化的边界。图像处理部206例如可以对相邻的像素的亮度实施微分处理并进行边缘检测，也可以通过模板匹配进行边缘检测。通过实施图像数据的边缘检测，来生成如图14所示的被检查者的脸部的轮廓图像174M。
脸部的轮廓图像174M包括被检查者的脸部的轮廓图像、被检查者的眼皮的轮廓图像、被检查者的瞳孔的轮廓图像、被检查者的鼻孔的轮廓图像、被检查者的嘴的轮廓图像、以及佩戴于被检查者的脸部的眼镜170的轮廓图像中的至少一个。在本实施方式中，轮廓图像174M只要是被检查者或者测定者观看轮廓图像174M时从轮廓图像174M中能够识别或者推测瞳孔112的位置的图像即可。
接着，图像处理部206调整所生成的轮廓图像174M的亮度(步骤S105)。在本实施方式中，图像处理部206降低在步骤S104中生成的轮廓图像174M的亮度。在步骤S105中生成的轮廓图像174M的亮度低于第一阈值。图15是示意性示出本实施方式涉及的亮度降低的轮廓图像174M的一个例子的图。图15示出轮廓图像174M的亮度降低到50[％]的示例。
另外，图像处理部206生成眼镜反射图像，该眼镜反射图像表示佩戴于被检查者的脸部的眼镜170上的光源103的反射图像172(步骤S106)。图16是示意性示出本实施方式涉及的眼镜反射图像172M的一个例子的图。在本实施方式中，图像处理部206将在步骤S102中获取的图像数据(参照图12)二值化，并生成眼镜反射图像172M。
在步骤S106中，规定比步骤S103中规定的第一阈值高的第二阈值。图像处理部206基于比第一阈值高的第二阈值，将由图像数据获取部202获取的图像数据二值化。图像处理部206实施如下处理：在像素的亮度为第二阈值以上时，将该像素置换为白色，在像素的亮度低于第二阈值时，将该像素置换为黑色。由此，仅仅提取亮度高的反射图像172，并生成如图16所示的眼镜反射图像172M。
接着，图像处理部206对在步骤S104中生成且在步骤S105中进行了亮度调整的轮廓图像174M(参照图15)、以及在步骤S106中生成的眼镜反射图像172M(参照图16)进行合成，并生成合成图像176M(步骤S107)。图17是示意性示出合成了本实施方式涉及的轮廓图像174M与眼镜反射图像172M的合成图像176M的一个例子的图。如图17所示，在合成图像176M中，眼镜反射图像172M的亮度高于轮廓图像174M的亮度。
轮廓图像174M包括表示轮廓的像素、以及表示轮廓以外的背景的像素。眼镜反射图像172M包括表示反射图像172的像素、以及表示反射图像172以外的背景的像素。在轮廓图像174M与眼镜反射图像172M的合成中，轮廓图像174M的像素、以及与该轮廓图像174M的像素对应的眼镜反射图像172M的像素被合成。轮廓图像174M的像素的亮度为多值，轮廓图像174M之中表示轮廓的像素能够视为灰色。眼镜反射图像172M之中表示反射图像172的像素能够视为白色。轮廓图像174M之中表示轮廓以外的背景的像素、以及眼镜反射图像172M之中表示反射图像172以外的背景的像素能够视为黑色。在轮廓图像174M的像素、以及与该轮廓图像174M的像素对应的眼镜反射图像172M的像素的合成中，当白色的像素、灰色的像素、以及黑色的像素中任何两个像素被合成时，亮度高的像素被选择为合成图像176M的像素。即，在轮廓图像174M之中表示轮廓的灰色的像素、以及眼镜反射图像172M之中表示背景的黑色的像素被合成的情况下，轮廓图像174M与眼镜反射图像172M的合成图像176M的像素是灰色。在轮廓图像174M之中表示背景的黑色的像素、以及眼镜反射图像172M的像素之中表示反射图像172的白色的像素被合成的情况下，轮廓图像174M与眼镜反射图像172M的合成图像176M的像素是白色。
显示控制部208使显示装置101显示合成了轮廓图像174M与眼镜反射图像172M的合成图像176M(步骤S108)。眼镜反射图像172M是比轮廓图像174M高的亮度。眼镜反射图像172M是第二阈值以上的高亮度，轮廓图像174M是比第一阈值低的亮度。在本实施方式中，眼镜反射图像172M的亮度是100[％]，轮廓图像174M的亮度是50[％]。因此，眼镜反射图像172M以比轮廓图像174M强调的方式被显示装置101显示。
图18是示出本实施方式涉及的显示装置101的一个例子的图。如图18所示，显示控制部208在显示装置101的显示屏幕101S上形成第一显示区域101A和第二显示区域101B，该第一显示区域101A显示眼镜反射图像172M与轮廓图像174M的合成图像176M，该第二显示区域101B显示动画。如图18所示，显示控制部208使显示装置101以比轮廓图像174M高的亮度显示眼镜反射图像172M。
在本实施方式中，显示控制部208使显示装置101以第二阈值以上的高亮度显示眼镜反射图像172M，使显示装置101以比第一阈值低的亮度显示轮廓图像174M。
另外，在本实施方式中，显示控制部208使显示装置101以不同的颜色显示轮廓图像174M与眼镜反射图像172M。在本实施方式中，显示控制部208将轮廓图像174M以橙色显示，将眼镜反射图像172M以黄色显示。此外，显示控制部208可以将轮廓图像174M与眼镜反射图像172M以不同的明度或者彩度使显示装置101显示。例如，眼镜反射图像172M可以通过比轮廓图像174M高的明度或者高的彩度使显示装置101显示。
计算机***20对由立体相机装置102获取的被检查者的脸部的图像数据实时进行图像处理，并显示在显示装置101的第一显示区域101A上。即，在显示装置101上显示合成图像176M的动画。
通过合成图像176M被显示装置101显示，被检查者或者测定者观察被显示装置101显示的合成图像176M的同时，调整被检查者的脸部的位置或方向、或者调整眼镜170的位置或方向，以使得在立体相机装置102的视野区域中光源103的反射图像172与被检查者的眼睛不重合。如此，由于被进行图像处理的被检查者的姿势被显示装置101显示，因此被检查者或者测定者不会感到不适感或者厌恶感，能够调整被检查者的脸部的位置或方向、或者调整眼镜170的位置或方向。
另外，在本实施方式中，显示控制部208在显示屏幕101S上显示引导线180，该引导线180在显示装置101的显示屏幕101S上的尺寸以及位置被固定。在本实施方式中，引导线180形成四边形。引导线180在第一显示区域101A上以与合成图像176M重合的方式显示。被检查者或者测定者能够观察合成图像176M的同时，调整被检查者的脸部的位置，以使得被检查者的眼睛配置于四边形的引导线180的内侧。
在第二显示区域101B上，例如在幼儿健康诊断中，显示动画。在幼儿健康诊断中，在幼儿坐在落座于椅子上的监护人的膝盖上的状态下，实施幼儿的视线检测。通过监护人调整幼儿的脸部的位置或方向、或者测定者调整视线检测装置100的位置或方向，来调整视线检测装置100与幼儿的脸部的相对位置。在调整视线检测装置100与幼儿的脸部的相对位置的期间，为了使幼儿注视显示装置101，在第二显示区域101B上显示引起幼儿的注意的动画。此外，显示于第二显示区域102B上的显示数据可以是动画也可是静止图像。只要是能够引起幼儿的注意的显示即可。
另外，在本实施方式中，通过距离数据获取部218来获取显示装置101的显示屏幕101S与被检查者的眼或脸部之间的距离数据。距离数据获取部218基于由立体相机装置102获取的被检查者的眼球111的图像数据，检测瞳孔112，并计算全局坐标系中的瞳孔中心112C的位置。距离数据获取部218通过计算全局坐标系中的瞳孔中心112C的位置，能够计算显示装置101的显示屏幕101S的中心与被检查者的眼睛之间的距离。
显示控制部208使显示装置101显示通过距离数据获取部218获取的距离数据。
在本实施方式中，标尺190的图像数据被显示装置101显示，该标尺190表示显示装置101的显示屏幕101S与被检查者的眼睛之间的距离。另外，作为显示装置101的显示屏幕101S与被检查者的眼睛之间的距离的基准，“近”、“好”、“远”的文字数据被显示装置101显示。显示控制部208基于由距离数据获取部218获取的距离数据，沿着标尺190移动指示器192。在显示装置101的显示屏幕101S与被检查者的眼睛之间的距离为适当值的情况下，显示控制部208将指示器192移动到“好”。在显示装置101的显示屏幕101S与被检查者的眼睛之间的距离比适当值短的情况下，显示控制部208将指示器192移动到“近”。在显示装置101的显示屏幕101S与被检查者的眼睛之间的距离比适当值长的情况下，显示控制部208将指示器192移动到“远”。
被检查者的脸部优选配置于立体相机装置102的光学***的焦点位置。显示装置101的显示屏幕101S与被检查者的眼睛之间的距离的适当值为，被检查者的眼睛或脸部被配置在立体相机装置102的光学***的焦点位置上的距离。被检查者或者测定者能够观察指示器192的同时，调整被检查者的脸部的位置，以使得指示器192配置于“好”。
以上，实施位置对准辅助处理。
(校准处理)
接着，对校准处理进行说明。在本实施方式中，在实施了位置对准辅助处理(步骤S100)之后，实施校准处理(步骤S200)，该校准处理(步骤S200)包括角膜曲率中心110的位置数据的计算处理、以及瞳孔中心112C与角膜曲率中心110之间的距离数据的计算处理。
图19是用于说明本实施方式涉及的校准处理的一个例子的示意图。校准处理包括角膜曲率中心110的位置数据的计算、以及瞳孔中心112C与角膜曲率中心110之间的距离126的计算。
设定用于使被检查者注视的目标位置130。目标位置130在全局坐标系中被规定。在本实施方式中，目标位置130例如设定于显示装置101的显示屏幕101S的中央位置。此外，目标位置130也可以设定在显示屏幕101S的端部位置。
显示控制部208使目标图像显示在所设定的目标位置130。由此，被检查者变得容易注视目标位置130。
直线131是连结虚拟光源103V与角膜反射中心113C的直线。直线132是连结目标位置130与瞳孔中心112C的直线。角膜曲率中心110是直线131与直线132的交点。曲率中心计算部214基于虚拟光源103V的位置数据、目标位置130的位置数据、瞳孔中心112C的位置数据、以及角膜反射中心113C的位置数据，能够计算角膜曲率中心110的位置数据。
图20是示出本实施方式涉及的校准处理(步骤S200)的一个例子的流程图。输出控制部222使目标图像显示在显示装置101的显示屏幕101S上(步骤S201)。被检查者通过注视目标图像，能够注视目标位置130。
接着，光源控制部210控制光源驱动部406，并从第一光源103A以及第二光源103B中的一个光源射出检测光(步骤S202)。立体相机装置102通过第一相机102A以及第二相机102B之中离射出检测光的光源的距离长的相机，来拍摄被检查者的眼睛(步骤S203)。
接着，光源控制部210控制光源驱动部406，并从第一光源103A以及第二光源103B之中另一个光源射出检测光(步骤S204)。立体相机装置102通过第一相机102A以及第二相机102B之中离射出检测光的光源的距离长的相机，来拍摄被检查者的眼睛(步骤S205)。
瞳孔112作为暗的部分被立体相机装置102检测出，角膜反射图像113作为亮的部分被立体相机装置102检测出。即，由立体相机装置102获取的瞳孔112的图像变成低亮度，角膜反射图像113的图像变成高亮度。位置检测部212能够基于所获取的图像的亮度，检测瞳孔112的位置数据以及角膜反射图像113的位置数据。另外，位置检测部212基于瞳孔112的图像数据，计算瞳孔中心112C的位置数据。另外，位置检测部212基于角膜反射图像113的图像数据，计算角膜反射中心113C的位置数据(步骤S206)。
通过立体相机装置102检测出的位置数据是在局部坐标系中规定的位置数据。位置检测部212使用存储于存储部220中的转换参数，对由立体相机装置102检测出的瞳孔中心112C的位置数据以及角膜反射中心113C的位置数据进行坐标转换，并计算在全局坐标系中被规定的瞳孔中心112C的位置数据以及角膜反射中心113C的位置数据(步骤S207)。
曲率中心计算部214求出连结在全局坐标系中规定的角膜反射中心113C与虚拟光源103V的直线131(步骤S208)。
接着，曲率中心计算部214计算连结在显示装置101的显示屏幕101S上规定的目标位置130与瞳孔中心112C的直线132(步骤S209)。曲率中心计算部214求出步骤S208中计算出的直线131与步骤S209中计算出的直线132的交点，并将该交点设为角膜曲率中心110(步骤S210)。
曲率中心计算部214计算瞳孔中心112C与角膜曲率中心110的距离126，并存储到存储部220中(步骤S211)。所存储的距离在步骤S300的视线检测中，用于计算角膜曲率中心110。
(视线检测处理)
接着，对视线检测处理进行说明。视线检测处理在校准处理之后被实施。视线检测部216基于眼球111的图像数据，计算被检查者的视线矢量以及注视点的位置数据。
图21是用于说明本实施方式涉及的视线检测处理的一个例子的示意图。视线检测处理包括：使用在校准处理(步骤S200)中求出的瞳孔中心112C与角膜曲率中心110之间的距离126，来修正角膜曲率中心110的位置的处理；以及使用所修正的角膜曲率中心110的位置数据，来计算注视点的处理。
在图21中，注视点165表示根据使用一般的曲率半径值计算出的角膜曲率中心求出的注视点。注视点166表示根据使用在校准处理中求出的距离126计算出的角膜曲率中心求出的注视点。
瞳孔中心112C表示校准处理中计算出的瞳孔中心，角膜反射中心113C表示校准处理中计算出的角膜反射中心。
直线173是连结虚拟光源103V与角膜反射中心113C的直线。角膜曲率中心110是根据一般的曲率半径值计算出的角膜曲率中心的位置。
距离126是通过校准处理计算出的瞳孔中心112C与角膜曲率中心110之间的距离。
角膜曲率中心110H表示使用距离126来修正了角膜曲率中心110的修正后的角膜曲率中心的位置。
根据角膜曲率中心110存在于直线173上的情况、以及瞳孔中心112C与角膜曲率中心110之间的距离为距离126的情况，求出角膜曲率中心110H。由此，在使用一般的曲率半径值时计算出的视线177被修正为视线178。另外，显示装置101的显示屏幕101S上的注视点从注视点165被修正为注视点166。
图22是示出本实施方式涉及的视线检测处理(步骤S300)的一个例子的流程图。此外，图22所示的从步骤S301到步骤S307的处理与图20所示的从步骤S202到步骤S208的处理相同，因此省略说明。
曲率中心计算部214将在步骤S307中计算出的直线173上、离瞳孔中心112C的距离与通过校准处理求出的距离126相等的位置计算为角膜曲率中心110H(步骤S308)。
视线检测部216求出连结瞳孔中心112C与角膜曲率中心110H的视线矢量(步骤S309)。视线矢量表示被检查者观看的视线方向。视线检测部216计算视线矢量与显示装置101的显示屏幕101S的交点的位置数据(步骤S310)。视线矢量与显示装置101的显示屏幕101S的交点的位置数据是在全局坐标系中规定的显示屏幕101S上的被检查者的注视点的位置数据。
视线检测部216将在全局坐标系中规定的注视点的位置数据转换为在二维坐标系中规定的显示装置101的显示屏幕101S上的位置数据(步骤S311)。由此，计算出被检查者注视的显示装置101的显示屏幕101S上的注视点的位置数据。
[作用和效果]
如以上说明，根据本实施方式，在位置对准辅助处理(步骤S100)中，在图像处理部206中对图像数据获取部202所获取的被检查者的脸部的图像数据进行图像处理。图像处理部206从所获取的图像数据中提取脸部的轮廓图像(特征部图像)174M与眼镜反射图像172M，并生成合成图像176M。在图像处理部206中生成的合成图像176M被显示装置101显示。因此，被检查者或者测定者能够观察显示于显示装置101上的合成图像176M的同时，调整被检查者的脸部的位置或方向、或者调整佩戴于被检查者的脸部的眼镜170的位置或方向，以使得在立体相机装置102的视野区域中光源103的反射图像172与被检查者的眼睛不重合。因此，在位置对准辅助处理(步骤S100)之后实施的视线检测处理(步骤S300)中，在立体相机装置102的视野区域中光源103的反射图像172与被检查者的眼睛不重合的状态下，实施视线检测。由此，在反射图像172的影响受到充分的抑制的状态下，良好地检测出瞳孔112以及角膜反射图像113。因此，佩戴了眼镜170的被检查者的视线的检测精度的降低会被抑制。
在本实施方式中，如图12所示的原始数据并不被显示装置101显示，而如图17和图18所示的合成图像176M被显示装置101显示。在本实施方式中，照射到被检查者的检测光是红外光。被照射红外光时的被检查者的脸部的原始数据与被照射可见光时的被检查者的脸部的原始数据相比，给被检查者或者测定者带来不适感或者厌恶感的可能性更高。例如，在被照射红外光时的被检查者的脸部的原始数据中，或者瞳孔显示为白、或者血管显示为突出、或者胡须显示为过黑，因此给被检查者带来不适感或者厌恶感的可能性会高。
在本实施方式中，对被检查者的脸部的原始数据进行图像处理来生成合成图像176M，所生成的合成图像176M被显示装置101显示。因此，被检查者或者测定者不会感到不适感或者厌恶感，能够观察被显示装置101显示的合成图像176M的同时，调整被检查者的脸部的位置或方向、或者调整眼镜170的位置或方向。
另外，在幼儿健康诊断中使用视线检测装置100的情况下，不仅是被检查者以及测定者，还能够抑制给监护人带来不适感或者厌恶感。
另外，在本实施方式中，通过包含二值化的图像处理，从原始数据生成眼镜反射图像172M。通过生成眼镜反射图像172M，能够明确把握眼镜170上的红外光的反射状态。因此，被检查者或者测定者能够调整被检查者的脸部的位置或方向、或者调整被检查者佩戴的眼镜170的位置或方向，以使得在立体相机装置102的视野区域中光源103的反射图像172与被检查者的眼睛不重和合。
另外，在本实施方式中，通过包含二值化以及边缘检测的图像处理，从原始数据生成轮廓图像174M。如上所述，轮廓图像174M包括被检查者的脸部的轮廓图像、被检查者的眼皮的轮廓图像、被检查者的瞳孔112的轮廓图像、被检查者的鼻孔的轮廓图像、被检查者的嘴的轮廓图像、以及佩戴于被检查者的脸部的眼镜170的轮廓图像中的至少一个。这些轮廓图像174M是在被检查者或者测定者观察其轮廓图像174M时能够识别或者推测被检查者的眼睛的位置的图像。例如，若脸部的轮廓图像被显示装置101显示，则被检查者或者测定者能够基于脸部的轮廓图像识别或者推测被检查者的眼睛的大致位置。同样，例如，若鼻孔的轮廓图像或者眼镜170的轮廓图像被显示装置101显示，则被检查者或者测定者能够基于鼻孔的轮廓图像或者眼镜170的轮廓图像识别或者推测被检查者的眼睛的大致位置。另外，若被检查者的瞳孔的轮廓图像被显示装置101显示，则被检查者或者测定者能够识别被检查者的眼睛的位置。通过能够识别或者推测被检查者的眼睛的位置的轮廓图像174M被显示装置101显示，被检查者或者测定者基于被显示装置101显示的轮廓图像174M以及眼镜反射图像172M，能够识别眼睛与反射图像172的相对位置，并能够调整被检查者的脸部的位置或方向、或者调整被检查者佩戴的眼镜170的位置或方向，以使得在立体相机装置102的视野区域中光源103的反射图像172与被检查者的眼睛不重合。
另外，在本实施方式中，在合成图像176M中，显示控制部208使显示装置101以不同的显示方式显示轮廓图像174M与眼镜反射图像172M。如上所述，显示方式包括亮度、颜色、明度以及彩度中的至少一者。由此，被检查者或者测定者能够充分地区分轮廓图像174M和眼镜反射图像172M。
另外，在本实施方式中，显示控制部208使显示装置101以比轮廓图像174M高的亮度显示眼镜反射图像172M。由此，被检查者或者测定者能够迅速地识别眼镜反射图像172M。
另外，在本实施方式中，规定针对亮度的第一阈值以及比第一阈值高的第二阈值，图像处理部206生成第二阈值以上的亮度的眼镜反射图像172M，并生成比第一阈值低的亮度的轮廓图像174M。显示控制部208使显示装置101以第二阈值以上的高亮度显示眼镜反射图像172M，使显示装置101以比第一阈值低的亮度显示轮廓图像174M。在本实施方式中，作为一个例子，在将眼镜反射图像172M的亮度设为100[％]的情况下，轮廓图像174M的亮度被调整为50[％]。由此，充分地设置眼镜反射图像172M的亮度与轮廓图像174M的亮度之差。因此，被检查者或者测定者能够充分地区分轮廓图像174M和眼镜反射图像172M。因此，被检查者或者测定者能够观察被显示装置101显示的合成图像176M的同时，在立体相机装置102的视野区域中顺利地实施用于不使光源103的反射图像172与被检查者的眼睛一致的调整。
另外，在本实施方式中，显示装置101的显示屏幕101S与被检查者的脸部之间的距离数据被显示装置101显示。在本实施方式中，作为距离数据，标尺190以及指示器192被显示装置101显示。显示于显示装置101上的距离数据在视线检测处理中辅助被检查者或者测定者，以使得被检查者的脸部配置于Z轴方向的最佳位置。因此，被检查者或者测定者能够观察显示装置101的指示器192的同时，将被检查者的脸部配置在相对于显示装置101以及立体相机装置102最佳的距离。例如，在立体相机装置102的光学***的焦点位置被固定的情况下，当被检查者与显示装置101及立体相机装置102之间的距离过短时，在视线检测处理中难以精度好地检测瞳孔112以及角膜反射图像113。另外，当被检查者与显示装置101及立体相机装置102之间的距离过长时，由立体相机装置102获取的被检查者的眼睛的图像变小，从而在视线检测处理中难以精度好地检测瞳孔112以及角膜反射图像113。通过距离数据被显示装置101显示，被检查者或者测定者能够观察被显示装置101显示的距离数据的同时，在Z轴方向上的最佳位置配置被检查者的脸部。
另外，在本实施方式中，显示控制部208在显示屏幕101S上显示引导线180，该引导线180在显示装置101的显示屏幕101S上的尺寸以及位置被固定。被显示装置101显示的引导线180在视线检测处理中辅助被检查者，以使得被检查者的脸部配置于X轴方向以及Y轴方向上的最佳位置。由此，被检查者或者测定者能够基于引导线180在视线检测处理中将被检查者的脸部配置在最佳位置。
此外，在本实施方式中，规定第一阈值以及比第一阈值高的第二阈值，眼镜反射图像172M的亮度设为第二阈值以上，轮廓图像174M的亮度设为低于第一阈值。针对亮度可以规定一个阈值，眼镜反射图像172M的亮度为阈值以上，轮廓图像174M的亮度低于阈值。
＜第二实施方式＞
对第二实施方式进行说明。在以下的说明中，针对与上述实施方式相同或者等同的构成要素标注相同的符号，并简略或省略其说明。
在上述的实施方式中，针对如下示例进行了说明：在位置对准辅助处理中，从光源103以一定的光量射出检测光，规定针对亮度的第一阈值以及比第一阈值高的第二阈值，通过图像处理生成比第一阈值低的亮度的轮廓图像174M和比第二阈值高的亮度的眼镜反射图像172M。
在本实施方式中，针对如下示例进行了说明：从光源103射出的检测光的光量被调整，并基于在被调整了光量的检测光照射到被检查者的脸部时由立体相机装置102获取的图像数据，来生成轮廓图像174M以及眼镜反射图像172M。
在本实施方式中，图像处理部206基于在从光源103射出第一光量的检测光时由立体相机装置102获取的被检查者的脸部的图像数据、以及在从光源103射出比第一光量大的第二光量的检测光时由立体相机装置102获取的被检查者的脸部的图像数据，来生成轮廓图像174M以及眼镜反射图像172M。
在本实施方式中，在位置对准辅助处理中，从第一光源103A射出第一光量的检测光，从第二光源103B射出比第一光量大的第二光量的检测光。第一光源103A和第二光源103B交替性射出检测光。立体相机装置102的第二相机102B获取从第一光源103A射出检测光时的被检查者的脸部的图像数据，第一相机102A获取从第二光源103B射出检测光时的被检查者的脸部的图像数据。
从光源103射出的检测光的光量包括表示从光源103射出的光的总量的总光通量[lm]或者发光强度[cd]。在光量大的情况下，照射到被检查者的脸部的检测光的照度会增加。在光量小的情况下，照射到被检查者的脸部的检测光的照度会降低。
图23是示出本实施方式涉及的位置对准辅助处理中的第一相机102A、第二相机102B、第一光源103A、以及第二光源103B的动作的定时的时序图。如图23所示，第一光源103A和第二光源103B交替性射出检测光。第一相机102A与来自第二光源103B的检测光的射出同步地、获取被检查者的脸部的图像数据。第二相机102B与来自第一光源103A的检测光的射出同步地、获取被检查者的脸部的图像数据。在第一相机102A获取图像数据时从第二光源103B射出的检测光的光量比在第二相机102B获取图像数据时从第一光源103A射出的检测光的光量大。
在本实施方式中，在第一相机102A动作时，即在第一相机102A的快门打开时，光入射到第一相机102A的拍摄元件。入射到拍摄元件的光转换为电信号。在电信号转换为USB(universal serial bus，通用串行总线)信号之后，为了使第二光源103B动作而被转送到计算机***20。即，在第一相机102A的快门打开的定时，从与第一相机102A对应的第二光源103B射出检测光。针对第二相机102B以及第一光源103A也相同。
此外，在本实施方式中，为了检测暗瞳孔，在第一相机102A动作时，从第一光源103A以及第二光源103B之中配置于离第一相机102A远的位置的第二光源103B中射出检测光，在第二相机102B动作时，从第一光源103A以及第二光源103B之中配置于离第二相机102B远的位置的第一光源103A中射出检测光。此外，在检测亮瞳孔的情况下，在第一相机102A动作时，从第一光源103A以及第二光源103B之中配置于离第一相机102A近的位置的第一光源103A中射出检测光，在第二相机102B动作时，从第一光源103A以及第二光源103B之中配置于离第二相机102B近的位置的第二光源103B中射出检测光。
此外，在第一相机102A以及第二光源103B动作之后，到第二相机102B以及第一光源103A动作为止的时间短，在第二相机102B以及第一光源103A动作之后，到第一相机102A以及第二光源103B动作为止的时间长。在第一相机102A以及第二光源103B动作之后，到第二相机102B以及第一光源103A动作为止的时间短，因此能够在几乎相同的定时获取左右的立体图像(stereo image)。
在本实施方式中，在位置对准辅助处理中，基于用第一相机102A获取的图像数据来生成轮廓图像174M，并基于用第二相机102B获取的图像数据来生成眼镜反射图像172M。换句话说，基于从第二光源103B射出的大光量的检测光照射的被检查者的脸部的图像数据来生成轮廓图像174M，基于从第一光源103A射出的小光量的检测光照射的被检查者的脸部的图像数据来生成眼镜反射图像172M。
在由第一相机102A获取被检查者的脸部的图像数据时，被检查者的脸部被大光量的检测光照明。因此，在基于规定的阈值来将由第一相机102A获取的图像数据二值化的情况下，例如图13所示，二值化的图像数据的多个像素的大部分转换为白色。即，不仅是眼镜170，被检查者的脸部整体转换为白色。通过对二值化的图像数据实施边缘检测，来生成轮廓图像174M。
另一方面，在由第二相机102B获取被检查者的脸部的图像数据时，被检查者的脸部被小光量的检测光照明。因此，在基于规定的阈值来将由第二相机102B获取的图像数据二值化的情况下，例如图16所示，二值化的图像数据的多个像素之中仅仅相当于反射图像172的像素转换为白色，相当于被检查者的脸部的像素转换为黑色。即，通过由小光量的检测光照明的被检查者的脸部的图像数据被二值化，来生成眼镜反射图像172M。
图24是示出本实施方式涉及的位置对准辅助处理的一个例子的流程图。
光源控制部210使第二光源103B射出大光量的检测光。通过第一相机102A获取由大光量的检测光照明的被检查者的脸部的图像数据(步骤S111)。
图像数据获取部202从第一相机102A获取图像数据。图像处理部206基于规定的阈值来将第一图像数据二值化，该第一图像数据是由第一相机102A获取的图像数据(步骤S112)。由此，生成如图13所示的图像数据。
图像处理部206对二值化的第一图像数据进行边缘检测。由此，生成如图14所示的轮廓图像174M(步骤S113)。
接着，图像处理部206实施轮廓图像174M的亮度调整(步骤S114)。图像处理部206降低轮廓图像174M的亮度。由此，生成如图15所示的轮廓图像174M。
被进行亮度调整的轮廓图像174M被存储于存储部220中(步骤S115)。
接着，位置检测部212计算第一图像数据中的左右眼的瞳孔中心112C的位置(步骤S116)。
接着，光源控制部210使第一光源103A射出小光量的检测光。由小光量的检测光照明的被检查者的脸部的图像数据通过第二相机102B来获取(步骤S117)。
图像数据获取部202从第二相机102B获取图像数据。图像处理部206基于规定的阈值来将第二图像数据二值化，该第二图像数据是由第二相机102B获取的图像数据(步骤S118)。由此，生成如图16所示的图像数据。即，通过使第二图像数据二值化，生成眼镜反射图像172M。
在本实施方式中，用于使步骤S118中使用的第二图像数据二值化的阈值与用于使步骤S112中使用的第一图像数据二值化的阈值是相同的值。
所生成的眼镜反射图像172M存储于存储部220中(步骤S119)。
接着，图像处理部206合成存储于存储部220中的轮廓图像174M和眼镜反射图像172M(步骤S120)。由此，生成如图17所示的合成图像176M。
接着，位置检测部212计算第二图像数据中的左右眼的瞳孔中心112C的位置(步骤S121)。
接着，曲率中心计算部214根据步骤S116中基于第一图像数据计算出的瞳孔中心112C的位置数据、以及步骤S121中基于第二图像数据计算出的瞳孔中心112C的位置数据中的至少一者，来计算全局坐标系的瞳孔中心112C的位置(步骤S122)。
接着，距离数据获取部218基于步骤S122中计算出的瞳孔中心112C的位置数据，计算显示装置101的显示屏幕101S与被检查者的脸部之间的距离数据(步骤S123)。
显示控制部208使显示装置101显示在步骤S120中生成的合成图像176M上(步骤S124)。另外，显示控制部208使显示装置101显示在步骤S123中计算出的距离数据。与上述的实施方式同样，显示控制部208使显示装置101显示标尺190以及指示器192来作为距离数据。
此外，在位置对准辅助处理中，只要知道显示装置101的显示屏幕101S与被检查者的脸部之间的大致距离数据即可。因此，在步骤S122中，可以基于左右眼的瞳孔中心112C的位置数据之中、任何一个眼的瞳孔中心112C的位置数据，来计算显示装置101的显示屏幕101S与被检查者的脸部之间的距离数据。或者，可以基于左右眼的瞳孔中心112C的位置数据的平均值，来计算显示装置101的显示屏幕101S与被检查者的脸部之间的距离数据。
如以上说明，根据本实施方式，在位置对准辅助处理中，从光源103射出的检测光的光量会被变更。由此，针对图像处理中使用的亮度的阈值，只要一个就可以。因此，可以简化用于控制视线检测装置100的计算机程序20C。例如，可以仅仅在位置对准处理中变更光源103的光量，无需在位置对准辅助处理中使用的计算机程序20C的内容与视线检测处理中使用的计算机程序20C的内容之间设置大的差异就可完成。
此外，在本实施方式中，控制从光源103射出的检测光的光量，来获取轮廓图像174M以及眼镜反射图像172M。即，当由第一相机102A获取被检查者的脸部的图像数据时，通过大光量的检测光照明被检查者的脸部，并基于由大光量的检测光照明的被检查者的脸部的图像数据，来生成轮廓图像174M，当通过第二相机102B获取被检查者的脸部的图像数据时，通过小光量的检测光照明被检查者的脸部，并基于由小光量的检测光照明的被检查者的脸部的图像数据，来生成眼镜反射图像172M。当图像数据获取部202从拍摄由检测光照明的被检查者的脸部的第一相机102A、第二相机102B中获取被检查者的脸部的图像数据时，图像处理部206可以基于由第一相机102A、第二相机102B拍摄的、且由图像数据获取部202获取的第一曝光量的被检查者的脸部的图像数据、以及比第一曝光量小的第二曝光量的被检查者的脸部的图像数据，来生成轮廓图像174M以及眼镜反射图像172M。
基于光源103的发光强度、光源103的发光时间、以及第一、第二相机102A、102B的曝光值之中的至少一个，能够调整由第一、第二相机102A、102B获取的被检查者的脸部的图像数据的曝光量。如上所述，光源控制部210能够控制第一、第二光源103A、103B的发光强度以及第一、第二光源103A、103B的发光时间。相机控制部211能够控制第一、第二相机102A、102B的快门速度以及光学***的光圈值中的至少一个来控制拍摄元件中的曝光值。
当通过第一相机102A获取被检查者的脸部的图像数据时，通过光源控制部210加强第二光源103B的发光强度、或者光源控制部210延长第二光源103B的发光时间、或者相机控制部211减慢第一相机102A的快门速度、或者相机控制部211减小第一相机102A的光学***的光圈值，来增加由第一相机102A获取的被检查者的脸部的图像数据的曝光量，图像处理部206可以基于大曝光量的被检查者的脸部的图像数据来生成轮廓图像174M。另外，当通过第二相机102B获取被检查者的脸部的图像数据时，通过光源控制部210减弱第一光源103A的发光强度、或者光源控制部210缩短第一光源103A的发光时间、或者相机控制部211加快第二相机102B的快门速度、或者相机控制部211增加第二相机102B的光学***的光圈值，来减少由第二相机102B获取的被检查者的脸部的图像数据的曝光量，图像处理部206可以基于小曝光量的被检查者的图像数据来生成眼镜反射图像172M。
此外，在本实施方式中，轮廓图像174M从由第一相机102A获取的第一图像数据中生成，眼镜反射图像172M从由第二相机102B获取的第二图像数据中生成。虽然轮廓图像174M和眼镜反射图像172M是从不同的图像数据中生成的图像，但从辅助位置对准的观点出发，生成具有充分的精度的合成图像176M。
此外，在上述的实施方式中，眼镜170的镜片可以是具有视力调整功能的带度数的镜片，也可以是不具有视力调整功能的不带度数的镜片。另外，眼镜170可以具有遮光功能也可以不具有遮光功能。在本实施方式中，眼镜170包括太阳镜。
另外，眼镜170可以不佩戴在被检查者的脸部。在本实施方式中，眼镜170是指，包括配置于视线检测装置100与被检查者的眼睛之间的、具有光透过功能的光学部件部材的概念。
此外，在上述的实施方式中，眼镜反射图像172M设为比轮廓图像174M高的亮度。眼镜反射图像172M的亮度可以与轮廓图像174M的亮度相同，也可以是低于轮廓图像174M的亮度。在眼镜反射图像172M的亮度与轮廓图像174M的亮度近似的情况下，眼镜反射图像172M和轮廓图像174M优选以不同的颜色显示。
此外，在上述的实施方式中，被检查者的脸部的特征部图像设为是通过边缘检测生成的轮廓图像。特征部图像只要是在被检查者或者测定者观察其特征部图像时能够识别或者推测被检查者的眼睛的位置的图像即可，也可以不是通过边缘检测获取的轮廓图像。
工业应用性
本实施方式适合于佩戴了眼镜的被检查者的视线的检测的实施中。
符号说明
20…计算机***、20A…运算处理装置、20B…存储装置、20C…计算机程序、30…输入输出接口装置、40…驱动电路、50…输出装置、60…输入装置、70…声音输出装置、100…视线检测装置、101…显示装置、101S…显示屏幕、102…立体相机装置、102A…第一相机、102B…第二相机、103…光源、103A…第一光源、103B…第二光源、103C…光源、103V…虚拟光源、109…角膜曲率半径、110…角膜曲率中心、111…眼球、112…瞳孔、112C…瞳孔中心、113…角膜反射图像、113C…角膜反射中心、121…角膜反射中心、122…角膜反射中心、123…直线、124…角膜反射中心、126…距离、130…目标位置、165…注视点、166…注视点、170…眼镜、172…反射图像、172M…眼镜反射图像、174M…轮廓图像(特征部图像)、176M…合成图像、180…引导线、190…标尺、192…指示器、202…图像数据获取部、204…输入数据获取部、206…图像处理部、208…显示控制部、210…光源控制部、211…相机控制部、212…位置检测部、214…曲率中心计算部、216…视线检测部、218…距离数据获取部、220…存储部、222…输出控制部、302…输入输出部、402…显示装置驱动部、404A…第一相机输入输出部、404B…第二相机输入输出部、406…光源驱动部。

Claims (9)

1.一种视线检测装置，包括：
图像数据获取部，获取被照射检测光的被检查者的脸部的图像数据，所述检测光从光源射出；
视线检测部，基于所述图像数据检测所述被检查者的视线；
图像处理部，对所述图像数据进行图像处理来生成所述脸部的特征部图像和眼镜反射图像，所述眼镜反射图像表示所述光源照射佩戴于所述脸部的眼镜而被所述眼镜反射的反射图像；以及
显示控制部，使显示装置以不同的显示方式显示合成图像中的所述特征部图像和所述眼镜反射图像，其中所述合成图像是合成了所述特征部图像和所述眼镜反射图像的图像，
所述图像处理部基于在从所述光源射出第一光量的所述检测光时所获取的所述图像数据、以及在从所述光源射出第二光量的所述检测光时所获取的所述图像数据，生成所述特征部图像以及所述眼镜反射图像，所述第二光量比所述第一光量大，
所述光源包括配置于不同位置的第一光源以及第二光源，
从所述第一光源射出第一光量的所述检测光，从所述第二光源射出所述第二光量的所述检测光，
所述第一光源和所述第二光源交替地射出所述检测光。
2.根据权利要求1所述的视线检测装置，其中，
所述显示方式包括亮度、颜色、明度以及彩度中的至少一者，
所述特征部图像包括所述脸部的轮廓图像。
3.根据权利要求1或2所述的视线检测装置，其中，
所述显示控制部使所述显示装置以比所述特征部图像高的亮度显示所述眼镜反射图像。
4.根据权利要求1或2所述的视线检测装置，其中，
规定第一阈值以及比所述第一阈值高的第二阈值，
所述图像处理部生成所述第二阈值以上的高亮度的所述眼镜反射图像，并生成所述第一阈值以下的低亮度的所述特征部图像。
5.根据权利要求1或2所述的视线检测装置，其中，
所述图像数据获取部从相机获取所述图像数据，所述相机拍摄由所述检测光照明的所述脸部，
所述图像处理部基于由所述相机获取的第一曝光量的所述图像数据、以及比所述第一曝光量小的第二曝光量的图像数据，生成所述特征部图像以及所述眼镜反射图像。
6.根据权利要求5所述的视线检测装置，包括：
光源控制部，控制所述光源的发光强度以及所述光源的发光时间；以及
相机控制部，控制所述相机中的所述检测光的曝光值，
所述图像数据的曝光量基于所述光源的发光强度、所述光源的发光时间、以及所述相机的曝光值中的至少一个而调整。
7.根据权利要求1或2所述的视线检测装置，包括：
距离数据获取部，获取所述显示装置的显示屏幕与所述脸部之间的距离数据，
所述显示控制部使所述显示装置显示所述距离数据。
8.根据权利要求1或2所述的视线检测装置，其中，
所述显示控制部使所述显示装置显示引导线，所述引导线在所述显示装置的显示屏幕中尺寸和位置被固定。
9.一种视线检测方法，包括：
获取被照射检测光的被检查者的脸部的图像数据，所述检测光从光源射出；
对所述图像数据进行图像处理并生成所述脸部的特征部图像和眼镜反射图像，所述眼镜反射图像表示所述光源照射佩戴于所述脸部的眼镜而被所述眼镜反射的反射图像；
使显示装置以不同的显示方式显示合成图像中的所述特征部图像和所述眼镜反射图像，其中所述合成图像是合成了所述特征部图像和所述眼镜反射图像的图像；以及
基于所述图像数据检测所述被检查者的视线，
在所述图像处理中，基于在从所述光源射出第一光量的所述检测光时所获取的所述图像数据、以及在从所述光源射出第二光量的所述检测光时所获取的所述图像数据，生成所述特征部图像以及所述眼镜反射图像，所述第二光量比所述第一光量大，
所述光源包括配置于不同位置的第一光源以及第二光源，
从所述第一光源射出第一光量的所述检测光，从所述第二光源射出所述第二光量的所述检测光，
所述第一光源和所述第二光源交替地射出所述检测光。
CN201780039358.7A 2016-08-24 2017-06-19 视线检测装置以及视线检测方法 Active CN109414167B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016163556A JP6617662B2 (ja) 2016-08-24 2016-08-24 視線検出装置、視線検出方法、及びコンピュータプログラム
JP2016-163556 2016-08-24
PCT/JP2017/022594 WO2018037685A1 (ja) 2016-08-24 2017-06-19 視線検出装置、視線検出方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN109414167A CN109414167A (zh) 2019-03-01
CN109414167B true CN109414167B (zh) 2021-07-16

Family

ID=61245809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039358.7A Active CN109414167B (zh) 2016-08-24 2017-06-19 视线检测装置以及视线检测方法

Country Status (6)

Country Link
US (1) US10896324B2 (zh)
EP (1) EP3488763B1 (zh)
JP (1) JP6617662B2 (zh)
CN (1) CN109414167B (zh)
AU (1) AU2017316861B2 (zh)
WO (1) WO2018037685A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
FR3069687B1 (fr) * 2017-07-25 2021-08-06 Fittingbox Procede de determination d'au moins un parametre associe a un dispositif ophtalmique
EP3657616B1 (en) 2018-02-26 2023-10-18 Mitsubishi Heavy Industries, Ltd. Solid-state laser device
CN110245607B (zh) * 2019-06-13 2021-09-14 Oppo广东移动通信有限公司 眼球追踪方法及相关产品
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
CN111601373B (zh) * 2020-05-09 2023-04-25 Oppo广东移动通信有限公司 背光亮度控制方法、装置、移动终端及存储介质
US11822714B2 (en) 2020-05-15 2023-11-21 Canon Kabushiki Kaisha Electronic device and control method for capturing an image of an eye
CN111812857B (zh) * 2020-07-20 2022-01-11 上海青研科技有限公司 显示装置、方法与应用
CN112315423B (zh) * 2020-11-06 2023-08-22 上海青研科技有限公司 眼球运动测量设备
CN118302648A (zh) * 2021-11-25 2024-07-05 特里纳米克斯股份有限公司 一次性校准
CN114296548B (zh) * 2021-12-14 2023-03-24 杭州朱道实业有限公司 一种展览用智能移动识别信息***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
JP2016087291A (ja) * 2014-11-10 2016-05-23 パナソニックＩｐマネジメント株式会社 瞳孔・視線計測装置および照明システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3504177B2 (ja) * 1998-02-20 2004-03-08 沖電気工業株式会社 撮影装置およびアイリス画像入力装置
US6850631B1 (en) 1998-02-20 2005-02-01 Oki Electric Industry Co., Ltd. Photographing device, iris input device and iris image input method
WO2005063114A1 (ja) 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP4517049B2 (ja) * 2003-12-25 2010-08-04 国立大学法人静岡大学 視線検出方法および視線検出装置
JP4313717B2 (ja) * 2004-04-13 2009-08-12 本田技研工業株式会社 視線検出装置
US20070013873A9 (en) * 2004-04-29 2007-01-18 Jacobson Joseph M Low cost portable computing device
JP2007004448A (ja) * 2005-06-23 2007-01-11 Honda Motor Co Ltd 視線検出装置
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP2009254525A (ja) * 2008-04-15 2009-11-05 Calsonic Kansei Corp 瞳孔検知方法及び装置
JP2010244156A (ja) 2009-04-02 2010-10-28 Toyota Motor Corp 画像特徴量検出装置及びこれを用いた視線方向検出装置
US8939579B2 (en) * 2011-01-28 2015-01-27 Light Prescriptions Innovators, Llc Autofocusing eyewear, especially for presbyopia correction
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
US9468373B2 (en) * 2013-09-24 2016-10-18 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
WO2015086617A1 (en) * 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
JP2016087291A (ja) * 2014-11-10 2016-05-23 パナソニックＩｐマネジメント株式会社 瞳孔・視線計測装置および照明システム

Also Published As

Publication number Publication date
US10896324B2 (en) 2021-01-19
US20190147241A1 (en) 2019-05-16
WO2018037685A1 (ja) 2018-03-01
AU2017316861B2 (en) 2020-05-07
EP3488763A4 (en) 2019-08-07
EP3488763A1 (en) 2019-05-29
AU2017316861A1 (en) 2019-01-31
CN109414167A (zh) 2019-03-01
JP2018032198A (ja) 2018-03-01
JP6617662B2 (ja) 2019-12-11
EP3488763B1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
CN109414167B (zh) 视线检测装置以及视线检测方法
JP6210023B2 (ja) 視線検出支援装置および視線検出支援方法
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
JP6971686B2 (ja) 視線検出装置及び視線検出方法
CN108140244B (zh) 视线检测装置以及视线检测方法
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2018164104A1 (ja) 眼部画像処理装置
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP2015177953A (ja) 診断支援装置および診断支援方法
JP6885444B2 (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
JP2018029764A (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
US11200713B2 (en) Systems and methods for enhancing vision
CN113138664A (zh) 基于光场感知的眼球追踪***、方法
US20200074150A1 (en) Method and device for modifying the affective visual information in the field of vision of an user
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6776970B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
CN113194839A (zh) 评价装置、评价方法及评价程序
JP2021192164A (ja) 視線検出装置、視線検出方法、及び視線検出プログラム
JP6269177B2 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP2019024776A (ja) 評価装置、評価方法、及び評価プログラム
JP7074221B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2019150079A (ja) 評価装置、評価方法、及び評価プログラム
JP2024022726A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant