WO2017179279A1 - 視線測定装置および視線測定方法 - Google Patents

視線測定装置および視線測定方法 Download PDF

Info

Publication number
WO2017179279A1
WO2017179279A1 PCT/JP2017/005052 JP2017005052W WO2017179279A1 WO 2017179279 A1 WO2017179279 A1 WO 2017179279A1 JP 2017005052 W JP2017005052 W JP 2017005052W WO 2017179279 A1 WO2017179279 A1 WO 2017179279A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
line
sight
correction
information
Prior art date
Application number
PCT/JP2017/005052
Other languages
English (en)
French (fr)
Inventor
聡一 木村
武田　英俊
晋吾 山添
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2018511896A priority Critical patent/JP6596678B2/ja
Priority to US16/069,904 priority patent/US10496166B2/en
Publication of WO2017179279A1 publication Critical patent/WO2017179279A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Definitions

  • the present invention relates to a line-of-sight measurement apparatus and a line-of-sight measurement method for correcting individual differences with respect to the line of sight of a subject detected based on the eyeball image of the subject.
  • the corneal reflection method is known as a technique capable of measuring the line of sight with high accuracy without contact. Since this method uses reflected light on the eyeball, its accuracy is greatly influenced by individual differences in eyeball shape. Therefore, the measured line of sight is corrected using individual errors.
  • Patent Literature 1 discloses a gaze point detection device including a plurality of stereo cameras that acquire a face image of a subject, a light source provided outside the opening of the stereo camera, a control circuit, and an image processing device. .
  • the image processing device calculates the gaze angle of the subject using the function based on the face image, corrects the function so that the gaze directions calculated corresponding to the plurality of stereo cameras are close, and Is calculated, and the point of interest on the display screen of the target person is detected.
  • This disclosure provides a gaze measurement apparatus that can calculate gaze correction information without depending on the positional relationship of the gazing point and can improve gaze detection accuracy.
  • the line-of-sight measurement device of the present disclosure includes a light source that irradiates light for forming a corneal reflection point on an eyeball of a subject who is gazing at a predetermined gazing point, and a face image that includes the eyeball of the subject reflected by light from the light source
  • a photographing unit for photographing the image a detection unit for calculating gaze information in the world coordinate system using the face image taken by the photographing unit, and a gaze information in the world coordinate system calculated by the detection unit in a coordinate system different from the world coordinate system
  • a correction unit that converts the line-of-sight information of the correction coordinate system using correction information for correcting detection errors due to individual differences in the eyeballs.
  • the line-of-sight measurement method of the present disclosure captures a face image including the eyeball of the subject reflected by light from a light source that emits light for forming a corneal reflection point on the eyeball of the subject gazing at a predetermined gazing point.
  • the degree of freedom of the gaze destination is increased, and the detection accuracy can be improved.
  • FIG. 1 is a diagram illustrating a configuration example of a line-of-sight measurement system in Embodiment 1.
  • FIG. 3 is a block diagram illustrating a configuration example of an arithmetic device according to Embodiment 1.
  • FIG. 7 is a diagram for explaining line-of-sight information in Embodiment 1.
  • FIG. 3 is a flowchart for explaining the operation of the visual line measuring apparatus in the first embodiment.
  • 3 is a flowchart for explaining an operation of a calculation unit in the first embodiment.
  • 6 is a diagram for explaining a positional relationship between two gazing points in the world coordinate system according to Embodiment 1.
  • FIG. 6 is a diagram for explaining a positional relationship between two gazing points in the correction coordinate system according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an angle of a line-of-sight vector according to Embodiment 1.
  • FIG. 1 is a diagram illustrating a configuration example of a line-of-sight measurement system 1 according to the first embodiment.
  • the line-of-sight measurement system 1 includes a line-of-sight measurement device 10 that measures the line of sight of the subject 100 and a display unit 20 that displays a gaze point on the subject 100.
  • the line-of-sight measurement device 10 also includes an imaging unit 120 that captures a face image (eyeball image) of the subject 100, a light source 130 that irradiates light on the eyeball (not shown) of the subject 100, and the line of sight of the subject 100.
  • an arithmetic unit 110 that performs measurement.
  • the display unit 20 displays the gazing point P1 and the gazing point P2 that are the gazing destination of the target person 100.
  • the display part 20 should just be what can display the gaze point of the subject 100.
  • the display unit 20 is a display including a display element such as a liquid crystal display (LCD) panel or an organic EL display panel and a driving circuit for driving the display element.
  • the display unit 20 displays the gazing points P ⁇ b> 1 and P ⁇ b> 2 according to control from the visual line measurement device 10 or a control unit (not shown).
  • the light source 130 is disposed at a predetermined position, and irradiates light for forming a corneal reflection point on the eyeball of the subject 100.
  • the light source 130 is, for example, a light source that emits infrared light.
  • the photographing unit 120 photographs the face image of the subject 100 that reflects the light emitted from the light source 130.
  • the imaging unit 120 is, for example, an infrared camera, and captures a face image of the subject 100 by receiving reflected light reflected by infrared light emitted from the light source 130.
  • the arithmetic unit 110 Prior to the actual line-of-sight measurement, the arithmetic unit 110 detects the line-of-sight vector (calculated line-of-sight vectors G1, G2) of the subject 100 from the face image of the subject 100 photographed by the photographing unit 120. Then, correction information for correcting individual differences based on the correspondence relationship between the actual visual line vectors V1 and V2 obtained from the eyeball position E (pupil center) and the gazing points P1 and P2 of the subject 100 and the calculated visual line vectors G1 and G2. Is calculated. The arithmetic unit 110 corrects the detected calculated line-of-sight vectors G1 and G2 using the calculated correction information.
  • FIG. 2 is a block diagram illustrating a configuration example of the arithmetic device 110.
  • the arithmetic device 110 includes a detection unit 111, a calculation unit 112, a storage unit 113, and a correction unit 114.
  • Each function unit realizes its function by causing a CPU to execute a program stored in a storage device such as a ROM, a magnetic disk, or an optical disk.
  • the detection unit 111 calculates the calculated line-of-sight vectors G1 and G2 of the subject 100 using the face image captured by the imaging unit 120. In addition, the detection unit 111 calculates the real line-of-sight vectors V1 and V2 from the positional relationship between the eyeball position E of the subject 100 and the gazing points P1 and P2. The detection unit 111 uses the calculated line-of-sight vector (calculated line-of-sight vector and actual line-of-sight vector), the eyeball position E of the subject 100 and identification information (hereinafter referred to as ID) that can uniquely identify the subject 100 as the line-of-sight information. To send.
  • ID identification information
  • the calculation unit 112 stores the line-of-sight information sent from the detection unit 111 in the storage unit 113.
  • the calculation unit 112 calculates correction information for correcting detection errors due to individual differences in eyeballs using the line-of-sight information stored in the storage unit 113.
  • the calculation unit 112 outputs the line-of-sight information and the correction information to the correction unit 114.
  • the storage unit 113 stores line-of-sight information and correction information.
  • the storage unit 113 may be composed of a semiconductor memory or the like, and may be composed of a volatile memory or a nonvolatile memory.
  • the correction unit 114 corrects the line-of-sight information calculated by the detection unit 111 using the correction information calculated by the calculation unit 112.
  • FIG. 3 is a diagram for explaining line-of-sight information.
  • the center is the origin
  • the horizontal direction is the x-axis
  • the vertical direction is the z-axis
  • the front-rear direction is the y-axis.
  • Such an orthogonal coordinate system is called a world coordinate system.
  • FIG. 3 shows a state where the gazing point P1 whose position is known is displayed on the display unit 20, and the subject 100 is gazing at the gazing point P1.
  • the line of sight of the subject 100 is a line-of-sight vector (from the pupil center 202 toward the gazing point P1 on the display unit 20 in the pupil region 201 existing in the eyeball 200 of the subject 100, as shown in FIG. It is defined by the real line-of-sight vector V1).
  • the calculated gaze vector G1 of the subject 100 calculated by the detection unit 111 by a gaze detection method typified by the corneal reflection method is a vector including an error due to individual differences of the subject 100.
  • the calculated line-of-sight vector G1 and the actual line-of-sight vector V1 are different vectors.
  • the pupil center 202 is obtained by detecting the pupil region 201 by a technique such as clustering or ellipse approximation, and acquiring the center coordinates.
  • the Purkinje image 203 that is the reflected light of the light emitted from the light source 130 exists in the eyeball 200 of the subject 100.
  • the individual difference of the subject 100 includes the refractive index of light on the cornea surface of the eyeball 200 of the subject 100 as shown in FIG. 3, the refraction by glasses, the eyeball shape, the deviation between the center of the eyeball and the fovea, and the like. It is individual difference. In correction processing described later, detection errors caused by these are reduced using correction information unique to the individual.
  • a cornea reflection method will be described as a visual line detection method.
  • the corneal reflection method is a method of calculating the line of sight from the positional relationship between the pupil position and the Purkinje image.
  • correction information is calculated based on a correspondence relationship between a gaze vector calculated from a face image obtained by photographing a subject who is gazing at a known point and an actual gaze vector prior to gaze measurement.
  • the corneal reflection method is a method of correcting the line-of-sight vector calculated during the line-of-sight measurement using correction information (correction value) including a coefficient with respect to an angle and a constant term (addition value) according to the following equation (Equation 1). It is.
  • the correction information for the angle of the line-of-sight vector is 1) defined as matrix H in
  • the correction information information when the subject 100 gazes at a plurality of gazing points is necessary.
  • the subject 100 gazes at two gazing points P1 and P2 is used.
  • FIG. 4 is a flowchart for explaining the operation of the line-of-sight measurement apparatus 10 according to the first embodiment.
  • Step S ⁇ b> 401 The detection unit 111 uses the face image captured by the imaging unit 120 when the target person 100 gazes at the gazing point P ⁇ b> 1 and the gazing point P ⁇ b> 2. Process. In addition, the detection unit 111 calculates a real line-of-sight vector from the positional relationship between the pupil center 202 of the subject 100 and the gazing points P1 and P2. The detection unit 111 associates a pair of calculated line-of-sight vector and real line-of-sight vector corresponding to one gazing point with an ID that uniquely identifies the subject 100 and sends it to the calculation unit 112 as line-of-sight information.
  • Step S402 The calculation unit 112 stores the received line-of-sight information in the storage unit 113.
  • the storage unit 113 uses the ID to check whether correction information corresponding to the target person 100 has already been calculated. If correction information for the target person 100 exists, that is, correction information for the target person 100 is calculated. If it has been completed (Yes in step S402), the process proceeds to step S404. If it has not been calculated (No in step S402), the process proceeds to step S403.
  • the calculation unit 112 performs correction information calculation processing for calculating correction information for individual differences in line of sight using the line-of-sight information calculated by the detection unit 111.
  • the calculation unit 112 stores the calculated correction information in the storage unit 113 in association with the ID.
  • the calculation unit 112 sends the line-of-sight information and the calculated correction information to the correction unit 114. Note that the calculation unit 112 corrects an average correction value without calculating correction information when at least two line-of-sight information with different pairs of the real line-of-sight vector and the calculated line-of-sight vector is not stored in the storage unit 113. Information is sent to the correction unit 114 together with line-of-sight information.
  • Step S404 The calculation unit 112 reads the correction information associated with the received ID from the storage unit 113, and sends the correction information together with the line-of-sight information to the correction unit 114.
  • the correction unit 114 performs correction processing for correcting the calculated line-of-sight vector using the equation (Equation 1) based on the line-of-sight information and correction information sent from the calculation unit 112, and the corrected line-of-sight vector ( (Corrected gaze vector) is calculated.
  • the imaging unit 120 captures the face image of the target person 100 gazing at the gazing point P1 on the display unit 20, and sends the image data to the detection unit 111.
  • the timing of shooting can be arbitrarily set, and the timing of shooting may be controlled by sending a signal from the outside, such as by separately providing an apparatus.
  • the detection unit 111 acquires an eyeball image obtained by cutting out the vicinity of the eyeball of the subject 100 from the face image captured by the imaging unit 120.
  • the photographing unit 120 may photograph the face image of the subject person 100 so as to include only one eye or may include both eyes.
  • the detection part 111 may acquire the eyeball image of only one eye as an eyeball image of the subject 100, and may acquire the eyeball image of each eye.
  • the eye of the subject 100 is the eyeball surface including black eyes, white eyes, and eyelids.
  • the detection unit 111 uses the positional relationship among the pupil center 202 of the subject 100, the Purkinje image 203, the imaging unit 120, and the light source 130 to calculate the sight line vector. G1 is calculated.
  • the positions of the imaging unit 120 and the light source 130 necessary for calculating the calculated line-of-sight vector G1 are three-dimensional positions as known points, and are stored in advance in a storage unit (not shown) in the line-of-sight measurement apparatus 10.
  • the three-dimensional positions of the pupil center 202 and the Purkinje image 203 of the subject 100 may be obtained using a stereo camera or may be obtained by other distance measuring methods.
  • the three-dimensional positions of the pupil center 202 and the Purkinje image 203 of the subject 100 are also stored in the storage unit 113 described above.
  • the detection unit 111 cuts out the pupil region 201 from the face image of the subject 100 taken by the photographing unit 120 when the subject 100 is gazing at the gazing point P1 on the display unit 20.
  • the detection unit 111 calculates a calculated line-of-sight vector G1 of the subject 100 based on the positions of the imaging unit 120 and the light source 130 and the positions of the pupil center 202 and the Purkinje image 203. Further, the detection unit 111 calculates a real line-of-sight vector V1 from the positional relationship between the three-dimensional pupil center 202 of the subject 100 and the gazing point P1.
  • the detection unit 111 performs the same processing when the gazing point P2 is displayed on the display unit 20 as shown in FIG. 1, and calculates the calculated line-of-sight vector G2 and the actual line-of-sight vector V2. In this way, two pairs of a real line-of-sight vector and a calculated line-of-sight vector respectively corresponding to two different points of gazing point P1 and P2 are calculated.
  • the detection unit 111 associates these pairs with the position information of the target person 100 and the ID of the target person 100, and sends them to the calculation unit 112 as line-of-sight information.
  • the calculation unit 112 statistically calculates correction information for individual differences in the line of sight, using pairs of actual line-of-sight vectors and calculated line-of-sight vectors corresponding to the two gazing points P1 and P2.
  • correct correction information may not be calculated. Specifically, the correction information cannot be calculated when the two gazing points P1 and P2 are parallel on a certain axis. This is because the correction information is calculated using a difference in angle between the two gazing points P1 and P2.
  • the calculation unit 112 converts the coordinate values of the two gazing points P1 and P2 from the world coordinate system to the coordinate values in the correction coordinate system, and converts the positional relationship between the two points into a positional relationship in which correction information can be calculated. .
  • FIG. 6A is a diagram for explaining the positional relationship between two gazing points P1 and P2 in the world coordinate system.
  • FIG. 6B is a diagram for explaining the positional relationship between two points in the correction coordinate system.
  • the correction coordinate system 310 has the same origin as the world coordinate system 300, and the X1 axis and the Y1 axis are obtained by rotating the world coordinate system by the rotation amount ⁇ with the Y axis as the rotation axis.
  • An orthogonal coordinate system consisting of Z1 axes. As shown in FIGS.
  • the gazing points P1 and P2 which are in a positional relationship parallel to the X axis on the world coordinate system 300, are not parallel to the X1 axis in the corrected coordinate system 310. Absent.
  • the calculation unit 112 calculates an individual-specific correction value using an angle (elevation angle and azimuth angle) of each line-of-sight vector with respect to the reference direction in the corrected coordinate system after coordinate conversion.
  • FIG. 5 is a flowchart for explaining the operation of the calculation unit 112 of the line-of-sight measurement apparatus 10.
  • Step S501 The calculation unit 112 calculates the rotation amount ⁇ when converting from the world coordinate system to the correction coordinate system from the positional relationship between the gazing points P1 and P2 on the display unit 20.
  • the rotation amount ⁇ is a Roll angle.
  • the rotation amount ⁇ may be another rotation angle such as a Yaw angle or a Pitch angle, or may be a rotation amount combining two or more of these. That is, the rotation amount ⁇ is a rotation amount of one of the coordinate axes of the world coordinate system or two or more coordinate axes.
  • Step S502 The calculation unit 112 applies the calculated rotation amount ⁇ to the real line-of-sight vectors V1, V2 and the calculated line-of-sight vectors G1, G2, and converts each vector from the world coordinate system to the correction coordinate system.
  • Step S503 The calculation unit 112 converts the actual line-of-sight vectors V1 and V2 and the calculated line-of-sight vectors G1 and G2 from coordinate values in the correction coordinate system to angles.
  • the calculating unit 112 calculates correction information using the relationship between the actual gaze vector V1 and the calculated gaze vector G1 with respect to the gazing point P1, and the angle relationship between the actual gaze vector V2 and the calculated gaze vector G2 with respect to the gazing point P2.
  • the correction unit 114 performs correction processing after converting the calculated line-of-sight vector detected by the detection unit 111 into the same correction coordinate system as when the correction information was calculated, and then converts the calculated line-of-sight vector again into the world coordinate system.
  • the subsequent gaze vector (corrected gaze vector) is calculated.
  • FIG. 7 is a diagram for explaining the angle of the line-of-sight vector.
  • the gazing point P1 is displayed on the display unit 20, and the target person 100 is gazed at the gazing point P1.
  • the imaging unit 120 images the subject 100 who is gazing at the gazing point P1.
  • the detection unit 111 acquires an eyeball image from the face image captured by the imaging unit 120, and calculates a calculated line-of-sight vector G1 from the eyeball image.
  • the calculated line-of-sight vector G1 is expressed as a vector in the polar coordinate system as shown in the following equation (Equation 2).
  • the diameter r11 is a vector diameter and is a distance from the pupil center 202 to the gazing point P1 on the display unit 20.
  • the vector diameter r11 may be 1 as a unit vector.
  • the declination angle ⁇ 11 is an angle formed by the calculated line-of-sight vector G1 and the xy plane in the world coordinate system, for example, as shown in FIG.
  • the declination ⁇ 11 is an angle formed by the calculated line-of-sight vector G1 and the reference axis (y-axis) of the world coordinate system, for example, as shown in FIG.
  • the declination angle ⁇ 11 and the declination angle ⁇ 11 are, for example, in a coordinate system determined by the positional relationship between the imaging unit 120, the light source 130, and the pupil center 202 of the subject 100.
  • the angle formed with the reference axis may be used.
  • the detection unit 111 calculates a real line-of-sight vector V1 based on the position of the gazing point P1 on the display unit 20 and the pupil center 202.
  • the actual line-of-sight vector V1 is also expressed as a polar coordinate system vector as shown in the following equation (Equation 3).
  • the diameter r12 is a vector diameter.
  • the vector diameter r12 may be 1 as a unit vector.
  • the declination ⁇ 12 is, for example, an angle formed by the real line-of-sight vector V1 and the xy plane in the world coordinate system.
  • the declination ⁇ 12 is, for example, an angle formed by the real line-of-sight vector V1 and the reference axis (y-axis) of the world coordinate system.
  • the gazing point P2 is displayed on the display unit 20, and the target person 100 is gazed at the gazing point P2.
  • the imaging unit 120 captures a face image of the subject 100 who is gazing at the gazing point P2.
  • the detection unit 111 acquires an eyeball image from the face image captured by the imaging unit 120, and calculates a calculated line-of-sight vector G2 from the eyeball image.
  • the calculated line-of-sight vector G2 is expressed as a vector in the polar coordinate system as shown in the following equation (Equation 4).
  • the diameter r21 is a vector diameter.
  • the vector diameter r21 may be 1 as a unit vector.
  • the deflection angle ⁇ 21 is, for example, an angle formed between the calculated line-of-sight vector G2 and the xy plane in the world coordinate system in the world coordinate system.
  • the deflection angle ⁇ 21 is, for example, an angle formed between the calculated line-of-sight vector G2 and the reference axis (y-axis) of the world coordinate system.
  • the detection unit 111 calculates a real line-of-sight vector V2 based on the position of the gazing point P2 on the display unit 20 and the pupil center 202. Like the calculated line-of-sight vector G2, the actual line-of-sight vector V2 is also expressed as a polar coordinate system vector as shown in the following equation (Equation 5).
  • the diameter r22 is a vector diameter.
  • the vector diameter r22 may be 1 as a unit vector.
  • the declination ⁇ 22 is, for example, an angle formed by the real line-of-sight vector V2 and the xy plane in the world coordinate system in the world coordinate system.
  • the declination ⁇ 22 is, for example, an angle formed between the real line-of-sight vector V2 and the reference axis (y-axis) of the world coordinate system.
  • the detection unit sends the gaze information including the pair of the real gaze vector and the calculated gaze vector calculated at the two gazing points P1 and P2, the eyeball position, and the ID of the subject 100 to the calculation unit 112.
  • the calculation unit 112 checks whether the correction information of the target person 100 corresponding to the ID is stored in the storage unit 113 using the ID of the line-of-sight information. When the correction information is stored in the storage unit 113, the calculation unit 112 reads the line-of-sight information received from the detection unit 111 and the correction information stored in the storage unit 113, and sends it to the correction unit 114.
  • the calculation unit 112 calculates correction information when the correction information of the subject person 100 is not stored in the storage unit 113, that is, when correction information is not calculated.
  • the calculation unit 112 records the line-of-sight information sent out by the detection unit 111 in the storage unit 113 and calculates the correction information of the individual line of sight using the line-of-sight information recorded in the storage unit 113.
  • the storage unit 113 may also record the position of the light source 130.
  • the calculation unit 112 reads the line-of-sight information recorded in the storage unit 113 using the ID, and performs correction information calculation processing.
  • the calculation unit 112 does not calculate correction information when the line-of-sight information does not include the line-of-sight vectors calculated at two gazing points. In this case, the calculation unit 112 may send an average correction value to the correction unit 114 as correction information.
  • the calculation unit 112 determines the rotation amount ⁇ for conversion from the world coordinate system to the correction coordinate system from the line-of-sight vectors calculated at the two gazing points. Specifically, the calculation unit 112 calculates the difference d ⁇ and d ⁇ in the angle between the real line-of-sight vector V1 when gazing at the gazing point P1 and the real line-of-sight vector V2 when gazing at the gazing point P2. From Equations (3) and (5), d ⁇ is the difference between ⁇ 12 and ⁇ 22, and d ⁇ is the difference between ⁇ 12 and ⁇ 22.
  • the calculation unit 112 obtains the rotation amount ⁇ such that both d ⁇ and d ⁇ are equal to or larger than the predetermined angle.
  • the d ⁇ and d ⁇ can be maximized by setting the rotation amount ⁇ to 45 degrees.
  • the rotation amount ⁇ may be set to 0, or the rotation amount ⁇ that makes d ⁇ and d ⁇ larger may be obtained.
  • the calculation unit 112 converts the real line-of-sight vectors V1, V2 and the calculated line-of-sight vectors G1, G2 from the world coordinate system to the correction coordinate system based on the rotation amount ⁇ .
  • the calculation unit 112 uses ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 in the matrix H shown in Expression (Equation 1) as a pair of the calculated line-of-sight vector G1 and the real line-of-sight vector V1, and the calculated line-of-sight vector G2 and the real line-of-sight vector V2. calculate.
  • the calculation unit 112 calculates the matrix H, which is correction information, by substituting the actual line-of-sight vector V1 into the corrected line-of-sight vector A and the calculated line-of-sight vector G1 into the line-of-sight vector B before correction in Expression (Equation 1). To do.
  • the calculation unit 112 When calculating the matrix H, the calculation unit 112 outputs the line-of-sight information and the calculated correction information.
  • the correction unit 114 corrects the calculated line-of-sight vector using the line-of-sight information and the correction information and the equation (Equation 1), and calculates the corrected line-of-sight vector.
  • the correction unit 114 outputs a corrected line-of-sight vector.
  • the light source 130 irradiates the eyeball of the subject 100 gazing at a predetermined gazing point with light for forming a corneal reflection point
  • the imaging unit 120 receives the light from the light source 130.
  • a reflected face image of the subject 100 is photographed.
  • the detection unit 111 calculates line-of-sight information in the world coordinate system using the face image captured by the imaging unit 120.
  • the correction unit 114 converts the line-of-sight information detected by the detection unit 111 into line-of-sight information in a correction coordinate system that is a coordinate system different from the world coordinate system, and then uses correction information for correcting detection errors due to individual differences in eyeballs. To correct.
  • the calculation unit 112 can calculate the correction information.
  • the two gazing points P1 and P2 used for calculating the correction information have been described as being displayed on the display unit 20.
  • two gazing points are located on an object in front of the subject and whose position is known. Can also be set. For example, if it is in a vehicle, a traffic light in front or a speedometer in the vehicle can be used as a gazing point.
  • the gazing point P1 and the gazing point P2 are set at the center of two objects existing in front of the target person 100.
  • the gaze point P1 and the gaze point P2 may be set at the average position or the like.
  • the subsequent processing as in the case of calculation using the gazing point on the display unit 20, the calculation of the actual gaze vector and the calculated gaze vector, the determination of the rotation amount ⁇ , and the calculation of the correction value are performed.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments that have been changed, replaced, added, omitted, and the like.
  • the number of light sources is one, but a plurality of light sources may be used.
  • a gazing point is displayed on the display unit 20 in order to make the subject 100 gaze.
  • What is displayed on the display unit 20 is not limited to a point.
  • content may be displayed at a reference position and guidance may be directed to the target person 100.
  • the calculation may be performed using the reference position in the content as a gazing point.
  • the line-of-sight information calculated by the line-of-sight measurement device 10 may be displayed on the display unit 20.
  • the intersection of the calculated line-of-sight vector and the display unit 20 may be calculated and output as gaze destination information.
  • the calculation unit 112 generates correction information using two pieces of line-of-sight information, but may select three or more pieces of line-of-sight information and calculate correction information using all pieces of line-of-sight information. . Further, final correction information may be created from correction information calculated in plural by two combinations. For example, an average of a plurality of correction information calculated by two combinations may be taken. In this way, the accuracy of the correction information can be improved.
  • the present disclosure can be applied to a line-of-sight detection apparatus that measures a line of sight without contact. Specifically, the present disclosure can be applied to subject behavior analysis including monitoring of a driver in a vehicle, operation of a device using a line of sight, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本開示の視線測定方法は、所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した対象者の眼球を含む顔画像を撮影する撮影ステップと、撮影ステップで撮影された顔画像を用いて、世界座標系の視線情報を算出する検知ステップと、検知ステップで算出された世界座標系の視線情報を世界座標系と異なる座標系である補正座標系の視線情報に変換し、眼球の個人差による検出誤差を補正するための補正情報を用いて、補正座標系の視線情報を補正する補正ステップと、を有する。

Description

視線測定装置および視線測定方法
　本発明は、対象者の眼球画像に基づき検出した対象者の視線に対して、個人差の補正を行う視線測定装置および視線測定方法に関するものである。
　視線を非接触にて、高精度に測定できる技術として、角膜反射法が知られている。この手法は、眼球上の反射光を用いているため、その精度は、眼球形状の個人差に大きく影響される。そのため、測定した視線を個人の誤差を用いて、補正している。
　特許文献１は、対象者の顔画像を取得する複数のステレオカメラと、ステレオカメラの開口部の外側に設けられた光源と、制御回路と、画像処理装置とを備える注視点検出装置を開示する。画像処理装置は、顔画像に基づいて対象者の視線の角度を、関数を用いて計算し、複数のステレオカメラに対応して計算された視線の方向が近くなるように関数を補正して視線の方向を計算し、対象者の表示画面上の注視点を検出する。
国際公開第２０１２／０２０７６０号
　本開示は、注視点の位置関係に依存せず視線の補正情報が算出可能で、視線の検出精度を向上させることが可能な視線測定装置を提供する。
　本開示の視線測定装置は、所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源と、光源からの光が反射した対象者の眼球を含む顔画像を撮影する撮影部と、撮影部が撮影した顔画像を用いて、世界座標系の視線情報を算出する検知部と、検知部が算出した世界座標系の視線情報を世界座標系と異なる座標系である補正座標系の視線情報に変換し、補正座標系の視線情報を、眼球の個人差による検出誤差を補正するための補正情報を用いて補正する補正部と、を備える。
　本開示の視線測定方法は、所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した対象者の眼球を含む顔画像を撮影する撮影ステップと、撮影ステップで撮影された顔画像を用いて、世界座標系の視線情報を算出する検知ステップと、検知ステップで算出された世界座標系の視線情報を世界座標系と異なる座標系である補正座標系の視線情報に変換し、眼球の個人差による検出誤差を補正するための補正情報を用いて、補正座標系の視線情報を補正する補正ステップと、を有する。
　本開示の視線測定装置によれば、注視先の自由度が高くなり、検出精度を向上させることが可能となる。
実施の形態１における視線測定システムの一構成例を示す図である。 実施の形態１における演算装置の一構成例を示すブロック図である。 実施の形態１における視線情報を説明する図である。 実施の形態１における視線測定装置の動作を説明するためのフローチャートである。 実施の形態１における算出部の動作を説明するためのフローチャートである。 実施の形態１における世界座標系における２つの注視点の位置関係を説明する図である。 実施の形態１における補正座標系における２つの注視点の位置関係を説明する図である。 実施の形態１における視線ベクトルの角度を説明する図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　［１．構成］
　［１－１．システム構成］
　図１は、実施の形態１における視線測定システム１の一構成例を示す図である。
　図１において視線測定システム１は、対象者１００の視線を測定する視線測定装置１０と、対象者１００に対して注視先を表示する表示部２０とを備える。また、視線測定装置１０は、対象者１００の顔画像（眼球画像）を撮影する撮影部１２０と、対象者１００の眼球（不図示）上に光を照射する光源１３０と、対象者１００の視線測定を行う演算装置１１０とを備える。
　表示部２０は、対象者１００の注視先となる注視点Ｐ１および注視点Ｐ２を表示する。表示部２０は、対象者１００の注視先が表示できるものであればよい。表示部２０は、液晶ディスプレイ（ＬＣＤ）パネルや有機ＥＬディスプレイパネルのような表示素子と、それを駆動する駆動回路とを含むディスプレイである。表示部２０は、視線測定装置１０もしくは、図示しない制御部からの制御に従って、注視点Ｐ１、Ｐ２を表示する。
　光源１３０は、所定の位置に配置され、対象者１００の眼球上に角膜反射点を形成させるための光を照射する。光源１３０は、例えば、赤外線を発光する光源である。
　撮影部１２０は、光源１３０より照射された光を反射した対象者１００の顔画像を撮影する。撮影部１２０は、例えば、赤外線カメラであり、光源１３０より照射された赤外光が反射した反射光を受光することにより、対象者１００の顔画像を撮影する。
　演算装置１１０は、実際の視線測定に先立って、撮影部１２０が撮影した対象者１００の顔画像から、対象者１００の視線ベクトル（算出視線ベクトルＧ１、Ｇ２）を検出する。そして、対象者１００の眼球位置Ｅ（瞳孔中心）および注視点Ｐ１、Ｐ２から求められる実視線ベクトルＶ１、Ｖ２と算出視線ベクトルＧ１、Ｇ２との対応関係から、個人差を補正するための補正情報を算出する。演算装置１１０は、算出した補正情報を用いて、検出した算出視線ベクトルＧ１、Ｇ２を補正する。
　［１－２．演算装置１１０の構成］
　図２は、演算装置１１０の一構成例を示すブロック図である。図２において、演算装置１１０は、検知部１１１と、算出部１１２と、記憶部１１３と補正部１１４とを備える。各機能部は、例えば、ＲＯＭ、磁気ディスク、光ディスクなどの記憶装置に記憶されたプログラムをＣＰＵに実行させることにより、その機能を実現する。
　検知部１１１は、撮影部１２０が撮影した顔画像を用いて、対象者１００の算出視線ベクトルＧ１、Ｇ２を算出する。また、検知部１１１は、対象者１００の眼球位置Ｅおよび注視点Ｐ１、Ｐ２の位置関係から、実視線ベクトルＶ１、Ｖ２を算出する。検知部１１１は、算出した視線ベクトル（算出視線ベクトルと実視線ベクトル）、対象者１００の眼球位置Ｅおよび対象者１００を一意に識別できる識別情報（以下、ＩＤという）を視線情報として算出部１１２に送出する。
　算出部１１２は、検知部１１１が送出した視線情報を記憶部１１３に記憶させる。算出部１１２は、記憶部１１３が記憶している視線情報を用いて、眼球の個人差による検出誤差を補正するための補正情報を算出する。算出部１１２は視線情報と補正情報を補正部１１４に出力する。
　記憶部１１３は、視線情報および補正情報を記憶する。記憶部１１３は、半導体メモリ等から構成されてもよく、揮発性メモリ又は不揮発性メモリ等から構成されてよい。
　補正部１１４は、検知部１１１が算出した視線情報を、算出部１１２が算出した補正情報を用いて補正する。
　［１－３．眼球の個人差による誤差］
　図３は、視線情報を説明する図である。図３の表示部２０において、中央を原点とし、水平方向をｘ軸、垂直方向をｚ軸、前後方向をｙ軸とする。このような直交座標系を世界座標系と言う。
　図３は、表示部２０に位置が既知である注視点Ｐ１が表示され、対象者１００が注視点Ｐ１を注視している状態を示す。ここで、対象者１００の視線とは、図３に示すように、対象者１００の眼球２００に存在する瞳孔領域２０１において、瞳孔中心２０２から、表示部２０上の注視点Ｐ１に向かう視線ベクトル（実視線ベクトルＶ１）で定義される。
　また、角膜反射法などに代表される視線検出法により検知部１１１で算出される対象者１００の算出視線ベクトルＧ１は、対象者１００の個人差に伴う誤差を含んだベクトルである。図３に示すように、算出視線ベクトルＧ１と、実視線ベクトルＶ１とは異なるベクトルとなる。ここで、瞳孔中心２０２は、瞳孔領域２０１をクラスタリングや楕円近似等の手法によって検出し、その中心座標を取得することにより求められる。また、図３に示すように、対象者１００の眼球２００には、光源１３０から照射された光の反射光であるプルキニエ像２０３が存在する。
　ここで、対象者１００の個人差とは、図３に示すような対象者１００の眼球２００の角膜表面における光屈折率、眼鏡等による屈折、眼球形状、眼球中心と中心窩とのズレなどの個人差である。後述する補正処理では、これらに起因する検出誤差を、個人固有の補正情報を用いて低減する。
　［１－４．補正情報］
　本開示では、視線検出法として、角膜反射法を用いて説明する。角膜反射法は、瞳孔の位置とプルキニエ像の位置関係から、視線を算出する手法である。
　角膜反射法は、視線測定に先立って、既知の点を注視している対象者を撮影した顔画像から算出された視線ベクトルと実際の視線ベクトルの対応関係をもとに、補正情報を算出する。角膜反射法は、次式（数１）により、視線測定中算出した視線ベクトルを、角度に対しての係数と定数項（加算値）とからなる補正情報（補正値）を用いて補正する手法である。
Figure JPOXMLDOC01-appb-M000001
　角膜反射法では、補正前の視線ベクトルＢの仰角θＢおよび方位角φＢを、補正後の視線ベクトルＡの仰角θＡおよび方位角φＡに補正する場合、視線ベクトルの角度に対する補正情報は、式（数１）中の行列Ｈとして定義される。この場合、補正情報を求めるためには、対象者１００が複数の注視点を注視した際の情報が必要となる。本開示では、補正情報を求めるために、対象者１００が２つの注視点Ｐ１、Ｐ２を注視した際の情報を用いる。
　［２．動作］
　ここでは、図１に示すように、表示部２０に注視点Ｐ１、注視点Ｐ２の順に表示して、対象者１００に注視させた場合を例にとって説明する。
　［２－１．全体の動作］
　図４は、実施の形態１における視線測定装置１０の動作を説明するためのフローチャートである。
　（ステップＳ４０１）検知部１１１は、対象者１００が注視点Ｐ１、注視点Ｐ２を注視した際に、撮影部１２０が撮影した顔画像を用いて、対象者１００の算出視線ベクトルを算出する視線検知処理を行う。また、検知部１１１は、対象者１００の瞳孔中心２０２および注視点Ｐ１、Ｐ２の位置関係から、実視線ベクトルを算出する。検知部１１１は、１つの注視点に対応する算出視線ベクトルおよび実視線ベクトルのペアと対象者１００を一意に示すＩＤを対応付けて視線情報として算出部１１２に送出する。
　（ステップＳ４０２）算出部１１２は、受け取った視線情報を記憶部１１３に記憶させる。記憶部１１３は、ＩＤを用いて、対象者１００に対応する補正情報が既に算出済かどうかを調べ、その対象者１００の補正情報が存在する場合、すなわち、その対象者１００の補正情報が算出済である場合（ステップＳ４０２のＹｅｓ）はステップＳ４０４へ進み、算出済ではない場合（ステップＳ４０２のＮｏ）はステップＳ４０３へ進む。
　（ステップＳ４０３）算出部１１２は、検知部１１１が算出した視線情報を用いて、視線の個人差に対する補正情報を算出する補正情報算出処理を行う。算出部１１２は、算出した補正情報をＩＤと対応付けて記憶部１１３に記憶させる。算出部１１２は、視線情報と算出した補正情報を補正部１１４に送出する。なお、算出部１１２は、実視線ベクトルと算出視線ベクトルのペアが異なる視線情報が、記憶部１１３に少なくとも２つ記憶されていない場合は、補正情報を算出せず、平均的な補正値を補正情報として、視線情報と共に、補正部１１４に送出する。
　（ステップＳ４０４）算出部１１２は、記憶部１１３より、受け取ったＩＤに対応付けられた補正情報を読出し、視線情報と共に、補正部１１４に送出する。
　（ステップＳ４０５）補正部１１４は、算出部１１２が送出した視線情報と補正情報を元に、式（数１）を用いて、算出視線ベクトルを補正する補正処理を行い、補正後の視線ベクトル（補正視線ベクトル）を算出する。
　以下、各処理を詳細に説明する。
　［２－２．視線検知処理］
　図３を用いて、表示部２０上に注視点Ｐ１が表示されている場合を例にとって説明する。
　撮影部１２０は、表示部２０上の注視点Ｐ１を注視する対象者１００の顔画像を撮影し、画像データを検知部１１１に送出する。なお撮影のタイミングは任意に設定可能であり、装置を別途設けるなどして、外部から信号を送り、撮影のタイミングを制御してもよい。
　検知部１１１は、撮影部１２０が撮影した顔画像から、対象者１００の眼球付近を切り出した眼球画像を取得する。ここで、撮影部１２０は、対象者１００の顔画像として、片目だけ含むように撮影してもよいし、両目を含むように撮影しても良い。また、検知部１１１は、対象者１００の眼球画像として、片目だけの眼球画像でもよいし、両目それぞれの眼球画像を取得しても良い。なお、対象者１００の目とは、黒目および白目および瞼を含む眼球表面である。
　次に、検知部１１１は、図３に示すように、対象者１００の瞳孔中心２０２と、プルキニエ像２０３と、撮影部１２０および光源１３０の位置関係を用いて、角膜反射法により、算出視線ベクトルＧ１を算出する。
　ここで、算出視線ベクトルＧ１の算出に必要な撮影部１２０と光源１３０の位置は、既知の点として３次元位置が求まっており、視線測定装置１０内の図示しない記憶部に予め記憶されているとする。また、対象者１００の瞳孔中心２０２およびプルキニエ像２０３の３次元位置は、ステレオカメラを用いて求めても良いし、それ以外の測距手法により求めても良い。対象者１００の瞳孔中心２０２およびプルキニエ像２０３の３次元位置も上述の記憶部１１３に記憶されている。
　具体的には、検知部１１１は、対象者１００が表示部２０上の注視点Ｐ１を注視している際に、撮影部１２０が撮影した対象者１００の顔画像から瞳孔領域２０１を切り出す。検知部１１１は、撮影部１２０と光源１３０の位置、および瞳孔中心２０２とプルキニエ像２０３の位置に基づいて、対象者１００の算出視線ベクトルＧ１を算出する。また、検知部１１１は、対象者１００の３次元上の瞳孔中心２０２および注視点Ｐ１の位置関係から、実視線ベクトルＶ１を算出する。
　検知部１１１は、図１に示すように表示部２０上に注視点Ｐ２が表示されている場合も同様の処理を行い、算出視線ベクトルＧ２と実視線ベクトルＶ２を算出する。このようにして、注視点Ｐ１、Ｐ２の異なる２点にそれぞれ対応する実視線ベクトルと算出視線ベクトルとの２つのペアが算出される。
　検知部１１１は、視線ベクトルと実視線ベクトルの算出が終了すると、これらのペアと対象者１００の位置情報および対象者１００のＩＤとを対応付け、視線情報として算出部１１２に送出する。
　［２－３．補正情報算出処理］
　算出部１１２は、２つの注視点Ｐ１、Ｐ２それぞれに対応する実視線ベクトルと算出視線ベクトルのペアを用いて、視線の個人差に対する補正情報を統計的に算出する。
　ここで、対象者１００が注視する２つの注視点Ｐ１、Ｐ２の配置によっては、正確な補正情報を算出できない場合がある。具体的には、２つの注視点Ｐ１、Ｐ２がある軸上で平行な位置ある場合には、補正情報を算出できない。これは、補正情報は、２つの注視点Ｐ１、Ｐ２間の角度の差分を用いて算出されることによる。
　そこで、算出部１１２は、２つの注視点Ｐ１、Ｐ２の座標値を世界座標系から補正座標系での座標値に変換し、２点の位置関係を補正情報が算出可能な位置関係に変換する。
　図６Ａは、世界座標系における２つの注視点Ｐ１、Ｐ２の位置関係を説明する図である。図６Ｂは、補正座標系における２点の位置関係を説明する図である。ここで、図６Ｂに示すように、補正座標系３１０は、世界座標系３００と同一の原点を有し、Ｙ軸を回転軸として世界座標系を回転量αだけ回転させたＸ１軸、Ｙ１軸、Ｚ１軸からなる直交座標系である。図６Ａ、図６Ｂに示すように、世界座標系３００上ではＸ軸と平行な位置関係にある注視点Ｐ１、Ｐ２が、補正座標系３１０においてはＸ１軸に対しては平行な位置関係にはない。算出部１１２は、座標変換後の補正座標系での各視線ベクトルの基準方向に対する角度（仰角および方位角）を用いて個人固有の補正値を算出する。
　図５は、視線測定装置１０の算出部１１２の動作を説明するためのフローチャートである。
　（ステップＳ５０１）算出部１１２は、表示部２０上の注視点Ｐ１、Ｐ２の位置関係から、世界座標系から補正座標系に変換する際の回転量αを算出する。
　本実施の形態では、回転量αはＲｏｌｌ角とする。なお、回転量αはＲｏｌｌ角以外に、Ｙａｗ角やＰｉｔｃｈ角など、別の回転角でも良く、これらを２つ以上組み合わせた回転量でもよい。すなわち、回転量αは、世界座標系の座標軸のいずれか、あるいは、２つ以上の座標軸の回転量である。
　（ステップＳ５０２）算出部１１２は、算出した回転量αを実視線ベクトルＶ１、Ｖ２、算出視線ベクトルＧ１、Ｇ２に適用し、各ベクトルを世界座標系から、補正座標系へ変換する。
　（ステップＳ５０３）算出部１１２は、実視線ベクトルＶ１、Ｖ２、算出視線ベクトルＧ１、Ｇ２を補正座標系の座標値から角度に変換する。算出部１１２は、注視点Ｐ１に対する実視線ベクトルＶ１と算出視線ベクトルＧ１、および注視点Ｐ２に対する実視線ベクトルＶ２と算出視線ベクトルＧ２の角度の関係性を用いて、補正情報を算出する。
　［２－４．補正処理］
　補正部１１４は、検知部１１１により検出された算出視線ベクトルを、補正情報を算出した時と同じ補正座標系に変換してから補正処理を行い、その後世界座標系に再度変換することで、補正後の視線ベクトル（補正視線ベクトル）を算出する。
　［２－５．具体例］
　以下、表示部２０に注視点Ｐ１、Ｐ２を順次表示し、対象者１００の視線を測定する場合について、図１、図２、図７を用いて説明する。図７は視線ベクトルの角度を説明する図である。
　まず、表示部２０に注視点Ｐ１を表示し、対象者１００に注視点Ｐ１を注視させる。撮影部１２０は、注視点Ｐ１を注視している対象者１００を撮影する。検知部１１１は、撮影部１２０が撮影した顔画像より眼球画像を取得し、眼球画像から算出視線ベクトルＧ１を算出する。
　算出視線ベクトルＧ１は、次式（数２）に示すように、極座標系のベクトルとして表現される。
Figure JPOXMLDOC01-appb-M000002
　式（数２）において、径ｒ１１はベクトルの径であり、瞳孔中心２０２から表示部２０上の注視点Ｐ１までの距離である。なお、ベクトルの径ｒ１１は単位ベクトルとして、１としてもよい。また、偏角θ１１は、例えば、図７に示すように、算出視線ベクトルＧ１と世界座標系でのｘｙ平面とのなす角である。また、偏角φ１１は、例えば、図７に示すように、算出視線ベクトルＧ１と世界座標系の基準軸（ｙ軸）とのなす角である。
　なお、偏角θ１１および偏角φ１１は、世界座標系での基準軸となす角以外にも、例えば、撮影部１２０と光源１３０と対象者１００の瞳孔中心２０２との位置関係で決まる座標系の基準軸とのなす角でも良い。
　また、検知部１１１は、表示部２０上の注視点Ｐ１の位置および、瞳孔中心２０２に基づき、実視線ベクトルＶ１を算出する。実視線ベクトルＶ１も算出視線ベクトルＧ１と同様、次式（数３）に示すように、極座標系ベクトルとして表現される。
Figure JPOXMLDOC01-appb-M000003
　ただし、式（数３）において、径ｒ１２はベクトルの径である。ベクトルの径ｒ１２は単位ベクトルとして、１としてもよい。また、偏角θ１２は、例えば、実視線ベクトルＶ１と世界座標系でのｘｙ平面とのなす角である。また、偏角φ１２は、例えば、実視線ベクトルＶ１と世界座標系の基準軸（ｙ軸）とのなす角である。
　次に、表示部２０に注視点Ｐ２を表示し、対象者１００に注視点Ｐ２を注視させる。撮影部１２０は、注視点Ｐ２を注視している対象者１００の顔画像を撮影する。検知部１１１は、撮影部１２０が撮影した顔画像より眼球画像を取得し、眼球画像から算出視線ベクトルＧ２を算出する。
　算出視線ベクトルＧ２は、次式（数４）に示すように、極座標系のベクトルとして表現される。
Figure JPOXMLDOC01-appb-M000004
　ただし、式（数４）において、径ｒ２１はベクトルの径である。ベクトルの径ｒ２１は単位ベクトルとして、１としてもよい。また、偏角θ２１は、例えば、算出視線ベクトルＧ２と世界座標系での世界座標系でのｘｙ平面とのなす角である。また、偏角φ２１は、例えば、算出視線ベクトルＧ２と世界座標系の基準軸（ｙ軸）とのなす角である。
　検知部１１１は、表示部２０上の注視点Ｐ２の位置および瞳孔中心２０２に基づき、実視線ベクトルＶ２を算出する。実視線ベクトルＶ２も算出視線ベクトルＧ２と同様、次式（数５）に示すように、極座標系のベクトルとして表現される。
Figure JPOXMLDOC01-appb-M000005
　ただし、式（数５）において、径ｒ２２はベクトルの径である。ベクトルの径ｒ２２は単位ベクトルとして、１としてもよい。また、偏角θ２２は、例えば、実視線ベクトルＶ２と世界座標系での世界座標系でのｘｙ平面とのなす角である。また、偏角φ２２は、例えば、実視線ベクトルＶ２と世界座標系の基準軸（ｙ軸）とのなす角である。
　検知部は２つの注視点Ｐ１、Ｐ２において算出した実視線ベクトルと算出視線ベクトルのペア、眼球位置および対象者１００のＩＤを含む視線情報を、算出部１１２に送出する。
　算出部１１２は、視線情報のＩＤを用いて、記憶部１１３にそのＩＤに対応する対象者１００の補正情報が記憶されているかを調べる。算出部１１２は、記憶部１１３に補正情報が記憶されている場合、検知部１１１から受け取った視線情報および記憶部１１３に記憶されている補正情報を読出して、補正部１１４に送出する。
　また、算出部１１２は、記憶部１１３に対象者１００の補正情報が記憶されていない場合、すなわち、補正情報が算出されていない場合は、補正情報を算出する。
　この場合、算出部１１２は、検知部１１１が送出した視線情報を記憶部１１３に記録するとともに、記憶部１１３に記録された視線情報を用いて、個人の視線の補正情報を算出する。なお、記憶部１１３は、光源１３０の位置も記録しても良い。
　算出部１１２は、ＩＤを用いて、記憶部１１３に記録された視線情報を読み込み、補正情報算出処理を行う。算出部１１２は、視線情報に２つの注視点において算出された視線ベクトルが含まれていない場合、補正情報の算出を行わない。この場合、算出部１１２は、平均的な補正値を補正情報として、補正部１１４に送出してもよい。
　算出部１１２は、２つの注視点において算出された視線ベクトルから、世界座標系から補正座標系への変換のための回転量αを決定する。具体的には、算出部１１２は、注視点Ｐ１を注視していた際の実視線ベクトルＶ１と注視点Ｐ２を注視していた際の実視線ベクトルＶ２の角度の差分ｄθおよびｄφを算出する。式（数３）、式（数５）より、ｄθはθ１２とθ２２との差分、ｄφはφ１２とφ２２との差分である。算出部１１２は、ｄθもしくは、ｄφが所定角度以下の場合、ｄθおよびｄφがともに所定角度以上となるような回転量αを求める。例えば注視点Ｐ１および注視点Ｐ２が水平に並んでいる場合、回転量αを４５度に設定することで、ｄθおよびｄφを最大値にすることが出来る。ｄθおよびｄφが所定角以上の場合、回転量αを０としてもよいし、ｄθおよびｄφがより大きくなるような回転量αを求めても良い。
　算出部１１２は、回転量αに基づき、実視線ベクトルＶ１、Ｖ２、算出視線ベクトルＧ１、Ｇ２を世界座標系から補正座標系へと変換する。
　算出部１１２は、式（数１）に示す行列Ｈ内のω１，ω２，ω３，ω４を、算出視線ベクトルＧ１と実視線ベクトルＶ１、および算出視線ベクトルＧ２と実視線ベクトルＶ２のペアを用いて算出する。例えば、算出部１１２は、式（数１）において、補正後の視線ベクトルＡに実視線ベクトルＶ１、補正前の視線ベクトルＢに算出視線ベクトルＧ１を代入して、補正情報である行列Ｈを算出する。この算出方法には、算出視線ベクトルと実視線ベクトル間の誤差を最小とするようにした最小二乗法を用いても良い。算出部１１２は、行列Ｈを算出すると、視線情報と算出した補正情報を出力する。
　補正部１１４は、視線情報および補正情報と、式（数１）を用いて、算出視線ベクトルを補正し、補正視線ベクトルを算出する。補正部１１４は、補正視線ベクトルを出力する。
　［３．効果など］
　本開示の視線測定装置１０では、光源１３０は、所定の注視点を注視する対象者１００の眼球に角膜反射点を形成するための光を照射し、撮影部１２０は、光源１３０からの光が反射した対象者１００の顔画像を撮影する。検知部１１１は、撮影部１２０が撮影した顔画像を用いて、世界座標系における視線情報を算出する。補正部１１４は、検知部１１１が検出した視線情報を世界座標系と異なる座標系である補正座標系の視線情報に変換した後、眼球の個人差による検出誤差を補正するための補正情報を用いて補正する。
　これにより、注視する２つの注視点Ｐ１、Ｐ２がある軸上で平行な関係にあっても、算出部１１２は、補正情報を算出することができる。
　従って、注視する２つの注視点Ｐ１、Ｐ２の位置関係の影響を受けずに、個人固有の視線ベクトルの補正情報を算出可能となる。すなわち、補正情報算出に必要な注視点の配置の自由度を増すことができる。
　なお、本実施例では補正情報の算出に使用する２つの注視点Ｐ１、Ｐ２を表示部２０に表示するものとして説明したが、対象者の前方にある、位置が既知の物体に２つの注視点を設定することもできる。例えば、車両中であれば、前方にある信号機や車両内のスピードメーターを注視点として用いることが出来る。
　この場合、注視点Ｐ１および注視点Ｐ２は、対象者１００の前方に存在する２つの物体の中央に設定するものとする。しかし、対象者１００が２つの物体内の良く注視する点もしくは領域が分かっている場合は、その平均位置などに注視点Ｐ１および注視点Ｐ２を設定しても良い。それ以後の処理は、表示部２０上の注視点を用いて算出する際と同様に、実視線ベクトルおよび算出視線ベクトルの計算、回転量αの決定および、補正値の算出を行う。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
　実施の形態１において、光源は１つとしたが、複数の光源を用いても構わない。
　実施の形態１において、対象者１００を注視させるために注視点を表示部２０に表示した。表示部２０に表示するものは、点に限るものではなく、例えば、基準となる位置にコンテンツを表示して、対象者１００に注視を誘導しても良い。この場合、コンテンツ内の基準となる位置を注視点として、演算を行ってもよい。
　なお、視線測定装置１０で算出した視線情報を表示部２０に表示してもよい。この場合、算出した視線ベクトルと表示部２０の交点を算出し、注視先情報として出力してもよい。
　また、本実施の形態では、算出部１１２は２つの視線情報を用いて補正情報を生成したが、３つ以上の視線情報を選択し、それらすべての視線情報で補正情報を算出してもよい。また、２つの組合せで複数算出した補正情報から、最終的な補正情報を作成してもよい。例えば、２つの組合せで算出した複数の補正情報の平均をとるなどしてもよい。このようにすることで、補正情報の精度を向上させることができる。
　本開示は、非接触にて視線を測定する視線検出装置に適用可能である。具体的には、車両内の運転者の監視をはじめとした対象者の行動分析、視線を用いた機器の操作などに、本開示は適用可能である。
１　視線測定システム
１０　視線測定装置
２０　表示部
１１０　演算装置
１１１　検知部
１１２　算出部
１１３　記憶部
１１４　補正部
１２０　撮影部
１３０　光源
２００　眼球
２０１　瞳孔領域
２０２　瞳孔中心
２０３　プルキニエ像
３００　世界座標系
３１０　補正座標系
Ｇ１，Ｇ２　算出視線ベクトル
Ｈ　行列
Ｐ１，Ｐ２　注視点
Ｖ１，Ｖ２　実視線ベクトル

Claims (7)

  1. 　所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源と、
    　前記光源からの光が反射した前記対象者の眼球を含む顔画像を撮影する撮影部と、
    　前記撮影部が撮影した前記顔画像を用いて、世界座標系の視線情報を算出する検知部と、
    　前記検知部が算出した前記世界座標系の視線情報を前記世界座標系と異なる座標系である補正座標系の視線情報に変換し、前記補正座標系の視線情報を、眼球の個人差による検出誤差を補正するための補正情報を用いて補正する補正部と、
    を備える視線測定装置。
  2. 　さらに、位置が異なる２つの注視点の位置関係を元に、前記世界座標系の視線情報を前記補正座標系の視線情報に変換するための回転量を決定し、
    　前記対象者が前記２つの注視点を各々注視した際に、前記検知部が算出した２つの前記世界座標系の視線情報を、前記回転量を用いて前記補正座標系の視線情報に変換し、
    　前記補正座標系の視線情報の角度と、前記対象者の眼球の位置と前記２つの注視点との方向の角度との差から、前記補正情報を算出する算出部を備える、請求項１に記載の視線測定装置。
  3. 　前記所定の注視点は、前記対象者の前方に設置されている表示部上に表示されている点もしくは、前記対象者の前方に存在する物体内の点である、請求項２に記載の視線測定装置。
  4. 　前記算出部は、前記対象者が前記２つの注視点を注視する際の視線ベクトルの仰角および方位角の差分によって前記回転量を決定する、請求項２に記載の視線測定装置。
  5. 　前記回転量は、前記世界座標系の座標軸のいずれか、あるいは２つ以上の座標軸の回転量である、請求項２に記載の視線測定装置。
  6. 　前記補正情報は、前記補正座標系の視線情報の角度に対する係数と加算値とからなる、請求項２に記載の視線測定装置。
  7. 　所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した前記対象者の眼球を含む顔画像を撮影する撮影ステップと、
    　前記撮影ステップで撮影された前記顔画像を用いて、世界座標系の視線情報を算出する検知ステップと、
    　前記検知ステップで算出された前記世界座標系の視線情報を前記世界座標系と異なる座標系である補正座標系の視線情報に変換し、眼球の個人差による検出誤差を補正するための補正情報を用いて、前記補正座標系の視線情報を補正する補正ステップと、を有する視線測定方法。
PCT/JP2017/005052 2016-04-12 2017-02-13 視線測定装置および視線測定方法 WO2017179279A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018511896A JP6596678B2 (ja) 2016-04-12 2017-02-13 視線測定装置および視線測定方法
US16/069,904 US10496166B2 (en) 2016-04-12 2017-02-13 Eye tracking device and eye tracking method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-079346 2016-04-12
JP2016079346 2016-04-12

Publications (1)

Publication Number Publication Date
WO2017179279A1 true WO2017179279A1 (ja) 2017-10-19

Family

ID=60042551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005052 WO2017179279A1 (ja) 2016-04-12 2017-02-13 視線測定装置および視線測定方法

Country Status (3)

Country Link
US (1) US10496166B2 (ja)
JP (1) JP6596678B2 (ja)
WO (1) WO2017179279A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210022880A (ko) * 2019-08-21 2021-03-04 서울대학교병원 맞춤형 외부 타켓을 제공하는 안저 카메라의 작동 방법
KR20210022878A (ko) * 2019-08-21 2021-03-04 서울대학교병원 맞춤형 내부 타켓을 제공하는 안저 카메라의 작동 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
US20180125405A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using feature of eye movement
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
US11169604B2 (en) * 2019-11-15 2021-11-09 Tobii Ab Determination of gaze calibration parameters
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微***与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN115100727A (zh) * 2022-05-07 2022-09-23 清华大学 数据驱动的戴镜视线估计方法及装置
US20240012472A1 (en) * 2022-07-08 2024-01-11 Tencent America LLC Vergence based gaze matching for mixed-mode immersive telepresence application

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
US9135708B2 (en) * 2010-08-09 2015-09-15 National University Corporation Shizuoka University Gaze point detection method and gaze point detection device
EP2857939B1 (en) * 2012-05-25 2018-08-29 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
WO2015146491A1 (ja) * 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
JP6406898B2 (ja) * 2014-07-08 2018-10-17 キヤノン株式会社 積載装置及び画像形成装置
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
JP6638354B2 (ja) * 2015-12-01 2020-01-29 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US10409368B2 (en) * 2016-07-27 2019-09-10 Fove, Inc. Eye-gaze detection system, displacement detection method, and displacement detection program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKEHIKO OHNO ET AL.: "Just Look at Two Points : A Gaze Tracking System with Easy Calibration", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 44, no. 4, April 2003 (2003-04-01), pages 1136 - 1149 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210022880A (ko) * 2019-08-21 2021-03-04 서울대학교병원 맞춤형 외부 타켓을 제공하는 안저 카메라의 작동 방법
KR20210022878A (ko) * 2019-08-21 2021-03-04 서울대학교병원 맞춤형 내부 타켓을 제공하는 안저 카메라의 작동 방법
KR102292796B1 (ko) * 2019-08-21 2021-08-25 서울대학교병원 맞춤형 외부 타겟을 제공하는 안저 카메라의 작동 방법
KR102292793B1 (ko) * 2019-08-21 2021-08-25 서울대학교병원 맞춤형 내부 타겟을 제공하는 안저 카메라의 작동 방법

Also Published As

Publication number Publication date
JPWO2017179279A1 (ja) 2019-02-14
US20190025912A1 (en) 2019-01-24
JP6596678B2 (ja) 2019-10-30
US10496166B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6596678B2 (ja) 視線測定装置および視線測定方法
US10902635B2 (en) Line-of-sight detection device
US11238598B1 (en) Estimation of absolute depth from polarization measurements
US10499808B2 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
JP2020034919A (ja) 構造化光を用いた視線追跡
US11238340B1 (en) Predictive eyetracking using recurrent neural networks
JP4649319B2 (ja) 視線検出装置、視線検出方法、および視線検出プログラム
CN109690553A (zh) 执行眼睛注视跟踪的***和方法
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US10599215B2 (en) Off-axis eye tracker
JP2010259605A (ja) 視線測定装置および視線測定プログラム
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
US11624907B2 (en) Method and device for eye metric acquisition
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP6669182B2 (ja) 乗員監視装置
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP6496917B2 (ja) 視線測定装置および視線測定方法
US10747310B1 (en) Time of flight based eye tracker
JP2018101212A (ja) 車載器および顔正面度算出方法
JP6906943B2 (ja) 車載器
JP7046347B2 (ja) 画像処理装置及び画像処理方法
TWI761930B (zh) 頭戴式顯示裝置以及距離量測器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018511896

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782098

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782098

Country of ref document: EP

Kind code of ref document: A1